ATLAS: il calcolo Alessandro De Salvo

Slides:



Advertisements
Presentazioni simili
ATLAS: il calcolo Alessandro De Salvo A. De Salvo – 5 settembre 2013.
Advertisements

ATLAS: il calcolo Alessandro De Salvo A. De Salvo – 3 maggio 2013.
ATLAS PRIN Alessandro De Salvo A. De Salvo – 12 novembre 2015 Cloud Computing Condivisione di risorse tra gruppi EventIndex LHCONE PoD T2D.
1 Firenze, 6 Settembre 2011 G. Carlino – Relazione Referaggi Computing ATLAS Relezione Riunioni Referaggio Calcolo ATLAS Computing Model News Computing.
ATLAS: il calcolo Alessandro De Salvo A. De Salvo – 5 settembre 2013.
Referaggio Calcolo ATLAS II Gianpaolo Carlino INFN Napoli Catania, 12 Settembre 2012 Risorse e Richieste 2013 nei preventivi Aggiornamento in seguito all’allungamento.
ATLAS Italia – Sestri Levante, 15 Giugno 2010 G. Carlino – Richieste Run Efficiency = time for physics / total time LHC Efficiency = time with colliding.
1 Bari, 21 Settembre 2011 G. Carlino – ATLAS: il calcolo ATLAS: il Calcolo Attività di Computing nel 2011 Attività di Computing nel 2011 Richieste Tier2.
Virtualizzazione nell’INFN Andrea Chierici 11 Dicembre 2008.
Referaggio Calcolo ATLAS Gianpaolo Carlino INFN Napoli CNAF, 11 Maggio 2012 Attività di Computing ATLAS Attività di Computing in Italia Risorse e Richieste.
Report dalla CSN Settembre Sala dei Mappamondi - Torino Gianpaolo Carlino – CCR 25/10/2012.
ATLAS: il calcolo Alessandro De Salvo A. De Salvo – 25 maggio 2015.
ATLAS: il calcolo A. De Salvo A. De Salvo – 1 settembre 2015.
IL blueprint e le esigenze per il progetti internazionali (EMI e EGI- InSPIRE) L. Gaido, INFN Torino Riunione del Comitato di Coordinamento IGI Roma, 12.
Sistema Informativo. Mansioni Gestione della piattaforma hardware e sistemistica del sistema informativo INFN In realta’ il mansionario e’ in continua.
Il Calcolo non LHC in CSN1 G. Carlino, INFN Napoli CSN1 – Firenze 20 Luglio 2015.
PRIN NAPOLI Enzo Capone, Gianpaolo Carlino, Alessandra Doria, Rosario Esposito, Leonardo Merola, Silvio Pardi, Arturo Sanchez Pineda.
CSN1 – Torino, 17 Maggio 2010 G. Carlino – ATLAS: Calcolo ATLAS Calcolo LHC 2011 Attività di TeV Attività di TeV Risorse.
ATLAS computing Roberto Carlin Commissione I Roma 1/7/08 F. Bossi, C.Bozzi, R. Carlin, R. Ferrari, D. Lucchesi, D. Martello, M. Morandin, M. Taiuti.
KLOE - Referee Luca Lista, Andrea Perrotta, Vincenzo Vagnoni.
Utilizzo e Richieste infrastrutture di calcolo esperimenti LHC & non LHC G. Carlino, INFN Napoli CSN1 – Roma 7 Luglio 2016.
Alessandro De Salvo Status dei Tier2 di ATLAS Alessandro De Salvo
Domenico Elia1 Calcolo ALICE: stato e richieste finanziarie (aggiornamenti) Domenico Elia Riunione Referee Calcolo LHC / Bologna, Riunione con.
Torino, Andrea Dainese 1 Andrea Dainese (INFN – LNL) Stato del Tier-2 ALICE a Legnaro.
Acquisti TIER T2 team e Pistoni per la consulenza sull’hardware.
Richieste Tier Alessandro De Salvo A. De Salvo – 4 giugno 2013.
20-21/03/2006Workshop sullo storage - CNAF Alessandro Brunengo.
Infrastruttura cloud servizi realizzata nella Sezione di Napoli
Riunione ALICE Italia - Referee stato e richieste finanziarie
Status Report Gruppo Storage CCR CCR 14-15/03/2006.
Summary di (quasi) tutti gli utenti non presentati…
I costi del Calcolo LHC un update –
G. Carlino, D. Lucchesi, V. Vagnoni
Elezione Responsabile Nazionale ATLAS
Massimo Masera CSNIII Roma, 20 marzo 2012
Richieste di upgrade dei link di accesso alla rete Geografica
G. Carlino, D. Lucchesi, V. Vagnoni
Commissione Scientifica III stato e richieste finanziarie
PRIN Roma1 – status Luciano Barone, Alessandro De Salvo
Gruppo storage CCR Nuove attivita’ 2007 Alessandro Brunengo CCR - Roma
Richieste preliminari calcolo non LHC
Stato Acquisti Switch/Router T2
From 8 to 80 boxes. From FBSNG to Condor CPU Satura !
Introduzione alla sessione sull’analisi per gli esperimenti LHC
ATLAS Computing Model Alessandro De Salvo
ATLAS: il calcolo Alessandro De Salvo
Lamberto Luminari CSN Maggio 2005
INFN Il calcolo scientifico presso la sede INFN di Padova e di Legnaro
Analisi dei dati dell’Esperimento ALICE
ALICE CALCOLO richieste finanziarie e proposte di assegnazione 2017
Aggiornamento sullo stato del Tier-2 di Catania
Nuove funzionalità e futura implementazione nella Sezione di Trieste
ATLAS-Italia Tier-3 Dario Barberis Università e INFN Genova
Attvità Computing – Inverno 08/09
(Breve) Riassunto del workshop WLCG
INFN-TS INFN - Sezione di Trieste - C. Strizzolo - L. Strizzolo.
Belle II Computing: Accesso alle risorse di storage via http/webdav
Referaggio Calcolo ATLAS
Necessità di calcolo per MEG II e ripartizione dei costi
INFN Il calcolo scientifico presso la sede INFN di Padova e di Legnaro
ATLAS PRIN Next Steps Alessandro De Salvo
Massimo Masera Catania, 20 dicembre 2012
le Attivita' Computing Analisi Muoni: Detector(s) e Trigger
Stato Computing ATLAS Gianpaolo Carlino INFN Napoli
ATLAS: il calcolo Alessandro De Salvo
Stima risorse LHC LHC - Tier2 2 periodi
La richiesta si basa sulle seguenti considerazioni:
ATLAS Italia Computing Richieste 2007 (Tier-2 e locali)
ATLAS PRIN Roma1 - status Alessandro De Salvo
Report dei referee di Kloe
Transcript della presentazione:

ATLAS: il calcolo Alessandro De Salvo 1-10-2014 A. De Salvo – 1 ottobre 2014

ATLAS: Utilizzo risorse Tier 1 in Italia 3 PB NTUP AOD ESD HITS Apr 2012 Sep 2014 Apr 2012 May 2014 WCT WCT T1 INFN T1 (10.17%) Job Efficiency INFN T1 Frascati Napoli Milano Roma 2

ATLAS: Utilizzo risorse Tier 2 in Italia Napoli Roma 4 siti T2 Frascati Milano Napoli Roma 1 Frascati Milano Apr 2012 Sep 2014 4PB Milano Roma Job Efficiency Napoli Frascati Apr 2012 Sep 2014 3 3

ATLAS: Utilizzo risorse Tier 2 in Italia [2] Problemi con lo storage (STORM), avvenuti tipicamente verso fine settimana. Downtime per le prese di corrente Inerzia del sistema in uscita dai downtime 4

Availability / Reliability 2011-2014 Valori medi 2011/2014 Frascati Milano rel ava 97% 94% 90% 89% Napoli Roma 96% Availability = time_site_is_available/total_time Reliability = time_site_is_available/ (total_time-time_site_is_sched_down) 5

Review dei Tier2 La review dei Tier2 italiani si è conclusa con successo a inizio 2014 Ottimo giudizio di tutti I Tier2 italiani Efficienti Economici Ben rappresentati a livello internazionale Con buoni margini globali di crescita (almeno in alcuni siti) Alcuni consigli e richieste dai parte dei referee, ad esempio, per Roma di unire il più possibile I siti di ATLAS e CMS 6

Novità (post-review) Frascati Milano Napoli Roma Migrazione nella nuova sala di calcolo completata in meno di due settimane, trasporto incluso Connessione a 10Gbps attiva tramite il nuovo router Connessione ad LHCONE attiva Coda per job multicore (torque/maui) attivata Testbed ufficiale di DPM per il test delle pre-release Milano Problemi generali di stabilità dello storage risolti Problemi con i test di ATLAS da inizio gennaio 2014 (dopo il passaggio dai SAM test di OPS a quelli di ATLAS), non dipendenti dal sito, per i quali la reliability/availability rilevata del sito è stata inferiore alla realtà Nuova coda per job multicore (condor) attiva dall’inizio del 2014 Napoli Installazione e test di performance dello storage distribuito/replicato per il testbed del Tier2 Distribuito NA-RM Roma Installazione terzo chiller sala calcolo completata a gennaio Nuova coda per job multicore (LSF) attiva dall’inizio del 2014 Testbed secondario di DPM (su openstack) per il test delle pre-release 7

Partecipazione italiana alle attività di ATLAS ATLAS Italia partecipa alle attività di computing di ATLAS in diverse aree di lavoro Cloud support [all] Database [D. Barberis, A. De Salvo] Installazione del software (CVMFS e distribuzione) [A. De Salvo] Monitoring [S. Tupputi] Network infrastructure (LHCONE) [A. De Salvo] Scrutiny Group [G. Carlino] Storage [A. De Salvo, A. Doria, E. Vilucchi] Federazioni di xrootd e HTTPD DPM VO management [A. De Salvo, E. Vilucchi] Altre attività (PRIN) Cloud Computing Hadoop (EventIndex) Network Infrastructure (LHCONE) + Distrubuted T2 (DT2) Proof on Demand (PoD) La partecipazione alle rimanenti attività è largamente limitata dalla disponibilità di persone Attività sulle GPU, inserite in un FIRB Interesse della comunità per GPU e multiprocessing/ottimizzazione del codice, ma NON c’è manpower 8

Responsabilità italiane nel calcolo di ATLAS ATLAS database Dario Barberis [coord] https://twiki.cern.ch/twiki/bin/viewauth/AtlasComputing/AtlasDistributedComputing ATLAS Frontier Alessandro De Salvo [coord] Coordinamento calcolo ATLAS IT https://web2.infn.it/atlas/index.php/organigramma https://twiki.cern.ch/twiki/bin/viewauth/AtlasComputing/InternationalComputingBoard Grid software release / CVMFS SAM monitoring Salvatore Tupputi [deputy coord] Scrutiny Group Gianpaolo Carlino VO management Elisabetta Vilucchi [deputy] 9

M&O-A Le attività riconosciute da ATLAS come In-Kind M&O-A sono VO Management Grid/CVMFS software installation Frontier operations DPM development Non ci più gli FTE al CERN pagati dall’INFN come per gli anni scorsi Per il 2015 il totale riconosciuto per il Computing di ATLAS è 1.4 FTE La quota di ATLAS è 1.65 FTE (corrispondenti a 149 kCHF) -0.2 FTE rispetto al 2014 Dovuto essenzialmente al minor numero di risorse di personale di ATLAS 91 kCHF x 1.4 FTE = 127 kCHF riconosciuti come in-kind Necessario pagare 149 kCHF - 127 kCHF = 22 kCHF 10

Utilizzo delle risorse per il 2014-2015 Produzione di sample più grandi di MC per il run ad alta energia Attività di preparazione del Run 2 (full dress reharsal) 2015 Processamento e riprocessamento dei nuovi dati ad alta energia Produzione associata di MC per I nuovi dati Incremento di attività utente e di gruppo 11

Preparazione al run del 2015 - status Software: ricostruzione, simulazione, analisi Ottimizzazione delle performance degli algoritmi per le necessità del Run2 [OK] Utilizzo in modo più adeguato delle CPU moderne (multicore) [OK] Riduzione della dimensione degli eventi [OK] Riduzione dell’utilizzo di memoria [PROGRESS] Parallelismo a livello di evento e di algoritmo [PROGRESS] xAOD utilizzabili sia in termine di dimensione che di performance per il Run 2 [PROGRESS] ISF (mixed G4 and fast simulation) [PROGRESS] Computing distribuito Nuovo sistema di Data Management (Rucio) [PROGRESS] File based data management, subscriptions and rules, .. Upgrade del Production System [PROGRESS] PanDA + JEDI (dynamic job definition and task execution) + DEfT (Task request definition) Accesso ai dati: storage federations XrootD (FAX) quasi pronto a livello globale [PROGRESS] Httpd ancora non molto utilizzato ma disponibile in tutti i siti [PROGRESS] Fattore 3 di miglioramento sui tempi di ricostruzione DEFT JEDI PanDA BigPanDA √ Prodsys 2 √ Rucio migration √ 12

Risorse Attività ATLAS 2015 Lo Scrutiny Group ha approvato ad aprile 2014 le seguenti risorse per ATLAS 13

Risorse Disponibili 2014 - CPU CPU disponibili 2014 “pledged” CPU Frascati Milano Napoli Roma Totale Pledge HP06 8636 12625 14450 11796 47507 35100 To be pledged 5563 9939 11421 9850 36773 Le CPU totali a disposizione dei Tier2 comprendono anche risorse non pledged: le CPU obsolete (fino al 2013 e già rifinanziate) ancora in produzione ma in corso di spegnimento CPU per uso locale (cluster proof) o in griglia ma dedicate principalmente alle attività italiane (Tier3) finanziate con fondi vari Proof on Demand, share per analisi e simulazione MC per il ruolo atlas/it CPU non a completa disposizione dei siti (es. scope + Recas a NA, ex SuperB, Belle2, a LNF) Queste CPU concorrono alla definizione della linea blu dell’accounting che in alcuni casi è significativamente maggiore della linea rossa Nel conto delle CPU pledged NON sono comprese le CPU gara dei rimpiazzi 2014, ancora da espletare 14

Risorse Disponibili 2014 – Disco Storage disponibile 2014 “pledged” Disco Frascati Milano Napoli Roma Totale Totale disponibile 736 1258 1296 1212 4502 to be pledged 3782 Lo storage totale disponibile nei Tier2 comprende anche l’area locale in cui sono conservati i dati di tutti gli utenti italiani (LOCALGROUP), non solo gli utenti locali La dimensione di queste aree è di circa 180 TB per Tier2 In gran parte già occupata, gli utenti dovranno cancellare i dati vecchi non più necessari per fare spazio ai dati del 2014 l’utilizzo di queste aree è irrinunciabile per cui il loro volume va sottratto allo storage da dichiarare pledged 15

Risorse Obsolete nel 2015 Risorse obsolete 2015 Frascati 2304 120 CPU (HS06) Disco (TBn) Frascati 2304 120 Milano 3735 176 Napoli 3693 180 Roma 3072 Tot 12804 656 Tot – NA 9111 476 Risorse obsolete 2015 Le CPU obsolete sono le macchine comprate nel 2011 e installate fine 2011 inizi 2012 (non sono comprese le macchine installate successivamente). Le CPU (per ora) hanno garanzia triennale Lo storage obsoleto comprende le SAN comprate nel 2009 e installate giugno 2010. Garanzia quinquennale Le dismissioni di Napoli sono finanziate da RECAS La sostituzione del materiale obsoleto, secie per i dischi, è fondamentale per il buon funzionamento dei centri e quindi dell’intero sistema di computing italiano di ATLAS 16

Richiesta Risorse 2015 - I 450 9% 40.5 35.5* 5.0 36 3.24 3.5* 0.0 520 Le risorse necessarie per il 2015 sono determinate dalla volontà di conservare il ruolo significativo nel computing di ATLAS acquisito negli ultimi anni conservando gli share di risorse pledged per le attività centrali: Tier1: 10%  9% Tier2: 9% CPU e 7% Disco e di garantire la competitività agli utenti italiani mediante l’uso di risorse dedicate nei Tier2 e Tier3 ATLAS Share IT ATLAS IT 2015 ATLAS IT disponibile Attività 2015 CPU T1 (kHS06) 450 9% 40.5 35.5* 5.0 Disco T1 (PB) 36 3.24 3.5* 0.0 CPU T2 520 46.8 36.8 10.0 Disco T2 53 7% 3.71 3.78 * Pledge 2014 17

Richiesta Risorse 2015 - II Le risorse per le attività italiane sono già disponibili e non inclusi nel disponibile “pledged” 2015 e non sono necessarie ulteriori richieste Attività 2015 Attività Italiane Obs Richieste 2015 K€ CPU T2 (kHS06) 10 12.8 22.8 273.6 Disco T2 (TB) 656 144.4 Totale 418.0 Totale Attività 2015 Attività Italiane Obs Richieste 2015 K€ CPU T2 (kHS06) 7.3 9.1 16.4 196.8 Disco T2 (TB) 476 104.8 Totale 301.6 + Recas - Napoli Prezzi stimati: CPU = 12 k€/kHS [da ultime quotazioni ricevute] Disco = 220 k€/PB NB: le richieste inserite nel DB dei preventivi sono state calcolate con 250 k€/PB. La richiesta di ricalcolo è pervenuta solo a settembre 18

Richiesta Risorse 2015 - III Overhead per rete e server aggiuntivi Algoritmo Bozzi (cfr. presentazione CSN1 Bari Settembre 2011): Rete (senza Napoli): 6% (cpu) + 5% (disco) = 17.1 k€ Server (con Napoli): 7% (cpu + disco) = 29.3 k€ A cosa servono: Rete: switch di rack Server: servizi di grid A cosa corrispondo questi finanziamenti: Rete: 5.7 k€ per Tier2, uno switch con modulo 10 Gbps (escluso Napoli) Per collegare le nuove risorse e/o sostituire i primi switch ormai fuori manutenzione Server: ~7.4 k€ per Tier2, 2 server per sezione (incluso Napoli) Recas ha finanziato la rete ma non i server 19

Richiesta Risorse 2015 - III Richieste totali e per sito CPU 2015 [kHS06] Disco 2015 [TB] CPU Obs [kHS06] Disco Obs [TB] CPU Tot [kHS06] Disco Tot Rete [K€] Server Tot Tot – Recas Frascati 2.44 3.04 158.7 5.48 5.7 7.3 100.6 113.6 Milano Roma Napoli 2.70 3.70 180.0 6.40 116.4 418.5 348.1 Prezzi stimati: CPU = 12 k€/kHS [da ultime quotazioni ricevute] Disco = 220 k€/PB 20

Conclusioni Il Computing di ATLAS ha dimostrato di essere robusto ed affidabile per il processamento dei dati, sia MC che analisi finale, tuttavia sono stai individuati dei punti dove è necessario migliorare Al termine del LS1 il Computing Model di ATLAS sarà stato quasi completamente ridisegnato, sia a livello del codice di ricostruzione/analisi sia dei servizi infrastrutturali Le richieste per il 2015 sono diminuite in conseguenza delle nuove risorse provenienti dal progetto RECAS Dal 2015 in poi lo share del T1 è stato abbassato al 9%, più corrispondente alla partecipazione Italiana in ATLAS E’ comunque fondamentale fornire supporto ai Tier2 esistenti per quel che riguarda le dismissioni 21

Backup slides 22

ATLAS: Utilizzo risorse Tier 3 in Italia Wall Clock [s] 6e9 Apr 2012 Sep 2014 WCT WCT Genova Roma 3 Job Efficiency T3 Lecce Bologna 23

Previsione dell’utilizzo delle risorse fino al 2016 Tenendo conto dei miglioramenti del codice e nella scrittura degli eventi Nei calcoli per il 2015 si assumono 21 settimane di presa dati e 30% di efficienza, con la maggior parte del run a 25 ns, luminosità dell’ordine di 1034cm- 2s-1 e pilep moderato (μ=25) Nei calcoli per il 2016 si assume inoltre un pileup più alto (μ=40) e una possibile luminosità più alta (1.5 x 1034cm-2s-1 @ 25 ns) 24

Avg(Byterate)+StD(Byterate) Tier 2 Diretti (T2D) T2D = Tier2 “Directly Connected” Tier2 connessi direttamente tra di loro e a tutti i Tier1 Storage per dati primari come i Tier1 Preplacement di una quota di dati Group data Requirement molto stretti Metriche di trasferimento con tutti i Tier1 Livello di commitment e relibility adeguato Avg(Byterate)+StD(Byterate) SMALL <0.05MB/s <0.1MB/s ≥0.1MB/s MEDIUM <1MB/s <2MB/s ≥2MB/s LARGE <10MB/s <15MB/s ≥15MB/s T2D approvati: AGLT2 BEIJING-LCG2 BU_ATLAS_Tier2 CA-SCINET-T2 CA-VICTORIA-WESTGRID-T2 CSCS-LCG2 DESY-HH DESY-HH DESY-ZN GOEGRID GRIF GRIF IFIC-LCG2 IN2P3-LAPP IN2P3-LPC IN2P3-LPSC INFN-MILANO-ATLASC INFN-NAPOLI-ATLAS INFN-ROMA1 LRZ-LMU MPPMU MWT2_UC SWT2_CPB TOKYO-LCG2 UAM-LCG2 UKI-LT2-QMUL UKI-NORTHGRID-LANCS-HEP UKI-NORTHGRID-MAN-HEP UKI-SCOTGRID-ECDF UKI-SCOTGRID-GLASGOW UKI-SOUTHGRID-OX-HEP UNI-FREIBURG WT2 WUPPERTALPROD ifae I 3 T2 italiani più grandi (Milano, Napoli, Roma) sono stati dichiarati T2D dall’inizio e sono entrati subito in LHCONE. Frascati sarà incluso quando avrà i requisiti minimi di risorse necessarie. 2525

Classificazione dei Tier 2 Necessità di individuare i siti più affidabili per l’analisi cui inviare la maggior parte dei dati. Classificazione in base alle performance (stabilità) 4 Gruppi: Alpha: (60% share): T2D con rel > 90% Bravo: (30% share): non T2D con rel> 90% Charlie: (10% share): 80% < rel < 90% Delta: (0% share): rel <80% Aprile 2013 2626

Preparazione al run del 2015 ATLAS ha piani ambiziosi per l’upgrade delle attività di Software e Computing Software: ricostruzione, simulazione, analisi Ottimizzazione delle performance degli algoritmi, utilizzando in modo più adeguato le CPU moderne Riduzione dell’utilizzo di memoria Parallelismo a livello di evento e di algoritmo Riduzione della dimensione degli eventi Computing distribuito Nuovo sistema di Data Management (Rucio) File based data management, subscriptions and rules, .. Upgrade del Production System (PanDA + JEDI + DEfT) New TRF, log file merging, … Merging at T2s, dynamic job definition based on scouts, … Procedure operative e workflow Ottimizzazione delle analisi di gruppo e utenti finali 27

Multiprocessing e concurrent framework Le risorse Grid in WLCG sono limitate come agreement a 2GB/core Il software di ricostruzione di ATLAS fatica a mantenere questo limite Non è ancora possibile girare la ricostruzione a 64 bit tranne che in nodi speciali dove è disponibile più memoria Tale situazione certamente peggiora con l’aumento dell’energia e del pileup Le nuove tecnologie vanno in direzione di CPU many-core, perciò l’approccio corrente non è più sostenibile, nonché l’ultilizzo di eventuali risorse HPC praticamente impossibile ATLAS prevede di rendere operativo AthenaMP durante LS1 e iniziare lo sviluppo di un nuovo framework concorrente con Full threading e parallelismo a livello di eventi e algoritmi Collaborazione con IT/OpenLab, PH-SFT, LHCb e CMS Questo nuovo approccio richiederà anche la migrazione del sistema di Computing distribuito, a partire dalle configurazioni delle code fino alle convenzioni di nomenclatura dei file Necessaria una chiara strategia per I siti, in fase di sviluppo 28

Group Analysis Workflow - AMSG Il formato AOD sembra non essere l’ “Analysis Object Data” per la maggior parte delle analisi La produzione dei formati di dati di gruppo (D3PD/NTUP) è effettuata centralmente La situazione corrente rallenta l’analisi, crea problemi nella Grid, riempiendo I dischi, e non scala al 2015 con il Run 2 E’ necessario cambiare il modello di analisi e il suo workflow per aumentare il thoughput La full event reconstruction dai dati RAW agli AOD impega 20 s/evento ed occupa 200 kB/evento 29

Utilizzo della farm HLT durante LS1 La farm HLT di ATLAS verrà usata come un “sito” Grid opportunistico durante LS1 ~14k core, corrispondenti ad un grande T2 (se non un T1) Infrastruttura overlay di tipo Cloud basata su OpenStack CERN IT (Agile), CMS (HLT Farm) e BNL già utilizzano OpenStack 30

Nuovi protocolli di accesso ai dati Sperimentazione dei nuovi protocolli di accesso xrootd e HTTP supportanto lo streaming su WAN Sperimentazione dei protocolli di accesso remoti e comparazione con I protocolli di storage nativi a disposizione I protocolli verranno adottati sulla base delle performance, dell’affidabilità e della semplificazione che manifesteranno Valutazione successiva di un modello per la rottura del modello di località dei dati per i job Impatto sull’infrastruttura (storage e network) Migrazione finale all’infrastruttura di Storage Federato Attualmente basato su sulla tecnologia xrootd (FAX) 31

Uso di risorse opportunistiche Cloud commerciali a basso costo o gratuite Utilizzo di VM allocate staticamente in una cloud è stato ampiamente dimostrato in produzione (includendo anche la farm HLT) ATLAS si concentrerà ad ottimizzare la gestione dinamica delle risorse di calcolo attraverso delle interfacce di provisioning di VM (ad esempio OpenStack) Il piano consiste nell’integrare la AutoPilot Factory 2 con OpenStack/EC2 Si lavorerà sull’ottimizzazione del workflow per l’utilizzo di risorse opportunistiche Il nuovo “event server”, ossia il dispatcher di eventi per la parallelizzazione dei task, sarà molto utile in questo ambito Possibilità di utilizzo di risorse di tipo HPC, ma alcuni problemi Whole-node scheduling Assenza di disco nei nodi Nessuna connessione outbound 32

GPU: GAP Realtime (FIRB) “Realization of an innovative system for complex calculations and pattern recognition in real time by using commercial graphics processors (GPU). Application in High Energy Physics experiments to select rare events and in medical imaging for CT, PET and NMR.” FIRB partito ad inizio del 2013 Per ciò che riguarda la comunità HEP, verrà studiato l’utilizzo di trigger hardware di basso livello con latenza ridotta e trigger software di alto livello Si studieranno I casi di NA62 L0 e l’High Level Muon Trigger di ATLAS come “casi fisici” Roma coinvolta nello studio del trigger di ATLAS 33

ATLAS: as study case for GPU sw trigger The ATLAS trigger system has to cope with the very demanding conditions of the LHC experiments in terms of rate, latency, and event size. The increase in LHC luminosity and in the number of overlapping events poses new challenges to the trigger system, and new solutions have to be developed for the fore coming upgrades (2018-2022) GPUs are an appealing solution to be explored for such experiments, especially for the high level trigger where the time budget is not marginal and one can profit from the highly parallel GPU architecture We intend to study the performance of some of the ATLAS high level trigger algorithms as implements on GPUs, in particular those concerning muon identification and reconstruction. Slide from G. Lamanna / A. Messina 34

Altre evoluzioni Completa migrazione ed utilizzo dell’ATLAS Grid Information System in produzione Definitivo abbandono dei servizi di IS di Grid in favore di AGIS Abbandono anche del WMS, finora utilizzato ancora solo per le installazioni del software Installation System migrato completamente ad AGIS + Panda Sorgente primaria di informazioni per Panda e DDM Migrazione ad SL6 Inizio ufficiale delle migrazioni ad SL6 a giugno 2013 Alcune delle release necessitano di una patch per funzionare con l’analisi a causa delle opzioni diverse di compilazione Possibile soluzione generica trovata di recente, in fase di test In ogni caso le release più utilizzate sono state già sistemate o comunque funzionanti nativamente Migrazione ad IPv6 Test dei servizi con IPv6 necessario SHA-2 Migrazione imminente, necessario un controllo dei servizi Finalizzazione dell’integrazione di gLexec in Panda 35

Tabella dei parametri per il 2015-2017 36

Slide from C. Gatti / D. Orestano Trigger rate 2015 Luminosity expected to increase from 7×1033 to 2×1034 corresponding to about a factor 3 in rates Pile up will increase affecting the effective trigger rates Moving to √s=14 TeV cross sections will increase on average by a factor 2.5 Rates would increase by about one order of magnitude. To keep the increase within a factor ~2 (50kHz→100kHz L1 and 450Hz→1kHz EF) selections have to be improved/tightened minimizing the impact on physics. PS: The physics (Higgs, top ...) remains the same. Slide from C. Gatti / D. Orestano 37

Slide from C. Gatti / D. Orestano Trigger menu 2012 vs 2015 Current menu scaled to 1034 Slide from C. Gatti / D. Orestano 38

Increase Jet and MET thresholds Trigger menu 2012 vs 2015 Menu at 2×1034 and 14 TeV Increase single e/gamma threshold Increase single and di muon thresholds Increase single and di tau thresholds Increase Jet and MET thresholds Slide from C. Gatti / D. Orestano 39