ATLAS: il calcolo Alessandro De Salvo 1-10-2014 A. De Salvo – 1 ottobre 2014

ATLAS: Utilizzo risorse Tier 1 in Italia 3 PB NTUP AOD ESD HITS Apr 2012 Sep 2014 Apr 2012 May 2014 WCT WCT T1 INFN T1 (10.17%) Job Efficiency INFN T1 Frascati Napoli Milano Roma 2

ATLAS: Utilizzo risorse Tier 2 in Italia Napoli Roma 4 siti T2 Frascati Milano Napoli Roma 1 Frascati Milano Apr 2012 Sep 2014 4PB Milano Roma Job Efficiency Napoli Frascati Apr 2012 Sep 2014 3 3

ATLAS: Utilizzo risorse Tier 2 in Italia [2] Problemi con lo storage (STORM), avvenuti tipicamente verso fine settimana. Downtime per le prese di corrente Inerzia del sistema in uscita dai downtime 4

Availability / Reliability 2011-2014 Valori medi 2011/2014 Frascati Milano rel ava 97% 94% 90% 89% Napoli Roma 96% Availability = time_site_is_available/total_time Reliability = time_site_is_available/ (total_time-time_site_is_sched_down) 5

Review dei Tier2 La review dei Tier2 italiani si è conclusa con successo a inizio 2014 Ottimo giudizio di tutti I Tier2 italiani Efficienti Economici Ben rappresentati a livello internazionale Con buoni margini globali di crescita (almeno in alcuni siti) Alcuni consigli e richieste dai parte dei referee, ad esempio, per Roma di unire il più possibile I siti di ATLAS e CMS 6

Novità (post-review) Frascati Milano Napoli Roma Migrazione nella nuova sala di calcolo completata in meno di due settimane, trasporto incluso Connessione a 10Gbps attiva tramite il nuovo router Connessione ad LHCONE attiva Coda per job multicore (torque/maui) attivata Testbed ufficiale di DPM per il test delle pre-release Milano Problemi generali di stabilità dello storage risolti Problemi con i test di ATLAS da inizio gennaio 2014 (dopo il passaggio dai SAM test di OPS a quelli di ATLAS), non dipendenti dal sito, per i quali la reliability/availability rilevata del sito è stata inferiore alla realtà Nuova coda per job multicore (condor) attiva dall’inizio del 2014 Napoli Installazione e test di performance dello storage distribuito/replicato per il testbed del Tier2 Distribuito NA-RM Roma Installazione terzo chiller sala calcolo completata a gennaio Nuova coda per job multicore (LSF) attiva dall’inizio del 2014 Testbed secondario di DPM (su openstack) per il test delle pre-release 7

Partecipazione italiana alle attività di ATLAS ATLAS Italia partecipa alle attività di computing di ATLAS in diverse aree di lavoro Cloud support [all] Database [D. Barberis, A. De Salvo] Installazione del software (CVMFS e distribuzione) [A. De Salvo] Monitoring [S. Tupputi] Network infrastructure (LHCONE) [A. De Salvo] Scrutiny Group [G. Carlino] Storage [A. De Salvo, A. Doria, E. Vilucchi] Federazioni di xrootd e HTTPD DPM VO management [A. De Salvo, E. Vilucchi] Altre attività (PRIN) Cloud Computing Hadoop (EventIndex) Network Infrastructure (LHCONE) + Distrubuted T2 (DT2) Proof on Demand (PoD) La partecipazione alle rimanenti attività è largamente limitata dalla disponibilità di persone Attività sulle GPU, inserite in un FIRB Interesse della comunità per GPU e multiprocessing/ottimizzazione del codice, ma NON c’è manpower 8

Responsabilità italiane nel calcolo di ATLAS ATLAS database Dario Barberis [coord] https://twiki.cern.ch/twiki/bin/viewauth/AtlasComputing/AtlasDistributedComputing ATLAS Frontier Alessandro De Salvo [coord] Coordinamento calcolo ATLAS IT https://web2.infn.it/atlas/index.php/organigramma https://twiki.cern.ch/twiki/bin/viewauth/AtlasComputing/InternationalComputingBoard Grid software release / CVMFS SAM monitoring Salvatore Tupputi [deputy coord] Scrutiny Group Gianpaolo Carlino VO management Elisabetta Vilucchi [deputy] 9

M&O-A Le attività riconosciute da ATLAS come In-Kind M&O-A sono VO Management Grid/CVMFS software installation Frontier operations DPM development Non ci più gli FTE al CERN pagati dall’INFN come per gli anni scorsi Per il 2015 il totale riconosciuto per il Computing di ATLAS è 1.4 FTE La quota di ATLAS è 1.65 FTE (corrispondenti a 149 kCHF) -0.2 FTE rispetto al 2014 Dovuto essenzialmente al minor numero di risorse di personale di ATLAS 91 kCHF x 1.4 FTE = 127 kCHF riconosciuti come in-kind Necessario pagare 149 kCHF - 127 kCHF = 22 kCHF 10

Utilizzo delle risorse per il 2014-2015 Produzione di sample più grandi di MC per il run ad alta energia Attività di preparazione del Run 2 (full dress reharsal) 2015 Processamento e riprocessamento dei nuovi dati ad alta energia Produzione associata di MC per I nuovi dati Incremento di attività utente e di gruppo 11

Preparazione al run del 2015 - status Software: ricostruzione, simulazione, analisi Ottimizzazione delle performance degli algoritmi per le necessità del Run2 [OK] Utilizzo in modo più adeguato delle CPU moderne (multicore) [OK] Riduzione della dimensione degli eventi [OK] Riduzione dell’utilizzo di memoria [PROGRESS] Parallelismo a livello di evento e di algoritmo [PROGRESS] xAOD utilizzabili sia in termine di dimensione che di performance per il Run 2 [PROGRESS] ISF (mixed G4 and fast simulation) [PROGRESS] Computing distribuito Nuovo sistema di Data Management (Rucio) [PROGRESS] File based data management, subscriptions and rules, .. Upgrade del Production System [PROGRESS] PanDA + JEDI (dynamic job definition and task execution) + DEfT (Task request definition) Accesso ai dati: storage federations XrootD (FAX) quasi pronto a livello globale [PROGRESS] Httpd ancora non molto utilizzato ma disponibile in tutti i siti [PROGRESS] Fattore 3 di miglioramento sui tempi di ricostruzione DEFT JEDI PanDA BigPanDA √ Prodsys 2 √ Rucio migration √ 12

Risorse Attività ATLAS 2015 Lo Scrutiny Group ha approvato ad aprile 2014 le seguenti risorse per ATLAS 13

Risorse Disponibili 2014 - CPU CPU disponibili 2014 “pledged” CPU Frascati Milano Napoli Roma Totale Pledge HP06 8636 12625 14450 11796 47507 35100 To be pledged 5563 9939 11421 9850 36773 Le CPU totali a disposizione dei Tier2 comprendono anche risorse non pledged: le CPU obsolete (fino al 2013 e già rifinanziate) ancora in produzione ma in corso di spegnimento CPU per uso locale (cluster proof) o in griglia ma dedicate principalmente alle attività italiane (Tier3) finanziate con fondi vari Proof on Demand, share per analisi e simulazione MC per il ruolo atlas/it CPU non a completa disposizione dei siti (es. scope + Recas a NA, ex SuperB, Belle2, a LNF) Queste CPU concorrono alla definizione della linea blu dell’accounting che in alcuni casi è significativamente maggiore della linea rossa Nel conto delle CPU pledged NON sono comprese le CPU gara dei rimpiazzi 2014, ancora da espletare 14

Risorse Disponibili 2014 – Disco Storage disponibile 2014 “pledged” Disco Frascati Milano Napoli Roma Totale Totale disponibile 736 1258 1296 1212 4502 to be pledged 3782 Lo storage totale disponibile nei Tier2 comprende anche l’area locale in cui sono conservati i dati di tutti gli utenti italiani (LOCALGROUP), non solo gli utenti locali La dimensione di queste aree è di circa 180 TB per Tier2 In gran parte già occupata, gli utenti dovranno cancellare i dati vecchi non più necessari per fare spazio ai dati del 2014 l’utilizzo di queste aree è irrinunciabile per cui il loro volume va sottratto allo storage da dichiarare pledged 15

Risorse Obsolete nel 2015 Risorse obsolete 2015 Frascati 2304 120 CPU (HS06) Disco (TBn) Frascati 2304 120 Milano 3735 176 Napoli 3693 180 Roma 3072 Tot 12804 656 Tot – NA 9111 476 Risorse obsolete 2015 Le CPU obsolete sono le macchine comprate nel 2011 e installate fine 2011 inizi 2012 (non sono comprese le macchine installate successivamente). Le CPU (per ora) hanno garanzia triennale Lo storage obsoleto comprende le SAN comprate nel 2009 e installate giugno 2010. Garanzia quinquennale Le dismissioni di Napoli sono finanziate da RECAS La sostituzione del materiale obsoleto, secie per i dischi, è fondamentale per il buon funzionamento dei centri e quindi dell’intero sistema di computing italiano di ATLAS 16

Richiesta Risorse 2015 - I 450 9% 40.5 35.5* 5.0 36 3.24 3.5* 0.0 520 Le risorse necessarie per il 2015 sono determinate dalla volontà di conservare il ruolo significativo nel computing di ATLAS acquisito negli ultimi anni conservando gli share di risorse pledged per le attività centrali: Tier1: 10%  9% Tier2: 9% CPU e 7% Disco e di garantire la competitività agli utenti italiani mediante l’uso di risorse dedicate nei Tier2 e Tier3 ATLAS Share IT ATLAS IT 2015 ATLAS IT disponibile Attività 2015 CPU T1 (kHS06) 450 9% 40.5 35.5* 5.0 Disco T1 (PB) 36 3.24 3.5* 0.0 CPU T2 520 46.8 36.8 10.0 Disco T2 53 7% 3.71 3.78 * Pledge 2014 17

Richiesta Risorse 2015 - II Le risorse per le attività italiane sono già disponibili e non inclusi nel disponibile “pledged” 2015 e non sono necessarie ulteriori richieste Attività 2015 Attività Italiane Obs Richieste 2015 K€ CPU T2 (kHS06) 10 12.8 22.8 273.6 Disco T2 (TB) 656 144.4 Totale 418.0 Totale Attività 2015 Attività Italiane Obs Richieste 2015 K€ CPU T2 (kHS06) 7.3 9.1 16.4 196.8 Disco T2 (TB) 476 104.8 Totale 301.6 + Recas - Napoli Prezzi stimati: CPU = 12 k€/kHS [da ultime quotazioni ricevute] Disco = 220 k€/PB NB: le richieste inserite nel DB dei preventivi sono state calcolate con 250 k€/PB. La richiesta di ricalcolo è pervenuta solo a settembre 18

Richiesta Risorse 2015 - III Overhead per rete e server aggiuntivi Algoritmo Bozzi (cfr. presentazione CSN1 Bari Settembre 2011): Rete (senza Napoli): 6% (cpu) + 5% (disco) = 17.1 k€ Server (con Napoli): 7% (cpu + disco) = 29.3 k€ A cosa servono: Rete: switch di rack Server: servizi di grid A cosa corrispondo questi finanziamenti: Rete: 5.7 k€ per Tier2, uno switch con modulo 10 Gbps (escluso Napoli) Per collegare le nuove risorse e/o sostituire i primi switch ormai fuori manutenzione Server: ~7.4 k€ per Tier2, 2 server per sezione (incluso Napoli) Recas ha finanziato la rete ma non i server 19

Richiesta Risorse 2015 - III Richieste totali e per sito CPU 2015 [kHS06] Disco 2015 [TB] CPU Obs [kHS06] Disco Obs [TB] CPU Tot [kHS06] Disco Tot Rete [K€] Server Tot Tot – Recas Frascati 2.44 3.04 158.7 5.48 5.7 7.3 100.6 113.6 Milano Roma Napoli 2.70 3.70 180.0 6.40 116.4 418.5 348.1 Prezzi stimati: CPU = 12 k€/kHS [da ultime quotazioni ricevute] Disco = 220 k€/PB 20

Conclusioni Il Computing di ATLAS ha dimostrato di essere robusto ed affidabile per il processamento dei dati, sia MC che analisi finale, tuttavia sono stai individuati dei punti dove è necessario migliorare Al termine del LS1 il Computing Model di ATLAS sarà stato quasi completamente ridisegnato, sia a livello del codice di ricostruzione/analisi sia dei servizi infrastrutturali Le richieste per il 2015 sono diminuite in conseguenza delle nuove risorse provenienti dal progetto RECAS Dal 2015 in poi lo share del T1 è stato abbassato al 9%, più corrispondente alla partecipazione Italiana in ATLAS E’ comunque fondamentale fornire supporto ai Tier2 esistenti per quel che riguarda le dismissioni 21

Backup slides 22

ATLAS: Utilizzo risorse Tier 3 in Italia Wall Clock [s] 6e9 Apr 2012 Sep 2014 WCT WCT Genova Roma 3 Job Efficiency T3 Lecce Bologna 23

Previsione dell’utilizzo delle risorse fino al 2016 Tenendo conto dei miglioramenti del codice e nella scrittura degli eventi Nei calcoli per il 2015 si assumono 21 settimane di presa dati e 30% di efficienza, con la maggior parte del run a 25 ns, luminosità dell’ordine di 1034cm- 2s-1 e pilep moderato (μ=25) Nei calcoli per il 2016 si assume inoltre un pileup più alto (μ=40) e una possibile luminosità più alta (1.5 x 1034cm-2s-1 @ 25 ns) 24

Avg(Byterate)+StD(Byterate) Tier 2 Diretti (T2D) T2D = Tier2 “Directly Connected” Tier2 connessi direttamente tra di loro e a tutti i Tier1 Storage per dati primari come i Tier1 Preplacement di una quota di dati Group data Requirement molto stretti Metriche di trasferimento con tutti i Tier1 Livello di commitment e relibility adeguato Avg(Byterate)+StD(Byterate) SMALL <0.05MB/s <0.1MB/s ≥0.1MB/s MEDIUM <1MB/s <2MB/s ≥2MB/s LARGE <10MB/s <15MB/s ≥15MB/s T2D approvati: AGLT2 BEIJING-LCG2 BU_ATLAS_Tier2 CA-SCINET-T2 CA-VICTORIA-WESTGRID-T2 CSCS-LCG2 DESY-HH DESY-HH DESY-ZN GOEGRID GRIF GRIF IFIC-LCG2 IN2P3-LAPP IN2P3-LPC IN2P3-LPSC INFN-MILANO-ATLASC INFN-NAPOLI-ATLAS INFN-ROMA1 LRZ-LMU MPPMU MWT2_UC SWT2_CPB TOKYO-LCG2 UAM-LCG2 UKI-LT2-QMUL UKI-NORTHGRID-LANCS-HEP UKI-NORTHGRID-MAN-HEP UKI-SCOTGRID-ECDF UKI-SCOTGRID-GLASGOW UKI-SOUTHGRID-OX-HEP UNI-FREIBURG WT2 WUPPERTALPROD ifae I 3 T2 italiani più grandi (Milano, Napoli, Roma) sono stati dichiarati T2D dall’inizio e sono entrati subito in LHCONE. Frascati sarà incluso quando avrà i requisiti minimi di risorse necessarie. 2525

Classificazione dei Tier 2 Necessità di individuare i siti più affidabili per l’analisi cui inviare la maggior parte dei dati. Classificazione in base alle performance (stabilità) 4 Gruppi: Alpha: (60% share): T2D con rel > 90% Bravo: (30% share): non T2D con rel> 90% Charlie: (10% share): 80% < rel < 90% Delta: (0% share): rel <80% Aprile 2013 2626

Preparazione al run del 2015 ATLAS ha piani ambiziosi per l’upgrade delle attività di Software e Computing Software: ricostruzione, simulazione, analisi Ottimizzazione delle performance degli algoritmi, utilizzando in modo più adeguato le CPU moderne Riduzione dell’utilizzo di memoria Parallelismo a livello di evento e di algoritmo Riduzione della dimensione degli eventi Computing distribuito Nuovo sistema di Data Management (Rucio) File based data management, subscriptions and rules, .. Upgrade del Production System (PanDA + JEDI + DEfT) New TRF, log file merging, … Merging at T2s, dynamic job definition based on scouts, … Procedure operative e workflow Ottimizzazione delle analisi di gruppo e utenti finali 27

Multiprocessing e concurrent framework Le risorse Grid in WLCG sono limitate come agreement a 2GB/core Il software di ricostruzione di ATLAS fatica a mantenere questo limite Non è ancora possibile girare la ricostruzione a 64 bit tranne che in nodi speciali dove è disponibile più memoria Tale situazione certamente peggiora con l’aumento dell’energia e del pileup Le nuove tecnologie vanno in direzione di CPU many-core, perciò l’approccio corrente non è più sostenibile, nonché l’ultilizzo di eventuali risorse HPC praticamente impossibile ATLAS prevede di rendere operativo AthenaMP durante LS1 e iniziare lo sviluppo di un nuovo framework concorrente con Full threading e parallelismo a livello di eventi e algoritmi Collaborazione con IT/OpenLab, PH-SFT, LHCb e CMS Questo nuovo approccio richiederà anche la migrazione del sistema di Computing distribuito, a partire dalle configurazioni delle code fino alle convenzioni di nomenclatura dei file Necessaria una chiara strategia per I siti, in fase di sviluppo 28

Group Analysis Workflow - AMSG Il formato AOD sembra non essere l’ “Analysis Object Data” per la maggior parte delle analisi La produzione dei formati di dati di gruppo (D3PD/NTUP) è effettuata centralmente La situazione corrente rallenta l’analisi, crea problemi nella Grid, riempiendo I dischi, e non scala al 2015 con il Run 2 E’ necessario cambiare il modello di analisi e il suo workflow per aumentare il thoughput La full event reconstruction dai dati RAW agli AOD impega 20 s/evento ed occupa 200 kB/evento 29

Utilizzo della farm HLT durante LS1 La farm HLT di ATLAS verrà usata come un “sito” Grid opportunistico durante LS1 ~14k core, corrispondenti ad un grande T2 (se non un T1) Infrastruttura overlay di tipo Cloud basata su OpenStack CERN IT (Agile), CMS (HLT Farm) e BNL già utilizzano OpenStack 30

Nuovi protocolli di accesso ai dati Sperimentazione dei nuovi protocolli di accesso xrootd e HTTP supportanto lo streaming su WAN Sperimentazione dei protocolli di accesso remoti e comparazione con I protocolli di storage nativi a disposizione I protocolli verranno adottati sulla base delle performance, dell’affidabilità e della semplificazione che manifesteranno Valutazione successiva di un modello per la rottura del modello di località dei dati per i job Impatto sull’infrastruttura (storage e network) Migrazione finale all’infrastruttura di Storage Federato Attualmente basato su sulla tecnologia xrootd (FAX) 31

Uso di risorse opportunistiche Cloud commerciali a basso costo o gratuite Utilizzo di VM allocate staticamente in una cloud è stato ampiamente dimostrato in produzione (includendo anche la farm HLT) ATLAS si concentrerà ad ottimizzare la gestione dinamica delle risorse di calcolo attraverso delle interfacce di provisioning di VM (ad esempio OpenStack) Il piano consiste nell’integrare la AutoPilot Factory 2 con OpenStack/EC2 Si lavorerà sull’ottimizzazione del workflow per l’utilizzo di risorse opportunistiche Il nuovo “event server”, ossia il dispatcher di eventi per la parallelizzazione dei task, sarà molto utile in questo ambito Possibilità di utilizzo di risorse di tipo HPC, ma alcuni problemi Whole-node scheduling Assenza di disco nei nodi Nessuna connessione outbound 32

GPU: GAP Realtime (FIRB) “Realization of an innovative system for complex calculations and pattern recognition in real time by using commercial graphics processors (GPU). Application in High Energy Physics experiments to select rare events and in medical imaging for CT, PET and NMR.” FIRB partito ad inizio del 2013 Per ciò che riguarda la comunità HEP, verrà studiato l’utilizzo di trigger hardware di basso livello con latenza ridotta e trigger software di alto livello Si studieranno I casi di NA62 L0 e l’High Level Muon Trigger di ATLAS come “casi fisici” Roma coinvolta nello studio del trigger di ATLAS 33

ATLAS: as study case for GPU sw trigger The ATLAS trigger system has to cope with the very demanding conditions of the LHC experiments in terms of rate, latency, and event size. The increase in LHC luminosity and in the number of overlapping events poses new challenges to the trigger system, and new solutions have to be developed for the fore coming upgrades (2018-2022) GPUs are an appealing solution to be explored for such experiments, especially for the high level trigger where the time budget is not marginal and one can profit from the highly parallel GPU architecture We intend to study the performance of some of the ATLAS high level trigger algorithms as implements on GPUs, in particular those concerning muon identification and reconstruction. Slide from G. Lamanna / A. Messina 34

Altre evoluzioni Completa migrazione ed utilizzo dell’ATLAS Grid Information System in produzione Definitivo abbandono dei servizi di IS di Grid in favore di AGIS Abbandono anche del WMS, finora utilizzato ancora solo per le installazioni del software Installation System migrato completamente ad AGIS + Panda Sorgente primaria di informazioni per Panda e DDM Migrazione ad SL6 Inizio ufficiale delle migrazioni ad SL6 a giugno 2013 Alcune delle release necessitano di una patch per funzionare con l’analisi a causa delle opzioni diverse di compilazione Possibile soluzione generica trovata di recente, in fase di test In ogni caso le release più utilizzate sono state già sistemate o comunque funzionanti nativamente Migrazione ad IPv6 Test dei servizi con IPv6 necessario SHA-2 Migrazione imminente, necessario un controllo dei servizi Finalizzazione dell’integrazione di gLexec in Panda 35

Tabella dei parametri per il 2015-2017 36

Slide from C. Gatti / D. Orestano Trigger rate 2015 Luminosity expected to increase from 7×1033 to 2×1034 corresponding to about a factor 3 in rates Pile up will increase affecting the effective trigger rates Moving to √s=14 TeV cross sections will increase on average by a factor 2.5 Rates would increase by about one order of magnitude. To keep the increase within a factor ~2 (50kHz→100kHz L1 and 450Hz→1kHz EF) selections have to be improved/tightened minimizing the impact on physics. PS: The physics (Higgs, top ...) remains the same. Slide from C. Gatti / D. Orestano 37

Slide from C. Gatti / D. Orestano Trigger menu 2012 vs 2015 Current menu scaled to 1034 Slide from C. Gatti / D. Orestano 38

Increase Jet and MET thresholds Trigger menu 2012 vs 2015 Menu at 2×1034 and 14 TeV Increase single e/gamma threshold Increase single and di muon thresholds Increase single and di tau thresholds Increase Jet and MET thresholds Slide from C. Gatti / D. Orestano 39