ATLAS: il calcolo Alessandro De Salvo 20-7-2015 A. De Salvo – 20 luglio 2015

ATLAS: Utilizzo risorse Tier 1 in Italia 3.5 PB NTUP Expired AOD Secondary May 2014 July 2015 May 2014 July 2015 WCT WCT T1 INFN T1 Job Efficiency Frascati Napoli INFN T1 (7.89%) Milano Roma 2

ATLAS: Utilizzo risorse Tier 2 in Italia Napoli 4 siti T2 (D/S) Frascati Milano Napoli Roma 1 Roma Frascati Milano May 2014 July 2015 4.5 PB Milano NTUP Frascati AOD Job Efficiency Napoli Expired Secondary Roma May 2014 July 2015 3

Nuovo Computing Model di ATLAS nel Run2 Nuovo sistema di computing Rucio (Data Management) Prodsys-2 (Workload Management) FAX ed Event Service per ottimizzare l’utilizzo delle risorse Ottimizzazione della Produzione ed Analisi Run-1: 75% / 25% (slots occupancy ~ cputime usage) Run-2: ~90% / ~10% La maggior parte dell’analisi (Derivation) è spostata sulla (group) production L’analisi rimanente è più veloce e I/O intensive Riduzione del merging e produzione di file più grandi Code dinamiche in Panda (in futuro), basate sui requirement dei job Direct I/O (xrootd e WebDAV/HTTPS) 4

Lifetime dei dati Modello di lifetime dei dati Ogni dataset ha un lifetime settato in fase di creazione La lifetime può essere infinita (ad esempio per i dati RAW) e può essere estesa, ad esempio se il dataset è stato utilizzato di recente oppure se esiste una eccezione conosciuta Ogni dataset ha una retention policy, ad esempio i RAW sono memorizzati in doppia copia su tape e gli AOD almeno una copia su tape Durante la loro lifetime i dataset sono contrassegnati come dati primari, e quindi non cancellabili I dataset con lifetime spirata sono contrassegnati come secondari e possono scomparire in ogni momento dai dischi e dai tape, ad eccezione dei Group disk e LocalGroup disks Utilizzo maggiore del tape, ma non dal punto di vista degli utenti finali, tranne casi particolari 5

Novità del Computing di ATLAS nel Run2 Utilizzo più efficiente delle risorse Maggiore flessibilità nel Computing Model (Clouds/Tiers) Eliminazione dei ruoli stretti T1/T2/T3 Global Panda queue Global Storage Pool (STABLE, UNSTABLE, VOLATILE) Diminuzione delle risorse utilizzate (multicore) Ottimizzazione del workflow delle analisi (Derivation Framework/Analysis Model) La maggior parte delle analisi da ora in poi: Processeranno una grande mole di dati Utilizzeranno meno tempo di CPU Un singolo job di analisi sui dataset derivati può utilizzare fino a 40MB/s (vs. 4 MB/s nel Run-1 con gli AOD) Utilizzo di risorse opportunistiche Grid, Cloud, HPC, Volunteer Computing 6

Risorse opportunistiche: HPC S. Campana – ATLAS Jamboree – Dec 2014 7

Risorse opportunistiche: Cloud S. Campana – ATLAS Jamboree – Dec 2014 8

Risorse opportunistiche: Volunteer Computing Boinc-based Low priority jobs with high CPU-I/O ratio Non-urgent Monte Carlo simulation Need virtualisation for ATLAS sw environment CERNVM image and CVMFS No grid credentials or access on volunteer hosts ARC middleware for data staging The resources should look like a regular Panda queue ARC Control Tower ATLAS @ HOME CERN ARC Control Tower Panda Server ARC CE Boinc server (vLHC@Home) Volunteer PC Boinc Client VM Shared Directory Grid Catalogs and Storage DB on demand BOINC PQ Shared NFS D. Cameron – Pre-GDB on Volunteer Computing – Nov 2014 Volunteers growth Continuous 2000-3000 running jobs almost 300k completed jobs 500k CPU hours 14M events 50% CPU efficiency Currently >10000 volunteers 300 new volunteers/week 9

Storage Federation Goal reached ! >96% data covered We deployed a Federate Storage Infrastructure (*): all data accessible from any location Analysis (and production) will be able to access remote (offsite) files Jobs can run at sites w/o data but with free CPUs. We call this “overflow”. S. Campana – ATLAS Jamboree – Dec 2014 10

Performance del software Ricostruzione Raggiunto il fattore 3 di miglioramento rispetto al Run-1, previsto dal nuovo Computing Model! Dimensione degli AOD Raggiunta la dimensione prevista dal Computing Model 11

Risorse Attività ATLAS 2016 Lo Scrutiny Group ha approvato ad aprile 2015 le seguenti risorse per ATLAS 12

Infrastruttura italiana ATLAS in Italia continuerà ad usare per tutto il Run2 il Tier1 e i Tier2 allo stesso modo del Run1 Tier1 + 4 Tier2 (Tier2 di tipo ‘S’ – Stable) con risorse sempre più equalizzate Interfaccia primaria di tipo Grid Full mesh con accesso ai dati locali e tramite Federazioni di Storage Cambiamenti in fase di studio o di sviluppo Interfacce di tipo Cloud Prototipo di Tier-2 distribuito Progetto PRIN LHC-StoA, tra NA e RM Possibile estensione a più siti T2 Attualmente il target è quello della condivisione di servizi in HA multiregione, ma può anche essere esteso Attività promettente, limitata solo dall’esigua quantità di manpower che può essere dedicato a tale scopo

Novità 2014/2015 nei siti italiani Tutti i siti T1 e T2 Tutti i siti sono abilitati per il processing multicore Buona parte della produzione è ormai multicore, l’analisi ancora no Gestione dinamica abilitata per ora solo al CNAF (ma seguiranno MI e RM) Situazione nell’ultimo anno Tutti i siti molto stabili e con ottime reliability/availability Problema ad un rack a Roma (2 ventole su 3 rotte) che ha portato ad una riduzione di potenza temporanea della CPU, pur non impattando da un punto di vista ATLAS Migrazione ad APEL senza grossi problemi, pur avendo dovuto adattare le procedure alle situazioni dei singoli siti Milano: Condor RM e NA: multi-sito con singolo publisher “Prove di matrimonio” tra ATLAS e CMS a RM Testata con successo una configurazione comune di WN A breve verranno create le code di overflow, una per ogni esperimento, che permetteranno un overlap incrementale, ove sia possibile 14

Partecipazione italiana alle attività di ATLAS ATLAS Italia partecipa alle attività di ADC in diversi aspetti Database (Coordinamento, Frontier, Conditions) Installazione del software (CVMFS e distribuzione) Monitoring Network infrastructure (LHCONE) Storage Federazioni di xrootd e HTTPD DPM VO management Altre attività (PRIN) Cloud Computing Hadoop (EventIndex) Network Infrastructure (LHCONE) Proof on Demand La partecipazione alle rimanenti attività è largamente limitata dalla disponibilità di persone Attività sulle GPU, inserite in un FIRB Interesse della comunità per GPU e multiprocessing/ottimizzazione del codice, ma NON c’è manpower 15

Conclusioni Il Computing di ATLAS ha dimostrato di essere robusto ed affidabile per il processamento dei dati, sia MC che analisi finale Computing Model di ATLAS è stato quasi completamente ridisegnato, sia a livello del codice di ricostruzione/analisi sia dei servizi infrastrutturali, incrementandone l’efficienza I siti italiani sono stati sempre attivi ed efficienti 16

Backup slides 17

Network DDM Ingoing DDM Outgoing Traffico di Rete 18 FRASCATI MILANO NAPOLI ROMA 18

Availability / Reliability 2011-2015 Valori medi 2011/2015 Frascati Milano rel ava 97% 94% 91% 89% Napoli Roma 96% 95% Availability = time_site_is_available/total_time Reliability = time_site_is_available/ (total_time-time_site_is_sched_down) 19

ATLAS: Utilizzo risorse Tier 2 in Italia [2] Frascati Milano 05/2014 05/2015 05/2014 05/2015 Napoli Roma 05/2014 05/2015 05/2014 05/2015 Plot di accounting (Faust): la linea verde è il pledge per sito Buone performance dei siti Qualche problema a livello ATLAS centrale per riempire i siti fino ad aprile 2015 Multicore job correttamente accountati solo da gennaio 2015 (problema nei sensori di APEL) 20

Nuovi tipi di Reprocessing nel Run2 Derivation Framework Modello in super-streaming, con scopo finale la produzione per (gruppi di) analisi Potenzialmente può risolvere problemi nell’input di AOD Esegue operazioni intensive di CPU su eventi selezionati I lumi-block completi appaiono solo dopo il passaggio del Derivation Framework AODtoAOD Reprocessing Risolve problemi che necessitano solo di input di AOD Intrinsecamente correlato con il Derivation Framework RAWtoAOD - Fast Reprocessing Riprocessamento veloce dove vengono aggionate solo le Condition Data RAWtoAOD - Full Reprocessing Riprocessamento veloce dove vengono applicate le nuove calibrazioni e viene aggiornato il software 21

S. Campana – ATLAS Jamboree – Dec 2014 Derivation Framework S. Campana – ATLAS Jamboree – Dec 2014 22

Analysis Model per il Run2 S. Campana – ATLAS Jamboree – Dec 2014 Common analysis data format: xAOD replacement of AOD & group ntuple of any kind Readable both by Athena & ROOT Data reduction framework Athena to produce group derived data sample (DxAOD) Centrally via Prodsys Based on train model one input, N outputs from PB to TB S. Campana – ATLAS Jamboree – Dec 2014 23

Event facilities Event Service Event Index Event level processing, implementato a livello di ProdSys (e pilot) L’event service verrà inzialmente utilizzato su risorse tradizionali (grid/cloud) e successivamente anche su HPC e oltre Inizialmente sarà usato per la simulazione, per poi essere ampliato a tutto il resto, fino all’utilizzo di un Event Streaming Service Integrazione con G4Hive e Multi-Threading Event Index Semplificazione del TagDB di ATLAS, trasformandolo in un indice degli eventi (EventIndex), con puntatori allo storage che contiene gli eventi in vari formati (da RAW a NTUP) Basato su Hadoop Imminente sostituzione del TagDB con l’EventIndex 24

Risorse Disponibili 2015 - CPU CPU disponibili fine 2015 CPU Frascati Milano Napoli Roma Totale Pledge HS06 16672 20890 29363 20032 86957 46800 To be pledged 10718 10924 14790 47356 Le CPU totali a disposizione dei Tier2 comprendono anche risorse non pledged: le CPU obsolete (fino al 2015 e già rifinanziate) ancora in produzione ma in corso di spegnimento CPU per uso locale (cluster proof) o in griglia ma dedicate principalmente alle attività italiane (Tier3) finanziate con fondi vari Proof on Demand, share per analisi e simulazione MC per il ruolo atlas/it CPU non a completa disposizione dei siti (es. scope + Recas a NA, ex SuperB, Belle2, a LNF) Nel conto delle CPU pledged NON sono comprese le CPU gara dei rimpiazzi 2015, tranne che per Frascati, ancora da espletare 25

Risorse Disponibili 2015 – Disco Storage disponibile fine 2015 Disco Frascati Milano Napoli Roma Totale Pledge Totale disponibile 868 1242 1546 1238 4894 3712 to be pledged 688 1062 1366 1058 4174 Lo storage totale disponibile nei Tier2 comprende anche l’area locale in cui sono conservati i dati di tutti gli utenti italiani (LOCALGROUP), non solo gli utenti locali La dimensione di queste aree è di circa 180 TB per Tier2 In gran parte già occupata, gli utenti dovranno cancellare i dati vecchi non più necessari per fare spazio ai dati del 2015 l’utilizzo di queste aree è irrinunciabile per cui il loro volume va sottratto allo storage da dichiarare pledged 26

Risorse Obsolete nel 2016 Risorse obsolete 2016 Frascati 3048 120 CPU (HS06) Disco (TBn) Frascati 3048 120 Milano 405 Napoli 2088 204 Roma 444 Tot 11232 1173 Risorse obsolete 2016 Le CPU obsolete sono le macchine comprate nel 2012 e installate fine 2012 inizi 2013 (non sono comprese le macchine installate successivamente). Le CPU hanno garanzia triennale, tranne quelle acquistate a partire dal 2014 Lo storage obsoleto comprende le SAN comprate nel 2010 e installate >= giugno 2011. Garanzia quinquennale La sostituzione del materiale obsoleto, specie per i dischi, è fondamentale per il buon funzionamento dei centri e quindi dell’intero sistema di computing italiano di ATLAS 27

Richiesta Risorse 2016 - I 520 9% 46.8 40.5* 6.3 47 4.23 3.33* 0.9 116 Le risorse necessarie per il 2016 sono determinate dalla volontà di conservare il ruolo significativo nel computing di ATLAS acquisito negli ultimi anni conservando gli share di risorse pledged per le attività centrali: Tier1: 9% Tier2: 9% CPU e 7% Disco e di garantire la competitività agli utenti italiani mediante l’uso di risorse dedicate nei Tier2 e Tier3 ATLAS Share IT ATLAS IT 2016 ATLAS IT disponibile Totale 2016 CPU T1 (kHS06) 520 9% 46.8 40.5* 6.3 Disco T1 (PB) 47 4.23 3.33* 0.9 Tape T1 116 10.5 5.9* 4.6 CPU T2 566 50.9 47.4 3.5 Disco T2 72 7% 5.04 4.17 28 * Pledge 2015

Richiesta Risorse 2016 - II Le risorse per le attività italiane sono già disponibili e non inclusi nel disponibile “pledged” 2016 e non sono necessarie ulteriori richieste New 2016 Obs 2016 Richieste 2016 K€ CPU T2 (kHS06) 3.5 11.2 14.7 176.4 Disco T2 (TB) 870 1173 2043 449.5 Totale 625.9 Totale Prezzi stimati: CPU = 12 k€/kHS Disco = 220 k€/PB 29

Richiesta Risorse 2016 - III Overhead per rete e server aggiuntivi Algoritmo Bozzi (cfr. presentazione CSN1 Bari Settembre 2011): Rete: 6% (cpu) + 5% (disco) = 33.2 k€ Server: 7% (cpu + disco) = 43.9 k€ A cosa servono: Rete: switch di rack Server: servizi di grid A cosa corrispondo questi finanziamenti: Rete: 1÷2 switch con modulo 10 Gbps Per collegare le nuove risorse e/o sostituire i primi switch ormai fuori manutenzione Server: 1÷3 server per sezione 30

Richiesta Risorse 2016 – Riepilogo (A) Richieste totali e per sito: totale delle richieste CPU Pledged 2015 [kHS06] Disco Pledged 2015 [TBn] CPU Obs 2016 [kHS06] Disco Obs 2016 [TBn] CPU New 2016 Disco New 2016 [TBn] CPU Tot 2016 [kHS06] Disco Tot 2016 [TBn] OH Rete [K€] OH Server Tot Frascati 10.7 688 3.05 120 1.17 493 4.22 613 9.8 13 208.5 Milano 10.9 1062 405 208 Napoli 14.8 1366 2.09 204 3.7 4.8 78.5 Roma 1058 444 169 47.3 4174 11.24 1173 3.50 870 14.75 2043 33.1 43.8 704.0 Prezzi stimati: CPU = 12 k€/kHS Disco = 220 k€/PB 31

Richiesta Risorse 2016 – Riepilogo (B) Richieste totali e per sito: risorse strettamente necessarie Tagli possibili, in ordine di rilevanza: Riduzione dell’overhead fino al 50% Rimpiazzo delle solo CPU obsolete già nel 2015 Riduzione dello spazio locale dei siti (-120 TBn) Massimo risparmio, ma in condizioni molto complicate per i siti: 173 kEUR CPU Pledged 2015 [kHS06] Disco Pledged 2015 [TBn] CPU Obs 2016 [kHS06] Disco Obs 2016 [TBn] CPU New 2016 Disco New 2016 [TBn] CPU Tot 2016 [kHS06] Disco Tot 2016 [TBn] OH Rete [K€] OH Server Tot Frascati 10.7 718 0.96 120 1.17 453 2.13 573 3.9 5.3 161.0 Milano 10.9 1092 405 168 Napoli 14.8 1396 204 1.1 1.5 48.0 Roma 1088 444 129 47.3 4294 2.88 1173 3.50 750 6.39 2043 12.8 17.4 531.0 Prezzi stimati: CPU = 12 k€/kHS Disco = 220 k€/PB 32