Domenico Elia1 Calcolo ALICE: stato e richieste 2014 Domenico Elia Riunione CSN III / Torino, Commissione Scientifica III Torino, 17 Settembre 2013

Domenico Elia2Riunione CSN III / Torino, Calcolo ALICE Sommario  Brevi note sullo stato del calcolo:  raw data e MC 2012 (e 2013)  modifiche alla politica di storage (ongoing)  efficienza CPU (improving, ora a livello degli altri esp. LHC)  stato dei siti Tier-2 italiani (ragioni di disuniformità comprese)  prossima “Review dei Tier-2” (richiesta della GE)  prospettive nuova call FP8 H2020 (e-Infrastucture)  Richieste finanziarie 2014:  ricognizione CPU e Storage disponibili, dismissioni  richieste inventariabile per Tier-1 e Tier-2  altre richieste (centri minori e missioni)  Costituzione comitato italiano calcolo ALICE (backup slides)

Domenico Elia3Riunione CSN III / Torino, Stato del calcolo in ALICE Dati raccolti nel 2012 (e 2013)  Presa dati 8 TeV e 5.02 TeV:  ~ 300 M eventi pp min bias + rare triggers (high p T EMCAL)  ~ 2 M eventi p-Pb min bias (pilot run)  ~ 130 M eventi p-Pb a Febbraio 2013 (in conto “2012”)  Volume dati e storage:  ~ 1.65 PB RAW data  trattamento standard:  custodial copy su tape al Tier-0  replica ai Tier-1, solo su disco  Ricostruzione e MC:  completa ricostruzione (pass2 e 3) di tutti i dati p-Pb  32 cicli MC p-Pb disponibili (~400 M evts, vari trigger e generatori) 7.5 PB since start of LHC

Domenico Elia4Riunione CSN III / Torino, Stato del calcolo in ALICE Modifiche alla politica di storage  Obiettivo: ridurre impiego di spazio disco  risorsa critica, ancor più in prospettiva degli incrementi futuri  obiettivo non facile, almeno nel modello di calcolo ALICE  Politica in atto da Giugno 2013:  riduzione delle repliche ESD e AOD (sia data che MC):  2 x ESD e 2 x AOD (in precendenza 3 x)  ricognizione ed eliminazione repliche di produzioni obsolete  riduzione a singola replica di produzioni “abbastanza vecchie”  Condizioni per corretto funzionamento del x2 replica:  efficienza degli SE (altrimenti perdita di analysis performance)  spostare gran parte dell’analisi su AOD

Domenico Elia5Riunione CSN III / Torino, Stato del calcolo in ALICE Impiego della Grid

Domenico Elia6Riunione CSN III / Torino, Stato del calcolo in ALICE Efficienza CPU  Efficienza migliorata nel corso dell’ultimo anno:  interventi a basso livello su data buffering  migrazione attività da end-user (analisi caotica) su “LEGO trains”  quality checks sugli Analysis Tasks, uso di AOD etc p-Pb data taking  aumento attività di analisi caotica  riduzione efficienza ~10% (atteso anche in coincidenza di conferenze maggiori) Performance soddisfacente Essenzialmente a livello degli altri esperimenti ad LHC

Domenico Elia7Riunione CSN III / Torino, Stato del calcolo in ALICE Efficienza siti italiani: Tier-2  Andamento generale Tier-2 riflette quello complessivo  Disuniformità in gran parte comprese, ora ridotte:  configurazione storage elements (servers GPFS  XROOTD)  forte correlazione con la disponibilità di storage e dati recenti ottimizzazione e continuo monitoraggio resta tra gli obiettivi e.g. Bari: alto livello di saturazione del disco Catania: ridotto storage (e ridotta CPU) Variazioni principalmente dovute alla tipologia di jobs (analisi caotica/organizzata/MC) e, da sito a sito, alla disponibilità dei dati

Domenico Elia8Riunione CSN III / Torino, Stato del calcolo in ALICE Prospettive breve/medio termine  Attività prevista (in corso) :  proseguimento analisi, in primis dati pp 2012 e p-Pb 2013  reprocessing dati (pp e Pb-Pb), nuova calibrazione  applicazione nuova politica storage, miglioramento efficienza  definizione nuovo CM (progetto O 2 ), TDR calcolo (Ottobre 2014)  Specifico sul fronte italiano:  studi di fisica per upgrade (TRD ITS)  proseguimento attività di monitoraggio dei Tier-2  attività di sperimentazione con le Analysis Facilities (To, Ts)  preparazione documento per review Tier-2 (next slide)  contributo partecipazione call e-Infrastucture FP8 (next to next)

Domenico Elia9Riunione CSN III / Torino, Stato del calcolo in ALICE Review dei Tier-2  Richiesta della GE il 3/9 ai responsabili calcolo LHC:  redigere un documento di max 10 pagine per sito  “in collaborazione con i responsabili di sito, di concerto con i direttori delle Sezioni coinvolte”  da completare entro il 15 Novembre pv  Contenuto:  Storia del Tier-2 e sue particolarità (sinergie etc)  Dettaglio risorse, infrastutture, funzionamento e performance  Sostenibilità per il 2015 e oltre  Risorse umane, eventuali criticità etc  Termine della review atteso per Febbraio 2014

Domenico Elia10Riunione CSN III / Torino, Stato del calcolo in ALICE Progetti europei del FP8 (H2020)  Nuova call FP8 (Horizon 2020):  Excellence Science, Industrial Leadership, Societal changes  per HEP partecipare sarà probabilmente più difficile che in FP7  bandi previsti per Dicembre 2013  Progetti sulla call per e-Infrastructure (call 3):  possibilità di far finanziare una parte dei progetti di calcolo  forte interesse del CERN  impatto sul calcolo WLCG in futuro  aspetti promettenti (di interesse per ALICE): Cloud Computing, Long-term data preservation, Centers of excellence etc  iniziativa INFN: gruppi di lavoro all’interno del CdGA per condurre “un’analisi preliminare dell’interesse scientifico e tecnologico dell’INFN […], esaminando le possibilità concrete di poter competere nelle call”

Domenico Elia11Riunione CSN III / Torino, Richieste finanziarie Situazione CPU e DISCO Italia  Ricognizione delle risorse:  esercizio complicato ma indispensabile:  diverse fonti (Monalisa, spreadsheets su Google-Docs etc)  necessario per valutazione risorse obsolete, scambio con i referees  grazie ai responsabili dei siti per la collaborazione!  CPU attualmente in produzione:  Tier-1: HS06 (pledge 2013)  Tier-2: HS Cagliari (pledge 2013: 30000)  Storage:  Tier-1: 1700 TB DISCO / 3700 TB TAPE (pledge 2013)  Tier-2: 1699 TB + 70 Cagliari (pledge 2013: 2400 TB) + ~650 TB dalla gara 2013 (prossima slide)

Domenico Elia12Riunione CSN III / Torino, Richieste finanziarie Situazione CPU e DISCO Italia  Assegnazione 2013:  solo disco e overhead ai Tier-2: 310 k€ (850 TB + 30 k€ ov.)  anticipo acquisto a TO, già in produzione: 202 TB (fine 2012)  gara 2013 (restanti ~650 TB):  gara congiunta ALICE + CMS (~350 k€ in tutto, ~230 k€ per ALICE)  necessaria gara europea (tempi un po’ più lunghi)  capitolato in GE in pochi giorni, risorse disponibili entro fine anno (hope)  ottimo risultato di una gara recente (Luglio) per ATLAS (DELL)  ALICE: 3 blocchi da ~240 ( ?) TB (BA, PD-LNL e CT)  restanti 10 k€ per completamento quota TO  quota overhead:  ~30 k€ per rete, server aggiuntivi etc  in corso valutazione con i siti, storni (da TO) entro fine mese

Domenico Elia13Riunione CSN III / Torino, Richieste finanziarie Situazione CPU e DISCO Tier-2  Situazione complessiva attuale Tier-2 (+ Cagliari*):  CPU:30123 HS06 (incluso dismessi in linea: HS06)  DISCO: 1769 TB(2030 TB) BariCatania LNL- Padova TorinoCagliariTotale HS TB HS06/TB Full 95.4%82.9%96.0%87.3%98.5% In produzione (escluso obsoleti 2013) Aprile 2013 * Risorse di Cagliari incluse poiché fanno parte del pledged. Altri centri locali, senza risorse pledged: Bologna e Trieste.

Domenico Elia14Riunione CSN III / Torino, Richieste finanziarie Dismissioni 2014 (e 2015) Anno di dismissione BariCatania LNL- Padova TorinoCagliariTotale HS TB HS TB  Situazione complessiva Tier-2 nel 2014*:  CPU:30123 – = HS06  DISCO: – 196 = 2221 TB * Nell’ipotesi di dismettere (e non sostituire) quanto va obsoleto nel In neretto: numeri ripresi nella tabella richieste slide 17.

Domenico Elia15Riunione CSN III / Torino, Richieste finanziarie Sintesi RRB di Aprile 2013 Crescita entro 10%, sensibile aumento del disco nel Previsioni 2015 da rivedere: esame dettagliato RRB Ottobre Fair share 2014: 19.5% per CPU e DISCO ai T1/T2 (21.6% nel 2013)

Domenico Elia16Riunione CSN III / Torino, Richieste finanziarie Richieste 2014: Tier-1 CPU Tier-1 (HS06) DISK Tier-1 (TBn) Pledged – dismiss. T1: vedi global plan ** Valutazioni ALICE Delta Stima costo (k€) Overhead T2 (k€) Totale (k€) Stima costi: 12 € / HS06 e 350 € / TBn Richiesta per Tier-1 sottomessa centralmente dal CNAF * Dismissioni e calcolo risorse: vedi piano interno del Tier-1 (prossime)

Domenico Elia17Riunione CSN III / Torino, Richieste finanziarie Richieste 2014 D. Lucchesi, CSN Needs 2014 (fair share 19%)

Domenico Elia18Riunione CSN III / Torino, Richieste finanziarie Richieste 2014 D. Lucchesi, CSN Needs 2014 (fair share 19%)

Domenico Elia19Riunione CSN III / Torino, Richieste finanziarie Richieste 2014: Tier-1 e Tier-2 CPU Tier-1 (HS06) DISK Tier-1 (TBn) CPU Tier-2 (HS06) DISK Tier-2 (TBn) Pledged – dismiss. T1: vedi global plan Valutazioni ALICE Delta Stima costo (k€) Overhead T2 (k€) 40.5 Totale (k€) Stima costi: 12 € / HS06 e 350 € / TBn Overhead Tier-2: 6% CPU + 5% DISCO (rete) + 7% del totale (server aggiuntivi) Richiesta per Tier-2 sottomessa presso la sede di Bari Richiesta locale Trieste (per AF): 16 k€ (dettaglio slide 20)

Domenico Elia20Riunione CSN III / Torino, Richieste finanziarie Richieste 2014 nel DB: Tier-2 Dismissioni CPU (HS06)DISK (TBn)Richiesta (k€) Bari Catania Padova-LNL Torino Crescita netta totale Tutti i Tier Overhead Tutti i Tier Totale richieste359.5 Dettagliate dismissioni per sito e crescita netta/overhead totale ALICE:  suggerito per gestire più facilmente il contributo ReCaS (backup)

Domenico Elia21Riunione CSN III / Torino, Richieste finanziarie Contributo ReCaS (Tier-2) 2014 CPU (HS06)DISK (TBn) Pledged – dismiss Valutazioni ALICE Delta Stima costo (k€) Totale (k€) ReCaS (k€) CSNIII (k€) 62.2  risorse per la crescita netta ALICE e le dismissioni dei siti BA, CT  a carico CSN3: dismissioni per i siti non-ReCaS (TO, PD-LNL) e overhead Dettaglio richiesta Tier-2: CPU + DISK:318.6 k€ Overhead: 40.5 k€ Totale:359.1 k€ da ReCaS per CPU + DISK:256.4 k€ da CSNIII:102.7 k€

Domenico Elia22Riunione CSN III / Torino, Richieste finanziarie Altre richieste: AF e missioni  Richieste AF Trieste:  potenziamento AF (analisi parallela interattiva, via PROOF) CPU (quad-node, 2 CPU x 6 core = 48 core):7 k€ DISCO (1 TBn x core = 48 TBn):9 k€  Missioni (Bari, resp. nazionale):  Missioni (Torino, deputy): 8.5 k€ 17.5 k€

Domenico Elia23Riunione CSN III / Torino, Backup slides

Domenico Elia24Riunione CSN III / Torino, Richieste finanziarie Contributo ReCaS (Tier-2) CPU (HS06)DISK (TBn)CPU (HS06)DISK (TBn) Pledged – dismiss Valutazioni ALICE Delta Stima costo (k€) Totale (k€) ReCaS (k€) * CSNIII (k€) * * Massimo sfruttabile in ipotesi di pledge tutto a CT (solo rimpiazzi altrove) Considerata la rilevante crescita netta 2015, sensibile sbilancio tra i siti.

Domenico Elia25Riunione CSN III / Torino, Richieste finanziarie Risorse acquisibili con ReCaS  Qualche dettaglio (anche G. CSNI + Pisa 3 Maggio):  parte della attrezzature (“gara unica”: 1984 k€) per LHC  risorse CPU e DISCO “gara unica” nei siti T2 ALICE:  BA (ALICE e CMS): 457 k€  CT (ALICE): 441 k€  assunzione per 2014:  risorse “ALICE-all” + dismissioni CT  CT 8962 HS TB  k€ = k€  dismissioni BA  BA 7416 HS TB  k€ = k€  per 2015 discorso prematuro (RRB Ott, risparmi gara, altri PON ?) :  BA: (ALICE 2014) (CMS 2014) = 131 k€  CT: (ALICE 2014) = 306 k€ k€

Domenico Elia26Riunione CSN III / Torino,  Attività in ALICE durante LS1:  completare TRD (copertura da 60  100%)  installazione DCAL (opposto in azimuth al calorimetro esistente)  modifica TPC readout speed (3 kHz in pp, 300 Hz in Pb-Pb)  Running scenario :  standard years: Aprile-Novembre, pp + Pb-Pb (o p-Pb)  Modifiche ai parametri del CM:  aumento track multiplicity (maggiore energia e pileup)  conseguente aumento CPU ricostruzione e raw data size ~25%  stima risorse 2015 in discussione RRB Ottobre 2013 Prospettive Calcolo ALICE Prospettiva

Domenico Elia27Riunione CSN III / Torino, Prospettive Calcolo ALICE Previsioni post-LS2: nuovo CM  Aumento consistente del flusso di dati (~10 2 )  contenimento delle risorse (calcolo e storage) necessarie:  necessità di ridisegnare interamente il framework di calcolo  Concetti ispiratori:  Cloud computing  Online + Offline (O 2 )

Domenico Elia28Riunione CSN III / Torino, Prospettive Calcolo ALICE Previsioni post-LS2: nuovo CM  Aumento consistente del flusso di dati (~10 2 )  contenimento delle risorse (calcolo e storage) necessarie:  necessità di ridisegnare interamente il framework di calcolo  Concetti ispiratori:  Cloud computing  Online + Offline (O 2 )  Progetto O 2 :  avviato a Marzo 2013  organizzato in CWGs  integrerà DAQ/HLT/Offline, TDR ad Ottobre 2014

Domenico Elia29Riunione CSN III / Torino,  Rivoluzione al Tier-0 (CERN):  divisione Online/HLT/Offline perderà in parte significato  ricostruzione in parte effettuata online in ambiente eterogeneo (FPGA, GPU, Multi-core CPU) e comunque tutta al CERN  Attività ai siti esterni (Tier-1 e Tier-2) :  simulazione MC e analisi (più possibile organizzata)  in corso R&D su Cloud e Analysis Facilities “on demand”  Principali novità in AliRoot 6.x:  dovrà girare su sistemi eterogenei, almeno in parte (GPU etc)  dovrà supportare rivelatori che operano in readout continuo  dovrà supportare la fast simulation  dovrà essere più veloce (x10) e usare meno memoria Prospettive Calcolo ALICE Previsioni post-LS2: nuovo CM

Domenico Elia30Riunione CSN III / Torino, Proposta Comitato Calcolo Motivazione e contenuto  Riunione gruppi INFN del :  mandato al nuovo responsabile nazionale (triennale)  richiesta istituzione di un gruppo per la gestione del calcolo:  su proposta del nuovo responsabile nazionale e dei suoi predecessori  supporto alla gestione e verifiche nell’ambito del calcolo italiano ALICE  suggerito dal crescente numero di ambiti di azione e rappresentanza  Contenuto della proposta:  in agenda:  grazie a Massimo e Alberto per la collaborazione!  punti essenziali:  richiamo dei diversi ambiti in cui opera il responsabile calcolo  proposta di composizione del comitato calcolo  deputy e coordinatore  riunioni del comitato: finalità e frequenza, ipotesi preliminari

Domenico Elia31Riunione CSN III / Torino, Proposta Comitato Calcolo Ambiti di azione nel Calcolo  Rapporti in ordine sparso di impegno richiesto:  coordinamento computing ALICE al CERN  Tier-1 e Consiglio di Gestione (CNAF)  Tier-2 (BA, CT, PD-LNL, TO) e altri siti locali (BO, CA, TS)  CCR e Consiglio di Gestione Allargato  progetti nazionali/europei  altri esperimenti ad LHC  coordinamento ALICE Italia e CSN3  Particolare rilievo attuale ed in prospettiva:  interazione con progetti PON/PRIN per risorse calcolo LHC  coinvolgimento negli sviluppi legati al nuovo CM

Domenico Elia32Riunione CSN III / Torino, Proposta Comitato Calcolo Composizione e ruoli  ALICE INFN Computing Board (AICB):  composizione:  Responsabile nazionale:D. Elia (chair)  Deputy:S. Bagnasco  Coordinatore Tier-2:S. Piano  Membri ex-officio:R. Nania (resp. nazionale ALICE) M. Masera, A. Masoni (prec. resp. Calcolo) R. Barbera, A. Dainese, D. Di Bari (resp. Tier-2)  altri membri:rappresentanti di ciascun istituto (referenti calcolo)  referenti calcolo: responsabili siti per Tier-2 e centri locali  Deputy e Coordinatore Tier-2:  coinvolgimento su tutto il progetto, focus preliminare:  S. Bagnasco: CdG e CdGA Tier-1, interfaccia CERN e siti italiani  S. Piano:Coordinamento Tier-2 e centri locali minori

Domenico Elia33Riunione CSN III / Torino, Proposta Comitato Calcolo Riunioni e finalità  Riunioni AICB:  convocate con frequenza trimestrale (o quadrimestrale)  impiego di una mailing list dedicata  principali temi, in ordine sparso:  discussione e aggiornamento informazioni dal CB ALICE  discussione e aggiornamento attività di sviluppo nuovo CM  verifica stato e risorse dei siti con relativa pianificazione  discussione richieste e interazione con progetti PON/PRIN  verifica piano di acquisizione/distribuzione risorse e gestione gare  AICB allargato:  esteso a tutti coloro che operano nei siti:  riunioni più frequenti (bi-settimanali)  consuetudine già sperimentata, da consolidare