Riunione con Referee Calcolo LHC stato e richieste finanziarie Bologna, 19 Maggio 2017 Calcolo ALICE: stato e richieste finanziarie Domenico Elia Domenico Elia Riunione Referee Calcolo LHC / Bologna, 19.5.2017

Riunione Referee Calcolo LHC / Bologna, 19.5.2017 Outline ALICE Computing status: stato e prospettiva presa dati Run2 impiego risorse 2016 e attesa 2017-2018 performance siti italiani Richieste finanziarie: situazione CPU e storage nei Tier-2, piano dismissioni richieste ordinarie 2018 (Tier-1 e Tier-2) Domenico Elia Riunione Referee Calcolo LHC / Bologna, 19.5.2017

Riunione Referee Calcolo LHC / Bologna, 19.5.2017 ALICE Computing status Run2 data taking target Pb-Pb collisions: reach target of 1 nb-1 integrated luminosity for rare triggers increase statistics of min bias and centrality triggered events pp collisions: collect reference rare trigger sample of 40 pb-1 (equivalent to 1 nb-1 sample in Pb-Pb) enlarge statistics of the unbiased data sample (including min bias collisions at top energy) p-Pb collisions: enlarge the existing data sample (in particular the unbias event sample @ 5.02 TeV) Domenico Elia Riunione Referee Calcolo LHC / Bologna, 19.5.2017

Riunione Referee Calcolo LHC / Bologna, 19.5.2017 ALICE Computing status Run2 data taking overview Domenico Elia Riunione Referee Calcolo LHC / Bologna, 19.5.2017

Riunione Referee Calcolo LHC / Bologna, 19.5.2017 ALICE Computing status Raw data collection 2015-16 p-p HLT compression, High IR Pb-Pb End of year stop No HLT compression HLT + ROOT compression, Low IR p-A Total 2016: ~7 PB raw 80% replicated to T1s (ran out of tape) T0: 25 PB (+18% wrt 2016 pledge) T1: 18 PB (+4% wrt Total Run1+Run2: ~25 PB Domenico Elia Riunione Referee Calcolo LHC / Bologna, 19.5.2017

Riunione Referee Calcolo LHC / Bologna, 19.5.2017 ALICE Computing status Computing model for Run2 Relevant changes since model update (2014): RCU2 (TPC r/o electronics update, increase r/o x 2): originally planned for 2015, final version installed in 2016 larger than expected distorsion in TPC at high IR: fully corrected in 2016 at a price of +5% CPU increase average observed pp data size: 1.1 MB  3 MB, due to pileup that we cannot reduce online HLT compression improved: compression factor 4.3  5.5 improved data taking efficiency: LHC efficiency 60%, ALICE efficiency 95% allowed to collect expected triggers, while taking data at lower IR Domenico Elia Riunione Referee Calcolo LHC / Bologna, 19.5.2017

Riunione Referee Calcolo LHC / Bologna, 19.5.2017 ALICE Computing status Resource usage in 2016 Overall disk usage as of today: ~90% CERN-RRB-2017-056 Domenico Elia Riunione Referee Calcolo LHC / Bologna, 19.5.2017

Riunione Referee Calcolo LHC / Bologna, 19.5.2017 ALICE Computing status Resource usage in 2016 High Grid usage (opportunistic resources): average 76K parallel jobs, stable share of the various workflows HLT cluster used as Grid site (4K jobs, ~5% of the total) Domenico Elia Riunione Referee Calcolo LHC / Bologna, 19.5.2017

Riunione Referee Calcolo LHC / Bologna, 19.5.2017 ALICE Computing status Data processing status Substantial IR-induced distorsions in the TPC: offine (Run-3 like) correction algorithm developed and validated allowed to start raw data processing: 2015 Pb-Pb + 2016 p-Pb period longest pp data taking periods, both for 2015 and 2016 complete 2015 and 2016 data sets for di-muon spectrometer Full processing of remaining 2015/2016 data ongoing: to be done: 10% 2016 pp and 40% 2015 pp data completion expected by end of June Associated MC productions: following raw data processing (large effort done for QM) Domenico Elia Riunione Referee Calcolo LHC / Bologna, 19.5.2017

Riunione Referee Calcolo LHC / Bologna, 19.5.2017 ALICE Computing status Expected in 2017-18 Pb-Pb 2018 ~12 PB pp 2017-2018 ~17.5 PB During pp data taking mode will be set to limit the TPC readout rate to 400 Hz: total amount of data recorded will be 17.5 PB Pb-Pb run in 2018: assuming the HLT compression of a factor of 6, total readout rate of 10 GB/s total amount of data recorded will be 12 PB Domenico Elia Riunione Referee Calcolo LHC / Bologna, 19.5.2017

Riunione Referee Calcolo LHC / Bologna, 19.5.2017 ALICE Computing status New storage capacity in 2017 Status of the disk storage: 43/48 PB disk used (90%) cleanup ongoing but production filling faster ... need the 2017 capacity installed asap: especially on SEs which are >~ 90% full these are 24/58 and many of them >1 PB SEs Domenico Elia Riunione Referee Calcolo LHC / Bologna, 19.5.2017

Riunione Referee Calcolo LHC / Bologna, 19.5.2017 ALICE Computing status New storage capacity in 2017 Status of the disk storage: 43/48 PB disk used (90%) cleanup ongoing but production filling faster ... need the 2017 capacity installed asap expected deficit in 2017: ~15-20% Domenico Elia Riunione Referee Calcolo LHC / Bologna, 19.5.2017

Riunione Referee Calcolo LHC / Bologna, 19.5.2017 ALICE Computing status Replica and cleanup Very tight policy already in place: raw data: 2 copies (on tape) derived data for active datasets: ESDs – 1 copy (no replicas) AODs – 2 copies Relatively important data volume (11PB) not accessed in past 12 months: if the window is enlarged to 2 years unused data portion drops down to 2.5 PB 1.5 PB removed since February Domenico Elia Riunione Referee Calcolo LHC / Bologna, 19.5.2017

Riunione Referee Calcolo LHC / Bologna, 19.5.2017 ALICE Computing status Performance of the Italian sites 2016 TO: 9.6% BA: 22.8% LNL: 16.7% CT: 8.5% CNAF: 40.9% Domenico Elia Riunione Referee Calcolo LHC / Bologna, 19.5.2017

Riunione Referee Calcolo LHC / Bologna, 19.5.2017 ALICE Computing status Performance of the Italian sites 2016 CERN: 29.1% INFN: 12.8% Domenico Elia Riunione Referee Calcolo LHC / Bologna, 19.5.2017

Riunione Referee Calcolo LHC / Bologna, 19.5.2017 ALICE Computing status Performance of the Italian sites Used / pledge integrato 2016: ~140-150% Pledge 2016: 29000 HS06 (~7250 KSi2k) Periodo < Maggio 2016: attività senza label di esperimento ma costante: Domenico Elia Riunione Referee Calcolo LHC / Bologna, 19.5.2017

Riunione Referee Calcolo LHC / Bologna, 19.5.2017 ALICE Computing status Performance of the Italian sites Used / pledge integrato 2016: ~85% Used / pledge integrato 2016: ~80% TO CT Used / pledge integrato 2016: ~200% Used / pledge integrato 2016: ~160% BA LNL come per T1 Domenico Elia Riunione Referee Calcolo LHC / Bologna, 19.5.2017

Riunione Referee Calcolo LHC / Bologna, 19.5.2017 ALICE Computing status Performance of the Italian sites Jan – Apr 2017 CT BA LNL TO Domenico Elia Riunione Referee Calcolo LHC / Bologna, 19.5.2017

Riunione Referee Calcolo LHC / Bologna, 19.5.2017 ALICE Computing status Performance of the Italian sites Domenico Elia Riunione Referee Calcolo LHC / Bologna, 19.5.2017

Riunione Referee Calcolo LHC / Bologna, 19.5.2017 ALICE Computing status Performance of the Italian sites Domenico Elia Riunione Referee Calcolo LHC / Bologna, 19.5.2017

Riunione Referee Calcolo LHC / Bologna, 19.5.2017 ALICE Computing status Performance of the Italian sites T1 – DISK Used / pledge (May 2017): ~97% (pledge = pledge 2016) T1 – TAPE Used / pledge (May 2017): ~110%* (pledge = pledge 2016) *1 PB anticipated by end 2016 against 2017 pledge Domenico Elia Riunione Referee Calcolo LHC / Bologna, 19.5.2017

Riunione Referee Calcolo LHC / Bologna, 19.5.2017 ALICE Computing status Performance of the Italian sites T2 – DISK Used / pledge (May 2017): ~84% Domenico Elia Riunione Referee Calcolo LHC / Bologna, 19.5.2017

e richieste finanziarie Situazione risorse e richieste finanziarie Domenico Elia Riunione Referee Calcolo LHC / Bologna, 19.5.2017

Riunione Referee Calcolo LHC / Bologna, 19.5.2017 Richieste finanziarie Situazione CPU/storage Italia In produzione al Tier-1: CPU: 38295 HS06 (pledge 2017) DISK: 3900 TB (pledge 2016) TAPE: 6500 TB (2016 + 1 PB) In produzione ai Tier-2: Pledge 2017 DISK: 4477 TB TAPE: 10815 TB expected ~September Pledge 2017 50875 HS06 + 5791 TB Disponibili (incluso obsoleti non ancora dismessi) Maggio 2017 Bari Catania Padova-LNL Torino Totale HS06 10512 13147 11385 10273 45317 TB 1224 1204 1202 1126 4756 Domenico Elia Riunione Referee Calcolo LHC / Bologna, 19.5.2017

Riunione Referee Calcolo LHC / Bologna, 19.5.2017 Richieste finanziarie Situazione CPU/storage Tier-2 Finanziamento 2017 da CSN3: richieste: 438 k€ (390 crescita e rimpiazzi + 48 overhead) assegnazioni inventario: 376 k€ garantita intera crescita netta (287 k€) parte dei rimpiazzi a LNL-PD, CT e TO (74 k€) 30% della richiesta overhead (15 k€)  quote (minime) da acquisire: ~8400 HS06 + 1390 TB assegnazioni missioni: 13 k€ (6 BA, 2 TO/TS, 1.5 CT/PD) Domenico Elia Riunione Referee Calcolo LHC / Bologna, 19.5.2017

Riunione Referee Calcolo LHC / Bologna, 19.5.2017 Richieste finanziarie Situazione CPU/storage Tier-2 Finanziamento 2017 da CSN3: richieste: 438 k€ (390 crescita e rimpiazzi + 48 overhead) assegnazioni: 376 k€ (361 crescita e rimpiazzi + 15 overhead) Suddivisione tra i siti (~8400 HS06 + 1390 TB): CPU: 6900 HS06 crescita netta BA: 2500 HS06  13000 HS06 (2500 crescita + 0 rimpiazzi = 2500 HS06) CT: 0  13100 HS06 PD: 1700 HS06  13100 HS06 (1700 crescita + 0 rimpiazzi = 1700 HS06) TO: 2700 HS06  13000 HS06 (2300 crescita + 1900 rimpiazzi = 4200 HS06) DISK: 1090 TB crescita netta BA: 180 TB  1400 TB (180 crescita + 0 rimpiazzi = 180 TB) CT: 350 TB  1500 TB (350 crescita + 130 rimpiazzi = 480 TB) PD: 300 TB  1500 TB (300 crescita + 65 rimpiazzi = 360 TB) TO: 260 TB  1500 TB (260 crescita + 100 rimpiazzi = 260 TB)  Domenico Elia Riunione Referee Calcolo LHC / Bologna, 19.5.2017

Riunione Referee Calcolo LHC / Bologna, 19.5.2017 Richieste finanziarie Situazione CPU/storage Tier-2 Finanziamento 2017 da CSN3: richieste: 438 k€ (390 crescita e rimpiazzi + 48 overhead) assegnazioni: 376 k€ (361 crescita e rimpiazzi + 15 overhead) Situazione acquisti 2017: in corso: BA, LNL, TO: gara unica CPU T1+T2 (CNAF) TO: acquisto espansione storage (360 TBL + 2 controller, stornati 55 k€) overhead: prima ricognizione e storno effettuati in preparazione: BA, CT, LNL: gara unica storage T2 ALICE+CMS, discussione capitolato ~3 PB / 600 kEuro: gestione a LNL (o BA), tempistica critica ... Domenico Elia Riunione Referee Calcolo LHC / Bologna, 19.5.2017

Riunione Referee Calcolo LHC / Bologna, 19.5.2017 Richieste finanziarie Situazione CPU/storage Tier-2 Situazione aggiornata con risorse 2017: CPU: 53717 HS06  in eccesso al pledge: 2842 HS06 DISK: 5921 TB  in eccesso al pledge: 130 TB Disponibili a fine 2017 (fatte dismissioni + completati acquisti 2017*) Bari Catania Padova-LNL Torino Totale HS06 13012 13147 13085 14473 53717 TB 1404 1524 1497 1496 5921 * Ipotesi esito acquisti come da finanziamento: CPU: 8400 HS06 DISK: 1390 TB Pledge 2017 50875 HS06 + 5791 TB Domenico Elia Riunione Referee Calcolo LHC / Bologna, 19.5.2017

Riunione Referee Calcolo LHC / Bologna, 19.5.2017 Richieste finanziarie Dismissioni 2017-18 Anno di dismissione Bari Catania LNL-Padova Torino Cagliari Totale HS06 2017 3840 TB 244 130 197 20 591 2018 6672 13147 2149 21968 205 Rinvio dismissioni CPU e storage dal 2017 al 2018: 1920 HS06 (TO) 114 TB (CT) + 65 TB (LNL) + 117 TB (TO) = 296 TB Domenico Elia Riunione Referee Calcolo LHC / Bologna, 19.5.2017

Riunione Referee Calcolo LHC / Bologna, 19.5.2017 Richieste finanziarie Dismissioni 2017-19 Anno di dismissione Bari Catania LNL-Padova Torino Cagliari Totale HS06 2017 1920 3840 TB 130 65 80 20 591 2018 6672 13147 4096 23915 114 323 502 2019 1065 2149 3214 744 960 360 180 2244 Rinvio dismissioni CPU ReCaS (BA e CT) dal 2018 al 2019: 6672 HS06 (BA) + 13147 HS06 (CT) = 19819 HS06 Domenico Elia Riunione Referee Calcolo LHC / Bologna, 19.5.2017

Riunione Referee Calcolo LHC / Bologna, 19.5.2017 Richieste finanziarie Dismissioni 2017-19 Anno di dismissione Bari Catania LNL-Padova Torino Cagliari Totale HS06 2017 1920 3840 TB 130 65 80 20 591 2018 4096 114 323 502 2019 6672 13147 1065 2149 23033 744 960 360 180 2244 Situazione complessiva Tier-2 a inizio 2018: CPU: 53717 – 4096 = 49621 HS06 DISK: 5921 – 502 = 5419 TB Domenico Elia Riunione Referee Calcolo LHC / Bologna, 19.5.2017

Riunione Referee Calcolo LHC / Bologna, 19.5.2017 Richieste finanziarie RRB Aprile 2017 Domenico Elia Riunione Referee Calcolo LHC / Bologna, 19.5.2017

Riunione Referee Calcolo LHC / Bologna, 19.5.2017 Richieste finanziarie RRB Aprile 2017 Risorse pledge T2 e (disk) T1 sensibilmente sotto la richiesta Crescita indispensabile per assicurare analisi dati PbPb (2018) in tempo per SQM/QM 2019 Domenico Elia Riunione Referee Calcolo LHC / Bologna, 19.5.2017

Riunione Referee Calcolo LHC / Bologna, 19.5.2017 Richieste finanziarie RRB Aprile 2017 Share INFN per 2018: CPU, DISK per Tier-1 e Tier-2: 17% (18.5% per 2017) TAPE per Tier-1: 33% (35% per 2017) Domenico Elia Riunione Referee Calcolo LHC / Bologna, 19.5.2017

Riunione Referee Calcolo LHC / Bologna, 19.5.2017 Richieste finanziarie Richieste 2018: Tier-1 e Tier-2 CPU Tier-1 (HS06) DISK Tier-1 (TB) TAPE Tier-1 CPU Tier-2 DISK Tier-2 Pledged T1 Disp. – dismiss. T2 38295 4477 10815 49621 5419 Richiesta ALICE 2018 52020 5440 13530 74460 6970 Delta 13725 963 2715 24839 1551 Stima costo (k€) 109.8 173.3 67.9 198.7 279.2 Totale (k€) 351.0 477.9 Overhead T2 (k€) 59.3 Stima costi T2 (T1): 8 € / HS06 e 180 € / TB (25 € / TB tape) Dismissioni Tier-1: non incluse Overhead Tier-2: 6% CPU + 5% DISCO (rete) + 7% totale (server aggiuntivi) Domenico Elia Riunione Referee Calcolo LHC / Bologna, 19.5.2017

Dismissioni + crescita Richieste finanziarie Richieste 2018: dettaglio Tier-2 Dismissioni HS06 / TB k€   Bari 0,0 Catania 114 20,5 LNL-Padova 65 11,7 Torino 4096 32,8 323 58,1 90,9 Dismissioni totale 502 90,4 123,1 Crescita netta 20743 165,9 1049 188,8 354,8 Dismissioni + crescita 24839 198,7 1551 279,2 477,9 Priorità: crescita netta dismissioni 2017 quota minima overhead T2 (RRB Aprile) Dismissioni*: 123.1 k€ Crescita netta: 354.8 Overhead: 59.3 Totale: 537.2 k€ *Dismissioni 2017: 1920 HS06 15.3 k€ 296 TB 53.3 68.6 k€ Domenico Elia Riunione Referee Calcolo LHC / Bologna, 19.5.2017

Riunione Referee Calcolo LHC / Bologna, 19.5.2017 Backup Domenico Elia Riunione Referee Calcolo LHC / Bologna, 19.5.2017

Riunione Referee Calcolo LHC / Bologna, 19.5.2017 ALICE Computing status Organized analysis evolution 10000 jobs 9100 jobs 5800 jobs 4400 jobs 3000 jobs Year on year increase +47% +32% +57% +10% Domenico Elia Riunione Referee Calcolo LHC / Bologna, 19.5.2017

Riunione Referee Calcolo LHC / Bologna, 19.5.2017 ALICE Computing status Grid efficiency evolution 76% 84% 86% 82% 82% Year on year increase +8% +2% -4% 0% Domenico Elia Riunione Referee Calcolo LHC / Bologna, 19.5.2017