Utilizzo e Richieste infrastrutture di calcolo esperimenti LHC & non LHC G. Carlino, INFN Napoli CSN1 – Roma 7 Luglio 2016.

Presentazione sul tema: "Utilizzo e Richieste infrastrutture di calcolo esperimenti LHC & non LHC G. Carlino, INFN Napoli CSN1 – Roma 7 Luglio 2016."— Transcript della presentazione:

1 Utilizzo e Richieste infrastrutture di calcolo esperimenti LHC & non LHC G. Carlino, INFN Napoli CSN1 – Roma 7 Luglio 2016

2 L’ infrastruttura di calcolo LHC INFN CSN1 - 7/07/16 G. Carlino - Utilizzo/richieste infrastrutture calcolo esperimenti LHC/non-LHC 2 L’infrastruttura sviluppata per il calcolo LHC (il Tier1 e 10 Tier2) ha raggiunto un livello di maturità e dimensioni tali da poter essere convenientemente ed efficacemente utilizzata da tutti gli esperimenti della commissione (e non solo) L’evoluzione tecnologica (cloud, rete..) rende possibile una centralizzazione delle risorse e l’abbandono dei cluster locali E’ logico e necessario pensare che tutti gli esperimenti INFN, non solo di CSN1, possano utilizzare questa infrastruttura allo scopo di ottimizzare l’utilizzo delle risorse di calcolo e minimizzare le spese

3 L’ infrastruttura di calcolo LHC INFN CSN1 - 7/07/16 G. Carlino - Utilizzo/richieste infrastrutture calcolo esperimenti LHC/non-LHC 3 Donatella Lucchesi (2/16)

4 L’ infrastruttura di calcolo LHC INFN CSN1 - 7/07/16 G. Carlino - Utilizzo/richieste infrastrutture calcolo esperimenti LHC/non-LHC 4 Non esiste solo l’ HTC ! Il grande aumento delle risorse necessarie per i prossimi run di LHC e per molti altri esperimenti non è sostenibile e rende necessario un approccio non “isolazionista” Utilizzo di risorse HPC Utilizzo di cloud commerciali Partecipazione a progetti europee e nazionali per personale, sviluppo e mantenimento delle infrastrutture, acquisizione nuove risorse Sinergie con altri enti e consorzi per creare e utilizzare un’infrastruttura comune a livello italiano Questi sviluppi non sono comunque l’obiettivo di questa presentazione

5 Linee guida (Luglio 2014 – repetita iuvant) CSN1 - 7/07/16 G. Carlino - Utilizzo/richieste infrastrutture calcolo esperimenti LHC/non-LHC 5 Gli esperimenti non LHC sono inseriti in gran parte nella infrastruttura LHC e molti hanno dimostrato notevoli capacità di adottare i più moderni tool E’ necessario che la CSN1 individui delle linee precise per il finanziamento del calcolo degli esperimenti Ricordiamo che la CSN1: non finanzia Tier3 LHC finanzia solo risorse di calcolo, costi infrastrutturali e di manutenzioni sono rimandati a strutture diverse (CCR, Sezioni, Fondi Esterni). Proponiamo che: Gli esperimenti che richiederanno notevoli risorse di calcolo (tipo Belle II) è necessario che definiscano accordi precisi tra la collaborazione e l’INFN e seguano la procedura standard per l’ufficializzazione dei siti Gli esperimenti che chiedono piccoli finanziamenti in termini strutturali (O(10kE) anno) è necessario che si integrino nell’infrastruttura esistente al fine di ottimizzare l’uso e la gestione delle risorse e tagliare i costi infrastrutturali. Le richieste devono essere giustificate in maniera dettagliata e devono chiarire quanto le risorse sono un contributo al calcolo dell’intero esperimento o solo per uso locale Casi particolari, infrastrutture già esistenti e operative da anni, valutati a parte

6 Tier1 – Esperimenti CSN1 - 7/07/16 G. Carlino - Utilizzo/richieste infrastrutture calcolo esperimenti LHC/non-LHC 6, PADME

7 Tier1 CSN1 - 7/07/16 G. Carlino - Utilizzo/richieste infrastrutture calcolo esperimenti LHC/non-LHC 7 CPU (kHS06)Disco (PB-N)Tape (PB) 20161752045 20172002355 Potenza della Farm Rete OPN/ONE : 4 x 10 Gbps (upgrade a 60 Gbps) GP: 2 x 10 Gbps Bari: 2 x 10 Gbps ATLAS

8 Estensione farm Tier1 a Recas Bari CSN1 - 7/07/16 G. Carlino - Utilizzo/richieste infrastrutture calcolo esperimenti LHC/non-LHC 8

9 I Tier2 e la CNS1 CSN1 - 7/07/16 G. Carlino - Utilizzo/richieste infrastrutture calcolo esperimenti LHC/non-LHC 9 Catania Alice, CMS Napoli Atlas, Belle II Bari Alice, CMS Frascati Atlas, (Padme?) Roma1 Atlas, CMS Pisa CMS, Belle II Bologna (CNAF) LHCb Padova/Legnaro Alice, CMS Torino Alice, Belle II, Bes III, Compass Milano Atlas Esperimenti in farm non in siti Tier2: Kloe (Frascati) Compass (Trieste)

10 Multidisciplinarietà siti Tier2 CSN1 - 7/07/16 G. Carlino - Utilizzo/richieste infrastrutture calcolo esperimenti LHC/non-LHC 10 Virtual Organization supportate sull'infrastruttura ReCaS e risorse preesistenti (Tier2s, NA/SCoPE, BA/BC2S/,CT/PI2S2) X Siti RECAS a solo titolo di esempio, tutti i Tier2 ospitano a vari livelli numerose VO non di CSN1

11 Multidisciplinarietà siti Tier2 CSN1 - 7/07/16 G. Carlino - Utilizzo/richieste infrastrutture calcolo esperimenti LHC/non-LHC 11 Condivisione delle infrastrutture tra gli esperimenti. Esempio Sezione di Torino. necessaria per ovviare all’aumento di risorse nei siti e alla varietà di applicazioni senza un adeguato incremento del manpower Acquisti HW in comune (costi migliori) e trasparenti agli esperimenti L’approccio Cloud (IaaS) ottimizza la fornitura di risorse a utenti diversi Siti grid Farm Utenti singoli

12 Utilizzo dei Tier2 CSN1 - 7/07/16 G. Carlino - Utilizzo/richieste infrastrutture calcolo esperimenti LHC/non-LHC 12 Accounting Tier2 ATLAS – ultimo anno Frascati Roma1Napoli Milano Occupazione del disco nei 4 Tier2 confrontando spazio occupato e totale disponibile Sistema di cancellazione dati performante

13 Utilizzo dei Tier2 CSN1 - 7/07/16 G. Carlino - Utilizzo/richieste infrastrutture calcolo esperimenti LHC/non-LHC 13 Accounting Tier2 CMS – ultimo anno Pisa Legnaro Bari Roma1 Legnaro e Pisa: buchi dovuti a problemi di accounting, in ripubblicazione Bari: Risorse RECAS in utilizzo da poche settimane, precedenti problemi a causa del vecchio storage e dell’impossibilità di eseguire i workflows ad alto IO Roma1: problemi di personale risolti, risorse 2016 ancora da dispiegare completamente

14 Le Richieste Finanziarie 2017 CSN1 - 7/07/16 G. Carlino - Utilizzo/richieste infrastrutture calcolo esperimenti LHC/non-LHC 14 N.B.: le richieste non sono state ancora referate, in alcuni casi sono state discusse con gli esperimenti

15 Costi Unitari CSN1 - 7/07/16 G. Carlino - Utilizzo/richieste infrastrutture calcolo esperimenti LHC/non-LHC 15 2016 – 2017 CPU T1: 14 – 10 €/HS CPU T2: 12 – 10 €/HS Disco T1: 240 – 200 €/TBn Disco T2: 220 – 200 €/TBn Tape: 25 – 25 €/TB C.U. determinati in base all’esito di gare recenti e indagini di mercato

16 Richieste Tier1 CSN1 - 7/07/16 G. Carlino - Utilizzo/richieste infrastrutture calcolo esperimenti LHC/non-LHC 16

17 Richieste al Tier1 CSN1 - 7/07/16 G. Carlino - Utilizzo/richieste infrastrutture calcolo esperimenti LHC/non-LHC 17 Risparmi gare 2016 al CNAF, possibilità di ridurre il finanziamento Richieste determinate tenendo conto degli incrementi e dei rimpiazzi. L’assenza di rimpiazzi di CPU (anno fortunato!) non permette strategie per ridurre le richieste Crisi di risorse per l’ottimo andamento di LHC ? -> vedi talk di Donatella Totale CSN1 = 166 k€

18 Richieste Tier2 CSN1 - 7/07/16 G. Carlino - Utilizzo/richieste infrastrutture calcolo esperimenti LHC/non-LHC 18 ATLASHS / TBnk€ CPU disponibile 201651.4 rimpiazzi 20168.3680.4 rimpiazzi 20171.0410.4* nuove 201724.80248.0 totale 201734.20342.0 Disco disponibile 20165116 rimpiazzi 20171032206.4 nuove 201734869.6 totale 20171380276.0 Over Head Server43.3* Rete34.6* Totale695.9 * indica le voci dove è possibile ridurre i finanziamenti senza enormi sofferenze per gli esperimenti e senza modiche di pledges Rimandare la sostituzione CPU obsolete 2017 al 2018 Non finanziare (completamente) gli Over-Head Range 607.7 – 695.9 k€ gare 2016 ancora in corso, possibili risparmi a scalare nel 2017

19 Richieste Tier2 CSN1 - 7/07/16 G. Carlino - Utilizzo/richieste infrastrutture calcolo esperimenti LHC/non-LHC 19 CMSHS / TBnk€ CPU disponibile 201684.0 rimpiazzi 201615.9159.0 rimpiazzi 201711.2112.0* nuove 20176.060.0 totale 201733.1331.0 Disco disponibile 20164557 rimpiazzi 20171189237.8 nuove 20171803360.6 totale 20172992598.4 Over Head Server65.0* Rete52.2* Totale1046.9 * indica le voci dove è possibile ridurre i finanziamenti senza enormi sofferenze per gli esperimenti e senza modiche di pledges Rimandare la sostituzione CPU obsolete 2017 al 2018 Non finanziare (completamente) gli Over-Head Range 817.7 – 1046.9 k€ gare 2016 ancora in corso, possibili risparmi a scalare nel 2017

20 Belle II CSN1 - 7/07/16 G. Carlino - Utilizzo/richieste infrastrutture calcolo esperimenti LHC/non-LHC 20 Modello di calcolo in maturazione, attività di produzione Monte Carlo e sviluppo sw e mw in crescita In Italia: Raw Data Centre (Tier1) : CNAF Regional Centre (Tier2): Napoli, Pisa, Torino

21 Belle II - richieste CSN1 - 7/07/16 G. Carlino - Utilizzo/richieste infrastrutture calcolo esperimenti LHC/non-LHC 21 Stima delle risorse necessarie dal 2016 al 2024 da perfezionare – previsto un update a settembre Tape Disco CPU Italia: 12% della collaborazione In prospettiva, risorse: 40% @ CNAF 60% @ Tier2 Risorse disponibili: Disco: 150 TB @ CNAF 400 TB @ Napoli CPU: 5 KHS @ CNAF 13 KHS @ Napoli Necessità 2017 Disco: 440 TB CPU: 34 kHS Richieste CPU 2017 5 kHS = 50 k€ @ CNAF 5 kHS = 50 k€ @ Torino 6 kHS aggiuntive a Napoli/Recas

22 KLOE CSN1 - 7/07/16 G. Carlino - Utilizzo/richieste infrastrutture calcolo esperimenti LHC/non-LHC 22 Stima del Data Volume RAW Data @ CNAF: 1.5 PB (0.5 nel 2016 e 1 nel 2017) Richiesta 2016: 0.5 PB = 12.5 k€ Richiesta 2017: 1 PB = 25 k€

23 KLOE – richieste 2017 CSN1 - 7/07/16 G. Carlino - Utilizzo/richieste infrastrutture calcolo esperimenti LHC/non-LHC 23 Specificità del cluster online-offline di Kloe Si garantisce il mantenimento nel periodo di presa dati. Successivamente le attività di Monte Carlo e Analisi andranno svolte su farm “standard” con OS Linux Attività di porting codice MC su Linux iniziata con un nuovo collaboratore di Cracovia @ LNF

24 PADME CSN1 - 7/07/16 G. Carlino - Utilizzo/richieste infrastrutture calcolo esperimenti LHC/non-LHC 24 Attività 2017 – Produzione Monte Carlo e Test Beam Calcolo off-line: Produzione Monte Carlo Iniziata l’attività in Griglia, VO creata e test in corso, contatti con il Tier2 di LNF Ricostruzione dati e Monte Carlo e Analisi Farm locale a LNF (LHCb), CPU e Disco sufficiente Parametri Computing Model Tempo di simulazione: 10 HS sec Event size: 10 kB 1 anno di presa dati: 2 10 9 eventi - 3x da simulare Stima preliminare risorse CPU Monte Carlo: ~ 2 kHS = 20 k€ @ Tier2 LNF (?) Tape: 100 TB = 2.5 k€ @ CNAF Disco (buffer): 10 TB = 2 k€ @ CNAF

25 COMPASS CSN1 - 7/07/16 G. Carlino - Utilizzo/richieste infrastrutture calcolo esperimenti LHC/non-LHC 25 Torino CPU: 0.5 / 1 kHS = 5 / 10 k€ - Disco: 20 TB = 4 k€ Trieste CPU: 0.5 kHS = 5 k€ – Disco: 40 TB = 8 k€ Mantenimento potenza di calcolo attuale, non discusso ancora con l’esperimento

26 LHCf CSN1 - 7/07/16 G. Carlino - Utilizzo/richieste infrastrutture calcolo esperimenti LHC/non-LHC 26 CPU: 2 kHS = 20 k€ @ CNAF Fine 2016 run p-Pb e 2017 il run a RHIC. CPU: Disponibile 2 kHS @ CNAF –sono in sofferenza. Con la CPU attuale non sono riusciti a completare neanche il 40% delle simulazioni del solo ARM2 con uno solo dei modelli MC che usano e le simulazioni con ioni richiedono molta CPU

27 BES III CSN1 - 7/07/16 G. Carlino - Utilizzo/richieste infrastrutture calcolo esperimenti LHC/non-LHC 27 Tier2 nell’ infrastruttura Cloud nella sezione di Torino –Risorse dedicate: ~ 2 kHS + 60 TB Test di fattibilità a Recas Napoli effettuati con successo nel 2015 Necessità risorse: –500 cores e 200 TB @ Recas Napoli per supportare i picchi dell’attività CGEM- IT nel 2017 e prima parte 2018 –Contatti in corso con Recas, se fattibile, nessuna richiesta alla CSN1

28 Conclusioni CSN1 - 7/07/16 G. Carlino - Utilizzo/richieste infrastrutture calcolo esperimenti LHC/non-LHC 28 Riassunto richieste calcolo 2017 Non LHC : 166 k€ @ CNAF Tier2 LHC: <= 1743 k€ @ 10 Tier2 Kloe: 209 + 16 s.j. k€ @ LNF Belle II: 50 k€ @ Torino Padme: 20 k€ @ LNF (?) Compass: ~ 25 k€ @ Torino + Trieste Riduzioni assegnazioni dopo referaggi puntuali e utilizzando eventuali risparmi gare 2016.