G. Carlino, D. Lucchesi, V. Vagnoni Referaggio CALCOLO Esperimenti non LHC G. Carlino, D. Lucchesi, V. Vagnoni CSN1 – Roma 21 Settembre 2016
Referaggio CALCOLO esperimenti non LHC Non c’è solo LHC Esperimenti non LHC di CSN1 che calcolano in Italia: Belle II, Bes III, CDF, Compass, Kloe, LHCf, NA62 Esperimenti Tier1 Tier2 LHC Farm locali Belle II * NA – PI - TO Bes III TO CDF Compass * (in test) TS KLOE * (tape) LHCF NA62 PADME LNF CSN1 - 21/09/16 Referaggio CALCOLO esperimenti non LHC
Referaggio CALCOLO esperimenti non LHC Richieste 2017 non LHC Esperimenti Richieste CSN1 (k€) Richieste GE (k€) Belle II 50 Bes III CDF Compass 27 KLOE 210 + 26 s.j. 25 LHCF 20 NA62 PADME 4.5 Totale 2017 307 + 26 s.j. 99.5 Totale 2016 496.7 + 80 s.j. Totale 2015 388 + 52.5 s.j. CSN1 - 21/09/16 Referaggio CALCOLO esperimenti non LHC
Referaggio CALCOLO esperimenti non LHC Belle II Computing Model simile a quello WLCG: 1 Tier1 e 3 Tier2 (Napoli, Pisa e Torino) + altri siti per uso opportunistico (Cosenza, Frascati, Legnaro) Attività di computing e software in corso: Computing: produzione MC, sviluppo del CM, studi di networking e data management, R&D cloud computing (cloud TO), gestione del DIRAC server Software: tracking, ECL, tool di analisi (PI, PG, LNF, NA) CSN1 - 21/09/16 Referaggio CALCOLO esperimenti non LHC
Referaggio CALCOLO esperimenti non LHC Belle II – Attività 2015-16 Ruolo importante pure nella campagna MC 2015-16 con contributi superiori allo share IT CSN1 - 21/09/16 Referaggio CALCOLO esperimenti non LHC
Referaggio CALCOLO esperimenti non LHC Belle II – Attività 2015-16 RECAS CNAF CSN1 - 21/09/16 Referaggio CALCOLO esperimenti non LHC
Referaggio CALCOLO esperimenti non LHC Belle II Risorse necessarie nel 2017 Attività prevista: Produzione MC (share 12%), presa dati cosmici e Fase1 (Background) Review BPAC a giugno e revisione della stima delle necessità da presentare a fine settembre. Attuale referaggio basato quindi su numeri non ancora presentati ufficialmente e referati Dopo le iterazioni i parametri di input del CM (eventi da simulare, tempi di processamento per evento (HS06 sec) per simulazione, ricostruzione, segnale e background, e analisi e dimensioni degli eventi) sono sufficientemente realistici e non presentano fattori di sicurezza eccessivi È possibile effettuare una stima realistica delle necessità per il 2017 CSN1 - 21/09/16 Referaggio CALCOLO esperimenti non LHC
Referaggio CALCOLO esperimenti non LHC Belle II CSN1 - 21/09/16 Referaggio CALCOLO esperimenti non LHC
Referaggio CALCOLO esperimenti non LHC Belle II Risorse disponibili DIsco: 550 TB - 150 TB @ CNAF + 400 TB @ RECAS CPU: 18 kHS - 5 kHS @ CNAF + 13 kHS @ RECAS Risorse necessarie 2017 Disco: 400 TB CPU: 27 kHS Richiesta Disco: 0 CPU: 10 kHS = 100 k€ - 5 @ kHS Torino + 5 kHS @ CNAF (prima della revisione del CM) Proposta CPU: 7 kHS = 70 k€ - 3 kHS @ Torino = 30 k€ + 4 kHS @ CNAF = 40 k€ Motivazione: Riteniamo la stima delle risorse necessarie ragionevole. È possibile applicare un taglio sul MC da produrre. Considerano un fattore 5 rispetto alla luminosità integrata. Un fattore 4 peggiora la precisione della misura di < 10%. Non penalizzante. Inoltre hanno a disposizione molte risorse opportunistiche (Cosenza, Pisa, Napoli, Frascati) per produrre più dello share previsto CSN1 - 21/09/16 Referaggio CALCOLO esperimenti non LHC
Referaggio CALCOLO esperimenti non LHC Compass – TO Il gruppo di Torino si è integrata con successo nell’ infrastruttura di cloud della sezione Creazione di una replica dell’ attuale farm di esperimento Esecuzione di MC, analisi e simulazione FLUKA La vecchia farm stand alone è ancora in uso, ma le risorse non possono essere trasferite nella cloud Farm nella cloud di sezione: 1.5 kHS + 40 TB Farm stand alone: 2.8 KHS CPU + ~50 TB Disk CSN1 - 21/09/16 Referaggio CALCOLO esperimenti non LHC
Referaggio CALCOLO esperimenti non LHC Compass – TO Efficienza media ~70% Monitoraggio dell’ uso della farm Accounting disponibile come richiesto dai referee Efficienza media ~60% Utilizzo efficiente della cloud Cloud non elastica (ancora). Test combinato Calcolo INFN – Bess – Belle2 CSN1 - 21/09/16 Referaggio CALCOLO esperimenti non LHC
Referaggio CALCOLO esperimenti non LHC Compass – TO Richieste CPU: 1 kHS = 10 k€ Disco: 20 TB = 4 k€ Per spostare su cloud la potenza di calcolo e storage presente nella vecchia farm stand-alone in dismissione Proposte CPU: 10 k€ Dimostrato l’uso continuo e sufficientemente efficiente delle risorse in cloud Cloud non ancora elastica, non ottimizzato l’uso delle risorse Da valutare (per il prossimo referaggio) l’applicazione di un fattore di overlap come al Tier1 e da quest’anno ai Tier2 Disco: 4 k€ CSN1 - 21/09/16 Referaggio CALCOLO esperimenti non LHC
Referaggio CALCOLO esperimenti non LHC Compass – TS Farm di Trieste inserita in una farm di sezione multi-esperimento e multi-disciplinare dotata di una tape library per archivio Compass ha a disposizione ~3 kHS e 80 TB Gare finanziamenti 2016 in corso Storage su gpfs obsoleto, acquisti tra 2008 e 2011 Possibile sia accesso locale che grid, in sperimentazione l’implementazione di un’infrastruttura cloud locale (Cloud@TS) Collaborazione con il gruppo di Alice TS E’ iniziata una collaborazione con il CNAF per il trasferimento e lo storage dei dati. Non si è però iniziato a testare la produzione Monte Carlo CSN1 - 21/09/16 Referaggio CALCOLO esperimenti non LHC
Referaggio CALCOLO esperimenti non LHC Compass – TS Richieste CPU: 0.5 kHS = 5 k€ Disco: 40 TB = 8 k€ Per sostituzione risorse obsolete Proposte CPU: 0 Parte delle CPU è effettivamente obsoleta, ma è necessario avere un accounting dell’utilizzo, in assenza del quale non possono essere finanziate Disco: 8 k€ Spazio disco quasi saturo e parte dello storage molto vecchio Proposte aggiuntive al CNAF Disco 10 TB e Tape 40 TB = 3 k€ Per coprire lo spazio disco già occupato e fornire una quota iniziale di archivio vecchi dati. Per invogliare l’inizio dei test della produzione MC al CNAF CSN1 - 21/09/16 Referaggio CALCOLO esperimenti non LHC
Referaggio CALCOLO esperimenti non LHC LHCf Risorse disponibili al CNAF CPU 2 kHS, Disco 70 TB Utilizzo continuo delle CPU, media ~2.3 kHS Richiesta 2017: 2 kHS = 20 k€ Proposta: 2 kHS = 20 k€ Suggerita dai referee dell’esperimento e confermata dall’uso delle risorse disponibili Accounting CPU Running and pending jobs Wall clock time normalizzato (kHS) 5 kHS CSN1 - 21/09/16 Referaggio CALCOLO esperimenti non LHC
Referaggio CALCOLO esperimenti non LHC KLOE Il sistema di calcolo di KLOE si basa su nodi di calcolo e server con macchine PowerPC e sistema operativo proprietario IBM, libreria IBM con tape drive da 10 TB a cassetta e sistemi disco SAN/DAS come front-end della libreria e buffer I referee riconoscono l’ottima attività effettuata e l’utilizzo efficace del sistema a disposizione ma chiedono che la collaborazione si impegni in maniera esplicita di fronte alla commissione ad elaborare un piano di passaggio da IBM AIX a Linux la cui attuazione cominci nel 2015 2016 2017 L’utilizzo del sistema IBM è necessario nella fase di presa dati. Per l’attività di analisi degli anni futuri il sistema, che richiede spese importanti di manutenzione e diventa sempre più obsoleto, saranno finanziabili esclusivamente risorse LINUX presenti nei siti dell’infrastruttura INFN CSN1 - 21/09/16 Referaggio CALCOLO esperimenti non LHC
Referaggio CALCOLO esperimenti non LHC KLOE – porting a Linux Alcuni progressi grazie a un contributo di 1.5 mesi da Cracovia a LNF Priorità data al porting del codice di simulazione Ricompilate su Linux una lunga serie di librerie Fortran Necessario riscrivere una parte del codice, in particolare per l’accesso al database e alla geometria Prova di fattibilità interessante che dimostra come finalmente la collaborazione si stia muovendo, ma c’è bisogno di un contributo più significativo e soprattutto di continuità CSN1 - 21/09/16 Referaggio CALCOLO esperimenti non LHC
KLOE – Proposte assegnazione Frascati Manutenzione server di dati, meccanica della libreria automatizzata Richiesta: 40 k€ Proposta: 34 k€ (come nel 2016) Manutenzione storage dal CNAF 2016, dischi locali, nuova libreria tape-drive 10 TB, CISCO detector + sala Richiesta: 54 k€ Proposta: 54 k€ ** Da verificare se è possibile ridurre le manutenzioni (entro venerdi) 1 P8 offline in sostituzione di macchine spostate su online + 1 P8 s.j. offline per ricostruzione (s.j. all’effettivo rate di ricostruzione necessario) Richiesta: 16 k€ Proposta: 16 k€ s.j. Data Storage: 3 PB di tape-drives da 10 TB + contingenza in s.j. Richiesta: 80 k€ + 10 k€ s.j. Proposta: 80 k€ + 10 k€ s.j. (su consumo) un aumento della quota s.j., motivata dall’incertezza della presa dati 2017, potrebbe comportare un aumento del costo unitario Sostituzione guasti fuori manutenzione Richiesta: 20 k€ Proposta: 15 k€ s.j. CSN1 - 21/09/16 Referaggio CALCOLO esperimenti non LHC
KLOE – Proposte assegnazione CNAF (CALC-TIER1) Tape per seconda copia di RAW data – stima 1 PB Richiesta: 25 k€ Proposta: 25 k€ Proposte totali LNF MAN: 88 k€ LNF APP: 16 k€ + 31 k€ s.j. LNF CON: 80 k€ + 10 k€ s.j. (CSN1: 184 k€ + 41 k€ s.j.) CALC-TIER1 CON: 25 k€ CSN1 - 21/09/16 Referaggio CALCOLO esperimenti non LHC
Referaggio CALCOLO esperimenti non LHC PADME Attività 2017 – Produzione Monte Carlo e Engineering Run Calcolo off-line: Produzione Monte Carlo Sperimentazione positiva dell’attività in Griglia, contatti con il Tier2 di LNF Ricostruzione dati e Monte Carlo e Analisi Farm locale a LNF (LHCb), CPU e Disco sufficiente Parametri Computing Model sufficientemente definiti: Tempo di simulazione: 10 HS sec Event size: 10 kB Dati previsti: ≥ 2 109 eventi Monte Carlo necessario: 3x lumi integrata CSN1 - 21/09/16 Referaggio CALCOLO esperimenti non LHC
Referaggio CALCOLO esperimenti non LHC PADME Richieste CPU Monte Carlo: 2 kHS = 20 k€ @ Tier2 Tape: 100 TB = 2.5 k€ @ CNAF Disco (buffer): 10 TB = 2 k€ @ CNAF Proposte CPU Monte Carlo: In accordo con i referee dell’esperimento, ragionevole la quantità di MC da produrre. Produzione prevista in 2 anni Proposta: 1 kHS = 10 k€ nel Tier2 di Frascati Storage @ CNAF Tape: 100 TB = 2.5 k€ Disco 10 TB = 2 k€ Nessuna richiesta per la farm locale dove è prevista la ricostruzione e l’analisi. OK in accordo con le regole della commissione Se nel 2018 dovessero essere necessarie risorse aggiuntive, suggeriamo la sperimentazione dell’uso della Grid anche per la ricostruzione CSN1 - 21/09/16 Referaggio CALCOLO esperimenti non LHC
Riepilogo Proposte Assegnazioni 2017 Esperimenti Richieste CSN1 (k€) Proposte GE (k€) Belle II 50 30 40 Bes III CDF * Compass 27 22 3 KLOE 210 + 26 s.j. 184 + 41 s.j. 25 LHCF 20 NA62 PADME 10 4.5 Totale 2017 307 + 26 s.j. 246 + 41 s.j. 99.5 92.5 Totale 2016 496.7 + 80 s.j. 220.4 + 63 s.j. Totale 2015 388 + 52.5 s.j. 288 + 67 s.j. CSN1 - 21/09/16 Referaggio CALCOLO esperimenti non LHC