Referaggio CALCOLO Esperimenti non LHC G. Carlino, D. Lucchesi, V. Vagnoni CSN1 – Lecce 30 Settembre 2015.

Presentazione sul tema: "Referaggio CALCOLO Esperimenti non LHC G. Carlino, D. Lucchesi, V. Vagnoni CSN1 – Lecce 30 Settembre 2015."— Transcript della presentazione:

1 Referaggio CALCOLO Esperimenti non LHC G. Carlino, D. Lucchesi, V. Vagnoni CSN1 – Lecce 30 Settembre 2015

2 Non c’è solo LHC CSN1 - 30/09/15Referaggio CALCOLO esperimenti non LHC2 Esperimenti non LHC di CSN1 che calcolano in Italia: Belle II, Bes III, CDF, Compass, Kloe, LHCf, NA62 EsperimentiTier1Tier2 LHCFarm locali Belle II*NA – PI - TO Bes IIITO CDF* CompassTOTS KLOE* (tape) LHCF* NA62*

3 Richieste 2016 non LHC CSN1 - 30/09/15Referaggio CALCOLO esperimenti non LHC3 EsperimentiRichieste (k€) Belle II130 Bes III0 CDF0 Compass28.5 KLOE331 + 80 s.j. LHCF7.2 NA620 Totale 2016496.7 + 80 s.j. Totale 2015388 + 52.5 s.j.

4 Belle II CSN1 - 30/09/15Referaggio CALCOLO esperimenti non LHC4 Computing Model simile a quello WLCG: 1 Tier1 e 3 Tier2 (Napoli, Pisa e Torino) + altri siti per uso opportunistico (Cosenza, Frascati, Legnaro) Attività di computing e software in corso: – Computing: produzione MC, sviluppo del CM, studi di networking, gestione del DIRAC server – Software: tracking, ECL, tool di analisi (PI, PG, LNF, NA)

5 Belle II – Attività 2015 CSN1 - 30/09/15Referaggio CALCOLO esperimenti non LHC5 Ruolo importante pure nella campagna MC in corso e in quella della scorsa primavera con contributi superiori allo share IT

6 Belle II – Attività 2016 CSN1 - 30/09/15Referaggio CALCOLO esperimenti non LHC6 Produrre il 12.5% del MC e fornire il 12.5% di risorse hardware Utilizzare la cloud di Torino per il Tier2 locale –Partecipazione ai test di Bes III sulla cloud elastica con il goal di utilizzare esclusivamente questa tecnica per il Tier2 nel 2017 (abbandono totale della griglia) Coinvolgimento nello sviluppo del middleware (manpower?) Preparazione di un MoU multilaterale per la fornitura delle risorse hardware

7 Belle II CSN1 - 30/09/15Referaggio CALCOLO esperimenti non LHC7 Risorse necessarie fino alla presa dati (2016-18) Stima delle necessità presentate al BPAC a fine luglio per essere referate. Review in corso. Sono definiti i parametri di input ai calcoli: eventi da simulare, tempi di processamento per evento (HS06 sec) per simulazione, ricostruzione, segnale e background e dimensioni degli eventi da dividersi tra le FA in base agli share di PhD

8 Belle II CSN1 - 30/09/15Referaggio CALCOLO esperimenti non LHC8 Contributo Italiano (12.5%) per 2016-18 Risorse disponibili pledged: CNAF: 5 kHS + 150 TB Napoli / Recas: 13 kHS + 800 TB Risorse disponibili per uso occasionale non pledged 21 kHS in vari siti (NA e CS Recas, PI e TO) Risorse sufficienti per il 2016. Nessuna richiesta aggiuntiva

9 Belle II CSN1 - 30/09/15Referaggio CALCOLO esperimenti non LHC9 Contributo Italiano (12.5%) per 2016-18 Richiesta Anticipo Risorse 2017 al 2016 6 kHS + 100 TB al Tier2 di Torino in s.j. o in tasca indivisa Motivazione: partecipare attivamente con risorse proprie alla sperimentazione della cloud sviluppato da Bes III e necessità delle risorse a inizio 2017 per le attività dell’esperimento Proposta 2 kHS = 24 kE in s.j. condizionato al successo dell’attività di sperimentazione della cloud. Motivazione: Riteniamo ragionevole la sperimentazione (vedi finanziamento a Bes III a luglio) ma un anticipo delle richieste 2017 va necessariamente in bassa priorità e dipende dalle esigenze di bilancio. Una parte di quanto richiesto riteniamo permetta a Belle II di partecipare comunque alla sperimentazione senza penalizzazioni

10 Compass – Siti Italiani: TO CSN1 - 20/07/15G. Carlino - Il Calcolo non-LHC10 Farm stand alone: 2.8 KHS CPU + ~50 TB Disk Il gruppo di Torino ha svolto nel 2014 dei test con esito positivo per integrarsi nell’ infrastruttura di cloud della sezione –Creazione di una replica dell’ attuale farm di esperimento –Esecuzione di MC, analisi e simulazione FLUKA Farm nella cloud di sezione: 1.5 kHS + 40 TB Piani futuri: migrazione degli utenti sul cloud e installazione DIRAC server

11 Compass – Siti Italiani: TO CSN1 - 20/07/15G. Carlino - Il Calcolo non-LHC11 Monitoraggio dell’uso della farm Utilizzo efficiente della cloud nell’ultimo periodo, ma viene utilizzata solo una parte della potenza di calcolo finanziata

12 Compass – Siti Italiani: TO CSN1 - 20/07/15G. Carlino - Il Calcolo non-LHC12 Le risorse finanziate per il 2015 non sono ancora state acquistate. La sezione di Torino prevede acquisti centralizzati di tutte le risorse degli esperimenti a cura del Centro di Calcolo. Strategia ragionevole, gara unica ottimizza gli acquisti La gara per l’acquisizione delle risorse 2015 non è ancora finalizzata, per cui gli esperimenti si troveranno a disporre delle risorse giudicate necessarie per le attività 2015 a fine anno o inizio 2016 Ridotta potenza di calcolo a disposizione Richieste CPU: ~ 1 kHS = 10 kE + Disco: 20 TB = 4.4 kE Per avere sul cloud la potenza di calcolo e storage della vecchia farm stand-alone in dismissione Proposte di Assegnazione CPU: 10 kE s.j. all’acquisto e utilizzo con continuità ed efficienza delle risorse 2015 Disco: 4.4 kE

13 Compass – Siti Italiani - TS CSN1 - 20/07/15G. Carlino - Il Calcolo non-LHC13 Farm di Trieste inserita in una farm di sezione multi-esperimento e multi- disciplinare di dimensioni 1/3-1/2 rispetto al Tier2 medio e dotata di una tape library per archivio –Compass ha a disposizione 2.4 kHS e 60 TB Possibile sia accesso locale che grid, in sperimentazione l’implementazione di un’infrastruttura cloud locale (Cloud@TS) –Infrastruttura di test basata su OpenStack con limitate risorse disponibili (10 TB e 40 core) –Collaborazione con il gruppo di Alice TS E’ in fase di organizzazione una collaborazione con il CNAF per il trasferimento e lo storage dei dati + produzione Monte Carlo e Analisi

14 Compass – Siti Italiani - TS CSN1 - 20/07/15G. Carlino - Il Calcolo non-LHC14 Calcolo dettagliato delle risorse necessarie (numero di eventi da simulare e tempi di produzione) –la potenza di calcolo della farm permette di effettuare localmente produzioni di test, la produzione massiccia deve avvenire su siti distribuiti Richieste CPU: 5 KE (~0.4 kHS) per mantenere l’attuale potenza di calcolo sostituendo risorse obsolete Disco: 9 KE (~40 TB) per storage MC ad accesso frequente Proposte di Assegnazioni CPU: 5 kE. Si chiederà comunque per prossime eventuali assegnazioni di mostrare con un sistema di accounting l’utilizzo efficiente e continuo delle CPU a disposizione Disco: 4.4 kE (~20 TB). L’avvio delle attività al CNAF garantirà lo spazio disco necessario per le attività previste

15 LHCf CSN1 - 30/09/15Referaggio CALCOLO esperimenti non LHC15 Risorse disponibili al CNAF CPU 2 kHS, Disco 30 TB Disco pieno quasi al 90% e utilizzo soddisfacente delle CPU Richiesta 2016: 30 TB = 7.2 k€ Proposta: 30 TB = 7.2 k€ Suggerita dai referee dell’esperimento Accounting CPU 2 kHS

16 KLOE CSN1 - 30/09/15Referaggio CALCOLO esperimenti non LHC16 Sistema di calcolo Il sistema di calcolo di KLOE si basa su nodi di calcolo e server con macchine PowerPC e sistema operativo proprietario IBM, libreria IBM con tape drive da 1 TB a cassetta e sistemi disco SAN/DAS come frontend della libreria e buffer A causa dell’aumento della complessità degli eventi, dovuto principalmente al rumore di macchina, lo spazio necessario per lo storage è in netto aumento KLOE richiede 1 PB di nastro per il 2015 e 500 TB di disco di frontend Richieste finanziariamente consistenti (vedi prossima slide) i referee del calcolo e i referee di esperimento hanno elaborato insieme una proposta per consentire all’esperimento di lavorare, ma nel contempo contenere alcuni dei costi principali

17 KLOE – Proposte assegnazione CSN1 - 30/09/15Referaggio CALCOLO esperimenti non LHC17 Manutenzione server di dati, meccanica della libreria richiesta: 40 kE – proposta: 34 kE 1000 cassette da 1 TB o in alternativa 100 da 10 TB e nuovi drive da 10 TB Richiesta 120 kE + 70 kE s.j. Proposta: 4 nuovi drive con 100 cassette da 10 TB = 80 kE + 12 s.j. Storage disco 500 TB Richiesta: 100 kE (2016) + 60 kE (2017) Proposta di riutilizzare un sistema disco del CNAF da 860 TB da finanziare solo il costo della manutenzione e smontaggio/installazione/trasporto: 35 kE Possibilità di riutilizzare pezzi spare da un sistema identico che il CNAF può fornire, trattativa in corso con l’azienza per capire se questo può portare ad un’ulteriore riduzione dei costi  work in progress, news in corso di settimana 1 P8 in sostituzione delle macchine di L3 del 2009 Richiesta e proposta: 16 kE Sostituzione guasti fuori manutenzione Richiesta 20 kE – Proposta 3 kE + 17 kE s.j. Switch apparato: 3 stackable C3850-48T-3 con 2 uplink a 10 Gb Richiesta: 35 kE + 10 kE s.j. – Proposta: 25 kE Richieste totali: 331 kE + 80 kE s.j. Proposte totali: 193 kE + 29 ke s.j.

18 KLOE – Migrazione da IBM AIX a Linux CSN1 - 30/09/15Referaggio CALCOLO esperimenti non LHC18 Durante il mini workshop sul calcolo di KLOE (LNF, Luglio 2015), come anche discusso all’ultima riunione di commissione, è stata analizzata la complessità di un passaggio di KLOE all’uso di macchine Linux argomento già più volte discusso in commissione nel corso degli anni I referee chiedono che la collaborazione si impegni in maniera esplicita di fronte alla commissione ad elaborare un piano di passaggio a Linux la cui attuazione cominci nel 2016 la redazione di un piccolo documento di analisi e programmazione da sottoporre ai referee in tempi brevi sarebbe molto utile allo scopo

19 CDF – richieste 2015 CSN1 - 30/09/15Referaggio CALCOLO esperimenti non LHC19 Risorse disponibili al CNAF: 4 kHS e 400 TB di cui 2.7 kHS e 54 TB da rimpiazzare Richieste 2016: mantenimento delle risorse da non rimpiazzare CPU = 1.3 kHS – Disco = 346 TB 0 k€ Proposte OK

20 Riepilogo Proposte Assegnazioni 2016 CSN1 - 30/09/15Referaggio CALCOLO esperimenti non LHC20 EsperimentiRichieste (k€)Proposte (k€) Belle II13024 s.j. Bes III00 CDF00 Compass28.513.8 + 10 s.j. KLOE331 + 80 s.j.193 + 29 s.j. LHCF7.2 NA6200 Totale 2016496.7 + 80 s.j.220.4 + 63 s.j. Totale 2015388 + 52.5 s.j.288 + 67 s.j.