Michele Punturo INFN Perugia

Presentazione sul tema: "Michele Punturo INFN Perugia"— Transcript della presentazione:

1 Michele Punturo INFN Perugia
Virgo Computing Michele Punturo INFN Perugia

2 Virgo Computing - Incontro con i referees
Scenario L’analisi dei dati di Virgo e LIGO viene effettuata all’interno di gruppi congiunti usando pipelines che sono solitamente frutto di attività congiunte L’analisi online viene effettuata su uno stream di dati scambiati punto-punto L’analisi offline viene effettuata su un sub-set di dati (RDS) scambiati tramite LDR (gridFTP) I bulk data di Virgo sono conservati presso i computing centers (CC) di Bologna e Lione Virgo Computing - Incontro con i referees

3 Virgo Computing - Incontro con i referees
Data Transfer and CC Virgo Computing - Incontro con i referees

4 Virgo Computing - Incontro con i referees
Situazione Settembre 2015 Dimissioni del “computing” coordinator Organizzazione (e membri) del Computing team mancante Bulk data transfer inaffidabile, RDS transfer sospeso Risorse di calcolo pressocché limitate al CNAF (15kHS06) inaccessibili alla LSC e “pesanti” meno di 1/20 del contributo di LSC Virgo Computing - Incontro con i referees

5 Virgo Computing - Incontro con i referees
Dopo un anno di lavoro post fata resurgo Virgo Computing - Incontro con i referees

6 Virgo Computing - Incontro con i referees
Human Resources VDAS “teams”: Data Transfer Team: Marie Anne Bizouard Luca Rei Livio Salconi Computing Centre contact persons: Cristiano Palomba (Luca Rei - Jolly) “Computing Team”: Luca Rei (officially since 01/05/2016) Lisa Zangrando (officially 5%-15% FTE) EGO computing department (services): 4FTE including Livio Salconi. Total Virgo human resources on computing 5-6FTEs Total LSC human resources: 49FTE (53 persons) Computing model different, but Human resources in computing in Virgo are still too low, below the survival level The additional 2 FTE asked at the time of the last STAC are still partial missing LSC Virgo Computing - Incontro con i referees

7 Virgo Computing - Incontro con i referees
Data Transfer Trasferimento dei Bulk data (2TB/day) verso CNAF e CCIN2P3 operativo con check-sum implementato e performances (65-70MB/s) compatibili con i requirements (50MB/s) (che non vuol dire, purtroppo, con le necessità) Trasferimento degli RDS di LIGO verso CNAF operativo (mentre verso CCIN2P3 rimangono problematiche dovute al sistema di Lione) Virgo Computing - Incontro con i referees

8 Virgo Computing - Incontro con i referees
Data Analysis Richiesta esplicita di LIGO (e nostra necessità) di “pesare” di più in termini di risorse di calcolo Il solo CNAF non è la soluzione: Ultimi 6 mesi Virgo Computing - Incontro con i referees

9 Virgo Computing - Incontro con i referees
Data Analysis Richiesta esplicita di LIGO (e nostra necessità) di “pesare” di più in termini di risorse di calcolo Il solo CNAF non è la soluzione: costi CC su EGO budget 2016 ~300k€ Pipelines comuni sono state (pyCBC) o sono in corso (cWB) di essere modificate per girare sotto OSG Una forte pressione è stata effettuata per far partecipare “in risorse” i membri non-EGO della collaborazione Virgo: Virgo Computing - Incontro con i referees

10 Virgo Computing Resources
Relevant computing resources increment offered by Virgo: CNAF from 15 to 25kHS06 (~2100 cores) CCIN2P3 (small increment) Dutch GRID: from 0 to 25kHS06 Polish GRID: additional 3M of CPU hours Hungary: local resources for about 2M of CPU hours Country Power [kHS06) Energy (kHS06.day) Energy (kHS06.hours) CPUs Qt Millions of CPU.hours CPU equiv LIGO cores (Xeon E v3) comment Italy 25 9125 219000 2273 Accesible via EGI and OSG, pyCBC tested, accounting under implementation France 0,477 174 4176 43 Accessible via EGI and OSG, pyCBC under test Netherlands Accessible via EGI and OSG, CW Rome pipeline under test Poland Xeon E5-2665 16 125 Only for Virgo CW Opteron 6172 20 100 Xeon E5645 80 283 3 342 Accessible via OSG, pyCBC successfully tested Hungary E GHz 2 228 Only local access Virgo Computing - Incontro con i referees

11 Proiezione per il futuro
LIGO per O2 ritiene di duplicare le risorse; se noi vogliamo mantenere almeno il rapporto 1:10 dobbiamo prevedere uno sviluppo futuro I numeri sono preoccupanti. Considerando il nuovo modello di “pagamento” della CSN2 delle spese di calcolo, occorrerà rivedere anche il modello di Virgo Virgo Computing - Incontro con i referees

12 Virgo Computing - Incontro con i referees
Riassumendo Notevoli progressi in un anno di lavoro, grazie alla riorganizzazione, alla responsabilizzazione dei partners della collaborazione e allo sviluppo, da parte di LIGO, di tecniche di sottomissione jobs più standard Forte spirito collaborativo del CNAF Situazione delle risorse umane disperante, nonostante il contributo eccezionale dei pochissimi effettivi Virgo Computing - Incontro con i referees