Michele Punturo INFN Perugia Virgo Computing Michele Punturo INFN Perugia

Virgo Computing - Incontro con i referees Scenario L’analisi dei dati di Virgo e LIGO viene effettuata all’interno di gruppi congiunti usando pipelines che sono solitamente frutto di attività congiunte L’analisi online viene effettuata su uno stream di dati scambiati punto-punto L’analisi offline viene effettuata su un sub-set di dati (RDS) scambiati tramite LDR (gridFTP) I bulk data di Virgo sono conservati presso i computing centers (CC) di Bologna e Lione Virgo Computing - Incontro con i referees

Virgo Computing - Incontro con i referees Data Transfer and CC Virgo Computing - Incontro con i referees

Virgo Computing - Incontro con i referees Situazione Settembre 2015 Dimissioni del “computing” coordinator Organizzazione (e membri) del Computing team mancante Bulk data transfer inaffidabile, RDS transfer sospeso Risorse di calcolo pressocché limitate al CNAF (15kHS06) inaccessibili alla LSC e “pesanti” meno di 1/20 del contributo di LSC Virgo Computing - Incontro con i referees

Virgo Computing - Incontro con i referees Dopo un anno di lavoro post fata resurgo Virgo Computing - Incontro con i referees

Virgo Computing - Incontro con i referees Human Resources VDAS “teams”: Data Transfer Team: Marie Anne Bizouard Luca Rei Livio Salconi Computing Centre contact persons: Cristiano Palomba (Luca Rei - Jolly) “Computing Team”: Luca Rei (officially since 01/05/2016) Lisa Zangrando (officially 5%-15% FTE) EGO computing department (services): 4FTE including Livio Salconi. Total Virgo human resources on computing 5-6FTEs Total LSC human resources: 49FTE (53 persons) Computing model different, but Human resources in computing in Virgo are still too low, below the survival level The additional 2 FTE asked at the time of the last STAC are still partial missing LSC Virgo Computing - Incontro con i referees

Virgo Computing - Incontro con i referees Data Transfer Trasferimento dei Bulk data (2TB/day) verso CNAF e CCIN2P3 operativo con check-sum implementato e performances (65-70MB/s) compatibili con i requirements (50MB/s) (che non vuol dire, purtroppo, con le necessità) Trasferimento degli RDS di LIGO verso CNAF operativo (mentre verso CCIN2P3 rimangono problematiche dovute al sistema di Lione) Virgo Computing - Incontro con i referees

Virgo Computing - Incontro con i referees Data Analysis Richiesta esplicita di LIGO (e nostra necessità) di “pesare” di più in termini di risorse di calcolo Il solo CNAF non è la soluzione: Ultimi 6 mesi Virgo Computing - Incontro con i referees

Virgo Computing - Incontro con i referees Data Analysis Richiesta esplicita di LIGO (e nostra necessità) di “pesare” di più in termini di risorse di calcolo Il solo CNAF non è la soluzione: costi CC su EGO budget 2016 ~300k€ Pipelines comuni sono state (pyCBC) o sono in corso (cWB) di essere modificate per girare sotto OSG Una forte pressione è stata effettuata per far partecipare “in risorse” i membri non-EGO della collaborazione Virgo: Virgo Computing - Incontro con i referees

Virgo Computing Resources Relevant computing resources increment offered by Virgo: CNAF from 15 to 25kHS06 (~2100 cores) CCIN2P3 (small increment) Dutch GRID: from 0 to 25kHS06 Polish GRID: additional 3M of CPU hours Hungary: local resources for about 2M of CPU hours Country Power [kHS06) Energy (kHS06.day) Energy (kHS06.hours) CPUs Qt Millions of CPU.hours CPU equiv LIGO cores (Xeon E5-2670 v3) comment Italy 25 9125 219000   2273 Accesible via EGI and OSG, pyCBC tested, accounting under implementation France 0,477 174 4176 43 Accessible via EGI and OSG, pyCBC under test Netherlands Accessible via EGI and OSG, CW Rome pipeline under test Poland Xeon E5-2665 16 125 Only for Virgo CW Opteron 6172 20 100 Xeon E5645 80 283 3 342 Accessible via OSG, pyCBC successfully tested Hungary E5-2660 v2 @ 2.20GHz 2 228 Only local access Virgo Computing - Incontro con i referees

Proiezione per il futuro LIGO per O2 ritiene di duplicare le risorse; se noi vogliamo mantenere almeno il rapporto 1:10 dobbiamo prevedere uno sviluppo futuro I numeri sono preoccupanti. Considerando il nuovo modello di “pagamento” della CSN2 delle spese di calcolo, occorrerà rivedere anche il modello di Virgo Virgo Computing - Incontro con i referees

Virgo Computing - Incontro con i referees Riassumendo Notevoli progressi in un anno di lavoro, grazie alla riorganizzazione, alla responsabilizzazione dei partners della collaborazione e allo sviluppo, da parte di LIGO, di tecniche di sottomissione jobs più standard Forte spirito collaborativo del CNAF Situazione delle risorse umane disperante, nonostante il contributo eccezionale dei pochissimi effettivi Virgo Computing - Incontro con i referees