Esigenze di Rete degli Esperimenti LHC e di Gr1 G. Carlino – INFN Napoli CCR – Roma 8 Settembre 2014.

Slides:



Advertisements
Presentazioni simili
E835 & Hera-B Concezio Pisa, 21/12/2004. E835 (aka Jet-FNAL) timeline dell'esperimento –Presa dati conclusa nel Alcune analisi tuttora in corso.
Advertisements

23/01/01Alberto Masoni – GR1 - Roma1 I MODELLI DI CENTRI REGIONALI POSIZIONE DI ALICE ITALIA CENTRO ITALIANO: CPU 450 KSI95, DISCO 400 TB (INSIEME TIER-1.
L. Perini CSN1 -Roma 23 Gen Centri Regionali per il calcolo di ATLAS in Italia Tier-1 e Tiers-N : funzioni, localizzazione, necessita di h/w, personale.
GuidoTonelli/Università di Pisa ed INFN/Gruppo1/Roma Cosa contengono Stime/richieste per il 2003 suddivise per sub-detector Criteri di suddivisione.
Computing: Attività 2010 Reprocessing e ri-simulazione dati Run7 Extra-production di dati MC alla Y(4S) 10 x cross section bb e cc, 2 x cross section u.
Computing: Attività 2009 Reprocessing e ri-simulazione dati Run7 Extra-production di dati MC alla Y(4S) 10 x cross section bb e cc, 2 x cross section u.
Introduzione alle attivita Software e Computing di Atlas Napoli M. Biglietti – G. Carlino – F. Conventi - A. Doria – L. Merola - A. Migliaccio Software:
Aspetti critici rete LAN e WAN per i Tier-2
Test del Monitoraggio del Tracker usando un Tier2 M.S. Mennea, G. Zito, N. De Filippis Università & INFN di Bari Riunione Consorzio – Torino 18 Novembre.
Tier1 - cpu KSI2k days ATLAS KSI2k days CMS. Tier1 - storage CASTOR disk space CMS requires: T1D0, T0D1 ATLAS requires: T1D0, T0D1 and T1D1.
Alessia Tricomi Università & INFN Catania
INFN-BOLOGNA-T3 L. Rinaldi I siti Tier-3 nel modello di calcolo di Atlas Configurazione del sito INFN-BOLOGNA-T3 Attività di Analisi e Produzione Attività.
Analysis unibo una proposta. Work flow di una tipica analisi 1.Simulazione di piccoli campioni di eventi per studio segnale 2.Generazione in grande.
3 Aprile CSN1 P. Capiluppi Tier2 CMS Italia.
Test Storage Resource Manager per SC4 Giacinto Donvito Vincenzo Spinoso.
Calcolo LHC - F. Ferroni, P. Lubrano, M. SozziCSN1 - Catania Calcolo LHC 2003 (F. Ferroni, P. Lubrano, M. Sozzi)
CSN Maggio 2005 P. Capiluppi Il Computing Model (LHC) nella realta’ italiana u I Computing models degli esperimenti LHC gia’ presentati a Gennaio.
Attivita' Grid in BaBar Workshop sulle Problematiche di Calcolo e Reti nell'INFN Maggio 2004.
1 LHCb Computing Angelo Carbone, INFN-CNAF CSN1, 21/9/06 Aggiornamento richieste Tier Richiesta Tier-2 al CNAF Stato e risultati DC06.
CSN1 21 Giugno 2004 P. Morettini 1 Commissione Calcolo e Reti Ruolo e composizione della commissione I working groups I workshops Geant 4 Reti e potenziamento.
CSN1-Assisi L.Perini1 BaBar Calcolo L. Perini per i referees: L.Perini,A.Staiano…
Tier-2 Tier-2 ATLAS (Osservazioni sulla proposta dei referee del calcolo LHC) Lamberto Luminari CSN1 – Roma, 3 Aprile 2006.
Calcolo esperimenti LHC 2004 F. Ferroni, P. Lubrano, A. Martin, M. Morandin, M. Sozzi.
Gruppo di referaggio: Forti (chair), Bossi, Ferrari, Menasce, Morandin, Simone, Taiuti, Zoccoli TIER2: Update F. Bossi, CSN1 Trieste 7/7/05.
STATO DEI PROGETTI TIER2 F. Bossi CCR, Roma, 20 Ottobre 2005 ( per il gruppo di referaggio)
Riunione CCR 21/12/2005 Gruppo Storage Relazione sulla analisi di infrastrutture Fibre Channel e presentazione attivita’ per il 2006 Alessandro Brunengo.
CDF Calcolo Another brick in the wall Paolo Morettini CSN1 Lecce Valerio Vercesi Settembre 2003.
Review dei Tier-2 degli esperimenti LHC S.Pirrone INFN-Sezione di Catania per il gruppo dei referee CNS Giugno 2014 LNGS.
ATLAS PRIN Alessandro De Salvo A. De Salvo – 12 novembre 2015 Cloud Computing Condivisione di risorse tra gruppi EventIndex LHCONE PoD T2D.
BOLOGNA Prin-STOA Report L. Rinaldi Bari – 12/11/2015.
Report dalla CSN Settembre Sala dei Mappamondi - Torino Gianpaolo Carlino – Consiglio di Sezione, 5 Novembre 2012.
26 Giugno 2007CSN1 - Frascati1 Temi di attualità nella CCR Accanto alla tradizionale attività di controllo dei finanziamenti per le infrastrutture di calcolo.
Calcolo a LHC CB 23 maggio 2011 Quadro generale Gare CPU e disco.
Riunione PRIN STOA - Bologna - 18 Giugno 2014 Testbed del T2 distribuito Napoli-Roma Dr. Silvio Pardi INFN-Napoli Riunione PRIN STOA – Bologna 18 Giugno.
D. Martello Dip. Fisica - Lecce Sintesi piani esperimenti CSN2 CNAF 7-marzo-2007.
Referaggio CALCOLO Esperimenti non LHC G. Carlino, D. Lucchesi, V. Vagnoni CSN1 – Lecce 30 Settembre 2015.
Atlas Italia - Milano, 17/11/2009 G. Carlino – News dal Computing 1 1 News dal computing Gianpaolo Carlino INFN Napoli Atlas Italia, Milano, 17/11/09 Nuovo.
Domenico Elia1Riunione PRIN STOA-LHC / Bologna Attività per ALICE: sommario e prospettive Domenico Elia Riunione PRIN STOA-LHC Bologna, 18 Giugno.
1 referee-BaBar CSN I, LNF giugno 2007 RELAZIONE DEI REFEREE DI BaBar M.De Palma, C.Luci, C.Troncon, B.Gobbo(calcolo) 26 giugno 2007.
17-18 Dicembre 2014 Second Belle II italian collaboration meeting – Dicembre 2014 Networking e calcolo di Belle II a Napoli - Recas Silvio Pardi.
Parma, 22 Settembre 2010 G. Carlino – ATLAS, Attività di 7 TeV 1 ATLAS Attività di TeV Attività di computing Attività di computing.
Il primo anno di presa dati di LHC L’esperienza di calcolo nell’esperimento ATLAS Attività condotte nel 2010 e prospettive future Lorenzo Rinaldi (INFN-CNAF)
Claudio Grandi Workshop CCR 2015 Claudio Grandi INFN Bologna.
Roma, 13 Luglio 2010 G. Carlino – Referaggio Tier2 ATLAS 1 ATLAS Referaggio Tier2 Attività di TeV Attività di TeV Richieste 2011.
Referaggio sigla CALCOLO D. Bonacorsi, G. Carlino, P. Morettini CCR – Roma 9 Settembre 2014.
ATLAS e CMS Relazione dei referees A. Cardini, M. Grassi, G. Passaleva, A. Passeri, V.Vagnoni.
FESR Trinacria Grid Virtual Laboratory PROGETTO “MAMMO” Sviluppo e ottimizzazione di algoritmi adattativi, specificatamente di Artificial.
19 Ottobre 2012ATLAS Milano1 Stato delle risorse locali di calcolo L. Carminati, L. Perini, D. Rebatto, L. Vaccarossa.
FORMAZIONE CCR ANNO 2016 Commissione Calcolo e Reti Trento 16 marzo 2016 Silvia Arezzini (per il gruppo di lavoro, composto anche da Luciano Gaido e Roberto.
1 Firenze, 6 Settembre 2011 G. Carlino – Relazione Referaggi Computing ATLAS Relezione Riunioni Referaggio Calcolo ATLAS Computing Model News Computing.
1 referee-BaBar CSN I, Roma Gennaio 2008 RELAZIONE DEI REFEREE DI BaBar e SuperB M.De Palma, C.Luci, C.Troncon, B.Gobbo(calcolo),D. Pedrini
11 Richieste di banda Anno 2010 T.Ferrari, M.Morandin CCR, Roma, 30 settembre 2009.
Uso della rete geografica e richieste di upgrade CCR 31/3/2015 (Roma) S.Zani.
Progetto ReCaS status update Giuseppe Andronico WS CCR, Catania 28 Maggio 2014.
Il Calcolo non LHC in CSN1 G. Carlino, INFN Napoli CSN1 – Roma 17 Luglio 2014.
19/4/2013 D. Menasce, M. Serra - Referaggio Progetti INFRA e WLCG 1.
Stato e previsione rete nelle sedi INFN Survey ed ipotesi di sviluppo fino al 2018 CCR 8-10 Settembre 2018 (Roma) 1 S.Zani (Netgroup)
Riunione CSN1, Roma, Gennaio 2012F. Bedeschi, INFN-Pisa 1 Riunione CSN1  Comunicazioni  Comunicazioni varie  Riunioni future  Similfellows  Regole.
Referaggio Calcolo ATLAS II Gianpaolo Carlino INFN Napoli Catania, 12 Settembre 2012 Risorse e Richieste 2013 nei preventivi Aggiornamento in seguito all’allungamento.
Referaggio CALCOLO Esperimenti non LHC G. Carlino, D. Lucchesi, V. Vagnoni CSN1 – Catania 1 Ottobre 2014.
ATLAS NAPOLI Software & Computing e il Tier-2 Gianpaolo Carlino INFN Napoli Il gruppo ATLAS di Napoli Le attività Software & Computing Il prototipo Tier-2.
10 Ottobre CSN1 P. Capiluppi Tier2 CMS Italia 3Bari  In comune con Alice 3Legnaro  In comune con Alice 3Pisa 3Roma1  In comune con Atlas Sedi.
Silvia Arezzini 2 luglio 2014 Consiglio di Sezione per Preventivi.
ATLAS Italia – Sestri Levante, 15 Giugno 2010 G. Carlino – Richieste Run Efficiency = time for physics / total time LHC Efficiency = time with colliding.
1 Bari, 21 Settembre 2011 G. Carlino – ATLAS: il calcolo ATLAS: il Calcolo Attività di Computing nel 2011 Attività di Computing nel 2011 Richieste Tier2.
ALICE Computing Readiness Workshop Tier-2 CNAF Jan 17-18, ALICE Computing Readiness 1) ALICE Italia: Persone & organizzazione 2) Test & commisioning.
L’infrastruttura del progetto ReCaS Paolo Lo Re on behalf of ReCaS collaboration.
Referaggio Calcolo ATLAS Gianpaolo Carlino INFN Napoli CNAF, 11 Maggio 2012 Attività di Computing ATLAS Attività di Computing in Italia Risorse e Richieste.
L.Perini Milano: 10 Gennaio Ex-ATLAS-Grid (Tier2 incluso) l Ruolo dei Tiers in ATLAS e grid l Le persone di Milano e le attività l Le infrastrutture.
Transcript della presentazione:

Esigenze di Rete degli Esperimenti LHC e di Gr1 G. Carlino – INFN Napoli CCR – Roma 8 Settembre 2014

Tier2 Esperimenti LHC CCR - 09/09/14 G. Carlino - Esigenze di Rete degli Esperimenti LHC e di Gr1 2 Stato attuale Il Run1 di LHC è terminato nel 2012, l’attività è comunque proseguita nel con analisi di utente di gruppo e di utente e reprocessing vari I Tier2 sono collegati a 10 Gbps –La banda a 1 Gbps avrebbe decisamente penalizzato l’analisi e rallentato le attività centrali Dal 2013 a oggi il traffico medio non ha superato il Gbps (ma non siamo in presa dati) ma i picchi sono importanti

Tier2 Esperimenti LHC CCR - 09/09/14 G. Carlino - Esigenze di Rete degli Esperimenti LHC e di Gr1 3 Stato attuale Picchi fino a 7 Gbps nei Tier2 in un mese festivo (agosto!) in un anno di assenza di presa dati. Da recuperare possibilmente dati precedenti al 2013

Tier2 Esperimenti LHC CCR - 09/09/14 G. Carlino - Esigenze di Rete degli Esperimenti LHC e di Gr1 4 Stima delle necessità di banda per il Run2 ( ) Gli esperimenti LHC non hanno effettuato studi dettagliati, possiamo quindi avanzare delle stime in base alle differenti condizioni del Run2 e dei nuovi sistemi di analisi basati sull’accesso via WAN Input: Valore di picco osservato 7 Gpbs (in condizioni di non presa dati) Attuale Modello di Calcolo Stima del possibile valore di picco partendo dall’osservato 7 Gbps: Trigger Rate 1 kHz: fattore 2x-3x di eventi raccolti rispetto al Run1 Maggiore Energia e Luminosità: fattore 1.5 nella dimensione degli eventi  ~ 20 Gbps di picco

Esperimenti LHC CCR - 09/09/14 G. Carlino - Esigenze di Rete degli Esperimenti LHC e di Gr1 5 Stima delle necessità di banda per il Run2 ( ) Gli esperimenti stanno attualmente eseguendo dei test per determinare le performance dell’ analisi basati sull’accesso ai dati via WAN. Solo nel corso della presa dati si ottimizzerà la frazione di job che utilizzerà questa procedura tenendo conto del traffico effettivo e delle performance dei job di analisi (efficienze, rate, etc) Come punto di partenza stimiamo che un 20% dell’analisi (in termini di numero di job) verrà effettuata con questa procedura Input: Dimensioni medie di un Tier2 nel 2017: 20 – 30 kHS / 2000 – 3000 core Ordine di grandezza throughput job di analisi: 1 MB/s 50% core di un Tier2 dedicati all’analisi di cui 20% via WAN Stima del traffico richiesto dall’analisi via WAN: 4 Gbps (considerando un fattore 2 per tenere conto dei picchi) Stima banda passante necessaria a un Tier2 per un singolo esperimento alla fine del Run2: ~25 Gbps Ordine di grandezza valido per ATLAS, CMS e ALICE

Tier1 Esperimenti LHC CCR - 09/09/14 G. Carlino - Esigenze di Rete degli Esperimenti LHC e di Gr1 6 Più complicato stimare il traffico del singolo esperimento. Dashboard di esperimento di ATLAS, picchi di circa 10 Gbps Ripetendo lo stesso ragionamento: Nuove condizioni di run (trigger rate, event size …) fattore 3x Risorse ATLAS nel 2017: 62 kHS, 6200 core Percentuale analisi al Tier1: 20% e percentuale analisi su WAN: 20% Ordine di grandezza valido per ATLAS e CMS, da aggiungere gli altri esperimenti al CNAF, per la CNS1: ALICE, LHCb, NA62, KLOE Stima banda passante necessaria al Tier1 per un singolo esperimento alla fine del Run2: ~ 30 Gbps

Belle2 CCR - 09/09/14 G. Carlino - Esigenze di Rete degli Esperimenti LHC e di Gr1 7 I siti italiani che partecipano al computing distribuito di Belle2 sono il CNAF (Tier1) e una Federazione di Tier2 composta da Napoli, Pisa e Torino. La composizione delle Federazione verrà discussa nell’attuale GE, la CSN1 ha dato parere positivo. Belle2 sta elaborando il suo Computing Model partendo dall’esperienza LHC. La responsabilità degli studi sulla rete sono italiani (S. Pardi) Presa dati prevista per il 2017, produzione e analisi MC e data challenges nei prossimi 2 anni

Belle2 CCR - 09/09/14 G. Carlino - Esigenze di Rete degli Esperimenti LHC e di Gr1 8 CM basato su una gerarchia simile a LHC –Raw Data Centres (Tier1) - raw data (re)-processing and storage (KEK, PNNL, GridKA, CNAF, KISTI) –Regional Data Centres (Tier2) - archivio mDST e MC production sites (Desy, Fed Italiana Tier2, ….) –MC Production sites – produzione MC e analisi Grid sites Cloud sites Cluster sites –Local Resources (Tier3) – user analysis (ntuple) Una copia RAW a KEK e una seconda negli altri RAW Data Centres, suddivisa in base ai PhD (10% in IT) -> 20% al CNAF Una copia di mDST a KEK e tre copie distribuite geograficamente (US, EU, ASIA) Analisi: sottomissione grid ai Regional Data Centres e output (ntuple) ai Local Resource Centres Event Data Model e tempi CPU basati sull’esperienza di Belle, non ottimizzati

Belle2 CCR - 09/09/14 G. Carlino - Esigenze di Rete degli Esperimenti LHC e di Gr1 9 Trasferimenti previsti da e verso l’Italia: –Raw Data transfer - da KEK e PNNL al CNAF (dal 2020) –MC e Dati (MDST) – trasferimento produzione italiana (MC e dati reprocessati) in USA e Asia e recupero dati prodotti in USA e Asia –Analisi – traffico interno tra Tier1 e Tier2 italiani per accesso ai MDST e con i siti europei (Germania, Slovenia) Stima del traffico verso i siti italiani determinata considerando i trend di crescita dei siti previsti nell’attuale CM e la suddivisione di risorse in italia: CNAF (40%), ogni Tier2 (20%) Da considerare un fattore di sicurezza (5?) per tenere conto dei picchi e delle ovvie incertezze legate a un modello teorico soprattutto al crescere degli anni Per riassumere, fino al 2018 la banda necessaria non dovrebbe essere superiore al Gbps Valori medi in Gbps.

Altri Esperimenti CSN1 CCR - 09/09/14 G. Carlino - Esigenze di Rete degli Esperimenti LHC e di Gr1 10 Non tutti gli altri esperimenti di CSN1 hanno prodotto studi dettagliati sulla banda necessaria nei siti Italiani BES III Il sito coinvolto è Torino, integrato nella infrastruttura cloud sviluppata nella sezione. Computing Model distribuito con configurazione grid on cloud. Stime di rete basate sul l'analisi a posteriori del traffico dell'ultimo semestre : Banda 1 Gbps verso IHEP Quantità di dati trasferiti legati al numero di core disponibili. Attualmente 200 core, in prospettiva 300. Per 300 cores 30 TB/mese medi con possibili picchi di 15 TB/giorno per grossi trasferimenti (~ 1 Gbps) COMPASS Siti coinvolti Torino e Trieste 100 TB/anno distribuiti in maniera fortemente non uniforme

Stime totali CCR - 09/09/14 G. Carlino - Esigenze di Rete degli Esperimenti LHC e di Gr1 11 LHC rimante l’utente principale della rete INFN 10 Tier2 di cui 3 ospitano 2 esperimenti: Bari (ALICE, CMS), Legnaro/Padova (ALICE, CMS) e Roma1 (ATLAS, CMS) Banda di picco stimata di un singolo esperimento per il Run2 (fino al 2018) ~ 25 Gbps Siti doppi ragionevolmente ~ 40 Gbps Altri esperimenti possono presentare dei picchi fino a 1 Gbps (Belle2 fino al 2018 e Bes3) Dopo il 2018 Belle2 cresce di un fattore 10