Lamberto Luminari CSN Maggio 2005

Slides:



Advertisements
Presentazioni simili
Introduzione alle attivita Software e Computing di Atlas Napoli M. Biglietti – G. Carlino – F. Conventi - A. Doria – L. Merola - A. Migliaccio Software:
Advertisements

Tier-2 ATLAS Tier-2 Lamberto Luminari CSN1 – Roma, 10 Ottobre 2005.
Computing TDR ATLAS Computing TDR Lamberto Luminari CSN1 – Napoli, 22 Settembre 2005.
Relazione Referee ATLAS F.Bedeschi, R. Carlin, S. Dalla Torre, N.Pastrone 4 Luglio 2006 Richieste aggiuntive Chiusura gare Missioni.
20 Ottobre 2005CCR - Roma1 I centri di calcolo distribuiti in LHC: motivazioni, funzioni, implementazione P. Morettini.
ATLAS Computing Model Lamberto Luminari CSN Gennaio, 2005.
D. Martello Dip. Fisica - Lecce Sintesi piani esperimenti CSN2 CNAF 7-marzo-2007.
Parma, 22 Settembre 2010 G. Carlino – ATLAS, Attività di 7 TeV 1 ATLAS Attività di TeV Attività di computing Attività di computing.
ATLAS NAPOLI Software & Computing e il Tier-2 Gianpaolo Carlino INFN Napoli Il gruppo ATLAS di Napoli Le attività Software & Computing Il prototipo Tier-2.
Gianpaolo Carlino Bologna, 6 Marzo 2007 Stato dei Tier-2 Italiani di ATLAS Attività nei Tier-2 Attività della Federazione dei Tier-2 Risorse disponibili.
Referaggio Calcolo ATLAS Gianpaolo Carlino INFN Napoli CNAF, 11 Maggio 2012 Attività di Computing ATLAS Attività di Computing in Italia Risorse e Richieste.
Il Computing di ATLAS (aspetti interessanti per chi fa analisi) Tommaso Lari INFN Milano Tutorial sull’analisi distribuita Roma3, Febbraio 2008.
Introduzione al Workshop di Fisica ATLAS Italia M. Cobal, S. Giagu Università di Udine e INFN, Università di Roma I e INFN Napoli, Maggio 2011.
IL blueprint e le esigenze per il progetti internazionali (EMI e EGI- InSPIRE) L. Gaido, INFN Torino Riunione del Comitato di Coordinamento IGI Roma, 12.
Referaggio delle richieste dei gruppi di lavoro G. Ambrosi, R. Fantechi, M. Gulmini, O. Pinazza Commissione Calcolo e Reti, Roma, 5-7 Ottobre 2010.
ATLAS computing Roberto Carlin Commissione I Roma 1/7/08 F. Bossi, C.Bozzi, R. Carlin, R. Ferrari, D. Lucchesi, D. Martello, M. Morandin, M. Taiuti.
Il Computing di ATLAS Gianpaolo Carlino CSN1 Roma, 2 Luglio 2008 Il Computing Challenge I Tier2 I Tier2 Attività e Risorse per il 2008 Attività e Risorse.
HLRmon per IGI: nuove funzionalità Enrico Fattibene INFN – CNAF
Ben tornati e buon 2014 ! Sono usciti i primi bandi della comunita` europea nell’ambito di HORIZON2020 tra I quali ERC Starting Grant e Consolidator Grant.
Alessandro De Salvo Status dei Tier2 di ATLAS Alessandro De Salvo
Il calcolo per l’esperimento GERDA: prospettive per la Fase II Luciano Pandola INFN, Laboratori del Gran Sasso e Laboratori del Sud Workshop della CCR,
Acquisti TIER T2 team e Pistoni per la consulenza sull’hardware.
20-21/03/2006Workshop sullo storage - CNAF Alessandro Brunengo.
RD_FA kick-off workshop
Report dei referee sulle richieste di OPERA referees: S. Bottai, B
D. Martello, F. Ricci, F. Ruggieri
CALCOLO CSN B.Bertucci.
I costi del Calcolo LHC un update –
l’organizzazione di IGI
Calcolo LHC e Tier2 Concezio Bozzi, INFN – Ferrara
Metodologie Quantitative per il Calcolo Scientifico
R. Cerulli, M. Pavan e P. Sapienza CSN2 – Catania 18 settembre 2017
Richieste di upgrade dei link di accesso alla rete Geografica
LHCB : proposte dei referees
Halina Bilokon Vitaliano Chiarella Simonetta Gentile
PRIN Roma1 – status Luciano Barone, Alessandro De Salvo
Richieste preliminari calcolo non LHC
Introduzione alla sessione sull’analisi per gli esperimenti LHC
Riconoscimento di Eventi 2° parte Andrea Bocci, CERN/CMG
E. Pasqualucci INFN Roma
ATLAS Stato del Computing
ALICE CALCOLO richieste finanziarie e proposte di assegnazione 2017
Giovanni Batignani, Silvia Dalla Torre, Clara Troncon
Le strategie per l’analisi Workshop CCR e INFN-GRID 2009
ATLAS-Italia Tier-3 Dario Barberis Università e INFN Genova
Attvità Computing – Inverno 08/09
Referaggio Calcolo ATLAS
LHCB : proposte dei referees
Necessità di calcolo per MEG II e ripartizione dei costi
ATLAS Computing 2008 (Attività, risorse necessarie e richieste)
ATLAS PRIN Next Steps Alessandro De Salvo
ATLAS: il calcolo Alessandro De Salvo
Situazione attuale CSN4
L. Rossi – CERN – ATLAS Italia
Stima risorse LHC LHC - Tier2 2 periodi
La richiesta si basa sulle seguenti considerazioni:
Comitato Paritetico Strategia Nazionale Biodiversità
Consiglio di Sezione INFN Perugia
Gestione Griglie nel Form Designer
Consiglio di Sezione INFN Perugia
ATLAS Italia Computing Richieste 2007 (Tier-2 e locali)
Lezione N° 6 L’organizzazione
Lezione N° 6 L’organizzazione
NA62: Possibile nuovo esperimento
TIPOLOGIE DI DECISIONI E LA NECESSITA’ DI INDIVIDUARE
Premio Giovane Dirigente 2018
Report dei referee di Kloe
Riunione dei PI KEK 8 Febbraio 2019
Lezione N° 6 L’organizzazione
Lezione N° 6 L’organizzazione
Transcript della presentazione:

Lamberto Luminari CSN1 - 17 Maggio 2005 ATLAS Tier-2 INFN Lamberto Luminari CSN1 - 17 Maggio 2005

Lamberto Luminari - ATLAS Tier-2 INFN Sommario I Tier-2 in ATLAS Ruolo Replica dei dati Modelli di analisi Data flow I Tier-2 italiani in ATLAS Sedi Valutazione dei costi CSN1 - 17/05/2005 Lamberto Luminari - ATLAS Tier-2 INFN

Lamberto Luminari - ATLAS Tier-2 INFN Ruolo dei Tier-2 in ATLAS ~PB/sec Event Builder I Tier-2 assumono un ampio spettro di ruoli e funzioni. La loro dimensione e il tipo di risorse può variare sensibilmente a seconda delle attività e della dimensione dei gruppi di fisica che vi fanno riferimento: forniscono capacità di analisi per i gruppi e sottogruppi di fisica, vale a dire un’infrastruttura di calcolo adeguata a sostenere un’attività multiutente e tendenzialmente caotica. forniscono tutta la capacità di simulazione necessaria alla collaborazione; a meno che un Tier2 non riesca a garantirne esso stesso l’accesso in modo veloce e affidabile, i dati simulati saranno migrati al Tier1 di riferimento. a seguito del coinvolgimento della comunità locale in un rivelatore, possono avere un ruolo rilevante nelle procedure di calibrazione e allineamento. 10 GB/sec Event Filter ~7.5 MSI2k 320 MB/sec Tier0 5. MSI2k - 5 PB/y ~ 75MB/s Tier1 8. MSI2k - 2 PB/y ~10 622Mb/s links Tier2 ~1.5 MSI2k ~4/Tier1 622Mb/s links Tier3 CSN1 - 17/05/2005 Lamberto Luminari - ATLAS Tier-2 INFN

Lamberto Luminari - ATLAS Tier-2 INFN Replica dei dati RAW: Una replica completa dei raw data risiede nei Tier-1 (~1/10 per Tier1) Campioni di eventi sono memorizzati anche nei Tier-2 e, in misura minore, nei Tier3 ESD: Tutte le versioni degli ESD sono replicate e risiedono in almeno due dei Tier1 Gli ESD primari e i RAW data associati sono assegnati ai ~10 Tier1 con un meccanismo di roundrobin Campioni di eventi sono memorizzati anche nei Tier2 e, in misura minore, nei Tier3 AOD: Sono replicati completamente in ogni Tier1 e parzialmente nei Tier-2 (~1/3 – 1/4). Alcune stream possono essere memorizzate nei Tier3 TAG: I database dei TAG sono replicati in tutti i Tier1 e Tier-2 DPD: Nei Tier1, Tier2 e Tier3 ~PB/sec Event Builder 10 GB/sec Event Filter ~7.5 MSI2k 320 MB/sec Tier0 5. MSI2k - 5 PB/y ~ 75MB/s Tier1 8. MSI2k - 2 PB/y ~10 622Mb/s links Tier2 ~1.5 MSI2k ~4/Tier1 622Mb/s links Tier3 CSN1 - 17/05/2005 Lamberto Luminari - ATLAS Tier-2 INFN

Lamberto Luminari - ATLAS Tier-2 INFN I Tier-2 nei modelli di analisi Produzione di AOD, n-tuple e TAG dagli ESD e analisi schedulate: Gruppi di analisi su canali rilevanti per la comunità locale; varie iterazioni su: TAG di tutti gli eventi sottocampioni di AOD eventuali (pochi) ESD pochissimi eventi RAW Analisi caotica di AOD e n-tuple, nuove selezioni, simulazioni particolari, etc.: Singoli utenti; molte iterazioni su: piccoli campioni di TAG, AOD e ESD; due versioni dei suoi DPD 15 kSI2k e 2 Tb per utente Uno scenario di analisi: Si invia una query a un dataset di TAG (es., l’ultimo) residente su DB Il risultato della query serve ad individuare gli AOD relativi agli eventi selezionati Un ulteriore algoritmo di selezione può essere applicato agli eventi e il risultato puo’ essere un dataset ridotto di AOD o DPD (piu’ raramente di ESD o RAW) o direttamente una n-tupla. L’analisi di grandi campioni di eventi sarà distribuita (Grid)! ~PB/sec Event Builder 10 GB/sec Event Filter ~7.5 MSI2k 320 MB/sec Tier0 5. MSI2k - 5 PB/y ~ 75MB/s Tier1 8. MSI2k - 2 PB/y ~10 622Mb/s links Tier2 ~1.5 MSI2k ~4/Tier1 622Mb/s links Tier3 CSN1 - 17/05/2005 Lamberto Luminari - ATLAS Tier-2 INFN

Lamberto Luminari - ATLAS Tier-2 INFN Data flow Tier1 – Tier2 ~PB/s Campioni di RAW data e dati derivati copiati per sviluppo algoritmi ed analisi dati derivati copiati ad ogi riprocessamento dei RAW data nei Tier1 Dati simulati prodotti nei Tier2 salvati nei Tier1 per essere permanentemente disponibili a tutta la collaborazione replicati in altri Tier1 Servizi di rete richiesti: throughput occasionalmente elevato possibilità di prenotare in anticipo bandwidth aggiuntiva Event Builder 10 GB/s Event Filter ~7.5 MSI2k >320 MB/s Tier0 5. MSI2k - 5 PB/y >75 MB/s Tier1 8. MSI2k - 2 PB/y ~10 1 Gb/s links Tier2 ~1.5 MSI2k ~4/Tier1 1 Gb/s links Tier3 CSN1 - 17/05/2005 Lamberto Luminari - ATLAS Tier-2 INFN

Lamberto Luminari - ATLAS Tier-2 INFN Data Flow: casi particolari ~PB/s Event Builder Stream di dati principali dagli High Level Trigger (LV2 + EF): Stream primario, contenente tutti gli eventi di fisica Express line Eventi di calibrazione: processamento veloce (risorse dedicate in situ) calibrazione fine (Tier2) Stream per debugging e diagnostica Obiettivi principali dello streaming: Ridurre la latenza per un sottoinsieme di eventi (in particolare quelli di calibrazione) Processare lo stream primario con i risultati ottenuti dallo stream di calibrazione Risorse necessarie: La calibrazione veloce e la express line dovrebbero occupare ~20% di bandwidth e CPU 10 GB/s LV2 Event Filter ~7.5 MSI2k >320 MB/s Tier0 5. MSI2k - 5 PB/y >75MB/s Tier1 8. MSI2k - 2 PB/y ~10 1 Gb/s links Tier2 ~1.5 MSI2k ~4/Tier1 1 Gb/s links Tier3 CSN1 - 17/05/2005 Lamberto Luminari - ATLAS Tier-2 INFN

Lamberto Luminari - ATLAS Tier-2 INFN Ruolo dei Tier-2 italiani in ATLAS La comunità italiana intende svolgere un ruolo rilevante in una o piu’ attività tra quelle considerate di pertinenza dei Tier-2, e in particolare: Ricostruzione: Muon Detector, Calorimetri, Pixel Detector. Calibrazioni/allineamento: MDT, RPC, Calorimetri, Pixel Detector. Studi di performance: Muoni (CS, LE, LNF, NA, PI, PV, RM1-2-3) Tau/jet/EtMiss/egamma (GE, MI, PI) Analisi: Higgs sia SM che MSSM (CS, LNF, MI, PI, PV, RM1) Susy (MI, NA) Top (PI, UD) Fisica del B (CS, GE, PI) Simulazioni connesse alle attività suddette. ~PB/sec Event Builder 10 GB/sec Event Filter ~7.5 MSI2k 320 MB/sec Tier0 5. MSI2k - 5 PB/y ~ 75MB/s Tier1 8. MSI2k - 2 PB/y ~10 622Mb/s links Tier2 ~1.5 MSI2k ~4/Tier1 622Mb/s links Tier3 CSN1 - 17/05/2005 Lamberto Luminari - ATLAS Tier-2 INFN

Lamberto Luminari - ATLAS Tier-2 INFN Sedi dei Tier-2 italiani ~PB/sec La comunità italiana intende organizzare le proprie attività attorno a 4 infrastrutture di calcolo principali (situate presso i LNF e le sedi di Milano, Napoli e Roma1) che hanno già dimostrato affidabilità e efficienza durante la partecipazione ai Data Challenge di ATLAS I responsabili delle 4 unità operative sopra menzionate hanno dichiarato il loro interesse ad ospitare un Tier-2 ATLAS, riservandosi di assumere un impegno in tal senso quando saranno meglio definite le condizioni di servizio. Lo studio delle caratteristiche specifiche dei vari Tier-2 italiani è in corso, con la collaborazione di tutta la comunità italiana ed esperti delle sedi interessate. In particolare si vuole definire un profilo temporale di crescita adeguato ai compiti specifici che ciascun Tier-2 dovrà svolgere anno per anno. Event Builder 10 GB/sec Event Filter ~7.5 MSI2k 320 MB/sec Tier0 5. MSI2k - 5 PB/y ~ 75MB/s Tier1 8. MSI2k - 2 PB/y ~10 622Mb/s links Tier2 ~1.5 MSI2k ~4/Tier1 622Mb/s links Tier3 CSN1 - 17/05/2005 Lamberto Luminari - ATLAS Tier-2 INFN

Stima evoluzione dei costi CSN1 - 17/05/2005 Lamberto Luminari - ATLAS Tier-2 INFN

Valutazione dei costi (acquisto anno corrente) Tier2 INFN 2006 2007 2008 2009 2010 Tot. K€ CPU (kSI2K) (new) 280 (tot) 530 350 880 1782 2532 1420 3832 2709 6261 K€ 162 133 446 241 325 1307 Dischi (TB) (new) 179 (tot) 209 177 368 836 1212 847 2039 1334 3194 403 248 736 466 454 2307 565 381 1182 707 779 3614 CSN1 - 17/05/2005 Lamberto Luminari - ATLAS Tier-2 INFN

Valutazione dei costi (acquisto anno precedente) Tier2 INFN 2006 2007 2008 2009 2010 Tot. K€ CPU (kSI2K) (new) 280 (tot) 530 350 880 1782 2532 1420 3832 2709 6261 K€ 241 203 677 355 461 1937 Dischi (TB) (new) 179 (tot) 209 177 368 836 1212 847 2039 1334 3194 644 398 1170 745 734 3691 885 601 1847 1100 1195 5628 CSN1 - 17/05/2005 Lamberto Luminari - ATLAS Tier-2 INFN