Lamberto Luminari CSN Maggio 2005

Presentazione sul tema: "Lamberto Luminari CSN Maggio 2005"— Transcript della presentazione:

1 Lamberto Luminari CSN1 - 17 Maggio 2005
ATLAS Tier-2 INFN Lamberto Luminari CSN Maggio 2005

2 Lamberto Luminari - ATLAS Tier-2 INFN
Sommario I Tier-2 in ATLAS Ruolo Replica dei dati Modelli di analisi Data flow I Tier-2 italiani in ATLAS Sedi Valutazione dei costi CSN /05/2005 Lamberto Luminari - ATLAS Tier-2 INFN

3 Lamberto Luminari - ATLAS Tier-2 INFN
Ruolo dei Tier-2 in ATLAS ~PB/sec Event Builder I Tier-2 assumono un ampio spettro di ruoli e funzioni. La loro dimensione e il tipo di risorse può variare sensibilmente a seconda delle attività e della dimensione dei gruppi di fisica che vi fanno riferimento: forniscono capacità di analisi per i gruppi e sottogruppi di fisica, vale a dire un’infrastruttura di calcolo adeguata a sostenere un’attività multiutente e tendenzialmente caotica. forniscono tutta la capacità di simulazione necessaria alla collaborazione; a meno che un Tier2 non riesca a garantirne esso stesso l’accesso in modo veloce e affidabile, i dati simulati saranno migrati al Tier1 di riferimento. a seguito del coinvolgimento della comunità locale in un rivelatore, possono avere un ruolo rilevante nelle procedure di calibrazione e allineamento. 10 GB/sec Event Filter ~7.5 MSI2k 320 MB/sec Tier0 5. MSI2k - 5 PB/y ~ 75MB/s Tier1 8. MSI2k - 2 PB/y ~10 622Mb/s links Tier2 ~1.5 MSI2k ~4/Tier1 622Mb/s links Tier3 CSN /05/2005 Lamberto Luminari - ATLAS Tier-2 INFN

4 Lamberto Luminari - ATLAS Tier-2 INFN
Replica dei dati RAW: Una replica completa dei raw data risiede nei Tier-1 (~1/10 per Tier1) Campioni di eventi sono memorizzati anche nei Tier-2 e, in misura minore, nei Tier3 ESD: Tutte le versioni degli ESD sono replicate e risiedono in almeno due dei Tier1 Gli ESD primari e i RAW data associati sono assegnati ai ~10 Tier1 con un meccanismo di roundrobin Campioni di eventi sono memorizzati anche nei Tier2 e, in misura minore, nei Tier3 AOD: Sono replicati completamente in ogni Tier1 e parzialmente nei Tier-2 (~1/3 – 1/4). Alcune stream possono essere memorizzate nei Tier3 TAG: I database dei TAG sono replicati in tutti i Tier1 e Tier-2 DPD: Nei Tier1, Tier2 e Tier3 ~PB/sec Event Builder 10 GB/sec Event Filter ~7.5 MSI2k 320 MB/sec Tier0 5. MSI2k - 5 PB/y ~ 75MB/s Tier1 8. MSI2k - 2 PB/y ~10 622Mb/s links Tier2 ~1.5 MSI2k ~4/Tier1 622Mb/s links Tier3 CSN /05/2005 Lamberto Luminari - ATLAS Tier-2 INFN

5 Lamberto Luminari - ATLAS Tier-2 INFN
I Tier-2 nei modelli di analisi Produzione di AOD, n-tuple e TAG dagli ESD e analisi schedulate: Gruppi di analisi su canali rilevanti per la comunità locale; varie iterazioni su: TAG di tutti gli eventi sottocampioni di AOD eventuali (pochi) ESD pochissimi eventi RAW Analisi caotica di AOD e n-tuple, nuove selezioni, simulazioni particolari, etc.: Singoli utenti; molte iterazioni su: piccoli campioni di TAG, AOD e ESD; due versioni dei suoi DPD 15 kSI2k e 2 Tb per utente Uno scenario di analisi: Si invia una query a un dataset di TAG (es., l’ultimo) residente su DB Il risultato della query serve ad individuare gli AOD relativi agli eventi selezionati Un ulteriore algoritmo di selezione può essere applicato agli eventi e il risultato puo’ essere un dataset ridotto di AOD o DPD (piu’ raramente di ESD o RAW) o direttamente una n-tupla. L’analisi di grandi campioni di eventi sarà distribuita (Grid)! ~PB/sec Event Builder 10 GB/sec Event Filter ~7.5 MSI2k 320 MB/sec Tier0 5. MSI2k - 5 PB/y ~ 75MB/s Tier1 8. MSI2k - 2 PB/y ~10 622Mb/s links Tier2 ~1.5 MSI2k ~4/Tier1 622Mb/s links Tier3 CSN /05/2005 Lamberto Luminari - ATLAS Tier-2 INFN

6 Lamberto Luminari - ATLAS Tier-2 INFN
Data flow Tier1 – Tier2 ~PB/s Campioni di RAW data e dati derivati copiati per sviluppo algoritmi ed analisi dati derivati copiati ad ogi riprocessamento dei RAW data nei Tier1 Dati simulati prodotti nei Tier2 salvati nei Tier1 per essere permanentemente disponibili a tutta la collaborazione replicati in altri Tier1 Servizi di rete richiesti: throughput occasionalmente elevato possibilità di prenotare in anticipo bandwidth aggiuntiva Event Builder 10 GB/s Event Filter ~7.5 MSI2k >320 MB/s Tier0 5. MSI2k - 5 PB/y >75 MB/s Tier1 8. MSI2k - 2 PB/y ~10 1 Gb/s links Tier2 ~1.5 MSI2k ~4/Tier1 1 Gb/s links Tier3 CSN /05/2005 Lamberto Luminari - ATLAS Tier-2 INFN

7 Lamberto Luminari - ATLAS Tier-2 INFN
Data Flow: casi particolari ~PB/s Event Builder Stream di dati principali dagli High Level Trigger (LV2 + EF): Stream primario, contenente tutti gli eventi di fisica Express line Eventi di calibrazione: processamento veloce (risorse dedicate in situ) calibrazione fine (Tier2) Stream per debugging e diagnostica Obiettivi principali dello streaming: Ridurre la latenza per un sottoinsieme di eventi (in particolare quelli di calibrazione) Processare lo stream primario con i risultati ottenuti dallo stream di calibrazione Risorse necessarie: La calibrazione veloce e la express line dovrebbero occupare ~20% di bandwidth e CPU 10 GB/s LV2 Event Filter ~7.5 MSI2k >320 MB/s Tier0 5. MSI2k - 5 PB/y >75MB/s Tier1 8. MSI2k - 2 PB/y ~10 1 Gb/s links Tier2 ~1.5 MSI2k ~4/Tier1 1 Gb/s links Tier3 CSN /05/2005 Lamberto Luminari - ATLAS Tier-2 INFN

8 Lamberto Luminari - ATLAS Tier-2 INFN
Ruolo dei Tier-2 italiani in ATLAS La comunità italiana intende svolgere un ruolo rilevante in una o piu’ attività tra quelle considerate di pertinenza dei Tier-2, e in particolare: Ricostruzione: Muon Detector, Calorimetri, Pixel Detector. Calibrazioni/allineamento: MDT, RPC, Calorimetri, Pixel Detector. Studi di performance: Muoni (CS, LE, LNF, NA, PI, PV, RM1-2-3) Tau/jet/EtMiss/egamma (GE, MI, PI) Analisi: Higgs sia SM che MSSM (CS, LNF, MI, PI, PV, RM1) Susy (MI, NA) Top (PI, UD) Fisica del B (CS, GE, PI) Simulazioni connesse alle attività suddette. ~PB/sec Event Builder 10 GB/sec Event Filter ~7.5 MSI2k 320 MB/sec Tier0 5. MSI2k - 5 PB/y ~ 75MB/s Tier1 8. MSI2k - 2 PB/y ~10 622Mb/s links Tier2 ~1.5 MSI2k ~4/Tier1 622Mb/s links Tier3 CSN /05/2005 Lamberto Luminari - ATLAS Tier-2 INFN

9 Lamberto Luminari - ATLAS Tier-2 INFN
Sedi dei Tier-2 italiani ~PB/sec La comunità italiana intende organizzare le proprie attività attorno a 4 infrastrutture di calcolo principali (situate presso i LNF e le sedi di Milano, Napoli e Roma1) che hanno già dimostrato affidabilità e efficienza durante la partecipazione ai Data Challenge di ATLAS I responsabili delle 4 unità operative sopra menzionate hanno dichiarato il loro interesse ad ospitare un Tier-2 ATLAS, riservandosi di assumere un impegno in tal senso quando saranno meglio definite le condizioni di servizio. Lo studio delle caratteristiche specifiche dei vari Tier-2 italiani è in corso, con la collaborazione di tutta la comunità italiana ed esperti delle sedi interessate. In particolare si vuole definire un profilo temporale di crescita adeguato ai compiti specifici che ciascun Tier-2 dovrà svolgere anno per anno. Event Builder 10 GB/sec Event Filter ~7.5 MSI2k 320 MB/sec Tier0 5. MSI2k - 5 PB/y ~ 75MB/s Tier1 8. MSI2k - 2 PB/y ~10 622Mb/s links Tier2 ~1.5 MSI2k ~4/Tier1 622Mb/s links Tier3 CSN /05/2005 Lamberto Luminari - ATLAS Tier-2 INFN

10 Stima evoluzione dei costi
CSN /05/2005 Lamberto Luminari - ATLAS Tier-2 INFN

11 Valutazione dei costi (acquisto anno corrente)
Tier2 INFN 2006 2007 2008 2009 2010 Tot. K€ CPU (kSI2K) (new) 280 (tot) 530 350 880 1782 2532 1420 3832 2709 6261 K€ 162 133 446 241 325 1307 Dischi (TB) (new) 179 (tot) 209 177 368 836 1212 847 2039 1334 3194 403 248 736 466 454 2307 565 381 1182 707 779 3614 CSN /05/2005 Lamberto Luminari - ATLAS Tier-2 INFN

12 Valutazione dei costi (acquisto anno precedente)
Tier2 INFN 2006 2007 2008 2009 2010 Tot. K€ CPU (kSI2K) (new) 280 (tot) 530 350 880 1782 2532 1420 3832 2709 6261 K€ 241 203 677 355 461 1937 Dischi (TB) (new) 179 (tot) 209 177 368 836 1212 847 2039 1334 3194 644 398 1170 745 734 3691 885 601 1847 1100 1195 5628 CSN /05/2005 Lamberto Luminari - ATLAS Tier-2 INFN