ATLAS Computing 2008 (Attività, risorse necessarie e richieste) Lamberto Luminari CSN1 LNF, 18 Settembre 2007

Lamberto Luminari - ATLAS Computing 2008 Sommario Data model e data access: Dimensioni e formati degli eventi, accesso ai dati Final Dress Rehearsal (FDR): Test della catena di acquisizione, ricostruzione ed analisi dei dati Attività nei siti italiani Uso delle risorse disponibili Richiesta risorse 2007-2008 Scenari e previsioni CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

Lamberto Luminari - ATLAS Computing 2008 Sommario Data model e data access: Dimensioni e formati degli eventi, accesso ai dati Final Dress Rehearsal (FDR): Test della catena di acquisizione, ricostruzione ed analisi dei dati Attività nei siti italiani Uso delle risorse disponibili Richiesta risorse 2007-2008 Scenari e previsioni CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

Lamberto Luminari - ATLAS Computing 2008 Event Data Model Data size e data format: Diminuzione dell’event size dalla release 12 alla 13 grazie a miglioramenti tecnici (separazioni transient/persistent data, class merging) e ottimizzazione delle info su trigger, rivelatori e MCtruth Sarà possibile fare più operazioni a partire dagli AOD di quanto originariamente pianificato, pur mantenendo la loro dimensione sotto controllo Progressi su produzione dei Derived Physics Data: Poiché i DPD possono essere prodotti sia da gruppi di fisica o detector sia da individui, è stato fatto molto lavoro su possibili formati comuni …ma alcuni use cases sono molto specifici Studi sui vari passi di elaborazione: Skimming (selezione eventi) Thinning (selezione di container o oggetti da un container) Slimming (selezione di proprietà di un oggetto ) Reduction (derivazione di dati di più alto livello) CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

Lamberto Luminari - ATLAS Computing 2008 Event Size Grande aumento dell’event size dalla release 11 alla 12 a causa di: Introduzione delle info di trigger negli ESD/AOD Necessità di informazioni dettagliate da parte dei Performance e Physics Groups Grande diminuzione dell’event size dalla release 12 alla 13 grazie a: Ottimizzazione delle info sul trigger, rivelatori e MCtruth necessarie Miglioramenti tecnici (separazioni transient/persistent data, class merging) Per la Release 13.0.X i numeri sono preliminari e si aspetta una ulteriore riduzione Release & Type Computing TDR Baseline 2008 11.0.X 2005/2006 12.0.X 2006/2007 13.0.2 2007 RAW 1.6/2.0 MB N/A ~1.6 MB ESD 0.5 MB 1.0/1.2 MB 0.8/1.0 MB 2.0/2.4 MB ~750 KB AOD 100 KB 100/140 KB 80/160 KB 270/350 KB ~150 KB TAG 1 KB ~1 KB CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

Lamberto Luminari - ATLAS Computing 2008 CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

Lamberto Luminari - ATLAS Computing 2008 CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

Lamberto Luminari - ATLAS Computing 2008 Data Access I dati RAW, ESD and AOD saranno suddivisi in stream in base alla classificazione del trigger per ottimizzare l’accesso: In corso test con ~5 stream di fisica, più una stream di overlap per avere sample esclusivi (più express stream, stream per calib., debug, …) La selezione di (e l’accesso a) singoli eventi avviene attraverso un database di TAG Operazioni facilitate dallo streaming dei dati Due formati: database e file Query complesse su grandi moli di dati richiedono le funzionalità di un DB Necessità di multi-TB relational database Servizi di alto livello (tipicamente da Tier0 e Tier1) File-based TAG permettono accesso diretto agli eventi nel file (pointers) I Tier2 possono tenere i file-based TAG corrispondenti ai datasets memorizzati localmente Supportano efficientemente le query di tipo ‘fisico’ CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

Lamberto Luminari - ATLAS Computing 2008 CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

Lamberto Luminari - ATLAS Computing 2008 Software Releases e O.S. Release Branches 12.0.X Production branch utilizzato per CSC12 Numerose varianti per vari progetti (es. M3 cosmic run) 13.0.X In produzione da giugno 2007 Utilizzato per cosmic run da M4 in poi 14.0.X Branch proposto per ATLAS/LHC turn-on 14.0.10 a metà marzo 2008 e validazione completata in giugno SLC e compilatori La release 13.0.X è l’ultima che supporta SLC3-gcc323 SLC4/gcc34 sarà la piattaforma primaria per il turn-on di LHC 32-bit mode validato nella 13.0.X 64-bit mode validato nella 14.0.X (eccessiva richiesta di memoria) SLC4/gcc34 e SLC5/gcc41 supportati nella 14.0.X CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

Lamberto Luminari - ATLAS Computing 2008 Sommario Data model e data access: Dimensioni e formati degli eventi, accesso ai dati Final Dress Rehearsal (FDR): Test della catena di acquisizione, ricostruzione ed analisi dei dati Attività nei siti italiani Uso delle risorse disponibili Richiesta risorse 2007-2008 Scenari e previsioni CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

Final Dress Rehearsal (Ott. 07- Maggio 08) Test dell’intera catena di acquisizione, ricostruzione ed analisi dei dati: Eventi simulati (con geometria “as installed”) iniettati nel T/DAQ: Mix di eventi in formato bytestream, inclusi i luminosity block, con menu di trigger dinamici (1032 inizio fill, 1031 fine fill) Data file & dataset realistici, streaming degli eventi in base alle trigger table Controllo di data quality, express line, procedure di calibrazione Uso di conditions database Ricostruzione al T0: ESD, AOD, TAG, DPD: Invio dei dati ai T1 (e di lì eventualmente ai T2) Analisi remota (@ Tier1 e Tier2) Reprocessing dai RAW  ESD, AOD, DPD, TAG Produzioni ripetute di AOD dagli ESD Analisi dei gruppi di fisica e individuali  DPD (incluse analisi trigger aware e con uso di cond. db) Simulazione e ricostruzione in parallelo Calibrazioni remote CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

Fasi del Final Dress Rehearsal Round 0: Streaming test: in corso, finalizzazione entro ottobre T0 throughput exercise: in corso di completamento Round 1: Da settembre a fine 2007 utilizzo dati simulati con la rel. 12 Simulazione di un fill (10 hr) a 200 Hz Menu di Trigger dinamici: 1032 inizio fill, 1031 fine fill Aggiunta della express stream e di una stream di calibrazione Test di trasferimento Tier0 → Tier1 → Tier2 Round 2: Da febbraio 2008 utilizzo dati simulati con la rel. 13 108 eventi da simulare a partire da novembre 07 Luminosità 1033 per stressare il sistema Menu di trigger sempre più complessi Mix di eventi di fisica più completi Tuning dei tool di analisi distribuita CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

Tier0 throughput schema CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

Tier0 throughput exercise Aggregated rates for selected CASTOR transfers (examples from test run in week of June 18-25, 2007): RAW (reading and writing), ESD (writing), merged AOD (writing) Nominal rates CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

Tier0 throughput exercise Tier0  Tier1’s: max ~900 MB/s (per brevi periodi) MB/s CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

Tier0 throughput exercise Throughput (MB/s) Data Transferred (GB) In M4 è stata attivata per la prima volta la catena completa di trasferimento dati da online -> Tier-0 -> tutti e 10 i Tier-1 -> alcuni Tier-2 (con analisi ai Tier-2) CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

Lamberto Luminari - ATLAS Computing 2008 Produzione Continua CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

~2TB user space available “1 TB” TAG Database Test Test realistici su larga scala per per scoprire/capire i problemi legati alla dimensione del DB, misurare ed ottimizzare le prestazioni: Creati 106 eventi TAG dummy con relativi attributi (1 KB/ev) Vari tipi di dati e distribuzioni di valori realistici: piatte, esponenziali, continue, discrete, random Moltiplicazione e replica degli eventi, da 106 a 109, mantenendo le frequenze relative ed attribuendo identificatori unici  1 TB table ITRAC04.cern.ch 2 CPUS, 4GB total memory INT8R1 instance 2GB Oracle Cache ITRAC05.cern.ch 2 CPUS, 4GB total memory INT8R2 instance 2GB Oracle Cache 1TB Test system INT8R.CERN.CH ASM – Shared Storage ~2TB user space available CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

“1 TB” Test: Table Architecture Gli eventi sono suddivisi in 10 Stream Table (108 ev/table) Ogni Stream Table è suddivisa in 100 partizioni (106 ev/partiz.) 40 run per partizione (2.5*104 ev/run) Stream 1 Partizione 1 RUN 1 Partizione 2 RUN 2 Stream 2 RUN 40 Partizione 100 Stream 10 CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

“1 TB” Test: primi risultati Query: Give me all the events with at least two electrons and missing ET >10GeV that are “good for physics” Time overhead is in number of partitions accessed, not data returned from within. Does this linear relation extrapolate indefinitely? CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

“1 TB” Test: primi risultati Count Query: Count the events with at least two electrons and missing ET >10GeV that are “good for physics” Select Query: Give me all the events with at least two electrons and missing ET >10GeV that are “good for physics” CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

LHC File Catalog Test Performance Testing (21–27/06/2007) CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

Distribuzione dei dati ai Tier1 La Tier1 cloud (10 siti di dimensioni e caratteristiche differenti) contiene: 10% dei dati RAW su disco, il resto su tape 2 copie complete delle versioni correnti degli ESD su disco 1 copia completa degli AOD/TAG ad ogni Tier1 1 copia completa dei DPD L’accesso ai dati è schedulato e riservato a produzioni e attività dei gruppi Raw = 2% ESD (real + MC) = 55% AOD (real + MC) = 25% User = 7% Calib = 11% CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

Distribuzione dei dati ai Tier2 Una Tier2 cloud contiene: Campioni di ESD and RAW data 1 copia di tutti gli AOD 1 copia di tutti i DPD “ufficiali” DPD e altri dati di gruppi e utenti locali L’accesso è “on demand” Raw = 1% ESD (real + MC) = 28% AOD (real + MC) = 34% User Group = 10% Users = 27% CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

Lamberto Luminari - ATLAS Computing 2008 Sommario Data model e data access: Dimensioni e formati degli eventi, accesso ai dati Final Dress Rehearsal (FDR): Test della catena di acquisizione, ricostruzione ed analisi dei dati Attività nei siti italiani Uso delle risorse disponibili Richiesta risorse 2007-2008 Scenari e previsioni CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

Lamberto Luminari - ATLAS Computing 2008 Attività al Tier1 CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

Lamberto Luminari - ATLAS Computing 2008 Attività al Tier1 Utilizzo Risorse 01/07 - 09/07 CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

Storage in italian cloud CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

Lamberto Luminari - ATLAS Computing 2008 ProtoTier2 – LNF Utilizzo Risorse 01/07 - 09/07 Efficienza media 70% a causa dei fermi e delle inefficienze dovuti agli aggiornamenti. Nei periodi senza problemi ~83% con picchi del 93% nel mese di giugno. 30 CPU dedicate per ATLAS (26 fino a marzo) CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

Lamberto Luminari - ATLAS Computing 2008 ProtoTier2 – LNF CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

Lamberto Luminari - ATLAS Computing 2008 Tier2 sj- Milano Utilizzo Risorse 01/07 - 09/07 CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

Lamberto Luminari - ATLAS Computing 2008 Tier2 sj- Milano CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

Lamberto Luminari - ATLAS Computing 2008 Tier2 - Napoli Utilizzo Risorse 01/07 - 09/07 62 core (34 fino a aprile) CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

Lamberto Luminari - ATLAS Computing 2008 Tier2 - Napoli CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

Lamberto Luminari - ATLAS Computing 2008 Tier2 - Roma Problema con gli info provider LSF Utilizzo Risorse 01/07 - 09/07 WCT CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

Lamberto Luminari - ATLAS Computing 2008 Tier2 - Roma CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

Lamberto Luminari - ATLAS Computing 2008 Sommario Data model e data access: Dimensioni e formati degli eventi, accesso ai dati Final Dress Rehearsal (FDR): Test della catena di acquisizione, ricostruzione ed analisi dei dati Attività nei siti italiani Uso delle risorse disponibili Richiesta risorse 2007-2008 Scenari e previsioni CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

Lamberto Luminari - ATLAS Computing 2008 2008 LHC Physics Schedule Lyn Evans SPC 18-Jun-2007 Pilot run pushed to 156 bunches for reaching 1032 cm-2s-1 by end 2008 CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

Lamberto Luminari - ATLAS Computing 2008 Tier1+2 requirements 2007-2012 Dati WLCG (al 26/08/2007) CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

Lamberto Luminari - ATLAS Computing 2008 Tier1 pledge tables Dati WLCG (al 26/08/2007) CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

Tier-1 plans (INFN LHC computing referees – CSN1 April 2007) P2P = Planned to be pledged = MoU committment. Significantly smaller than the plan Total ATLAS resources needed for April 2008: Tier-1: 18.1 MSI2k CPU, 9.8 PB disk, 7.7 PB tape Tier-2: 17.5 MSI2k CPU, 7.7 PB disk CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

Tier-2 plans (INFN LHC computing referees – CSN1 April 2007) CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

Ulteriori risorse necessarie per fine 2007 (ATLAS Italia) Production Rate (Mevts/week) 5 10 Previsioni 12/2007 (Tot. Tier-2 italiani) CPU * sola simulazione: 0.1 * (16.5 ev/s * 400 KSI2K*s/ev)  660 KSI2K Dati: AOD+TAG+DPD di evts simul. + real (9.5*107 + 1.4*108) * 500 KB/ev  120 TB (= 150 TBr) + Samples ESD (3 MB/ev) + User Data + ... Ulteriori risorse da aquisire per fine 2007: Tier-2: 300 KSI2k ( 700 tot.) = 90 Keuro Tier-2: 80 TBr disco ( 245 tot.) = 92 Keuro 0.3 euro/SI2k 1.15 euro/GBr MoU (plans for) pledges INFN 2007 per ATLAS: Tier-1: 0.8 MSI2k, 400 TB disco, .33 PB nastro Tier-2: 0.8 MSI2k, 200 TB disco CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

Richieste 2007 (sblocco s.j.) Situazione Nominale (marzo 2007) Richieste parziali 3/2007 Ulteriori richieste 2007 (sblocco s.j.) Costo indicativo Risorse Totali fine 2007 Costo Sito KSI2K TBr TBr Keuro KSI2K TBr Keuro KSI2K TBr LNF 41 16 15 17 43 5 19 86 36 Milano 129 26 15 17 85 25 54.5 214 66 Napoli 92 28 15 18 85 25 54.5 177 68 Roma1 140 34 15 17 85 25 54.5 225 74 Totale 402 104 60 69 298 80 182.5 700 244 0.3 euro/SI2k 1.15 euro/GB CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

Risorse CPU necessarie nel 2008 Physics runs (luglio-dic. 2008): ~1.5 * 107 s * eff. 30%  ~ 5 * 106 s * 200 Hz  109 eventi + ( 109 eventi * 40% ) 4 * 108 eventi simul. ~ 1.4 * 109 eventi totali Stima risorse CPU necessarie (contributi principali): CPU per simul.: 4 * 108 ev. * 400 KSI2K*s/ev  1.6 *1011 KSI2K*s (nel periodo di phys. runs) ~ 1.1 * 104 KSI2K (+ overhead nuovo G4) CPU/reco.cycle: 1.4 * 109 ev. * 25 KSI2K*s/ev  3.5 *1010 KSI2K*s (in 1 mese) ~ 1.3 * 104 KSI2K CPU-analisi/utente: 15 KSI2K (per 100 utenti “equivalenti”, incl. calib., studi...) ~ 1.5 * 104 KSI2K Risorse richieste per (fine) 2008: Tier-1: 2. MSI2k, 1000 TB disk, 800 TB tape Tier-2: 2. MSI2k, 750 TB disk CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

Risorse storage necessarie nel 2008 Event data: ~ 109 eventi reali + 4 * 108 eventi simulati = ~ 1.4 * 109 eventi totali (*1.5 MB/ev) 2.1 PB raw data (*1.0 MB/ev) 1.4 PB ESD (*0.1 MB/ev) 140 TB AOD Stima risorse storage necessarie (contributi principali): Disco in ogni T1: 1% ev raw + 20% ESD (* 2 vers.) + 100% AOD (* 2 vers.) (20 + 560 + 280 =) ~ 850 TB (+ calib. + dati temporanei + ...) Disco cluster T2: 1% ev raw + 5% ESD (* 2 vers.) + 100% AOD (* 2 vers.) (20 + 140 + 280 =) ~ 450 TB + 2 TB/user (+ calib. + dati temp. + ...) Risorse richieste per (fine) 2008: Tier-1: 2. MSI2k, 1000 TB disk, 800 TB tape Tier-2: 2. MSI2k, 750 TB disk CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

Richieste risorse Tier2 nel 2008 Stima risorse totali Tier2 ATLAS inizio aprile 2008: Tier-2: 17.5 MSI2k CPU, 8. PB disco Risorse Italiane Tier2 fine 2007 (dopo sblocco s.j.): CPU:700 kSI2k , Disco: 245 TBr (200 TBn) Richieste 2008 CPU: 1300 kSI2k = 208 K € (0,16 k€/kSI2k) Disco: 550 TBn = 770 k€ (1,40 k€/TBn) Totale: 978 k€ Totale risorse fine 2008 CPU: 2 MSI2k Disco: 750 TBn CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

Lamberto Luminari - ATLAS Computing 2008 Acquisizione risorse 2008 Risorse italiane nei Tier2 a fine 2007 (dopo sblocco s.j.): CPU: 700 kSI2k Disco: 200 TBn Risorse da acquisire nel 2008 CPU: 1300 kSI2k Disco: 550 TBn Piano di acquisizione proposto: Assegnazione parziale dei finanziamenti 2008 (~1/3) per l’acquisto sostanzialmente di spazio disco, con lo scopo di raggiungere quanto prima una disponibilità totale di ~ 400 TBn I restanti finanziamenti da ridiscutere ad inizio 2008,con una schedula di LHC più chiara e una più accurata definizione del modello di calcolo e stima dei parametri. Ripartizione risorse: 33% NA 33% RM 22% MI 11% LNF CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

Backup slides

Reference numbers for resources procurement Nominal (max) event sample: 2*109 events/year + nominal (min) AOD size of 100 kB/event total event AOD sample = 200 TB/year (from 2010 onwards: multiply by 0.4 for 2008 and 0.6 for 2009) Add 20-30% of simulated data, 25-50% larger than real data total AOD sample = 300 TB in 100k 3-GB files CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008

INFN main computing activities ~PB/sec Reconstruction: Trigger (GE, LE, NA, PI, PV, RM1-2), Muon Detector (LE, NA, PV), Calorimeters (MI, PI), Pixel Detector (MI) Calibration/alignment: MDT (LNF, RM1-3), RPC (BO, LE, NA, RM2), Calorimeters (MI, PI), Pixel Detector (MI) Cond. DB (CS), Det. Descr. DB (LE, PI), Det. Mon. (CS, NA, UD) Performance studies: Trigger (GE, LE, NA, PI, PV, RM1-2) Muons (CS, LE, LNF, NA, PI, PV, RM1-2-3) Tau/jet/EtMiss/egamma (GE, MI, PI) Analysis: Higgs (CS, LNF, MI, PI, PV, RM1) Susy (BO, LE, MI, NA, PV) Top (PI, UD) B-physics (CS, GE, PI) Standard Model (RM3) Exotics (LNF, RM1) Simulations (all groups) Event Builder 10 GB/sec Event Filter ~7.5 MSI2k 320 MB/sec Tier0 5. MSI2k - 5 PB/y ~125MB/s Tier1 >5. MSI2k - 2 PB/y ~10 1. Gb/s links Tier2 ~1.5 MSI2k ~4/Tier1 1. Gb/s links Tier3 CSN1 - LNF 18/09/2007 Lamberto Luminari - ATLAS Computing 2008