CSN1, Ferrara 16 Settembre 2009 G. Carlino – ATLAS, Stato del Computing e Richieste ATLAS Stato del Computing & Richieste 2010 Gianpaolo Carlino INFN Napoli CSN1, Ferrara 16/9/2009 Commissioning Computing – STEP09 Commissioning Computing – STEP09 Richieste finanziamenti 2010 Richieste finanziamenti 2010

CSN1, Ferrara 16 Settembre 2009 G. Carlino – ATLAS, Stato del Computing e Richieste Commissioning (finale) del Computing - STEP09 -

CSN1, Ferrara 16 Settembre 2009 G. Carlino – ATLAS, Stato del Computing e Richieste STEP 09 Scale Testing for the Experiment Program 09 Test di commissioning dei sistemi di computing offline Coinvolge tutte le principali attività offline:   Monte Carlo Production   Full Chain Data Distribution   Reprocessing ai Tier1   User Analysis Challenge: Hammercloud   ATLAS Central Services Infrastructure In contemporanea e in competizione (per quanto riguarda l’uso delle risorse comuni) con gli altri esperimenti LHC

CSN1, Ferrara 16 Settembre 2009 G. Carlino – ATLAS, Stato del Computing e Richieste STEP 09 - Data Distribution  Data taking e first reconstruction RAW e ESD dal CERN ai T1 (1 e 2 copie rispettivamente, RAW su tape) RAW e ESD dal CERN ai T1 (1 e 2 copie rispettivamente, RAW su tape) AOD e DPD dal CERN ai T1 (10 copie) AOD e DPD dal CERN ai T1 (10 copie) AOD e DPD dai T1 ai T2 della stessa cloud (da 1 a 2.7 copie per cloud) AOD e DPD dai T1 ai T2 della stessa cloud (da 1 a 2.7 copie per cloud)  Reprocessing ai T1 AOD e DPD distribuiti da ogni T1 a tutti gli altri T1 AOD e DPD distribuiti da ogni T1 a tutti gli altri T1 AOD e DPD da ogni T1 a tutti i T2 della propria cloud AOD e DPD da ogni T1 a tutti i T2 della propria cloud  Extra distribuzione AOD e DPD dal CERN ai T1 per simulare l’output del reprocessing

CSN1, Ferrara 16 Settembre 2009 G. Carlino – ATLAS, Stato del Computing e Richieste CCRC08 STEP09 MB/s 0,8 GB/s 2 giorni MB/s 3 GB/s 2 settimane STEP 09 - Data Distribution

CSN1, Ferrara 16 Settembre 2009 G. Carlino – ATLAS, Stato del Computing e Richieste Tier0  CNAF: Throughput medi: 70 MB/s Disco e 15 MB/s Tape Throughput medi: 70 MB/s Disco e 15 MB/s Tape CNAF   Tier2 IT Throughput medio: 130 MB/s Throughput medio: 130 MB/s Efficienza trasferimenti: 100% Efficienza trasferimenti: 100% *  CNAF Throughput medio: 170 MB/s Throughput medio: 170 MB/s 4 PB movimentati in 2 settimane STEP 09 - Data Distribution

CSN1, Ferrara 16 Settembre 2009 G. Carlino – ATLAS, Stato del Computing e Richieste Il Reprocessing ai Tier1 Processo composto di quattro fasi: Processo composto di quattro fasi: 1.pre-stage dei RAW file da riprocessare da tape e copia su WN 2.accesso ai Conditions Data 3.sottomissione dei job con il sistema dei pilot 1 job per RAW file e O(1000) RAW file per Run 4.copia separate dei file di output (ESD/AOD) su disco e tape Problematica: accesso agli input files Problematica: accesso agli input files  RAW data su tape da trasferire su disco in pre-stage  Conditions Data in DB Cool/Oracle replicati con DDM in tutti i Tier1 in SQlite files per ridurre il numero di accessi al DB

CSN1, Ferrara 16 Settembre 2009 G. Carlino – ATLAS, Stato del Computing e Richieste Goal: riprocessare i dati più velocemente rispetto al rate nominale di data taking: 200 Hz (1.6 MB/ev, 320 MB/s)  16TB/day of RAW data (in 10 giorni) Metriche basate su #file/day e non sul throughput: Baseline metric: 400 Hz (x2 nominal). = 1.6 TB/day Baseline metric: 400 Hz (x2 nominal). = 1.6 TB/day Enhanced metric: a 1000 Hz (x5 nominal) = 4 TB/day Enhanced metric: a 1000 Hz (x5 nominal) = 4 TB/day La metrica baseline corrisponde a 10k RAW file da riprocessare in un T1 del 5% (CNAF) Il Reprocessing in STEP09 CNAF: jobs finiti (metrica: > 10k   Siamo in grado di runnare il reprocessing a max 400 Hz   Tape bandwidths ai Tier1 sufficienti per operazioni schedulate: scrittura RAW e HITS su tape, recupero RAW e HITS per il reprocessing, archivio ESD/AOD

CSN1, Ferrara 16 Settembre 2009 G. Carlino – ATLAS, Stato del Computing e Richieste Il Modello di Analisi Distribuita 2 Sistemi di sottomissione job: 2 Sistemi di sottomissione job: Ganga e Pathena  Ganga (EGEE) permette la sottomissione di job sia in locale che alle 3 griglie  utilizza soprattutto la sottomissione via il gLite WMS  Pathena utilizza solo Panda (US)  sottomissione basata sul concetto di pilot jobs  Classic Athena Analyses  differenti input data size: ESD, AOD, DPD  TAG per accesso diretto agli eventi  Produzioni MC private  Calibrazione & Allineamento:  RAW data e accesso remoto ai DB  analisi utente ROOT based

CSN1, Ferrara 16 Settembre 2009 G. Carlino – ATLAS, Stato del Computing e Richieste   Stress test iniziato in Italia, prima cloud in Atlas, in novembre   alcune AOD based analyses (soprattutto muoni) I/O bound per saturare le slot dedicate all’analisi di un Tier2 medio   permette di verificare le limitazioni o le malconfigurazioni dei sito, la loro stabilita’ e la presenza di problemi temporanei Risultati ottenuti   ottimizzazione delle configurazioni dei siti Rete: Verificata la necessità di una connessione a 10Gbps tra WN e Storage 3 Hz di event rate con LAN a 1 Gbps, > 10 Hz a 10 Gbps 3 Hz di event rate con LAN a 1 Gbps, > 10 Hz a 10 Gbps Storage. Sbilanciamento nel carico sui disk server   ottimizzazione dell’accesso ai dati accesso diretto ai dati nello storage (protocollo RFIO) Athena File Stager: copia dei file su WN Hammer Cloud (commissioning DA) Connessione a 10 Gbps Connessione a 1 Gbps

CSN1, Ferrara 16 Settembre 2009 G. Carlino – ATLAS, Stato del Computing e Richieste Hammer cloud in STEP Hammercloud è stato sviluppato per fornire un carico di analisi “infinito” nei siti utilizzando Ganga Hammercloud è stato sviluppato per fornire un carico di analisi “infinito” nei siti utilizzando Ganga  Analisi con i 2 backends (WMS e PANDA) per la sottomissione dei job  definizione share ATLAS: 50% produzione, 25% panda, 25% WMS  4 AOD analyses use-cases  Benchmark di riferimento: job lanciati localmente, ~15-19 Hz  Sistemi diversi di accesso ai dati (diretto e copia su WN)  Analisi reali di utenti in sovrapposizione Job running al CNAF Lo scopo è di mettere sotto pressioni i siti oltre quanto ci si aspetta da un’attività realistica per evidenziare ulteriori bottleneck

CSN1, Ferrara 16 Settembre 2009 G. Carlino – ATLAS, Stato del Computing e Richieste Hammer cloud in STEP Global Summary: ~1M jobs submitted % succeeded ~1M jobs submitted % succeeded Total 26.3B events processed Total 26.3B events processed Mean Events/s = 7.7Hz Mean Events/s = 7.7Hz Mean CPU/Walltime = 0.39 Mean CPU/Walltime = 0.39 Global Efficiency: 82.3% Global Rate: 28.6kHz

CSN1, Ferrara 16 Settembre 2009 G. Carlino – ATLAS, Stato del Computing e Richieste Hammer cloud in STEP questi risultati vanno analizzati tenendo conto non solo del thoughput (Hz) e dell’efficienza ma anche del numero di eventi analizzati in base allo share di dati ottenuti. IT: valori molto buoni di efficienza (la cosa che più interessa agli utenti) ma basso throughput rispetto ai test eseguiti fuori di STEP  per tutti i siti STEP ha prodotto risultati meno buoni del solito

CSN1, Ferrara 16 Settembre 2009 G. Carlino – ATLAS, Stato del Computing e Richieste Hammer cloud in STEP Motivazioni:  problemi di configurazione di rete in molti siti (non IT)  alto numero di job che accedono contemporaneamente a dati non distribuiti uniformemente nello storage. Alto carico e traffico su alcuni disk server utilizzo di vecchie macchine come disk server incapaci di reggere il carico (anche in IT, richiesta di server già effettuata per le risorse 2009) utilizzo di vecchie macchine come disk server incapaci di reggere il carico (anche in IT, richiesta di server già effettuata per le risorse 2009)  il protocollo di accesso diretto ai dati (rfio) si è dimostrato molto inefficiente e ha pregiudicato i risultati di tutti i test mentre lo stage dei dati su WN è stato poco utilizzato anche a causa di un memory leak in uno degli use case che lo utilizzava utilizzare il più possibile lo copia dei dati su WN o il protocollo FILE (STORM!!) utilizzare il più possibile lo copia dei dati su WN o il protocollo FILE (STORM!!) Ripetizione continua dei test e nuovo stress test (SEPT) nuovi use cases: accesso al DB e TAGs nuovi use cases: accesso al DB e TAGs

CSN1, Ferrara 16 Settembre 2009 G. Carlino – ATLAS, Stato del Computing e Richieste Hammer cloud in IT dopo STEP Event Rate µ = 11.5 Hz µ = 16.2 Hz µ = 12.9 Hz µ = 14.2 Hz Efficienza CPU/Wall time µ = 72.3 µ = 69.9 µ = 78.0 µ = 76.7 Test eseguiti selezionando solo il file stager per accesso ai dati e meno stressanti ma più realistici come numero di job contemporanei

CSN1, Ferrara 16 Settembre 2009 G. Carlino – ATLAS, Stato del Computing e Richieste STEP 09- Conclusioni STEP 09  Commissioning del Computing di ATLAS  il sistema è sufficientemente collaudato e solido in molte sue parti per affrontare l’imminente inizio della presa dati, soprattutto per le attività centrali  Data Distribution  Accesso al tape organizzato (reprocessing)  Central Services  necessità di approfondimenti per le compenenti del sistema connesse alle attività caotiche degli utenti  ottimizzazione dei tool di analisi distribuita: protocolli di accesso ai dati, efficienza, automatizzazione della gestione delle failure  configurazione dello storage e delle reti dei Tier2  supporto agli utenti ITALIA  CNAF: significativi miglioramenti nella stabilità del sito e nelle performance  Tier2: OK!!! L’unico problema sarà gestire il VERO carico degli utenti

CSN1, Ferrara 16 Settembre 2009 G. Carlino – ATLAS, Stato del Computing e Richieste Update del CM e Richieste 2010

CSN1, Ferrara 16 Settembre 2009 G. Carlino – ATLAS, Stato del Computing e Richieste Richieste 2010 Strategia richieste:  Infrastrutture dei siti: server e rete  Server per i servizi di Grid cruciali per i Tier2 (CE e SE) già finanziati nel 2009  Piccole richieste per la connessione a 10 Gbps tra WN e storage delle nuove risorse  Risorse di calcolo e storage  Stima in base alla schedula ufficiale del run  Obsolescenza. Sostituzione delle vecchie CPU, inefficienti come potenza di calcolo ed estremamente power consuming  Determinazione delle risorse necessarie considerando le modifiche del CM dell’esperimento in seguito alle interazioni con i vari gruppi di referaggio (CRSG e LHCC) le modifiche del CM dell’esperimento in seguito alle interazioni con i vari gruppi di referaggio (CRSG e LHCC) Lo share di risorse da offrire alla collaborazione Lo share di risorse da offrire alla collaborazione la specificità delle attività della comunità italiana. Richiesta di risorse adeguate oltre i pledges da dedicare ai gruppi italiani la specificità delle attività della comunità italiana. Richiesta di risorse adeguate oltre i pledges da dedicare ai gruppi italiani

CSN1, Ferrara 16 Settembre 2009 G. Carlino – ATLAS, Stato del Computing e Richieste LHC  2 periodi “2009” Oct 09 – Mar 10 “2009” Oct 09 – Mar 10 “2010” Apr 10 – Mar 11 “2010” Apr 10 – Mar 11  Data taking Apr 09 – Nov 09: no LHC (sim e cosm) Apr 09 – Nov 09: no LHC (sim e cosm) Nov 09 – Mar 10: 1,7· 10 sec (pp) Nov 09 – Mar 10: 1,7· 10 6 sec (pp) 3,4· Hz 3,4· Hz efficienza 10% efficienza 10% Apr 10 – Nov 10: 4,3· 10 6 sec (pp) Apr 10 – Nov 10: 4,3· 10 6 sec (pp) 8,6 · Hz 8,6 · Hz efficienza fino a 32% efficienza fino a 32%  Ecm = TeV e poi ????  Luminosita’ = ????

CSN1, Ferrara 16 Settembre 2009 G. Carlino – ATLAS, Stato del Computing e Richieste Update del Computing Model Update del Computing Model in seguito all’esperienza del data taking e dell’analisi dei cosmici e delle numerose interazioni con il CSGR e il LHCC. Update del Computing Model in seguito all’esperienza del data taking e dell’analisi dei cosmici e delle numerose interazioni con il CSGR e il LHCC. Modifiche soprattutto del disco necessario ai Tier1 (-40%) riducendo il numero di repliche nelle cloud Modifiche soprattutto del disco necessario ai Tier1 (-40%) riducendo il numero di repliche nelle cloud  OK! Proposta ed attuata in Italia già dalla fine del 2008

CSN1, Ferrara 16 Settembre 2009 G. Carlino – ATLAS, Stato del Computing e Richieste Repliche dei dati nei Tier1 e Tier2 Conseguenza principale: 2 copie di AOD nei Tier1 rende difficile l’analisi in questi siti (non è un problema per l’italia) Conseguenza principale: 2 copie di AOD nei Tier1 rende difficile l’analisi in questi siti (non è un problema per l’italia) Ulteriore riduzione delle repliche degli AOD romperebbe la simmetria tra le cloud Modello termodinamico per individuare i dataset più/meno popolari e aumentarne/diminuirne il numero di repliche Modello termodinamico per individuare i dataset più/meno popolari e aumentarne/diminuirne il numero di repliche

CSN1, Ferrara 16 Settembre 2009 G. Carlino – ATLAS, Stato del Computing e Richieste MC SCRATCH GROUP LOCAL CPUs Analysis tools Simulated data 40 TB RAW, ESD, AOD, DPD Centrally managed Physics Group data 20 TB DnPD, ntup, hist,.. Group managed User Scratch data 20 TB User data Transient Local Storage Non pledged IT User data Locally managed Example for a 200 TB T2 Managed with space tokens Storage nei Tier2 DATA Detector data 110 TB RAW, ESD, AOD, DPD Centrally managed

CSN1, Ferrara 16 Settembre 2009 G. Carlino – ATLAS, Stato del Computing e Richieste L’Analisi Stato attuale dell’uso dei Tier2 da parte degli utenti  netti miglioramenti qualitativi  buona efficienza dei job di analisi (90%). Miglioramenti nel sistema di risottomissione automatica dei job falliti  maggiore richiesta delle risorse del Tier2 per attività connesse allo studio dei rivelatori vista la limitazione nell’uso delle risorse al CERN analisi dei RAW data dei cosmici e stream di calibrazione con i tool di analisi distribuita analisi dei RAW data dei cosmici e stream di calibrazione con i tool di analisi distribuita  consolidamento dell’uso dei tool da parte dei gruppi di fisica  estensione all’analisi di root-ple con Ganga  ci attendiamo un significativo aumento quantitativo dell’uso dei Tier2 per l’analisi da parte della comunità italiana con la presa dati  circa 20 gruppi italiani di analisi. Principali attività legate allo studio delle performance dei rivolatori e del trigger e alle calibrazioni  Fisica: W/Z (2), SUSY (2), Top, Higgs (3), Jets, Esotica, Z’, Bphys W/Z (2), SUSY (2), Top, Higgs (3), Jets, Esotica, Z’, Bphys  Performance, Calibrazione: EM Calo / Photon ID, Pixel, Tau/Etmiss, btag trigger, Jet calib e reco, LVL1 muon, RPC, MDT, combined muons EM Calo / Photon ID, Pixel, Tau/Etmiss, btag trigger, Jet calib e reco, LVL1 muon, RPC, MDT, combined muons

CSN1, Ferrara 16 Settembre 2009 G. Carlino – ATLAS, Stato del Computing e Richieste La simulazione MC  Stima basata sulla produzione “MC08” iniziata nel 2008  340 Milioni di eventi, finalizzata allo studio dei primi 100 pb-1, utile per determinare il tipo e le dimensioni dei campioni di controllo necessari (jet QCD)  900 Milioni di eventi da simulare nel 2009/2010  La lunga durata del run 2009/2010 ha un forte impatto sulla produzione MC, è necessario prevedere sample addizionali per cui il numero totale di eventi da simulare non è strettamente legato al numero di eventi acquisiti:  Ecm/bunch configurations, ognuna di circa 200M eventi  tuning dei parametri di simulazione in base ai dati raccolti, p.es. tuning o modifiche del modello di hadronic shower (~150M ev ognuno) Simulation timeHS06 s/ev Full simulation8000 Fast simulation400  I tempi di simulazione sono cresciuti di un ordine di grandezza (~20) rispetto al C-TDR.  Necessità di produrre un campione significativo con la fast simulation (utile soprattutto per mass-grid scans per new physics e sistematiche)  E’ in corso uno studio di ottimizzazione del tempo vs le performance in Geant4  Fast simulation (Atlasfast II) in continua fase di sviluppo e test Parametri base per la determinazione delle risorse per la simulazione:  5 % quota simulazione in Italia  70% quota simulazione ai Tier2.

CSN1, Ferrara 16 Settembre 2009 G. Carlino – ATLAS, Stato del Computing e Richieste Richieste 2010 – Tier2 CPU (HS06) Disco (TBn) Necessità attività Risorse disponibili Richieste attività  disco disponibile calcolato sottraendo alla capacità di storage che sarà in nostro possesso dopo gli acquisti 2009 (~940 TBn) lo spazio per le attività connesse al run 2009 (370 TBn) + 10% del rimanente spazio per i dati attualmente su disco  Suddivisione per sedi:  30% Tier2 approvati  10% Tier2 proto Tier2 Attività CPU (HS06) Disco (TBn) LHC data 390 Simulazione MC Analisi Utenti Analisi di Gruppo 2250 Totale

CSN1, Ferrara 16 Settembre 2009 G. Carlino – ATLAS, Stato del Computing e Richieste Risorse totali Tier T2 IT T2 ATLAS IT/ATLASPledgesIT/Pledges CPU (kHS06) %5920 (5%)189% Disco (PBn) %700 (5%)134% 2010 T2 IT T2 ATLAS IT/ATLASPledgesIt/Pledges CPU (kHS06) ,3% % Disco (PBn) % %

CSN1, Ferrara 16 Settembre 2009 G. Carlino – ATLAS, Stato del Computing e Richieste Risorse Tier base opzione 1 opzione 2 ATLAS to be procured (CPU in HS e disco senza overlap factor)

CSN1, Ferrara 16 Settembre 2009 G. Carlino – ATLAS, Stato del Computing e Richieste Risorse Tier Tier1 – Approccio top-down per la determinazione delle risorse necessarie (a differenza dei Tier2 il Tier1 ha un ruolo quasi esclusivo di servizio). La richiesta è motivata dalla necessità di soddisfare i pledge previsti per il 2010 e eventualmente, compatibilmente con le finanze dell’ente, recuperare una posizione coerente con il peso italiano nella collaborazione 2010 T1 ATLAS Pledges ATLAS CNAF CPU (kHS06) % Disco (PBn) 21.41,35.8% 2010 CPU (kHS06) Disco (PBn) Necessit à attivit à Opzione gara 21 Totale Risorse CNAF CNAF/ATLAS 9.2%8.4% ~ 09/10 ~ 06/10

CSN1, Ferrara 16 Settembre 2009 G. Carlino – ATLAS, Stato del Computing e Richieste Backup slides

CSN1, Ferrara 16 Settembre 2009 G. Carlino – ATLAS, Stato del Computing e Richieste Monte Carlo Production In parallelo alle attività di test   Milioni di ore di produzione di dati simulati   12 M eventi prodotti durante Step    25k eventi al giorno sustained Produzione già ben validata attraverso run sempre più lunghi Problema operazionale risolto La simulazione ha riempito tutte le risorse libere, nessuna risorsa è rimasta inutilizzata

CSN1, Ferrara 16 Settembre 2009 G. Carlino – ATLAS, Stato del Computing e Richieste INFN-ROMA1-ATLAS INFN-NAPOLI-ATLAS INFN-MILANO INFN-LNF Accounting nei Tier2

CSN1, Ferrara 16 Settembre 2009 G. Carlino – ATLAS, Stato del Computing e Richieste Accounting ATLAS

CSN1, Ferrara 16 Settembre 2009 G. Carlino – ATLAS, Stato del Computing e Richieste Accounting ATLAS

CSN1, Ferrara 16 Settembre 2009 G. Carlino – ATLAS, Stato del Computing e Richieste Gestione dei Tier2  Amministrazione dei Tier2 da parte di personale dell’esperimento e dei Servizi di Calcolo e Reti di Sezione.  In crescita la collaborazione con altri gruppi o sezioni per le attività di computing (in particolare analisi distribuita (Roma3) e studio dello storage (SCR Genova)  Shift 7/7 dei membri dei Tier2 (estesi dopo STEP anche a utenti “volontari”) per controllare il funzionamento dei siti, dei servizi di grid e delle attività di computing di Atlas in Italia Stabilità dei siti

CSN1, Ferrara 16 Settembre 2009 G. Carlino – ATLAS, Stato del Computing e Richieste Simulazione MC Strategia di simulazione con Geant4 ……  Hits prodotti nei Tier2 e trasferiti nei Tier1  Merging degli HITS in file di 2 GB … e ricostruzione MC  Prestage HITS dal tape sul disco  Digitizzazione (  RDO)  Ricostruzione (  ESD, AOD)  Archivio RDO, ESD e AOD su tape  Distribuzione AOD agli altri Tier1 e ai Tier2 della cloud Simulazione con ATLFAST2  Generazione  AOD  AOD trasferiti al Tier1  Al Tier1 distribuzione degli AOD agli altri Tier1  Archivio degli AOD su tape

CSN1, Ferrara 16 Settembre 2009 G. Carlino – ATLAS, Stato del Computing e Richieste Simulazione MC - Performance Tempo medio di simulazione nel 2005 (C-TDR) ~ 400 HS06 s, oggi 8000 HC06 s  Dipendenza da eta: passaggio da |  |<3 (2005) a |  |<6 (per simulare correttamente l’attività nel FCAL): fattore ~3  Rappresentazione completa della geomatria di ATLAS (5M di volumi, geometria dominata dalla struttura molto complicata del LAr) + simulazione eventi high-pt: fattore ~4  Physics list con il modello di shower adronico di Bertini (miglioramento significativo degli shapes degli shower adronici) per simulare le ottime detector resolution: fattore ~2 Fattore 24 ridotto a 20 dalle attività in corso per ridurre i tempi di simulazione in G4:  ottimizzazione dei range cuts, time cut per i neutroni lenti, rimozione dei neutrini dalla lista delle particelle da tracciare

CSN1, Ferrara 16 Settembre 2009 G. Carlino – ATLAS, Stato del Computing e Richieste Simulazione MC What’s in MC08   Single particles: e, γ, μ, π 0, π ±, Λ, η, K S... Fixed E, fixed/varying Et, etc, for calib, tracking, calo, ideal PID, trigger... Studies   “SM Physics” samples Min bias, Jets (pt sliced and lower cut), γ-jet – several MCs, different geometries, misc. other options (total 90M) W, Z with multiple models, systematics (total 80M)   “PID related” Filtered samples to enhance e/γ backgrounds, filter samples for muon backgrounds Also counted bb/cc inclusive samples here (with & w/o lepton filter)   “Other” New physics (exotics, SUSY, Higgs) & special background; ttbar and single-top, dibosons, etc