Software Computing & Challenges nei Tier 2 - ATLAS - Gianpaolo Carlino INFN Napoli IV Workshop ATLAS & CMS Bologna, 23-25 Novembre 2006.

Slides:



Advertisements
Presentazioni simili
Training On Line - CONP. 2 Richiesta Da Menu: Conferimenti ad inizio anno termico > Agosto > Pluriennali > Nuova Richiesta Si accede alla pagina di Richiesta.
Advertisements

1 Tutto su liceoclassicojesi.it 1° Incontro sulla gestione di liceoclassicojesi.it.
Fisica Subnucleare – Esperimento ATLAS
Run I Distribuzione inclusive di Min Bias (Mult. Carica, Pt). Correlazioni dello stato finale ( -Mult) + mini-jet (soft hard physics). Campioni utilizzati:
File System Cos’è un File System File e Directory
Frontespizio Economia Monetaria Anno Accademico
Mario Paolo Giordani 1 Pixel Online Monitoring Responsabile ATLAS: Mario Paolo Giordani Scopo: verifica in tempo reale del funzionamento del.
Training On Line – CONA. 2 Richiesta Da Menu: Conferimenti ad inizio anno termico > Agosto > Annuali > Nuova Richiesta Si accede alla pagina di Richiesta.
Halina Bilokon ATLAS Proposta di studio h + - Motivazione usare tools di DC2 (Geant4, Athena, root) per studiare un canale poco inflazionato Collaborazione.
U.Gasparini, Bologna 8/11/06 1 Canali di fisica di interesse… Discussione in seno alla comunita italiana di CMS a Bologna, Giovedi mattina 23 Novembre,
Realizzazione del file system
Realizzazione del file system
1 14. Verifica e Validazione Come assicurarsi che il software corrisponda alle necessità dellutente? Introdurremo i concetti di verifica e validazione.
23/01/01Alberto Masoni – GR1 - Roma1 I MODELLI DI CENTRI REGIONALI POSIZIONE DI ALICE ITALIA CENTRO ITALIANO: CPU 450 KSI95, DISCO 400 TB (INSIEME TIER-1.
L. Perini CSN1 -Roma 23 Gen Centri Regionali per il calcolo di ATLAS in Italia Tier-1 e Tiers-N : funzioni, localizzazione, necessita di h/w, personale.
L.Mandelli _CSN1_Settembre 02 LAr 2003 Stato della calorimetria Elettromagnetica Stato delle responsabilità INFN. Attività e responsabilità future del.
GuidoTonelli/Università di Pisa ed INFN/Gruppo1/Roma Cosa contengono Stime/richieste per il 2003 suddivise per sub-detector Criteri di suddivisione.
ALICE-Italia: IL CALCOLO
P.Capiluppi I Workshop CMS Italia del Computing & Software Roma Novembre 2001 Scopo del Workshop u Fare il punto sulle attivita italiane.
I Workshop CMS Italia Software & Computing 23 Nov 2001 Alessandra Fanfani Università di Bologna 1 Risultati di HLT in topologie con muoni Outline Introduzione.
Canale A. Prof.Ciapetti AA2003/04
P. Capiluppi Organizzazione del Software & Computing CMS Italia I Workshop CMS Italia del Computing & Software Roma Novembre 2001.
Introduzione alle attivita Software e Computing di Atlas Napoli M. Biglietti – G. Carlino – F. Conventi - A. Doria – L. Merola - A. Migliaccio Software:
1 La farm di ATLAS-Napoli 1 Gb/s 7 nodi con 2 CPU PIII a 1 GH, RAM 512 MB, 2 schede di rete a 100 Mb/s. Server con 2 CPU PIII a 1 GH, RAM 1 GB, 2 schede.
Realizzazione e caratterizzazione di una semplice rete neurale per la separazione di due campioni di eventi Vincenzo Izzo.
Valutazione Del Read-Out System (ROS) Del Sistema Di Acquisizione Dati Di ATLAS Candidata Valentina Ferrara Relatore Fernanda Pastore.
Stato del Tier2 di Atlas a Napoli Il ruolo dei Tier2 in Atlas La Federazione Italiana dei Tier2 Il Tier2 di Napoli Napoli, 21 Dicembre 2006 – A.Doria.
ATLAS Muon Trigger Slice Francesco Conventi per il gruppo sw ATLAS/Napoli Riunione Gruppo1, Napoli 17/12/2007.
Incontro di coordinamento Firenze 21 gennaio 2010, 11:00-17:00 Ordine del Giorno Presentazione piano di lavoro eTwinning 2010 Dati registrazioni Proposte.
Test del Monitoraggio del Tracker usando un Tier2 M.S. Mennea, G. Zito, N. De Filippis Università & INFN di Bari Riunione Consorzio – Torino 18 Novembre.
2) Sistemi operativi Lab. Calc. AA2004/05 - cap.2.
Coinvolgimento attuale italiano nelle analisi di CMS Bologna 25 Novembre 2006 Roberto Tenchini.
Tier1 - cpu KSI2k days ATLAS KSI2k days CMS. Tier1 - storage CASTOR disk space CMS requires: T1D0, T0D1 ATLAS requires: T1D0, T0D1 and T1D1.
Il software delle DT Attività in corso Stato della simulazione e ricostruzione hit in ORCA Calibrazione Validazione con dati di Testbeam Testbeam Ottobre.
Riccardo Capra 1 B A B AR Italia – 10 Aprile 2003 Ricerca dellh c in decadimenti radiativi Misura del BR(B ± 0c K ± ) Ricerca dell c (2S) in decadimenti.
Il calcolo distribuito in ATLAS
Btag phisics object group Andrea Bocci Scuola Normale Superiore e INFN, Pisa CMS Italia 2007 – 13 Febbraio.
Conclusioni M. Paganoni workshop CMS Italia, Napoli 13-14/2/07.
Studi di Minimum Bias e Underlying Event ad LHC
LNL CMS M.Biasotto, Firenze, 22 maggio Hardware e tools di installazione Massimo Biasotto INFN – Lab. Naz. di Legnaro.
5 Feb 2002Stefano Belforte – INFN Trieste calcolo per CDF in Italia1 Calcolo per CDF in Italia Prime idee per lanalisi di CDF al CNAF Numeri utili e concetti.
1 Ly-LAB Sistema di gestione dei dati analitici di laboratorio.
* * Data Challenge 04 Stato dei centri di produzione in Italia.
Sviluppare un programma in C che, dato un array da 100 elementi interi caricato con numeri casuali compresi tra [10,100], sia in grado di cercare il valore.
M. Biglietti Università degli Studi di Napoli “Federico II”
INFN-BOLOGNA-T3 L. Rinaldi I siti Tier-3 nel modello di calcolo di Atlas Configurazione del sito INFN-BOLOGNA-T3 Attività di Analisi e Produzione Attività.
CSN1 – 7 febbraio 2006 Francesco Forti, INFN-Pisa per il gruppo di referaggio.
ATLAS Distributed Analysis Lamberto Luminari CSN1 – Roma, 16 Maggio 2006.
Analysis unibo una proposta. Work flow di una tipica analisi 1.Simulazione di piccoli campioni di eventi per studio segnale 2.Generazione in grande.
CCR 14-15/03/2006 Status Report Gruppo Storage CCR.
1 TrigMoore: Presente e Futuro. 2 Moore e MuId sono stati adattati per funzionare nel framework di HLT Due modalità di funzionamento: Wrapped : pieno.
Ricostruzione dei muoni: Stato e piani futuri. Roma, 13 settembre 2001 Gruppo Moore Gruppo 1 Premesse Nel panorama della ricostruzione dei muoni il package.
16 Maggio CSN1 Computing-Software-Analysis CMS-INFN TEAM Analisi in CMS: stato e prospettive del supporto italiano.
Calcolo LHC - F. Ferroni, P. Lubrano, M. SozziCSN1 - Catania Calcolo LHC 2003 (F. Ferroni, P. Lubrano, M. Sozzi)
Attivita' Grid in BaBar Workshop sulle Problematiche di Calcolo e Reti nell'INFN Maggio 2004.
1 LHCb Computing Angelo Carbone, INFN-CNAF CSN1, 21/9/06 Aggiornamento richieste Tier Richiesta Tier-2 al CNAF Stato e risultati DC06.
Tier-2 Tier-2 ATLAS (Osservazioni sulla proposta dei referee del calcolo LHC) Lamberto Luminari CSN1 – Roma, 3 Aprile 2006.
ATLAS Computing Model Lamberto Luminari CSN Gennaio, 2005.
D. Martello Dip. Fisica - Lecce Sintesi piani esperimenti CSN2 CNAF 7-marzo-2007.
Atlas Italia - Milano, 17/11/2009 G. Carlino – News dal Computing 1 1 News dal computing Gianpaolo Carlino INFN Napoli Atlas Italia, Milano, 17/11/09 Nuovo.
Domenico Elia1Riunione PRIN STOA-LHC / Bologna Attività per ALICE: sommario e prospettive Domenico Elia Riunione PRIN STOA-LHC Bologna, 18 Giugno.
Parma, 22 Settembre 2010 G. Carlino – ATLAS, Attività di 7 TeV 1 ATLAS Attività di TeV Attività di computing Attività di computing.
19 Ottobre 2012ATLAS Milano1 Stato delle risorse locali di calcolo L. Carminati, L. Perini, D. Rebatto, L. Vaccarossa.
Atlas TDAQ E. Pasqualucci INFN Roma. Sommario Attivita’ di fine 2008 – inizio 2009 Preparazione per i run con fasci Trigger con luminosita’ iniziali 16/9/20092E.
ATLAS NAPOLI Software & Computing e il Tier-2 Gianpaolo Carlino INFN Napoli Il gruppo ATLAS di Napoli Le attività Software & Computing Il prototipo Tier-2.
ATLAS Italia – Sestri Levante, 15 Giugno 2010 G. Carlino – Richieste Run Efficiency = time for physics / total time LHC Efficiency = time with colliding.
Il calcolo per l’esperimento GERDA Luciano Pandola INFN, Laboratori del Gran Sasso Riunione della CSN2, LNF Frascati, 29 Novembre 2011.
Gianpaolo Carlino Bologna, 6 Marzo 2007 Stato dei Tier-2 Italiani di ATLAS Attività nei Tier-2 Attività della Federazione dei Tier-2 Risorse disponibili.
L.Perini Milano: 10 Gennaio Ex-ATLAS-Grid (Tier2 incluso) l Ruolo dei Tiers in ATLAS e grid l Le persone di Milano e le attività l Le infrastrutture.
Esigenze di Rete degli Esperimenti LHC e di Gr1 G. Carlino – INFN Napoli CCR – Roma 8 Settembre 2014.
Transcript della presentazione:

Software Computing & Challenges nei Tier 2 - ATLAS - Gianpaolo Carlino INFN Napoli IV Workshop ATLAS & CMS Bologna, Novembre 2006

G. Carlino: ATLAS Software, Computing & Challenges nei Tier-2 IV Workshop ATLAS & CMS: Bologna ~200 Tb/year/T2 ~7.7MSI2k/T1 ~2 Pb/year/T1 Tier2 Centre ~200kSI2k UK Regional Centre (RAL) US Regional Centre Spanish Regional Centre (PIC) Italian Regional Centre SheffieldManchest er Liverpool Lancaster ~0.25TIPS Workstations MB/s Some data for calibration and monitoring to institutes Calibrations flow back Each Tier 2 has ~25 physicists working on one or more channels Each Tier 2 should have the full AOD, TAG & relevant Physics Group summary data Tier 2 do bulk of simulation Physics data cache Tier2 Centre ~200kSI2k 622Mb/s Tier 1 Northern Tier ~200kSI2k Tier 2 Event Builder Event Filter ~159kSI2k T0 ~5MSI2k 10 GB/sec 450 Mb/sec ~Pb/sec ~ 300MB/s/T1 /expt Tier 0 ~9 Pb/year/T1 No simulation 622Mb/s LATLAS Computing Model LEvent data flow dall on-line LEvent data flow dall on-line LEvent data flow dall on-line LEvent data flow dall on-line Il Formato dei dati Il Formato dei dati Il Formato dei dati Il Formato dei dati La struttura a Tiers La struttura a Tiers La struttura a Tiers La struttura a Tiers La catena di Produzione degli eventi: La catena di Produzione degli eventi: La catena di Produzione degli eventi: La catena di Produzione degli eventi: Simulazione, Produzione Distribuita e Data Management Simulazione, Produzione Distribuita e Data Management Simulazione, Produzione Distribuita e Data Management Simulazione, Produzione Distribuita e Data Management LAnalisi Distribuita LAnalisi Distribuita LAnalisi Distribuita LAnalisi Distribuita I Data Challenges I Data Challenges I Data Challenges I Data Challenges La Federazione dei Tier-2 Italiani La Federazione dei Tier-2 Italiani La Federazione dei Tier-2 Italiani La Federazione dei Tier-2 Italiani Sviluppo delle Risorse del Computing Sviluppo delle Risorse del Computing Sviluppo delle Risorse del Computing Sviluppo delle Risorse del Computing Conclusioni Conclusioni Conclusioni

G. Carlino: ATLAS Software, Computing & Challenges nei Tier-2 IV Workshop ATLAS & CMS: Bologna Data Flow Trigger rate: 200 Hz (indipendente dalla luminosità) Dati trasferiti allinput buffer del Tier-0 a 320 MB/s (average) Dati trasferiti allinput buffer del Tier-0 a 320 MB/s (average) Eventi scritti in formato byte-stream (output dei rivelatori) in file da max 2 GB (1 file/stream/SFO/lumi_block) Eventi scritti in formato byte-stream (output dei rivelatori) in file da max 2 GB (1 file/stream/SFO/lumi_block) ~1000 eventi/file (size nominale ~1.6 MB/evento). 16k file al giorno. ~1000 eventi/file (size nominale ~1.6 MB/evento). 16k file al giorno. Il Tier-0 input buffer dovrà conservare i raw data in attesa della ricostruzione: Il Tier-0 input buffer dovrà conservare i raw data in attesa della ricostruzione: 125 TB, sufficienti a 5 giorni di presa dati 125 TB, sufficienti a 5 giorni di presa dati 90% dei dati ricostruiti in max. 48 ore. 90% dei dati ricostruiti in max. 48 ore. Event Builder Event Filter ~159kSI2k T0 ~5MSI2k 10 GB/sec 320 MB/sec ~Pb/sec Tier 0 Some data for calibration and monitoring to institutes Calibrations flow back Online (sistema di Trigger e DAQ) Offline (Tier-0)

G. Carlino: ATLAS Software, Computing & Challenges nei Tier-2 IV Workshop ATLAS & CMS: Bologna Sono previste 4 classi di stream di dati generate all output dell Event Filter: express streamcon gli eventi più interessanti che devono essere ricostruiti rapidamente. Time scale: ore! Motivazioni principali: calibrazione, controllo della qualità dei dati e avviso rapido di presenza di eventi particolarmente interessanti. Menù di trigger in via di definizione. Tutti gli eventi sono anche nelle altre stream. express stream, con gli eventi più interessanti che devono essere ricostruiti rapidamente. Time scale: ore! Motivazioni principali: calibrazione, controllo della qualità dei dati e avviso rapido di presenza di eventi particolarmente interessanti. Menù di trigger in via di definizione. Tutti gli eventi sono anche nelle altre stream. calibration streamscon i dati necessari per le calibrazioni dei detector (Muon dal LVL2, LAr, ID..). Non contengono levento completo. calibration streams, con i dati necessari per le calibrazioni dei detector (Muon dal LVL2, LAr, ID..). Non contengono levento completo. debugging streamcontenente eventi che presentano problemi debugging stream, contenente eventi che presentano problemi physics streamununica stream è stata sostituita dalle seguenti sotto- stream basate sulle segnature di trigger: physics stream, ununica stream è stata sostituita dalle seguenti sotto- stream basate sulle segnature di trigger: Muon triggers Electromagnetic triggers (elettroni e fotoni) Electromagnetic triggers (elettroni e fotoni) Hadronic triggers (jets, tau e missing energy) Hadronic triggers (jets, tau e missing energy) B-physics triggers B-physics triggers Minimum bias e altri prescaled triggers per monitoring Minimum bias e altri prescaled triggers per monitoring Stream inclusive o esclusive con laggiunta di una stream di overlap Streaming dei dati

G. Carlino: ATLAS Software, Computing & Challenges nei Tier-2 IV Workshop ATLAS & CMS: Bologna Event Data Model: tipi di dati Nelle varie fasi di ricostruzione e analisi ATLAS utilizza diversi tipi di dati: 1.6 MB/event target 100 kB/event attualmente 130 kB/event RAW ESD AOD TAG target 1 kB/event attualmente 1,3 kB/event target 500 KB/event attualmente 1,2 MB/event Raw Datadati in output dal sistema di trigger e acquisizione in formato byte-stream Raw Data: dati in output dal sistema di trigger e acquisizione in formato byte-stream Event Summary Dataoutput della ricostruzione (tracce e hit, celle e cluster nei calorimetri, combined reconstruction objects etc...). Event Summary Data: output della ricostruzione (tracce e hit, celle e cluster nei calorimetri, combined reconstruction objects etc...). Calibrazione, allineamento, refitting … Rappresentazione object-oriented POOL/ROOT Analysis Object Datarappresentazione ridotta degli eventi per lanalisi: oggetti fisici ricostruiti (elettroni, muoni, jet, missing Et...). Analysis Object Data: rappresentazione ridotta degli eventi per lanalisi: oggetti fisici ricostruiti (elettroni, muoni, jet, missing Et...). Back Navigation agli ESD Rappresentazione object-oriented POOL/ROOT Taginformazioni sintetiche per selezione veloce degli eventi negli AOD e/o ESD. Tag: informazioni sintetiche per selezione veloce degli eventi negli AOD e/o ESD. Formato DB relazionale per ricerche veloci Formato DB relazionale per ricerche veloci Formato ROOT per istogrammazione veloce Formato ROOT per istogrammazione veloce

G. Carlino: ATLAS Software, Computing & Challenges nei Tier-2 IV Workshop ATLAS & CMS: Bologna Il Modello a Tier Tier-0 (CERN) Tier-0 (CERN) Archivio dei RAW data ricevuti dallEF e distribuzione ai Tier1 Prompt Reconstruction delle calibration e express stream Prompt Reconstruction delle calibration e express stream Prompt Reconstruction dellevent stream Prompt Reconstruction dellevent stream Distribuzione output ricostruzione (ESD,AOD,TAG) ai Tier-1 Distribuzione output ricostruzione (ESD,AOD,TAG) ai Tier-1 Il modello generale di calcolo per loffline e lanalisi di ATLAS è quello gerarchico multi-Tier. Modello a cloud: ad ogni Tier-1 sono associati alcuni (3 o 4) Tier-2 spesso i base a considerazioni geografiche. Event Builder Event Filter Tier3 10 GB/s 320 MB/s ~ 150 MB/s ~10 ~50 Mb/s ~PB/s Tier2 ~3- 4/Tier1 Tier0 Tier1 Tier-1 (10) Tier-1 (10) Accesso a lungo termine e archivio di un subset di RAW data Copia dei RAW data di un altro Tier-1 Copia dei RAW data di un altro Tier-1 Reprocessing della ricostruzione dei propri RAW data con parametri di calibrazioni e allineamenti finali e distribuzione AOD ai Tier-2 Reprocessing della ricostruzione dei propri RAW data con parametri di calibrazioni e allineamenti finali e distribuzione AOD ai Tier-2 Archivio dati simulati MC prodotti nei Tier-2 Archivio dati simulati MC prodotti nei Tier-2 Tier-2 Tier-2 Simulazione Monte Carlo Analisi Analisi

G. Carlino: ATLAS Software, Computing & Challenges nei Tier-2 IV Workshop ATLAS & CMS: Bologna Event Data Model: replica e distribuzione dati RAW ESD AOD TAG Dati originali al Tier0 Replica completa nellinsieme dei Tier-1 Per rendere efficiente laccesso ai dati per ricostruzioni (nei Tier-1) e analisi (nei Tier-1/2) è previsto un certo livello di ridondanza, con repliche dei dati in più Tier. Gli ESD prodotti con la ricostruzione primaria risiedono al Tier-0 e vengono esportati in due copie ai Tier-1 Versioni successive degli ESD prodotte nei Tier-1 (ognuno riprocessa i suoi RAW) e replicate in due copie ad un altro Tier-1 Versioni successive degli ESD prodotte nei Tier-1 (ognuno riprocessa i suoi RAW) e replicate in due copie ad un altro Tier-1 insieme completo di ESD su disco in tutti i Tier-1 europei insieme completo di ESD su disco in tutti i Tier-1 europei Gli AOD prodotti con la ricostruzione primaria risiedono al Tier-0 e sono replicati in ogni Tier-1 (10 copie) Replicati parzialmente nei Tier-2 (~1/3 – 1/4 in ciascun Tier-2) in modo da avere almeno un insieme completo fra i Tier-2 della cloud Replicati parzialmente nei Tier-2 (~1/3 – 1/4 in ciascun Tier-2) in modo da avere almeno un insieme completo fra i Tier-2 della cloud ogni Tier-2 specifica i dataset più interessanti per la comunità di riferimento ogni Tier-2 specifica i dataset più interessanti per la comunità di riferimento I database dei TAG sono replicati in tutti i Tier-1 (Oracle DB) Repliche parziali dei database TAG nei Tier-2 (Root files) Repliche parziali dei database TAG nei Tier-2 (Root files) in ciascun Tier-2 risiedono almeno tutti i file Root dei TAG corrispondenti agli AOD ospitati nel sito in ciascun Tier-2 risiedono almeno tutti i file Root dei TAG corrispondenti agli AOD ospitati nel sito.

G. Carlino: ATLAS Software, Computing & Challenges nei Tier-2 IV Workshop ATLAS & CMS: Bologna Il Modello a cloud prevede 3 o 4 Tier-2 per ogni Tier-1 Ruolo dei Tier-2 previsto nell ATLAS computing model: Simulazione Monte Carlo Simulazione Monte Carlo Analisi dei gruppi di Fisica e degli end-user Analisi dei gruppi di Fisica e degli end-user Sviluppo di codice Sviluppo di codice Calibrazione e allineamento per subdetectors di interesse locale Calibrazione e allineamento per subdetectors di interesse locale Gli istituti responsabili della calibrazione di particolari subdetectors prevedono di processare i dati di calibrazione in un Tier-2 dedicato Gli istituti responsabili della calibrazione di particolari subdetectors prevedono di processare i dati di calibrazione in un Tier-2 dedicato Formato dei dati da ospitare: Copia completa nei Tier-2 della cloud di AOD di dati reali (~200 TB/anno) e Monte Carlo (~60 TB/anno, 30%) Copia completa nei Tier-2 della cloud di AOD di dati reali (~200 TB/anno) e Monte Carlo (~60 TB/anno, 30%) Copia completa dei TAG (~2 TB/anno) Copia completa dei TAG (~2 TB/anno) MC RAW data e ESD. Buffer per la produzione di un mese (~1 TB) MC RAW data e ESD. Buffer per la produzione di un mese (~1 TB) Campioni di ESD e RAW data per sviluppi, Campioni di ESD e RAW data per sviluppi, ESD e (possibilemente) RAW data per le calibrazioni O (TB) ESD e (possibilemente) RAW data per le calibrazioni O (TB) Conditions data per le calibrazioni Conditions data per le calibrazioni Grandi quantità ma per particolari sottorivelatori e periodi di presa dati Grandi quantità ma per particolari sottorivelatori e periodi di presa dati Fino ad ora i Tier-2 hanno assolto pienamente e con buona efficienza al ruolo di centri di produzione Monte Carlo Ruolo dei Tier-2

G. Carlino: ATLAS Software, Computing & Challenges nei Tier-2 IV Workshop ATLAS & CMS: Bologna La catena della Produzione Monte Carlo: Simulazione, Produzione Distribuita e Data Management in Grid

G. Carlino: ATLAS Software, Computing & Challenges nei Tier-2 IV Workshop ATLAS & CMS: Bologna l La simulazione di ATLAS, come tutte le altre applicazioni, gira in un framework comune per levent processing (ATHENA) Basato su Gaudi Basato su Gaudi Separazione tra dati e algoritmi Separazione tra dati e algoritmi Separazione tra dati transienti (in memoria) e persistenti (in file) Separazione tra dati transienti (in memoria) e persistenti (in file) Steering attraverso Job Options scritti in Python Steering attraverso Job Options scritti in Python l La descrizione della Geometria del Detector, GeoModel, è disaccoppiata dal framework di simulazione Fornisce una rappresentazione transiente della Geometria basata su numeri primari che descrivono il detector e costanti dallineamento conservati in un DB basato su un sistema di Hierarchial Versioning Fornisce una rappresentazione transiente della Geometria basata su numeri primari che descrivono il detector e costanti dallineamento conservati in un DB basato su un sistema di Hierarchial Versioning La Geometria usata nella simulazione La Geometria usata nella simulazione viene derivata direttamente dal GeoModel viene derivata direttamente dal GeoModel Memoria ~ 90 MB Memoria ~ 90 MB In questo modo la Simulazione e la In questo modo la Simulazione e la Ricostruzione utilizzano automaticamente Ricostruzione utilizzano automaticamente la stessa rappresentazione geometrica la stessa rappresentazione geometrica del rivelatore del rivelatore La Simulazione Monte Carlo

G. Carlino: ATLAS Software, Computing & Challenges nei Tier-2 IV Workshop ATLAS & CMS: Bologna l Generazione eventi fisici: interfaccia ai principali packages di generatori l Simulazione con Geant4 dagli inizi del 2004 (~120M eventi ) Geometria automaticamente derivata dal GeoModel Geometria automaticamente derivata dal GeoModel Geometrie nominali o reali Geometrie nominali o reali Simulazione della risposta del rivelatore (HITS e RDO) Simulazione della risposta del rivelatore (HITS e RDO) Mixing con il pile-up a livello di digitizzazione Mixing con il pile-up a livello di digitizzazione l Validazione intensiva per evidenziare performance non ottimali, inconsistenze interne o descrizioni inaccurate del rivelatore Performance in termini di CPU time e uso di memoria Performance in termini di CPU time e uso di memoria Crescita dei tempi di simulazione (average 400 kSI2k-sec) Crescita dei tempi di simulazione (average 400 kSI2k-sec) Più accurata Detector DesriptionPiù accurata Detector Desription 6 invece di 3 6 invece di 3 Confronto con dati reali: Confronto con dati reali: Test Beam Combinato Physics Performances Physics Performances l Uso della Fast simulation per studi di fattibilità e di (physics) background ad alta statistica La Simulazione Monte Carlo

G. Carlino: ATLAS Software, Computing & Challenges nei Tier-2 IV Workshop ATLAS & CMS: Bologna Sistema di Produzione Distribuita ATLAS utilizza in maniera estensiva i tool di Grid per le sue produzioni di dati simulati. Attività svolta in parallelo con lanalisi distribuita comportando laccesso di molti utenti alle risorse e ai dati nei vari sitiATLAS utilizza in maniera estensiva i tool di Grid per le sue produzioni di dati simulati. Attività svolta in parallelo con lanalisi distribuita comportando laccesso di molti utenti alle risorse e ai dati nei vari siti Necessità di organizzare laccesso e lutilizzo delle risorse con un sistema interno di priorità per poter assicurare che lo share di risorse allocato alle varie ettività e a disposizione dei vari utenti sia coerente con le priorità decise dallesperimentoNecessità di organizzare laccesso e lutilizzo delle risorse con un sistema interno di priorità per poter assicurare che lo share di risorse allocato alle varie ettività e a disposizione dei vari utenti sia coerente con le priorità decise dallesperimento ATLAS Virtual Organization: caratterizzazioni degli utenti in base a ruoli e gruppi ATLAS Virtual Organization: caratterizzazioni degli utenti in base a ruoli e gruppi ATLAS ha già svolto numerosi esercizi di prodozione distribuita in larga scalaATLAS ha già svolto numerosi esercizi di prodozione distribuita in larga scala: DC1 in , DC2 in 2004, Rome Production in 2005DC1 in , DC2 in 2004, Rome Production in 2005 Numerosi decine di milioni di eventi completamente simulati e ricostruiti Numerosi decine di milioni di eventi completamente simulati e ricostruiti CSC (Computing System Commissioning) nel 2006 e 2007 CSC (Computing System Commissioning) nel 2006 e 2007 DC2 e Rome production sono stati interamente eseguiti sulla GridDC2 e Rome production sono stati interamente eseguiti sulla Grid Uso di 3 Grids MondialiUso di 3 Grids Mondiali LCG (= EGEE): Europa OSG/Grid3 (US): America NorduGrid: Nord Europa I file di input e output devono essere accessibili da tutte le GriglieI file di input e output devono essere accessibili da tutte le Griglie

G. Carlino: ATLAS Software, Computing & Challenges nei Tier-2 IV Workshop ATLAS & CMS: Bologna Number of sites; resources are evolving quickly ATLAS DC2 Autumn 2004 Il Sistema a 3 Griglie

G. Carlino: ATLAS Software, Computing & Challenges nei Tier-2 IV Workshop ATLAS & CMS: Bologna Il Production Database (DB ORACLE al CERN) in cui sono definiti i job di ATLAS raggruppati in: Il Production Database (DB ORACLE al CERN) in cui sono definiti i job di ATLAS raggruppati in: Datasets Datasets (definiscono il contenuto fisico di una collezione di job) Tasks Tasks (identificano tutti i job dello stesso dataset) Un Supervisor (Eowyn) che seleziona un job dal ProdDB e lo manda ai differenti Grid executors e ne verifica lo stato. Risottomette i job in caso di failure Un Supervisor (Eowyn) che seleziona un job dal ProdDB e lo manda ai differenti Grid executors e ne verifica lo stato. Risottomette i job in caso di failure Gli Executors (moduli Python), uno per ogni Grid flavour, ricevono i job- definitions in formato XML, li convertono nel linguaggio della particolare Grid e li sottomettono individuando le risorse ottimali (CPU vs Dati) sulle infrastrutture di calcolo Gli Executors (moduli Python), uno per ogni Grid flavour, ricevono i job- definitions in formato XML, li convertono nel linguaggio della particolare Grid e li sottomettono individuando le risorse ottimali (CPU vs Dati) sulle infrastrutture di calcolo DonQuijote (DQ2), il Data Management System, si occupa della gestione e distribuzione dei dataset. DonQuijote (DQ2), il Data Management System, si occupa della gestione e distribuzione dei dataset. Per produrre i dati necessari ai vari DC è stato sviluppato un sistema di produzione automatizzato, ProdSys larchitettura consiste di 4 componenti: Sistema di Produzione Distribuita

G. Carlino: ATLAS Software, Computing & Challenges nei Tier-2 IV Workshop ATLAS & CMS: Bologna Distributed Data Management Model Il sistema di Distributed Management (DDM) di ATLAS, Don Quijote (DQ2), permette limplementazione delle funzionalita previste dal Computing Model: Distribuzione di dati raw e ricostruiti, reali e simulati, tra i vari Tier Catalogazione dei dataset (aggregazione di file e relativi metadata) Catalogazione dei dataset (aggregazione di file e relativi metadata) Il sistema, ridisegnato nel 2005 e in alcune sue parti ancora in fase prototipale, ha infatti unorganizzazione basata sui datasets Il sistema, ridisegnato nel 2005 e in alcune sue parti ancora in fase prototipale, ha infatti unorganizzazione basata sui datasets: Cataloghi di dataset centrali, suddivisi in vari DB per facilitare laccesso Dataset Repository, Dataset Content Catalog, Dataset Location Catalog, Dataset Subscription Catalog Cataloghi di file distribuiti (locali) Non ci sono cataloghi globali di file: il mapping nome logico nome fisico è fatto localmente sui cataloghi localizzati nei Tier-1 che contengono soli i file salvati nella cloud. LFC (LCG File Catalog) è il Local Replica Catalog Sistema di sottoscrizione Sistema per il trasferimento automatico dei dati. Ogni sito si sottoscrive a un dataset e le nuove versioni del dataset vengono automaticamente rese disponibili ad ogni variazione Subscriptions phys.esd.001: CERN, CNAF, BNL phys.aod.001: CERN, CNAF CERN phys.raw.001 phys.esd.001 phys.aod.001 CNAF phys.esd.001 phys.aod.001 BNL phys.esd.001 Automatic updates

G. Carlino: ATLAS Software, Computing & Challenges nei Tier-2 IV Workshop ATLAS & CMS: Bologna Il Modello di Analisi Distribuita di Atlasè in fase di evoluzione: Il Modello di Analisi Distribuita di Atlas è in fase di evoluzione: Task Force per determinare il Miglior Modello tenendo conto delle necessità degli utenti (velocità e semplicità di accesso ai dati) e dei gruppi di fisica (separazione tra in- e out-of-framework analysis), back-navigation allintero evento Task Force per determinare il Miglior Modello tenendo conto delle necessità degli utenti (velocità e semplicità di accesso ai dati) e dei gruppi di fisica (separazione tra in- e out-of-framework analysis), back-navigation allintero evento Test su scala significativa nel CSC Test su scala significativa nel CSC Uso delle risorse per lanalisi Uso delle risorse per lanalisi I Tier-2 ospitano job di analisi sia individuale che di gruppo I Tier-2 ospitano job di analisi sia individuale che di gruppo Il Computing Model prevede che il 50% delle risorse di CPU siano dedicate allanalsi I Tier-1 possono accogliere job di analisi di gruppo I Tier-1 possono accogliere job di analisi di gruppo Analisi locale per ottimizzare lefficienza del processamento dei dati 1.Selezione degli eventi da TAG e analisi sugli AOD degli eventi selezionati 2.Determinazione dei siti dove i dati sono memorizzati 3.Invio in questi siti (tramite Grid tools) dei jobs ed estrazione delle informazioni più rilevanti: nella forma di DPD (ntuple) da usare localmente in modo interattivo nella forma di DPD (ntuple) da usare localmente in modo interattivo Analisi Distribuita

G. Carlino: ATLAS Software, Computing & Challenges nei Tier-2 IV Workshop ATLAS & CMS: Bologna Selezione TAG based Apertura di una sessione tramite uninterfaccia (GANGA) che permette di eseguire tutte le operazioni danalisi: Apertura di una sessione tramite uninterfaccia (GANGA) che permette di eseguire tutte le operazioni danalisi: Job configuration, submission, splitting, merging, monitoring, output retrieval Interrogazione del Dataset Content Catalog che contiene i metadata per ogni dataset del tipo desiderato per trovare quelli che gli interessano Interrogazione del Dataset Content Catalog che contiene i metadata per ogni dataset del tipo desiderato per trovare quelli che gli interessano Esempio di query: dammi la lista dei dataset con trigger 2 del 2009, versione x.y.z del software etc…. Esempio di query: dammi la lista dei dataset con trigger 2 del 2009, versione x.y.z del software etc…. Localizzazione tramite il Dataset Location Catalog del sito (cloud) dove risiede il dataset Localizzazione tramite il Dataset Location Catalog del sito (cloud) dove risiede il dataset Passaggio dai dataset ai singoli files tramite il Local File Catalog presente in ogni Tier1 della cloud Passaggio dai dataset ai singoli files tramite il Local File Catalog presente in ogni Tier1 della cloud Applicazione dell algoritmo di selezione sui dataset scelti e produzione di una lista di eventi accettati Applicazione dell algoritmo di selezione sui dataset scelti e produzione di una lista di eventi accettati In Athena è disponibile il tool che per ogni dataset permette di processare solo gli eventi specificati via TAG list Dataset Content Catalog Dataset C TAG, 2, 2009,… Event 1, Event 3, Event 6 Selection criteria Dataset Location Catalog LFC Dataset C: File 1 File2 CNAF Analisi Distribuita: selezione dei dati

G. Carlino: ATLAS Software, Computing & Challenges nei Tier-2 IV Workshop ATLAS & CMS: Bologna Selezionati gli eventi, sottomissione alla Grid dei job di analisi tramite il Work Load Manager (WLM), nei siti dove risiedono gli eventi Selezionati gli eventi, sottomissione alla Grid dei job di analisi tramite il Work Load Manager (WLM), nei siti dove risiedono gli eventi Il Dataset Location Catalog localizza i siti dove risiedono i dataset contenenti gli eventi accettati e con il Local File Catalog, si passa ai singoli files residenti sugli SE Il Dataset Location Catalog localizza i siti dove risiedono i dataset contenenti gli eventi accettati e con il Local File Catalog, si passa ai singoli files residenti sugli SE Un job può dare come output una nuova collezione di eventi, che può essere registrata come nuovo dataset nei cataloghi e acceduto successivamente Un job può dare come output una nuova collezione di eventi, che può essere registrata come nuovo dataset nei cataloghi e acceduto successivamente In DQ2 è possibile sottoscrivere uno o più siti come destinazione del dataset e quando il dataset è completo viene inizializzato il trasferimento con FTS In DQ2 è possibile sottoscrivere uno o più siti come destinazione del dataset e quando il dataset è completo viene inizializzato il trasferimento con FTS La possibilità di generare nuovi dataset consistenti sarà ristretta (almeno inizialmente) ai responsabili delle produzioni dei gruppi di fisica La possibilità di generare nuovi dataset consistenti sarà ristretta (almeno inizialmente) ai responsabili delle produzioni dei gruppi di fisica Estrazione dallinsieme dei dati analizzati (in formato AOD) dei file di Derived Physics Data (tipo n-tupla o altro formato privato) che potrà poi essere analizzare interattivamente in locale. Estrazione dallinsieme dei dati analizzati (in formato AOD) dei file di Derived Physics Data (tipo n-tupla o altro formato privato) che potrà poi essere analizzare interattivamente in locale. Submission tool Event 1, Event 3, Event 6 Dataset A: File 1 File 2 LFC Dataset B: File 3 File 4 LFC Dataset C: File 5 File 6 Work Load Manager Job 3 Computing Element Job 2 Job 1 Computing Element DPD/Ntuple File 5 File 6 DPD/Ntuple File 3 File 4 DPD/Ntuple File 1 File 2 Dataset Location Catalog CNAF CERN Analisi Distribuita: data processing

G. Carlino: ATLAS Software, Computing & Challenges nei Tier-2 IV Workshop ATLAS & CMS: Bologna Electron TauJet Muon PJet TrackP Cluster TruthP MET AOD Photon M_effTop_mass[]MissingEt Mu_eta[]Ph_eta[]El_eta[] Mu_p_T[]Ph_p_T[]El_p_T[] DPD (Ntuple) AOD Building Copy select info Slim: make lighter objects. Thin (eg remove some truth particles). 1. Framework Analysis Recalibrate Select Obj/Remove overlap Complicated Tasks Calculate DPD Athena Athena/EV 2. Out-of-Framework Analysis Further Analysis Make plots Event Data + User Data Histograms egamma TauObj CMuon Jet TTrack Cells Cluster Hits Truth ESD MET ROOT 2 Stage User Analysis Analisi Distribuita: il modello attuale

G. Carlino: ATLAS Software, Computing & Challenges nei Tier-2 IV Workshop ATLAS & CMS: Bologna I Data Challenges di ATLAS

G. Carlino: ATLAS Software, Computing & Challenges nei Tier-2 IV Workshop ATLAS & CMS: Bologna LHC Computing Review (2001) Experiments should carry out Data Challenges of increasing size and complexity to validate their Computing Model their Complete Software suite their Data Model to ensure the correctness of the technical choices to be made Validazione del Computing Model Validazione del Modello attraverso una serie di challenges di crescente complessità: Data Challenges (DC1 e DC2, ) Data Challenges (DC1 e DC2, ) Computing System Commissioning (CSC, ) Computing System Commissioning (CSC, ) Calibration Data Challenge (primo semestre 2007) Calibration Data Challenge (primo semestre 2007) Final Dress Rehearsal (secondo semestre 2007) Final Dress Rehearsal (secondo semestre 2007) In parallelo sono state sviluppate la produzione continua per fornire i dati allanalisi fisica la produzione continua per fornire i dati allanalisi fisica Rome production nel 2005 (physics workshop) Rome production nel 2005 (physics workshop) CSC nel 2006 CSC nel 2006 Test più specializzati: Test più specializzati: Tier-0 scaling tests Tier-0 scaling tests Service Challenges & Data Transfer Functional test Service Challenges & Data Transfer Functional test

G. Carlino: ATLAS Software, Computing & Challenges nei Tier-2 IV Workshop ATLAS & CMS: Bologna DC1 ( ) Primo esercizio di ATLAS su scala mondialePrimo esercizio di ATLAS su scala mondiale Sviluppo e test della full software chainSviluppo e test della full software chain Simulazione dei dati; digitizzazione; pile-up; ricostruzione Dati Monte Carlo necessari per l High Level Trigger Technical Design ReportDati Monte Carlo necessari per l High Level Trigger Technical Design Report Production system preliminareProduction system preliminare Uso preliminare della GridUso preliminare della Grid NorduGrid: tutta la produzione eseguita in Grid US: Grid usata alla fine del test LCG-EDG: solo test durate il Data Challenge ma non una reale produzione Storia dei Data Challanges DC2 (2004) Stessi esercizi del DC1Stessi esercizi del DC1 Introduzione del nuovo Production System (ProdSys)Introduzione del nuovo Production System (ProdSys) Produzione in siti sparsi nelle tre differenti Griglie 20 Nazioni, 69 siti, 260k jobs20 Nazioni, 69 siti, 260k jobs °Rome Production° (2005) Produzione di dati simulati per il Physics Workshop a Roma nel Giugno 2005 usando le infrastrutture del DC2 Produzione di dati simulati per il Physics Workshop a Roma nel Giugno 2005 usando le infrastrutture del DC2 22 Nazioni, 84 siti, jobs 22 Nazioni, 84 siti, jobs

G. Carlino: ATLAS Software, Computing & Challenges nei Tier-2 IV Workshop ATLAS & CMS: Bologna l Il principale scopo del Computing System Commissioning (CSC) è di testare e validare le infrastrutture del software e del computing che saranno utilizzate dal 2007 per lanalisi fisica Procedure di Calibrazione e Allineamento Procedure di Calibrazione e Allineamento Full trigger chain Full trigger chain Messa a punto della catena completa di Produzione, Simulazione, Ricostruzione degli eventi e Distribuzione dei Dati Messa a punto della catena completa di Produzione, Simulazione, Ricostruzione degli eventi e Distribuzione dei Dati Accesso distribuito ai dati per lanalisi Accesso distribuito ai dati per lanalisi l Il CSC durante il 2006 è stata più che altro un operazione di produzione continua che un challenge stand-alone 50 M eventi di fisica e particelle singole prodotti in 6 mesi con la release 11 del software di ATLAS; 50 M eventi di fisica e particelle singole prodotti in 6 mesi con la release 11 del software di ATLAS; Informazioni del trigger negli ESD/AOD (trigger aware analysis) Informazioni del trigger negli ESD/AOD (trigger aware analysis) Il Computing System Commissioning

G. Carlino: ATLAS Software, Computing & Challenges nei Tier-2 IV Workshop ATLAS & CMS: Bologna Produzioni nel 2006

G. Carlino: ATLAS Software, Computing & Challenges nei Tier-2 IV Workshop ATLAS & CMS: Bologna Produzioni nel 2006

G. Carlino: ATLAS Software, Computing & Challenges nei Tier-2 IV Workshop ATLAS & CMS: Bologna Attività del CSC nel periodo fine 2006, inizi 2007 Basata sulla produzione di eventi corrispondenti ai primi 100 pb -1 di dati: Basata sulla produzione di eventi corrispondenti ai primi 100 pb -1 di dati: 20 M eventi con la release 12 del software di ATLAS in corso (10 M eventi/mese). Ricostruzione da Dicembre. 40 M eventi nel primo trimestre M eventi con la release 12 del software di ATLAS in corso (10 M eventi/mese). Ricostruzione da Dicembre. 40 M eventi nel primo trimestre 2007 La release 12 permette di scegliere tra configurazioni geometriche di rivelatore ideale e as installed: La release 12 permette di scegliere tra configurazioni geometriche di rivelatore ideale e as installed: Geometria ideale Geometria ideale Geometria disallineata Geometria disallineata Geometria disallineata e distorta Geometria disallineata e distorta Mappa più realistica del campo magnetico (parziale asimmetria) Mappa più realistica del campo magnetico (parziale asimmetria) Descrizione accurata del materiale inerte e dei canali morti Descrizione accurata del materiale inerte e dei canali morti Full trigger simulation e studio dei trigger menus Full trigger simulation e studio dei trigger menus Il Computing System Commissioning

G. Carlino: ATLAS Software, Computing & Challenges nei Tier-2 IV Workshop ATLAS & CMS: Bologna Lavoro finalizzato nella prima metà del 2007 in una serie di note (CSC notes) Lo scopo non è quello di scrivere delle note (aggiornando i risultati del TDR di fisica) ma di rendere lintero sistema funzionante e operativo per il data taking Lo scopo non è quello di scrivere delle note (aggiornando i risultati del TDR di fisica) ma di rendere lintero sistema funzionante e operativo per il data taking Sinergia tra attività di software/computing, studio di performances & analisi per evitare duplicazioni e creare integrazioni tra i gruppi Sinergia tra attività di software/computing, studio di performances & analisi per evitare duplicazioni e creare integrazioni tra i gruppi Sono stati definiti circa 100 argomenti fra performances e studi di fisica Sono stati definiti circa 100 argomenti fra performances e studi di fisica 13 note con editore italiano 13 note con editore italiano 3 Higgs, 1 Top, 2 SuSy, 1 B-physics, 1 b-tagging, 4 jets, 1 muoni 3 Higgs, 1 Top, 2 SuSy, 1 B-physics, 1 b-tagging, 4 jets, 1 muoni La simulazione dei dati con set-up realistici associa le attività del CSC a quelle del Calibration Data Challenge note di processi molto sensibili alle calibrazioni del rivelatore (Higgs γγ, muoni, b-tagging) note di processi molto sensibili alle calibrazioni del rivelatore (Higgs γγ, muoni, b-tagging) Le Note CSC

G. Carlino: ATLAS Software, Computing & Challenges nei Tier-2 IV Workshop ATLAS & CMS: Bologna Analysis Geometry of as-installed mis-aligned detector G4-simulation of calibration samples [O(10M) events, e.g. Z ll] Reconstruction pass N (Release 13, Feb. 07) Calib/align constants pass N Condition DataBase Calib/align constants from pass N-1 Pass 1 assumes perfect calibration/alignment and nominal material In Release (current) Calibration Data Challange verifica della funzionalità del calibration closed loop: 1.simulazione del un rivelatore imperfetto (realistico) e ricostruzione assumendo il rivelatore ideale 2.determinazione del set finale di correzioni, allinemaneti e costanti di calibrazione 3.confronto delle performance con quelle nominali (TDR) e del processing degli algoritmi di calibrazione nel framework offline del software combinando le informazioni di vari sottorivelatori combinando le informazioni di vari sottorivelatori conditions database in ambiente distribuito conditions database in ambiente distribuito realistico streaming dei dati realistico streaming dei dati

G. Carlino: ATLAS Software, Computing & Challenges nei Tier-2 IV Workshop ATLAS & CMS: Bologna x = 0. y = 0. x = 0.mm y = 7.mm = 0. x = 3.5mm y = 3.5mm = 0. x = mm y = 5.25mm BOL ~ 1 mrad BML ~ 1.3 mrad BIL ~ 1.8 mrad x = -3.5mm y = 3.5mm = 0. Toroid egg ID conversion map Simulazione Realistica del rivelatore Realistico Come installato al pit Shift di tutti le principali parti del rivelatore già installate in accordo alle misure di survey (~mm) Toroid egg-shape Mis-calibrato calo-cells, R-t relations Mis-allineato Moduli ID e camere a muoni Deformazioni e wire sagging B-field map migliorata, includendo tilt/shift rispetto alla posizione nominale dellasse Descrizione accurata del materiale Esempio di ricostruzione del pt nellID simulatione mis-allineata, simulatione mis-allineata, ricostruzione nominale ricostruzione nominale

G. Carlino: ATLAS Software, Computing & Challenges nei Tier-2 IV Workshop ATLAS & CMS: Bologna Generazione di eventi MC simulando lo spettro fisico atteso e pochi giorni di data taking (~1 pb -1 a L=10 31 cm -2 s -1 ) Generazione di eventi MC simulando lo spettro fisico atteso e pochi giorni di data taking (~1 pb -1 a L=10 31 cm -2 s -1 ) G4 simulation (geometria del rivelatore realistica as installed ) G4 simulation (geometria del rivelatore realistica as installed ) Mix degli eventi dei vari canali di fisica per riprodurre loutput dellHLT Mix degli eventi dei vari canali di fisica per riprodurre loutput dellHLT Simulazione del trigger, produzione del byte stream (emulando i RAW data) e streaming degli eventi Simulazione del trigger, produzione del byte stream (emulando i RAW data) e streaming degli eventi Trasmissione degli eventi dal Point 1 al Tier0 Trasmissione degli eventi dal Point 1 al Tier0 Processamento delle calibrazioni e dellallineamento al Tier0 Processamento delle calibrazioni e dellallineamento al Tier0 Ricostruzione al Tier0 produzione di ESD, AOD, TAG Ricostruzione al Tier0 produzione di ESD, AOD, TAG Distribuzione di ESD, AOD, TAG ai Tier-1 e Tier-2 Distribuzione di ESD, AOD, TAG ai Tier-1 e Tier-2 Processamento dellanalisi distribuita (possiblmente ai Tier-2) usando i TAG Processamento dellanalisi distribuita (possiblmente ai Tier-2) usando i TAG Esercizio completo dellintera catena, dall on-line & trigger allanalisi distribuita, da eseguire nel secondo semetre del 2007, poco prima dellinizio del data taking: Il Final Dress Rehearsal

G. Carlino: ATLAS Software, Computing & Challenges nei Tier-2 IV Workshop ATLAS & CMS: Bologna I Tier-2 italiani di ATLAS

G. Carlino: ATLAS Software, Computing & Challenges nei Tier-2 IV Workshop ATLAS & CMS: Bologna I Tier-2 italiani La richiesta di infrastrutture di calcolo di ATLAS Italia è motivata dalla necessità di integrarsi nel modello di calcolo di ATLAS costituire un supporto adeguato alle attività di calcolo italiane costituire un supporto adeguato alle attività di calcolo italiane Ricostruzione: Muon Detector, Calorimetri, Pixel Detector Calibrazioni/allineamento: MDT, RPC, Calorimetri, Pixel Detector, DB Calibrazioni/allineamento: MDT, RPC, Calorimetri, Pixel Detector, DB Studi di performance: Muoni, Tau/jet/EtMiss/egamma Studi di performance: Muoni, Tau/jet/EtMiss/egamma Analisi: Higgs, Susy, Top, Fisica del B Analisi: Higgs, Susy, Top, Fisica del B Simulazione (soprattutto legate alle attività elencate) Simulazione (soprattutto legate alle attività elencate) Per assolvere alle funzioni richieste dalle attività della comunità italiana il sistema ha una struttura gerarchica articolata in Tier-1 e Tier-2 i quali svolgono compiti sostanzialmente complementari Per garantire la massima flessibilità ed efficienza è stato proposto un numero significativo di centri Tier-2 in accordo al numero di utenti e alla clusterizzazione della attività italiane.

G. Carlino: ATLAS Software, Computing & Challenges nei Tier-2 IV Workshop ATLAS & CMS: Bologna I Tier-2 italiani Nellultimo anno vi è stata unaccurata attività di referaggio da parte dellINFN sui siti candidati ad assolvere alla funzioni di Tier-2. Criteri di valutazione: infrastrutture (già disponibili o richieste) e sinergie con altri progetti gruppi: dimensioni del gruppo, manpaower (tecnici/tecnologi e fisici), esperienza pregressa in GRID e dimensioni della comunità di riferimento gruppi: dimensioni del gruppo, manpaower (tecnici/tecnologi e fisici), esperienza pregressa in GRID e dimensioni della comunità di riferimento Lattività di refereggio ha portato alle seguenti conclusioni: Tier-2 approvati Tier-2 approvati Napoli e Roma1 Napoli e Roma1 Tier-2 sub-judice: Tier-2 sub-judice: Milano Milano Proto Tier-2 Proto Tier-2 Frascati Frascati Lupgrading dei siti non ancora approvati è legata al superamento delle eventuali carenze di tipo infrastrutturale o di manpower e soprattutto alla capacità da parte dei Tier-2 di costituire una organizzazione, a livello di federazione, in grado di sfruttare le risorse disponibili nel Tier-1 e nei Tier-2 esistenti.

G. Carlino: ATLAS Software, Computing & Challenges nei Tier-2 IV Workshop ATLAS & CMS: Bologna Suddivisione delle attività in base agli interessi delle comunità di riferimento LNF e Roma1: Muon MDT Detector LNF e Roma1: Muon MDT Detector Roma1 è uno dei tre siti ATLAS dedicato alle calibrazioni Roma1 è uno dei tre siti ATLAS dedicato alle calibrazioni Napoli: Muon RPC Detector Napoli: Muon RPC Detector Milano: Calorimetro e Pixel Detectors Milano: Calorimetro e Pixel Detectors I canali di fisica scelti per lanalisi sono determinati anche dalle forti competenze sviluppate nella comprensione degli stati finali leptonici Tutti i Tier-2 italiani di ATLAS hanno comunque continuato e continueranno a contribuire a tutte le attività di computing della collaborazione. Risorse disponibili fine 2006 I Tier-2 italiani Tier-2CPU (kSI2k)Dischi (TB) Frascati3515 Milano7523 Napoli8528 Roma I10033 Totale~ 300~ 100

G. Carlino: ATLAS Software, Computing & Challenges nei Tier-2 IV Workshop ATLAS & CMS: Bologna La produzione in Italia nel 2006

G. Carlino: ATLAS Software, Computing & Challenges nei Tier-2 IV Workshop ATLAS & CMS: Bologna La produzione nei Tier-2 italiani nel 2006 Uso della CPU in un Tier-2 in termini di CPU e Wall Time

G. Carlino: ATLAS Software, Computing & Challenges nei Tier-2 IV Workshop ATLAS & CMS: Bologna La Federazione italiana dei Tier-2 La Federazione include tutti i flavour di Tier-2 italiani Compiti della Federazione: Rappresentare univocamente linsieme dei Tier-2 Facilitare linterfaccia con LCG, ATLAS Grid, INFN Grid Facilitare linterfaccia con LCG, ATLAS Grid, INFN Grid Facilitare laccesso alle risorse comuni dei Tier-2 agli utenti (in media per sito di cui 30-60% remoti) Facilitare laccesso alle risorse comuni dei Tier-2 agli utenti (in media per sito di cui 30-60% remoti) tutorial dei tool di grid tutorial dei tool di grid definizioni dei datasets da replicare nei siti di interesse per le analisi che verranno eseguite in itala definizioni dei datasets da replicare nei siti di interesse per le analisi che verranno eseguite in itala Individuare e sviluppare soluzioni e strategie comuni Individuare e sviluppare soluzioni e strategie comuni scegliere come implementare il modello danalisi in italia oppure il tipo di storage system o di monitoring locale da usare scegliere come implementare il modello danalisi in italia oppure il tipo di storage system o di monitoring locale da usare Organizzare le attività di Computing Operation di ATLAS quando i Tier-2 sono coinvolti (in aiuto al Grid Area Coordinator) Organizzare le attività di Computing Operation di ATLAS quando i Tier-2 sono coinvolti (in aiuto al Grid Area Coordinator) attività di produzione con ProdSys attività di produzione con ProdSys organizzazione dei trasferimenti di dati in Italia organizzazione dei trasferimenti di dati in Italia organizzazione dei Service Challange e Functional Tests organizzazione dei Service Challange e Functional Tests

G. Carlino: ATLAS Software, Computing & Challenges nei Tier-2 IV Workshop ATLAS & CMS: Bologna I Service Challenge (Tier-2 view) I Tier-2 italiani hanno preso parte ai challenge del Computing Operation di ATLAS: il Service Challenge (SC4) di Giugno 2006 e il Functional Test di Ottobre 2006: trasferimento dati Tier-0 Tier-1 Tier-2 test di sistema usando il sistema di produzione per generare i dati e il sistema di distribuzione per trasmettere, controllare e monitorare il data flow. I Tier-2 coinvolti hanno ricevuto dal Tier-1 della propria cloud un set completo di (fake) AOD corrispondente a un rate di 20 MB/s. Test del meccanismo di sottoscrizione dai Tier-2 al Tier-1 e viceversa I Tier-2 coinvolti hanno ricevuto dal Tier-1 della propria cloud un set completo di (fake) AOD corrispondente a un rate di 20 MB/s. Test del meccanismo di sottoscrizione dai Tier-2 al Tier-1 e viceversa I Tier-2 e la cloud italiana in complesso hanno risposto positivamente al challenge (non è stata necessaria la partecipazione ai testi di Novembre) I Tier-2 e la cloud italiana in complesso hanno risposto positivamente al challenge (non è stata necessaria la partecipazione ai testi di Novembre)

G. Carlino: ATLAS Software, Computing & Challenges nei Tier-2 IV Workshop ATLAS & CMS: Bologna Piano di sviluppo delle risorse per il computing di ATLAS

G. Carlino: ATLAS Software, Computing & Challenges nei Tier-2 IV Workshop ATLAS & CMS: Bologna yearenergyluminosityphysics beam time GeV 5x10 30 protons - 26 days at 30% overall efficiency 0.7*10 6 seconds TeV 0.5x10 33 protons - starting beginning July 4*10 6 seconds ions - end of run - 5 days at 50% overall efficiency 0.2*10 6 seconds TeV 1x10 33 protons:50% better than *10 6 seconds ions: 20 days at 50% efficiency 10 6 seconds TeV 1x10 34 TDR targets: protons: 10 7 seconds ions: 10 6 seconds Schedula di LHC Il calcolo delle nuove risorse di calcolo tiene conto della schedula di LHC per i primi anni di operazione

G. Carlino: ATLAS Software, Computing & Challenges nei Tier-2 IV Workshop ATLAS & CMS: Bologna Produzioni CSC nel Produzione di eventi CSC iniziata partendo dai canali che non hanno bisogno della release 13. Aumento graduale della capacità di produzione Q4 – 2006: 20 M eventi in 2 mesi (2 M eventi/settimana) Q4 – 2006: 20 M eventi in 2 mesi (2 M eventi/settimana) Q1 – 2007: 40 M eventi in 3 mesi (4 M eventi/settimana) Q1 – 2007: 40 M eventi in 3 mesi (4 M eventi/settimana) Q2 – 2007: 80 M eventi in 3 mesi (8 M eventi/settimana) Q2 – 2007: 80 M eventi in 3 mesi (8 M eventi/settimana) Regime – 2008: 30% dei dati reali (60 Hz o 20 M eventi/settimana) Regime – 2008: 30% dei dati reali (60 Hz o 20 M eventi/settimana) Capacità totale necessaria per le (sole) produzioni CSC Q4 – 2006: 3.25 MSI2k CPU, 44 TB disco, 120 TB nastro Q4 – 2006: 3.25 MSI2k CPU, 44 TB disco, 120 TB nastro Q1 – 2007: 4.35 MSI2k CPU, 88 TB disco, 128 TB nastro Q1 – 2007: 4.35 MSI2k CPU, 88 TB disco, 128 TB nastro Q2 – 2007: 8,65 MSI2k CPU, 176 TB disco, 256 TB nastro Q2 – 2007: 8,65 MSI2k CPU, 176 TB disco, 256 TB nastro Contributo italiano intorno al 10% di CPU e disco per la produzione e 10% del disco sia al Tier-1 che alla somma dei Tier-2 per il set completo di AOD. storage di disco additivo, da aggiungere a quello gia utilizzato per i dati esistenti storage di disco additivo, da aggiungere a quello gia utilizzato per i dati esistenti

G. Carlino: ATLAS Software, Computing & Challenges nei Tier-2 IV Workshop ATLAS & CMS: Bologna CPU (MSI2k)Disk (PB)Tape (PB) Tier CAF Somma dei Tier-1s Somma dei Tier-2s Risorse necessarie per il 2008 l Ricostruzione al Tier-0 l Re-processing ai (10) Tier-1s l Simulazione Monte Carlo e Analisi ai (30-40) Tier-2s Full simulation del ~30% dei dati

G. Carlino: ATLAS Software, Computing & Challenges nei Tier-2 IV Workshop ATLAS & CMS: Bologna Sviluppo delle risorse per i Tier-2 43,12,21,30,8 Disco (PB) 8,76,95,12,71,7 CPU (MSI2k) Tier-2 ITA Tier-2 ITA

G. Carlino: ATLAS Software, Computing & Challenges nei Tier-2 IV Workshop ATLAS & CMS: Bologna Conclusioni Il Computing Model di ATLAS sta per assumere una fisionomia consolidata. I prossimi mesi vedranno la definizione di alcuni punti ancora aperti (ddm, schema di analisi distribuita …) e soprattutto i test in larga scala dei CSC e CDC. Confidiamo di arrivare in tempo e in formaalla presa dati Punto dei vista dei Tier-2 italiani: La Federazione dovrà garantire la partecipazione efficace dei siti a tutte le attività di Computing Operation di ATLAS e soprattutto permettere in tempi molto brevi a tutti gli utenti un accesso facile ed efficiente alle risorse dei Tier-2 e alla Griglia in generale Le attività di training previste nei prossimi mesi e gli esercizi di analisi distribuita del CSC permetteranno di raggiungere tale scopo