M.MaseraALICE Physics DC-3 ALICE PHYSICS DATA CHALLENGE III Massimo Masera Commissione Scientifica Nazionale I 23 giugno 2003

M.MaseraALICE Physics DC-3 Sommario Alice DC-3: che cos’e`; quali sono gli scopi AliRoot, AliEn.Framework: AliRoot, AliEn. Che cosa e’ cambiato per il Data Challenge? EDG-1.4  EDG 2.0Strumenti comuni di calcolo distribuito: situazione attuale (EDG-1.4  EDG 2.0) Infrastrutture di calcolo necessarie Infrastrutture di calcolo esistenti e da acquisire LHC Computing Grid (LCG)Strumenti comuni di calcolo distribuito per il DC- 3: LHC Computing Grid (LCG)

M.MaseraALICE Physics DC-3 Period (milestone) Fraction of the final capacity (%) Physics Objective 06/01-12/011%pp studies, reconstruction of TPC and ITS 06/02-12/025%First test of the complete chain from simulation to reconstruction for the PPR Simple analysis tools. Digits in ROOT format. 01/04-06/0410%Complete chain used for trigger studies. Prototype of the analysis tools. Comparison with parameterised MonteCarlo. Simulated raw data. 01/06-06/0620%Test of the final system for reconstruction and analysis. ALICE PHYSICS DATA CHALLENGES

M.MaseraALICE Physics DC-3 Physics Data Challenge 3: obiettivi Il Physics Performance Report di ALICE e’ in via di completamento e dovrebbe terminare entro la fine dell’anno Simulazioni post-PPR: enfasi su hard physics; jets e jet quenching: – a LHC, ma in parte a RHIC, dovrebbe crescere il contributo di minijet alla produzione di particelle nella zona centrale di rapidita`

M.MaseraALICE Physics DC-3 Physics Data Challenge 3: obiettivi signal-freeUna semplice parametrizzazione signal-free di un modello microscopico non puo` essere usato a causa dell’assenza di fluttuazioni dovute alla produzione di jet e minijet E` necessario far ricorso a generatori di eventi come HIJING, che includano la produzione di jet, anche per la simulazione dei cosiddetti “eventi di background” usati con l’event mixing per simulare fenomeni a bassa sezione d’urto A p T ~10-20 GeV/c  ci si aspetta~1 jet per evento Jet con p T ~200 GeV/c  1000/ mese di presa dati – Studio di jet con p T fino a qualche 10 GeV/c: questo compito non e` semplice ed e` basato sulla ricerca di leading particles ad alto p T nel barrel. –La tecnica dell’event mixing (generazione separata di segnale e background) non e` possibile 50 volte –Studio di jet cpn p t ~100 GeV/c e maggiore : event mixing. Un singolo evento di background puo` essere utilizzato fino a 50 volte

M.MaseraALICE Physics DC-3 Physics Data Challenge 3: obiettivi La definizione del numero di eventi da simulare nel DC-3 e` dovuta essenzialmente allo studio dei jet: –10 5 eventi per lo studio di jets with p T fino a GeV/c con statistica sufficiente – eventi per studi di correlazione di particelle e per iperoni con stranezza singola e doppia ( ,  ) – 10 6 eventi: jet di alto p T (  ~10 5 eventi di background) – , stati di charmonio e bottomonio  e + e - La statistica necessaria e` dello stesso ordine di grandezza di quanto necessario per i jet. Gli stessi eventi di background possono essere riutilizzati. –Centralita`: 50% central events (b<2-3 fm) 50% minimum bias

M.MaseraALICE Physics DC-3 Physics Data Challenge 3: scopi Oltre a simulazioni Pb-Pb: 10 7 eventi p-p (Pythia) e ~10 6 p-A (Hijing) Il DC serve anche per verificare la capacita` di simulare e soprattutto analizzare una mole di dati ~10% di quella da trattare a regime con le tecnologie informatiche a disposizione  ricaduta su framework e middleware La durata del DC e` di 6 mesi: la Collaborazione vuole verificare quanti eventi e’ in grado si simulare e analizzare (in modalita` diretta o con mixing) in questo periodo sfruttando sia risorse proprie che risorse disponibili nell’ambito LCG Parte dei dati simulati sara` portata al Cern e di qui redistribuita per l’analisi

M.MaseraALICE Physics DC-3 Il framework ROOT AliRoot STEER Virtual MC G3 G4 FLUKA HIJING MEVSIM PYTHIA6 PDF CRT EMCALZDC FMD ITS MUON PHOSPMDTRD TPC TOF STRUCT START RICH RALICE EVGEN HBTP HBTAN ISAJET AliEn DPMJET Si veda la relazione di F.Carminati alla CSNI del Nov. 2002

M.MaseraALICE Physics DC-3 AliRoot + AliEn AliRoot –C++: 400kLOC + 225kLOC (generated) + macros: 77kLOC –FORTRAN: 13kLOC (ALICE) + 914kLOC (external packages) –Maintained on Linux (any version!), HP-UX, DEC Unix, Solaris –Works also with Intel icc compiler Two packages to install (ROOT+AliRoot) + MC’s –Less that 1 second to link (thanks to 37 shared libs) –1-click-away install: download and make (non-recursive makefile) AliEn –25kLOC of PERL5 (ALICE) –~2MLOC mostly PERL5 (opens source components) Installed on almost 50 sites by physicists –>50 users develop AliRoot from detector groups –70% of code developed outside, 30% by the core Offline team

Che cosa c’e` di nuovo in AliRoot? User Code VMC Geometrical Modeller G3 G3 transport G4 transport G4 FLUKA transport FLUKA Reconstruction Visualisation Geant3.tar.gz includes an upgraded Geant3 with a C++ interface Geant4_mc.tar.gz includes the TVirtualMC Geant4 interface classes Generators Monte Carlo Virtuale

M.MaseraALICE Physics DC-3 ALICE 3 milioni di volumi Breaking News! GEANT3 funziona a partire dal nuovo modellatore

M.MaseraALICE Physics DC-3 Che cosa c’e` di nuovo in AliRoot? NewIO Nuovo I/O: verra’ usato nel DC-3 per la prima volta. La gestione dell’IO e’ demandata a un set di classi dedicate (AliLoader, AliRunLoader, AliDataLoader…) e la dipendenza tra classi e’ ridotta con l’uso dei “folder” di root. –Highlights: migliore modularita’, facilita’ di rifare parti di ricostruzione, possiblita’ di accedere (e spostare se serve) parte dell’informazione che e’ distribuita su piu’ file. Possibilita` di aggiornare l’informazione su MSS aggiungendo nuovi file (ad esempio: vertici, tracce, etc) senza alterare i file contenenti l’informazione di partenza

TPC.RecPoints.root Object Tree TPC.Hits.root Root dir Folder Kine.root Event #2 TreeH Event #2 TreeK Event #1 TreeH Event #1 TreeK TPC.Digits.root Event #1Event #2 File ITS.Tracks.rootITS.Digits.rootTPC.Tracks.rootITS.Hits.rootTPC.RecPoints.root Object g a lice.root RunLoader gAlice TreeE TreeD Nuovo I/O Piotr Skowronski

M.MaseraALICE Physics DC-3 I Loaders Un Loader e` un oggetto responsabile della gestione dei files –Gestisce I nomi dei file e delle directory (sia a livello di OS che ROOT) “Posting” dei dati su TFolders –Da file a folder – lettura –E viceversa - scrittura Sono implementati dei metodi per accedere comodamente ai dati –e.g invece di usare: dynamic_cast (fEventFolder->FindObject(fgkHeaderContainerName)); si puo’ fare loader->TreeE();

M.MaseraALICE Physics DC-3 Architettura AliRunLoader AliLoader (ITS)AliLoader (PHOS) This object takes care of Kinematics Track References Header These ones takes care of any data assiciated with one detector Hits Summble Digits Digits.....

M.MaseraALICE Physics DC-3 Architettura AliRunLoader AliLoader (ITS)AliLoader (PHOS) AliDataLoader (Hits) AliDataLoader (SDigits) AliDataLoader (Digits) AliDataLoader (Tracks) AliDataLoader (RecPoints) AliDataLoader (Hits) AliDataLoader (SDigits) AliDataLoader (Digits) AliDataLoader (Tracks) AliDataLoader (RecPoints) Migliore scalabilita` Aggiungere nuovi tipi di dato e` facile AliDataLoader (RawCluseters) AliDataLoader (Kinematics) AliDataLoader (Track Refs) AliDataLoader (Header) AliBasicLoader (TreeD) AliBasicLoader (AliITSDigitizer) AliBasicLoader (QATask) AliBasicLoader (QAObject ) AliBasicLoader (TreeD) AliBasicLoader (AliPHOSDigitizer) AliBasicLoader (QATask) AliBasicLoader (QAObject ) AliDataLoader (Vertex)

M.MaseraALICE Physics DC-3 AliROOT User Simulation, Reconstruction, Calibration, Analysis C++ ROOTSystem GUI Persistent IO Utility Libs C++ World Interfaces & Distributed computing environment anything Nice! I only have to learn C++ Typical HEP use cases: Simulation & Reconstruction Event mixing Analysis Novita` in AliEn: connessione con EDG (  LCG)

M.MaseraALICE Physics DC-3 Stefano Bagnasco, INFN Torino (DataTAG) Il primo evento sottomesso via AliEn e’ girato sull’application testbed di EDG (1.4) il 11/03/2003

M.MaseraALICE Physics DC-3 Server Interface Site AliEn CE Submission EDG UI EDG Site EDG CE EDG RB WN AliEn EDG SE Status report: outbound connectivity AliEn SE L’intera Grid e’ vista dal server come un singolo Computing Element (CE) di AliEn e l’intero storage di Grid come uno Storage Element (SE) di AliEn. Interfaccia AliEn / GRID: job submission  Un “interface site” e’ una macchina User Interface di GRID sulla quale gira la AliEn client suite - ClusterMonitor, CE e SE  L’ interface client prende (“pulls”) un job dal server, genera un jdl appropriato che sia GLUE- compliant e manda il job al Resource Broker (RB)  Sul Worker Node, il job attiva AliEn che comunica direttamente con il server Nota: AliEn fa parte del Software di ALICE. Non ci sono demoni attivi sul WN

M.MaseraALICE Physics DC-3  L’output generato dal job di AliEn che gira su un sito EDG e` salvato su uno Storage Element definito dal RB di EDG. L’informazione e’ acquisita da AliEn a partire dal file.BrokerInfo.  I file sono registrati nel Replica Catalogue di EDG  I file sono quindi aanche registrati nel AliEn Data Catalogue usando il Logical File Name di EDG come AliEn Physical File Name  Accedere ai dati da AliEn e` un processo a 2 step via l’ AliEn Data Catalogue and EDG Replica Catalogue.  Il nodo di interfaccia e` anche in grado di effettuare lo stage di file attraverso i 2 sistemi. Data Catalogue EDG RC EDG Site EDG CE WN AliEn EDG SE LFN PFN EDG:// / Interfaccia AliEn / GRID: data management

M.MaseraALICE Physics DC-3 Problemi aperti  Con EDG 1.4 il tracciamento degli errori e` problematico. Le cose dovrebbero sensibilmente migliorare con EDG 2.0  Il tasso di fallimento nel trasferimento di file tra i due sistemi e’ ancora molto alto (90%). Le ragioni sono: Instabilita’ di EDG (interruzione di servizi quali RC, FT, etc) Problemi noti di EDG specifici ad alcuni siti (e.g. RAL) Problemi di saturazione della staging area dell’interfaccia: il clean up non e’ fatto da AliEn. Il problema e’ superato: clean up fatto localmente. Crash occasionali del File Transfer Demon Slow file transfer performance Fortunatamente sono problemi di performance per i quali le soluzioni sono possibili.

M.MaseraALICE Physics DC-3 Analisi distribuita: AliEnFS MSS VFS Kernel LUFS Kernel Space AliEnFS AliEn API User Space castor:// soap:// root:// /alien/ alice/atlas/ data/ prod/ mc/ a/b/ Linux File System MSS Il catalogo di AliEn puo’ essere montato in ambiente linux come un file system: Il browsing del catalogo e l’accesso ai file e’ dal punto di vista dell’utente equivalente all’accesso di un file system convenzionale. CAVEAT: per file remoti su MSS I tempi di accesso dipendono dalle risorse locali

M.MaseraALICE Physics DC-3 Analisi distribuita: job splitting ******************************************* * * * W E L C O M E to R O O T * * * * Version 3.03/09 3 December 2002 * * * * You are welcome to visit our Web site * * * * * ******************************************* Compiled for linux with thread support. CINT/ROOT C/C++ Interpreter version , Oct Type ? for help. Commands must be C++ statements. Enclose multiple statements between { }. root [0]newanalysis->Submit(); Analysis Macro MSS CE merged Trees +Histograms ? Query for Input Data Esiste a livello di prototipo in Root/AliEn: A partire da una macro di analisi vengono generati tanti job AliEn quanti sono i file su sisti remoti da analizzare I job vengono eseguiti in parallelo I risultati sotto forma di TTree, TNtuple, istogrammi vengono sottoposti a merge

PROOF Classic PROOF USER SESSION 32 Itanium II 2x1GHz, 2 GB RAM, 2x75GB 15K SCSI, Fast/GB Eth PROOF SLAVE SERVERS

M.MaseraALICE Physics DC-3 Super PROOF USER SESSION PROOFM+S SITE A PROOFM+S SITE B PROOFM+S SITE C SuperPROOF SuperPROOF MASTER

M.MaseraALICE Physics DC-3 Strumenti di GRID. Situazione attuale ALICE ha tentato la produzione di 5000 eventi Pb-Pb (HBT) sull’application testbed di EDG 1.4 – 1 job/evento – ore di CPU –1.8 GB/evento  9 TB in tutto Start: 15 Marzo 03. Stop 31 Maggio 03 Eventi prodotti eventi/giorno. Abbastanza per studiare la correlazione di pioni L’application testbed di EDG non e` adatto a grandi produzioni

BA: 3 servers (2 ALICE, 1 CMS) BO: 6 servers CA: 2 servers CNAF: 2 servers CNAF Padova “Stress test” della rete ALICE ha condotto un test sulla capacita’ di utilizzo delle reti Obiettivi: dove sono i bottle neck nelle connessioni di rete? Le bandwidth sono sufficienti? Risultati: bandwidth saturate in alcuni siti in condizioni di uso normale nel DC Architettura delle farm: NFS inadeguato per file grandi e thread multipli CT: 2 servers PD: 6 servers TO: 2 servers TS: 1 server

M.MaseraALICE Physics DC-3 EDG 2.0  LCG L’uso del testbed da parte delle applicazioni e` servito a mettere in luce i problemi esistenti La versione 2 di EDG e la versione finale (ottobre  LCG) dovrebbero aver risolto la maggior parte dei problemi che si sono presentati SVILUPPI IN ITALIA production-qualityPotenziamento del development testbed di DataGrid in modo da arrivare ad una versione finale (autunno 2003) che sia production-quality e completa di VOMS e autenticazione (sviluppati in Italia) In parallelo si sta definendo la partecipazione INFN al Certification Testbed di LCG (macchine al CNAF – team distribuito)

M.MaseraALICE Physics DC-3 Stima delle risorse necessarie Simulazione: – 10 5 Pb-Pb p-p –Produzione distribuita, replica dei dati (almeno parte) al CERN Ricostruzione e analisi : –5  10 6 Pb-Pb p-p – Ricostruzione effettuata al Cern e fuori a seconda della disponibilita` di risorse – I dati originano dal CERN Risorse (CPU e Storage) : –2004 Q1: 1354 KSI2K e 165 TB –2004 Q2: 1400 KSI2K e 301 TB documento sul Data Challenge presentato al PEB di LCG –Definite nel documento sul Data Challenge presentato al PEB di LCG, rivedute alla luce del fattore di mixing salito da 1/500 a 1/50. Le valuazioni numeriche sono state recentemente riviste (Offline week 10 Giugno 2003) e sono ancora in fase di elaborazione

M.MaseraALICE Physics DC-3 RISORSE PER IL DC3 Le valutazioni sono descritte nel documento “ALICE Data Challenge Planning” e sono basate su: Risultati dei data challenge precedenti Stime delle simulazioni da effettuare al 2008, con il rivelatore operativo. STORAGE: I 300 TB di dati dovrebbero essere mantenuti su MSS oltre il DC Piano poliennale Quota USA (30%) Non confermata

M.MaseraALICE Physics DC-3 RISORSE CHE DOVREBBERO ESSERE DISPONIBILI PER LCG-1 La quota statunitense e` da confermare

M.MaseraALICE Physics DC-3 Risorse in un Tier1 tipico La tabella e` ricavata nell’ipotesi che il CERN contribuisca come un Tier1 standard sulla base delle capacita` dichiarate dal Cern per LCG (175 KSI2K)

M.MaseraALICE Physics DC-3 RISORSE LCG (Esistenti o pianificate) dichiarate al progetto LCGCPU: 145 KSI2K (dichiarate al progetto LCG) – 75 al Tier1 – 70 al Tier2 di Torino (34 gia’ esistenti) STORAGE: 16 TB – 8 TB dischi al Tier2 di Torino (2.6 gia` esistenti) – Restante quantita` al Tier1 TAPE CAPACITY: –25 TB al Tier1

M.MaseraALICE Physics DC-3 RISORSE DISPONIBILI nel 2003 Tier2 Torino (Farm CSNIII + farm LCG + sblocco s.j. 2003) – CPU: 56.8 KSI2K – DISCO: 11.6 TB Tier2 Catania (Farm CSNIII + sblocco s.j. 2003) – CPU: 22.9 KSI2K – DISCO: 10.4 TB Totale Tier2: ~80 KSI2K e 22 TB di disco s.j. CSNIII Piccolo sblocco a giugno Il resto a settembre (se va bene)

M.MaseraALICE Physics DC-3 ESIGENZE per DC-3 ALICE ITALIA I SEMESTRE 2004 II SEMESTRE 2004 CPU (KSI2000) DISCO (TB) (Escluso spool CASTOR) 43 NASTRO (TB)50

RICHIESTE per DC-3 ALICE ITALIA SEM I Tier1 SEM I Tier2 SEM II Tier1 SEM II Tier2 CPU (KSI2000) DISCO (TB) (Escluso spool CASTOR) NASTRO (TB) Questa dotazione andrebbe ad aggiungersi agli 80 KSI2000 e 22 TB disponibili ai Tier2 secondo lo schema della slide 34

M.MaseraALICE Physics DC-3 ALICE DC-3 e LCG AliEn e` l’interfaccia di produzione di ALICE – in modo diretto – via LCG Cfr. Attivita` sul testbed e sulla interoperabilita` AliEn/EDG ALICE ha il committment ad usare tutte le risorse LCG disponibili, assunta un’efficienza ragionevole Le risorse per il Data Challenge III (gennaio 2004) vanno stabilite adesso ALICE non avra` DC nel 2005 Le richieste per il 2004 sono per il DC-3

M.MaseraALICE Physics DC-3 Soluzioni di backup Se il testbed di produzione di LCG fosse in ritardo o dovesse avere delle instabilita` tali da renderlo inefficiente : – Perderemmo gran parte delle risorse e il raggiungimento degli obiettivi del DC potrebbe essere in forse – Almeno in Italia, si potrebbero utilizzare le farm allocate pro tempore ad ALICE direttamente con AliEn La conversione dei WN e’ molto semplice L’aggiunta di CE e SE addizionali e’ un po’ piu’ laboriosa. La riconversione a LCG potrebbe richedere il mirroring dei dati su MSS