ALICE PDC07 e stato del software AliRoot D. Di Bari – Dip. IA di Fisica di Bari & INFN

D. Di BariRiunione CNAF-Bologna agosto ALICE Grid Fino ad oggi 65 entry points (62 siti), 4 continenti –Africa (1), Asia (4), Europa (53), Nord America (4) –21 stati, 1 consorzio (NDGF) –6 Tier Tier-2 –globalmente ~5000 CPUs (pledged), 1.5PB disk, 1.5PB Tape –Intervallo di CPU offerte: CPUs –PIII, PIV, Itanium, Xeon, AMD –distribuzioni Linux (SL3/4, Mandriva, Suse to Ubuntu, no Gentoo)

D. Di BariRiunione CNAF-Bologna agosto ALICE Grid (2) 62 siti attivi

D. Di BariRiunione CNAF-Bologna agosto ALICE Offline Compiti di ALICE offline: –“ospitare” i servizi centrali di produzione: Grid catalogue, task queue, job handling, authentication, API services, user registration –organizza (sotto la guida dei requirements dei PWGs) e esegue i job di produzione – updata e valida i servizi nei siti (insieme con i “regional experts”) –Fornisce supporto all’analisi svolta dagli utenti –I Siti: –Ospitano le VO-boxes (interfaccia ai servizi del sito) –fanno funzionare i servizi locali (gLite) –Mettono a disposizione CPU e storage Questo modello ha funzionato con modifiche minori per parecchi anni e tuttora funziona soddisfacentemente

D. Di BariRiunione CNAF-Bologna agosto Physics Data Challenge in ALICE “Esercizio” del modello di produzione di ALICE –Produzione / storage/ replica dei dati –Validazione di AliRoot –Validazione del software di Griglia e funzionamento –User analysis (non ancora parte integrante del PDC) Da aprile 2006 il PDC è “running” in modo continuo

D. Di BariRiunione CNAF-Bologna agosto Storia dei job di produzione del PDC Average of 1500 CPUs running continuously since April 2006

D. Di BariRiunione CNAF-Bologna agosto PDC - zoom sugli ultimi 2 mesi 2990 jobs in average, saturating all available resources

D. Di BariRiunione CNAF-Bologna agosto Performance dei siti di produzione -Fino a ~ 10% dei siti non in produzione costantemente di cui: -metà schedulano upgrades -metà hanno problemi di failure di Grid o dei servizi locali - I T1 sono in generale più stabili dei T2 - Alcuni T2 are molto meglio di un qualunque T1 - Il raggiungimento di una migliore stabilità dei servizi nei siti è di alta priorità La disponibilità dei servizi centrali è > 95%

D. Di BariRiunione CNAF-Bologna agosto Stato della produzione Totale 85,837,100 26/ :00

D. Di BariRiunione CNAF-Bologna agosto Contributo dei siti Standard distribution: 50/50 T1/T2 contribution

D. Di BariRiunione CNAF-Bologna agosto Contributo dei siti italiani Distribuzione standard: 50/50 T1/T2 20% of the total resources

D. Di BariRiunione CNAF-Bologna agosto AliRoot AliRoot ha 8 anni di vita –Framework unico per simulazione e ricostruzione basato su ROOT –Utlizzato per i Technical Design Report dei rivelatori e per il PPR –Integrato con il DAQ, il DCS e l’ HLT –Piattaforme: Linux (SLC3 & SLC4 A32/64, Opteron), Solaris e MacOS Simulazione –FLUKA: interfaccia validata, ma non ancor in produzione –G4: validazione dell’interfaccia avviata –Geometria, servizi e strutture come da costruzione Ricostruzione –Efficienza e PID ai livelli previsti dal TDR o meglio per PbPb (dn/dy ch ≤8000) e pp –I parametri di ricostruzione sono presi in gran parte dal “Conditions Data Base” –Procedure di “Quality Assurance” messe a punto per diversi rivelatori --> in completamento –In preparazione: mappa misurata del campo magnetico Evoluzione del codice: ancora piuttosto rapida –Ottimizzazione per performance e occupazione di memoria –Clean-up del codice: coding conventions e effective C++

D. Di BariRiunione CNAF-Bologna agosto GDC DAQ FXS HLT FXS DCS FXS DAQ Monitoring AliEn FC CAF CASTO R T2 T1 T0 Reco HLT Simulate d RAW Shuttl e LDC ECS DCS Train analysis DA DA DA DA DA 2 pass calibratio n 2 pass alignment ESD friends ? Train analysis MC productio n Analysis Prompt analysis CPU quotas Disk quotas MonitoringQuotas MonitoringQuotas MonitoringQuotas xrootd xrootd xrootd fts CEs CEs xrootdQA ESD / Reco QA QA QA QA QA MC QA Full Dress rehersal

D. Di BariRiunione CNAF-Bologna agosto Ricostruzione Ottima efficienza di tracciamento nel barrel già a basso p T. Bassa frazione di fake Risoluzione in p T : qualche % fino a 100 GeV/c p T (GeV/c)

D. Di BariRiunione CNAF-Bologna agosto Ricostruzione (2)p-p Ricostruzione del vertice: Ottima già in p-p, con efficienza di ricostruzione del primario ~1 quando le condizioni di trigger sono soddisfatte. Vertici secondari per heavy flavour e V 0 PID combinato bayesiano nel barrel con ITS, TPC, TOF, TRD, HMPID

D. Di BariRiunione CNAF-Bologna agosto AliRoot (2) Analisi –Tool sviluppati nell’ambito dei Physics Working Groups –Framework comune basato su TSelector (per utilizzare Proof) –(Ri)definizione degli AOD in corso Calibrazione e allineamento –Framework per l’offline: pronto –Framework per l’online: in sviluppo/test –Algoritmi per l’allineamento e la calibrazione online: in corso di sviluppo Dati –Valutazione finale in corso per la dimensione dei dati (con gradi di incertezza diversi): RAW ESD AOD –Validazione dei meccanismi di codifica/decodifica dei dati raw Documentazione –Esiste una documentazione per AliRoot nel suo complesso –La documentazione dettagliata del software a livello di singolo detector è ancora carente –La documentazione dei tool di grid: da consolidare –Vengono organizzati dei tutorial a cadenza mensile

D. Di BariRiunione CNAF-Bologna agosto On-Off framework Shuttle Framework –Core: fatto –DAQ File Exchange Server & Logbook: validato –HLT File Exchange Server: implementato –DCS File Exchange Server: in sviluppo Pre-processamento (i.e. valutazione dei parametri) –Preprocessori per gran parte dei rivelatori  implementati e validati o pronti per la validazione –Framework di Data Acquisition per DCS e HLT: manca Interfaccia xrootd-CASTOR2: in corso di test

D. Di BariRiunione CNAF-Bologna agosto Visualizzazione Framework sviluppato in collaborazione con il team di ROOT La versione attuale risponde a molti requisiti richiesti Tool in rapido sviluppo attraverso l’interazione con gli utenti

D. Di BariRiunione CNAF-Bologna agosto AliRoot: in sintesi… Negli ultimi mesi c’è una forte pressione per arrivare ad avere: –Simulazione e ricostruzione realistiche  uso del OCDB –Calibrazione del OCDB: Codifica dei Detector Algorithms Codifica dei tool di preprocessing –Allineamento: Framework per “spostare” i volumi allineabili rispetto a posizione di baseline Tool di allineamento Core offline team: validazione del lavoro fatto dai gruppi legati ai detector Forte coinvolgimento dei gruppi italiani

D. Di BariRiunione CNAF-Bologna agosto Partecipazione gruppi italiani Coordinamento PWG –PWG2: Luciano Ramello –PWG3: Federico Antinori Responsabili offline project per detector –ITS: Massimo Masera –TOF: Silvia Arcelli –HMPID: Domenico Di Bari Core offline team –2 fellow Cern pagati dall’INFN SHUTTLE Allineamento Computing board: 8/32 italiani Non solo responsabilità: decisiva partecipazione di ricercatori italiani agli item di fisica!

D. Di BariRiunione CNAF-Bologna agosto PDC07 – slides di riserva

D. Di BariRiunione CNAF-Bologna agosto Efficiencies/debugging Workload management for production –Under control and is near production quality –We keep saying that, but this time we really mean it –Improvements (speed, stability) are expected with the new gLite version 3.1, still untested Support and debugging –The overall situation is much less fragile now –Substantial improvements in AliEn and monitoring are making the work of the experts supporting the operations easier –gLite services at the sites are well understood and supported User support is still very much in its infancy –The issues with user analysis are often unique and sometimes lead to development of new functionality –But at least the response time (if not the solution) is quick

D. Di BariRiunione CNAF-Bologna agosto General The Grid is getting better –Running conditions are improving –The Grid middleware in general and AliEn in particular are quite stable After a long and hard work by the developers –Even user analysis, much derided in the past few months is finally not a painful exercise The operation is more streamlined now –Better understanding of running conditions and problems by the experts We continue with the usual PDC’07 programme –Simulation/reconstruction of MC event –Validation of new middleware components –User analysis –And in addition the Full Dress Rehearsal (FDR)

D. Di BariRiunione CNAF-Bologna agosto AliRoot – slides di riserva

D. Di BariRiunione CNAF-Bologna agosto GDC DAQ FXS HLT FXS DCS FXS DAQ Monitoring AliEn FC CAF CASTO R T2 T1 T0 Reco HLT Simulate d RAW Shuttl e LDC ECS DCS Train analysis DA DA DA DA DA 2 pass calibratio n 2 pass alignment ESD friends ? Train analysis MC productio n Analysis Prompt analysis CPU quotas Disk quotas MonitoringQuotas MonitoringQuotas MonitoringQuotas xrootd xrootd xrootd fts CEs CEs xrootdQA ESD / Reco QA QA QA QA QA MC QA Full Dress rehersal

D. Di BariRiunione CNAF-Bologna agosto FDR status (by FC) The FDR is delayed, following the LHC start- up delay –Many dependent Grid software development tasks are delayed accordingly –Site resources and upgrades are coming later –Some essential parts of the system are not ready yet –We need a more or less stable conditions to execute the FDR The delay is giving us more time to prepare and execute the exercise well Detector code: DAs in all frameworks and AliRoot will play essential role

D. Di BariRiunione CNAF-Bologna agosto FDR status (2) Main input to the exercise is the test data from the detector commissioning phase –Starting in September First step – DAQ registration in the Grid File Catgalogue is ready –Small quantities of test data are already registered and Grid reconstruction/analysis is about to being Essential part of the FDR is the gathering of conditions data through the Shuttle system –This depends critically on the readiness of the condition data providers –And is the main focus of the current preparation

D. Di BariRiunione CNAF-Bologna agosto Strategia di uso delle risorse I job sono assegnati laddove ci sono i dati –Uso limitato del VOMS (Virtual Organization Management System) Vengono inviati alla grid Job Agents e non job “veri” –Questo annulla l’impatto di inefficienze del middleware Le risorse sono condivise –Non sono previste assegnazioni di risorse specifiche a gruppi –Accounting di uso delle risorse da parte dei gruppi –Gestione delle priorità: central Task Queue Accesso ai dati solo attraverso GRID

D. Di BariRiunione CNAF-Bologna agosto Calcolo distribuito AliEn –Ambiente di produzione che consente l’accesso alla GRID –Attualmente la stabilità dei servizi centrali è >90% –Sistema in continuo sviluppo: 8 release fino ad ora –Vengono organizzati tutorial periodici. Al momento 200 utenti registrati –Interfacce con GRID diverse da LCG: Operativa a Bergen quella con NorduGrid (da espandere ad altri siti) Da implementare quella con OSG Servizi specifici di ALICE –Installati centralmente al CERN e localmente sulle VO-box Monitoring centralizzato con MonaLisa Movimentazione di dati con FTS (File Transfer Service) –Test di trasferimento di dati raw T0 -> T1 in permanenza da settembre 2006 –Obiettivo: 300 MB/s sostenuti in uscita dal CERN. Ci sono ancora problemi di stabilità

D. Di BariRiunione CNAF-Bologna agosto Data Management Gli strumenti di Data Management non sono ancora sotto controllo –ALICE richiede che i sistemi di gestione dei dati su disco o nastro supportino xrootd –Ci sono test in corso di dCACHE, DPM e CASTOR2 (tutti SE di LCG) con supporto di xrootd: CASTOR2 al CERN (in produzione da un mese circa) dCache: prototipo al GSI DPM: prototipo a Torino –Non sono stati installati in servizio operativo (= a parte i test) Storage Elements al di fuori del Cern –L’accesso ai dati per l’analisi non è stato testato in una situazione realistica