23 Giugno CSN1 P. Capiluppi CMS Computing 2003 e oltre u Stato e richieste u LCG e CMS u Modello di Calcolo CMS

2 P. Capiluppi 23 Giugno CSN1 Data Challenges: DC04 (1/2) u CMS DC04 (Luglio 2003 – Marzo 2004): 5% di “Full Luminosity”  Simulazione, ricostruzione ed analisi di ~50 M eventi  “The emphasis... is on the validation of the deployed grid model on a sufficient number of T we intend to perform a large-scale test of the computing and analysis models themselves.”(D.Stickland)  Gli eventi verranno usati per preparare il Physics Technical Design Report (P-TDR)  Due fasi: è Pre Challenge Production (PCP) : Luglio – Dicembre 2003 Simulazione e digitizzazione degli eventi necessari Trasferimento degli eventi digitizzati al CERN è Challenge vero e proprio (DC04) : ~ Febbraio 2004 [con LCG, 1 mese di run] Ricostruzione degli eventi al CERN (Tier0) Stream degli eventi verso i Tier1 (~ 1 TB/day per ogni Tier1) Ridistribuzione sincrona degli eventi ai Tier2 e analisi “on-line”  Contributo Italiano è Partecipazione di tutte le sedi CMS Italia (con precisi commitments) è Contribuire con circa 10 M eventi durante il PCP è Partecipare all’analisi del DC04

3 P. Capiluppi 23 Giugno CSN1 Data Challenges: DC04 (2/2) Tier1 - CNAF 3  4 Meventi Tier2 - Legnaro 2  3 Meventi Altri Tier2 (Ba, Bo, Pd, Pi, Rm) 0.5  0.6 Meventi/sede Tier3 (Ct, Fi, Na, Mi, Pg, To) 0.2  0.3 Meventi/sede Scala: 1 evento simulato = 2 MB 1 evento digi = 1.5 MB 1 evento generato = 0.5 sec 1 evento simulato = 400 sec 1 evento digitizz. = 18 sec CPU time x 2 con “Oscar” PeriodoFlussoDimensione Luglio – Ottobre 2003 da ogni Tier2/3 verso il Tier1 (CNAF) degli eventi prodotti20 TB Ottobre – Dicembre 2003 da ogni Tier2/3 verso il CNAF/CERN degli eventi digitizzati (destinazione finale CERN) 15 TB Luglio – Dicembre 2003 (Archivio dei dati prodotti sui nastri “Castor” del CNAF)35 TB Gennaio 2004 test di trasferimenti Febbraio TB / day verso il CNAF (dal CERN)~30 TB Febbraio 2004 Archivio su nastro al CNAF~30 TB Febbraio 2004 streams (da definire) verso i Tier2/3 CMS Italiaqualche TB Marzo (+Aprile?) 2004 distribuzione degli eventi da analizzare “off-line” a tutti i Tier2/3 qualche TB

4 P. Capiluppi 23 Giugno CSN1 DC04 Analysis challenge DC04 Calibration challenge T0 T1 T2 T1 T2 Fake DAQ (CERN) DC04 T0 challenge SUSY Background DST HLT Filter ? CERN disk pool ~40 TByte (~20 days data) TAG/AOD (replica) TAG/AOD (replica) TAG/AOD (20 kB/evt) Replica Conditions DB Replica Conditions DB Higgs DST Event streams Calibration sample Calibration Jobs MASTER Conditions DB 1 st pass Recon- struction 25Hz 1.5MB/evt 40MByte/s 3.2 TB/day Archive storage CERN Tape archive Disk cache 25Hz 1MB/e vt raw 25Hz 0.5MB reco DST Higgs background Study (requests New events) Event server DC04 Data Flow 50M events 75 Tbyte 1TByte/day 2 months PCP CERN Tape archive

5 P. Capiluppi 23 Giugno CSN1 Risorse disponibili PCP Italia

6 P. Capiluppi 23 Giugno CSN1 Tabella da riempire…. Responsabilita’ di coordinamento: Luciano Barone con l’ausilio di Claudio Grandi, Massimo Biasotto e Vitaliano Ciulli

7 P. Capiluppi 23 Giugno CSN1 CPU Disco CPU (  =75%) e Storage (disco) necessari per il PCP di ogni sito

8 P. Capiluppi 23 Giugno CSN1 Richieste aggiornate 2003 Network e Tier1

9 P. Capiluppi 23 Giugno CSN1 Il Tier 2 di Legnaro u Risorse: 82 box, 178 CPU (P3-eq), 18TB disk in RAID-5, compatibili con il commitment previsto u Network: al momento solo 34Mbps totali. E’ stata assegnata ed e’ in fase di approvazione la gara per la stesura di una fibra da LNL a PD (pronta forse per settembre) u Legnaro e’ anche prototipo LCG-1  50 cpu e 4TB teoricamente riservati a LCG (saranno comunque utilizzati per PCP-04)  possbile impatto sul manpower  Primo Tier2 in LCG ! u Manpower: 4 persone (2 FTE) + 1 per luglio/agosto

10 P. Capiluppi 23 Giugno CSN1 CPU usata a LNL per CMS Spring Prod AnalisiProd +Stress testTest Run ContRH7.3 Start PCP

11 P. Capiluppi 23 Giugno CSN1 Richieste 2003 u Sblocchi sub judice  Napoli: inv 15 kEuro u Richieste aggiuntive (tasca calcolo 2003)  Roma1 (2TB), Padova (2TB), Bari (2TB): 3x8 kEuro = 24 kEuro  LNL (30 licenze LSF): 3 kEuro (consumo)  Padova (licenze LSF): 3 kEuro (consumo)  Roma1 (3 box CPU): 3x2.2 kEuro = 6.6 kEuro  Milano B. (sost gateway farm obsoleto) = 2.2 kEuro  Totale = 38.8 kEuro u Missioni Estero  Bo (P.C., C.G.) = 20 kEuro /2  Roma1 (L.B.) = 8 kEuro /2  LNL (M.B.) = 8 kEuro /2  Firenze (V.C.) = 8 kEuro /2  Bari (L.S.) = 7 kEuro  Totale = 29 kEuro u Tier1-CNAF  Dischi (20 TB) = 80 kEuro  Nastri (500 cartucce) = 35 kEuro  Box CPU (20-30) = kEuro

12 P. Capiluppi 23 Giugno CSN1 Data Challenges: DC05 - DC06 u CMS DC05 (Luglio 2004 – Marzo 2005): 10% di “Full Luminosity”  Simulazione, ricostruzione ed analisi di ~100 M eventi è Saranno piu’ complessi (demanding dal punto di vista computazionale) di quelli del DC04  Gli eventi verranno usati per preparare il Computing Technical Design Report (TDR) di CMS/LCG  Ancora due fasi: è Pre Challenge Production (PCP) : Luglio – Dicembre 2004 è Challenge vero e proprio (DC05) : ~ Febbraio 2005  Contributo Italiano è Partecipazione di tutte le sedi CMS Italia (con precisi commitments) è Contribuire con circa 20 M eventi durante il PCP è Partecipare all’analisi del DC05 u CMS DC06 (Luglio 2005 – Luglio 2006): 20% di “Full Luminosity”  Preparazione al commissioning….

13 P. Capiluppi 23 Giugno CSN1 Calcolo 2004 u I DC di CMS non sono sincronizzati con i tempi della CSN1  Fare le richieste ora per la pre-challenge-production DC05 (che sara’ nel 2004) e’ complicato: è Non abbiamo ancora risultati dalla PCP del DC04 (contiamo a Settembre 03 di avere delle indicazioni) è Le richieste per il 2004 si baseranno sulle stime delle risorse necessarie per “produrre” in Italia 20 M eventi + “svecchiamenti” di macchine con 4 anni di vita (fuori manutenzione)  LCG sta partendo ora è Sia per il software (Application Area) è Che per il deployment delle risorse con Grid (Grid Deployment Area)

14 P. Capiluppi 23 Giugno CSN1 LHC Computing Grid Project The job of the LHC Computing Grid Project – LCG – is to prepare the computing infrastructure for the simulation, processing and analysis of LHC data for all four of the LHC collaborations.

15 P. Capiluppi 23 Giugno CSN1 LCG application area Gli esperimenti contribuiscono a LCG con un considerevole numero di persone (circa 4 FTE da CMS…) Total of 49 FTE’s

16 P. Capiluppi 23 Giugno CSN1 What is CMS/LCG-0 (LCG-pre1)  CMS/LCG-0 is a CMS-wide testbed based on the LCG pilot distribution, owned by CMS è Red Hat 7.3 (7.3.2 with CERN kernel recommended) è Components from VDT and EDG 1.4.X (LCG pilot) è Components from DataTAG (GLUE schemas and info providers)  Additional components installed: è Virtual Organization Management: VOMS è RLS in place of the replica catalogue è Monitoring: GridICE  Additional components that will be installed soon: è R-GMA (as BOSS transport layer) è VOX extensions to VOMS?  Dynamic: install+test new components useful to CMS  Support (outside CMS) è DataTAG WP4 è LCG Experiment Integration and Support (EIS) team

17 P. Capiluppi 23 Giugno CSN1 Motivations of CMS/LCG-0/1 u Evolution of 2002 CMS grid testbeds:  IGT productions in US using VDT  CMS/EDG stress test u Develop CMS applications in an environment as close as possible to LCG-1 ones... u The LCG packaging allows to have both VDT and EDG on resources:  still using VDT will evolve to latest VDT version when LCG-1 will be deployed  EDG components from EDG 1.4.X but using a few new components: VOMS, RLS,... u Permette a CMS di essere “pronto” appena LCG delivera  Per il PCP e per il DC04 vero e proprio (Analisi)

18 P. Capiluppi 23 Giugno CSN1 SiteRedHatCertif.UICESEWN MDS/Gl ue testing CERN   CNAF   1+   Bari    1 1   Bologna   1+ Bristol  1  Imperial College   (CE)    5 5 Islamabad-NCP       E.Polytechnique  Legnaro   Padova   8 8   NCU/Taiwan   8 8   US Iowa    done!  working…  purchasing machines… CNAF services  Deployment status of CMS/LCG-0/1

19 P. Capiluppi 23 Giugno CSN1 Octopus Hybrid model for CMS Productions Site Manager starts an assignment RefDB Phys.Group asks for an official dataset User starts a private production Production Manager defines assignments DAG job JDL shell scripts DAGMan (MOP) Local Batch Manager EDG Resource Broker Computer farm GRID User’s Site (or grid UI) Resources Chimera VDL Virtual Data Catalogue Planner

20 P. Capiluppi 23 Giugno CSN1 Modello di CMS Italia: non e’ cambiato! u CMS Italia ha scelto fin dall’inizio di avere una propria Sede di riferimento (con le competenze e interessi locali): Tier2 di riferimento a Legnaro  50% delle produzioni 2002 Il Disegno globale a breve termine: u Ruolo del Tier1 (comune per l’INFN)  ~40% del commitment italiano  Assorbimento dei picchi di CPU (shared con gli altri Esperimenti)  Mass Storage e accentramento dei dati di simulazione e analisi  Riferimento core software (supporto) u Ruolo dei Tier2 (incluso il Tier2 di riferimento)  ~40% del commitment italiano  CPU e storage (solo dischi e/o archive) per l’analisi (distributa, non solo plots!)  Dimensionamento delle attivita’ in funzione delle competenze ed interessi locali (dal farming alla analisi) u Ruolo dei Tier3  ~20% del commitment italiano  Punto di forza in item specifici sia di analisi che di software e/o supporto e/o middleware CSN1 Novembre 2002

21 P. Capiluppi 23 Giugno CSN1 Dimostrazione della validita’ del Modello u Alcuni esempi:  Legnaro ha gia’ generato oggi piu’ di 3 M eventi per il PCP (DC04)  Bari sta generando 500 k eventi per il PCP ed e’ “leading” per i tools di trasferimento dati  Napoli sta testando e contribuendo allo sviluppo del nuovo software  Padova e’ leading nella introduzione dei tools di Grid per il PCP e per l’analisi  Bologna e’ leading per i tools di produzione su LCG e sulla selezione eventi PCP/DC04 muoni  Pisa e Firenze sono leading per i tools di analisi  Roma e’ leading nelle produzioni e nei tools di management  Milano, Catania, Torino, Perugia hanno specifiche competenze e commitments nel PCP  Bologna e Catania supportano il Tier1  Padova aiuta il Tier2 di riferimento (LNL)  Il Tier1 e’ “validato” per la produzione PCP e “pronto” a partire u Tutti partecipano allo sviluppo software in preparazione all’analisi

22 P. Capiluppi 23 Giugno CSN1 Conclusioni u CMS Calcolo Italia partecipa ai Data Challenges con:  Contributo sostanziale  Coordinamento e ruoli definiti u Il Modello di calcolo permette:  L’uso degli strumenti Grid  L’utilizzo delle risorse (umane e non) con buona efficienza  Adottare LCG appena disponibile  La condivisione delle risorse, purche’ pianificata u Necessari altri investimenti:  Nello spazio disco nei Tier2/3  Sulle risorse di calcolo del Tier1 (nastri inclusi)  Nella potenza di calcolo per il DC05