22/09/2004 P. Capiluppi - CSN1 Assisi Calcolo CMS Per dettagli sulle attività svolte, vedi CSN1 di Pisa (22 Giugno 04) Due attività dominanti nel 2005:

Presentazione sul tema: "22/09/2004 P. Capiluppi - CSN1 Assisi Calcolo CMS Per dettagli sulle attività svolte, vedi CSN1 di Pisa (22 Giugno 04) Due attività dominanti nel 2005:"— Transcript della presentazione:

1 22/09/2004 P. Capiluppi - CSN1 Assisi Calcolo CMS Per dettagli sulle attività svolte, vedi CSN1 di Pisa (22 Giugno 04) Due attività dominanti nel 2005:  Computing TDR  Physics TDR Entrambe richiedono:  Simulazione (“produzione”)  Analisi (“distribuita”) Evoluzione da una attività a “Data Challenges” ad una “Permanent Production and Analysis effort”

2 2 P. Capiluppi - CSN1 Assisi 22/09/2004 CMS Computing schedule u 2004  OctRRB for MoUs structures agreement  Dec Computing TDR in initial draft form u 2005  AprilRRB Comp MoUs (Exps and LCG) final document [to be signed in June]  July LCG TDR and CMS Computing TDR submission  Dec Physics TDR submission [Based on “steady state” prod and analysis] u 2006  ~Spring (Final) Data Challenge 06  Dec Computing Systems Operational

3 3 P. Capiluppi - CSN1 Assisi 22/09/2004 Organizzazione del Computing di CMS (Computing-and-Core-Software e Physics- Reconstruction-and-Selection) u CCS new tasks arrangement: 1)Computing and Software Infrastructure: Nick Sinanis 2)Core Software (Architecture, framework and toolkits): Vincenzo Innocente 3)Production: Tony Wildish and Luciano Barone è Subtasks: Operation and Tools 4)Data Management: Lothar Bauerdick 5)Workload Management: Stefano Lacaprara u PRS Groups: 1)E-gamma/ECAL: Chris Seez & Yves Sirois 2)B-tau/Tracker: Marcello Mannelli & Lucia Silvestris 3)Muons/Muon: Ugo Gasparini & Darin Acosta 4)Jet-met/HCAL: Jim Rohlf & Chris Tully 5)Higgs: Sasha Nikitenko 6)Standard Model: Joachim Mnich 7)SUSY: Luc Pape 8)Heavy Ions: Bolec Wyslouch u u “Cross” CCS and PRS (+TriDAS) PROjects Management   RPROM (Reconstruction Software): Stephan Wynhoff   SPROM (Simulation Software): Albert de Roeck   APROM (Analysis Software): Lucia Silvestris u u CMSCCC (Computing Coordinating Committee): a CMS Collaboration Board sub-committee   One computing expert and one senior physicist per major Agency/Country contributing to Computing (CERN, France, Germany, Italy, Spain, UK, USA, Taipei) + CPT managers + CB chair: Roberto Tenchini & Paolo Capiluppi

4 4 P. Capiluppi - CSN1 Assisi 22/09/2004 Attivita’ svolte 2004(03) u Produzione (simulazione) di ~ 15 M eventi  Di interesse dei Gruppi di Fisica (PRS) italiani  Usando le Farm in locale e via Grid (LCG) u Partecipazione al DC04 in maniera sostanziale  Responsabilita’ della implementazione in LCG per il DC04  Tier1 del CNAF e Tier2 di LNL è Miglior rate di trasferimento dei files (insieme a PIC-Barcellona) è Coinvolgimento del Tier2 LNL (unico altro Tier2: CIEMAT-Madrid)  Real-time analysis realizzata al Tier1 e Tier2 (Bari, Bologna, Padova) è Tutti i tools e setup di “marca”italiana u Misure e feed-back dal DC04 per il Computing Model  Prestazioni  L’archietteura del software u Sviluppo del software di ricostruzione (e simulazione) e partecipazione all’analisi per i PRS sostanziale dall’INFN :  Muons  Tracker  E-gamma  Higgs  SUSY/BSM  SM

5 P. Sphicas PRS Status and Plan of Work 22/09/2004 P. Capiluppi - CSN1 Assisi 5 Physics TDR n Outline u Volume I: one person to provide overall coherence, etc. Parts split to the detector PRS group responsibles. u Volume II, part I: given all that is presented in Volume I, a detailed expose of early procedures and physics. A first-run, explanation of deployment of various tools, turning CMS from a 12,500-ton object to a detector – and last the 1fb-1 physics reach. u Volume II, part II: full analyses, given Vol I and all that will have been achieved in Vol II part I. u Volume II, part III: the physics of 10 and 30 fb-1. Include a chapter on asymptotic (300 fb-1) reach. n “Special” chapters go to corresponding piece u Diffractive Physics – the CMS-TOTEM combination – goes to Vol I (detectors), Vol 2.1, 2.2, 2.3 u Luminosity measurement (and monitor): in Vol I. Also in Vol II.1 u Startup scenario/procedure: this is now a whole “part” in Vol II (II.1) n Heavy Ions u Include it directly in Phys-TDR. Means special mention for heavy-ion response in Vol I and a special section (part?) in Vol II l Decision: add a part IV to Vol II

6 6 P. Capiluppi - CSN1 Assisi 22/09/2004 Attivita’ italiane 2005(04) di CMS Calcolo (1/2) u Le due attivita’ 2005 dominanti richiedono:  Analisi distribuita dei dati simulati durante (PCP incluso) e dopo il DC04 è Inclusi gli studi di calibrazione/allineamento  Produzione (simulazione) dei nuovi dati necessari per il Physics TDR (inclusa la High Luminosity) e la preparazione al commissioning  Distribuzione dei dati e accesso ad essi in modo distribuito u Questa attivita’ portera’ a:  Definire un CMS Computing Model, “misurato” anche nella parte dell’analisi  Definire l’uso delle componenti di “Grid” (LCG)  Produrre il Computing TDR di CMS e contribuire a quello di LCG  Definire i contenuti dei Computing MoUs  Produrre il Physics TDR

7 7 P. Capiluppi - CSN1 Assisi 22/09/2004 Attivita’ italiane 2005(04) di CMS Calcolo (2/2) u E’ intenzione di CMS (e di CMS Italia) di usare il piu’ possibile LCG:  Sia per l’Analisi (anche con “ARDA/GLite”) che per la Produzione  Attivita’ di Analisi “ continua ” (PRS in cui gli italiani sono coinvolti, vedi dopo):  Accesso attraverso User Interfaces (LCG-UI) dei Tier2/3  Dati principalmente presso il Tier1-CNAF e il Tier2-LNL (e altri Tier2, Pisa, Bari, etc.) è Data samples completi (MC truth, Digi, DST, EOD, …)  Dati parzialmente replicati presso i Tier2/3 è In funzione delle responsabilita’ nei PRS  Attivita’ di Produzione “ continua ” (privilegiati i canali di interesse italiano)  Il target di CMS e’ ~10M eventi/mese (dall’Autunno 2004 al Settembre 2005): upper-limit ~2M eventi/mese in Italia  Tier1-CNAF, Tier2 LNL/Pi/etc. dominanti, ma contributo sostanziale di “alcuni” Tier2/3 sia nella produzione (via LCG/Grid-it o meno) che nello sviluppo dei Tools

8 8 P. Capiluppi - CSN1 Assisi 22/09/2004 Attivita’ delle sedi italiane (1/2) u Attivita’ locali in TUTTE le sedi:  simulazioni, studi dei detectors, sviluppo software, tools, Farm system admin, Grid a vario livello  per il supporto a laureandi, dottorandi, costruzione degli apparati  usando l’environment comune di CMS u Leading support nell’analisi dei dati da Test Beams  Pd, Bo, To: Muons DC  Ba, Pi, Fi, Pg: Tracker  Rm1, Mi: ECAL u Leading nel supporto al “early commissioning” dei Detectors (dall’allineamento, alla calibrazione al commissioning)  Tracker, Muons, ECAL u Leading nel supporto e sviluppo del sw di ricostruzione (ORCA)  To, Pd, Bo: Muons DC  Pi, Ba: Tracker  Ba, Na: Muons RPC u Leading nel supporto e sviluppo dei tools di Computing:  Bo: core tools e architettura distribuita  Pd, Bo, Ba: tools e integrazione nel calcolo distribuito (Grid)  Pd, Bo, Ba, RM1: integrazione e sviluppo dei tools di job submission e production  Na, To, Fi: sviluppo di algoritmi OO di ricostruzione  Ba, Bo, Pd: sviluppo di tools di analisi distribuita  CNAF, LNL, Rm1, Ba, Bo: supporto alle produzioni

9 9 P. Capiluppi - CSN1 Assisi 22/09/2004 Attivita’ delle sedi italiane (2/2) u Coinvolgimento in varie attivita’ di analisi nei PRS, inclusi quelli di “Physics reach”:  e-gamma: Rm1, Mi  b-tau: Ba, Fi, Pg, Pi  Muons: Bo, Pd, To  Higgs: Ba, Bo  SUSY/BSM: Ct, To  SM: Pi, To, …  Etc. u Principali servizi di accesso, distribuzione e archivio dati:  CNAF verso e da tutti i Tier2/3 e verso/dal Tier0-CERN (e altri Tier1)  LNL verso/dal CNAF e i Tier2  CNAF per archivio di tutti i dati su Nastro u Supporto al Tier1-CNAF da parte di CMS Italia  Contributo principale di Bo u Supporto al Tier2-LNL da parte di CMS Italia  Contributo principale di Pd u Contributo alla definizione del Computing Model di CMS (C-TDR) e LCG  Principalmente: Ba, Bo, …

10 CCS Annual Review David Stickland CPT-AR 19 Sept 2004 Page 10/60 Computing Memoranda of Understanding 1) LCG MoU and 2) Addendum to M&O LCG Computing MoU –Covers CERN + major Computing Centres for 4 expts –Dedicated task force (I. Willers for CMS) Addendum to CMS M&O MoU –Covers CMS-specific efforts – Categories A and B –Mostly manpower, small amount of hardware –Addendum annexes cover WBS tasks (CCS + CPT_TriDAS) for Cat A and B Institutes and responsibilities (snapshot – will evolve) Resource needs (firm in short-term, rough projections to 2010) Category A (FTE and CHF) by country Category B voluntary commitments

11 CCS Annual Review David Stickland CPT-AR 19 Sept 2004 Page 11/60 Computing Memorandum of Understanding LCG phase II –Collaboration in the Deployment and Exploitation of the LHC Computing GRID Partners are: –CERN as host laboratory, Tier0, Tier1 and coordinator of LCG –Funding agencies/institutes qualifying as Tier1 or Tier2 centers Aim to provide the computing resources needed to process and analyze the data gathered by the LHC experiments Experiments? “Coordinator” of LCG as a Partner!? L”RRB approva una “Collaboration”? Chi decide quali, dove e quante risorse sono necessarie?

12 CCS Annual Review David Stickland CPT-AR 19 Sept 2004 Page 12/60 Computing Memoranda of Understanding Computing Manpower (N.B. numbers are preliminary!) Category A –General support and infrastructure tasks –Agreement on scope with ATLAS (in detail) ALICE (in principle) LHCb has no Cat A –Pro-rata cost sharing ~17 FTE’s needed ~8 FTE’s missing Category B –Voluntary adoption of responsibilities ~58 FTE’s needed ~13 FTE’s missing Note: We are still chasing much of our promised manpower Mancano la “category” III (il manpower nei Centri Regionali) e il manpower distribuito per i tools di computing Inclusi i due FTE “in arrivo” dall’INFN per CMS

13 13 P. Capiluppi - CSN1 Assisi 22/09/2004 Stato delle risorse CMS Italia

14 CCS Annual Review David Stickland CPT-AR 19 Sept 2004 Page 14/60 Hardware CPUs are not an issue –we have done similar amounts during PCP and now we have more and more powerful –although relevant resources (T1s etc.) are now under LCG (see below) Storage may be more critical –depends on the model of data distribution to T1s –if all DSTs everywhere, then needs at least 3 new TB/site/month –is a matter of money and procurement Necessita’ di spazio disco! E accesso distribuito ai dati con “qualche” CPU!

15 15 P. Capiluppi - CSN1 Assisi 22/09/2004 Milestones 2005: specifiche u CMS Computing TDR (e TDR-LCG) [Luglio 2005]  Definizione delle risorse del Tier1 e dei Tier2 che partecipano al Computing Model [Febbraio 2005]  Definizione dei servizi (dati, software, LCG) disponibili in Italia [Febbraio 2005]  Definizione della partecipazione di CMS Italia a LCG e INFN Grid [Maggio 2005] u Produzione ed analisi dei dati per il P-TDR [Gennaio 2006] Gruppi di fisica di responsabilità e interesse italiano: b-tau, muon, e-gamma, Higgs, SYSY, SM  Partecipano il Tier1 e almeno metà dei Tier2/3 [Luglio 2005]  Produzione di ~2 M eventi/mese [Gennaio 2005]  Analisi preliminare di almeno 4 canali (es. H->WW->2mu2nu) [Febbraio 2005]  Partecipano il Tier1, tutti i Tier2 e piu’ della metà dei Tier3 [Ottobre 2005]  Produzione di ~ 20 M eventi [Dicembre 2005]  Analisi di almeno 8 canali per il P-TDR [Dicembre 2005] u Deployment di un prototipo di sistema di analisi distribuito su LCG [Aprile 2005]  Definizione delle componenti [Gennaio 2005]  Definizione e implementazione dell’infrastruttura organizzativa italiana [Febbraio 2005] u Data Challenge 05 completato (~20% INFN) [Dicembre 2005] ===========================================

16 16 P. Capiluppi - CSN1 Assisi 22/09/2004 Milestones 2004: specifiche (1/2) u Partecipazione di almeno tre sedi al DC04 [Marzo]  Importare in Italia (Tier1-CNAF) tutti gli eventi ricostruiti al T0  Distribuire gli streams selezionati su almeno tre sedi (~ 6 streams, ~ 20 M eventi, ~ 5TB di AOD)  La selezione riguarda l’analisi di almeno 4 canali di segnale e relativi fondi, ai quali vanno aggiunti gli studi di calibrazione  Deliverable: contributo italiano al report DC04, in funzione del C-TDR e della “preparazione” del P-TDR. Risultati dell'analisi dei canali assegnati all'Italia (almeno 3 stream e 4 canali di segnale) u Integrazione del sistema di calcolo CMS Italia in LCG [Giugno]  Il Tier1, meta’ dei Tier2 (LNL, Ba, Bo, Pd, Pi, Rm1) e un terzo dei Tier3 (Ct, Fi, Mi, Na, Pg, To) hanno il software di LCG installato e hanno la capacita’ di lavorare nell’environment di LCG  Comporta la installazione dei pacchetti software provenienti da LCG AA e da LCG GDA (da Pool a RLS etc.)  Completamento analisi utilizzando infrastruttura LCG e ulteriori produzioni per circa 2 M di eventi  Deliverable: CMS Italia e’ integrata in LCG per piu’ della meta’ delle risorse Fine del DC04 slittata ad Aprile Sedi: Ba, Bo, Fi, LNL, Pd, Pi, Pg, CNAF-Tier1 2 Streams, ma 4 canali di analisi DONE, 100% Sedi integrate in LCG: CNAF-Tier1, LNL, Ba, Pd, Bo, Pi, Fi Il prolungarsi dell’analisi dei risultati del DC04 fa slittare di almeno 4 mesi In progress, 60%

17 17 P. Capiluppi - CSN1 Assisi 22/09/2004 Milestones 2004: specifiche (2/2) u Partecipazione al C-TDR [Ottobre]  Include la definizione della partecipazione italiana al C-TDR in termini di: è Risorse e sedi (possibilmente tutte) è Man-power è Finanziamenti e piano di interventi  Deliverable: drafts del C-TDR col contributo italiano u Partecipazione al PCP DC05 di almeno il Tier1 e i Tier2 [Dicembre]  Il Tier1 e’ il CNAF e i Tier2 sono: LNL, Ba, Bo, Pd, Pi, Rm1  Produzione di ~ 20 M di eventi per lo studio del P-TDR, o equivalenti (lo studio potrebbe richiedere fast-MC o speciali programmi)  Contributo alla definizione del LCG-TDR  Deliverable: produzione degli eventi necessari alla validazione dei tools di fast-simulation e allo studio dei P-TDR (~20 M eventi sul Tier1 + i Tier2/3) Il Computing TDR e’ ora dovuto per Luglio 2005 La milestone slitta di conseguenza Stand-by/progress, 20% Il Data Challenge 05 e’ stato cancellato e sostituito dalla produzione ed analisi continua per il P-TDR La milestone e’ annullata 0%

18 18 P. Capiluppi - CSN1 Assisi 22/09/2004 Conclusioni u Sequenza temporale non ottimale dei MoUs  Computing TDR (inclusa la analisi)  Approvazione scientifica  MoUs u CMS “on track” per definire  Computing Model  Software/framework per l’analisi  Componenti di Grid (LCG)  Infrastruttura di Calcolo  Physics TDR u CMS Calcolo Italia ha un ruolo proporzionato alla partecipazione globale: ~20%  Ed e’ leading in molti campi del Computing e dell’analisi

19 19 P. Capiluppi - CSN1 Assisi 22/09/2004 Additional slides

20 CCS Annual Review David Stickland CPT-AR 19 Sept 2004 Page 20/60 Computing Milestone Revisions DC04: challenge is complete and conclusions will be presented at CHEP ‘04 CCS TDR will be aligned with LCG TDR submission DC05: cancelled Cancelled

21 21 P. Capiluppi - CSN1 Assisi 22/09/2004 LCG e INFN-Grid u CMS Calcolo Italia continua a supportare e sviluppare la integrazione del Calcolo in LCG, con ruolo leading  Produzione su CMS-LCG/0 worldwide (Stress Test)  Produzione PCP DC04 su LCG-1 EU-wide  DC04 su LCG-2 EU-wide  Unica misura realistica delle potenzialita’ di LCG-GRID ad oggi  Analisi coi tools LCG e collegamento con gLite/Arda u In LCG sono coinvolte (per CMS) le sedi di:  CNAF-Tier1 per (anche) CMS  LNL  Pisa dal 2005  Progressivamente le altre sedi (Tier2/3) si stanno aggiungendo u In INFN-Grid sono coinvolte le Farm di CMS di:  LNL, Pd, Ba, Pi da tempo  Bo dal Giugno 2004  Fi e Na tra la fine del 2004 e l’inizio del 2005  Altre si aggiungeranno …

22 CCS Annual Review David Stickland CPT-AR 19 Sept 2004 Page 22/60 Continuous Operation Instead of DC05 we need to progressively bring up a full time operation –Not a test or a challenge. –Physicist access to data required. Generic GRID resources (for Generation/Simulation) –~750 CPU Continuous CPU means current generation ~2.4+GHz CMS T1 resources (Grid with significant Disk and MSS) –Needed for data intensive Digitization and Reconstruction steps –~750 CPU Continuous –Now 60TB +20TB/month (Spread across T1 centers) T1/T2 resources (probably not generic) –150C CPU Continuous –Now 40TB Analysis disk space to grow by about 2-5TB/month (T1+T2) We intend to run all this within LCG –“LCG” being all those resources available to CMS being steady migration from/between LCG2, GRID3, gLite, … We need to reach the 10M event/month level soon ( Autumn) We need to make the resources available to a growing CMS user base in the same time scale