16 Maggio 2006 - CSN1 Computing-Software-Analysis CMS-INFN TEAM Analisi in CMS: stato e prospettive del supporto italiano.

Presentazione sul tema: "16 Maggio 2006 - CSN1 Computing-Software-Analysis CMS-INFN TEAM Analisi in CMS: stato e prospettive del supporto italiano."— Transcript della presentazione:

1 16 Maggio 2006 - CSN1 Computing-Software-Analysis CMS-INFN TEAM Analisi in CMS: stato e prospettive del supporto italiano

2 16 Maggio 2006 - CSN1Computing-Software-Analysis CMS-INFN TEAM 2 Preparazione delle Analisi di Fisica (1) Physics TDR Vol. 1 ( completato Feb 06 ) –Procedure di Allineamento e Calibrazione –Physics Tools Physics TDR Vol. 2 ( completamento Giu 06 ) –Canali di Fisica

3 16 Maggio 2006 - CSN1Computing-Software-Analysis CMS-INFN TEAM 3 CMS Physics Notes 2006, con autori INFN (pubbliche e con referee interno) Totale di 27 Physics Notes nel 2006, vedi http://tenchini.home.cern.ch/tenchini/CMS_Note_Italiche_Anno_2006.html Muon3Higgs7 elec-  4QCD1 tau1TOP+ew4 Tracking2SUSY1 B-tag3B-phys1 Physics tools Physics Channels

4 16 Maggio 2006 - CSN1Computing-Software-Analysis CMS-INFN TEAM 4 Preparazione delle Analisi di Fisica (2) CSA2006 (Novembre 06) –Test della catena completa di ricostruzione ed Analisi Dati Physics TDR Addenda (Inizio 2007) –Studi dettagliati dell’High Level Trigger –Test finale Calibrazioni e Allineamenti –Programma di fisica per < 1 fb -1

5 5 Computing-Software-Analysis CMS-INFN TEAM 16 Maggio 2006 - CSN1 Analisi di CMS (Italia) Physics Analyses of First data Software Algorithms Software tools & Middleware Infrastructure Identification of Physics channels Commissioning of detectors Calibration / Alignment Reconstruction software (RECO Data) Analysis Object Data (AOD) Management Tools End User Support & Interfaces Dataset definition & Location Grid Integration Performances tests Analysis Job submission (CRAB), etc. Dataset discovery (DBS), etc. Resources: Tier1 & Tier2s (and Tier0) Services: Tier1 & Tier2s (and Tier0)

6 6 Computing-Software-Analysis CMS-INFN TEAM 16 Maggio 2006 - CSN1 L’analizzatore “vede” questo… (e non vorrebbe vederlo…) Ambiente CMS+Grid CRAB: creazione, partizionamento e sottomissione (via BOSS) dei job Quali Dataset ci sono? (CMS specific) Dove mandare i job? (GRID) Dove stanno i files del Dataset? (GRID) Il job va sul CE scelto dal RB (GRID node col sw CMS) Il job esegue Il job trova i files via il local file system (GRID) I files vengono LETTI e SCRITTI (GRID) Il risultato ritorna allo user!

7 7 Computing-Software-Analysis CMS-INFN TEAM 16 Maggio 2006 - CSN1 CMS Distributed GRID Analyses Up to ≥100.000 jobs/month (peak ≥10.000/day) Submitted from Destination of jobs

8 8 Computing-Software-Analysis CMS-INFN TEAM 16 Maggio 2006 - CSN1 Ma l’analizzatore non vede … u L’infrastruttura dei servizi e risorse Grid  I tools software e middleware sviluppati e mantenuti da Grid e CMS  Il monitoring delle configurazioni e dei servizi (CE, SE, UI, DataBases, tools di trasferimento, sistemi di autorizzazione, Information System, …)  Il debugging quotidiano u I workarounds per ovviare alle failures (quotidiane o eccezionali)  Spesso operati in “urgency mode” u La difficolta’ di allocare le risorse “prompt” alle richieste della Fisica  Su un Sistema distribuito e complesso (e fragile) u La necessita’ di coordinare/contrattare l’uso delle risorse condivise con gli altri esperimenti (tempi e quantita’) Grid funziona se non si vede che c’e’!

9 9 Computing-Software-Analysis CMS-INFN TEAM 16 Maggio 2006 - CSN1 CMS, Grid e cio’ che sta “in mezzo” u Cosa fa CMS  Tutto quello che e’ CMS specific è Software di ricostruzione è Definizione e catalogazione dei Datasets (trigger driven) è Framework di ricostruzione ed analisi è Definizione dei contenuti delle classi (objects) fisiche (parametri) e loro contenuto nei data format (cosa si puo’ fare con gli AOD e cosa no, cosa si puo’ fare coi RECO e cosa no…etc.) u Cosa fa Grid  Tutti (o quasi) i servizi di base è Locazione dei files e loro protocollo di accesso è Computing Elements, Storage Elements, User Interfaces è Resource Broker, Information System, Operating system, local scheduler, etc. u Ma questo non basta, occorre  Tutto quello che interfaccia i servizi di Grid con il software di CMS e consente quindi di localizzare, gestire e produrre i dati è Repliche dei dati in modo consistente per CMS (Datasets o file-blocks) è Job tracking CMS-specific e job production, preparation and submission  La interfaccia di accesso del Fisico di CMS è Environment e User services è CMS Software distribution and installation

10 10 Computing-Software-Analysis CMS-INFN TEAM 16 Maggio 2006 - CSN1 Quali sono i tools che servono… u Transfer file u File (Datasets) Replication u Dashboard u Resource Broker u File access local protocols (disk resident or tape resident, or even on cached disks) u Local job schedulers u Information System u Authorization, authentication, accounting u Roles and authorities u Transparent data accesses by end nodes u Databases replication processes and distribution (partial or global, sink or unsink) u Software installation and propagation (versioning included) u Etc.

11 11 Computing-Software-Analysis CMS-INFN TEAM 16 Maggio 2006 - CSN1 Quali sono le risorse e l’infrastruttura u User Interfaces u Tier0 u Tier1 u Tier2 u CPU e Farm (CEs) u Dischi e MSS (SEs) u LAN e WAN u DataBase services u User management u OS e File Systems u Etc

12 12 Computing-Software-Analysis CMS-INFN TEAM 16 Maggio 2006 - CSN1 Chi fa cosa PRS Groups, Detectors commissioning, DAQ, calibration/alignment, … Physics Analyses of First data Software Algorithms Software tools & Middleware Infrastructure Analysis job submission, DBS, DLS/FLS, Job tracking, Grid integration, Dataset validation, Dataset transfer, monitoring, User interface, performances tests, management, … [F. Fanzago, M. Corvo, M. Verlato, G. Don Vito, C.Kavka, A. Sciaba’, J. Andreeva, S. Fantinel] Reconstruction software, AOD definition, fast simulation (FAMOS), generators, software management, geometry, architecture, … [S.Argiro’] Tier1 resources (35% of CNAF-CMS, <12% of CMS), 2+1+1 Tier2s INFN resources (<10% of CMS, yet to be funded), Tier1 services, Tier2s services, NO INFN contribution to Tier0 Services, … [D. Bonacorsi] Lead contribution Lead contribution + (nomi espliciti solo delle persone ex-Grid, ex-LCG o ex-Grid-IT, ex-Tier1-INFN)

13 13 Computing-Software-Analysis CMS-INFN TEAM 16 Maggio 2006 - CSN1 Cosa esiste di funzionate Physics Analyses of First data Software Algorithms Software tools & Middleware Infrastructure Identificati i canali di Fisica di interesse “italiano” Procedure per le calibrazioni/allinementi Strategie e plans per il commissioning Organizzazione (Italiana) di Comput/Softw/Physics Software di ricostruzione nel nuovo framework (CMSSW) Prototipo della definizione degli AOD (ed accesso) CRAB (job submission sulla Grid, WLCG = EGEE + OSG); Prototipo di DBS; Prototipo di DLS con il Grid LFC; Prototipo di ProdAgent (produzione delle simulazioni); Dataset Transfer (PhEDEx); Configurazione delle UIs; Job real-time tracking; Test of Grid integration and performances; etc. Coordinamento e attivita’ consolidata dei Tier2 +Tier1 INFN per CMS riconosciuto ed apprezzato Risorse del Tier1 e Tier2 usate da TUTTA CMS via Grid Servizi Grid e CMS-specific consolidati

14 14 Computing-Software-Analysis CMS-INFN TEAM 16 Maggio 2006 - CSN1 Cosa manca (di fondamentale), del tutto o in parte Physics Analyses of First data Software Algorithms Software tools & Middleware Infrastructure Un’infinita’ di “piccoli”tools per il commisioning Gli strumenti “provati” per produrre ed accedere alle calibrazioni/allineamenti (locale o distribuito via Grid) Software di supporto alla definizione dei Trigger Software e tools per la gestione della ricostruzione al Tier0 e ri-ricostruzione ai Tier1 Consolidamento dei contenuti dei data-format (RAW, RECO, AOD, skimmed data) Supporto agli Utenti Tests di integrazione CMS-Grid (performances & functionalities) DataBases replication tools Management Tools (resources and services) Dataset validation and distribution Production (simulation & reco) support and tools Risorse che garantiscano le necessita” di CMS (Italia e non) nei Tier2 e Tier1 Servizi comuni certi per CMS (+ servizi specifici) Tier0 efficace per L’INFN

15 15 Computing-Software-Analysis CMS-INFN TEAM 16 Maggio 2006 - CSN1 Cosa ci servirebbe … u Software tools e Middleware integration  Supporto per CRAB e il Data-Management-System distribuito, piu’ i tools di distribuzione, produzione, re-processing  SVILUPPO, GESTIONE e USER SUPPORT in Italia e al CERN ! è Urge personale per “servizio” u Software  Ricostruzione, simulazione ed Analisi (personale sulla Filter Farm) u Tier1  Personale dedicato a CMS >2 persone (in sinergia con la gestione del Tier1)  Direzione Tecnica empowered è Hardware delivered nei tempi stabiliti agli Esperimenti (Gare e Commissioning) è Personale sistemistico commisurato all’impresa (17 nuovi posti? Stabili? Quando?) u Tier2  Risorse Hardware nei 2+1+1 Tier2-CMS da oggi, e planning concordato u Tier0  NON c’e’ coinvolgimento dell’INFN in persone! (Ricostruzione e trigger streams tagging) u Filter Farm  Nel software di configurazione del trigger l’INFN e’ quasi-assente!

16 16 Computing-Software-Analysis CMS-INFN TEAM 16 Maggio 2006 - CSN1 Conclusioni u Occorrono Persone dedicate a CMS con skills specifici, non facili da trovare:  4-5 persone, di cui ~ meta’ al CERN (in aggiunta a quelle attuali)  Per fare …le attivita’ che sono sotto dimensionate u Cosa serve per analizzare i dati?  L’infrastruttura di risorse e servizi (Tier1 e Tier2), con i tools e gli user che la sanno usare u Cosa esiste oggi?  I tools e il software CMS (prototipali ma funzionanti), integrati nella infrastruttura di Grid mantenuta, ma molto fragile u Cosa manca?  Alcuni tools di base ed essenziali  Performances e scalabilita’  Supporto agli utenti e alle attivita’ (SERVIZI) u Chi deve farlo?: CMS (Italia) in primis, Grid projects, INFN e … CERN! u In che tempi?  I Dati reali di CMS ci sono gia’! (Cosmic Challenge)  WLCG Service Challenge 4 (SC4) e CMS Computing, Software and Analysis 2006 (CSA06) sono entro il 2006

17 17 Computing-Software-Analysis CMS-INFN TEAM 16 Maggio 2006 - CSN1 Chiosa u Vogliamo essere leading nell’analisi di CMS (e possiamo farlo!)  La competizione scientifica (anche interna a CMS) sara’ forte (US & Italy)  Abbiamo bisogno di forte supporto, nelle RISORSE del Computing, da ora e nei prossimi 12 mesi u CMS Italia si e’ organizzata per questo (o almeno lo sta facendo) un solo Team  Computing_Software_Analysis Project CMS-INFN: un solo Team è Non piu’ detector construction, ma Experiment running

18 18 Computing-Software-Analysis CMS-INFN TEAM 16 Maggio 2006 - CSN1 Additional slides

19 16 Maggio 2006 - CSN1Computing-Software-Analysis CMS-INFN TEAM 19 Analisi CMS in Italia e Physics Tools di interesse

20 16 Maggio 2006 - CSN1Computing-Software-Analysis CMS-INFN TEAM 20 Analisi CMS in Italia e Physics Tools di interesse Mu e b-tag tau jet/eflw MET FAMS

21 21 Computing-Software-Analysis CMS-INFN TEAM 16 Maggio 2006 - CSN1 Preparazione alla Fisica di CMS u Aver definito il P-TDR vol. 1 vuole anche dire che:  abbiamo un programma di ricostruzione con perfomance piu' che soddisfacente per tracce, fotoni, jet, mu ed elettroni, vertici primari e secondari  abbiamo una simulazione Monte Carlo dettagliata del detector, pronta ad essere rifinita coi primi dati veri, e abbiamo prodotto 100 milioni di eventi nel 2005  abbiamo una utilissima fast simulation, veloce ma abbastanza accurata e abbiamo dimostrato che puo' essere usata per molti canali di fisica

22 22 Computing-Software-Analysis CMS-INFN TEAM 16 Maggio 2006 - CSN1 Continua la preparazione alla Fisica di CMS u Per ottenere risultati della Fisica dobbiamo ancora fare: 1.MTCC che ci consentira' di integrare per la prima volta: rivelatori, acquisizione dell'elettronica di front-end, prima version del Sw di Event Filter. Primi tests delle procedure di allineamento includendo allineamento HW 2.Test-beam di ECAL e ECAL+HCAL che consentiranno di stressare ancora una volta le componenti Sw + studi della risposta combinata ECAL+HCAL. Questo consentira' anche di fare confronti tra dati e Geant4. 3.CSA 06 che consentira' di testare tutta la catena simulazione, ricontruzione, allineamento e calibrazione nonche' tutte le procedure di deployment dei DB che devono essere utilizzate dai vari rivelatori. Il test consentira' di fare un studio completo del workflow e dataflow dei dati T0-T1-T2… Questo include anche una prima versione del software di Tier0. 4.Studi di HLT che consentiranno di fare studi dettagliati delle perfomances degli algorithmi di ricostruzione in termini di CPU. 5.Studi di ottimizzazione in termini di CPU e spazio disco per le varie strutture di dati (data formats) 6.Studi del work-flow e data flow Daq-T0 etc. …

23 23 Computing-Software-Analysis CMS-INFN TEAM 16 Maggio 2006 - CSN1 Tier2 CMS Italia 2006

24 24 Computing-Software-Analysis CMS-INFN TEAM 16 Maggio 2006 - CSN1 Tier1-CNAF CMS CMS Sharing (~35%) Optimistically

25 25 Computing-Software-Analysis CMS-INFN TEAM 16 Maggio 2006 - CSN1 Costi Tier2 Tetto indicativo dai referee per CMS :~4.9 MEuro)

26 26 Computing-Software-Analysis CMS-INFN TEAM 16 Maggio 2006 - CSN1 Tier2s CMS Italy CPU Dischi