Report dalla CSN1 24-28 Settembre Sala dei Mappamondi - Torino Gianpaolo Carlino – CCR 25/10/2012.

Presentazione sul tema: "Report dalla CSN1 24-28 Settembre Sala dei Mappamondi - Torino Gianpaolo Carlino – CCR 25/10/2012."— Transcript della presentazione:

1 Report dalla CSN1 24-28 Settembre Sala dei Mappamondi - Torino Gianpaolo Carlino – CCR 25/10/2012

2 DESY ZEUS PSI MEG FRASCATI KLOE TOR VERGATA SUPERB CERN ATLAS – CMS – LHCB TOTEM – LHCf UA9 NA62 COMPASS FNAL CDF MU2E SLAC BABAR BEPCII (Beijing) BESIII 17 (+1) sigle 3 esperimenti chiusi (CDF, ZEUS, BABAR) 1 in Technical Run (NA62) 3 in progettazione (ILC, SuperB, MU2E) Sigla CALC-TIER1 ILC La CSN1 – gli esperimenti G. Carlino - Report dalla CSN12CCR - Frascati 25/10/12

3 Molti i risultati di fisica presentati, tutti interessanti, ma il più importante è indiscutibilmente …… G. Carlino - Report dalla CSN13CCR - Frascati 25/10/12

4 G. Carlino - Report dalla CSN14CCR - Frascati 25/10/12

5 G. Carlino - Report dalla CSN15CCR - Frascati 25/10/12

6 G. Carlino - Report dalla CSN16CCR - Frascati 25/10/12

7 CMS La scoperta dell’Higgs (-like) G. Carlino - Report dalla CSN17CCR - Frascati 25/10/12

8 CMS La scoperta dell’Higgs (-like) G. Carlino - Report dalla CSN18CCR - Frascati 25/10/12

9 ATLAS: Status of SM Higgs searches, 4/7/2012 9 It would have been impossible to release physics results so quickly without the outstanding performance of the Grid (including the CERN Tier-0) Includes MC production, user and group analysis at CERN, 10 Tier1-s, ~ 70 Tier-2 federations  > 80 sites 100 k Number of concurrent ATLAS jobs Jan-July 2012 > 1500 distinct ATLAS users do analysis on the GRID  Available resources fully used/stressed (beyond pledges in some cases)  Massive production of 8 TeV Monte Carlo samples  Very effective and flexible Computing Model and Operation team  accommodate high trigger rates and pile-up, intense MC simulation, analysis demands from worldwide users (through e.g. dynamic data placement) Slide From F. Gianotti, “Status of Standard Model Higgs searches in ATLAS”- 4/7/2012

10 Efficienza trasferimento al primo tentativo: 93% 100% considerando i retries Dati disponibili in tempo “quasi reale”: media trasferimento AOD dal Tier0 a un Tier1: 2.7 h per il completamento dei dataset Export dal Tier0 ai Tier1 RAW: 1 copia primaria (disco) + 1 copia custodial (tape) ESD: 1 copia primaria e 1 copia secondaria (su disco in siti diversi) AOD: 2 copie primarie + 1 copia secondaria +copie secondarie ai Tier2 con il sistema dinamico di replica Significativa riduzione del numero di copie e di formati di dati replicati nella griglia rispetto agli anni passati Suddivisione per attività: Data Brokering: replica dinamica dei dati Data Consolidation: pre-placement (T1-T1) Data export A. De Salvo - ATLAS

11 Breaking the Walls La rete attuale permette il superamento del modello a cloud: abilitazione delle connessioni inter cloud tra Tier1 e Tier2 Trasferimento dinamico dei dati nei Tier2 basato sulla popolarità dei dati (PD2P): solo i dati effettivamente usati per l’analisi vengono trasferiti Storage nei Tier2 usato come cache: cancellazione dei dati più vecchi o meno popolari. Ottimizzazione spazio disco Introduzione dei Tier1 nel meccanismo dinamico per compensare la diminuzione di copie di dati nella griglia Superamento di una gerarchia stretta tra Tier1 e Tier2 ATLAS Cloud(less) Model Sviluppi del Computing Model Classificazione dei Tier2 in base alle performance: efficienza e affidabilità per l’analisi, velocità ed efficienza dei trasferimenti Non tutti i Tier2 sono uguali e ricevono la stessa quantità di dati (e quindi di job) Data export A. De Salvo - ATLAS

12 T2D = Tier2 “Directly Connected” Tier2 connessi direttamente tra di loro a tutti i Tier1 Storage per dati primari come i Tier1 Preplacement di una quota di dati Group data Requirement molto stretti Metriche di trasferimento con tutti I Tier1 Livello di commitment e relibility adeguato Avg(Byterate)+StD(Byterate) SMALL<0.05MB/s<0.1MB/s≥0.1MB/ s MEDIUM<1MB/s<2MB/s≥2MB/s LARGE<10MB/s<15MB/s≥15MB/s T2D approvati: AGLT2 BEIJING-LCG2 BU_ATLAS_Tier2 CA-SCINET-T2 CA- VICTORIA-WESTGRID-T2 CSCS-LCG2 DESY-HH DESY-HH DESY-ZN GOEGRID GRIF GRIF IFIC-LCG2 IN2P3-LAPP IN2P3- LPC IN2P3-LPSC INFN-MILANO-ATLASC INFN-NAPOLI-ATLAS INFN-ROMA1 LRZ-LMU MPPMU MWT2_UC SWT2_CPB TOKYO- LCG2 UAM-LCG2 UKI-LT2-QMUL UKI-NORTHGRID-LANCS-HEP UKI-NORTHGRID-MAN-HEP UKI-SCOTGRID-ECDF UKI- SCOTGRID-GLASGOW UKI-SOUTHGRID-OX-HEP UNI- FREIBURG WT2 WUPPERTALPROD ifae I 3 T2 italiani più grandi (Milano, Napoli, Roma) sono stati dichiarati T2D dall’inizio e sono entrati subito in LHCOne. Frascati sarà incluso quando avrà i requisiti minimi di risorse necessarie. Tier 2 Diretti (T2D) A. De Salvo - ATLAS

13 Network 2 cambiamenti previsti Passaggio dei TierX italiani a LHCONE o LHCOPN: rete dedicata ai trasferimenti T0-T1 o LHCONE: rete dedicata a tutti i centri di calcolo di LHC (T2s per esempio), nata per soddisfare esigenze di trasferimento non contemplate in MONARC (vedi dopo) o Tutti i siti italiani passati senza problemi prima dell’estate GARR-X : tutti I T2 nel 2011 erano collegati alla rete italiana a 1-2 Gbit/s; GARR-X e’ l’upgrade a 10 Gbit/s o Gia’ successo a RM1, CNAF, BA, LNL (e TS, PG, …) o Pisa sta per arrivare (problemi lato GARR/Telecom, non lato sito) 13 Prima settimana di Bari con GARR-X: 7 Gbit/s raggiunti nei trasferimenti T. Boccali - CMS G. Carlino - Report dalla CSN1CCR - Frascati 25/10/12

14 Accesso WAN ai dati 2.Il modello iniziale prevede che “I jobs vadano dove I dati sono stati preallocati”, il che implica o Siti con poco storage sono inutili o E’ difficile sfruttare appieno le risorse, visto che richiede un matching di CPU libere e contemporanemante dati interessanti presenti nel sito Evoluzione: in alcuni casi (minoritari) CMS permette l’accesso remoto ai dati. Use cases approvati sono 1.Accesso interattivo in senso lato 2. Accesso in caso di fallback (se un sito ha problemi di storage, I jobs prima di fallire provano un accesso remoto) 3. Accesso in caso di overflow (non ancora implementato), che implica il utilizzo di CPU da siti ‘vicini” se quelle del sito che ospita I dati sono sature 14 T. Boccali - CMS G. Carlino - Report dalla CSN1CCR - Frascati 25/10/12

15 Gerarchia Xrootd Tutto questo e’ implementato mediante una gerarchia di redirettori Xrootd o Italiano o Europeo (comprende CERN) o Globale (== EU + US) o Il sistema e’ ottimizzato: Un file viene cercato localmente Se non va, si prova sui siti italiani Se non va, si prova su EU, CERN compreso Se non va, si prova US Altrimenti -> ReadError 15 T. Boccali - CMS G. Carlino - Report dalla CSN1CCR - Frascati 25/10/12

16 Evoluzione delle federazioni di XROOTD in ATLAS IT cloud 16 A. De Salvo - ATLAS

17 Utilizzo risorse in Italia Job Efficiency CNAF Roma Frascati Napoli Milano CNAF 43.84% Napoli 18.18% Roma 17.04% Milano 11.89% Frascati 9.06% IT 10.43% A. De Salvo - ATLAS Analisi Job Efficiency CNAF Roma Frascati Napoli Milano WCT Efficiency CNAF Frascati Roma Napoli Milano Produione

18 Rispetto al totale CMS – T1 18 Il T1 e’ secondo solo a FNAL Utilizzo del CNAF come visto da CMS a cavallo delle pledge, quasi sempre sopra (effetto dovuto sostanzialmente ad altre VO che hanno utilizzato meno) Avere in Italia il L3 che sovrintende alla produzioneMC (V.Spinoso) da’ un ulteriore aiuto a “tenerci pieni” T. Boccali - CMS G. Carlino - Report dalla CSN1CCR - Frascati 25/10/12

19 19 Rispetto al totale CMS – T2 19 Lista di ~50 siti … 11 o 14 o 20 o Facile diventare ~ irrilevanti La FR con un solo anno di finanziamenti non al pledge e’ “scomparsa” sia a livello T2 che T1 T. Boccali - CMS G. Carlino - Report dalla CSN1CCR - Frascati 25/10/12

20 Risorse Italiane 20 Terremoto a Bologna Lavori ENEL a Pisa Problema elettrico campus di Bari Lavori elettrici a Bari Installazione III chiller a Rm1 I “rossi” sono praticamente sempre spiegabili con cause esterne. I siti sono solidi! T. Boccali - CMS

21 Necessità di individuare i siti più affidabili per l’analisi cui inviare la maggior parte dei dati. Classificazione in base alle performance (stabilità) 4 Gruppi: Alpha: (60% share): T2D con rel > 90% Bravo: (30% share): non T2D con rel> 90% Charlie: (10% share): 80% < rel < 90% Delta: (0% share): rel <80% Classificazione dei Tier 2 A. De Salvo - ATLAS

22 D. Lucchesi – Referee Calcolo G. Carlino - Report dalla CSN122CCR - Frascati 25/10/12

23 D. Lucchesi – Referee Calcolo G. Carlino - Report dalla CSN123CCR - Frascati 25/10/12

24 D. Lucchesi – Referee Calcolo G. Carlino - Report dalla CSN124CCR - Frascati 25/10/12

25 Tier1 ALICEATLASCMSLHCB CPU (kHS)18.519%30.310%22.7516%16.518% Disk (PB)1.716%3.311%3.3813%1.317% Tape (PB)3.719%3.712%6.514%1.626% Tier2 ALICEATLASCMSLHCB CPU (kHS) 3015%3310%45.513%715% Disk (PB)2.412%3.57%3.513% Le risorse pledged sono necessarie per le attività centrali degli esperimenti. Ad esse si aggiungono altre risorse (O(10%)) dedicate alle attività degli utenti italiani G. Carlino - Report dalla CSN125CCR - Frascati 25/10/12

26 Le richieste per le attività ufficiali sono state in gran parte soddisfatte senza tagli penalizzanti per i siti italiani Però esistono degli elementi critici emersi dalla discussione in CSN1 che hanno rilevanza per questa commissione: 1.Tier3 2.Infrastrutture dei Tier2 G. Carlino - Report dalla CSN126CCR - Frascati 25/10/12

27 Cosa e’ un “Tier3” Una FUNZIONE e non UN SITO Deve offrire possibilita’: o Interattivo Account locale, spazio HOME, etc o Su alcuni cores (batch, PROOF e simili ok) o Deve poter accedere agli skim su T2 Anche in streaming, non necessita’ di averli in locale o Deve avere spazio disco di lavoro locale (X TB/user) 27 T. Boccali - CMS Come gia’ successo per ATLAS (20k 2 anni fa, 20k l’anno scorso), chiediamo lo sblocco di un “gettone” di 30kEuro per attrezzare 2 “Tier3” Con 15k/each: o ~ 50 cores di calcolo (~8k dalle ultime gare) Sufficienti a coprire esigenze di un gruppo medio di CMS Italia o ~ 20-30 TB di disco Sostanzialmente area di lavoro Selezione dei siti: richiederemo o Garanzie sul supporto lato CMS e sull’interesse del gruppo (dal resp locale) o Ok di CCR per garantire supporto lato Sezione o Infrastruttura in grado di ospitare senza necessita’ di espansioni G. Carlino - Report dalla CSN1CCR - Frascati 25/10/12

28 Tier 3 All CPU Consumption Italia L’integrazione dei Tier3 nelle attività di ATLAS è molto soddisfacente. Svolgono attività di analisi in grid e interattiva e mettono a disposizione le CPU per la simulazione in caso di non utilizzo Finanziamenti passati: GE, RM3, RM2, LE: 10k€ Richiesta 2013: PV  10k€ 1 switch Espansione di un sistema di storage vecchio e limitato 1 cassetto di espansione storage 20 TB spazio disco A. De Salvo - ATLAS

29 D. Lucchesi – Referee Calcolo ATLAS CMS Altri esperimenti - Richieste Tier3-like per potenziamento farm o UI LHC-f: richiesti 15 k€ per potenziamento farm interattiva a CT Negati – suggerendo di spostare il calcolo al CNAF UI a LNF per LHCB e NA62 (5 k€) Negati – suggerendo di rivolgersi alle dotazioni Conclusioni: tutte le richieste per farm locali sono state negate e rigirate altrove. Da valutare in questa commissione la possibilità di sostenerle economicamente G. Carlino - Report dalla CSN129CCR - Frascati 25/10/12

30 D. Lucchesi – Referee Calcolo Successive interazioni con la giunta: La giunta ritiene che si debbano mantenere gli accordi sottoscritti dai direttori in fase di costruzione dei Tier-2 e quindi il supporto per il mantenimento ordinario delle infrastutture è a carico delle sezioni/laboratori che ospitano i Tier-2 mentre quello della infrastuttura straordinaria (tipo UPS) va a carico della CCR. Se i direttori non hanno soldi per il mantenimento della infrastruttura presentino il problema al direttivo e li saranno discusse le possibili soluzioni. G. Carlino - Report dalla CSN130CCR - Frascati 25/10/12

31 C. Bloise – Kloe G. Carlino - Report dalla CSN131CCR - Frascati 25/10/12

32 Assegnati 60 k€ per storage dei dati SJ all'effettiva raccolta dati Assegnati 35 k€ (su 100 richiesti) SJ alla modifica del contratto di manutenzione per la seconda metà dell'anno. L’attuale è considerato troppo oneroso Per gli anni successivi viene richiesto lo sviluppo di un nuovo modello di calcolo M. Pepe – Referee G. Carlino - Report dalla CSN132CCR - Frascati 25/10/12

33 TOR VERGATA – sito del laboratorio R. Calabrese – SuperB G. Carlino - Report dalla CSN133CCR - Frascati 25/10/12

34 R. Calabrese – SuperB G. Carlino - Report dalla CSN134CCR - Frascati 25/10/12

35 R. Calabrese – SuperB G. Carlino - Report dalla CSN135CCR - Frascati 25/10/12

36 R. Calabrese – SuperB G. Carlino - Report dalla CSN136CCR - Frascati 25/10/12