G. Carlino – Referaggio Computing ATLAS 1 Napoli, 5 Luglio 2011 ATLAS Referaggio Tier2 Analisi Analisi Richieste Tier2 2012 Richieste Tier2 2012 Gianpaolo.

Presentazione sul tema: "G. Carlino – Referaggio Computing ATLAS 1 Napoli, 5 Luglio 2011 ATLAS Referaggio Tier2 Analisi Analisi Richieste Tier2 2012 Richieste Tier2 2012 Gianpaolo."— Transcript della presentazione:

1 G. Carlino – Referaggio Computing ATLAS 1 Napoli, 5 Luglio 2011 ATLAS Referaggio Tier2 Analisi Analisi Richieste Tier2 2012 Richieste Tier2 2012 Gianpaolo Carlino INFN Napoli Napoli, 5 Luglio 2011

2 G. Carlino – Referaggio Computing ATLAS 2 Computing Model news

3 Napoli, 5 Luglio 2011 G. Carlino – Referaggio Computing ATLAS 3 ATLAS Cloud Model Modello gerarchico basato sulla topologia di rete di Monarc Comunicazioni possibili: T0-T1 T1-T1 Intra-cloud T1-T2 Comunicazioni vietate: Inter-cloud T1-T2 Inter-cloud T2-T2 Limitazioni: Impossibile fornire una replica di dati per l’analsi ad ogni cloud Trasferimenti tra le cloud attraverso salti multipli tra I Tier1 User analysis outputs MC confinato nella cloud Tier2 non utilizzabili come repository di dati primari per il PD2P o di gruppo

4 Napoli, 5 Luglio 2011 G. Carlino – Referaggio Computing ATLAS 4 ATLAS Cloud(less) Model Breaking the Wall La rete attuale permette il superamento del modello Monarc: molti Tier2 sono già ben connessi con molti Tier1 Abilitazione delle connessioni inter cloud Superamento di una gerarchia stretta tra Tier1 e Tier2 Scelta dei Tier2 adatti alcuni Tier2 invece sono mal collegati anche con il proprio Tier1 Non tutti I Tier2 hanno le dimensioni e le performance necessarie

5 Napoli, 5 Luglio 2011 G. Carlino – Referaggio Computing ATLAS 5 Tier2 Diretti T2D – Tier2 “Directly Connected” Tier2 connessi direttamente tra di loro a tutti i Tier1 Storage per dati primari come i Tier1 Preplacement di una quota di dati Data source per il PD2P Group data Disponibilità di una quota di disco nei Tier1 come cache Requirement molto stretti Metriche di trasferimento con tutti I Tier1 Livello di commitment e relibility adeguato Avg(Byterate)+StD(Byterate) SMALL<0.05MB/s<0.1MB/s≥0.1MB/s MEDIUM<1MB/s<2MB/s≥2MB/s LARGE<10MB/s<15MB/s≥15MB/s T2D approvati: INFN-NAPOLI- ATLAS, INFN-MILANO-ATLASC, INFN-ROMA1 IFIC-LCG2, IFAE, UAM-LCG2 GRIF-LPNHE, GRIF-LAL, TOKYO-LCG2 DESY-HH, DESY-ZN, LRZ-LMU, MPPMU MWT2_UC,WT2, AGLT2,BU_ATLAS_Tier2, SWT2_CPB UKI-LT2-QMUL, UKI-NORTHGRID-LANCS-HEP, UKI-NORTHGRID-MAN-HEP, UKI-SCOTGRID-GLASGOW Siti che faranno parte da subito di LHCOne

6 Napoli, 5 Luglio 2011 G. Carlino – Referaggio Computing ATLAS 6 PD2P update Placement dinamico dei dati in base alla loro popolarità 2010 buoni risultati di ottimizzazione dello spazio disco Diminuzione delle repliche pre-placed e trasferimento solo di dati utili per l’analisi Spazio disco ai Tier2 in gran parte usato come cache 2011 – fino a giugno Cancellazione dei cloud boundaries: trasferimenti infra-cloud Trasferimenti anche ai Tier1 in base al reutilizzo dei dati già trasferiti e al numero di richieste di accesso al singolo dataset Dati trasferiti: AOD e NTUP molto più leggeri degli ESD del 2010  diminuzione della banda occupata Analisi del comporamento e modifiche 2011 – da luglio L’algoritmo di brokering del PD2P che include I trasferimenti ai Tier1 è risultato favorire troppo I siti con molte CPU penalizzando eccessivamente I Tier2. Pochi dati trasferiti nel periodo Maggio-Giugno Modifiche del brokering dei dati ai Tier2: si è deciso di aumentare le repliche di AOD e NTUP fino a 3, in base alle dimensioni e alle performance dei siti, aggiungendo inoltre due copie pre-placed di NTUP, formato molto popolare e leggero Test in corso fino a settembre

7 Napoli, 5 Luglio 2011 G. Carlino – Referaggio Computing ATLAS Kaushik De 7 Data type trasferiti con il PD2P

8 Napoli, 5 Luglio 2011 G. Carlino – Referaggio Computing ATLAS 8 Data Trasfers I dati ai Tier2 vengono trasferiti con: 1.PD2P (Data brokering) 2.Datri (user subscription) 3.Group Subscription

9 Napoli, 5 Luglio 2011 G. Carlino – Referaggio Computing ATLAS 9 Analisi in ATLAS e attività italiane

10 Napoli, 5 Luglio 2011 G. Carlino – Referaggio Computing ATLAS 10 1)B Physics i.Onia ii.B->JpsiX iii.Rare and semileptonic decays iv.Hadronic B decays2) 2)Top i.top reconstruction ii.top cross-section iii.top mass iv.single top v.top properties 3)Standard Model i.W/Z Physics ii.Jet Physics iii.Soft QCD iv.Direct Photons v.ElectroWeak vi.W/Z + jets 4)Higgs i.h->gamma gamma ii.h->ZZ iii.h->WW iv.h->tau tau (MS and MSSM) and h -> mumu (NMSSM) v.complex final states *(H^+, ttH, H->bb) 5)SUSY i.SUSY background studies ii.EtMiss based signatures iii.RPV and long-lived signatures 6)Exotic i.Lepton + X ii.Jet + X iii.Di-bosons + X iv.Long-lived particles 7)Heavy Ions i.HI Jets ii.HI Muons iii.HI JetValidation iv.Elliptic Flow Analysis v.Multiplicity Analysis ATLAS Physics Working Groups + attivita’ di performance e rivelatori

11 Napoli, 5 Luglio 2011 G. Carlino – Referaggio Computing ATLAS 11 Attività Italiane 1)Bologna i.Top asimmetrie ii.Z  ll iii.J/ψ  μμ iv.Drell-Yan v.RPC & LVL1 muon trigger 2)Cosenza i.Exotics ii.Standard Model iii.Muon calibration 3)Frascati i.WW, WZ + jets, ii.Z  μμ iii.Etmiss iv.Muon Performance v.FTK 4)Genova i.D* e D*μ ii.Calibrazione b-tagging iii.dE/dx per esotici iv.top cross section 9)Pisa i.Inclusive e Multijet cross section ii.γ + jet cross section iii.WW  lνjj iv.H  ττ 10)Roma1 i.Higgs  ZZ ii.Exotics iii.Muon Calibration 11)Roma2 i.Higgs  4l ii.Z asimmetria FB iii.Z/W diff cross section iv.RPC calibration 12)Roma3 i.Higgs  WW ii.Muon Trigger iii.Muon calibration 13)Udine i.Top asimmetrie FB ii.Fondi W+jet e QCD iii.SUSY (1,2 leptons final state) 5)Lecce i.Muon Reco & RPC ii.HLT e Muon Trigger iii.SUSY (1,2 leptons final state) iv.W/Z + b  l(l) + b-jet 6)Milano i.Tracking ii.Egamma calibration iii.EtMiss iv.W(ττ) v.Z  ττ, H  ττ vi.Direct Photons vii.H  γγ viii.Top asimmetrie ix.SUSY (1,2 leptons final state) 7)Napoli i.J/ψ  μμ ii.B-> μμ iii.Higgs  ZZ iv.LVL1 muon trigger 8)Pavia i.SUSY (1,2 leptons final state) ii.Standard Model Tutte le attività elencate prevedono l’analisi dei dati in griglia e/o localmente Molte di queste sono clusterizzate tra varie sezioni

12 G. Carlino – Referaggio Tier2 ATLAS 12 Napoli, 5 Luglio 2011 Ruolo italiano nell’analisi - talks

13 G. Carlino – Referaggio Tier2 ATLAS 13 Napoli, 5 Luglio 2011 Responsabilità nell’Analisi Conveners Working Groups: 2008: 4 (mu, SUSY, SM, Higgs) 2009: 6 (mu, mu, SM, SUSY, Higgs, PAT) 2010: 5 (mu, tracking, PAT, SM-Z/W, Exotic-Trigger) 2011: 4 (tracking, SM-ZW, Exotic-LLP-Trigger) Physics Coordinator 2010 – 2011 Membri degli Speakers, Autorship e Publications Committees: 2008: 3 2009: 5 2010: 4 2011: 4 Computing: Computing Coordinator 7 anni fino al 2010 Chair Computing Speakers Committee 2011/12

14 Napoli, 5 Luglio 2011 G. Carlino – Referaggio Computing ATLAS 14 Ruolo italiano nell’analisi - pubblicazioni Articoli o note con significativo contributo italiano: autori nelle note di supporto 7 editors nel 2011

15 Napoli, 5 Luglio 2011 G. Carlino – Referaggio Computing ATLAS 15 Produzione produzione centralizzata di AOD e ESD nella prompt reconstruction al Tier0 e nei reprocessing ai Tier1 produzione centralizzata di Derived AOD e ESD (DAOD e DESD) attaverso skimming e slimming produzione di gruppo “centralizzate” di ntuple e di gruppi di utenti (D3PD e NTUP) RAW AOD D3PD NTUP DAOD DESD ESD Workflow (principale) di analisi fase 1: skimming da AOD/ESD/D3PD e produzione di ntuple D3PD o NTUP eseguito centralmente dai working group eseguito in Griglia output in GROUPDISK o LOCALGROUPDISK fase 2: skimming/slimming dei D3PD e produzione di NTUP di (sotto)gruppo leggere eseguito da utenti o gruppi locali eseguito in Griglia output in LOCALGROUPDISK fase 3: analisi finale NTUP nei LOCALGROUPDISK dei Tier2/3 eseguita in Griglia con PRUN o eseguita in locale con ROOT/PROOF Utilizzo formati di analisi RAW utilizzati solo per la ricostruzione e presenti solo nei Tier1 ESD utilizzati solo per analisi di performance e presenti solo nei Tier1 AOD/D3PD/NTUP molto utilizzati DAOD e DESD utilizzo molto marginale, formato in via di estinzione Come si fa l’analisi

16 G. Carlino – Referaggio Tier2 ATLAS 16 Napoli, 5 Luglio 2011 Utilizzo dei formati di dati # utenti individuali che accedono alle code di analisi in IT – evidente incremento in giugno

17 G. Carlino – Referaggio Tier2 ATLAS 17 Napoli, 5 Luglio 2011 Utilizzo dei formati di dati

18 G. Carlino – Referaggio Tier2 ATLAS 18 Napoli, 5 Luglio 2011 Ruolo dei Tier2 nell’analisi Storicamente (TDR) ATLAS prevedeva di conservare in ogni cloud una copia completa di dati (AOD) per l’analisi. Lo spazio disco necessario a tale scopo si è rivelato eccessivo soprattutto con l’inizio della presa dati, per cui si è ridotto il numero di copie che sono disponibili nella Griglia I dati sono distribuiti in tutta la Griglia e i job runnano nei siti (sia Tier1 che Tier2) dove sono i dati (massima democrazia) I Tier2 sono grandi cache di disco per i principali formati di dati di ATLAS Non esiste quindi una corrispondenza Tier2  canale di analisi molti Tier2 hanno uno spazio pledged di gruppo, gestito dai gruppi di ATLAS ogni Tier2 ha uno spazio disco locale a disposizione degli utenti nazionali questi spazi disco vengono utilizzati per l’ultima fase delle analisi in entrambi I casi l’accesso diretto ai dati (p.es. GPFS) permette l’uso dello storage anche per attività interattive (ROOT/PROOF). Milano con Storm ne fa già uso, gli altri Tier2 con DPM, in attesa di un’eventuale migrazione alla fine del run 2012, stanno valutando ipotesi alternative (nfs4.1, xroot)

19 Napoli, 5 Luglio 2011 G. Carlino – Referaggio Computing ATLAS 19 Attivita’ ultimi 3 mesi (T1 dovrebbe essere 25%) Ruolo dei Tier2 nell’analisi

20 Napoli, 5 Luglio 2011 G. Carlino – Referaggio Computing ATLAS 20 Aree di storage previste DATADISK: area permanente, pledged, per i dati “centrali” di ATLAS GROUPDISK: area permanete, pledged, per i dati dei gruppi di fisica e performance SCRATCHDISK: area temporanea, pledged, presente in tutti i siti in cui si svolge l’analisi destinata ai dati degli utenti. Ripulita ogni 15 giorni o quando piena LOCALGROUPDISK: area permanente, non pledged, destinata a conservare i dati degli utenti Organizzazione Spazio Disco in ATLAS

21 Napoli, 5 Luglio 2011 G. Carlino – Referaggio Computing ATLAS 21 Organizzazione Spazio Disco in ATLAS Necessario uno spazio disco locale (LOCALGROUPDISK) nei TierN per conservare i dati dei gruppi e degli utenti italiani nei Tier2 O(100 TB) per conservare l’intera statistica di dati degli utenti italiani nei Tier3 O(10 TB) per conservare sample ridotti per interattivo, sviluppo e definizione dell’analisi

22 G. Carlino – Referaggio Tier2 ATLAS 22 Napoli, 5 Luglio 2011 Ruolo dei Tier2 nelle performance e calibrazioni Precisa caratterizzazione dei Tier2 Italiani, in seguito alle attività di costruzione e di studio delle performance dei rivelatori e del trigger Frascati Fast Tracker (FTK) Milano Studio Performance EtMiss e calibrazioni EM Napoli RPC e LVL1 muon calibration Roma1 MDT calibration (centro ufficiale di calibrazione)

23 G. Carlino – Referaggio Tier2 ATLAS 23 Napoli, 5 Luglio 2011 Two time-consuming jobs in tracking: Pattern recognition & Track fitting Pattern recognition – find track candidates with enough Si hits –10 9 prestored patterns (roads) simultaneously see the silicon hits leaving the detector at full speed. –Based on the Associative Memory chip (content-addressable memory) initially developed for the CDF Silicon Vertex Trigger (SVT). Sviluppo di un nuovo AMchip a 65nm (Frascati, Milano, Pisa) Sviluppo di nuove tecniche di pattern matching a risoluzione variabile FTK a Frascati

24 G. Carlino – Referaggio Tier2 ATLAS 24 Napoli, 5 Luglio 2011 FTK simulation requirements – RAM order of 100GB (40 pileup events) – RAM order of 500GB (75 pileup events) Subdivide in 128 or 1024 parallel subjobs – Processign time ~ 20*128 s/event (40 pileup events) – Processign time ~ 20*1024 s/event (75 pileup events) – Initialization takes 6 min/job – FTK simulation on the grid: 3 steps with separate prun submissions – Grid submission made easy with FTK specific submission scripts Prepare FTK configuration and handle in a user-friendly way the 3 step processing Disk space usage few TB on LOCALGROUP FTK simulation integrated with grid 2009 Initiated at MWT2 (local files), now at INFN-Frascati and INFN cloud Increase of resources at Frascati, will allow more jobs to be run at INFN-Frascati FTK a Frascati - simulazione

25 G. Carlino – Referaggio Tier2 ATLAS 25 Napoli, 5 Luglio 2011 L’attivita’ consiste nello studio di performance di EtMiss al fine di fornire ai gruppi di fisica la migliore calibrazione di EtMiss e anche lo studio delle sue sistematiche. Fasi del lavoro di analisi: –Vengono utilizzate ntuple di ROOT (D3PDs) prodotte centralmente dal Working Group Jet/Etmiss in cui sono salvate tutte le configurazioni di EtMiss necessarie per l’analisi a Milano ma anche tutte le collezioni di jet per studi specifici. –Le ntuple vengono poi slimmate utilizzando “prun”, salvando in un formato piu’ ridotto solo le grandezze necessarie per l’analisi EtMiss di Milano. –Le ntuple vengono poi sottoscritte sullo SE del Tier2 di Milano nell’area LOCALGROUPDISK. –Una volta che le ntuple sono arrivate a Milano, grazie a GPFS e’ possibile accedere in locale ai dati sullo SE del Tier2 per eseguire l’analisi che puo’ avvenire : O in modo interattivo direttamente sulle UI, in caso si debba mettere a punto il programma di analisi o processare una statistica ridotta O tramite sottomissione di job sulle code batch del Tier3 di Milano, in caso si debba processare l’intera statistica. –Il programma di analisi utilizzato (MissingETPerformance) consiste in un package in Athena in grado di runnare sia sul formato AOD/ESD che D3PDs. EtMiss performance a Milano

26 G. Carlino – Referaggio Tier2 ATLAS 26 Napoli, 5 Luglio 2011 HITS Digit Custom NTuples Reco CalibHit Parameters Hits in active material Hits in inactive and dead material Evgen Simulation Digitization Reconstruction Reconstructed quantities Calibration Hit Code Run on the GRID Set of Root Macros  HITS files di elettroni e fotoni singoli (~20M single particle) dalla produzione centrale  HITS sottoscritti in egamma groupspace in MILANO  Digi+Reco+codice di analisi per produrre ntuple di calibrazione con pathena e output salvato su egamma groupspace in Milano Calibrazione EM a Milano

27 Napoli, 5 Luglio 2011 G. Carlino – Referaggio Computing ATLAS 27 RPC calibration a Napoli Muon Calibration Stream diretta a Napoli dal Tier0

28 Napoli, 5 Luglio 2011 G. Carlino – Referaggio Computing ATLAS 28 RPC calibration a Napoli Attività in corso dal 2010. Risorse necessarie medie: O(100) job slots per la fase di creazione delle ntuple (dipende dal run da analizzare), durata qualche ora per job. Veloci le altre fasi. Muon stream in CALIBDISK – dimensione prevista 30 TB

29 Napoli, 5 Luglio 2011 G. Carlino – Referaggio Computing ATLAS WEB Display of RPC online histograms for recent runs Crontab job starts daily a macro reading the files of the online histograms (on a afs area at cern) and producing an event display, reachable via web: http://atlasui02.na.infn.it:8088/~romano/ Tool: python, root RPC online monitoring a Napoli

30 Napoli, 5 Luglio 2011 G. Carlino – Referaggio Computing ATLAS A Crontab job starts daily a scripts submitting a C++ code running via grid on calibration ntuple (CALIBDISK & T2 Napoli) Scripts for retrieving dataset list, submitting jobs on grid and retrieving the outputs already bundled in the package Tools:C++, dq2, panda, prun Finalise the scripts for automatic subscription Consider to adopt the Local Calibration Data Splitter used for the MDT calibration and RPC efficiency Implement recent code for timing Implement and event display via web Make it compatible for a shift-like approach, documentation included ongoing LVL1 muon trigger monitoring a Napoli

31 Napoli, 5 Luglio 2011 G. Carlino – Referaggio Computing ATLAS Calibrazione Determinazione dei t0 /mezzanino (gruppo di 24 tubi) e delle RT-relations /camera per ogni run di collisioni utilizzando muoni selezionati dalla calibration stream. Se si osservano cambiamenti significativi  Upload delle costanti per la ricostruzione Data Quality Analisi con alta statistica del funzionamento delle camere e report ai meeting quotidiani  Collaborazione con centri di MPI-Monaco e University of Michigan. Turni comuni: il turnista per 8 ore “vede” e “opera” sui 3 centri simultaneamente  Situazione molto stabile delle camere. RT stabili ben entro 20  m. t0 stabili entro 1 ns; unico problema rilevante sono I “t0 jumps” Differenze tra RT-relations di 2 run T0-jump MDT calibration a Roma

32 Napoli, 5 Luglio 2011 G. Carlino – Referaggio Computing ATLAS CPU Risorse condivise con il Tier2, configurate in modo da avere fino a 550 job slot in alta priorità disponibili per le attività di calibrazione. Raramente abbiamo visto più di 200 job contemporanei di calibrazione dopo l’introduzione dei nuovi algoritmi di filtro. Due macchine configurate per l’esecuzione degli splitter (LCDS) di calibrazione, ospitate per il momento su due WN, condivisi fra attività nel batch system e attività interattive dell’LCDS. Tutte le attività di calibrazione vengono svolte tramite sottomossione diretta alle code locali riservate e analisi interattiva (sia automatica tramite LCDS che manuale di sviluppo e controllo) Disco Muon Calibration Stream diretta a Roma dal Tier0 CALIBDISK: 31 TB riservati per le bytestrem di calibrazione, gestito via DDM, con trasferimenti automatici dal T0 CALIBSCRATCH: 22 TB riservati per file temporanei di calibrazione, non gestito dal DDM ma localmente tramite LCDS MDT calibration a Roma - risorse

33 G. Carlino – Referaggio Computing ATLAS 33 Napoli, 5 Luglio 2011 Produzione in ATLAS > 50k job simultanei (60k negli ultimi 2 mesi). Produzione: Ricostruzione (T1), Simulazione e Analisi di gruppo (produzione centralizzata di D3PD in alcuni gruppi) Previsione simulazione MC 2011: 1000M fullsim 2012: 600M full + 6000M fast Numero medio di jobs di produzione running per cloud

34 G. Carlino – Referaggio Computing ATLAS 34 Napoli, 5 Luglio 2011 Analisi in ATLAS > 10k job simultanei (15k negli ultimi mesi). Riduzione analisi nel 2011. Aumento attività analisi di gruppo: aumento della coordinazione. Minore caoticità e duplicazione dei dati centralizzazione della produzione: in molti casi “accountata” come produzione Aumento negli ultimi 2 mesi e ritorno ai livelli del 2010 Numero medio di jobs di analisi running per cloud

35 G. Carlino – Referaggio Computing ATLAS 35 Napoli, 5 Luglio 2011 Utilizzo risorse in Italia WCT consumptions dei job di produzione. Giugno 2010 – Maggio 2011

36 G. Carlino – Referaggio Computing ATLAS 36 Napoli, 5 Luglio 2011 Utilizzo risorse in Italia WCT consumptions dei job di analisi. Giugno 2010 – Maggio 2011

37 G. Carlino – Referaggio Computing ATLAS 37 Napoli, 5 Luglio 2011 INFN-FRASCATI 5 Utilizzo risorse in Italia WCT consumptions e # jobs di analisi. Aprile – Giugno 2011 INFN-FRASCATI 47,43 0

38 G. Carlino – Referaggio Computing ATLAS 38 Napoli, 5 Luglio 2011 38 Utilizzo risorse in Italia Processing shares. Aprile – Giugno 2011

39 G. Carlino – Referaggio Computing ATLAS 39 Napoli, 5 Luglio 2011 Sharing risorse nei Tier2 Job running su un Tier2 nell’ultimo mese: Produzione Analisi WMS Analisi Panda Analisi Panda ruolo italiano Job running su un Tier2 nell’ultimo mese: Produzione Analisi WMS Analisi Panda Analisi Panda ruolo italiano Attenzione: Gli italiani vengono mappati sia su panda che su panda/it Analisi di gruppo (p.es calibrazione) risulta come produzione gli italiani con certificato CERN (non pochi) vengono mappati su panda Attenzione: Gli italiani vengono mappati sia su panda che su panda/it Analisi di gruppo (p.es calibrazione) risulta come produzione gli italiani con certificato CERN (non pochi) vengono mappati su panda

40 Napoli, 5 Luglio 2011 G. Carlino – Referaggio Computing ATLAS 40 Analisi nei Tier2 Giugno 2011

41 Napoli, 5 Luglio 2011 G. Carlino – Referaggio Computing ATLAS 41 Uso del disco nei Tier2 Pochi dati trasferiti in maggio – giugno nei Tier2 di tutto ATLAS Il meccanismo di brokering del PD2P ha penalizzato pesantemente i Tier2 nel trasferimento dei dati Il formato più trasferito è NTUP, leggero Le modifiche al PD2P già discusse porteranno in trasferimenti ai livelli attesi

42 G. Carlino – Referaggio Computing ATLAS Napoli, 5 Luglio 2011 42 Reliability & Availability – 2010/11 Availability = time_site_is_available/total_time Reliability = time_site_is_available/ (total_time-time_site_is_sched_down)

43 43 G. Carlino – Referaggio Tier2 ATLAS Napoli, 5 Luglio 2011 Tier2 Frascati – risorse WORKER NODES - LNF # WNTipoProcessore# CPUcore/CPU# core fisici# job slotsRAMHEP SPEC boxHEP SPECData acquistostatoData dismissione 31U Xeon 2.8 GHz21222 GB9,6328,89 apr-04 off 2009 1Blade Opteron 280 2.4 GHz22444 GB31,13 gen-06 server 2008 1Blade Opteron 280 2.4 GHz22444 GB31,13 gen-06 server 2009 2Blade Opteron 280 2.4 GHz22444 GB31,1362,26 gen-06 server 2009 2Blade Opteron 280 2.4 GHz22444 GB31,1362,26 gen-06 off 2011 3Blade Xeon E5430 2.66 GHz248816 GB72,12216,36 gen-08 on obs12 4Blade Xeon E5430 2.66 GHz248816 GB72,12288,48 apr-08 on obs12 1Blade Xeon E5430 2.66 GHz248816 GB72,12 gen-09 on obs12 6Twin Xeon E5520 2,27 Hz2481624 GB92,83556,98 gen-10 on 4Twin Xeon E5620 2,4 GHz2481624 GB98,95395,80 mar-11 on 8Twin Xeon E5620 2,4 GHz2481624 GB98,95791,60 apr-11 new11 18 totale now 144224 1529,7 26 totale 2011 208352 2321,3 off 201162,3obsol 2012577,0 STORAGE - LNF Tipo# BoxDischiTB/DiscoTBrTBn# ServerDataStatoData 1DAS 1 2,21,4 apr-04off2009 2FC2SATA 1170,46,54,8 1 dic-05off2010 3FC2SATA 1180,46,85,1dic-06off2010 4FC2SATA 321 241gen-08on 161 121giu-08on 5FC2SATA 312272601apr-10on 6FC2SATA 312272601lug-10on 7 120102 new11 7 0 new12 tot now 192,0156,04 tot 2011 312,0258,05 obs 20110 off 20110obsol 20120

44 44 G. Carlino – Referaggio Tier2 ATLAS Napoli, 5 Luglio 2011 Tier2 Frascati – accounting risorse

45 45 G. Carlino – Referaggio Tier2 ATLAS Napoli, 5 Luglio 2011 Tier2 Milano – risorse WORKER NODES - MI # WN Processore# CPUcore/CPU# core fisici# job slotsRAMHEP SPEC boxHEP SPECData acquistostatoData dismissione 101U Xeon 2.4 GHz21221 GB0,00 giu-03 off 2008 31U Xeon 2.4 GHz21221 GB0,00 giu-03 off 2009 31U Xeon 2.8 GHz21223 GB9,6328,89 gen-04 off 2008 131U Xeon 2.8 GHz21223 GB9,63125,19 gen-04 off 2010 41U Opteron 280 2.4 GHz22444 GB31,13124,52 gen-06 on obs 11U Xeon 5160 3.0 GHz22444 GB45,30 mar-07 server 2011 11U Xeon 5160 3.0 GHz22444 GB45,30 mar-07 on obs12 21U Xeon E 5440 2,83 GHz248816 GB73,74147,48 gen-08 on obs12 31U Xeon E 5440 2,83 GHz248816 GB73,74221,22 gen-08 proof obs12 291U Xeon 3,0 GHz21224 GB10,32299,22 apr-08 off 2010 231U Xeon 3,0 GHz21224 GB10,32237,31 apr-08 off 2010 201U Xeon 3,0 GHz21224 GB10,32206,36 apr-08 server obs 8Twin Xeon L5420 2.50 GHz248816 GB65,65525,20 dic-08 on 12Twin Xeon E5520 2,27 GHz2481624 GB92,831113,96 gen-10 on 10Twin Xeon E5520 2,27 GHz2481524 GB92,83928,30 mar-10 on 14Twin Xeon E5620 2,4 GHz2481624 GB102,21430,80 apr-11 on 4Quad Xeon E5650 2,7 GHz26122036 GB162,81651,24 new11 22Twin Xeon E5645 2,4 GHz26122036 GB144,723183,84 new11 51 totale now108 388666 4315,6 73 totale 2011152 6521106 7819,8 obsol 2011330,9 off 20110obsol 2012414,0 STORAGE - MI Brand# BoxDischiTB/DiscoTBrTBn# Server Data 1Infortrend 2240,524,015,61gen-06onobs 2Xyratex 148148,0381?onobs12 5DotHill 412 156462giu-08on 18 6DotHill 412 2112922dic-08on 18 7DotHill 412 2112922dic-08on 18 8DotHill 91222161804mar-10on 9Hitachi 81522402044apr-11on 9 2402044 new11 10 0 new12 tot now 808,0667,612 tot 2011 1024,0856,016 obs 201115,6 obsol 201238

46 46 G. Carlino – Referaggio Tier2 ATLAS Napoli, 5 Luglio 2011 Tier2 Milano – accounting risorse

47 47 G. Carlino – Referaggio Tier2 ATLAS Napoli, 5 Luglio 2011 Tier2 Napoli – accounting risorse

48 48 G. Carlino – Referaggio Tier2 ATLAS Napoli, 5 Luglio 2011 Tier2 Napoli – accounting risorse WORKER NODES - NA # WN Processore# CPUcore/CPU# core fisici# job slotsRAMHEP SPEC boxHEP SPECData acquistostatoData dismissione 11U Xeon 2.8 GHz21222 GB9,63 dic-03 off 2007 61U Xeon 2.8 GHz21222 GB9,6357,78 dic-03 off 2009 11U Opteron 250 GHz21224 GB16,28 dic-05 off 2008 91U Opteron 250 GHz21224 GB16,28146,52 dic-05 on obs 3Blade Xeon 5110 1.7 GHz22448 GB26,3979,17 dic-06 off 2010 7Blade Xeon 5110 1.7 GHz22448 GB26,39184,73 dic-06 on obs 5Blade Xeon E5430 2,66 GHz248816 GB72,12360,60 gen-08 on obs12 6Blade Xeon E5430 2,66 GHz248816 GB72,12432,72 apr-08 on obs12 5Blade Xeon E5430 2,66 GHz248816 GB72,12360,60 ott-08 on obs12 8Twin Xeon E5420 2,5 GHz248816 GB70,77566,16 gen-09 on 16Twin Xeon E5520 2,27 Hz2481424 GB92,831485,28 gen-10 on 20Twin Xeon E5620 2,4 GHz2481624 GB98,951979,00 mar-11 on 20Twin Xeon E5645 2,4 GHz26122036 GB144,722894,40 new11 76 totale now152 526782 5515,6 80 totale 2011192 7201136 8078,8 obsol 2011331,3 off 20110obsol 20121153,9 STORAGE - NA Tipo# BoxDischiTB/DiscoTBrTBn# Server Data 1? 1160,58,05,41dic-05offgiu-09 2IBM 4160,53224,72dic-06offapr-11 3DotHill 412 156462giu-08on 18 4DotHill 412 156462giu-08on 18 5DotHill 412 2112922dic-08on 18 6DotHill 412 2112922dic-08on 18 7DotHill 91222161804mar-10on 8Hitachi 81522402044mar-11on 9 2402044 new11 10 0 new12 tot now 792,0660,016 tot 2011 1032,0864,020 obs 20110 off 20110obsol 20120

49 49 G. Carlino – Referaggio Tier2 ATLAS Napoli, 5 Luglio 2011 Tier2 Roma1 – risorse STORAGE - RM Brand# BoxDischiTB/DiscoTBrTBn# ServerDataStatoData 1? 1160,406,45,121dic-05offgiu-09 2? 1480,5024,018,141dic-06onobs 3DotHill 412 211292 1gen-08on 181giu-08on 4DotHill 412 156462giu-08on 18 5DotHill 412 156462dic-08on 18 6DotHill 412 2112922dic-08on 18 7DotHill 7 122216180 3mar-10on 21apr-11on 8Hitachi 81522402044mar-11on 9 2402044 new11 10 0 new12 tot now 816,0678,117 tot 2011 1032,0864,020 obs 201118,14 off 20110obsol 20120 WORKER NODES - RM # WN Processore# CPUcore/CPU# core fisici# job slotsRAMHEP SPEC boxHEP SPECData acquistostatoData dismissione 141U Xeon 2.8 GHz21222 GB9,63134,82 dic-03 off 2008 61U Opteron 275 2.2 GHz22448 GB30,10180,60 off 2009 11U Xeon 5160 3.0 GHz22448 GB41,31 dic-06 off 2010 61U Xeon 5160 3.0 GHz22448 GB41,31247,86 dic-06 on obs 14Twin Xeon E5410 2.33 GHz248816 GB67,86950,04 gen-08 on obs12 8Twin Xeon E5410 2.33 GHz248816 GB67,86542,88 set-08 on obs12 6Twin Xeon E5420 2.33 GHz248816 GB70,87425,22 gen-09 on 14Twin Xeon E5520 2,27 Hz2481624 GB92,831299,62 dic-09 on 4Twin Xeon E5520 2,27 Hz2481624 GB92,83371,32 giu-10 on 8Twin Xeon E5620 2,4 GHz2481624 GB102,2817,60 feb-11 on 24Twin Xeon E5645 2,4 GHz26122036 GB144,723473,28 new11 60 totale now120 456664 4654,5 76 totale 2011168 7441144 7880,0 obsol 2011247,9 off 20110obsol 20121492,9

50 50 G. Carlino – Referaggio Tier2 ATLAS Napoli, 5 Luglio 2011 Tier2 Roma1 – accounting risorse

51 51 G. Carlino – Referaggio Tier2 ATLAS Napoli, 5 Luglio 2011 Richieste 2012

52 G. Carlino – Referaggio Computing ATLAS 52 Napoli, 5 Luglio 2011 Modifica della stima delle risorse necessarie rispetto alle previsioni del 2010 a causa di: o variazioni dell’attività di LHC: run 2012 e shut-down 2013 richiedono un maggior numero di risorse per il computing o pile-up molto più alto del previsto (μ=6 ora e μ=15 previsto in autunno) provocato dall’aumento della densità dei fasci raddoppio delle dimensioni degli eventi e del tempo di ricostruzione: 100 HS-sec determinato dai dati 2010 raddoppiato a 200 HS-sec Risorse 2011 già determinate per cui si è reso necessario modificare il CM, in particolare riducendo il numero di repliche dei dati primari nelle cloud: 1 copia di RAW nei Tier1 rolling buffer del 10% di ESD nei Tier1 10 copie di AOD (2 Tier1 e 8 Tier2) in tutte le cloud 2 copie di dESD nei Tier1 e 4 nei Tier2 somma dESD = somma AOD in base a questo modello le risorse 2012 aumentano molto poco o nulla rispetto all’RRB 2010 Richieste 2012

53 G. Carlino – Referaggio Computing ATLAS 53 Napoli, 5 Luglio 2011 Computing Model – Input parameters Dimensioni degli eventi raddoppiate a causa del pileup

54 G. Carlino – Referaggio Computing ATLAS 54 Napoli, 5 Luglio 2011 Computing Model – Input parameters

55 G. Carlino – Referaggio Computing ATLAS 55 Napoli, 5 Luglio 2011 Risorse “pledged” per attività - CPU Attività principali: Simulazione e analisi di gruppo e di utente. Simulazione e analisi di gruppo condivise con i Tier1. leggero aumento rispetto al 2011 per l’attività degli utenti. In assoluto aumenti molto contenuti grazie alla modifica del Computing Model. Richieste identiche a quelle effettuate nell’RRB 2010!!!!  Simulazione: 10% di ATLAS 5600 HS  Attività gruppi: 8 gruppi (2 gruppi a Milano, Napoli e Roma e 2 nuovi gruppi a Frascati) su ~ 100 gruppi ATLAS 46400 HS  Analisi ATLAS: 10% di ATLAS (quota “pledged” escludendo l’attività italiana) 18000 HS

56 G. Carlino – Referaggio Computing ATLAS 56 Napoli, 5 Luglio 2011 Risorse “pledged” per attività - disco  Simulazione MC: 50% di una replica completa 1000 TB + 60 TB (buffer produzione)  Dati pp: 50% di una replica completa 1313 TB  Attività gruppi: 8 gruppi (2 gruppi a Milano, Napoli e Roma e 2 nuovi a Frascati) 600 TB (75 TB per gruppo)  Analisi: area scratch per utenti generici 100 TB (area scratch per utenti generici)

57 G. Carlino – Referaggio Tier2 ATLAS 57 Napoli, 5 Luglio 2011 Risorse “pledged” - riepilogo Attività CPU (HS06) Disco (TBn) LHC data taking 1320 Simulazione56001060 Gruppi ATLAS 4640600 Analisi18000100 Totale 282403080 T2 Italia T2 ATLAS T2 It/ATLAS CPU (kHS06) 28,22959.6% Disco (PBn) 3,08496,3% Nel nuovo modello di calcolo di ATLAS per i Tier2 acquista maggiore importanza la disponibilità di CPU rispetto allo storage. Utile per la competitività dei siti conservare le stesse pledge 2010 per il disco (~6%) aumentare quelle delle CPU a ~10% come al CNAF

58 G. Carlino – Referaggio Computing ATLAS 58 Napoli, 5 Luglio 2011 Risorse per attività italiane Storage: Necessità assoluta Spazio disco locale (LOCALGROUP) nei Tier2 e Tier3 per ogni attività italiana. ATLAS non considera nessuna area di storage permanente per gli utenti Queste aree possono essere ospitate sia nei Tier2 che nei Tier3 con diverse funzionalità e dimensioni: Tier2: dimensione O(100 TB) - utilizzo per ospitare campioni completi dei dati prodotti da tutti gli utenti e i gruppi italiani Tier3: dimensione O(10 TB) – utilizzo per ospitare campioni ridotti dei dati per definire e tunare le analisi con tool interattivi e batch locale. Sviluppo del codice Le aree locali nei Tier2 e Tier3 vanno considerati complementari. L’aumento dell’attività nei Tier3 porta a rimodulare le richieste diminuendo lo spazio disco richiesto nei Tier2 a favore di quello dei Tier3 Inoltre il nuovo modello di utilizzo del disco dei Tier2 come cache permette di limitare le richieste pledged a favore dell’area locale di storage permanente CPU: aumento della competitività La disponibilità di CPU oltre le risorse pledged da dedicare agli italiani permette di aumentare notevolmente la competitività dei siti

59 G. Carlino – Referaggio Computing ATLAS 59 Napoli, 5 Luglio 2011 Risorse per attività italiane Analisi Italiana – Disco 11 TB medi per attività considerando in prospettiva la statistica totale del 2012 25 TB in ogni Tier3 (2 in attività finanziati nel 2011 (RM3, GE) + 2 in attività con altri finanziamenti (BO, UD) + 2 da finanziare nel 2012 (LE, RM2)) = 150 TB 400 TB nei Tier2 (~200 TB gia’ occupati) Analisi Italiana – CPU 200 HS medio per attività 600 HS in ogni Tier3 (6 Tier3) = 3600 HS 6400 HS nei Tier2 # gruppi attivi: ~ 50 nelle 13 sezioni alcune attività clusterizzate tra varie sedi dimensioni dei gruppi e utilizzo risorse molto vario Dimensionamento medio risorse necessarie: misura risorse necessarie attualmente con 1 fb -1 stima con 10 fb -1, considerando sia l’aumento dei dati che del MC (non lineare) statistica attuale o ultimo fb conservabile su LOCALGROUP al Tier3, statistica intera necessariamente da ospitare in LOCALGROUP al Tier2

60 G. Carlino – Referaggio Computing ATLAS 60 Napoli, 5 Luglio 2011 Risorse totali - riepilogo Attività CPU (HS06) Disco (TBn) Pledged282403080 Analisi Italiana 6400400 Totale 346403480

61 G. Carlino – Referaggio Tier2 ATLAS 61 Napoli, 5 Luglio 2011 Richieste Tier2 2012 Per la stima dei costi necessari per server e rete ci si è attenuti all’algoritmo Bozzi: Server: ~10% Disco e CPU Rete: ~8% Disco e CPUCPUDiscoServerRete HS06K€TBnK€ Necessità attività 2012 3464034804032 Risorse disponibili 2011 261002840 Richieste 2012 85401536402824032  CPU: 18 €/HS06  Disco: 440€/TBn Per la stima dei costi di CPU e Disco si è considerata l’esperienza delle ultime gare e le analisi di mercato che continuiamo a svolgere CPU (HS06) Disco (TBn) Frascati 2321258 Milano 7820856 Napoli 8079864 Roma 7880864 Tot 261002842 Risorse disponibili Richieste

62 G. Carlino – Referaggio Tier2 ATLAS 62 Napoli, 5 Luglio 2011 Richieste Tier2 2012 Dettaglio per Tier2 è in corso la validazione di Frascati come Tier2 ufficiale  pieno supporto del Direttore dei Laboratori e del gruppo  lavori infrastrutturali in corso  referaggio concluso divisione delle risorse in parti uguali tra i 4 Tier2 a parte piccoli aggiustamentiCPUDiscoReteServerTotaleCons. HS06K€TBnK€ Frascati 2690505571600708101455 Milano 19504144316038878101485 Napoli 19501154561600708101445 Roma 19501493621600708101505 Tot 8540obs265640obs29732 40 587 Le risorse acquistate nel 2008 per le CPU e precedenti per il disco vanno considerate obsolete nel 2012 e sostituite da nuove: (obs) nelle colonne HS06 e TBn. Il dettaglio per ogni Tier2 è presente nelle tabelle consegnate ai referee

63 G. Carlino – Referaggio Tier2 ATLAS 63 Napoli, 5 Luglio 2011 Tier2 Frascati - infrastrutture Potenza risorse da installare 2011-2012: 6.7 kW storage 2011 da installare a ottobre (144 TB + 2 server) = 1.7 kW CPU 2012 = ~ 6 KW Potenza disponibile nella sala calcolo temporanea: spegnimento sistema informativo = 3.5 KW spegnimento blade IBM obsoleto = 2 KW ~ 1 KW disponibile nella struttura attuale posizionando il nuovo rack in zone a bassa densita’ Calcolo Tier 2 Kloe Garr Nastri utenti Altri experim QE

64 G. Carlino – Referaggio Tier2 ATLAS 64 Napoli, 5 Luglio 2011 Richieste Tier3 Tier3 in attività in ATLAS: Bologna, Genova, Roma3, Udine/Trieste Richieste 2012 per 2 nuovi Tier3: Lecce farm già esistente in sezione con risorse ridotte e vecchie richiesta di diventare Tier3 “Grid enabled” CPU: 2 twin (4 WN) = 9 K€ Disco: sostituzione dischi da 750 GB a 2 TB, totale 26 TB = 6 K€ Roma2 nuova farm richiesta di diventare Tier3 “Grid enabled” CPU: 2 twin (4 WN) = 9 K€ Disco: NAS con 20 TB = 6 K€