ATLAS-Italia Tier-3 Dario Barberis Università e INFN Genova

Slides:



Advertisements
Presentazioni simili
Introduzione alle attivita Software e Computing di Atlas Napoli M. Biglietti – G. Carlino – F. Conventi - A. Doria – L. Merola - A. Migliaccio Software:
Advertisements

INFN-BOLOGNA-T3 L. Rinaldi I siti Tier-3 nel modello di calcolo di Atlas Configurazione del sito INFN-BOLOGNA-T3 Attività di Analisi e Produzione Attività.
Analysis unibo una proposta. Work flow di una tipica analisi 1.Simulazione di piccoli campioni di eventi per studio segnale 2.Generazione in grande.
Tier-2 ATLAS Tier-2 Lamberto Luminari CSN1 – Roma, 10 Ottobre 2005.
BOLOGNA Prin-STOA Report L. Rinaldi Bari – 12/11/2015.
Atlas Italia - Milano, 17/11/2009 G. Carlino – News dal Computing 1 1 News dal computing Gianpaolo Carlino INFN Napoli Atlas Italia, Milano, 17/11/09 Nuovo.
19 Ottobre 2012ATLAS Milano1 Stato delle risorse locali di calcolo L. Carminati, L. Perini, D. Rebatto, L. Vaccarossa.
Virtualizzazione nell’INFN Andrea Chierici 11 Dicembre 2008.
Referaggio Calcolo ATLAS Gianpaolo Carlino INFN Napoli CNAF, 11 Maggio 2012 Attività di Computing ATLAS Attività di Computing in Italia Risorse e Richieste.
Il Computing di ATLAS (aspetti interessanti per chi fa analisi) Tommaso Lari INFN Milano Tutorial sull’analisi distribuita Roma3, Febbraio 2008.
CSN1 - CMS Referee Report P.Giannettii - INFN / Pisa Ferrara, 20 maggio 2007 CMS - Relazione dei Referee G. Bruni, A. Cardini, P. Giannetti, M. Grassi,
Computing CMS Richieste 2010 M.Paganoni, 22/7/09.
IL blueprint e le esigenze per il progetti internazionali (EMI e EGI- InSPIRE) L. Gaido, INFN Torino Riunione del Comitato di Coordinamento IGI Roma, 12.
Sistema Informativo. Mansioni Gestione della piattaforma hardware e sistemistica del sistema informativo INFN In realta’ il mansionario e’ in continua.
Referaggio delle richieste dei gruppi di lavoro G. Ambrosi, R. Fantechi, M. Gulmini, O. Pinazza Commissione Calcolo e Reti, Roma, 5-7 Ottobre 2010.
EGEE is a project funded by the European Union under contract IST L'infrastruttura di produzione attuale A. Cavalli - INFN- CNAF D. Cesini.
Piano finanziario 2010 e incontro con i referee 6/17/20091L. Rossi – Bologna – ATLAS Italia.
+ Call di Big Data (EINFRA- 1). + La call … + + Cosa abbiamo in mano (come INFN) 1. L’infrastruttura 1 Tier Tier2 O(25000) cores O(20) PB di Disco.
CSN1 - Ferrara 14/09/2009 P-SuperB proposte finanziarie Referee: M. de Palma, B.Gobbo, C. Luci, D.Pedrini, C.Troncon.
Attività PRIN STOA a Cagliari Alessandro De Falco Università/INFN Cagliari.
Alessandro De Salvo Status dei Tier2 di ATLAS Alessandro De Salvo
AFS NELLA SEZIONE DI PADOVA aree_utenti: attualmente nessuno ha la proria home in AFS e quasi nessuno utilizza l'area utenti di AFS. /usr/local: si preferisce.
Il calcolo per l’esperimento GERDA: prospettive per la Fase II Luciano Pandola INFN, Laboratori del Gran Sasso e Laboratori del Sud Workshop della CCR,
Torino, Andrea Dainese 1 Andrea Dainese (INFN – LNL) Stato del Tier-2 ALICE a Legnaro.
Acquisti TIER T2 team e Pistoni per la consulenza sull’hardware.
VO-Neural Project e GRID Giovanni d’Angelo Dipartimento di Scienze Fisiche Università degli Studi di Napoli Federico II Martina Franca 12 – 23 Novembre.
20-21/03/2006Workshop sullo storage - CNAF Alessandro Brunengo.
Il calcolo ATLAS a Napoli nel 2014/2015
Attività Big Data/Data Science in HEP (CERN e US)
Synapse Gestione e Flussi documentali
Resoconto delle attività del Gruppo di Lavoro DR
Status Report Gruppo Storage CCR CCR 14-15/03/2006.
Summary di (quasi) tutti gli utenti non presentati…
D. Martello, F. Ricci, F. Ruggieri
Giovanni Maccarrone LNF
Comput-ER l'infrastruttura di calcolo distribuito in Emilia Romagna
l’organizzazione di IGI
Massimo Masera CSNIII Roma, 20 marzo 2012
Risultati ultimi mesi Piano di lavoro prossimi mesi Reclutamento
PNSD - Modulo D1A 27 aprile 2017 Piattaforme di e-­learning e cloud:​ installazione e gestione (azione #22) Prof. Rocca Marcello
2009 LHC Run Computing Gianpaolo Carlino INFN Napoli Highlights from:
2009 LHC Run Computing Gianpaolo Carlino INFN Napoli Highlights from:
Halina Bilokon Vitaliano Chiarella Simonetta Gentile
PRIN Roma1 – status Luciano Barone, Alessandro De Salvo
Introduzione alla sessione sull’analisi per gli esperimenti LHC
Lamberto Luminari CSN Maggio 2005
INFN Il calcolo scientifico presso la sede INFN di Padova e di Legnaro
Le strategie per l’analisi Workshop CCR e INFN-GRID 2009
Aggiornamento sullo stato del Tier-2 di Catania
Nuove funzionalità e futura implementazione nella Sezione di Trieste
Attvità Computing – Inverno 08/09
Care and Feeding of the ALICE Grid
(Breve) Riassunto del workshop WLCG
Belle II Computing: Accesso alle risorse di storage via http/webdav
Referaggio Calcolo ATLAS
Tier2 Milano Gli acquisti di fine 2008 saranno installati in 10 giorni circa Nuovo Storage Element vicino a commissioning No RFIO, cache, GPFS based, usato.
Responsabilita’ INFN in Atlas
Agenda CE IGI
INFN Il calcolo scientifico presso la sede INFN di Padova e di Legnaro
ATLAS PRIN Next Steps Alessandro De Salvo
Interfacce SRM: l'utilizzo di STORM - Overview e prospettive (ALICE)
Calcolo “locale” ATLAS-Mi
ATLAS: il calcolo Alessandro De Salvo
L. Rossi – CERN – ATLAS Italia
Stima risorse LHC LHC - Tier2 2 periodi
Comitato Paritetico Strategia Nazionale Biodiversità
STATO DI CMS Bari M. Diemoz.
ATLAS Italia Computing Richieste 2007 (Tier-2 e locali)
ATLAS PRIN Roma1 - status Alessandro De Salvo
CLOUD.
Transcript della presentazione:

ATLAS-Italia Tier-3 Dario Barberis Università e INFN Genova (con il contributo sostanziale di molti altri)

Tier-3 in ATLAS All'inizio del 2010 ATLAS ha studiato come organizzare le attività dei Tier-3 e dare consiglio agli istituti che intendono installarne uno In seguito (estate 2010) è stata messa in funzione una struttura di coordinamento e supporto tecnico: Tier-3 Coordinator: Andrej Filipčič (Ljubljana) Tier-3 Technical Coordinator: Doug Benjamin (Duke) Sono anche stati identificati 3 tipi base di Tier-3 che hanno necessità di supporto differenti: Tier-3 "Grid enabled" Sono siti Grid completi che possono eseguire qualsiasi job di ATLAS e conservare dati in aree di storage visibili a tutti. Supporto Grid demandato alla cloud di appartenenza. Tier-3 "Grid aware" Sono siti che hanno accesso diretto alla Grid ma solo per importare software e dati. L'utilizzo e il controllo sono solo locali. La suite ManageTier3SW è a disposizione per installare e aggiornare tutte le componenti (Condor, Panda, Xrootd, gLite client, ATLAS s/w, Squid, DDM client etc.). Raccomandato per siti piccoli totalmente controllati dal gruppo ATLAS locale. Tier-3 "non-Grid" Sono cluster di gruppo con installazioni di sistema e software totalmente locali. Nessun livello di supporto centrale.

Censimento 2011 (1) In marzo ho chiesto a tutti i siti di darci informazione sulla loro infrastruttura e capacità e sulla loro evoluzione prevista a breve e medio termine, e sull'utilizzo principale da parte della comunità ATLAS locale Quasi tutti hanno risposto. L'utilizzo della struttura di calcolo locale prevalente consiste nel workflow: Analisi di dati in formato AOD (Athena) o D3PD (ROOT) sulla Grid Output (ntuple) portato a casa sullo storage locale (con --destSE direttamente da pathena o con DaTRI) o sul disco locale (con dq2-get) Analisi interattiva (ROOT), con PROOF o batch locale e produzione di ntuple ristrette ed istogrammi Un altro workflow utilizzato consiste in: Download di dati reali o simulati sullo storage locale Sviluppo e test locale di sofware (trigger, calibrazione, ricostruzione ecc.) in ambiente Athena Per entrambi questi workflow risulta più attraente e conveniente avere un Tier-3 Grid-enabled (anziché Grid-aware) nonostante l'infrastruttura parecchio più pesante da gestire. Un vantaggio collaterale dei Tier-3 grid-enabled (se ci sono abbastanza CPU) è la possibilità di contribuire alla produzione della simulazione a bassa priorità.

Censimento 2011 (2) Attività presenti nei vari siti: GE: analisi di fisica (Top), performance Pixel, sviluppo software Trigger LE: analisi di fisica (SUSY e SM), performance di Trigger e RPC LNF: analisi di fisica (Higgs), simulazioni FTK MI: analisi di fisica (Jet, tau, ETmiss), combined performance, sviluppo software ricostruzione in Athena NA: analisi di fisica (B), performance RPC e Trigger L1_Muon PI: analisi di fisica (Jets, SM) PV: analisi di fisica (SM, SUSY e Higgs) RM2: analisi di fisica (SM e Higgs), performance RPC, sviluppo software RPC RM3: analisi di fisica (sez. d'urto muoni, prod. WW), calibrazione muoni, Data Quality muoni, generatori MC UD/TS: analisi di fisica (Top)

Censimento 2011 (3) GE, RM3 e UD/TS sono Grid-enabled dall'anno scorso RM3 fa girare la produzione della simulazione da febbraio; GE in test BO è in fase di certificazione come Grid-enabled Manpower ATLAS-BO? LE, PV e RM2 intendono passare a Grid-enabled Richieste perfettamente ragionevoli data la consistenza dei loro gruppi e le attività svolte LE e RM2 necessitano di un'iniezione sostanziale di hardware LE ha bisogno di dischi per arrivare ad un minimo di 20 TB per ATLAS RM2 necessita di CPU e disco vista l'obsolescenza delle macchine esistenti PI intende costruire una farm PROOF entro "6 mesi" LNF, MI, NA e RM1 hanno cluster locali che complementano la funzionalità del loro Tier-2

Esempi di utilizzo dei Tier-3 Roma3 da novembre 2010 a maggio 2011: Uso delle CPU per job locali (2010) e Grid (a partire da febbraio 2011) Nuove CPU da finanziamento fine 2010 Job di simulazione Roma3: uso disco Grid locale nell'ultimo anno Genova: uso disco Grid locale nell'ultimo anno Nuovo disco da finanziamento fine 2010

Prospettive È chiaro che la funzionalità Tier-3 (almeno al livello più semplice) è necessaria per ogni gruppo Specialmente per l'accesso interattivo ai dati su storage locale Attenzione: l'accesso interattivo allo storage Grid locale è banale con un file system (GPFS o altro) e StoRM ma non con DPM (LNF, NA, PV e RM1) CVMFS verrà presto utilizzato per distribuire il software e i files di calibrazione Meno problemi legati all'installazione e si recuperano dallo storage i TB di HOTDISK I dati di ATLAS aumenteranno più che linearmente nel tempo ma (purtroppo) non il numero di analizzatori, almeno in Italia Di conseguenza sarà sempre più importante aumentare le aree di storage (dischi) relativamente alla potenza di calcolo locale (CPU) La certificazione di un Tier-3 Grid-enabled necessita di un impegno coordinato di parecchie persone Installazione, configurazione, tuning dei tool Grid Certificazione interna in ATLAS-Italia Certificazione generale in ATLAS Si può fare in pochi giorni lavorativi se le persone del sito ci danno dentro Modello di supporto: per il momento sembra funzionare ma il giorno della verità sarà quando anche la gente dei Tier-3 parteciperà effettivamente ai turni di monitoraggio della cloud IT L'insieme dei Tier-3 deve coprire 13.3% degli shift di monitoraggio italiani (il 20% a regime)