Il Computing di ATLAS III – La Federazione dei Tier-2 La Federazione dei Tier-2 La Federazione dei Tier-2 Analisi nei Tier-2 italiani Analisi nei Tier-2.

Presentazione sul tema: "Il Computing di ATLAS III – La Federazione dei Tier-2 La Federazione dei Tier-2 La Federazione dei Tier-2 Analisi nei Tier-2 italiani Analisi nei Tier-2."— Transcript della presentazione:

1 Il Computing di ATLAS III – La Federazione dei Tier-2 La Federazione dei Tier-2 La Federazione dei Tier-2 Analisi nei Tier-2 italiani Analisi nei Tier-2 italiani Gianpaolo Carlino Referaggio Computing LHC CNAF, 17/18 Gennaio 2008

2 G. Carlino: Il Computing di ATLAS III – La Federazione dei Tier-2 CNAF, 17/18 Gennaio 2008 2 Organizza la partecipazione INFN alle attività di servizio del computing di ATLAS con lo scopo di ottimizzare le risorse disponibili nel Tier-1 e nei Tier-2 e fornire supporto all’analisi in Italia. Rappresenta la comunità computing ATLAS Italia verso WLCG (CB) e verso ATLAS per le attività di servizio Responsabile della Federazione Responsabile della Federazione Gianpaolo Carlino dal 2008, in sostituzione di Laura Perini dal 2006 Gianpaolo Carlino dal 2008, in sostituzione di Laura Perini dal 2006 Deputies Deputies Laura Perini: in qualità di responsabile uscente Laura Perini: in qualità di responsabile uscente Alessandro De Salvo: technical coordinator Alessandro De Salvo: technical coordinator …..: collegamento con l’Atlas Distributed Computing (ADC) group …..: collegamento con l’Atlas Distributed Computing (ADC) group Tier-2: Tier-2: Milano: Milano: Responsabile: Laura Perini Responsabile: Laura Perini Responsabile operativo: Attilio Andreazza Responsabile operativo: Attilio Andreazza Napoli: Napoli: Responsabile: Gianpaolo Carlino Responsabile: Gianpaolo Carlino Responsabile operativo: Alessandra Doria Responsabile operativo: Alessandra Doria Roma 1: Roma 1: Responsabile: Lamberto Luminari Responsabile: Lamberto Luminari Responsabile operativo: Alessandro De Salvo Responsabile operativo: Alessandro De Salvo Frascati (proto Tier-2): Frascati (proto Tier-2): Responsabile: Mary Censa Ferrer Responsabile: Mary Censa Ferrer Resposabile Operativo: Elisabetta Vilucchi Resposabile Operativo: Elisabetta Vilucchi La Federazione Italiana dei Tier-2

3 G. Carlino: Il Computing di ATLAS III – La Federazione dei Tier-2 CNAF, 17/18 Gennaio 2008 3 Attività della Federazione  Gestione dei Tier-2  Attività primaria nel Production System Le attività di produzione sono seguite da un gruppo ATLAS con molti shifters INFN e la sottomissione jobs via Lexor (executor EGEE) e’ curata da un gruppo INFN che monitora strettamente il funzionamento al CNAF Le attività di produzione sono seguite da un gruppo ATLAS con molti shifters INFN e la sottomissione jobs via Lexor (executor EGEE) e’ curata da un gruppo INFN che monitora strettamente il funzionamento al CNAF  Attività di Data Management in particolare per quando riguarda il monitoring del funzionamento (ATLAS dashboard ma non solo) e il debugging che permette di individuare quale componente del sistema genera problemi e di allertare gli esperti specifici al CNAF se occorre in particolare per quando riguarda il monitoring del funzionamento (ATLAS dashboard ma non solo) e il debugging che permette di individuare quale componente del sistema genera problemi e di allertare gli esperti specifici al CNAF se occorre  Qui è cruciale il ruolo delle persone INFN al CERN (LCG-INFN fellows e staff ) per individuare quali difficoltà vengono dal sw o dalle procedure di ATLAS globale e quali sono invece locali e garantire una rapida correzione anche dal lato ATLAS gestione e controllo delle sottoscrizioni dei dati in italia gestione e controllo delle sottoscrizioni dei dati in italia  Attività di analisi distribuita Test e utilizzo di Ganga di primaria rilevanza. Sempre maggiore diffusione nei siti Test e utilizzo di Ganga di primaria rilevanza. Sempre maggiore diffusione nei siti Struttura in costruzione Struttura in costruzione  Attività primaria nella distribuzione e, recentemente, nel benchmarking del software di Atlas

4 G. Carlino: Il Computing di ATLAS III – La Federazione dei Tier-2 CNAF, 17/18 Gennaio 2008 4 Struttura operativa al Tier-1 e al CERN  La struttura operativa di ATLAS al Tier-1 è integrata strettamente da un lato con quella del Tier-1 e dall’altro con quella della Federazione Claudia Ciocca e’ da maggio 2007 A/R per ATLAS al CNAF, stabilmente al CNAF Claudia Ciocca e’ da maggio 2007 A/R per ATLAS al CNAF, stabilmente al CNAF ha la responsabilità del Data Management della Federazione (ex-Guido Negri) ha la responsabilità del Data Management della Federazione (ex-Guido Negri) Lorenzo Rinaldi nuovo A/R dal 2008 Lorenzo Rinaldi nuovo A/R dal 2008 ATLAS richiede un “contatto” per ogni Tier-1 a cui rivolgersi ATLAS richiede un “contatto” per ogni Tier-1 a cui rivolgersi Per il CNAF questo contatto e’ costituito da un gruppo di persone che assicurano la copertura dei differenti aspetti necessari Per il CNAF questo contatto e’ costituito da un gruppo di persone che assicurano la copertura dei differenti aspetti necessari Luca Dell’Agnello, Claudia, il responsabile italiano calcolo, il suo deputy-federazione (L. Perini), il link con ATLAS ADC (S. Campana) Luca Dell’Agnello, Claudia, il responsabile italiano calcolo, il suo deputy-federazione (L. Perini), il link con ATLAS ADC (S. Campana)  Struttura al CERN costituita da LCG-INFN fellows e staff Simone Campana con il ruolo di Tier1-2 coordinator in ADC Simone Campana con il ruolo di Tier1-2 coordinator in ADC Alessandro Di Girolamo Alessandro Di Girolamo Guido Negri dal 1-2-2008 Guido Negri dal 1-2-2008

5 G. Carlino: Il Computing di ATLAS III – La Federazione dei Tier-2 CNAF, 17/18 Gennaio 2008 5 Organigramma ATLAS Computing

6 G. Carlino: Il Computing di ATLAS III – La Federazione dei Tier-2 CNAF, 17/18 Gennaio 2008 6 Tier-2 e loro utenti Supporto della Federazione ai gruppi ATLAS Italia  Supporto locale: svolto da ciascun Tier-2 per gli utenti che fanno riferimento ad esso (sia locali che remoti) gli esempi qui sono presi da Milano, ma la situazione è simile negli altri siti Twiki con documentazione e istruzioni ( es. http://grid008.mi.infn.it:5080/wiki/index.php?title=Main_Page ) Twiki con documentazione e istruzioni ( es. http://grid008.mi.infn.it:5080/wiki/index.php?title=Main_Page ) http://grid008.mi.infn.it:5080/wiki/index.php?title=Main_Page Mailing lists di esperti per la risoluzione dei problemi, tipicamente prima risposta in tempi brevi ( 1 ora o meno..) Mailing lists di esperti per la risoluzione dei problemi, tipicamente prima risposta in tempi brevi ( 1 ora o meno..) Riunioni degli utenti (tipicamente bimestrali) Riunioni degli utenti (tipicamente bimestrali)  Supporto globale: parte importante del supporto deve essere l’informazione di base sul funzionamento di grid in Italia, dei siti ATLAS in Italia e del Tier2 di riferimento Alcuni tutorials già organizzati in questo spirito e altri in previsione, gli ultimi: Alcuni tutorials già organizzati in questo spirito e altri in previsione, gli ultimi: Scuola grid al CNAF a fine Novembre con > 15 partecip. ATLAS Scuola grid al CNAF a fine Novembre con > 15 partecip. ATLAS http://agenda.cnaf.infn.it/conferenceTimeTable.py?confId=54 Tutorial sul monitoring del Tier-2 da parte dei suoi utenti http://grid008.mi.infn.it:5080/wiki/index.php?title=Tutorial_sul_monitor_del_Tier2 per ora sperimentato a Milano in dicembre 2007, ottima partecipazione e gradimento Tutorial sul monitoring del Tier-2 da parte dei suoi utenti http://grid008.mi.infn.it:5080/wiki/index.php?title=Tutorial_sul_monitor_del_Tier2 per ora sperimentato a Milano in dicembre 2007, ottima partecipazione e gradimento http://grid008.mi.infn.it:5080/wiki/index.php?title=Tutorial_sul_monitor_del_Tier2 Analisi distribuita per tutto ATLAS-Italia a Milano febbraio scorso a Roma3 il prossimo Febbraio Analisi distribuita per tutto ATLAS-Italia a Milano febbraio scorso a Roma3 il prossimo Febbraio

7 G. Carlino: Il Computing di ATLAS III – La Federazione dei Tier-2 CNAF, 17/18 Gennaio 2008 7 Supporto dei gruppi ATLAS Italia alla Federazione Supporto dei gruppi ATLAS Italia alla Federazione  Rafforzamento del legame tra la Federazione dei Tier-2 e i vari gruppi in quanto l’attività di computing è trasversale e il buon funzionamento dell’intera struttura è nell’interesse di tutti Aumentare la collaborazione del personale “non Tier-2” nella gestione delle operazioni di computing e dei siti Aumentare la collaborazione del personale “non Tier-2” nella gestione delle operazioni di computing e dei siti per attività di computing per attività di computing per attività più strettamente connesse all’analisi per attività più strettamente connesse all’analisi analisi distribuitaanalisi distribuita distrubuzione dei datidistrubuzione dei dati Definizione di una lista di rappresentanti locali Definizione di una lista di rappresentanti locali persone interessate e sufficientemente competenti di computing persone interessate e sufficientemente competenti di computing rappresentano e coordinano le attività di computing nei gruppi rappresentano e coordinano le attività di computing nei gruppi Tier-2 e loro utenti

8 G. Carlino: Il Computing di ATLAS III – La Federazione dei Tier-2 CNAF, 17/18 Gennaio 2008 8 Analisi nei Tier-2 1.I Tier-1 e i Tier-2 di ATLAS sono risorse comuni disponibili per l’intera collaborazione 2.Il Computing Model prevede che le risorse dei Tier-2 siano dedicate al 50% per la simulazione e al 50% per l’analisi Bisogna trovare un modo per garantire l’uso delle risorse dei Tier-2 italiani alla comunità italiana impedendo che le attività centrali di ATLAS o gli utenti non italiani le usino in maniera predominante 1. Creazione di un gruppo atlas/it a livello di VO 2. Job Priority Mechanism: definizione di quote dedicate per le varie attività (p.es. produzione 50% e analisi 50%) e i vari gruppi (atlas e atlas/it) definizione di quote dedicate per le varie attività (p.es. produzione 50% e analisi 50%) e i vari gruppi (atlas e atlas/it) 3. Fair-Share Mechanism per ottimizzare l’uso delle risorse bilanciamento temporale dell’uso delle risorse per impedire che rimangano inutilizzate quando non viene utilizzata completamente la quota dedicata ad una precisa attività o a un gruppo bilanciamento temporale dell’uso delle risorse per impedire che rimangano inutilizzate quando non viene utilizzata completamente la quota dedicata ad una precisa attività o a un gruppo già in uso a Milano già in uso a Milano

9 G. Carlino: Il Computing di ATLAS III – La Federazione dei Tier-2 CNAF, 17/18 Gennaio 2008 9 Analisi nei Tier-2 Aspetto Politico: OK Aspetto Politico: OK purché non venga (potenzialmente) limitato in maniera eccessiva l’utilizzo dei Tier-2 agli utenti di atlas non italiani purché non venga (potenzialmente) limitato in maniera eccessiva l’utilizzo dei Tier-2 agli utenti di atlas non italiani altre nazioni adottano già soluzioni di questo tipo altre nazioni adottano già soluzioni di questo tipo Aspetto Tecnico: OK...... Aspetto Tecnico: OK...... soluzione già prevista a livello di VO. Deve essere implementata soluzione già prevista a livello di VO. Deve essere implementata mapping delle credenziali VOMS dei gruppi/ruoli con quelle locali degli scheduler mapping delle credenziali VOMS dei gruppi/ruoli con quelle locali degli scheduler associazione delle quote a queste credenziali associazione delle quote a queste credenziali...... però richiede un lavoro non banale di riconfigurazione dei sistemi di sottomissione dei job nei siti In corso di implementazione L’ipotesi è di dedicare inizialmente il 30% delle risorse di calcolo dei Tier-2 per l’attività degli utenti italiani. Monitoraggio accurato nel 2008 per verificare che questa quota soddisfi le necessità della comunità.

10 G. Carlino: Il Computing di ATLAS III – La Federazione dei Tier-2 CNAF, 17/18 Gennaio 2008 10 Personale attivo nella Federazione Frascati: Mary Censa Ferrer (responsabile Tier2) Mary Censa Ferrer (responsabile Tier2) Elisabetta Vilucchi (gestione del Tier2, ADC shifter, DB calibrazione) Elisabetta Vilucchi (gestione del Tier2, ADC shifter, DB calibrazione) Wen Mei (ADC senior shifter, DDM) Wen Mei (ADC senior shifter, DDM) Agnese Martini (produzione: shifter) Agnese Martini (produzione: shifter) Claudio Soprano (amministratore Tier-2) Claudio Soprano (amministratore Tier-2) Milano: Laura Perini (responsabile Tier2) Laura Perini (responsabile Tier2) Attilio Andreazza ( vice-responsab Tier2) Attilio Andreazza ( vice-responsab Tier2) Silvia Resconi (produzione e ADC senior shifter, analisi distributa) Silvia Resconi (produzione e ADC senior shifter, analisi distributa) Guido Negri (produzione e ADC senior shifter, responsabile GGUS) Guido Negri (produzione e ADC senior shifter, responsabile GGUS) David Rebatto (produzione: sviluppatore Lexor e sottomissione) David Rebatto (produzione: sviluppatore Lexor e sottomissione) Luca Vaccarossa (gestione del Tier2) Luca Vaccarossa (gestione del Tier2) Elisabetta Molinari (experimental services WMS per la produzione) Elisabetta Molinari (experimental services WMS per la produzione) Leonardo Carminati (analisi distribuita) Leonardo Carminati (analisi distribuita) Tommaso Lari (analisi distribuita) Tommaso Lari (analisi distribuita) Napoli: Gianpaolo Carlino (responsabile Tier2) Gianpaolo Carlino (responsabile Tier2) Alessandra Doria (responsabile operativo Tier2, ADC senior shifter, monitoring) Alessandra Doria (responsabile operativo Tier2, ADC senior shifter, monitoring) Leonardo Merola (coordinamento Tier2 nel PON SCoPE) Leonardo Merola (coordinamento Tier2 nel PON SCoPE) Michela Biglietti (analisi distribuita) Michela Biglietti (analisi distribuita) Francesco Conventi (analisi distribuita) Francesco Conventi (analisi distribuita) Elisa Musto (ADC shifter, installazione software dal 2008) Elisa Musto (ADC shifter, installazione software dal 2008) Sergio Ricciardi (monitoring e infrastruttura rete) Sergio Ricciardi (monitoring e infrastruttura rete) Roma I: Lamberto Luminari (responsabile Tier2) Lamberto Luminari (responsabile Tier2) Alessandro De Salvo (responsabile op. Tier2; VO manager; installazione e validazione sw) Alessandro De Salvo (responsabile op. Tier2; VO manager; installazione e validazione sw) Alex Barchiesi (gestione Tier2) Alex Barchiesi (gestione Tier2) Daniela Anzellotti (gestione Tier2 e amministratore DB calibrazione) Daniela Anzellotti (gestione Tier2 e amministratore DB calibrazione) Stefano Giagu (analisi distribuita) Stefano Giagu (analisi distribuita) Stafano Rosati (analisi distribuita) Stafano Rosati (analisi distribuita) Elena Solfaroli (analisi distribuita) Elena Solfaroli (analisi distribuita) CERN: Simone Campana (ATLAS Tier1-Tier2 coordinator) Simone Campana (ATLAS Tier1-Tier2 coordinator) Alessandro Di Girolamo (DDM operations e monitoraggio storage cloud italiana, SAM test) Alessandro Di Girolamo (DDM operations e monitoraggio storage cloud italiana, SAM test) CNAF: Claudia Ciocca (DDM Italian Cloud Manager) Claudia Ciocca (DDM Italian Cloud Manager) Lorenzo Rinaldi (dal 2008, DDM) Lorenzo Rinaldi (dal 2008, DDM) Bologna: Franco Brasolin (SIT, dal 2008) Franco Brasolin (SIT, dal 2008) Roma III: Fulvio Galeazzi (Tier-3 task force) Fulvio Galeazzi (Tier-3 task force)