Il Computing di ATLAS III – La Federazione dei Tier-2 La Federazione dei Tier-2 La Federazione dei Tier-2 Analisi nei Tier-2 italiani Analisi nei Tier-2.

Slides:



Advertisements
Presentazioni simili
ATLAS Distributed Analysis Lamberto Luminari CSN1 – Roma, 16 Maggio 2006.
Advertisements

Riunione PRIN STOA - Bologna - 18 Giugno 2014 Testbed del T2 distribuito Napoli-Roma Dr. Silvio Pardi INFN-Napoli Riunione PRIN STOA – Bologna 18 Giugno.
Atlas Italia - Milano, 17/11/2009 G. Carlino – News dal Computing 1 1 News dal computing Gianpaolo Carlino INFN Napoli Atlas Italia, Milano, 17/11/09 Nuovo.
ATLAS NAPOLI Software & Computing e il Tier-2 Gianpaolo Carlino INFN Napoli Il gruppo ATLAS di Napoli Le attività Software & Computing Il prototipo Tier-2.
ALICE Computing Readiness Workshop Tier-2 CNAF Jan 17-18, ALICE Computing Readiness 1) ALICE Italia: Persone & organizzazione 2) Test & commisioning.
Virtualizzazione nell’INFN Andrea Chierici 11 Dicembre 2008.
L.Perini Milano: 10 Gennaio Ex-ATLAS-Grid (Tier2 incluso) l Ruolo dei Tiers in ATLAS e grid l Le persone di Milano e le attività l Le infrastrutture.
Esigenze di Rete degli Esperimenti LHC e di Gr1 G. Carlino – INFN Napoli CCR – Roma 8 Settembre 2014.
Attività Formazione Valeria Ardizzone (INFN Catania)
Introduzione al Workshop di Fisica ATLAS Italia M. Cobal, S. Giagu Università di Udine e INFN, Università di Roma I e INFN Napoli, Maggio 2011.
Referaggio delle richieste dei gruppi di lavoro G. Ambrosi, R. Fantechi, M. Gulmini, O. Pinazza Commissione Calcolo e Reti, CNAF, 16 Marzo 2011.
IL blueprint e le esigenze per il progetti internazionali (EMI e EGI- InSPIRE) L. Gaido, INFN Torino Riunione del Comitato di Coordinamento IGI Roma, 12.
Sistema Informativo. Mansioni Gestione della piattaforma hardware e sistemistica del sistema informativo INFN In realta’ il mansionario e’ in continua.
Referaggio delle richieste dei gruppi di lavoro G. Ambrosi, R. Fantechi, M. Gulmini, O. Pinazza Commissione Calcolo e Reti, Roma, 5-7 Ottobre 2010.
Il nuovo portale del TT B. Checcucci A. Alaimo F. Cantini Bruno Checcucci Roma, 5/6/2013.
Piano finanziario 2010 e incontro con i referee 6/17/20091L. Rossi – Bologna – ATLAS Italia.
PRIN NAPOLI Enzo Capone, Gianpaolo Carlino, Alessandra Doria, Rosario Esposito, Leonardo Merola, Silvio Pardi, Arturo Sanchez Pineda.
CSN1 – Torino, 17 Maggio 2010 G. Carlino – ATLAS: Calcolo ATLAS Calcolo LHC 2011 Attività di TeV Attività di TeV Risorse.
ATLAS computing Roberto Carlin Commissione I Roma 1/7/08 F. Bossi, C.Bozzi, R. Carlin, R. Ferrari, D. Lucchesi, D. Martello, M. Morandin, M. Taiuti.
Ben tornati e buon 2014 ! Sono usciti i primi bandi della comunita` europea nell’ambito di HORIZON2020 tra I quali ERC Starting Grant e Consolidator Grant.
Alessandro De Salvo Status dei Tier2 di ATLAS Alessandro De Salvo
LA RETE RURALE AL SERVIZIO DELLE REGIONI Filippo Diasco Regione Campania Direttore Generale Politiche agricole, alimentari e forestali MILANO, LUNEDÌ 14.
Acquisti TIER T2 team e Pistoni per la consulenza sull’hardware.
Aggiornamenti gruppo WINDOWS CCR Riunione 5-7 ottobre 2010 Gianluca Peco.
20-21/03/2006Workshop sullo storage - CNAF Alessandro Brunengo.
SCoPE - Stato dei Lavori
Resoconto delle attività del Gruppo di Lavoro DR
Cms.
Status Report Gruppo Storage CCR CCR 14-15/03/2006.
SICR 6 Settembre 2012.
Integrazione tier3 in Grid Paolo Veronesi, Luciano Gaido
The art of differences The art of differences
Agenda 9 Maggio 10 Maggio Riunione Plenaria
Comput-ER l'infrastruttura di calcolo distribuito in Emilia Romagna
OR 7 - STUDIO DI METODOLOGIE E STRUMENTI PER LA TRASFORMAZIONE DEI SERVIZI APPLICATIVI, BASATI SULLE COMPONENTI FORNITE DALLA PAAS Stato avanzamento /
l’organizzazione di IGI
Attività su middleware Grid e sua evoluzione
2009 LHC Run Computing Gianpaolo Carlino INFN Napoli Highlights from:
Nuovo sito della Commissione Calcolo e Reti
2009 LHC Run Computing Gianpaolo Carlino INFN Napoli Highlights from:
Referaggio sigla CALCOLO
Attivita’ e compiti del Servizio Impianti Calcolo e Reti
PRIN Roma1 – status Luciano Barone, Alessandro De Salvo
Pisa.
Sicurezza e Grid Computing
Introduzione alla sessione sull’analisi per gli esperimenti LHC
Lamberto Luminari CSN Maggio 2005
INFN Il calcolo scientifico presso la sede INFN di Padova e di Legnaro
Riunione della Commissione Calcolo e Reti – Torino, 3-4 aprile 2017
Le strategie per l’analisi Workshop CCR e INFN-GRID 2009
Nuove funzionalità e futura implementazione nella Sezione di Trieste
Attvità Computing – Inverno 08/09
Referaggio Calcolo ATLAS
Tier2 Milano Gli acquisti di fine 2008 saranno installati in 10 giorni circa Nuovo Storage Element vicino a commissioning No RFIO, cache, GPFS based, usato.
Responsabilita’ INFN in Atlas
Agenda CE IGI
Luciano Gaido (INFN - Torino) Workshop CCR/INFNGRID – Palau
INFN Il calcolo scientifico presso la sede INFN di Padova e di Legnaro
ATLAS PRIN Next Steps Alessandro De Salvo
Calcolo “locale” ATLAS-Mi
Agriregionieuropa Corso E-learning sulla Valutazione dello Sviluppo Rurale della Rete Rurale Nazionale (E-VALPROG) Destinatari Obiettivi Funzionari e.
Stato Computing ATLAS Gianpaolo Carlino INFN Napoli
Gianpaolo Carlino (coord)
ATLAS: il calcolo Alessandro De Salvo
ATLAS Italia Milano 17/11/2009 L. Rossi
Attivita’ passata e futura CCR 29 settemre 2008
La richiesta si basa sulle seguenti considerazioni:
STATO DEL PROTOTIPO DI SCoPE E DELL’INTEGRAZIONE TRA I 4 PON
ATLAS PRIN Roma1 - status Alessandro De Salvo
Il protocollo informatico e il Manuale di Gestione
Transcript della presentazione:

Il Computing di ATLAS III – La Federazione dei Tier-2 La Federazione dei Tier-2 La Federazione dei Tier-2 Analisi nei Tier-2 italiani Analisi nei Tier-2 italiani Gianpaolo Carlino Referaggio Computing LHC CNAF, 17/18 Gennaio 2008

G. Carlino: Il Computing di ATLAS III – La Federazione dei Tier-2 CNAF, 17/18 Gennaio Organizza la partecipazione INFN alle attività di servizio del computing di ATLAS con lo scopo di ottimizzare le risorse disponibili nel Tier-1 e nei Tier-2 e fornire supporto all’analisi in Italia. Rappresenta la comunità computing ATLAS Italia verso WLCG (CB) e verso ATLAS per le attività di servizio Responsabile della Federazione Responsabile della Federazione Gianpaolo Carlino dal 2008, in sostituzione di Laura Perini dal 2006 Gianpaolo Carlino dal 2008, in sostituzione di Laura Perini dal 2006 Deputies Deputies Laura Perini: in qualità di responsabile uscente Laura Perini: in qualità di responsabile uscente Alessandro De Salvo: technical coordinator Alessandro De Salvo: technical coordinator …..: collegamento con l’Atlas Distributed Computing (ADC) group …..: collegamento con l’Atlas Distributed Computing (ADC) group Tier-2: Tier-2: Milano: Milano: Responsabile: Laura Perini Responsabile: Laura Perini Responsabile operativo: Attilio Andreazza Responsabile operativo: Attilio Andreazza Napoli: Napoli: Responsabile: Gianpaolo Carlino Responsabile: Gianpaolo Carlino Responsabile operativo: Alessandra Doria Responsabile operativo: Alessandra Doria Roma 1: Roma 1: Responsabile: Lamberto Luminari Responsabile: Lamberto Luminari Responsabile operativo: Alessandro De Salvo Responsabile operativo: Alessandro De Salvo Frascati (proto Tier-2): Frascati (proto Tier-2): Responsabile: Mary Censa Ferrer Responsabile: Mary Censa Ferrer Resposabile Operativo: Elisabetta Vilucchi Resposabile Operativo: Elisabetta Vilucchi La Federazione Italiana dei Tier-2

G. Carlino: Il Computing di ATLAS III – La Federazione dei Tier-2 CNAF, 17/18 Gennaio Attività della Federazione  Gestione dei Tier-2  Attività primaria nel Production System Le attività di produzione sono seguite da un gruppo ATLAS con molti shifters INFN e la sottomissione jobs via Lexor (executor EGEE) e’ curata da un gruppo INFN che monitora strettamente il funzionamento al CNAF Le attività di produzione sono seguite da un gruppo ATLAS con molti shifters INFN e la sottomissione jobs via Lexor (executor EGEE) e’ curata da un gruppo INFN che monitora strettamente il funzionamento al CNAF  Attività di Data Management in particolare per quando riguarda il monitoring del funzionamento (ATLAS dashboard ma non solo) e il debugging che permette di individuare quale componente del sistema genera problemi e di allertare gli esperti specifici al CNAF se occorre in particolare per quando riguarda il monitoring del funzionamento (ATLAS dashboard ma non solo) e il debugging che permette di individuare quale componente del sistema genera problemi e di allertare gli esperti specifici al CNAF se occorre  Qui è cruciale il ruolo delle persone INFN al CERN (LCG-INFN fellows e staff ) per individuare quali difficoltà vengono dal sw o dalle procedure di ATLAS globale e quali sono invece locali e garantire una rapida correzione anche dal lato ATLAS gestione e controllo delle sottoscrizioni dei dati in italia gestione e controllo delle sottoscrizioni dei dati in italia  Attività di analisi distribuita Test e utilizzo di Ganga di primaria rilevanza. Sempre maggiore diffusione nei siti Test e utilizzo di Ganga di primaria rilevanza. Sempre maggiore diffusione nei siti Struttura in costruzione Struttura in costruzione  Attività primaria nella distribuzione e, recentemente, nel benchmarking del software di Atlas

G. Carlino: Il Computing di ATLAS III – La Federazione dei Tier-2 CNAF, 17/18 Gennaio Struttura operativa al Tier-1 e al CERN  La struttura operativa di ATLAS al Tier-1 è integrata strettamente da un lato con quella del Tier-1 e dall’altro con quella della Federazione Claudia Ciocca e’ da maggio 2007 A/R per ATLAS al CNAF, stabilmente al CNAF Claudia Ciocca e’ da maggio 2007 A/R per ATLAS al CNAF, stabilmente al CNAF ha la responsabilità del Data Management della Federazione (ex-Guido Negri) ha la responsabilità del Data Management della Federazione (ex-Guido Negri) Lorenzo Rinaldi nuovo A/R dal 2008 Lorenzo Rinaldi nuovo A/R dal 2008 ATLAS richiede un “contatto” per ogni Tier-1 a cui rivolgersi ATLAS richiede un “contatto” per ogni Tier-1 a cui rivolgersi Per il CNAF questo contatto e’ costituito da un gruppo di persone che assicurano la copertura dei differenti aspetti necessari Per il CNAF questo contatto e’ costituito da un gruppo di persone che assicurano la copertura dei differenti aspetti necessari Luca Dell’Agnello, Claudia, il responsabile italiano calcolo, il suo deputy-federazione (L. Perini), il link con ATLAS ADC (S. Campana) Luca Dell’Agnello, Claudia, il responsabile italiano calcolo, il suo deputy-federazione (L. Perini), il link con ATLAS ADC (S. Campana)  Struttura al CERN costituita da LCG-INFN fellows e staff Simone Campana con il ruolo di Tier1-2 coordinator in ADC Simone Campana con il ruolo di Tier1-2 coordinator in ADC Alessandro Di Girolamo Alessandro Di Girolamo Guido Negri dal Guido Negri dal

G. Carlino: Il Computing di ATLAS III – La Federazione dei Tier-2 CNAF, 17/18 Gennaio Organigramma ATLAS Computing

G. Carlino: Il Computing di ATLAS III – La Federazione dei Tier-2 CNAF, 17/18 Gennaio Tier-2 e loro utenti Supporto della Federazione ai gruppi ATLAS Italia  Supporto locale: svolto da ciascun Tier-2 per gli utenti che fanno riferimento ad esso (sia locali che remoti) gli esempi qui sono presi da Milano, ma la situazione è simile negli altri siti Twiki con documentazione e istruzioni ( es. ) Twiki con documentazione e istruzioni ( es. ) Mailing lists di esperti per la risoluzione dei problemi, tipicamente prima risposta in tempi brevi ( 1 ora o meno..) Mailing lists di esperti per la risoluzione dei problemi, tipicamente prima risposta in tempi brevi ( 1 ora o meno..) Riunioni degli utenti (tipicamente bimestrali) Riunioni degli utenti (tipicamente bimestrali)  Supporto globale: parte importante del supporto deve essere l’informazione di base sul funzionamento di grid in Italia, dei siti ATLAS in Italia e del Tier2 di riferimento Alcuni tutorials già organizzati in questo spirito e altri in previsione, gli ultimi: Alcuni tutorials già organizzati in questo spirito e altri in previsione, gli ultimi: Scuola grid al CNAF a fine Novembre con > 15 partecip. ATLAS Scuola grid al CNAF a fine Novembre con > 15 partecip. ATLAS Tutorial sul monitoring del Tier-2 da parte dei suoi utenti per ora sperimentato a Milano in dicembre 2007, ottima partecipazione e gradimento Tutorial sul monitoring del Tier-2 da parte dei suoi utenti per ora sperimentato a Milano in dicembre 2007, ottima partecipazione e gradimento Analisi distribuita per tutto ATLAS-Italia a Milano febbraio scorso a Roma3 il prossimo Febbraio Analisi distribuita per tutto ATLAS-Italia a Milano febbraio scorso a Roma3 il prossimo Febbraio

G. Carlino: Il Computing di ATLAS III – La Federazione dei Tier-2 CNAF, 17/18 Gennaio Supporto dei gruppi ATLAS Italia alla Federazione Supporto dei gruppi ATLAS Italia alla Federazione  Rafforzamento del legame tra la Federazione dei Tier-2 e i vari gruppi in quanto l’attività di computing è trasversale e il buon funzionamento dell’intera struttura è nell’interesse di tutti Aumentare la collaborazione del personale “non Tier-2” nella gestione delle operazioni di computing e dei siti Aumentare la collaborazione del personale “non Tier-2” nella gestione delle operazioni di computing e dei siti per attività di computing per attività di computing per attività più strettamente connesse all’analisi per attività più strettamente connesse all’analisi analisi distribuitaanalisi distribuita distrubuzione dei datidistrubuzione dei dati Definizione di una lista di rappresentanti locali Definizione di una lista di rappresentanti locali persone interessate e sufficientemente competenti di computing persone interessate e sufficientemente competenti di computing rappresentano e coordinano le attività di computing nei gruppi rappresentano e coordinano le attività di computing nei gruppi Tier-2 e loro utenti

G. Carlino: Il Computing di ATLAS III – La Federazione dei Tier-2 CNAF, 17/18 Gennaio Analisi nei Tier-2 1.I Tier-1 e i Tier-2 di ATLAS sono risorse comuni disponibili per l’intera collaborazione 2.Il Computing Model prevede che le risorse dei Tier-2 siano dedicate al 50% per la simulazione e al 50% per l’analisi Bisogna trovare un modo per garantire l’uso delle risorse dei Tier-2 italiani alla comunità italiana impedendo che le attività centrali di ATLAS o gli utenti non italiani le usino in maniera predominante 1. Creazione di un gruppo atlas/it a livello di VO 2. Job Priority Mechanism: definizione di quote dedicate per le varie attività (p.es. produzione 50% e analisi 50%) e i vari gruppi (atlas e atlas/it) definizione di quote dedicate per le varie attività (p.es. produzione 50% e analisi 50%) e i vari gruppi (atlas e atlas/it) 3. Fair-Share Mechanism per ottimizzare l’uso delle risorse bilanciamento temporale dell’uso delle risorse per impedire che rimangano inutilizzate quando non viene utilizzata completamente la quota dedicata ad una precisa attività o a un gruppo bilanciamento temporale dell’uso delle risorse per impedire che rimangano inutilizzate quando non viene utilizzata completamente la quota dedicata ad una precisa attività o a un gruppo già in uso a Milano già in uso a Milano

G. Carlino: Il Computing di ATLAS III – La Federazione dei Tier-2 CNAF, 17/18 Gennaio Analisi nei Tier-2 Aspetto Politico: OK Aspetto Politico: OK purché non venga (potenzialmente) limitato in maniera eccessiva l’utilizzo dei Tier-2 agli utenti di atlas non italiani purché non venga (potenzialmente) limitato in maniera eccessiva l’utilizzo dei Tier-2 agli utenti di atlas non italiani altre nazioni adottano già soluzioni di questo tipo altre nazioni adottano già soluzioni di questo tipo Aspetto Tecnico: OK Aspetto Tecnico: OK soluzione già prevista a livello di VO. Deve essere implementata soluzione già prevista a livello di VO. Deve essere implementata mapping delle credenziali VOMS dei gruppi/ruoli con quelle locali degli scheduler mapping delle credenziali VOMS dei gruppi/ruoli con quelle locali degli scheduler associazione delle quote a queste credenziali associazione delle quote a queste credenziali però richiede un lavoro non banale di riconfigurazione dei sistemi di sottomissione dei job nei siti In corso di implementazione L’ipotesi è di dedicare inizialmente il 30% delle risorse di calcolo dei Tier-2 per l’attività degli utenti italiani. Monitoraggio accurato nel 2008 per verificare che questa quota soddisfi le necessità della comunità.

G. Carlino: Il Computing di ATLAS III – La Federazione dei Tier-2 CNAF, 17/18 Gennaio Personale attivo nella Federazione Frascati: Mary Censa Ferrer (responsabile Tier2) Mary Censa Ferrer (responsabile Tier2) Elisabetta Vilucchi (gestione del Tier2, ADC shifter, DB calibrazione) Elisabetta Vilucchi (gestione del Tier2, ADC shifter, DB calibrazione) Wen Mei (ADC senior shifter, DDM) Wen Mei (ADC senior shifter, DDM) Agnese Martini (produzione: shifter) Agnese Martini (produzione: shifter) Claudio Soprano (amministratore Tier-2) Claudio Soprano (amministratore Tier-2) Milano: Laura Perini (responsabile Tier2) Laura Perini (responsabile Tier2) Attilio Andreazza ( vice-responsab Tier2) Attilio Andreazza ( vice-responsab Tier2) Silvia Resconi (produzione e ADC senior shifter, analisi distributa) Silvia Resconi (produzione e ADC senior shifter, analisi distributa) Guido Negri (produzione e ADC senior shifter, responsabile GGUS) Guido Negri (produzione e ADC senior shifter, responsabile GGUS) David Rebatto (produzione: sviluppatore Lexor e sottomissione) David Rebatto (produzione: sviluppatore Lexor e sottomissione) Luca Vaccarossa (gestione del Tier2) Luca Vaccarossa (gestione del Tier2) Elisabetta Molinari (experimental services WMS per la produzione) Elisabetta Molinari (experimental services WMS per la produzione) Leonardo Carminati (analisi distribuita) Leonardo Carminati (analisi distribuita) Tommaso Lari (analisi distribuita) Tommaso Lari (analisi distribuita) Napoli: Gianpaolo Carlino (responsabile Tier2) Gianpaolo Carlino (responsabile Tier2) Alessandra Doria (responsabile operativo Tier2, ADC senior shifter, monitoring) Alessandra Doria (responsabile operativo Tier2, ADC senior shifter, monitoring) Leonardo Merola (coordinamento Tier2 nel PON SCoPE) Leonardo Merola (coordinamento Tier2 nel PON SCoPE) Michela Biglietti (analisi distribuita) Michela Biglietti (analisi distribuita) Francesco Conventi (analisi distribuita) Francesco Conventi (analisi distribuita) Elisa Musto (ADC shifter, installazione software dal 2008) Elisa Musto (ADC shifter, installazione software dal 2008) Sergio Ricciardi (monitoring e infrastruttura rete) Sergio Ricciardi (monitoring e infrastruttura rete) Roma I: Lamberto Luminari (responsabile Tier2) Lamberto Luminari (responsabile Tier2) Alessandro De Salvo (responsabile op. Tier2; VO manager; installazione e validazione sw) Alessandro De Salvo (responsabile op. Tier2; VO manager; installazione e validazione sw) Alex Barchiesi (gestione Tier2) Alex Barchiesi (gestione Tier2) Daniela Anzellotti (gestione Tier2 e amministratore DB calibrazione) Daniela Anzellotti (gestione Tier2 e amministratore DB calibrazione) Stefano Giagu (analisi distribuita) Stefano Giagu (analisi distribuita) Stafano Rosati (analisi distribuita) Stafano Rosati (analisi distribuita) Elena Solfaroli (analisi distribuita) Elena Solfaroli (analisi distribuita) CERN: Simone Campana (ATLAS Tier1-Tier2 coordinator) Simone Campana (ATLAS Tier1-Tier2 coordinator) Alessandro Di Girolamo (DDM operations e monitoraggio storage cloud italiana, SAM test) Alessandro Di Girolamo (DDM operations e monitoraggio storage cloud italiana, SAM test) CNAF: Claudia Ciocca (DDM Italian Cloud Manager) Claudia Ciocca (DDM Italian Cloud Manager) Lorenzo Rinaldi (dal 2008, DDM) Lorenzo Rinaldi (dal 2008, DDM) Bologna: Franco Brasolin (SIT, dal 2008) Franco Brasolin (SIT, dal 2008) Roma III: Fulvio Galeazzi (Tier-3 task force) Fulvio Galeazzi (Tier-3 task force)