INFN-BOLOGNA-T3 L. Rinaldi I siti Tier-3 nel modello di calcolo di Atlas Configurazione del sito INFN-BOLOGNA-T3 Attività di Analisi e Produzione Attività.

Presentazione sul tema: "INFN-BOLOGNA-T3 L. Rinaldi I siti Tier-3 nel modello di calcolo di Atlas Configurazione del sito INFN-BOLOGNA-T3 Attività di Analisi e Produzione Attività."— Transcript della presentazione:

1 INFN-BOLOGNA-T3 L. Rinaldi I siti Tier-3 nel modello di calcolo di Atlas Configurazione del sito INFN-BOLOGNA-T3 Attività di Analisi e Produzione Attività di Ricerca Tecnologica Richieste e supporto I siti Tier-3 nel modello di calcolo di Atlas Configurazione del sito INFN-BOLOGNA-T3 Attività di Analisi e Produzione Attività di Ricerca Tecnologica Richieste e supporto Light explosion in datacenter By P. Ricci

2 Tier-2 18/11/2011INFN-BOLOGNA-T3 L. Rinaldi2 I siti Tier-3 nel modello di calcolo di Atlas Tier-0 Tier-1 Tier-2 Tier-2D Tier-2 Tier-1 Tier-3 Cloud T0  T1 Dati primari (RAW, ESD, AOD) T0  T2 Calibration stream Trasferimenti tra le cloud Tier1  Tier1: Dati riprocessati (ESD, AOD, dESD per l’analisi) Tier 1/2  Tier2/3: Output analisi utente su storage area locale Trasferimenti nella cloud Tier1  Tier2: distribuzione nei Tier2 dei dati per l’analisi e cancellazione dal Tier1 Tier1  Tier2/3: simulazioni Monte Carlo Tier1/2  Tier2/3: Output analisi utente su storage area locale T0  T1 Dati primari (RAW, ESD, AOD) T0  T2 Calibration stream Trasferimenti tra le cloud Tier1  Tier1: Dati riprocessati (ESD, AOD, dESD per l’analisi) Tier 1/2  Tier2/3: Output analisi utente su storage area locale Trasferimenti nella cloud Tier1  Tier2: distribuzione nei Tier2 dei dati per l’analisi e cancellazione dal Tier1 Tier1  Tier2/3: simulazioni Monte Carlo Tier1/2  Tier2/3: Output analisi utente su storage area locale

3 18/11/2011INFN-BOLOGNA-T3 L. Rinaldi3 I siti Tier-3 nel modello di calcolo di Atlas Tier-0 (CERN)‏ Archivio dei RAW data ricevuti dal detector e distribuzione ai Tier1 Prompt Reconstruction delle calibration e express streams e dei physics streams Distribuzione output ricostruzione (ESD, AOD,TAG) ai Tier-1 Tier-0 (CERN)‏ Archivio dei RAW data ricevuti dal detector e distribuzione ai Tier1 Prompt Reconstruction delle calibration e express streams e dei physics streams Distribuzione output ricostruzione (ESD, AOD,TAG) ai Tier-1 Tier-2 Simulazione Monte Carlo Archivio di una frazione di AOD e TAG data Archivio dati utenti Analisi utente e di gruppo e sviluppo di codice Calibrazione e allineamento per sub-detectors di interesse locale Tier-2 Simulazione Monte Carlo Archivio di una frazione di AOD e TAG data Archivio dati utenti Analisi utente e di gruppo e sviluppo di codice Calibrazione e allineamento per sub-detectors di interesse locale Tier-3 Analisi locale e sviluppo di codice Archivio dati utenti (produzione e simulazione) Tier-3 Analisi locale e sviluppo di codice Archivio dati utenti (produzione e simulazione) Tier-1 Accesso a lungo termine e archivio su tape di un subset di RAW data Copia dei RAW data di un altro Tier-1 Reprocessing della ricostruzione dei propri RAW data con parametri di calibrazioni e allineamenti finali e distribuzione AOD ai Tier-2 Archivio su disco di tutti gli AOD e TAG data e di una frazione di ESD data Archivio dati simulati prodotti nei Tier-2 Simulazione Monte Carlo Analisi di gruppo Tier-1 Accesso a lungo termine e archivio su tape di un subset di RAW data Copia dei RAW data di un altro Tier-1 Reprocessing della ricostruzione dei propri RAW data con parametri di calibrazioni e allineamenti finali e distribuzione AOD ai Tier-2 Archivio su disco di tutti gli AOD e TAG data e di una frazione di ESD data Archivio dati simulati prodotti nei Tier-2 Simulazione Monte Carlo Analisi di gruppo

4 18/11/2011INFN-BOLOGNA-T3 L. Rinaldi4 Configurazione del sito INFN-BOLOGNA-T3 Sito co-locato al Tier1 del CNAF Stessa infrastruttura (elettricità, cooling, … ) Stessa rete (connessione esterna 20Gb) Sito utilizzato da Atlas, CMS e LHCb condivisione di Computing Element, Storage Element, servizi grid Storage partizionato per esperimento, Worker Nodes condivisi Storage: 150 TB su sistema StoRM/GPFS File System Farm: 39 Worker Nodes 8-core di ultima generazione con batch system LSF Sito co-locato al Tier1 del CNAF Stessa infrastruttura (elettricità, cooling, … ) Stessa rete (connessione esterna 20Gb) Sito utilizzato da Atlas, CMS e LHCb condivisione di Computing Element, Storage Element, servizi grid Storage partizionato per esperimento, Worker Nodes condivisi Storage: 150 TB su sistema StoRM/GPFS File System Farm: 39 Worker Nodes 8-core di ultima generazione con batch system LSF

5 18/11/2011INFN-BOLOGNA-T3 L. Rinaldi5 Attività di produzione e analisi (GRID) Status delle code di analisi dei T3 italiani Code testate con software HammerCloud (invio costante di jobs di tipo analisi) La coda viene esclusa automaticamente se ci sono 3 fallimenti consecutivi in un’ora Monitor costante. In caso di problemi, vengono inviate alert-email Status delle code di analisi dei T3 italiani Code testate con software HammerCloud (invio costante di jobs di tipo analisi) La coda viene esclusa automaticamente se ci sono 3 fallimenti consecutivi in un’ora Monitor costante. In caso di problemi, vengono inviate alert-email Atlas SiteStatusBoard

6 18/11/2011INFN-BOLOGNA-T3 L. Rinaldi6 Attività di produzione e analisi (GRID) WCT (K sec) Da Ottobre: modifica share 30-70 tra produzione e analisi Da Ottobre: modifica share 30-70 tra produzione e analisi Mancano jobs local (bsub)!!

7 18/11/2011INFN-BOLOGNA-T3 L. Rinaldi7 Attività di produzione e analisi (GRID) Share di utilizzo delle risorse (tempo di running dei jobs) fra i tier-3 della cloud italiana T3-BO è il più performante in Italia (media giugno-novembre) Share di utilizzo delle risorse (tempo di running dei jobs) fra i tier-3 della cloud italiana T3-BO è il più performante in Italia (media giugno-novembre) Share di tutti i siti della cloud italiana BO-T3 detiene il 3% (T1+T2s = 93%) Share di tutti i siti della cloud italiana BO-T3 detiene il 3% (T1+T2s = 93%)

8 18/11/2011INFN-BOLOGNA-T3 L. Rinaldi8 Traffico dati e utilizzo del disco Site ▾ Used(GB)Free(GB)Total(GB)% HOTDISK (DBReleases)4332865329813 LOCALGROUPDISK (permanent storage)3855126371649223 PRODDISK (output jobs production)13310862109951 SCRATCHDISK (output jobs analysis)133496611099512 TRAFFICO IN ENTRATA TRAFFICO IN USCITA Occupazione spazio disco

9 18/11/2011INFN-BOLOGNA-T3 L. Rinaldi9 Attività di analisi (LOCAL) Numero di jobs in locale (Include jobs CMS) Numero di jobs in locale (Include jobs CMS) Job eff. CPT/WCT e utilizzo delle risorse locali (WCT)

10 18/11/2011INFN-BOLOGNA-T3 L. Rinaldi10 Attività di Ricerca Tecnologica Abstract per conferenza CHEP2012: Exploiting the WNoDeS framework to support local communities at the CNAF Computing Center WNoDeS: piattaforma per instanziazione di macchine virtuali, sviluppato al CNAF Ottimizzazione e test con diverse modalità di accesso ai dati da VM Sviluppo e test di applicazioni su WNoDeS Virtual Interactive Pool (VIP) interface (CMS) Test di PROOF-on-Demand su piattaforme WNoDeS (creazione dinamica di farm virtuali per applicazioni di calcolo parallelo ottimizzate per l’analisi dati) Abstract per conferenza CHEP2012: Exploiting the WNoDeS framework to support local communities at the CNAF Computing Center WNoDeS: piattaforma per instanziazione di macchine virtuali, sviluppato al CNAF Ottimizzazione e test con diverse modalità di accesso ai dati da VM Sviluppo e test di applicazioni su WNoDeS Virtual Interactive Pool (VIP) interface (CMS) Test di PROOF-on-Demand su piattaforme WNoDeS (creazione dinamica di farm virtuali per applicazioni di calcolo parallelo ottimizzate per l’analisi dati)

11 18/11/2011INFN-BOLOGNA-T3 L. Rinaldi11 Attività di Ricerca Tecnologica Test HammerCloud (standard analisi su MC) su due code con nodi reali e virtuali, Accesso ai dati senza copia sul nodo locale, file system montato sul nodo Macchine virtuali mediamente 10% meno performanti, in programma test per ridurre il gap Calo delle performance delle VM compensato da maggiore flessibilità nell’uso delle risorse (es. T1 + T3  maggior numero di VM a disposizione degli utenti) Test HammerCloud (standard analisi su MC) su due code con nodi reali e virtuali, Accesso ai dati senza copia sul nodo locale, file system montato sul nodo Macchine virtuali mediamente 10% meno performanti, in programma test per ridurre il gap Calo delle performance delle VM compensato da maggiore flessibilità nell’uso delle risorse (es. T1 + T3  maggior numero di VM a disposizione degli utenti) Macchine reali Macchine virtuali

12 18/11/2011INFN-BOLOGNA-T3 L. Rinaldi12 Richieste e Supporto Per richieste (installazioni) e segnalazioni di problemi sulle macchine Contattare grid-prod@bo.infn.itgrid-prod@bo.infn.it Per problemi specifici atlas/grid/panda/DQ2 Usare le liste atlas-bo-t3@lists.infn.it (locale)atlas-bo-t3@lists.infn.it atl-usercalc@lists.infn.it (atlas-IT)atl-usercalc@lists.infn.it Lavori in corso: o Priorità nelle code: riservate 4 slot per jobs interattivi (bsub) abilitazione del ruolo atlas/it (automatico quando si inizializza il proxy) incrementare priorità dei job “italiani” e limitazione sui jobs altri utenti o Monitoring (mancano le statistiche di utilizzo grid vs local e per singoli exp) o Migrazione progressiva ad ambiente virtuale (da concordare con CNAF e altri esperimenti) Grazie a tutti gli utenti per le continue interazioni, fondamentale per configurare il sito in base alle esigenze degli utenti Per richieste (installazioni) e segnalazioni di problemi sulle macchine Contattare grid-prod@bo.infn.itgrid-prod@bo.infn.it Per problemi specifici atlas/grid/panda/DQ2 Usare le liste atlas-bo-t3@lists.infn.it (locale)atlas-bo-t3@lists.infn.it atl-usercalc@lists.infn.it (atlas-IT)atl-usercalc@lists.infn.it Lavori in corso: o Priorità nelle code: riservate 4 slot per jobs interattivi (bsub) abilitazione del ruolo atlas/it (automatico quando si inizializza il proxy) incrementare priorità dei job “italiani” e limitazione sui jobs altri utenti o Monitoring (mancano le statistiche di utilizzo grid vs local e per singoli exp) o Migrazione progressiva ad ambiente virtuale (da concordare con CNAF e altri esperimenti) Grazie a tutti gli utenti per le continue interazioni, fondamentale per configurare il sito in base alle esigenze degli utenti

13 18/11/2011INFN-BOLOGNA-T3 L. Rinaldi13

14 18/11/2011INFN-BOLOGNA-T3 L. Rinaldi14 Back Up