Domenico Elia1Riunione PRIN STOA-LHC / Bologna 18.6.2014 Attività per ALICE: sommario e prospettive Domenico Elia Riunione PRIN STOA-LHC Bologna, 18 Giugno.

Presentazione sul tema: "Domenico Elia1Riunione PRIN STOA-LHC / Bologna 18.6.2014 Attività per ALICE: sommario e prospettive Domenico Elia Riunione PRIN STOA-LHC Bologna, 18 Giugno."— Transcript della presentazione:

1 Domenico Elia1Riunione PRIN STOA-LHC / Bologna 18.6.2014 Attività per ALICE: sommario e prospettive Domenico Elia Riunione PRIN STOA-LHC Bologna, 18 Giugno 2014

2 Domenico Elia2Riunione PRIN STOA-LHC / Bologna 18.6.2014 Sommario attività ALICE  Attività in corso:  deployment prototipi VAF:  adesso anche a TS, BA e LNL (e prossima a CA)  interesse anche da CT (già nel loop)  ottimi progressi dopo hands-on di Marzo al CERN (ancora 3 e 4 Luglio)  supporto da parte di TO e “CERN” (D. Berzano)  sviluppi Virtual Storage Element  accounting/monitoring  esperienza con tenant non-PROOF  Piani:  test di performance di VAF e accesso locale ai dati  test e misure di accesso remoto  federazione di VAF e/o storage

3 Domenico Elia3Riunione PRIN STOA-LHC / Bologna 18.6.2014 Obiettivi comuni ALICE Ottimizzazione dell'ambiente di analisi in interattivo: Studio di infrastrutture di analisi interattive espandibili con tecniche di virtualizzazione integrate in soluzioni di tipo cloud computing –Installazione e messa in opera di infrastrutture di analisi espandibili OpenNebula (TO) OpenStack (BA, LNL, TS) Wnodes (CA) Sviluppo di sensori e politiche per abilitare la condivisione e la cessione automatica delle risorse virtuali, minimizzando l'intervento dell'amministratore di sistema Studio e ottimizzazione dell'accesso ai dati nell'analisi interattiva: Studio di una cache dinamica locale integrata nei file system parallelli esistenti o negli SE Sviluppo di un modello per l’accesso ai dati delle infrastrutture di analisi interattive espandibili (VSE) evitando duplicazioni di dati e risorse dedicate per analisi interattive (uso dello SE) Studio di una federazione nazionale: Sviluppo di un modello dati federativo nazionale e verifica della velocità e dell'affidabilità di un sistema xrootd a namespace unico nazionale Sviluppo in cooperazione con altri centri di calcolo delle specifiche di un cluster interattivo federato a livello nazionale: –“multi-master” –“PROOF on Demand” –“interoperabilità’ tra cloud”

4 Domenico Elia4Riunione PRIN STOA-LHC / Bologna 18.6.2014 Backup

5 Domenico Elia5Riunione PRIN STOA-LHC / Bologna 18.6.2014 Torino Milestones: 1. Nel primo si metterà in opera un'infrastruttura espandibile da subito utilizzabile dalla comunità scientifica 2. Nel secondo anno si svilupperanno soluzioni che rendano il più possibile automatico il bilanciamento delle risorse virtuali 3. Nel terzo anno il centro di calcolo verrà inserito in una realtà federativa nazionale per l'analisi interattiva nei grandi esperimenti Nel dettaglio, la scansione temporale che si intende seguire, con i relativi obiettivi proposti, è: 1. Installazione dello storage di primo livello condiviso GlusterFS con interfaccia xrootd. Test di velocità per l'accesso ai dati sia attraverso GlusterFS che attraverso xrootd, sia locale che da siti remoti 2. Conversione graduale delle risorse fisiche esistenti in hypervisor. Gli hypervisor saranno gestiti da OpenNebula e i loro dischi saranno già pensati come parte del cache storage di secondo livello 3. Preparazione delle macchine virtuali Grid e PROOF: al termine di questa fase l'infrastruttura sarà già operativa e fruibile dagli utenti, mentre gli amministratori di sistema potranno già decidere facilmente la “dimensione” dei cluster virtuali Grid e PROOF 4. Sviluppo di sensori e politiche per abilitare la condivisione e la cessione automatica delle risorse virtuali, minimizzando l'intervento dell'amministratore di sistema 5. Sviluppo in cooperazione con altri centri di calcolo delle specifiche di un cluster interattivo federato a livello nazionale tramite un approccio “multi-master” e /o un approccio “PROOF on Demand” 6. Sviluppo di un modello dati federativo nazionale: verifica della velocità e dell'affidabilità di un sistema xrootd a namespace unico nazionale, con un catalogo dei file completamente distribuito, eventualmente attraverso la tecnologia del “Global Redirector”

6 Domenico Elia6Riunione PRIN STOA-LHC / Bologna 18.6.2014 Trieste Milestones: Primo anno 1)Installazione di una infrastruttura di analisi interattiva di tipo statico 2)Test delle richieste di risorse da parte dei vari use case per l'analisi interattiva 3)Test della possibilita' di utilizzo dell'accesso remoto ai dati Secondo anno 1)Ottimizzazione delle risorse di calcolo con tecniche di virtualizzazione integrate in soluzioni di tipo cloud computing (replica nell'unita' di ricerca di Trieste il prototipo sviluppato a Torino, integrandolo nel cluster di calcolo gia' presente a Trieste). 2)Studio della scalabilita' degli strumenti che permettono un accesso contemporaneo da piu' nodi ai dati contenuti nei dischi del cluster locale ad elevata performance collegati ad interfacce standard, come XROOTD Terzo anno 1)Studio della possibilita' di federare i centri di analisi coinvolti nel progetto (Bari, Bologna, Cagliari INFN, Pisa, Roma, Torino) in modo da poter accedere i dati presenti in uno qualsiasi dei siti che ne facciano parte, evitando la duplicazione dei dati 2)Studio dell'accesso ai dati federati nell'analisi interattiva come la ripetitivita' e la breve durata di ciascun processo di analisi, il tempo necessario per accedere ai dati e la loro effettiva disponibilita' 3)Studio di una cache dinamica locale integrata nel file system parallelo esistente nel centro di calcolo dell'unita' di ricerca 4)Verifica della velocita' e dell'affidabilita' di un sistema a namespace unico nazionale 5)Sviluppo in cooperazione con altri centri di calcolo delle specifiche di un cluster interattivo federato a livello nazionale tramite un approccio "multi-master" e/o di un approccio "PROOF on Demand"

7 Domenico Elia7Riunione PRIN STOA-LHC / Bologna 18.6.2014 Cagliari Obiettivi principali: 1) realizzare un cluster wnodes compatibile per la fruibilità delle risorse per l'analisi interattiva in modo on demand per la anilisi dati in campo HEP. 2) realizzare un server di storage luste/zfs da utilizzare sia per ospitare i dati necessari alle analisi, sia come repository delle immagini della macchine virtuali. Ed infine federare le risorse destinate ad ospitare i cluster virtuali per l'analisi dati con altre unità operativo di questo progetto Milestones: Primo anno 1) Realizzare un cluster wnodes compatibile 2) Calibrare le politiche di accesso sul batch system locale per una efficace analisi dati 3) Realizzare un server storage zfs/lustre 4) Test di velocità di accesso sia in modalità locale sia con xrootd Secondo anno 1) Preparazione delle macchine virtuali da destinare all'analisi interattiva 2) Test di utilizzo dei cluster su wnodes per da parte di uno/due utenti ALICE dell'unita' di ricerca Terzo anno 1) Federare le risorse destinate ad ospitare i cluster virtuali per l'analisi dati con altre unità operativo di questo progetto

8 Domenico Elia8Riunione PRIN STOA-LHC / Bologna 18.6.2014 INFN-LNL 1)Accesso da remoto ai dati dell'esperimento 2)Ottimizzazione dell'ambiente di analisi in interattivo: –Per l'esperimento ALICE, la sub unita' di Legnaro adottera' una facility di analisi basata su PROOF con una condivisione delle risorse dinamica dei nodi di calcolo in GRID e con l'accesso remoto ai dati memorizzati negli altri Tier2 di ALICE italiani. 3)Ottimizzazione della distribuzione del software di esperimento nei siti 4)Gestione dei dati a livello nazionale Obiettivi principali: