PRIN «Calcolo LHC» Attività previste Finanziamenti Sinergie CCR12 Dicembre 2012L.Perini1.

Presentazione sul tema: "PRIN «Calcolo LHC» Attività previste Finanziamenti Sinergie CCR12 Dicembre 2012L.Perini1."— Transcript della presentazione:

1 PRIN «Calcolo LHC» Attività previste Finanziamenti Sinergie CCR12 Dicembre 2012L.Perini1

2 Prin “Calcolo LHC” Il PRIN ha molta sinergia con le attività WLCG –“Sviluppo di tecnologie per l'ottimizzazione dell'accesso ai dati di LHC, trasferibili ad altri domini scientifici, mediante l'approccio del grid e del cloud computing” –12 sedi inclusa una unità INFN (responsabile G. Maron, per CNAF, LNF, LNL, Pisa), tutti Tier2 in (ALICE, ATLAS, CMS), Tier3: BO (atlas e CMS), GE( ATLAS), PG(CMS), TS(ALICE, CMS) –P.I. L. Perini MIUR vede questi PRIN come preparazione Horizon2020 Fondi attesi per 3-feb-12, data di inizio ufficiale CCR12 Dicembre 2012L.Perini2

3 CCR12 Dicembre 2012L.Perini3

4 CCR12 Dicembre 2012L.Perini4

5 Prin area 2 (fisica) Approvati 14 PRIN per un totale di 12765 kEuro di contributo MIUR –Noi riduzione da 1400 kE a 886 kE (il costo complessivo era 2 M, ma include il costo mesi persone che e’ il contributo figurativo di Atenei/INFN) CCR12 Dicembre 2012L.Perini5

6 CCR12 Dicembre 2012L.Perini6 ºSede dell'UnitàResponsabile Scientifico Finanziamento assegnato Costo ritenuto congruo (= contributo / 0.7) 1. Università degli Studi di CATANIA BARBERA Roberto 72.800 104.000 2. Università degli Studi di GENOVA BARBERIS Dario 62.950 89.929 3. Università degli Studi di ROMA "La Sapienza" BARONE Luciano Maria 72.800 104.000 4. Università degli Studi di CAGLIARI DE FALCO Alessandro 62.950 89.929 5. Università degli Studi di TRIESTE DELLA RICCA Giuseppe 72.800 104.000 6. Politecnico di BARI MAGGI Giorgio Pietro 72.800 104.000 7. Istituto Nazionale di Fisica Nucleare MARON Gaetano 114.800 164.000 8. Università degli Studi di TORINO MASERA Massimo 72.800 104.000 9. Università degli Studi di NAPOLI "Federico II" MEROLA Leonardo 72.800 104.000 10. Università degli Studi di MILANO PERINI Laura 72.800 104.000 11. Università degli Studi di PERUGIA SANTOCCHIA Attilio 62.693 89.561 12. Università degli Studi di BOLOGNA ZOCCOLI Antonio 72.800 104.000 Totale 885.793 1.265.419

7 Abstract - 1 Questo progetto ha lo scopo di ottimizzare l'accesso ai dati degli esperimenti a LHC nei vari centri che fanno parte della Grid italiana. –Il progetto studierà e ottimizzerà sia la distribuzione dei dati sia i metodi di accesso remoto ai dati mediante protocolli dedicati (GPFS, Lustre; Hadoop, xrootd, http). –A questo scopo faremo anche una sperimentazione con le necessarie reti “private” a livello nazionale e internazionale (LHCONE). CCR12 Dicembre 2012L.Perini7

8 Abstract - 2 Il progetto ha anche lo scopo di rendere possibile un'efficiente analisi interattiva: –da condursi attraverso una condivisione delle risorse utilizzate per le applicazioni Grid nei centri Tier-2, per esempio attraverso soluzioni quali PROOF-on-demand, implementando metodi per l'uso ottimale delle risorse di storage e dei dati disponibili in ciascun sito. –Le moderne tecnologie di virtualizzazione e di Cloud computing saranno usate e sviluppate per raggiungere questi scopi. CCR12 Dicembre 2012L.Perini8

9 Abstract - 3 Un ulteriore obiettivo importante di questo progetto è il trasferimento della tecnologia di calcolo sviluppata per gli esperimenti a LHC ad aree di fisica esterne a quella (HEP) –Aspiriamo in questo modo a creare delle comunità di utenti con servizi di calcolo uniformi non soltanto a livello nazionale, ma in generale europeo e anche mondiale, promuovendo e rafforzando le collaborazioni internazionali. In prospettiva, queste aggregazioni dovrebbero essere in grado di estendersi ad altre discipline oltre la fisica. CCR12 Dicembre 2012L.Perini9

10 Partner Associati La maggior parte delle Collaborazioni indicate dalle Unità di Ricerca in questo Progetto sono comuni e connesse alla partecipazione agli esperimenti LHC. Conseguentemente, la parte iniziale di questa sezione, incluse le lettere di supporto dei partner associati e il testo che le accompagna, è in larga parte comune tra le Unità. Le lettere sono state fornite dai seguenti partner associati: 1. CERN 2. PIC 3. CC-IN2P3 4. EGI.eu 5. IGI CCR12 Dicembre 2012L.Perini10

11 Ruolo Associati Questi associati riceveranno le informazioni sui risultati intermedi che il Progetto avrà conseguito nei suoi tre anni di durata, e potranno decidere di diffondere ulteriormente le informazioni al livello nazionale e internazionale. Sulla base di queste informazioni essi, o alcuni dei Tier2 o NGI ad essi connessi, avranno l'opportunità di partecipare alle fase di test dei componenti sviluppati ed eventualmente stabilire accordi specifici in tal senso. L'impegno di questi partner associati è quindi quello di far parte di una rete di scambio di informazioni, aperta a una partecipazione più attiva su punti specifici di reciproco interesse. CCR12 Dicembre 2012L.Perini11

12 Es. unità: INFN Ottimizzazione dell'accesso ai dati degli esperimenti CMS e ALICE mediante costituzione di una federazione nazionale tra i centri di analisi dei due esperimenti. Ottimizzazione dell'analisi interattiva dei dati mediante lo sviluppo di un sistema di front-end con autenticazione che metta a disposizione degli utenti l'accesso alle funzioni della GRID e ai sistemi di storage e farming locali. CCR12 Dicembre 2012L.Perini12

13 Es. unità: INFN Realizzazione di un sistema di analisi interattiva (ALICE, ATLAS) per lanciare sulle macchine del pool sistemi avanzati di analisi in parallelo basati su PROOF, anche mediante meccanismi di gestione automatica degli slave di ROOT (PROOF on Demand, PoD).. Distribuzione del software di analisi nei vari centri mediante un sistema più flessibile basato sul file system distribuito CERNVM/FS e server SQUID di sito. Data Management per la Federazione Italiana mediante popolazione dello storage INFN con una compia completa degli AOD nei siti; questo richiedera' un'adeguata pianificazione e gestione dei trasferimenti dati, tenendo conto dello spazio nei siti e dei loro interessi di analisi. CCR12 Dicembre 2012L.Perini13

14 Es. Unità: Torino Sviluppo di un'infrastruttura interattiva di analisi basata su PROOF integrata nel sito WLCG. L'allocazione delle risorse per l'utilizzazione interattiva invece che attraverso lo scheduler batch PBS, con sottomissione via Grid, avverrà dinamicamente sulla base delle necessità grazie a una completa virtualizzazione delle risorse di calcolo, gestita con un cloud manager standard quale OpenNebula. La tecnologia di aggregazione e distribuzione dei dati sui vari dischi costituenti lo storage sarà una tecnologia “mainstream” come GlusterFS (http://www.gluster.org/ ), molto utilizzata in ambito cloud, mentre i dati saranno visibili all'esterno con un'interfacciastandard come xrootd indipendente dal livello sottostante. CCR12 Dicembre 2012L.Perini14

15 Es. Unità: Torino Questa infrastruttura di analisi farà parte di una federazione nazionale, in modo da evitare la duplicazione di dati, che potranno essere acceduti su WAN con strumenti quali xrootd e/o GlusterFS. L'infrastruttura cloud sottostante all'Analysis Facility di Torino sarà di uso generale: con lo scopo di verificarne la funzionalità e l'usabilità in ambiti diversi dalla Fisica delle Particelle, sono stati individuati alcuni use case nel campo della Fisica Medica da supportare fin dalle prime fasi. CCR12 Dicembre 2012L.Perini15

16 Modi e tempi - 1 L'organizzazione complessiva del lavoro prevede che tali obiettivi vengano perseguiti in larga autonomia dalle singole unità, e per questo sono state volutamente evitate strette dipendenze fra le attività di unità diverse. - PRIMO ANNO: Come linea generale, il progetto prevede che tutte le unità abbiano concluso la fase preliminare del lavoro entro il primo anno del progetto. Tale fase include: –i) installazione e test dei componenti tecnologici costitutivi delle soluzioni che si vogliono utilizzare; –ii) decisione su quali specifiche attività non-HEP si intendono esplorare per verificare la generalità delle soluzioni proposte e dimostrarne l'utilità per comunità diverse da HEP. CCR12 Dicembre 2012L.Perini16

17 Modi e tempi - 2 - SECONDO ANNO: Il secondo anno si focalizzerà sull'implementazione: entro la fine del secondo anno le soluzioni proposte dovranno essere state realizzate in modo che ne permette una significativa verifca e un eventuale utilizzo, senza però necessariamente essere implementate in produzione né estese alla totalità delle risorse di calcolo presenti nelle farm di livello Tier-2. Dovrà essere stata realizzata una documentazione esaustiva del set-up e dei risultati, che sia sufficientemente CCR12 Dicembre 2012L.Perini17

18 Modi e tempi - 3 chiara ed estesa da permettere alle collaborazioni nazionali e internazionali (inclusi gli esperimenti a LHC), o a siti specifici che ne fanno parte, di unirsi al Progetto nello sperimentare le soluzioni che sembrino più interessanti e di fornire a loro volta input significativi prima della conclusione del secondo anno del Progetto. - TERZO ANNO: Nel terzo anno del progetto si realizzerà uno studio comparativo delle soluzioni implementate e si deciderà l'estensione di almeno una parte significativa di esse alla totalità delle risorse dei Tier-2 interessati e l'inserimento conseguente nelle attività correnti degli esperimenti. Sempre nel terzo anno si dovrà verificare l'aumentato utilizzo delle installazioni da parte di comunità diverse da HEP. CCR12 Dicembre 2012L.Perini18

19 Organizzazione Promesso nel progetto inviato: –Teleconferenza mensile con documentazione stato lavori in corso nelle unità –Brevi riunioni di persona tendenzialmente semestrali –Workshop annuali di un paio di giorni Si potrebbe associare a workshop CCR? CCR12 Dicembre 2012L.Perini19

20 Stato Attuale Le attività sono proseguite dopo l’invio della domanda per il PRIN Abbiamo fatto una prima riunione informale a Roma a fine novembre –Per molte unità circa metà del lavoro previsto per il primo anno e’ stato già fatto Seguono alcune slides presentate da CMS e ATLAS alla riunione CCR12 Dicembre 2012L.Perini20

21 Ottimizzazione per analisi CMS/Italy sta lavorando all’ottimizzazione dei centri di calcolo per l’analisi da circa un annetto 2012: presentato un primo documento ai referees INFN Con ottimizzatione intendiamo un’attivita’ generica che possa essere realizzata sia in un T2 che in un T3 che al T1, e che renda piu’ facile l’analisi da parte degli utenti

22 Alcuni esempi Realizzazione di procedure di Login comune per tutta CMS Italia (per esempio, via AAI) Realizzare prototipi di configurazioni di sistemi batch per – UI on demand (via pool di macchine / share con WN) – Richiesta di sistemi multi core per ProofLite – Molti cores per Proof – Code locali ad alto throughput Caching intelligente via Xrootd come frontend di siti di analisi (anche multilayer)

23 Sviluppo Tools di analisi distribuita Il tool attuale di CMS (crab2) e’ di origine italiana, anche se nel frattempo I developer principali sono diventati CERN/IT-ES Crab3 e’ in preparazione, in due flavour – Crab3+WMAgent: utilizza il tool di CMS per la produzione distribuita e per il T0 – Crab3+Panda: utilizza le “Common Solutions” con Atlas Perugia ha investito molto in alcune componenti di Crab3, che si vogliono supportare sul PRIN Servono anche modifiche per analisi locali (per esempio interfacciamento diretto di WMA/Panda con il sistema batch locale, bypassando la GRID)

24 Cloud CMS e’ interessata all’aspetto Cloud per il secondo RUN di LHC Al momento soprattutto attivita’ di R&D sia su reti in-house (openstack, opennebula, …) sia commerciali (test su EC2, grosso lavoro su simulazioni di costi) In alcune sedi PRIN (CNAF, TO, RM1 per esempio), ci sono attivita’ su Cloud, che vorremmo veder applicate anche a CMS

25 Cloud Computing – Stato dell’arte  Integrazione con Panda praticamente completa  Parziale integrazione con le facility di analisi  Necessari vari test di performance, soprattutto con cloud non commerciali come Amazon  Servizi di base su cloud  Gruppo di lavoro INFN in fase di startup  Guidato anche da collaborazioni esterne per attività di trasferimento tecnologico  Data preservation  Non contemplato nelle attività originali del PRIN, ma tema interessante  Ben contestualizzabile con attività di cloud e virtualizzazione

26 EventIndex: Progetto nel PRIN  Studiare la possibilità di semplificare il TagDB di ATLAS trasformandolo in un indice degli eventi (EventIndex) con puntatori allo storage che contiene gli eventi in vari formati (da RAW a NTUP)  EventIndex è l'equivalente del catalogo di una biblioteca  Sostituzione del database in Oracle con storage strutturato (Hadoop)  Divisione delle tre categorie di dati nei Tag odierni:  Identificazione dell'evento e quantità immutabili (lumi block, trigger pattern)  Quantità dipendenti dalla ricostruzione (topologia, particelle, ecc.)  Puntatori ai files con gli eventi (GUID e offset interni)  Utilizzazione della tecnologia più appropriata per ogni categoria di dati  Sviluppo (o adattamento) dei servizi esterni: event counting, picking, skimming, consistency checks  Connessione a ProdSys e DDM per l'upload dei dati e la loro utilizzazione 26 Genov a

27 PoD per PBS e gLite-WMS  Dedicare alcune risorse di calcolo ad una farm da utilizzare per l'analisi con PROOF.  Sviluppare e perfezionare PoD, Proof on Demand, un insieme di tool pensati per interagire con un RMS locale o globale ed avviare i demoni di PROOF.  Test per provare i plugin di PoD per PBS e gLite- WMS, con i dati acceduti con protocollo XrootD:  Test di performance di accesso al disco  Job che legge circa 40% dell’evento  Test di latenza di startup 27 LNF Milano

28 LHCONE  Sviluppo di una nuova generazione di reti geografiche di comunicazione dati (overlay L2 network) denominata LHCONE (LHC Open Network Environment)  Configurazione dinamica degli apparati attivi (router o switch multilayer) che costituiscono la rete stessa  Realizzazione di servizi di Bandwidth on Demand (BOD)  Integrazione con il software di esperimento Napoli

29 LHCONE – Stato dell’arte  Attività già completate  Installazione e deployment dei servizi relativi al monitoring  Monitoraggio e raccolta dati baseline, nella configurazione corrente  Integrazione dei test relativi al Tier-2 di Napoli nella matrice di LHCONE  Riconfigurazione accesso GARR a 10Gbps  Implementazione della fault tolerance sull’accesso GARR  Integrazione con il sistema di configurazione distribuita di Perfsonar (nuova attività)  Monitoraggio e raccolta dati baseline della nuova configurazione

30 CCR12 Dicembre 2012L.Perini30 NºResponsabileCodice EnteEnte Costo Congruo Contributo Previsto 1BRACCO Angela2010TPSCSPUniversità degli Studi di MILANO 1.397.0 00 977.900 2CASATI Giulio2010LLKJBXUniversità degli Studi INSUBRIA Varese-Como 1.383.0 00 968.100 3CIMATTI Andrea2010NHBSBEUniversità degli Studi di BOLOGNA 1.200.0 57 840.040 4DEL GUERRA Alberto2010P98A75Università di PISA 1.397.0 00 977.900 5IACOPINI Enrico2010Z5PKWZUniversità degli Studi di FIRENZE 1.101.0 00 770.700 6MARRUCCI Lorenzo2010NR4MXAUniversità degli Studi di NAPOLI "Federico II" 1.184.0 00 828.800 7MARTINELLI Guido2010YJ2NYW Scuola Internazionale Superiore di Studi Avanzati di TRIESTE 1.315.0 00 920.500 8MATTEUCCI Maria Francesca2010LY5N2TUniversità degli Studi di TRIESTE 1.141.0 00 798.700 9MORGANTE Alberto20105ZZTSEUniversità degli Studi di TRIESTE 1.565.5 50 1.095.885 1010 PARISI Giorgio2010HXAW77Università degli Studi di ROMA "La Sapienza" 1.193.0 00 835.100 1 PERINI Laura20108T4XTMUniversità degli Studi di MILANO 1.265.4 18 885.793 1212 RAGAZZI Stefano2010ZXAZK9Università degli Studi di MILANO-BICOCCA 1.458.0 00 1.020.600 1313 SCIORTINO Francesco2010LKE4CCUniversità degli Studi di ROMA "La Sapienza"1.141.5 00 799.050 1414 VETRANO Flavio20109FPLWNUniversità degli Studi di URBINO "Carlo BO" 1.494.0 00 1.045.800 TotaleTotale 18.235.5 25 12.764.868