Mirco Mazzucato IES08 1 Mirco Mazzucato INFN Grid Manager Italian Grid Infrastructure Coordinator Direttore INFN CNAF Da EGEE III a EGI: L’evoluzione della.

Presentazione sul tema: "Mirco Mazzucato IES08 1 Mirco Mazzucato INFN Grid Manager Italian Grid Infrastructure Coordinator Direttore INFN CNAF Da EGEE III a EGI: L’evoluzione della."— Transcript della presentazione:

1 Mirco Mazzucato IES08 1 Mirco Mazzucato INFN Grid Manager Italian Grid Infrastructure Coordinator Direttore INFN CNAF Da EGEE III a EGI: L’evoluzione della grid nazionale: IGI Il Middleware Europeo:gLite e UMT Conferenza Italiana e-Science 2008 Napoli 27 Maggio 2008

2 Mirco Mazzucato IES08 2 EU e-Infrastructure: una storia di successo Centinaia di M€ di Finanziamenti Europei e Nazionali (2001-08) hanno prodoto un set di Servizi Grid Open Source (es. la release gLite) che sono utilizzati ogni giorno nella più grande e-Infrastruttura ( = Internet + Grid ) del mondo quella di EGEE (Enabling Grid and E-sciencE - >EGEE II -> EGEE III) –Servizi veri e propri, non prototipi, che vengono offerti ogni giorno da Centri di Calcolo ben organizzati a migliaia di utenti di varie comunità di ricerca –Standards internazionali (Web Services, W3C, OGF, OASIS), alto livello di sicurezza (PKI, X509) L’e-Infrastruttura Europea è all’avanguardia in questo campo Gli stati membri e la Commissione Europea stanno affrontando ora il problema della sostenibilità a lungo termine del middleware e della e-Infrastruttura Europea

3 Mirco Mazzucato IES08 3 250 sites 45 countries 60,000 CPUs 15 PetaBytes >5000 users >100 VOs >100,000 jobs/day Applications: Archeology Astronomy Astrophysics Civil Protection Comp. Chemistry Earth Sciences Finance Fusion Geophysics High Energy Physics Life Sciences Multimedia Material Sciences … 32% EGEE Opera la piu’ grande infrastruttura Grid del mondo con qualita’ di produzione per l’e-Science DA EGEE A EGI Coordinamento CERN EGI: nuovo modello sostenibile

4 Mirco Mazzucato IES08 4 L’Evoluzione futura Testbed s Utility Service Routine Usage National Global European e-Infrastructure

5 Mirco Mazzucato IES08 5 L’European Grid Initiative EGI = EGI.Org + National Grid Initiatives (NGI) Esempi di National Grid Initiatives (NGIs) : –Austrian Grid Initiative –Belgium: BEgrid –DutchGrid –France: Institute des Grilles –Germany: D-Grid; Unicore –Greece: HellasGrid –Grid Ireland –Italy: IGI –NDGF (Nord) –Portuguese Grid –Swiss Grid –UK e-Science: National Grid Service; OMII; GridPP E’ previsto che nel giro di ~1 anno (3/2009) le NGIs diventino organizzazioni legali come il GARR e DANTE –…

6 Mirco Mazzucato IES08 6 La Commissione Europea: “…for Grids we would like to see the move towards long-term sustainable initiatives less dependent upon EU-funded project cycles” Viviane Reding, Commissioner, European Commission, at the EGEE’06 Conference, September 25, 2006

7 Mirco Mazzucato IES08 7 L’European Grid Initiative Scopo: Garantire la sostenibilita’ a lungo termine dell’attuale Infrastruttura Grid Europea di grande scala ed il suo coordinamento Realizzare un’infrastruttura Grid di produzione– costruita su Grid nazionali- che interoperi senza interruzione a vari livelli offrendo servizi affidabili e predicibili a una grande varieta’ di applicazioni partendo da quelle critiche a quelle prototipali e di ricerca Approccio: Nuovo modello federativo che mette insieme le National Grid Initiatives (NGIs) che operano le infrastrutture Grid dei vari paesi e una nuova EGI Organisation Europea all’interno di una comune European Grid Iniziative (EGI)

8 Mirco Mazzucato IES08 8 Il progetto EU: EGI D esign S tudy Scopo: Definire in dettaglio il nuovo modello organizzativo EGI Partners : Johannes Kepler Universität Linz (GUP) Coord. Greek Research and Technology Network S.A. (GRNET) Istituto Nazionale di Fisica Nucleare (INFN) CSC - Scientific Computing Ltd. (CSC) CESNET, z.s.p.o. (CESNET) European Organization for Nuclear Research (CERN) Verein zur Förderung eines Deutschen Forschungsnetzes - DFN- Verein (DFN) Science & Technology Facilities Council (STFC) Centre National de la Recherche Scientifique(CNRS) -> A fine giugno la prima proposta alle NGIs

9 Mirco Mazzucato IES08 9 EGI e Sostenibilita ’ Le attivita’ dei progetti correnti (EGEE) vengono trasformate in servizi che EGI offre a pagamento ai propri utenti/Istituzioni –Utenti di EGI sono le comunita’/Istituzioni scientifiche e chiunque voglia usare i servizi di EGI (ad. Es Protezione Civile…) All’interno di EGI vale lo stesso modello: –EGI.org si sostiene in generale con i servizi che offre a pagamento alle NGIs –Le NGIs’ si sostengono con i servizi che offrono a pagamento alle proprie comunita’/Istituzioni utenti Un’eccezione: –Le attivita’ di coordinamento di EGI.org sono finanziate con la quota contributiva in modo da garantire il controllo politico di EGI.org da parte del NGI Council Il contributo EC: un incentivo necessario –Per estendere ed incentivare l’offerta e la condivisione di risorse a livello pan Europeo i servizi generali di EGI necessari devono continuare ad essere co-finanziati dalla Commissione Europea  Stesso modello che per le reti: progetto EU Grid simile a Geant

10 Mirco Mazzucato IES08 10 EGI: il modello EGI deve: Offrire i servizi generali necessari ad abilitare le Grid nazionali a rendere disponibili a loro volta tutti i servizi necessari per la condivisione di risorse a livello nazionale ed Europeo Fornire dietro compenso quei servizi che sarebbe impossibile o economicamente non conveniejnte per alcune NGIs realizzare a livello nazionale Mettere a profitto le sinergie di scala possibili a livello europeo per ridurre I costi di fornitura dei servizi comuni Garantire il finanziamento dei servizi necessari tramite: –quote di associazione –fondi della Commissione Europea –contratti di servizio In particolare garantire la continua disponibilita’, il supporto e l’evoluzione delle componenti di MWare necessarie che corrispondano ai criteri definiti e’ certamente uno dei piu’ importanti servizi che EGI puo’ offrire alle NGIs

11 Mirco Mazzucato IES08 11 Struttura di EGI.org EGI Council : i rappresentante per ogni NGI partner NGIs

12 Mirco Mazzucato IES08 12 Cosa EGI richiede alle NGIs Una NGI deve: –Avere la capacita’ di firmare gli statuti di EGI e di prendere con questo i relativi impegni finanziari  NGI -> Entita’ Legale (Consorzio, Associazione…) –Avere un mandato politico dalla comunita’ grid nazionale di parlare a nome di questa in seno a EGI –Essere la sola organizzazione che ha questo mandato e che quindi rappresenta il solo punto di contatto a livello nazionale per un paese –Avere un budget che consente di pagare la quota associativa e gli eventuali servizi che richiede a EGI se ne ha bisogno –Delegare il mandato a una persona che rappresenta la NGI nel EGI council. –Avere una struttura sostenibile a livello nazionale in modo da prendere impegni a lungo termine con EGI –Fornire direttamente o indirettamente (ad es. attraverso i suoi membri) le risorse di calcolo e storage assieme ai servizi necessari per poterle condividere e usare a livello Europeo

13 Mirco Mazzucato IES08 13 NGI: compiti tecnici Operare efficacemente con continuita’ e ripettando un livello di servizio concordato con EGI l’infrastruttura Grid Nazionale Registrare e supportare le proprie comunita’ scientifiche e quelle internazionali Registrare e supportare i proprietari/fornitori di risorse e la loro offerta a livello Europeo Implementare gli standards e le altre scelte tecniche definite da EGI ( e.g. i MW stacks supportati) Implementare le politiche di EGI Le NGIs devono iniziare il loro processo di creazione immediatamente con lo scopo di esistere come Entita’ legali a Marzo 2009

14 Mirco Mazzucato IES08 14 Il problema del MWare Attualmente gLite (EGEE:250 centri), UNICORE( 11 Centri HPC) e ARC (60 Centri Nord Europa) sono sviluppati e mantenuti da teams appartenenti all’Accademia e alla Ricerca con co-finanziamento della Commissione Europea C’e’ consenso generale sul fatto che non e’ prevedibile che nessun prodotto commerciale con le funzionalita’ richieste possa apparire in un futuro prossimo sul mercato mondiale

15 Mirco Mazzucato IES08 15 Il MWare in EGI:UMT Proposta in discussione: Task principale della funzione MWare di EGI e’ quello di offrire come servizio generale alle NGIs la release, il mantenimento ed il supporto di un nuovo Universal Middleware Toolkit (UMT ??) UMT come il Virtual Data Toolkit (VDT) in US, conterra’ tutte le componenti software necessarie per abilitare le NGIs a condividere le proprie risorse a livello Europeo ed Internazionale UMT e’ un componente comune generale dell’e- Infrastruttura prodotto e offerto come un servizio da parte di EGI alle NGIs Sviluppo e mantenimento di UMT sara’ dato da EGI in outsourcing ai 3 Consorzi (EGI, UNICORE e ARC) + teams di sviluppatori di prodotti addizionali richiesti da NGIs

16 Mirco Mazzucato IES08 16 UMT: I requirements di EGI Interoperabilita’: I servizi adottati in una infrastruttura nazionale saranno accettati da EGI solo se pienamente interoperabili con le implementazioni incluse in UMT che soddisfano I criteri stabiliti da EGI completezza: UMT deve permettere ad una un’infrastruttura grid nazionale di poter funzionare in modo completamente independente ed autonomo e allo stesso tempo esssere pienamente integrata nell’Infrastruttura pan-Europea di EGI. Devono inoltre corrispondere ai bisogni di tutte le VO ed evolversi secondo le loro richieste Scalabilita’: UMT deve permettere la gestione di risorse e servizi che devono soddisfare comunita’ di utenti che variano da teams di pochi individui a migliaia di ricercatori. –Facilita’ d’uso per I piccoli e scalabilita’ per I grandi –Crescita di scala nel tempo in termini di utenti, servizi e risorse Simplicita : UMT deve contenere i tools necessari per il download dei servizi necessari, per fornire l’assistenza durante la configurazione e per completare il set up nel modo piu’ automatico possibile

17 Mirco Mazzucato IES08 17 Grid vs “Cloud Computing” “Cloud Computing” indica un’offerta vaga di risorse di calcolo e storage in un ambiente virtuale creato secondo le esigenze degli utenti in un dominio amministrativo unico Amazon, Google, IBM…. offrono gia’ in pratica questo servizio con software proprietario che fidelizza gli utenti Cloud: Qual e’ il problema da risolvere? –Rendere semplice e flessibile l’accesso ad un centro di calcolo remoto grazie a una nuova interfaccia WEB e ad un ambiente virtuale GRID = Servizi per condividire risorse ICT (anche virtuali) e/o strumenti posti in domini amministrativi diversi (tipici dell’Europa) da parte di VO dinamiche Servizi necessariamente basati su Protocolli Generali e Standard in genere Open Source: Maggiore competizione e flessibilita’ GRID: una sfida ancora formidabile Risponde ai bisogni della Ricerca e delle piccole medio imprese Europee

18 Mirco Mazzucato IES08 18 La generalizzazione di UMT Middleware Grid per la ricerca e l’e-Science Nuovi Internet generale di servizi e devices per tutti – Business, Industria e Governo La sostenibilita’ dei nuovi servizi e’ garantita da una base allargata come per TCP/IP, WEB…

19 Mirco Mazzucato IES08 19 Una proposta per il Wokprogram della Commissione Europea Azione specifica mirante a Generalizzare le soluzioni middleware Grid in uso come gLite, in nuovi servizi generali Internet aderenti a standard Internazionali –Supportare gli sforzi di ricerca necessari per ottenere servizi scalabili e stabili che forniscano la virtualizzazione completa delle risorse per tutti –Sforzi comuni accademici e industriali e con l’ Open Grid Forum Ridurre l’attuale complessità dei servizi Grid a un set di specifiche/interfacce standard ben organizzate che costituiscano il fondamento della nuova Internet del futuro –equivalenti al protocollo TCP/IP Internet e a http/HTML per il WEB, –forniscano un accesso di base sicuro, affidabile, scalabile e standard a tutti i tipi di risorse virtualizzate ICT  Calcolo, storage, database, informazione, accounting, strumenti… Creazione di un’implementazione base Open Source di riferimento dei nuovi servizi internet “standard”, che possa essere usata anche dal settore IT Europeo, da venditori indipendenti di Software e imprese per sviluppare le proprie aziende e nuovi prodotti in un nuovo mercato conservando la leadership Europa nel settore –Sfruttando le centinaia di anni di lavoro e i progressi compiuti dalla Ricerca Europea nell’ottenere servizi grid affidabili e “standard” come quelli di gLite utilizzati da migliaia di utenti nell’attuale e-Infrastructure Nuova comunita’ di sviluppo costituita da Ricerca e Business

20 Mirco Mazzucato IES08 20 Un ciclo Europeo virtuoso e-Infrastruttura di Ricerca: Affidabilità Aderenza agli Standard scalabilità Aziende: Servizi Internet Specifici per la Società EU Consorzi MW: Servizi Generali per la Ricerca + Industria, Commercio, P.A.

21 Mirco Mazzucato IES08 21 Il modello di riferimento Un Consorzio no-profit –Con partner Profit e no-profit Alcune attività di sviluppo comuni Una licenza open source Consorzio No-profit Nuovi Servizi Generali Internet Institution Enti di ricerca Institution Aziende Licenza Open Source Institution Comunità Sviluppatori Institution Servizi per Imprese e-Infrastructures

22 Il nuovo Consorzio “gLite” Un’opportunita’ per le imprese Europee e le Istituzioni di ricerca

23 Mirco Mazzucato IES08 23 Obiettivi del Consorzio “gLite” creare una Fondazione autonoma a sostegno del software base Open Source di gLite e della sua evoluzione Creare un soggetto giuridico autonomo a cui aziende e individui possano donare risorse con la certezza che queste vengano usate per l’interesse comune Fornire un mezzo per tutelare i singoli contribuenti da eventuali azioni legali intraprese contro i progetti della Fondazione Proteggere il marchio, applicato ai propri prodotti software, dall’abuso da parte di altre organizzazioni Definire una doppia struttura: –gLite Consortium no-profit (onlus) –gLite Services for profit (srl)

24 Mirco Mazzucato IES08 24 La NGI Italiana :IGI L’Italian Grid Infrastructure (IGI) – E’ una EU Joint Research Unit – Costituita con un MoU firmato da tutti i partner in dicembre 2007  Aperto al contributo di nuovi partner – Riconosciuta e sostenuta con lettera dal MUR – Riconosciuta dalla Commissione Europea – Interfaccia unica verso l’EU a livello Italiano – Embrione per una governance comune dell’e- Infrastruttura Italiana da parte di tutti gli Enti pubblici coinvolti Entro 3/2009 deve diventare un’entita’ legale

25 Mirco Mazzucato IES08 25 I partners attuali di IGI Istituto Nazionale di Fisica Nucleare (INFN), Ente per le Nuove tecnologie, l’Energia e l’Ambiente (ENEA), Consiglio Nazionale delle Ricerche (CNR) Istituto Nazionale di Astrofisica (INAF), Istituto Nazionale di Geofisica e Vulcanologia (INGV), Università degli Studi di Napoli Federico II, Università degli Studi della Calabria, Sincrotrone Trieste S.C.p.A. (ELETTRA), Consorzio COMETA, Consorzio COSMOLAB, Consorzio SPACI,, Consortium GARR L’Universita’ di Perugia L’Universita’ del Piemonte Orientale

26 Mirco Mazzucato IES08 26 Conclusioni (1) Le infrastrutture Grid Nazionali e quella Europea (EGI) troveranno la loro sostenibilita’ economica futura dall’aumento di competitività che sara’ garantito al mondo scientifico dalla creazione di un mercato comune condiviso delle risorse IT Europee. –EGI e le NGI forniranno alle Istituzioni che costituiscono le VO i servizi necessari dietro compenso (come per la rete oggi) –I contributi pubblici a livello EC e Nazionale rimarranno un importante incentivo contro la frammentazione e per mantenere la competitivita’ dei servizi disponibili IGI deve diventare rapidamente un’Entita’ legale, definire i servizi che puo’ offrire, il modello di finanziamento e giocare un ruolo di primo piano nella costituzione di EGI Il nuovo Consorzio gLite offre un’opportunita’ unica alle imprese per approfittare degli investimenti pubblici fatti fino ad oggi e sviluppare un modello di business basato sul suo supporto –Su cui possano contare soggetti sia pubblici che commerciali In Italia esistono competenze uniche per esercitare una leadership in questo campo e mettere a punto nuovi servizi IT commerciali di alto livello innovativi basati sui servizi base di gLIte

27 Mirco Mazzucato IES08 27 Conclusioni (2) E’ il momento per l’Europa di promuovere la nuova Internet del Futuro sfruttando gli investimenti e l’ expertise ottenuta con la piu’ grande infrastruttura Grid del Mondo partendo da gLite e UMT Il Workprogram EC deve prevedere il finanziamento di: R&D per lo sviluppo di un set di protocolli standard per l’accesso a ogni tipo di risorsa ICT virtualizzata –Calcolo, storage, database, informazione, accounting, strumenti Condotto da una nuova comunita’ allargata rispetto a EGI costituita da Ricerca e Business –Che sfrutti le competenze acquisite con Glite Scopo : Riduzione dell’attuale complessita’ dei servizi Grid ad un set minimo di protocolli che costituiscano il fondamento dell’Internet del futuro come TCP/IP, HTTP e HTML sono stati alal base del successo di Internet Approccio bottom up partendo da quanto esiste Collaborazione ed indirizzo verso l’Open Grid Forum –Sfruttando il recente Consorzio OGF EU –Dopo anni non esiste ancora un protocollo per la sottmissione di Jobs In Italia: programma complementare nazionale tipo PNR per la competitivita’ per permettere lo sfruttamento commerciale puntuale dei risultati ottenuti anche a livello Europeo