Sviluppi internazionali e nazionali di GRID La grid Europea: EGI La grid nazionale: IGI Il Middleware Europeo:gLite e EMI Consiglio di Sezione INFN-PD Padova 10 Febbraio 2010 Mirco Mazzucato Coordinatore INFN Grid Direttore CNAF Mirco Mazzucato CD INFN

L’European Grid Initiative EGI = EGI.eu + National Grid Initiatives (NGI) EGI.eu -> Nuova organizzazione Europea di coordinamento National Grid nitiatives (NGIs) : Austrian Grid Initiative Belgium: BEgrid DutchGrid France: Institute des Grilles Germany: D-Grid; Unicore Greece: HellasGrid Grid Ireland Italy: IGI NDGF (Nord) Portuguese Grid Swiss Grid UK e-Science: National Grid Service; Le NGIs devono diventare organizzazioni legali come il GARR Average of 180 M€ per year since 2002 (national + EC) Mirco Mazzucato CD INFN

EGI e Sostenibilita’ Le attivita’ dei progetti correnti (EGEE) vengono progressivamente trasformate in servizi che EGI offre a pagamento ai propri utenti/Istituzioni Utenti di EGI sono le comunita’/Istituzioni scientifiche e chiunque voglia usare i servizi di EGI (ad. Es Protezione Civile, PA etc…) All’interno di EGI vale lo stesso modello: EGI.eu si sostiene a regime in buona parte con il pagamento dei servizi che offre alle NGIs Le NGIs’ si sostengono con i servizi che offrono a pagamento alle proprie comunita’/Istituzioni di utenti (come per la rete) Un’eccezione: Le attivita’ di coordinamento di EGI.eu sono finanziate inizialmente con la quota contributiva in modo da garantire il controllo politico di EGI.eu da parte del Council di EGI Il contributo EC: un incentivo necessario Per estendere ed incentivare l’innovazione e la condivisione di risorse a livello pan Europeo . La Ricerca deve essere fonte d’innovazione per I paesi Mirco Mazzucato CD INFN

La struttura di EGI 4 EGI.eu 2. EGI_DS Review www.eu-egi.eu Mirco Mazzucato CD INFN

http://web.eu-egi.eu/partners/ egi-council-members/ L‘EGI Council 9 July 2009: 1mo EGI Council Meeting, Amsterdam Composto di NGIs and EIROs, che hanno firmato l‘ EGI MoU (Incluso INFN come coordinatore IGI) 8 July 2009: 23 NGIs + CERN 16 Sept 2009: 28 NGIs + CERN + EMBL 24 Ottobre 2009 33 NGIs + CERN + EMBL 2do e 3zo EGI Council Meeting, Barcelona e Bruxelles Preparazione progetto Europeo EGI InSPIRE (25 M€) Discussione statuti EGI.eu http://web.eu-egi.eu/partners/ egi-council-members/ 2. EGI_DS Review www.eu-egi.eu 5 Mirco Mazzucato CD INFN

EGI Council Members (16-Sett-2009) 2. EGI_DS Review www.eu-egi.eu 6 Mirco Mazzucato CD INFN

Stato di EGI.eu Lo statuto di EGI.eu che definisce la nuova organizzazione europea ha preso forma Approvato nell’ultimo EGI Council di Amsterdam il 3-2-2010 V7 trasmessa agli uffici legali dei paesi membri Da firmare per adesione entro il 3 Marzo 2010 per gestire EGI.eu Fondazione no profit di diritto Olandese denominata “Stichting” European Grid Initiative Un Council formato dai rappresentanti dei paesi membri agisce come un’Autorita’ di supervisione e controllo Un Executive Board costituito da membri eletti dal Council gestisce le attivita’ Sono I Fondatori della Fondazione per la legge Olandese Mirco Mazzucato CD INFN

Le National Grid Initiatives Una NGI: Gestisce la grid nazionale ed il suo aggiornamento Ha un mandato politico dalla comunita’ grid nazionale di parlare a nome di questa ied e’ la sola organizzazione che ha questo mandato e che quindi rappresenta il solo punto di contatto a livello europeo per un paese Ha la capacita’ di firmare gli statuti di EGI e di prendere con questo i relativi impegni finanziari NGI -> a regime nuova Entita’ Legale (Consorzio, Associazione…) Ha un budget che consente di pagare la quota associativa e gli eventuali servizi che richiede a EGI se ne ha bisogno . Ha una struttura sostenibile a livello nazionale in modo da prendere impegni a lungo termine con EGI Fornisce direttamente o indirettamente (ad es. attraverso i suoi membri) le risorse di calcolo e storage assieme ai servizi necessari per poterle condividere e usare a livello Europeo Stabilizza il nucleo di competenze sviluppato con la serie di progetti Europei Mirco Mazzucato CD INFN

Grid e “Cloud Computing” “Cloud Computing” indica un’offerta via un WEB service di risorse di calcolo e storage con un ambiente virtuale creato secondo le esigenze degli utenti in un dominio amministrativo unico Amazon, Google, IBM…. offrono gia’ in pratica questo servizio con software proprietario che fidelizza gli utenti Cloud: Rende semplice e flessibile l’accesso a hardware, software e storage grazie a una nuova interfaccia WEB e l’offerta di ambienti virtuali Infrastruttura GRID = Servizi per condividire risorse ICT (anche virtuali) e/o strumenti posti in domini amministrativi diversi (tipici dell’Europa) . Supporto attivita’ collaborative e-Science (WLCG) Servizi basati su Protocolli Generali e Standard e Open Source: GRID e Cloud: una sfida ancora formidabile La Grid Integrata con Cloud e Virtualizzazione permette l’allargamento dell’uso dell’infrastruttura dalla Ricerca a potenzialemente ogni utente (PA e Aziende) Mirco Mazzucato CD INFN

Funzionalita’ del Cloud La funzionalita’ nei servizi clouds puo’ essere descritta in molti modi e dipende dai tipi di astrazione Tipicamente queste astrazioni sono: Hardware as a Service (HaaS), focusing on making hardware available to customers. Software as a Service (SaaS), focusing on providing ready-to-use software services. Data as a Service (DaaS), focusing on the provisioning of access to data, available from various sources Queste astrazioni possono essere viste collettivamente come l’offerta di una Platform as a Service (Paas), o, piu’ in generale, di una Infrastructure as a Service (IaaS) L’infrastruttura (come IGI) diventa un servizio che si compra e si vende facilmente via WEB Mirco Mazzucato CD INFN

Uno sviluppo recente: INFN WNOD Worker Node on Demand (WNOD) WNOD: Selezione dinamica di risorse virtuali via grid Jobs L’utente puo’ scegliere l’ambiente di lavoro Mirco Mazzucato CD INFN

La proposta INFN IGI diventa un’ IaaS Convergenza di Grid and Cloud Services su Dynamically Provisioned Resources New USER PC, PA IGI diventa un’ IaaS Mirco Mazzucato CD INFN

La NGI Italiana : IGI L’Italian Grid Infrastructure (IGI) Oggi e’ una EU Joint Research Unit Costituita con un MoU firmato da tutti i partner in dicembre 2007 Aperto al contributo di nuovi partner Riconosciuta e sostenuta con lettera dal MUR Riconosciuta dalla Commissione Europea Interfaccia unica verso l’EU a livello Italiano Governance comune dell’e-Infrastruttura Italiana Deve al piu’ presto diventare un’entita’ legale per firmare lo statuto di EGI.eu Deve stabilizzare le competenze grid disponibili Mirco Mazzucato CD INFN

I partners attuali di IGI Istituto Nazionale di Fisica Nucleare (INFN), Ente per le Nuove tecnologie, l’Energia e l’Ambiente (ENEA), Consiglio Nazionale delle Ricerche (CNR) Istituto Nazionale di Astrofisica (INAF), Istituto Nazionale di Geofisica e Vulcanologia (INGV), Università degli Studi di Napoli Federico II, Università degli Studi della Calabria, Sincrotrone Trieste S.C.p.A. (ELETTRA), Consorzi PON COMETA, COSMOLAB, SPACI, Consortium GARR L’Universita’ di Perugia L’Universita’ del Piemonte Orientale Caspur, Sissa + Cilea, CERM… 51 centri; 15.000 cores; INFN 60-70% Mirco Mazzucato CD INFN

Il Nuovo Consorzio IGI OBIETTVO 1: Gestione, controllo, e supporto del'infrastuttura Grid nazionale (risorse e servizi) Servizi di supporto agli utenti Supporto e sviluppo del middleware e servizi aggiuntivi Gestione amministrativa della struttura IGI e disseminaz. OBIETTIVO 2 Avviare la sperimentazione e la realizzazione di un servizo di “Cloud pubblico Nazionale” IaaS su larga scala che possa ospitare on demand i servizi necessari per l’informatizzazione delle Pubblica Amministrazione e di tutto il settore pubblico, Bozza di statuto approvata dai partner della JRU in corso di finalizzazione con INFN e MIUR Mirco Mazzucato CD INFN

I bisogni Supporto del MIUR per procedere celermente in modo da poter firmare lo statuto di EGI entro il 3 marzo Delega del MIUR all’INFN per costituire di IGI Consorzio entro 1 anno Mirco Mazzucato CD INFN

Il MWare in EGI: EMI Uno dei compiti principali di EGI e’ quello di offrire come servizio generale alle NGIs la release, il mantenimento ed il supporto delle componenti di middelware in una Unified Middleware Distribution (UMD) UMD conterra’ quanto necessario per abilitare le NGIs a condividere le proprie risorse a livello Europeo ed Internazionale Lo sviluppo e il mantenimento di UMD e’ fatto dai 3 Consorzi (EGI, UNICORE e ARC) + teams di sviluppatori di prodotti addizionali richiesti da EGI che insieme costituiscono: L’European Middleware Inititiave (EMI) Mirco Mazzucato CD INFN

EMI EMI mette insieme: gLite (EGEE:250 centri), UNICORE( 11 Centri HPC) e ARC (30 Centri Nord Europa) Cioe’ i teams appartenenti all’Accademia e alla Ricerca che hanno sviluppato I prodotti in uso con un co-finanziamento della Commissione Europea Non e’ prevedibile che nessun prodotto commerciale con le funzionalita’ richieste possa apparire in un futuro prossimo sul mercato mondiale EMI si pone come un’aggregatore dei produttori di middleware Open Source rilasciato sotto una licenza molto aperta Potrebbe divenire in futuro una fondazione per l’Open Source in Europa Mirco Mazzucato CD INFN

La nuova Collaborazione “gLite” Un’opportunita’ per le Istituzioni di ricerca e le imprese Europee

Gli Obiettivi Creare un’organizzazione autonoma a sostegno del software base Open Source gLite e della sua evoluzione dopo EGEE Creare un soggetto a cui aziende e individui possano contribuire risorse con la certezza che queste vengano usate per l’interesse comune Proteggere il marchio gLite, applicato ai propri prodotti software, dall’abuso da parte di altre organizzazioni Definire una doppia struttura tipica Open Source: gLite Collaborazione no-profit gLite Services for profit (srl) Mirco Mazzucato CD INFN

Il modello di riferimento Institution Institution Institution Institution Enti di ricerca Comunità Sviluppatori Nuovi Servizi Generali Internet Consorzio No-profit Licenza Open Source Institution Institution Institution Institution Aziende Servizi per Imprese Un Consorzio no-profit Con partner Profit e no-profit Alcune attività di sviluppo comuni Una licenza open source e-Infrastructures Mirco Mazzucato CD INFN

Stato Collaborazione gLite Collaboration Agreement firmato da parte delle attuali Istituzioni di gLite Entita’ che hanno firmato il CA: Sviluppatori: CERN, INFN/IT , CESNET/CZ , SWITCH/CH , NIKHEF/NL, UH-HIP/FI, STFC-RAL/UK   Certificatori di qualita’ e testers:  PNPI/RU, CESGA /SP, CSIC/SP , ASGC/TW, TCD/IE, GRNET/GR, KISTI/KR. UCY/Cyprus, UAB/SP Prevede Collaboration Board e Technical Board Il CB costituito dalle Istituzioni che hanno firmato il CA ha eletto il 6 Novembre M.Mazzucato Chair Mirco Mazzucato CD INFN

Conclusioni In Europa si sta costruendo un unico eco-sistema che comprende risorse HTC-EGI e HPC-DEISA/PRACE e Archivi di dati che fornira’ un’infrastruttura generale per il mondo della ricerca e oltre con governance sostenibile EGI.eu fornisce il framework di coordinamento europeo per la gestione di questa infrastruttura Statuto di EGI eu in fase di discussione e approvazione Le NGI come IGI devono trasformarsi in organizzazioni legali per consolidare le competenze esistenti e diventare sostenibili allargando l’offerta (PA, PC..) Bozza di Statuto IGI concordata tra I partners Necessario supporto MIUR al piu’ presto altrimenti dovra’ essere l’INFN che firma lo statuto di EGI.eu come coordinatore JRU Il CA di Glite e’ stato fimato Nuovo progetto Europeo EMI con ARC e UNICORE agli hearings Mirco Mazzucato CD INFN