Evoluzione dell'infrastruttura Grid: the Italian Grid Initiative e il middleware europeo gLite Tiziana Ferrari, INFN CNAF Workshop CCR, Gran Sasso, 11 Giugno 2008

2 Sommario EGEE III Evoluzione della Grid europea e nazionale Il progetto European Grid Initiative Design Study Lo stato della Grid italiana Il consorzio gLite

Workshop CCR, Gran Sasso, 11 Giugno EU e-Infrastructure Centinaia di M€ di finanziamenti europei e nazionali ( ) hanno prodotto un set di Servizi Grid open source in via di definitivo consolidamento (release gLite) Tali servizi sono utilizzati in produzione nella più grande e-Infrastructure del mondo (Grid e relativa infrastruttura di rete)  EGEE III Gli stati membri e la Commissione Europea stanno affrontando ora il problema della sostenibilità a lungo termine –del middleware –dell’infrastruttura nel suo complesso Progetto European Grid Initiative Design Study (EGI-DS)

Workshop CCR, Gran Sasso, 11 Giugno EGEE: III Disciplines and users ~8500 users listed in registered VOs Digital libraries, disaster recovery, computational sciences, etc. All user communities are required to contribute resources to the infrastructure

Workshop CCR, Gran Sasso, 11 Giugno EGEE III: workload in 2007 CPU: 114 Million hours Data: 25Pb stored 11Pb transferred

Workshop CCR, Gran Sasso, 11 Giugno Il processo evolutivo Testbed s Utility Service Routine Usage National Global European e-Infrastructure

Workshop CCR, Gran Sasso, 11 Giugno European Grid Initiative EGI = EGI.org (l’organizzazione centrale) + National Grid Initiatives (NGIs) NGIs: –Austrian Grid Initiative –Belgium: BEgrid –DutchGrid –France: Institute des Grilles –Germany: D-Grid; Unicore –Greece: HellasGrid –Grid Ireland –Italy: IGI –NDGF (Nord) –Portuguese Grid –Swiss Grid –UK e-Science: National Grid Service; OMII; GridPP E’ previsto che nel giro di ~1 anno (3/2009) le NGIs diventino organizzazioni legali come il GARR e DANTE –…

Workshop CCR, Gran Sasso, 11 Giugno La Commissione Europea “…for Grids we would like to see the move towards long-term sustainable initiatives less dependent upon EU-funded project cycles” Viviane Reding, Commissioner, European Commission, EGEE’06 Conference, September 25, 2006

Workshop CCR, Gran Sasso, 11 Giugno European Grid Initiative Scopo: sostenibilità a lungo termine dell’attuale Infrastruttura Grid Europea di grande scala ed il suo coordinamento integrazione delle Grid nazionali Supporto di una grande varietà di applicazioni partendo da quelle critiche fino ad arrivare a quelle prototipali e di ricerca Approccio: modello federativo che mette insieme le National Grid Initiatives (NGIs) che operano le infrastrutture Grid dei vari paesi e una nuova EGI Organisation Europea all’interno di una comune European Grid Initiative

Workshop CCR, Gran Sasso, 11 Giugno Il progetto EGI-DS Partners : –Johannes Kepler Universität Linz (GUP) Coord. –Greek Research and Technology Network S.A. (GRNET) –Istituto Nazionale di Fisica Nucleare (INFN) –CSC - Scientific Computing Ltd. (CSC) –CESNET, z.s.p.o. (CESNET) –European Organization for Nuclear Research (CERN) –Verein zur Förderung eines Deutschen Forschungsnetzes - DFN-Verein (DFN) –Science & Technology Facilities Council (STFC) –Centre National de la Recherche Scientifique (CNRS)  A fine giugno la prima proposta alle NGIs

Workshop CCR, Gran Sasso, 11 Giugno Il modello finanziario Le attivita’ dei progetti correnti (EGEE) vengono trasformate in  servizi che EGI offrirà a regime a pagamento ai propri utenti/Istituzioni –Utenti: le comunita’/Istituzioni scientifiche e chiunque voglia usare i servizi di EGI (ad. Es Protezione Civile…) All’interno di EGI vale lo stesso modello: –le NGI si sostengono con i servizi che offrono a pagamento alle proprie comunità di utenti/Istituzioni –EGI.org si sostiene in generale con i servizi che offre a pagamento alle NGI Eccezione: –le attività di coordinamento di EGI.org sono finanziate con quote contributive (membership fee) da parte delle NGI in modo da garantire il controllo politico di EGI.org da parte del NGI Council Il contributo EC: un incentivo necessario –per estendere ed incentivare l’offerta e la condivisione di risorse a livello pan Europeo i servizi generali di EGI necessari devono continuare ad essere co-finanziati dalla Commissione Europea Stesso modello che per le reti: progetto EU Grid simile a Geant

Workshop CCR, Gran Sasso, 11 Giugno Obiettivi di EGI Offrire i servizi generali necessari per supportare le Grid nazionali e la loro integrazione Fornire dietro compenso quei servizi che sarebbe impossibile o economicamente non conveniente per alcune NGI a livello nazionale Mettere a profitto le sinergie di scala possibili a livello europeo per ridurre I costi di fornitura dei servizi comuni Garantire il finanziamento dei servizi necessari tramite: –quote di associazione –fondi della Commissione Europea –contratti di servizio Garantire la continua disponibilità, il supporto e l’evoluzione delle componenti middleware

Workshop CCR, Gran Sasso, 11 Giugno Struttura EGI.org EGI Council : un rappresentante per ogni NGI partner NGIs

Workshop CCR, Gran Sasso, 11 Giugno Cosa EGI richiede alle NGI Avere la capacita’ di firmare gli statuti di EGI e di prendere con questo i relativi impegni finanziari – NGI  Entita’ Legale (Consorzio, Associazione…) Avere un mandato politico dalla comunità grid nazionale di parlare a nome di questa in seno a EGI Essere la sola organizzazione che ha questo mandato e che quindi rappresenta il solo punto di contatto a livello nazionale per un paese Avere un budget che consente di pagare la quota associativa e gli eventuali servizi che richiede a EGI se ne ha bisogno Delegare il mandato a una persona che rappresenta la NGI nel EGI council. Avere una struttura sostenibile a livello nazionale in modo da prendere impegni a lungo termine con EGI Fornire direttamente o indirettamente (ad es. attraverso i suoi membri) le risorse di calcolo e storage assieme ai servizi necessari per poterle condividere e usare a livello Europeo Le NGIs devono iniziare il loro processo di creazione immediatamente con lo scopo di esistere come entita’ legali a Marzo 2009

Workshop CCR, Gran Sasso, 11 Giugno Stato della Grid italiana Italian Grid Infrastructure (IGI) – è una EU Joint Research Unit – costituita con un MoU firmato da tutti i partner in dicembre 2007  Aperto al contributo di nuovi partner – riconosciuta e sostenuta con lettera dal MUR – riconosciuta dalla Commissione Europea – interfaccia unica verso l’EU a livello Italiano – embrione per una governance comune dell’e- Infrastruttura Italiana da parte di tutti gli Enti pubblici coinvolti

Workshop CCR, Gran Sasso, 11 Giugno Partner IGI Istituto Nazionale di Fisica Nucleare (INFN) Ente per le Nuove tecnologie, l’Energia e l’Ambiente (ENEA) Consiglio Nazionale delle Ricerche (CNR) Istituto Nazionale di Astrofisica (INAF) Istituto Nazionale di Geofisica e Vulcanologia (INGV) Università degli Studi di Napoli Federico II Università degli Studi della Calabria Sincrotrone Trieste S.C.p.A. (ELETTRA) Consorzio COMETA Consorzio COSMOLAB Consorzio SPACI Consortium GARR L’Universita’ di Perugia L’Universita’ del Piemonte Orientale

Workshop CCR, Gran Sasso, 11 Giugno Il problema del MWare Attualmente gLite (EGEE:250 centri), UNICORE( 11 Centri HPC) e ARC (60 Centri Nord Europa) sono sviluppati e mantenuti da teams appartenenti all’Accademia e alla Ricerca con co-finanziamento della Commissione Europea C’e’ consenso generale sul fatto che non e’ prevedibile che nessun prodotto commerciale con le funzionalita’ richieste possa apparire in un futuro prossimo sul mercato mondiale

Workshop CCR, Gran Sasso, 11 Giugno UMT Proposta in discussione: –Task principale della funzione MWare di EGI e’ quello di offrire come servizio generale alle NGIs la release, il mantenimento ed il supporto di un nuovo Universal Middleware Toolkit (UMT ??) –UMT come il Virtual Data Toolkit in US, conterra’ tutte le componenti software necessarie per la funzionalità della Grid Sviluppo, mantenimento e supporto di UMT sara’ dato da EGI in outsourcing ai 3 Consorzi (gLite, UNICORE e ARC) + teams di sviluppatori di prodotti addizionali richiesti da NGIs Consorzio gLite no-profit (partner commerciali e non) per: –creare una Fondazione autonoma a sostegno del software open source di gLite e della sua evoluzione –Creare un soggetto giuridico autonomo a cui aziende e individui possano donare risorse con la certezza che queste vengano usate per l’interesse comune

Workshop CCR, Gran Sasso, 11 Giugno Conclusioni E’ il momento per l’Europa e l’Italia di promuovere Grid sfruttando gli investimenti e l’esperienza attuale con la piu’ grande infrastruttura Grid esistente partendo da gLite e UMT Il Workprogram EC deve prevedere il finanziamento di: –R&D per lo sviluppo di un set di protocolli standard per l’accesso a ogni tipo di risorsa ICT virtualizzata –servizi operativi centrali e regionali (EGI.org e NGI) ad incentivo della federazione delle infrastrutture nazionali