Mirco Mazzucato IES08 1 Mirco Mazzucato INFN Grid Manager Direttore INFN CNAF Da EGEE III a EGI: L’evoluzione della grid Europea: EGI L’evoluzione della.

Presentazione sul tema: "Mirco Mazzucato IES08 1 Mirco Mazzucato INFN Grid Manager Direttore INFN CNAF Da EGEE III a EGI: L’evoluzione della grid Europea: EGI L’evoluzione della."— Transcript della presentazione:

1 Mirco Mazzucato IES08 1 Mirco Mazzucato INFN Grid Manager Direttore INFN CNAF Da EGEE III a EGI: L’evoluzione della grid Europea: EGI L’evoluzione della grid nazionale: IGI Il Middleware Europeo:gLite e UMT Incontro con i Referee Bologna 25 Luglio 2008

2 Mirco Mazzucato IES08 2 250 sites 45 countries 60,000 CPUs 15 PetaBytes >5000 users >100 VOs >100,000 jobs/day Applications: Archeology Astronomy Astrophysics Civil Protection Comp. Chemistry Earth Sciences Finance Fusion Geophysics High Energy Physics Life Sciences Multimedia Material Sciences … 32% EGEE Opera la piu’ grande infrastruttura Grid del mondo con qualita’ di produzione per l’e-Science DA EGEE A EGI Coordinamento CERN EGI: nuovo modello Sostenibile + generale

3 Mirco Mazzucato IES08 3 L’Evoluzione futura Testbed s Utility Service Routine Usage National Global European e-Infrastructure

4 Mirco Mazzucato IES08 4 L’European Grid Initiative EGI = EGI.Org + National Grid Initiatives (NGI) Esempi di National Grid Initiatives (NGIs) : –Austrian Grid Initiative –Belgium: BEgrid –DutchGrid –France: Institute des Grilles –Germany: D-Grid; Unicore –Greece: HellasGrid –Grid Ireland –Italy: IGI –NDGF (Nord) –Portuguese Grid –Swiss Grid –UK e-Science: National Grid Service; OMII; GridPP E’ previsto che nel giro di ~1 anno (3/2009) le NGIs diventino organizzazioni legali come il GARR e DANTE –…

5 Mirco Mazzucato IES08 5 L’European Grid Initiative Scopo: Garantire la sostenibilita’ a lungo termine dell’attuale Infrastruttura Grid Europea di grande scala ed il suo coordinamento Realizzare un’infrastruttura Grid di produzione– costruita su Grid nazionali- che interoperi senza interruzione a vari livelli offrendo servizi affidabili e predicibili a una grande varieta’ di applicazioni partendo da quelle critiche a quelle prototipali e di ricerca Approccio: Nuovo modello federativo che mette insieme le National Grid Initiatives (NGIs) che operano le infrastrutture Grid dei vari paesi e una nuova EGI Organisation Europea all’interno di una comune European Grid Iniziative (EGI)

6 Mirco Mazzucato IES08 6 EGI e Sostenibilita ’ Le attivita’ dei progetti correnti (EGEE) vengono progressivamente trasformate in servizi che EGI offre a pagamento ai propri utenti/Istituzioni –Utenti di EGI sono le comunita’/Istituzioni scientifiche e chiunque voglia usare i servizi di EGI (ad. Es Protezione Civile…) All’interno di EGI vale lo stesso modello: –EGI.org si sostiene a regime in buona parte con il pagamento dei servizi che alle NGIs –Le NGIs’ si sostengono con i servizi che offrono a pagamento alle proprie comunita’/Istituzioni di utenti Un’eccezione: –Le attivita’ di coordinamento di EGI.org sono finanziate con la quota contributiva in modo da garantire il controllo politico di EGI.org da parte del NGI Council Il contributo EC: un incentivo necessario –Per estendere ed incentivare l’innovazione e la condivisione di risorse a livello pan Europeo EGI deve continuare ad essere co- finanziati dalla Commissione Europea

7 Mirco Mazzucato IES08 7 Struttura di EGI.org EGI Council : 1 rappresentante per ogni NGI partner NGIs

8 Mirco Mazzucato IES08 8 Cosa EGI richiede alle NGIs Una NGI deve: –Avere la capacita’ di firmare gli statuti di EGI e di prendere con questo i relativi impegni finanziari  NGI -> Entita’ Legale (Consorzio, Associazione…) –Avere un mandato politico dalla comunita’ grid nazionale di parlare a nome di questa in seno a EGI –Essere la sola organizzazione che ha questo mandato e che quindi rappresenta il solo punto di contatto a livello nazionale per un paese –Avere un budget che consente di pagare la quota associativa e gli eventuali servizi che richiede a EGI se ne ha bisogno –Delegare il mandato a una persona che rappresenta la NGI nel EGI council. –Avere una struttura sostenibile a livello nazionale in modo da prendere impegni a lungo termine con EGI –Fornire direttamente o indirettamente (ad es. attraverso i suoi membri) le risorse di calcolo e storage assieme ai servizi necessari per poterle condividere e usare a livello Europeo

9 Mirco Mazzucato IES08 9 NGI: compiti tecnici Operare efficacemente con continuita’ e ripettando un livello di servizio concordato con EGI l’infrastruttura Grid Nazionale Registrare e supportare le proprie comunita’ scientifiche e quelle internazionali Registrare e supportare i proprietari/fornitori di risorse e la loro offerta a livello Europeo Implementare gli standards e le altre scelte tecniche definite da EGI ( e.g. i MW stacks supportati) Implementare le politiche di EGI

10 Mirco Mazzucato IES08 10 Il problema del MWare Attualmente gLite (EGEE:250 centri), UNICORE( 11 Centri HPC) e ARC (60 Centri Nord Europa) sono sviluppati e mantenuti da teams appartenenti all’Accademia e alla Ricerca con co-finanziamento della Commissione Europea Esistono isole tematiche basate su Globus e Condor ma su scala molto minore C’e’ consenso generale sul fatto che non e’ prevedibile che nessun prodotto commerciale con le funzionalita’ richieste possa apparire in un futuro prossimo sul mercato mondiale

11 Mirco Mazzucato IES08 11 Il MWare in EGI:UMT Proposta in discussione: Task principale della funzione MWare di EGI e’ quello di offrire come servizio generale alle NGIs la release, il mantenimento ed il supporto di un nuovo Universal Middleware Toolkit (UMT ??) UMT come il Virtual Data Toolkit (VDT) in US, conterra’ tutte le componenti software necessarie per abilitare le NGIs a condividere le proprie risorse a livello Europeo ed Internazionale UMT e’ un componente comune generale dell’e- Infrastruttura prodotto e offerto come un servizio da parte di EGI alle NGIs Sviluppo e mantenimento di UMT sara’ dato da EGI in outsourcing ai 3 Consorzi (EGI, UNICORE e ARC) + teams di sviluppatori di prodotti addizionali richiesti da NGIs

12 Mirco Mazzucato IES08 12 UMT: I requirements di EGI Interoperabilita’: I servizi adottati in una infrastruttura nazionale saranno accettati da EGI solo se pienamente interoperabili con le implementazioni incluse in UMT che soddisfano I criteri stabiliti da EGI completezza: UMT deve permettere ad una un’infrastruttura grid nazionale di poter funzionare in modo completamente independente ed autonomo e allo stesso tempo esssere pienamente integrata nell’Infrastruttura pan-Europea di EGI. Devono inoltre corrispondere ai bisogni di tutte le VO ed evolversi secondo le loro richieste Scalabilita’: UMT deve permettere la gestione di risorse e servizi che devono soddisfare comunita’ di utenti che variano da teams di pochi individui a migliaia di ricercatori. –Facilita’ d’uso per I piccoli e scalabilita’ per I grandi –Crescita di scala nel tempo in termini di utenti, servizi e risorse Simplicita : UMT deve contenere i tools necessari per il download dei servizi necessari, per fornire l’assistenza durante la configurazione e per completare il set up nel modo piu’ automatico possibile

13 Mirco Mazzucato IES08 13 Grid vs “Cloud Computing” “Cloud Computing” indica un’offerta comerciale di risorse di calcolo e storage in un ambiente virtuale creato secondo le esigenze degli utenti in un dominio amministrativo unico Amazon, Google, IBM…. offrono gia’ in pratica questo servizio con software proprietario che fidelizza gli utenti Cloud: Qual e’ il problema da risolvere? –Rendere semplice e flessibile l’accesso ad un centro di calcolo remoto grazie a una nuova interfaccia WEB e ad un ambiente virtuale GRID = Servizi per condividire risorse ICT (anche virtuali) e/o strumenti posti in domini amministrativi diversi (tipici dell’Europa) da parte di VO dinamiche Servizi necessariamente basati su Protocolli Generali e Standard in genere Open Source: Maggiore competizione e flessibilita’ GRID: una sfida ancora formidabile Risponde ai bisogni della Ricerca ed e’ adatto all’offerta delle piccole medio imprese Europee

14 Mirco Mazzucato IES08 14 Il modello di riferimento Un Consorzio no-profit –Con partner Profit e no-profit Alcune attività di sviluppo comuni Una licenza open source Consorzio No-profit Nuovi Servizi Generali Internet Institution Enti di ricerca Institution Aziende Licenza Open Source Institution Comunità Sviluppatori Institution Servizi per Imprese e-Infrastructures

15 Il nuovo Consorzio “gLite” Un’opportunita’ per le imprese Europee e le Istituzioni di ricerca

16 Mirco Mazzucato IES08 16 Obiettivi del Consorzio “gLite” Creare una Fondazione autonoma a sostegno del software base Open Source di gLite e della sua evoluzione Creare un soggetto giuridico autonomo a cui aziende e individui possano donare risorse con la certezza che queste vengano usate per l’interesse comune Fornire un mezzo per tutelare i singoli contribuenti da eventuali azioni legali intraprese contro i progetti della Fondazione Proteggere il marchio, applicato ai propri prodotti software, dall’abuso da parte di altre organizzazioni Definire una doppia struttura: –gLite Consortium no-profit (onlus) –gLite Services for profit (srl)

17 Mirco Mazzucato IES08 17 La NGI Italiana :IGI L’Italian Grid Infrastructure (IGI) – E’ una EU Joint Research Unit – Costituita con un MoU firmato da tutti i partner in dicembre 2007  Aperto al contributo di nuovi partner – Riconosciuta e sostenuta con lettera dal MUR – Riconosciuta dalla Commissione Europea – Interfaccia unica verso l’EU a livello Italiano – Embrione per una governance comune dell’e- Infrastruttura Italiana da parte di tutti gli Enti pubblici coinvolti Entro ~3/2009 deve diventare un’entita’ legale

18 Mirco Mazzucato IES08 18 I partners attuali di IGI Istituto Nazionale di Fisica Nucleare (INFN), Ente per le Nuove tecnologie, l’Energia e l’Ambiente (ENEA), Consiglio Nazionale delle Ricerche (CNR) Istituto Nazionale di Astrofisica (INAF), Istituto Nazionale di Geofisica e Vulcanologia (INGV), Università degli Studi di Napoli Federico II, Università degli Studi della Calabria, Sincrotrone Trieste S.C.p.A. (ELETTRA), Consorzio COMETA, Consorzio COSMOLAB, Consorzio SPACI,, Consortium GARR L’Universita’ di Perugia L’Universita’ del Piemonte Orientale

19 Mirco Mazzucato IES08 19 Lo stato attuale Riassunto del meeting EGI Policy Board 1-7-08: decisioni e azioni (25 rappresentanti NGIs) –Approvazione Bylaws –Elezione del Chairman del Policy Board –Bidding per la localizzazione di EGI.org –La visione della commissione sul futuro delle of e- Infrastructure in Europa –Raccomandazioni e problemi aperti nel progetto EGI- DS –Il cambio organizzativo in EGI-DS –Conclusioni

20 Mirco Mazzucato IES08 20 Bylwas e Chairman PB Approvazione Bylaws –Approvata all’unanimita’ Elezione del Chairman del Policy Board –Il Chairman chiede nominations e viene fatto solo il nome di Gaspar Barreira attuale chairman ad interim. –Alcuni rappresentanti lamentano di non aver ricevuto il mail con l’agenda e l’annuncio della votazione per il chairman e chiedono il rinvio. Si vota sul rinvio:  5 persone votano per il rinvio  5 persone si astengono  13 votano per procedere con l’elezione –Si procede con l’elezione del Chairman del PB  16 persone votano per Gaspar Barreira as PB Chairman  5 persone si astengono  4 persone votano contro Non avendo raggiunto la maggioranza dei 2/3 si rivota il 22 settembre. –Inviare nuove nominations a Gaspar Barreira

21 Mirco Mazzucato IES08 21 Bidding per EGI.org  Il Location Bidding process di EGI e’ spiegato in http://web.eu- egi.eu/MaKaC/materialDisplay.py?materialId=2&confId=48, mentre l’EGI Tendering process e’ spiegato in http://web.eu- egi.eu/MaKaC/materialDisplay.py?materialId=1&confId=48.http://web.eu- egi.eu/MaKaC/materialDisplay.py?materialId=2&confId=48http://web.eu- egi.eu/MaKaC/materialDisplay.py?materialId=1&confId=48  La sede dell’Organizzazione EGI.org dovrebbe essere localizzata nel posto che fornisce i maggiori vantaggi e la miglior legge nazionale  La gestione del processo di tendering e’ presa in carico dal EGI Policy Board che alla fine selezionera’ la sede e approvera’ il sistema di regole di funzionamento di EGI.org (OK da PB)  Il processo consiste di 2 parti. In primo luogo I paesi interessati inviano una lettera d’interesse. In secondo si dovra’ sottomettera un’offerta dettagliata.  Un gruppo di valutazione sara’ definito dal PB per preparare le raccomandazioni ed I criteri per selezionare il sito. I Membri del gruppo di valutazione saranno nominati dal PB.

22 Mirco Mazzucato IES08 22 Date Bidding EGI.org Al prossimo PB Meeting del 22 Settembre a Istambul: –Nomina gruppo valutazione –Definizione guidelines per il tender sulla base del Blueprint Primi Ottobre: emissione call Dicembre 1: deadline sottomissione proposals Dicembre 19: Evaluation Group Febbraio 6: Short list Marzo 2: Decisione finale, primo PB 2009 EGI_DS ha il mandato di definire la procedira da adottare da parte di gruppo di valutazione EGI.org e la sede che determina la legge nazionale costitutiva devono essere definite in tempo per partecipare alla prossima call (Autunno 2009)

23 Mirco Mazzucato IES08 23 I punteggi CRITERI A=PESO B=SCORETOT Accomodation5 (1-5) AxB Technical facilities4 Fiscal environment4 Employment conditions4 General environment3 Totale 20 /100

24 Mirco Mazzucato IES08 24 Il futuro delle e-Infrastrutture in EU Riassunto della discussione: –Si deve costruire un unico eco-sistema che comprenda EGI e DEISA/PRACE che possa fornire una soluzione globale agli utenti dai commodities clusters ai supercomputers –Si deve costruire un framework di collaborazione internazionale –Le NGI devono trasformarsi in organizzazioni legali per ricevere il contributo della Commissione –Un possibile scenario per il finaziamento e’:  2/3 stati membri e 1/3 EC (EGI chiede ½ vs 1/ 2 per partire)  Previsione di 25M€/anno per call e-Infrastrutture (Come nel passato)  EGI in competizione con DEISA/PRACE –Occorre assicurare a EGI un appoggio politico a livello Europeo.  Ogni NGI contatta I propri –La review del budget 2009/10 e’ in corso e quindi I tempi sono stretti

25 Mirco Mazzucato IES08 25 Il Blueprint

26 Mirco Mazzucato IES08 26 EGI Funding Estimates Nr.Costs forEGI.org Costs (in FTE/a) Intl. part of NGI Costs (in FTE/a) 1Operations 16250-300 2Middleware interfaces and final certification 8100-120 3Application Support and training 7230 4External functions 460 5EGI.org Management and Administration 1090 Total45720-800

27 Mirco Mazzucato IES08 27 EGI Financial Model Long-term vision: –Management, funded through membership fees –Operations, funded through usage charges –Innovations, funded through co-funded grants (EC and others) Transition phase: –Strong support from EC required to establish EGI model and to keep it at the leading edge of technology –Usage fees will not be introduced –EGI.org Management, funded through membership fees –Operations + Innovations, funded through co-funded EC grant

28 Mirco Mazzucato IES08 28 EGI Financing EGI Costs during transition phase: –Membership fees: 1 MEUR / year –EC contribution: 20 MEUR / year Periodic review every 3-5 years based on –Usage –Commercially available technologies –Required innovation

29 Mirco Mazzucato IES08 29 EGI Financing – NGI Responsibilities Each country continues to fund its own local infrastructure including national IT resources and user communities, and NGI management NGIs must ensure their own national funding required in addition to the funding from the EC for European integration. The EGI PB Members should actively support and lobby the idea of EGI through their national representatives in the EU

30 Mirco Mazzucato IES08 30 Discussione BLueprint –Il PB decide che:  I commenti scritti al EGI Blueprint proposal devono essere inviati entro il 21 Luglio 2008. Saranno presi in considerazione da EGI-DS per preparare una nuova versione  La nuova versione sara’ presentata al workshop di EGI in Istambul che avra’ luogo il 22 setetmbre ( in concomintanza con la conferenza EGEE)  Il PB seguira’ il workshop nello stesso giorno  Il PB da’ mandato a EGI-DS di preparare un messaggio da trasmettere ai ministri

31 Mirco Mazzucato IES08 31 Cambiamenti in in EGI-DS In seguito allo spostamento di Dieter Kranzlmuller dall’Universita’ di Linz a quella di Monaco il MB ha preso le seguenti decisioni: DFN agreed to take role of the subcontracting partner for LMU LMU and GUP agrees with the proposal to transfer coordination to CESNET and LMU becoming DFN subcontractor –Budget transfer to be finalized CESNET agrees to become new coordinator –Budget transfer must be finalized –Responsibility for due documents must be confirmed contractually

32 Mirco Mazzucato IES08 32 Nuove Responsabilita’ in EGI-DS Project Director (PD): Ludek Matyska (Cesnet) –Responsible for the project –Primary contact to EC and partners (beneficiaries) –Chairs Management Board Technical Director: Juergen Knobloch (CERN) –Coordinates Workpackage leaders –Chairs WPL meetings –Responsible for coherent and consistent information across deliverables –Responsibility for technical content of project material (incl. workshops etc.) Strategic Director: Dieter Kranzlmuller (LMU) –Project presentations and dissemination, coordination of all these activities –External relationship with third parties –Project contact coordinator with ESFRI, eIRG, … and other international bodies –Workshops logistics

33 Mirco Mazzucato IES08 33 Conclusioni Blueprint “finale” di EGI il 22 Settembre con guidelines Occorre definire la struttura organizzativa di IGI –Tecnica e manageriale –Procedere con I confronti per definire I requirements della grid nazionale IGI deve diventare rapidamente un’Entita’ legale, definire i servizi che puo’ offrire, il modello di finanziamento e giocare un ruolo di primo piano nella costituzione di EGI Confermare definitivamente l’interesse italiano per ospitare EGI.org –Sede e vantaggi offerti dall’Italia –Modello di organizzazione legale Procedere con il Consorzio di gLIte –Sede in Italia –Modello di organizzazione legale Riunione IGI in Settembre –Data preliminare: 4 Settembre