Mirco Mazzucato CD INFN 1 Mirco Mazzucato Coordinatore INFN Grid Direttore CNAF Sviluppi nazionali di GRID La grid Europea: EGI La grid nazionale: IGI Workshop CCR-INFNGrid Catania 20 Maggio 2010

Mirco Mazzucato CD INFN 2 L’European Grid Initiative Sostenibilità -> Nuove organizzazioni legali dedicate a mantenere i servizi grid sviluppati dai progetti EGI = EGI.eu + National Grid Initiatives (NGI) EGI.eu -> Nuova organizzazione Europea di coordinamento National Grid nitiatives (NGIs) : –Austrian Grid Initiative –France: Institute des Grilles –Germany: D-Grid; Unicore –Greece: HellasGrid –Grid Ireland –Italy: IGI –NDGF (Nord) –Portuguese Grid –Swiss Grid –UK e-Science: National Grid Service;

Mirco Mazzucato CD INFN 3 EGI e Sostenibilita ’ La sostenibilita’ si ottiene trasformando progressivamente le attività correnti in servizi che l’European Grid Initiative (EGI) offre a pagamento ai propri utenti/Istituzioni –Utenti di EGI sono le comunita’/Istituzioni scientifiche e chiunque voglia usare i servizi di EGI (ad. Es Protezione Civile, PA etc…) All’interno di EGI vale lo stesso modello di business: –EGI.eu si sostiene a regime in buona parte con il pagamento dei servizi generali che offre alle National Grid Initiatives (NGIs) –Le NGIs’ si sostengono con i servizi che offrono a pagamento alle proprie comunita’/Istituzioni di utenti (come per la rete) Un’eccezione: –Le attivita’ di coordinamento di EGI.eu sono finanziate inizialmente con la quota contributiva in modo da garantire il controllo politico di EGI.eu da parte del Council di EGI Il contributo EC: un incentivo necessario –Per estendere ed incentivare l’innovazione in EGI –Per farne una fonte d’innovazione per I paesi

Stato di EGI.eu Lo statuto di EGI.eu che definisce la nuova organizzazione europea ha preso forma –Approvato nell’ EGI Council di Amsterdam il –L’INFN ha aderito a nome della JRU IGI Fondazione no profit di diritto Olandese denominata “Stichting” European Grid Initiative Un Council formato dai rappresentanti dei paesi membri agisce come un’Autorita’ di supervisione e controllo Un Executive Board costituito da membri eletti dal Council gestisce le attivita’ –Sono I Fondatori della Fondazione per la legge Olandese E’ in fase avanzata il reclutamento Mirco Mazzucato CD INFN 4

Il personale di EGI.eu Ron van der Meer, Organisation Manager –Els Dekker, part of the administrative team Stephen Brewer, OMII-UK Chief Community Officer –Gergely Sipos training&application porting activities Catherine Gater,Chief Administrative Officer Sergio Andreozzi Policy Development Manager Tiziana Ferrari Chief Operation Officer Vacancies at EGI.eu The following positions are currently open: Chief Technology Officer or Technical Manager User Community Support Team (3 positions)User Community Support Team Policy Development Team (2 positions)Policy Development Team Mirco Mazzucato CD INFN 5

6 Le National Grid Initiatives Una NGI: –gestisce e tiene aggiornati i servizi della grid nazionale che sono necessari per poter condividere a livello Europeo ed Internazionale le risorse ICT messe a disposizione delle comunita’ scientifiche nazionali da parte dei soci –Ha un mandato politico dalla comunita’ grid nazionale e dal MIUR per parlare a nome di questa –E’ la sola organizzazione che ha questo mandato e quindi il solo punto di contatto per il paese a livello europeo ed internazionale per l’infrastruttura grid –Ha un budget sostenibile avendo fonti di finaziamento di lungo termine –Puo’ prendere con EGI impegni finanziari e accordi operativi di lungo termine validi per il Paese -> a regime nuova Entita’ Legale indipendente (Consorzio, Associazione) –Stabilizza a livello nazionale il nucleo di competenze sviluppato con la lunga serie di progetti Europei e nazionali e lo rende disponibile istituzionalmente per obiettivi più ampi.

Mirco Mazzucato CD INFN 7 “Cloud ” e Grid “Cloud” indica l’offerta via WEB di risorse di calcolo e storage e di ambienti virtuali creati secondo le esigenze degli utenti nel dominio amministrativo unico scelto dal provider Notevole semplificazione, grande successo commerciale Amazon, Google, IBM, Microsoft…. offrono gia’ questo servizio con software proprietario che fidelizza gli utenti Infrastruttura GRID = Servizi per condividire risorse ICT (anche virtuali) e/o strumenti posti in domini amministrativi diversi (tipici dell’Europa). Supporto attivita’ collaborative e- Science (WLCG) Servizi basati su Protocolli Generali e Standard e Open Source: GRID e Cloud: una potenzialità da sfruttare L’Infrastruttura Grid Integrata con un’offerta di servizi Cloud e la Virtualizzazione permette l’allargamento dell’uso dell’attuale infrastruttura dalla Ricerca a potenzialemente ogni utente (PA e Aziende)

Mirco Mazzucato CD INFN 8 La NGI Italiana : IGI L’Italian Grid Infrastructure (IGI) – Oggi e’ una EU Joint Research Unit – Costituita con un MoU firmato da tutti i partner in dicembre 2007  Aperto al contributo di nuovi partner – Riconosciuta e sostenuta con lettera dal MUR – Riconosciuta dalla Commissione Europea – Interfaccia unica verso l’EU a livello Italiano – Governance comune dell’e-Infrastruttura Italiana E’ ben avanzato il processo per farla diventare un’entita’ legale

Mirco Mazzucato CD INFN 9 I partners attuali di IGI Istituto Nazionale di Fisica Nucleare (INFN), Ente per le Nuove tecnologie, l’Energia e l’Ambiente (ENEA), Consiglio Nazionale delle Ricerche (CNR) Istituto Nazionale di Astrofisica (INAF), Istituto Nazionale di Geofisica e Vulcanologia (INGV), Università degli Studi di Napoli Federico II, Università degli Studi della Calabria, Sincrotrone Trieste S.C.p.A. (ELETTRA), Consorzi PON COMETA, COSMOLAB, SPACI, Consortium GARR L’Universita’ di Perugia L’Universita’ del Piemonte Orientale Caspur, Sissa + Cilea, CERM… 51 centri; cores; INFN 60-70%

Il Nuovo Consorzio IGI OBIETTVO 1: Gestione, controllo, e supporto dei servizi generali del'infrastuttura Grid nazionale (risorse e servizi) Servizi di supporto agli utenti Supporto e sviluppo del middleware e servizi aggiuntivi Gestione amministrativa della struttura IGI e disseminaz. OBIETTIVO 2 Avviare la sperimentazione e la realizzazione di un servizo di “Cloud pubblico Nazionale” IaaS su larga scala che possa ospitare on demand i servizi necessari per l’informatizzazione delle Pubblica Amministrazione e di tutto il settore pubblico, Bozza di statuto approvata dai partner della JRU e trasmessa al MIUR Mirco Mazzucato CD INFN 10

Il modello di IGI IGI offre servizi ai soci che a regime li pagano –Magari con una trattenuta alla fonte da parte del MIUR Le attività della nuova organizzazione legale IGI saranno realizzate all’interno di unità tecniche di cui sono state definite e stimate le necessità di personale sulla base delle attività svolte oggi dai partner della Joint Research Unit. Una descrizione dettagliata delle attività e dei bisogni è contenuta nel documento IGI: organizzazione, attività e finanziamento (in corso di finalizzazione) Discusso e concordato con i partner della JRU Grazie a L.Gaido per l’eccellente lavoro svolto come editor che rimane il referente per lo stesso Mirco Mazzucato CD INFN 11

La stima dei bisogni iniziale Mirco Mazzucato CD INFN 12

La stima dei costi Mirco Mazzucato CD INFN 13

INFN Grid e IGI – 05 Maggio IGI e INFN Grid Problema: definire il futuro assetto delle attività INFN Grid ( e degli altri partners) in relazione alla costituenda “Italian Grid Infrastructure” –Definizione della lista dei “servizi” che attualmente INFN Grid svolge per la comunità Grid italiana nell’ambito dei progetti europei –Prima discussione il 3 Maggio 2010 tra i rappresentanti degli esperimenti, responsabili INFN nei futuri progetti EGI-InSPIRE ed EMI, responsabili di servizio INFN CNAF –Occorre continuare ed arrivare ad una ipotesi condivisa al piu’ presto

INFN Grid e IGI – 05 Maggio Principi generali I servizi generali che sono forniti a beneficio della comunità Grid a livello nazionale/internazionale Grid sono i naturali candidati ad essere trasferiti da INFN ad IGI –La maggior parte dei servizi operativi e lo sviluppo dell’esistente middleware Grid –monitoraggio dell’infrastruttura, gestione dell’infrastruttura di monitoring e accounting, certificazione dei siti, supporto agli utenti e site manager Grid La gestione dei servizi middleware “baseline” Grid (dedicati alle VO HEP o generalmente accessibili da tutte le comuntià di utenti) può essere trasferita a IGI

INFN Grid e IGI – 05 Maggio Principi generali Alcuni tool sviluppati dagli esperimenti per esigenze specifiche INFN e/o HEP potrebbero essere interessanti per un uso più generale –es. FTS, LFC… – potrebbero essere interessanti per IGI? –Quali? – nel caso di un eventuale ‘trasferimento’ di responsabilità è necessario capire se i ‘requirement’ degli esperimenti continuano ad essere soddisfatti –Possibile soluzione: definizione di opportune SLA

INFN Grid e IGI – 05 Maggio INFN Grid Restano di competenza INFN Grid –la gestione servizi Grid di sito per calcolo, storage e network per VO del proprio ente e/o esterne, vobox –gestione servizi cloud per VO del proprio ente e/o esterne INFN può essere resource provider per la comunità scientifica nazionale ed internazionale, IGI fa da broker verso gli utenti –Le universita’ italiane non hanno ancora sviluppato in gnerale propri centri di calcolo –Vantaggi: ottimizzazione utilizzo delle esistenti strutture calcolo, uso opportunistico delle risorse messe a disposizione di utenti “esterni” in caso di sotto-utilizzo Contributo al testing del middleware di interesse, gestione testbed Housing dell’hardware IGI (IGI PoP) Supporto su componenti fabric e middleware di livello applicativo Servizi Database

INFN Grid e IGI – 05 Maggio Altri contributi Servizi tecnici IGI possono essere dati in outsourcing a INFN INFN contribuisce a IGI “in kind” –Fornendo l’hardware che attualmente ospita la totalità dei servizi centrali Grid italiani (per HEP ma anche per le altre VO) –Comandando personale INFN Grid in IGI ove di interesse

INFN Grid e IGI – 05 Maggio Collaborazione Vanno garantite: –la stretta collaborazione tra INFN Grid, le VO HEP e IGI tramite periodiche riunioni (come da attuale prassi) –l’attuale struttura manageriale INFN Grid (Executive Board) –la partecipazione congiunta alle riunioni WLCG di comune interesse (workshop WLCG, Grid Deployment Board) – un rappresentabte di IGI alle riunioni operative del Tier-1 –Da definire: il processo virtuoso per garantire ricadute in IGI dell’innovazione incubata in INFN e vicerversa per dare strumenti ad IGI per incentivare queste attività

Mirco Mazzucato CD INFN 20 Conclusioni In Europa si sta costruendo un unico eco-sistema che comprende risorse HTC-EGI e HPC-DEISA/PRACE e Archivi di dati che fornira’ un’infrastruttura generale per il mondo della ricerca e oltre con una governance sostenibile EGI.eu si sta costituendo come framework di coordinamento europeo per la gestione di questa infrastruttura Le NGI come IGI si stanno trasformando in organizzazioni legali per consolidare le competenze esistenti e diventare sostenibili allargando l’offerta (PA, PC..) L’INFN come coordinatore della JRU ha fatto richiesta formale al MIUR per la costituzione della nuova entità legale ed il suo finanziamento Attesa l’approvazione del MIUR al piu’ presto (prima dell’estate) Occorre che i partners di IGI ed in particolare l’INFN definiscano al più presto un modello operativo concordato e la definizione del set dei servizi di IGI su cui loro contano con il relativo SLA