Prospettive di sviluppo delle Grid in Italia ed in Europa; IGI e EGI Catania 13 marzo 2007 Mirco Mazzucato INFN-Padova e CNAF

G. Maggi 16 febbraio 2007 Sommario Un po di storia… Da FP5 ad FP6 I progetti attivi GRID Il CNAF come centro di riferimento The Italian Grid Infrastructure (IGI) Association L’European Grid Initiative (EGI) Conclusioni

last update 27/06/ :51 Il progetto INFN Grid  Il primo progetto nazionale (Direttivo febbraio 2000) che si propone di sviluppare la tecnologia e una nuova e-Infrastruttura grid per risolvere I problemi del calcolo di LHC (e dell’e-Science in generale)  e-Infrastruttura = La combinazione di Internet con i nuovi WEB e Grid Services sopra uno strato fisico costituto dalla Rete, Risorse di Calcolo, Spazio di Storage e Supercomputers reso accessibile e condivisibile dai nuovi servizi grid e da un’adeguata organizzazione  Da allora molti degli scopi originari sono stati raggiunti grazie a numerosi progetti italiani ed Europei  Molti settori scientifci ormai basano in Italia, in Europa e nel mondo le proprie attivita’ di ricerca sulla Grid  INFN Grid e’ stato ed e’ il contenitore nazionale usato dall’INFN per per raggiungere I propri scopi coordinando tutte le attivita’:  nei progetti Grid Nazionali, Europei ed Internazionali,  nei processi di standardizzazione del Open Grid Forum  nella definizione delle poltiche EU nel settore ICT di Research Infrastructures  Attraverso la struttura mageriale unica del progetto: Executive Board, Technical Board…

G. Maggi 16 febbraio 2007 Il portale del progetto

G. Maggi 16 febbraio 2007 La strategia Obiettivi chiari e stabili: sviluppo della tecnologia e dell’infrastruttura necessaria per il calcolo a LHC ma di valenza generale Strumenti variabili:: uso di progetti e fondi esterni all’INFN (EU, MIUR..) per raggiungere gli scopi Coordinamento unitario di tutti i progetti (Executive Board) In particolare: Sviluppo del middleware e dell’infrastruttura Grid necessaria all’INFN e a LHC all’interno di una serie di progetti core Europei ed internazionali, spesso con il CERN come coordinatore DataGrid,EGEE, EGEE II, WLCG…. ….. promossi spesso dall’INFN stesso Collaborazione Internazionale (con US Globus e Condor per il middleware e progetti Grid come Open Science Grid e Open Grid Forum (US)..) per ottenere un’interoperabilita’ globale dei servizi sviluppati e l’adozione di Standards Internazionali Sviluppi nazionali pionieristici del M/W e dell’Infrastruttura nazionale nelle aree non coperte dai progetti EU attraverso progetti nazionali: Grid.it, LIBI, EGG….. Forte contributo ai Comitati d’indirizzo politico: e-Infrastructure Reflection Group (eIRG ->ESFRI), EU Concertation meetings e con le Unita’ coinvolte della Commissione (F2 e F3) per stabilire i programmi di attivita’ (Calls)

G. Maggi 16 febbraio 2007 Data Grid-> EGEE-> EGEE-II (36 M€): Coordinamento del CERN Piu’ di 90 partners 32 paesi coinvolti direttamente Europa: 12 federazioni Stretta collaborazione con i maggiori progetti Grid Nazionali in Europa, USA, Asia + 27 Paesi attraverso progetti collegati:  BalticGrid  SEE-GRID  EUMedGrid  EUChinaGrid  EU-India  EELA 200 Centri, job contemporanei Naregi JP AP grid OSG EGEE EUIndiaGrid

Enabling Grids for E-sciencE EGEE-II INFSO-RI All-Activity Meeting; Bologna; January 16 th -17 th 2007 Status ~17.5 million jobs run (6450 cpu-years) in 2006; Workloads of the “not HEP VOs” start to be significant – approaching 8-10K jobs per day; and 1000 cpu-months/month one year ago this was the overall scale of work for all VOs ~17.5 million jobs run (6450 cpu-years) in 2006; Workloads of the “not HEP VOs” start to be significant – approaching 8-10K jobs per day; and 1000 cpu-months/month one year ago this was the overall scale of work for all VOs

Enabling Grids for E-sciencE EGEE-II INFSO-RI All-Activity Meeting; Bologna; January 16 th -17 th 2007 EGEE Resources Region #countries #sites#cpu #cpu DoW disk (TB) CERN * UK/I Italy France * De/CH * Northern Europe SW Europe * SE Europe Central Europe Russia Asia-Pacific North America Totals PPS * Estimates taken from reporting as IS publishes total MSS space

NA4 Status & Outlook – C. Loomis – 16 January 2007 Enabling Grids for E-sciencE INFSO-RI Grid Virtual Organizations Routine and large-scale use of EGEE infrastructure. Virtual Organizations: –200+ visible on the grid –100+ registered with EGEE

NA4 Status & Outlook – C. Loomis – 16 January 2007 Enabling Grids for E-sciencE INFSO-RI Usage History Virtual Organizations Dec. ’05 Nov. ’06

last update 27/06/ :51 Altre attivita’ FP6 di INFN Grid in Europa (1) (Oltre a EGEE II)  Garantire l’ evoluzione del Middleware Grid Open Source verso standards internazionali  OMII Europe  La sua disponibilita’ in un’efficiente repository  ETICS  Contribuire alle attivita’ informatiche di Ricerca e Sviluppo  Core Grid  Coordinare l’espansione di EGEE nel mondo  EUMedGrid  Eu-IndiaGrid (MoU…)  EUChinaGrid (Argo..)  EELA(LHC-B…)

last update 27/06/ :51 Altre attivita’ FP6 di INFN Grid in Europa (2) (Oltre a EGEE)  Sostenere l’allargamento di EGEE a nuove comunita’ scientifiche  GRIDCC (Applicazioni real time e controllo apparati)  BionfoGrid (Bionformatici; Coordinato dal CNR)  LIBI (MIUR; Bionfomatici in Italia)  Cyclops ( Protezione Civile)  Contribuire all’ EIRG, L’ e-Infrastructure Reflection Group creato a Roma 12/2003  Iniziativa della Presidenza Italiana su “eInfrastructures (Internet and Grids) – The new foundation for knowledge-based Societies” Evento organizzato dal MIUR, l’INFN e la Commissione EU  Rappresentanti in EIRG nominati dai Ministri della Scienza EU  Policies e Roadmap per lo sviluppo delle e-Infrastrutture in EU  Coordinare la partecipazione all’Open Grid Forum (ex GGF)

G. Maggi 16 febbraio 2007 I progetti di INFN Grid attualmente attivi in FP6

last update 27/06/ :51 La e-Infrastruttura nazionale di Grid.it  Grid.it ha permesso di sviluppare e completare la fase di R&S per l’operazione di una Infrastruttura Grid Italiana (IGI) e lo sviluppo dei tools e dei servizi richiesto da un Grid Operation center (GOC) nazionale ben integrato con gli EU Regional Operation Centers (ROC)  Il GOC Italiano e’ localizzato all’INFN CNAF di Bologna ma si basa su contributi di altri Centri Italiani  Grid.it ha permesso di generalizzare il supporto dell’e-Infrastruttura dall’INFN ad altre Scienze seguendo il modello sperimentato con successo con la rete della Ricerca (GARR) Da INFNet al GARR

last update 27/06/ :51 37 ‘resource centers’: Tutti i Centri sono accessibili via Resources Brokers e registrati nel Sistema Informativo di Grid.it 25 Centri sono anche registrati nell’Infrastruttura EU e mondiale di EGEE/LCG 12 sedi sono accessibili solo attraverso i servizi di Grid.it INFN Grid fornisce la base SPACI, ENEA, ESA-ESRIN e i PON forniscono architetture di CPU diverse > 3000 CPUs, 500TB La grid Italiana di produzione: Grid.it

last update 27/06/ :51 FP7: garantire la sostenibilità dell’e-Infrastruttura Nazionale ed Europea  Il futuro della Grid nazionale in FP7 dopo il 2008  EGEE ha proposto al Parlamento Europeo la costituzione dell’ European Grid Initiative (EGI) avente lo scopo di:  Garantire lo sviluppo ed il supporto a lungo termine dell’e- Infrastruttura Europea costruita da EGEE e DEISA e dai progetti Grid nazionali avendo come fondamento delle National Grid Initiatives (NGI)  Fornire un quadro di coordinamento a livello EU sulla linea di quanto fatto per le reti della Ricerca da Geant, DANTE e le Reti Nazionali Tipo Garr  La Commissione ha chiesto che un progetto per la sostenibilita’ a lungo termine dell’infrastruttura Grid (EGI + EGEE-III, …) in aggiunta a DANTE+ Geant 1-2 sia incluso tra gli scopi di EGEE II  La costruzione di EGI a livello EU e di una National Grid Initiave a livello nazionale e’ tra gli scopi principali di FP7

last update 27/06/ :51 Obiettivo del 2007: definire EGI Obiettivi  Operare l’Infrastruttura Grid di produzione EU per tutte le Scienze  Sviluppare, integrare, testare, validare e distribuire il Grid middleware  Fornire aiuto, training e supporto alle nuove Comunita’ di utenti EGI

last update 27/06/ :51 Il prossimo passo: EGI design study  General agreement on the urgent need to prepare for a new “permanent” general EU Organization providing the evolution and operation of the Grid infrastructure at EU level  In collaboration with National Grid Initiatives (e.g.IGI)  New FP7 proposal for a design study of a new European Grid Initiative (EGI) with the general objectives to:  Provide long term foundation for the operation of production Grid infrastructures for all sciences in Europe in coordination with national initiatives  Provide coordination at EU level for middleware development and standardization  Integrate, test, validate and package Grid middleware for distribution  Provide advice, training and support to new user communities  Support industrial up taking

last update 27/06/ :51 L’Obiettivo della Grid Italiana per il 2007 :IGI  E’ finito nel 2006 Grid.IT, Il Progetto Nazionale 3+1 anni 12 M€ ( ) finanziato dal MIUR  Il futuro: L’Italian Grid Infrastructure (IGI) Association  E’ richiesta a livello EU (eIRG, ESFRI) l’unificazione dei vari spezzoni delle infrastrutture Grid Nazionali in un’unica Organizzazione Nazionale (NGI) che possa fornire un’unica interfaccia verso l’EU ->IGI per l’Italia  Appoggio sostanziale alla creazione di una Associazione (IGI), preposta ad una governance comune dell’e-Infrastruttura Italiana da parte di tutti gli Enti pubblici coinvolti:INFN Grid, S-PACI, ENEA Grid, CNR, INAF, Centri Nazionali di supercalcolo : CINECA, CILEA, CASPUR, e Consorzi nuovi PON (Riunione al MIUR)  In corso di valutazione con il MIUR l’evoluzione del Garr in un’Associazione piu’ generale preposta alla gestione di tutte le componenti della e-Infrastruttura: Rete, Grid, Librerie Digitali….  Uno dei nodi cruciali per il 2007 sara’ per l’INFN gestire il passaggio da INFN Grid a IGI in modo in modo da preservare, ed anzi aumentare, i livelli organizzativi che hanno consentito all’Italia di raggiungere un’eccellenza mondiale nel settore e costituire un partner forte di EGI

last update 27/06/ :51 La sostenibilità del Middleware :

last update 27/06/ :51 La Sostenibilita’ a lungo termine del MW in EU: OMII-EU  OMII Europe ( )  Progetto coordinato da UK, INFN e CERN rappresentano EGEE  Convergenza tra l’inizitaiva Italiana/INFN e l’iniziativa Inglese Open Middleware Institute Iniziative (OMII ) per dar vita ad un progetto Europeo per lo sviluppo ed il supporto a lungo termine del Middleware Open Source  ->OMII Europe  Complementare a iniziative di e-Infrastrutture nazionali  Obiettivi  Fornitura supporto e certificazione qualita’ del MW per le e-Infrastrutture  Evoluzione del MW verso gli standard internazionali OGF  Inter-operazione ed interoperabilita’ dei servizi forniti dai maggiori sviluppatori di MW: EGEE, Unicore, Globus e Condor

last update 27/06/ :51 Conclusioni  Le Grids e le e-Infrastrutture rappresentano la piattaforma abilitante per la realizzazione dell’Area della Ricerca Europea e per la promozione in Europa della Ricerca Scientifica, e Industriale e Commerciale di frontiera, in grado di costruire massa critica e innovazione in tutti i settori  Le e-Infrastrutture, come quella di EGEE basate su grid possono ampliare le possibilità di accesso alla conoscenza creando un nuovo mercato di risorse e applicazioni IT  Occorre garantire la sostenibilita’ futura delle e-Infrastrutture per l’e-Science  -> EGI a livello EU (Proposal per design study)  -> IGI a livello nazionale  Il progetto Europeo per il Middleware Open Source OMII-EU puo’ fornire un’importante opportunita’ per lo sfruttamento a lungo termine della tecnologia  Vedi: e link collegati