1 Consultazione pubblica su White Paper e-IRG 2013: integration of services for research communities and interoperability and coordination of e-Infrastructures

Progetti INFN su cloud computing 2 Luciano Gaido

Sommario 3 Introduzione Progetti cloud in corso: Cagliari 2020 PRISMA STOA (PRIN) Marche Cloud EGI-InSPIRE (Federated Cloud Task Force) Progetti in fase di valutazione: Cloud4eGov (Smart Cities) Open City Platform (Smart Cities) Sinergie Conclusioni

Introduzione 4 Interesse per la tecnologia cloud dovuta a diversi fattori: ‘esaurimento’ della stagione grid necessità di risorse di calcolo e storage ‘elastiche’ da parte degli utenti necessità di ottimizzare l’uso delle risorse da parte dei gestori dei Data Center possibilità di adottare soluzioni esistenti, adattandole alle proprie esigenze, invece di sviluppare soluzioni da zero come era stato per la grid futuri finanziamenti (H2020 e dintorni) Risultato: molte iniziative in corso o proposte di progetto, a livello locale, nazionale e internazionale

Una precisazione importante 5 Anche per sfatare (falsi) miti e leggende metropolitane…. I progetti dei bandi Smart Cities sono progetti di Ricerca e Sviluppo. NON E’ PREVISTO che l’INFN fornisca risorse e servizi per altre comunità scientifiche o per la Pubblica Amministrazione. Naturalmente nulla vieta che l’INFN fornisca servizi per utenti esterni, ma questo deve essere approvato dal management INFN e si dovrebbe inquadrare nelle attività di “Conto Terzi”

Cagliari 2020 (PON Smart Cities) 6 Soluzioni cloud per mobilità urbana, miglioramento situazione energetica e ambientale Durata: giugno/luglio 2013 – dicembre 2015? Budget complessivo/INFN: 25/ 2.5 M€ Partner coinvolti: INFN, Univ. Cagliari, Vitrociset (GA), SPACE (PMI), CRS4, Consorzio Trasporti Municipale Cagliari Sedi INFN coinvolte: Cagliari e CNAF Aree applicative: mobilita', trasporti, ambiente, sensor data collection

PRISMA (PON Smart Cities) 7 costruzione di uno stack di Cloud IaaS Open Source Durata: ottobre 2012 – giugno 2015 Budget complessivo/INFN: 27.5/ 1.8 M€ Partner coinvolti: INFN, Santer Reply, coop EDP La Traccia, InnovaPuglia, UNIBA, UNICT, Sielte, Sicilia sistemi e Tecnologie, CNR, ATS, Lupo' Costruzioni, CINECA (CILEA), UNIEnna Sedi INFN coinvolte: Bari, Catania e Napoli, collaborazione importante del CNAF Aree applicative: e-government, sanitario, sicurezza sismica del territorio Sinergia con ReCaS che fornirà alcune risorse dei 4 DC per il progetto

STOA (PRIN) 8 Ottimizzazione accesso ai dati LHC con grid e cloud e analisi sincrona Durata: – dicembre 2015 Budget complessivo/INFN: 886/115K€ Partner coinvolti: INFN, Università di CT, GE, ROMA1, CA, TS, TO, NA Fed. II, MI, PG, BO, POLIBA Sedi INFN coinvolte: LNL, LNF, PI. Partecipazione di ricercatori anche a MI, BO e TO Area applicativa: HEP, possibili ricadute in altri settori (Trasferimento Tecnologico)

Progetto pilota MCloud 9 prototipo di framework per il Cloud Computing per l'erogazione di servizi pubblici nella regione Marche; definizione di una infrastruttura più generale che implementi la "vision" per il cloud computing della regione marche Durata: luglio 2012 – luglio 2013 Budget INFN: 246 K€ Partner coinvolti: INFN, Regione Marche, Università di Camerino, Università Politecnica delle Marche, in fase di inclusione Urbino e Macerata Sedi INFN coinvolte: CNAF e Perugia Aree applicative: sanità, gestione/rilascio certificati efficienza energetica, definizione di "porte di dominio" comunali (qualche centinaio di comuni aderenti), in attivazione altri applicativi (turismo e verifica bandi PA)

Cloud4eGov (Smart Cities) 10 piattaforma Cloud per federazione e interoperabilità di soluzioni cloud eterogenee, sia aperte che proprietarie, per supportare nuovi processi digitali e modalità di interazione efficaci tra il Cittadino e la Pubblica Amministrazione (PA) e per consentire condivisione e riuso di applicazioni/servizi Stato: in fase di valutazione dal MIUR Durata: 30 mesi Budget complessivo/INFN: 20.2/1.4 M€ Partner coinvolti: INFN, Telecom Italia, Santer Reply, INFN, ISMB, 5 PMI (Telsy, AVIP, SMC, Seven One, Init), UNIROMA1, UNIPD, UNINA (Federico II) Sedi INFN coinvolte: CNAF, Padova e Torino Aree applicative: lavoro in mobilità, e-Health, e-Democracy, beni culturali, Smart Mobility, Crowdsourcing, document management, sensor data collection

Open City Platform (Smart Cities) 11 fornire soluzioni cloud e strumenti che consentano alle PA di condividere e riutilizzare applicazioni e servizi, e a i cittadini di accedere in modo semplice e unificato ai servizi Stato: in fase di valutazione dal MIUR Durata: 30 mesi Budget complessivo/INFN: 19.4/2.3 M€ Partner coinvolti: Almaviva, Maggioli, Santer Reply, TD Group, ATI Marche (12 PMI), ATI Toscana (8 PMI), INFN, UNICAM, (ISMB) Sedi INFN coinvolte: Bari,CNAF, Padova, Perugia e Torino Aree applicative: smartGov, catasto e tributi, salute e qualità del cibo, infomobilità e videosorveglianza

EGI-InSPIRE Federated Cloud Task Force 12 INFN partecipa sia come resource provider sia come Technology Provider con la soluzione WNoDeS Esercizio utile per valutare le potenzialità della soluzione INFN e confrontarla con altre soluzioni sul mercato  vedi presentazione su WACK di D. Salomoni Utile anche perchè si sta facendo un lavoro sugli standard di accesso e cloud federate: OCCI Il portale di IGI consente di interfacciare le differenti istanze cloud del testbed di EGI  premio per la miglior demo allo scorso Community Forum di EGI (Manchester, marzo 2013)

EGI-TF 13

Analisi comparativa dei progetti 14 Alcune informazioni generali componenti esistenti su cui si basa il progetto (forniti da altri progetti e/o iniziative) componenti che ogni progetto intende sviluppare (data presunta di rilascio) sinergie possibili tra progetti (in qualche misura già in atto) e con altre realtà INFN non direttamente coinvolte nei progetti e possibili ricadute

componenti/soluzioni su cui si basano le componenti sviluppate deployment previsto sinergie esistenti con altre iniziative e progetti Cagliari 2020 componenti IaaS fornite da PRISMA sensori su semafori e autobus case study per PRISMA, altre sinergie da valutare PRISMA Open Stack, OpenNebula, WNoDeS e altre eventuali componenti open esistenti Il testbed che verrà realizzato per Prisma potrebbe essere di interesse dell'INFN fornisce componenti/soluzioni a vari altri progetti: Cagliari2020, Cloud4eGov, Open City Platform, PRIN, ReCaS Marche Cloud Open Stack, Ganglia, Nagios testbed al CNAF e pilot in Regione Marche (Ancona) con mirroring al CNAF (attivo da dicembre 2012) PRISMA (federazione di cloud), con OCP e altri Smart Cities STOA (PRIN) OpenNebula, WNoDeS, STORM e DGAS da INFN/IGI; PROOF on demand (PoD), LHCOne, AAI soluzioni diverse nelle varie sedi interesse per Excellent Science in Horizon 2020 Cloud4eGov componenti IaaS fornite da PRISMA e soluzioni dei partner privati non è previsto un testbed a cui partecipa l'INFN PRISMA Open City Platform componenti IaaS fornite da PRISMA, Mcloud e altri progetti testbed in toscana, lazio e sedi INFN (BA, CNAF, PD e TO) PRISMA 15

possibile coinvolgimento di altre realtà (INFN e non) generalità e riutilizzabilità delle soluzioni sviluppate nel progetto in un contesto più ampio Cagliari 2020 progetti CE e altre iniziative nazionali e internazionali legate a Smart Cities (contatti con Argonne e Univ. Chicago) Le soluzioni sviluppate possono essere applicate ad altre realtà urbane, nazionali, Europee ed extraeuropee PRISMA Collaborazione con CNAF. Estensione del testbed a livello INFN con coinvolgimento di persone /esperimenti INFN Soluzioni di IaaS da applicare anche in contesti di calcolo scientifico, e anche in sedi diverse da quelle che partecipano al progetto Marche Cloud PMI nelle Marche, centri di ricerca (Univ. Urbino e Macerata) e altre regioni : ER, Piemonte, Umbria e Veneto. esperienza utile da replicare in altre sedi INFN e per definire una strategia per il Cloud Computing INFN formazione; architettura IaaS e monitoring; esperienza utile per R&D su autentic. federata e interconnessione di cloud, test di nuove soluzioni e trasferimento tecnologico STOA (PRIN) LoS da CERN, IGI, EGI.eu, CC-IN2P3, PIC trasferimento tecnologie a realtà non HEP, ad es. per ricerca medica Cloud4eGov da definire alcune componenti di interesse generale (CIB, CAM, CAS) Open City Platform da definire componenti a livello PaaS e SaaS, market place, estensioni del livello IaaS rispetto a PRISMA, riutilizzabili da varie PA e oltre 16

Cosa serve all’INFN? 17 Di tutte le componenti/servizi previsti in questi progetti cosa serve all’INFN? tutte le cose sviluppate in STOA (PRIN) procedure, tool, ricette per installazione e configurazione di una farm cloud [MarcheCloud, PRISMA] security (compreso AA), tool di accesso (portali) [PRISMA, Cloud4eGOV, OCP] strumenti per la federazione di cloud [PRISMA, Cloud4eGov] allocazione dinamica delle risorse (+ advanced reservation) [PRISMA] strumenti per la costruzione di PaaS (in misura minore anche SaaS) [Cagliari2020, PRISMA, OCP] strumenti per HA e Disaster Recovery [PRISMA, MarcheCloud, OCP] soluzioni per storage (FS distribuito, strumenti per trasferimento e gestione dati) e image/application repository [MarcheCloud, PRISMA, Clod4EGov, OCP] monitoring e accounting [MarcheCloud, PRISMA, OCP] formazione [MarcheCloud]

IaaS, allocazione dinamica risorse, cluster Cagliari 2020Prisma Marche CloudSTOA (PRIN) Cloud4 eGov Open City Platform implementazione in produzione di IaaS basata su OpenStack, configurazione e documentazione disponibile R&D su allocazione dinamica risorse (basate su WNoDeS) BO: nel 2014; CA: plugin per OpenStack per l’utilizzo dinamico delle risorse di calcolo, per ottimizzare la configurazione di rete possibile in OpenStack, etc. primo prototipo al mese 12 (novembre 2013) Tool per il deployment di cluster-wide applications Mese 12 (giugno 2014?) interoperabilita' di Openstack con VMWARE e API EC2 disponibile 18

Federazione, Broker e servizi correlati Cagliari 2020Prisma Marche CloudSTOA (PRIN)Cloud4eGov Open City Platform HA per cloud IaaS (OpenStack), con riattiv. automatica istanze e load balancing disponibile giugno 2013 Tool per distributed cloud consolidation e disaster recovery su cloud federate Mese 12 (giugno 2014?) layer di accesso multicloud per federare cloud miste (pubbliche e private) in contesti geograficamente distribuiti Mese 20 (luglio 2014) Cloud Infrastructure Broker (CIB), con API per disaccoppiamento degli strati Paas e Saas Mese 18 (gennaio 2015?) 19

Monitoring, accounting Cagliari 2020Prisma Marche CloudSTOA (PRIN)Cloud4eGov Open City Platform monitoring per IaaS OpenStack con sensori custom basati su Nagios e Ganglia disponibile Cloud Management Interface (CMI), include IaaS e PaaS monitoring Mese 12 (giugno 2014?) Cloud Application Management and Monitoring (CAM) Mese 14 (settembre 2014?) servizi di accounting, billing e pagamenti Mese 12 (giugno 2014?) servizi di monitoring, metering e accounting Mese 12 (novembr e 2013) 20

Tool per servizi applicativi Cagliari 2020Prisma Marche CloudSTOA (PRIN) Cloud4eGo v Open City Platform Tool per la composizione di servizi Mese 12 (giugno 2014?) Service Components Mashup (SCM) Mese 14 (settembre 2014?) Service Marketplace Mese 12 (giugno 2014?) Citizen's Marketplace Mese 12 (giugno 2014?) Strumenti per l'integrazione delle applicazioni sulle piattaforme cloud SaaS TBD, prevista cooperazione con PRISMA mese 24 (Novembre 2014) Mese 12 (giugno 2014?) Strumenti per l'integrazione (e gestione) delle applicazioni sulle piattaforme cloud PaaS TBD, prevista cooperazione con altri progetti Mese 12 (giugno 2014?) 21

Cloud Storage Cagliari 2020Prisma Marche CloudSTOA (PRIN)Cloud4eGov Open City Platform integrazione di cloud storage e FS open (GlusterFS) disponibile Mese 12 (giugno 2014?) Cloud Application Store (CAS) Mese 18 (gennaio 2015?) Ottimizzazione accesso ai dati BA, BO e TS: gradualmente nel corso dei tre anni del progetto Open Data: tool per generaz. automatica di API Mese 12 (giugno 2014?) EventIndex GE: alla fine del progetto, inizio

Security e Accesso Cagliari 2020Prisma Marche CloudSTOA (PRIN)Cloud4eGov Open City Platform Sviluppo di un portale e delle interfacce per l’accesso alle risorse di Cloud, partendo dal portale ufficiale di OpenStack Mese 12 (novembre 2013) Realizzazione del portale per l’accesso alla piattaforma PaaS Mese 15 (febbraio 2014) interfacce cloud ai bologna (in parte già presente); science (prima release alla fine del primo anno) Cloud Security Layer (incl. federaz. Identità) Mese 18 (gennaio 2015?) Mese 12 (giugno 2014?) 23

Servizi applicativi Cagliari 2020Prisma Marche CloudSTOA (PRIN)Cloud4eGov Open City Platform virtualizzazione/cloudizza zione servizi PoD roma con OpenStack (gennaio 2014); torino con OpenNebula (già in produzione) Cloud Processes, Services & Documents Manager (CPSDM), Document Management e Portale Mese 18 (gennaio 2015?) Sensor Data Collector Mese 18 (gennaio 2015?) Formazione materiale per tutorial su IaaS OpenStack + servizi implementati sul pilot Mcloud disponibile 24

Sinergie… 25 Le sinergie sono di vario tipo. Ad es. WNoDeS è sviluppato da CNAF+IGI, è stato promosso sia nel progetto EMI (sviluppo) sia in EGI-InSPIRE (Testbed della Cloud TF) il portale di IGI prevede sia accesso alle risorse grid che cloud (per tutte le istanze cloud della Cloud TF di EGI) Bisogna cercare di valorizzare il lavoro fatto in ogni contesto/iniziativa massimizzandone il ritorno  evitare di reinventare la ruota e promuovere lo “sviluppo” (o customizzazione) di soluzioni sviluppate con fondi esterni in modo che vadano bene anche per le esigenze INFN

Sinergie (2) 26 In questa presentazione sono state evidenziate le principali caratteristiche/componenti da prendere in considerazione per: individuare possibili sinergie tra progetti (in parte già fatto) coinvolgere altre realtà INFN interessate (o con attività simili in corso  vedi ‘survey’ del WG cloud di CCR) mettere in luce le possibili ricadute (in INFN e oltre) L’analisi effettuata è a grana molto grossa, serve una analisi più fine (fuori dallo scope di questo workshop)  è il primo passo di un percorso, non la conclusione

27 Necessità di individuare le possibili sinergie e trovare il modo di realizzarle Approccio graduale, con piccoli passi (ma concreti). I primi: estensione del testbed di PRISMA oltre i confini del progetto per: provare le componenti che a mano a mano vengono rilasciate coinvolgere altre realtà INFN (capitalizzare l’expertise presente nelle sezioni)  ruolo del WG cloud di CCR “guidare” gli sviluppi tramite specifici use case di interesse INFN (e più in generale di wLCG) Conclusioni

28 Un ulteriore passo importante: definire un coordinamento tecnico tra progetti che consenta di rendere operative le sinergie e realizzi uno scambio di informazioni costante tra progetti e realtà INFN attive su cloud. Conclusioni (2)

29 Grazie per l’attenzione