Note su Cloud Computing INFN a supporto del calcolo scientifico D. Salomoni, T. Boccali, A. De Salvo, G. Maron CCR – Roma, 14/12/2012

Alcuni punti generali di tendenza sulle Cloud e la loro adozione Explosion of devices and channels (delivery of services and products on many types of devices) – Noi come target abbiamo sempre avuto dei device (processori) molto tradizionali. Ora potenzialmente troviamo, oltre a i386, anche ARM server, device Android (tablets, smartphones), NVIDIA GPGPU, Intel Xeon Phi How to keep up with the rate of change of applications? (smaller, more focused) – Il nostro ambiente è sempre stato molto conservatore per quanto riguarda le applicazioni. La velocità con cui le nostre applicazioni / middleware cambiano piattaforma è bassissima e anche per questo motivo spendiamo un sacco di soldi: pensare ad esempio a quanti HEP-SPEC o in generale risorse si sarebbero potuti guadagnare (o risparmiare) passando tempestivamente da SL5 a SL6. How do you foster innovation to beat out competition? (competitive pressure) – La "competition" in questo campo è per noi legata alla possibilità di ottenere finanziamenti ministeriali, legami internazionali e accesso a progetti, ma anche prestigio rivendibile in altri campi e possibilità di incidere a beneficio dei nostri fisici nel campo dell'informatica e delle tecnologie ad essa legate. How to create fast partnership? (connect quicker, outside of normal interactions) – Purtroppo in Italia non è facile creare partnership efficaci ma ci siamo comunque spesso scontrati con il fatto di non essere molto capaci di reperire collaborazioni al di fuori del nostro ambiente standard. Ad esempio: partecipiamo (come abbiamo fatto) a SMAU oppure a Super Computing. Che cosa ne otteniamo? Che cosa pensiamo di ottenere in futuro? CCR - 14/12/2012D.Salomoni2 Fonte: presentazione a CLOUD-CON di Laura Olson, IBM

Cloud computing nell’INFN Vedi anche paper e relativa presentazione preparati per il Workshop GARR del 29-30/11/2012 – Slides allegate in fondo a queste note Evidenziamo la necessità di sviluppare un piano coerente per convergere verso un progetto di “Infrastruttura Cloud INFN” – Evitando N nuvole – IaaS o altro – disgiunte tra loro (e senza spezzettare / distribuire troppo le risorse di gestione) – In prospettiva integrabile con realizzazioni Cloud di altri Enti o con una “Cloud italiana” – Tenendo conto: delle competenze già presenti all’interno dell’INFN… … e dei progetti EU, premiali e di trasferimento tecnologico a cui partecipa l’INFN. – E’ importante definire in che modo un progetto di infrastruttura Cloud INFN possa relazionarsi ai progetti già approvati o approvandi, che hanno tecnicamente molti punti in comune a quanto verrà detto qui CCR - 14/12/20123D.Salomoni

Punti di partenza Interesse del calcolo scientifico per Cloud computing e storage – 1) da integrare con (e non contrapporre a) Grid computing, tenendo conto dell’installato, delle competenze ed esigenze attuali – 2) da validare come use case e come possibile base per futuri modelli di calcolo – 3) da federare (per iniziare) all’interno dell’INFN CCR - 14/12/2012D.Salomoni4

Alcuni use case per Cloud Supporto alla fisica sperimentale – LHC – diverse attività già in corso – Laboratori o strutture INFN che producono dati sperimentali – Cloud IaaS – Analisi dati – Farm in Cloud prossime ai dati, accesso batch e creazione di pool dinamici per interattivo – Simulazioni – Farm in Cloud con accesso batch Supporto alla fisica teorica – Farm HTC (e potenzialmente HPC?) in Cloud, accesso batch Integrazione con Cloud commerciali (es. per Cloud bursting) Supporto ai servizi calcolo – Vedi presentazione su Cloud per servizi di struttura Evoluzione delle nostre competenze per collaborazioni per progetti con EU (FP7, Horizon 2020) e con altri Enti ed istituzioni nazionali – Vedi presentazione su Cloud e Trasferimento tecnologico CCR - 14/12/2012D.Salomoni5

Esempi di benefit Armonizzazione delle infrastrutture (i centri di calcolo possono diventare più uniformi e meno experiment-oriented) – Con risparmi potenzialmente significativi in termini di utilizzo delle risorse – Diminuzione del supporto locale di esperimento Riduzione del “time-to-market” – Ad esempio, farm HLT con OpenStack per CMS potenzialmente utilizzabile per riempire anche pochi giorni di eventuale “buco” Dalle minute WLCG Ops Planning, 29/11/2012: “CMS is now testing the HLT farm in "cloud-mode" for organized data processing using Openstack with EC2 interface to start resources and glideinWMS3 for resource control, with data accessed from EOS over xrootd. The goal is to run at scale during the Christmas stop.” Virtualizzazione dello strato di rete – Per creazione di centri distribuiti logicamente uniti (per seamless bursting ma anche per HA, disaster recovery) CCR - 14/12/2012D.Salomoni6

Possibili azioni Riunire sotto un unico progetto le varie iniziative Cloud dell’INFN e organizzarle con obiettivi chiari e condivisi – Relazione con CdGA? – Relazione con progetti EU, premiali, di trasferimento tecnologico? Survey del middleware Cloud esistente ed utilizzato nell’INFN (es. OpenStack, OpenNebula, WNoDeS, U-Lite, altro) evidenziando pro e con – Verificare anche quello che viene fatto al CERN (non necessariamente facile né lineare) Identificazione di aree dove è richiesto sviluppo – Con la premessa che, ove non giustificato, meno cose si fanno in- house, meglio è – Brokering, autenticazione federata, accounting integrato – Cloud storage, sia locale che con filesystem geo-replicati Definizione di una architettura pilota con significativi use case CCR - 14/12/2012D.Salomoni7

Back-up Slides (Presentazione su prospettive di armonizzazione Cloud e Grid al Workshop GARR, 29-30/11/2012) CCR - 14/12/2012D.Salomoni8

Documento di partenza “Riflessioni in ambito INFN su prospettive per l’armonizzazione di attività Cloud e Grid per il calcolo scientifico” – S.Bagnasco, T.Boccali, G.Carlino, A.De Salvo, L.dell’Agnello, L.Gaido, M.Masera, M.Morandin, M.Paganoni, L.Perini, D.Salomoni, V.Vagnoni, C.Vistoli Workshop GARR, 11/29/129D.Salomoni

Contesto INFN ha attualmente 1 Centro Nazionale “Tier-1”, 9 centri “Tier-2” e qualche decina di siti più piccoli. – Al Tier-1: circa 14k slot di calcolo, 15 PB disco, 15 PB nastro; nei Tier-2: complessivamente risorse simili al Tier-1 (escluso il nastro) Operazioni su calcolo e storage distribuito gestite da esperimenti e da unità operations di IGI Workshop GARR, 11/29/12D.Salomoni10 Middleware sviluppato e supportato da INFN e utilizzato internazionalmente in Grid: VOMS, CREAM, WMS, Argus, StoRM. La infrastruttura Grid viene utilizzata con straordinario successo da esperimenti grandi e piccoli (distribuiti sia come risorse che come personale) a cui INFN partecipa a livello nazionale e internazionale. – La armonizzazione di sviluppo, deployment e operations di calcolo e storage distribuiti è fondamentale per l’INFN (Source: iSGTW, Aug 15, 2012)

Cloud Computing nell’INFN Da tempo oggetto di studio all’interno dell’Ente. Linee principali: – I grandi esperimenti (LHC) non hanno attualmente urgenza di passare a modelli Cloud  Fondamentale importanza del supporto del middleware attuale per INFN – Tuttavia grandi e piccoli esperimenti hanno interesse ad esplorare le semplificazioni / facilità d’uso promesse dal Cloud In particolare in piccole collaborazioni, e/o dove c’è carenza di specifiche competenze, manpower o interessi nel calcolo distribuito – Cloud computing nei centri di calcolo Per servizi e per data/code preservation (cf. presentazione di M. Maggi a questo Workshop) – Interesse per modelli PaaS Per scrittura facilitata di applicazioni portabili tra infrastrutture diverse Workshop GARR, 11/29/12D.Salomoni11

Iniziative Cloud in corso nell’INFN Dal 2009, progetto WNoDeS per la integrazione di Grid e Cloud attraverso la virtualizzazione (cf. presentazione di E. Ronchieri a questo Workshop) Partecipazione alla EGI Federated Cloud Task Force per la interoperabilità di stack Cloud – Technology agnostic (OpenNebula, OpenStack, WNoDeS, Okeanos) Gruppo di lavoro nella Commissione Calcolo e Reti INFN per la valutazione del Cloud nei centri di calcolo INFN Collaborazioni pubblico/privato con progetti P.O.N., smart cities e con progetti ad-hoc (cf. presentazione di P. Veronesi a questo Workshop) Workshop GARR, 11/29/12D.Salomoni12

Prospettive strategiche (1) Integrazione delle risorse esistenti – Evitare il dualismo Grid vs. Cloud a livello infrastrutturale (cf. adozione di modelli simili a WNoDeS mixed mode), fonte di inefficienza nell’uso delle risorse e di spreco di know-how – Integrazione di Grid e Cloud storage Accesso aperto e federato, simile a quanto implementato in Grid (ma più semplice ) – Accounting integrato, policy di accesso distribuite Brokering delle risorse efficiente e sicuro – Sia intra-Cloud che inter-Cloud Workshop GARR, 11/29/12D.Salomoni13

Prospettive strategiche (2) Attenzione alla scalabilità, con target di efficienza nella gestione di almeno O(10 4 )-O(10 5 ) VM – Necessità di adozione di soluzioni “non troppo R&D” Interfacce utente semplificate attraverso l’uso di portali integrati (cf. presentazioni di R. Barbera e di M. Bencivenni a questo Workshop) Virtualizzazione dinamica della rete, anche multi-sito – Network as a Service, ad esempio attraverso software-defined Dynamic Virtual Networks, indipendenti dai provider e dalla topologia di rete (QoS è un altro problema, come noto di non facile soluzione) Supporto di Cloud ibride (multi-provider, pubblico/pubblico, pubblico/privato) – Modelli espliciti, con richiesta da parte dell’utente – Modelli impliciti, con gestione trasparente da parte di resource providers (es. per cloud bursting) Workshop GARR, 11/29/12D.Salomoni14

Prospettive strategiche (3) Interoperabilità a livello PaaS – Dalla semplice fornitura di infrastruttura (VM), passare a servizi più generali (es. Cluster as a Service) e a piattaforme di servizi interoperabili multi-cloud. Utilizzare soluzioni open – Evitare vendor lock-in Last but not least: perseguire la valorizzazione di tutte le competenze presenti nelle comunità scientifiche italiane Workshop GARR, 11/29/12D.Salomoni15

Alcuni spunti di riflessione Definizione di architetture scalabili e gestibili – Le VM nel Cloud sono spesso black boxes. Come affrontare il problema del monitoring? Network-awareness applicata a tecnologie Cloud multiple – Supporto del concetto interoperabile di zone Flexible cloud storage – Il volume di dati aumenta, ma aumenta anche lo storage wall (più cores  congestione sull’I/O  aumenta la distanza con lo storage) – Tune hardware configuration parameters based on application types? I/O-intensive apps with low compute-to-memory ratio => high-speed network interconnect between nodes Compute-intensive apps with high compute-to-memory ratio => standard network interconnect between nodes Efficienza energetica – Optimal VM scheduling and placement – qualche aiuto da LRMS Geographically distributed file systems – Resiliency, disaster recovery – Connessione trasparente tra VM inter-sito (assumendo WAN links ad alta velocità) Workshop GARR, 11/29/12D.Salomoni16