!CHAOS e Cloud Enrico Fattibene INFN-CNAF Workshop di CCR sull'Infrastruttura Cloud 15 Dicembre 2014 Quest'opera è distribuita con Licenza Creative Commons Attribuzione - Non commerciale - Condividi allo stesso modo 3.0 Italia. 1

Workshop di CCR sull'Infrastruttura Cloud !CHAOS Control system based on Highly Abstracted and Open Structure Nato per realizzare un sistema di controllo distribuito per SuperB Ha lo scopo di realizzare un nuovo concetto di sistema di controllo e acquisizione dati Si basa su moderne tecnologie web allo scopo di fornire performance, scalabilità, ridondanza e stabilità Disegnato per controllare e gestire infrastrutture scientifiche e non Workshop di CCR sull'Infrastruttura Cloud

Workshop di CCR sull'Infrastruttura Cloud !CHAOS e Cloud Una “cloud” di controlli Premiale INFN Il progetto prevede la creazione di un prototipo di Control as a Service ovvero un’infrastruttura a livello nazionale che realizzi una nuvola di servizi e procedure software distribuiti e condivisi sulla LAN/WAN, che permetta il monitoraggio e controllo di qualunque dispositivo hardware, sistema di archiviazione o componente intelligente WP5 Sviluppo e implementazione dell’infrastruttura sulla quale realizzare i servizi distribuititi della cloud di controlli, il calcolo estensivo, l’archiviazione dei dati e la gestione delle risorse garantendone scalabilità, affidabilità e ridondanza. Progettazione e realizzazione dei servizi necessari per l’accesso e l’utilizzo dell’infrastruttura. Workshop di CCR sull'Infrastruttura Cloud 3

Information Node Service Componenti principali Live Data Service CU datasets Chaos Data Service Provides Data Storage and Retrival services to chaos nodes !CHAOS DB Drivers CDS Distributed Object Cache (memcache/couchbase) KVDB + (D/N)FS (mongoDB) Meta Data server Information Node Service CU publishing CU configuration manager Sematic of CU data Node information Node Activity Security … History Data Service Mongo keeps information to retrieve data DFS keeps data Fonte: A. Michelotti Workshop di CCR sull'Infrastruttura Cloud

Workshop di CCR sull'Infrastruttura Cloud Schema Cloud di controlli Remote Control Unit Remote User Interface Cloud Servizi !CHAOS CDS CDS CDS MDS MDS MDS Servizi generali File System Cluster Mongo DB Cluster Couchbase Servizi OpenStack Workshop di CCR sull'Infrastruttura Cloud

Workshop di CCR sull'Infrastruttura Cloud Servizi !CHAOS Immagini Ubuntu personalizzate Software specifico Dipendenze Devono poter comunicare con la Control Unit e la User Interface Che potrebbero non avere indirizzi pubblici Da investigare VPN as a Service Workshop di CCR sull'Infrastruttura Cloud

Workshop di CCR sull'Infrastruttura Cloud File system POSIX Deve essere accessibile da CDS Deve essere on-demand parte dell’infrastruttura virtuale Possibili soluzioni Manila (Shared File System) Incubato in OpenStack Juno, poco maturo Da valutare in futuro (autunno 2015) Cluster Ceph on-demand Pronto template Heat per Icehouse 3 Ceph OSD e 1 Metadata service Storage su Cinder o su dischi delle VM Workshop di CCR sull'Infrastruttura Cloud

Workshop di CCR sull'Infrastruttura Cloud Hadoop File System (HDFS) Sahara (Hadoop as a Service) Integrato in OpenStack Juno Permette di creare e gestire cluster Hadoop su OpenStack Specificando versione, topologia del cluster e altre configurazioni Supporta il dimensionamento dinamico del cluster Può usare Cinder come backend dei volumi Anti-affinity Volumi su compute node diversi per garantire ridondanza Data-locality Favorisce l’accesso ai dati che sono sullo stesso rack, sullo stesso compute node o anche sulla VM stessa Multi-region Integrato in Heat Workshop di CCR sull'Infrastruttura Cloud

Workshop di CCR sull'Infrastruttura Cloud Cluster MongoDB/Couchbase Possibili soluzioni Driver Docker per Nova Il driver non è ufficialmente in Nova, pur continuando il suo sviluppo Ci si aspetta ritorni in-tree in Juno Trove (Database as a Service) In Icehouse non è utilizzabile e il supporto a DB NoSQL è sperimentale In Juno implementata la creazione automatica di uno shard (replica set per MongoDB), parametrizzabile per numero di config server e replica members; assente la scalabilità su più shard. Instanziazione di VM con MongoDB/Couchbase In Icehouse sembra la soluzione più stabile Assenza di un template Heat specifico per scalabilità (orizzontale, attraverso sharding) per MongoDB Potrebbe essere un servizio multi-tenant Workshop di CCR sull'Infrastruttura Cloud

Workshop di CCR sull'Infrastruttura Cloud Infrastruttura OpenStack 2 distinte infrastrutture CNAF e LNF Da portare in Cloud multi-region INFN Versione Icehouse Servizi centrali, compute nodes, Heat, Ceilometer Accesso Identità federata tramite Keystone distribuito Interfacciato con AAI ? Gli utenti !CHAOS potrebbero essere inclusi in un tenant che può operare su un sottoinsieme di regioni Workshop di CCR sull'Infrastruttura Cloud

Workshop di CCR sull'Infrastruttura Cloud Orchestrazione Portale per utente !CHAOS Da cui creare una Cloud di controlli completa a partire da parametri indicati dall’utente Interfacciamento con API di Heat Algoritmo per mappare i valori inseriti in parametri per Heat Possibilità di replicare la Cloud di controlli su un’altra regione Possibilità di autoscaling Servizi !CHAOS replicati geograficamente? Heat per ora non supporta le regioni forse in Kilo (Aprile 2015) Workshop di CCR sull'Infrastruttura Cloud

Workshop di CCR sull'Infrastruttura Cloud Conclusioni L’architettura !CHAOS si presta bene ad un ambiente Cloud OpenStack offre diverse tecnologie (in continua evoluzione) per implemetare una Cloud di controlli L’orchestrazione è un fattore importante per istanziare una infrastruttura virtuale on-demand astrarre la complessità di uso di OpenStack scalare automaticamente l’infrastruttura La replica geografica dei servizi è un obiettivo a cui tendere Workshop di CCR sull'Infrastruttura Cloud

Workshop di CCR sull'Infrastruttura Cloud Ringraziamenti Per i contributi a questa presentazione: Giovanni Mazzitelli, Alessandro Stecchi, Andrea Michelotti, Claudio Bisegni e il gruppo WP5 !CHAOS (Massimo Pistoni, Riccardo Gargana, Eliana Gioscio, Dael Maselli, Michele Michelotto, Ramon Orrù, Tomaso Tonto, Michele Tota) Workshop di CCR sull'Infrastruttura Cloud