Smart Cities and Communities and Social Innovation Bando MIUR D.D. 391/Ric. del 5 luglio 2012 “Open City Platform: OCP architecture” OCP architectural.

Presentazione sul tema: "Smart Cities and Communities and Social Innovation Bando MIUR D.D. 391/Ric. del 5 luglio 2012 “Open City Platform: OCP architecture” OCP architectural."— Transcript della presentazione:

1 Smart Cities and Communities and Social Innovation Bando MIUR D.D. 391/Ric. del 5 luglio 2012 “Open City Platform: OCP architecture” OCP architectural group

2 2 Sviluppo servizi ed applicazioni Fruizione servizi, applicazioni e gestione Authentication - Authorization - accounting IaaS adapter layer OCP Platform engine Openstack Native API Recipe HEAT /TOSCA TOSCA/AWS Monitoring engine Billing engine App store Citizen's Marketplace Reusable components App IaaS / PaaS Management Portal App TOSCA enabled interface iPaaS integration Layer Open Data Services Open Data Services Authentication - Authorization - Accounting Amministrazione API PaaS adapter layer API Open data engine API Open Data Layer StatPortal API TOSCAAWS Commercial IaaS adapter layer TOSCA/AWS API Microsoft/VMWARE Native API Physical Environment (infrastructure, HW, network) IAAS resources management vCenter Abstraction Layer: KVM, XEN, CEPH, Gluster FS, Open VSwitch L’architettura generale della Piattaforma OCP

3 L’architettura della piattaforma è stata disegnata considerando: integrazione IaaS e PaaS scalabilità multilayer interoperabilità riuso delle componenti robustezza Include al suo interno macro componenti particolarmente rilevanti: modulo orchestrator/automation modulo monitoring/billing PaaS layer/services IaaS layer/services Open Data e Open Service Engine Application Store e Toolkit Repository Citizen’s Marketplace Authentication - Authorization - accounting Openstack Native API Openstack Native API Recipe (HEAT/TOSCA) Recipe (HEAT/TOSCA) APIAPI Monitoring engine Lifecycle Engine APIAPI Billing engine App Store Citizen's Marketplace App AppApp APIAPI iPaaS Layer Open Data Services RC Open Data Services RC Opendata from external source IaaS / PaaS Management Management Portal Management Portal APIAPI IaaS providers Authentication - Authorization - Accounting L’architettura generale della Piattaforma OCP Reusable components (REST services) Reusable components (REST services) Disaster Recovery as a Service (DRaaS) Cloud Formation as a Service (CFaaS) API/TOSCAAPI/TOSCA Adapter PaaS Layer API/TOSCAAPI/TOSCA Flexible Resource Management Cloud to Cloud (C2C) Cloud to Cloud (C2C) Cloud to Ground (C2G) Cloud to Ground (C2G) Service Composition APIAPI APIAPIAPIAPI API/TOSCAAPI/TOSCA mysqlmysql Postgres SQL RDFRDF Open data engine AppserverAppserver Open Data Layer Real Environment (VM infrastructure, Storage, Network)

4 4 Infrastructure as a Service-IaaS Fornisce on demand e gestisce Macchine Virtuali e Storage

5 55 IaaS da PRISMA: Layout architetturale Gestione unitaria, dinamica ed efficiente di tutte le risorse hardware disponibili

6 6 OpenStack cloud environment Management Layer and Interfaces Open Stack oltre al set di componenti che permettono di realizzare un’infrastruttura IaaS completa per l’offerta e la gestione di macchine virtuali, storage e network offre anche una componente PaaS (HEAT) per l’automazione del lancio e la successiva gestione di applicazioni tramite templates All’interno di questo componente, OCP rende fruibile: un servizio di Cloud Formation as a Service (CFaaS), attraverso il quale sarà possibile definire una applicazione di tipo Cloud in funzione degli elementi che la compongono; un servizio di Disaster Recovery as a Service (DRaaS), che realizzerà le diverse funzioni di disaster recovery in modo indipendente dalle infrastrutture IaaS. Sulla base delle estese valutazioni e comparazioni fatte da PRISMA è stata identificata come migliore componente per l’offerta e la gestione di risorse virtuali la soluzione cloud computing open source di OpenStack (rispetto a Openebula e Cloudstack). Openstack Native API Openstack Native API Recipe (HEAT/TOSCA) Recipe (HEAT/TOSCA) APIAPI Disaster Recovery as a Service (DRaaS) Cloud Formation as a Service (CFaaS) API/TOSCA/AWSAPI/TOSCA/AWS Adapter L’OpenStack Cloud Environment Management layer è stato dotato di API che obbediscono agli standard de jure o de facto più in uso sul mercato mondiale come OCCI, CIMI, EC2 e le API native di OpenStack per il livello IaaS e, per il livello PaaS, in un prossimo futuro le specifiche standard de Jure TOSCA* definite a livello internazionale o quelle de facto AWS CFaaS *TOSCA (Topology and Orchestration Specification for Cloud Applications)*TOSCA (Topology and Orchestration Specification for Cloud Applications) da Oasis IaaS providers Real Environment (VM infrastructure, Storage, Network)

7 PaaS Layer e Lifecycle Engine Il Layer PaaS permette di automatizzare l’installazione e la gestione delle applicazioni/servizi degli utenti in infrastrutture IaaS sottostanti diverse attraverso l’uso di software PaaS specifici open source (quali Cloudify ed OpenShift) tramite le relative interfacce API REST o quelle di TOSCA. Lifecycle Engine APIAPI PaaS Layer API/TOSCAAPI/TOSCA Flexible Resource Management Cloud to Cloud (C2C) Cloud to Cloud (C2C) Cloud to Ground (C2G) Cloud to Ground (C2G) Service Composition APIAPI APIAPIAPIAPI Il Lifecycle Engine è il componente che semplifica ed automatizza la gestione delle installazioni, aggiornamenti e modifiche dei vari servizi software presenti nella piattaforma software di OCP. Si basa sul prodotto open source di Configuration Management System di largo uso Puppet integrato possibilmente con il tool di Lifecycle Management FOREMAN. Lo scopo di queste componenti è di consentire una gestione automatizzata del ciclo di vita delle applicazioni e dei servizi che si vogliono attivare su di una IaaS, sollevando l’amministratore dalla mera e ripetitiva gestione amministrativa. Physical Environment IAAS vCenter KVM OCP ha condotto parallelamente test e sperimentazioni su quattro diverse piattaforme PaaS leader di mercato. Cloudfoundry e WSO2 OCP sono state abbandonate Cloudify è stato scelto come orchestrator tecnologico avanzato e maturo di configurazioni complesse, sia basate su VM che dockers. Offre un supporto nativo ai servizi di Openstack. Automatizza il lancio e la gestione di applicazioni su IaaS diverse anche proprietarie ed in particolare su quelle basate su VMWARE molto utilizzate da utenti basati su Linux. Espone dalla versione 3 la specifica TOSCA come linguaggio standard per i suoi templates.TOSCA Openshift offre agli sviluppatori lo stesso environment arricchito da numerosi “reusable components” costruiti in OCP per garantire un’ alta percentuale di riuso di componenti comuni che poi troveranno in produzione in modo da facilitare debug e test

8 OpenShift PaaS : I vantaggi per gli sviluppatori L'utente/sviluppatore ottiene un account sulla PaaS Clicca un pulsate e OpenShift – OS genera in automatico lo scheletro di un'applicazione WEB (“Ciao Mondo”) Sempre in automatico l'applicazione autogenerata viene buildata e mandata in esecuzione subito Lo sviluppatore riceve da OS l'URL dell'applicazione per visionarla subito OS ritorna allo sviluppatore un Repo GIT Lo sviluppatore committa modifiche al codice autogenerato direttamente nel Repo GIT creato da OS OS si accorge in automatico del commit, builda il nuovo codice e lo manda in esecuzione eliminando la vecchia applicazione Risultato: lo sviluppatore si limita a scrivere codice, committare e testare. OS si occupa del build, del deployment e dell'installazione delle dipendenze 8

9 Open Data Layer L’Open Data Layer fornisce il pieno supporto alla generazione e fruizione di «dati aperti» a partire da fonti dati omogenee. I prodotti selezionati come Open Data engine sono CKAN e StatPortal. All’interno della piattaforma OCP si stanno implementando API per la generazione automatica dei dati e per la loro fruizione attraverso questi due toolkit open-source in grado di supportare un modello di dispiegamento e organizzativo che permetta: di accedere a informazioni presenti nel sistema informatico originario in tempo reale di realizzare transazioni e servizi bidirezionali di implementare l’interoperabilità in ogni amministrazione di valorizzare il principio di cooperazione applicativa tra i back-end di sistemi informativi pubblici di diverse amministrazioni 9 APIAPI mysqlmysql Postgres SQL RDFRDF Open data engine AppserverAppserver Open Data Layer

10 PRISMA Interface TOSCA enabled iPaaS Layer Lifecycle Engine APIAPI iPaaS Layer Disaster Recovery as a Service (DRaaS) Cloud Formation as a Service (CFaaS) APIAPI Adapter PaaS Layer APIAPI Flexible Resource Management Cloud to Cloud (C2C) Cloud to Cloud (C2C) Cloud to Ground (C2G) Cloud to Ground (C2G) Service Composition Orchestrator Brokering Orchestrator Brokering Queue System APIAPI mysqlmysql Postgres SQL RDFRDF Open data engine AppserverAppserver Open Data Layer OCP rende disponibile un servizio per l’integrazione delle diverse piattaforme PaaS citate in ottica di Integration Platform as a Service (iPaaS), cioè uno strato di soluzioni abilitanti per l’erogazione as a service di un framework di sviluppo di nuove soluzioni applicative, di piattaforme di integrazione di servizi cloud oriented, di business process services, nonché di messa a disposizione, in un’ottica WOA e SOA (Web Oriented Architecture e Service Oriented Architecture), di servizi e soluzioni applicative già esistenti. In OCP questo componente sarà un framework per l’iPaaS costituito da: un componente per consentire l'interoperabilità tra sistemi cloud eterogenei e tra sistemi cloud e legacy (ovvero non cloud- oriented); un componente per la composizione di servizi a livello PaaS e SaaS per favorire la condivisione di servizi a livello IaaS; un componente di monitor per PaaS che implementa tecniche di monitoraggio al fine di controllare le risorse IaaS e PaaS e monitorarne il funzionamento.

11 Orchestrator Layer iPaaS Layer Orchestrator Brokering Orchestrator Brokering Queue System E’ il livello di orchestrazione della infrastruttura OCP in cui vengono eseguiti e controllati tutti i diversi processi (workflows). Sviluppato originariamente nel progetto PRISMA, l’Orchestrator è un modulo software in grado di orchestrare tutte le macro operazioni gestendone sia il flusso esecutivo che gli step funzionali, sollevando l’utilizzatore finale dall’onere dell’astrazione delle funzionalità cloud dai particolari implementativi. L’Orchestrator, infatti, gestisce le interazioni tra le varie componenti infrastrutturali per mezzo di chiamate a funzioni di libreria verso quei servizi che espongono interfacce API REST. L’Orchestrator sviluppato nel progetto PRISMA è stato modificato in funzione delle specifiche esigenze del progetto OCP ed espone verso l’esterno l’interfaccia standard TOSCA Caratteristica peculiare dell’Orchestrator è la possibilità di interfacciarsi con un portale Web (livello Management Portal) adottando le più recenti tecnologie a disposizione in fase di sviluppo IaaS / PaaS Management APIAPI App Store Citizen's Marketplace App Management Portal Management Portal App AppApp APIAPI PRISMA Interface TOSCA enabled Open Data Services RC Open Data Services RC Opendata from external source Reusable components (REST services) Reusable components (REST services)

12 App Store (1/3) Orchestrator Brokering Orchestrator Brokering Queue System L' App Store di OCP rappresenta il punto d’incontro tra l'offerta di servizi e i target corrispondenti. I cittadini, come fruitori dei servizi finali, potranno usufruire di tutti quei servizi abilitati dalla PAL e raggiungibili attraverso la piattaforma cloud di OCP. Gli sviluppatori, invece, potranno usufruire di un App store di livello più tecnico. App Store Citizen's Marketplace App AppApp APIAPI PRISMA Interface TOSCA enabled Open Data Services RC Open Data Services RC Opendata from external source Reusable components (REST services) Reusable components (REST services) Il componente sarà costituito dai seguenti elementi: un’interfaccia per gestire i diversi profili di utilizzazione previsti; un repository organizzato dove conservare sia il software applicativo che le meta-informazioni a corredo. Il componente App Store, inoltre, permetterà di: eseguire ricerche destrutturate, visualizzare e utilizzare feedback degli utilizzatori, esporre API, esporre le specifiche di compatibilità con la piattaforma OCP, implementare funzioni di alerting, implementare verifiche sul codice per garantire gli standard di qualità, gestire la documentazione per le applicazioni. La Pubblica Amministrazione potrà rivestire il duplice ruolo di produttore di servizi per i cittadini (oppure per altre Pubbliche Amministrazioni) e ri- utilizzatore di servizi qualora intenda utilizzare quelle soluzioni applicative già rese disponibili nell'App Store.

13 App Store (2/3) Orchestrator Brokering Orchestrator Brokering Queue System L’App Store ospita una serie di applicazioni (App). Tra queste ci sono: Reusable Component Citizen’s Market Place Open Data Service RC App Store Citizen's Marketplace App AppApp APIAPI PRISMA Interface TOSCA enabled Open Data Services RC Open Data Services RC Opendata from external source Reusable components (REST services) Reusable components (REST services) L’applicazione Citizen’s Marketplace permette ai cittadini un accesso ed una gestione unificata di una vasta gamma di applicazioni e servizi che la PA o aziende esterne come quelle fornitrici di gas, energia elettrica, raccolta rifiuti etc. rendono disponibili L’applicazione Open Data Service RC consente all’utente di fruire degli Open Data

14 App Store (3/3) Orchestrator Brokering Orchestrator Brokering Queue System L’applicazione Reusable Component permette di rendere accessibili i componenti software riutilizzabili a livello di PaaS, ed è basato su di un Gestore di Componenti che implementa API REST esposte attraverso l'App Store. App Store Citizen's Marketplace App AppApp APIAPI PRISMA Interface TOSCA enabled Open Data Services RC Open Data Services RC Opendata from external source Reusable components (REST services) Reusable components (REST services) il servizio di Certificazione certificata, che permetterà a cittadini e imprese la produzione di autocertificazioni; un servizio di pagamenti, fruibile attraverso un portale Web, per la gestione di pagamenti e relativa fatturazione online; un identity manager, che permetterà e gestirà l'autenticazione con standard SAML2.0; un gestore di Big Data, che faciliterà la gestione di dati di grandi dimensioni relativi al monitoraggio di risorse e servizi offerti in un ambiente smart cities; un Media Storage, che permetterà di analizzare il contenuto di diverse tipologie di file estrapolando tag e categorie; un Gateway Multicanale per centralizzare e standardizzare i processi di contatto tra gli attori coinvolti; un classificatore semantico, in grado di classificare documenti più o meno strutturati in base alla conoscenza del dominio. I principali servizi/applicativi che saranno integrati nel modulo in esame sono: il servizio di Cartografia, per la gestione di servizi di tipo geografico; tosca

15 Management Portal gli amministratori potranno avere a disposizione una interfaccia di management delle risorse infrastrutturali cloud sarà possibile accedere ad informazioni presenti nel sistema informatico originario attraverso l’uso di Open Data ed Open Services che permettono di valorizzare il principio di cooperazione applicativa tra i backend di sistemi informativi pubblici di diverse PAL (ed eventualmente delle diverse imprese) attraverso la realizzazione di transazioni e servizi bidirezionali. IaaS / PaaS Management Management Portal Management Portal APIAPI Orchestrator Brokering Orchestrator Brokering Queue System PRISMA Interface TOSCA enabled Si tratta di un portale Web attraverso il quale: gli utenti potranno richiedere l’erogazione di servizi messi a disposizione nell’App Store dagli sviluppatori/provider di servizi alla comunità (Citizen’s Marketplace), mentre gli sviluppatori/provider di servizi potranno pubblicizzare i servizi offerti (Service Marketplace) potranno essere pubblicati servizi altamente specifici e personalizzati per applicazioni in ambito e-gov. Tali servizi (service toolkit) prendono il nome di OCP Reusable Components e sono elementi applicativi fortemente orientati al riuso.

16 Monitoring Layer Il Monitoring Layer è di fondamentale importanza per fornire all’Orchestrator i dati necessari al suo sistema di Business Intelligence per garantire sia il controllo del funzionamento ottimale ed efficiente della infrastruttura cloud e dei servizi erogati, sia come base per le ulteriori attività di metering, accounting e billing relative ai servizi IaaS, PaaS e SaaS. OCP ha sviluppato nell’Orchestrator un layer di astrazione che può ricuperare i dati di monitor dai repository originari dei prodotti di monitor di piu in uso. Questi ad oggi comprendono Nagios Cacti Zabbix Ganglia Ceilometer OCP ha sviluppato e reso disponibile anche un sistema di Monitoring per le applicazioni attivate nell’infrastruttura cloud di OCP Monitoring engine Billing engine Authentication - Authorization - Accounting

17 Billing Layer Il billing è per definizione il processo con cui si determina l’entità del pagamento che un provider di servizi riceverà dall’utente finale in cambio dei servizi erogati. Monitoring engine Billing engine Authentication - Authorization - Accounting Il servizio di billing viene a dipendere fortemente sia dal sistema di monitoring, che fornisce i dati di consumo delle risorse cloud, sia dal sistema di autenticazione-autorizzazione-accounting, che fornisce i dati relativi all’accesso al sistema.

18 Authentication, Authorization, Accounting (AAA) In questo layer OCP rende disponibile un framework in grado di autenticare e autorizzare gli utenti ad accedere ai servizi infrastrutturali o applicativi in modo federato e consentire loro delle azioni sulla base di ruoli e permessi. Monitoring engine Billing engine Authentication - Authorization - Accounting In merito al concetto di autenticazione ed autorizzazione degli utenti, e più in generale al concetto di sicurezza delle informazioni, OCP fa riferimento al Sistema Pubblico per la gestione delle Identità Digitali di cittadini e imprese (SPID) definita dall’Agenzia per l’Italia Digitale (AGID) che ha lo scopo di rendere possibile l’accesso ai servizi offerti dalle pubbliche amministrazioni. OCP prevede l’integrazione con il sistema SPID. Il Framework di sicurezza di SPID prevede i seguenti componenti  IdP : Componente esterno a OCP basato sul protocollo SAMlL2 che fornisce l’identità di un utente secondo le specifiche di SPID  Attribute Authority: Componente di OCP che fornisce gli attributi relativi ai ruoli via SAML compliant con SPID  OpenAM sistema di Access Management : svolge le funzioni di orchestratore per il controllo di autorizzazione all’accesso delle risorse e servizi basata su Single Sign On ; opera con i componenti :  Interfaccia verso IdP e AA SPID per ricuperare identità e attributi di un utente via SAML2  Servizio di policy enforcemente basato sullo standard XACML3 e costituito dai seguenti componenti: Policy Enforcement Point (PEP) Policy Decision Point (PDP), richiamabile anche a servizio Policy Administration Point (PAP), richiamabile anche a servizi

19