Sviluppo Tools Automatic Deployment IaaS OCP Cristina Aiftimiei (INFN-CNAF) AG del 26/03/2015

Ultimamente ci sono sempre più richieste di realizzazione di testbed presso nuove PA che sono interessate a sperimentare la piattaforma di OCP partendo da Openstack  senza un processo di automatizzazione e di standardizzazione delle procedure d'installazione non riusciremo a far fronte a questa crescente domanda.  È stato definito un gruppo di lavoro per la creazione di procedure automatiche d'installazione di Openstack basate su tools generali come Puppet e Foreman/Fuel:PuppetForemanFuel  Bari: Alessandro Italiano, Marica Antonacci, Giacinto Donvito  CNAF: Giovanni Zizzi, Diego Michelotto, Cristina Aiftimiei  Padova: Sergio Traldi, Alvise Dorigo, Marco Verlato  Torino: Marco Saletta Sono stati definiti gli scenari per un’installazione scalabile fino a migliaia di core in HA dei servizi IaaS di OpenStack 2

Componenti OpenStack Icehouse cluster HAproxy/Keepalived HAProxy - free, very fast and reliable solution offering high availability, load balancing, and proxying for TCP and HTTP-based applications Keepalived - provide simple and robust facilities for loadbalancing and high-availability to Linux system and Linux based infrastructures. Controller central management system for OpenStack deployments Manages: databases, message queue services (AMQP), authentication and authorization for identity management, Image-management services, Scheduling services Neutron Gestione della rete – implementa il concetto di Networkas a Service “Servizio” tra interfacce (per esempio interfacce virtuali) fornisce differenti modelli di rete - flat networks o VLAN gestisce gli indirizzi IP, consentendo l'assegnazione di indirizzi IP statici dedicati oppure tramite DHCP Compute Nodes framework per la fornitura e la gestione su larga scala di istanze virtuali. Foreman complete lifecycle management tool for physical and virtual servers. open source project - provisioning, configuration management, monitoring Fuel open source deployment and management tool for OpenStack. GUI-driven experience for deployment and management of OpenStack 3

Scenari d’installazione A A B B C C Cluster Haproxy/Keepalived Cluster MySQL (Percona), RabbitMQ & Ceilometer + MongoDB D Controller & Network E 1)w L3 agent 2)w/o L3 agent => VLAN F Foreman/Fuel & Monitoring - DHCP, DNS, TFTP - Pupper - Zabbix/Nagios Compute Nodes Storage Nodes - 3xDS w CEPH (block device) Requisiti server A, B, C – 4 Core/8 GB RAM D, E – 8 Core/ 32 GB RAM F – 4 Core/ 8GB RAM No. Minimo server = 6 + N compute 1.No storage – si usa spazio disco ComputeNodes 2.W storage – 3xDS con HA, CEPH 4

Sono state identificate le prime attivita’: Collezionare moduli puppet gia’ esistenti per i vari servizi che s’intendono configurare - Verificare l’installazione degli scenari proposti con eventuale sviluppo di un modulo OCP che contenga le customizzazioni concordate per OCP e che definisca quali sono i parametrii che sono rilevanti per le varie configurazioni Integrare il modulo “OCP” in Foreman e/o Fuel per permettere la configurazione tramitte l’interfaccia web fornita da rispettivi tool Descrivere la procedura d’installazione e configurazione  Documentarla su Redmine  Commitare moduli funzionanti su GitHub  Testare l’intera procedura 5

Attivita’ svolte (1) Utilizzando “plain” Puppet deploy di OpenStack completo con configurazioni non standard [oltre a quelle standard] linuxbridge e solo VLAN istanziazione diretta dei moduli puppet dei singoli elementi di OpenStack deploy di un cluster CEPH con autenticazione cephx MON e OSD creati i pool deploy di un Openstack cinder volume che utilizzi Ceph deploy di Openstack compute node che istanziano VM direttamente su CEPH [no shared filesystem] Problemi: Bug nel modulo per Neutron neutron agents ml2 linuxbridge class does not modify ml2_conf.ini In agenda: test di un modulo per fare il deploy di Openstack in HA 6

Attivita’ svolte (2) Integrazione moduli Puppet in Foreman: Modificato il modulo Keepalived per essere totalmente gestito tramite Foreman Installato il modulo Haproxy e configurato per la parte globale e di default. Si sta verificando come inserire i vari listen usando solo Foreman. In agenda: Percona/Galera cluster MySQL glusterFS 7

Attivita’ svolte (3) Racolta (github) moduli per: Openstack Icehouse – Compute, Controller, RabbitMQ, Ceilometer Zabbix Integrazione moduli Puppet in Fuel: Deployment di un’architettura simile (screenshot) Problemi: L’integrazione di modifiche o nuovi moduli puppet puo richiedere piu’ tempo  Necessita una conoscenza approfondita dell’architettura di Fuel e dell’interazione tra i suoi vari componenti In agenda: Studio e deployment “plain” Puppet dell’arch. descritta nello scenario scelto per identificare le differenze da quello che si puo gia’ fare con Fuel 8

Conclusioni Importante offrire un “tool d’installazione della piattaforma OCP” Scenari definiti Prossimi passi: Finire deployment “plain” Puppet di tutti i servizi identificati Identificare customizzazioni da raccogliere in un modulo OCP Deployment completo scenari ( w o w/o Storage, w o w/o VLAN,…) Integrare in Foreman Documentare e Testare 9

BACKUP SLIDES 10

Puppet configuration management system that allows you to define the state of your IT infrastructure, then automatically enforces the correct state. Puppet modules automate tasks such as: installing and configuring Apache, plus configuring and managing a range of virtual host setups managing APT source, key, and definitions installing, configuring, and running NTP across a range of operating systems managing system reboots on Windows managing and configuring firewalls installing and configuring MySQL and much, much more. 11

Foreman complete lifecycle management tool for physical and virtual servers. open source project - provisioning, configuration management, monitoring Can Discover, provision and upgrade your entire bare-metal infrastructure Create and manage instances across private and public clouds Group your hosts and manage them in bulk, regardless of location Review historical changes for auditing or troubleshooting Extend as needed via a robust plugin architecture Automatically build images (on each platform) per system definition to optimize deployment OS – RHEL, CentOS, Fedora, Ubuntu, Debian, Solaris 8, 10, OpenSUSE, Oracle Linux Cloud - Amazon EC2, Google Compute Engine, Libvirt, OpenStack, oVirt and RHEV, Rackspace, VMware 12

Foreman Architecture 13

Fuel open source deployment and management tool for OpenStack. Developed as an OpenStack community effort, GUI-driven experience for deployment and management of OpenStack The key features are: hardware discovery hardware configuration in UI (networks & disk partitioning) ability to spin up and manage multiple OpenStack clusters support for non-HA and HA OpenStack deployment configurations pre-deployment checks and network validation post-deployment checks and running a set of tests for validating deployed OpenStack view logs in real-time through UI support for CentOS and Ubuntu, and it can be extended to support other distributions too support for multiple OpenStack distributions 14

Fuel Architecture 15