PRIN Roma1 – status Luciano Barone, Alessandro De Salvo 12-11-2015 A. De Salvo – 12 novembre 2015

Luciano M.Barone - Sapienza Roma Rendicontazione Contributo totale 72800 euro, di cui 50422 euro per un assegno di ricerca di 1+1 anno, in scadenza il 31/12/2015 ~3400 euro non rendicontati (1 desktop, 1 laptop, missioni interne) ~18000 euro in avanzo (previsti in origine per acquisto hw poi non esercitato) Luciano M.Barone - Sapienza Roma Bari 12-11-2015 2

Luciano M.Barone - Sapienza Roma Data access [1] Attività svolta nel primo anno, con misure di performance nell’accesso ai dati su diversi filesystem (NFS, ext3, gluster), senza e con dCache, con file e blocksize di diverso tipo, a livello di sistema e di root, e con uso di PROOF Luciano M.Barone - Sapienza Roma Bari 12-11-2015 2

Luciano M.Barone - Sapienza Roma Data access (2) Risultati tempo aggregato di accesso a file > 2 GB ottimale in dCache, tempo diretto di accesso ottimale con ext3 (ovviamente), Gluster sfavorito uso di Workers in PROOF satura il throughput per Nw > 40 sia in dCache che in Gluster, molto prima con ext3 molti altri dati disponibili in report Luciano M.Barone - Sapienza Roma Bari 12-11-2015 2

Cloud facilities @ Roma1 Cloud Computing per servizi o elaborazione dati Due sistemi di cloud separati (uno di produzione e uno di development) con OpenStack IceHouse e Kilo VLAN-based Network node con connessioni a 10 Gbps Compute nodes con connessioni a 1 Gbps Infrastruttura condivisa di storage basata su gluster (3.7) Accesso standard via FUSE Accesso privilegiato tramite libgfapi, pieno supporto in OpenStack tramite i volumi cinder Lo storage gluster è ulteriormente condiviso con la sede di Napoli, con replica sincrona via WAN (vedi il talk di Napoli sul prototipo di Tier2 distribuito) Prototipo di cluster Ceph, in fase di test 5

Cloud facilities @ Roma1 [2] oVirt 6

Infrastruttura di base e storage Gestione integrata delle macchine tramite Foreman/Puppet Istanza di Foreman/Puppet centrale, usata sia per le macchine reali che per le macchine nella cloud Contestualizzazione delle macchine tramite cloud-init e Foreman/Puppet Test con alcuni sistemi di deployment automatico diverso Staypuft (Foreman installer): fallito, prodotto ancora non stabile Ansible/Kollaglue (OpenStack in Docker): in fase di test Packstack Puppet Storage per lo più basato su Gluster SAN dedicata da 40 TB Gluster 3.7 / nfs-ganesha Condivisa con i servizi di oVirt 7

Tier2 Distribuito NA-RM Lo storage locale è stato connesso parzialmente ad una macchina analoga a Napoli, tramite GlusterFS Replica sincrona dei dati su VLAN dedicata punto-punto Simulzione di centri distanti O(1000) km e fine tuning dei filesystem e di GlusterFS per sopportare alte latenze Live migration di VM da un centro ad un altro (wire-speed solo RAM), utilizzando la replica sincrona e lo storage distribuito Configurazione GlusterFS multi homed (multi-IP) per essere utilizzata allo stesso momento su VLAN different e IP diversi sugli stessi server, a seconda delle storage area necessarie Preparazione all’estensione della Cloud già presente a Roma al Tier-2 distribuito 8

Sistemi in HA e monitoring Database Basato su Percona XtraDB Cluster in produzione con replica in WAN Servizi critici in HA Controller della Cloud in VM ospitata in oVirt, configurata in HA Altri servizi critici Grid e di esperimento (splitter di calibrazione, ATLAS Installation System, testbed di DPM, …) ospitati in oVirt in configurazione HA e con storage condiviso (glance) con OpenStack Altri servizi più dinamici (WN, UI, Squid) ed “elasticizzabili” ospitati nella Cloud Monitoring Standard Nagios/Ganglia per i servizi nelle VM della cloud e per gli hypervisor Introduzione di ELK (Elasticsearch-Logstash-Kibana) per l’analisi dei log Host di ELK in oVirt, servizi in HA 9

Sviluppi futuri sulla Cloud Storage Introduzione di CEPH ed estensione/test anche al Tier2 distribuito Infrastruttura di cloud Ulteriori studi con LBaaS e AutoScaling verso il basso Estensione della cloud mono-cella e poi multi-cella al Tier-2 distribuito 1010