L’INFN per il Collaborative esteso e distribuito Alessandro De Salvo

Presentazione sul tema: "L’INFN per il Collaborative esteso e distribuito Alessandro De Salvo"— Transcript della presentazione:

1 L’INFN per il Collaborative esteso e distribuito Alessandro De Salvo 11-4-2017
A. De Salvo – 11 aprile 2017

2 Programma Mirror Copernicus
Il programma Mirror Copernicus si inserisce all’interno del piano strategico Space Economy Space Economy nasce dai lavori della Cabina di Regia Spazio, l’iniziativa promossa dalla Presidenza del Consiglio dei Ministri, per la definizione della politica nazionale nel settore spaziale (vedi lettera del 18/06/2014 (prot. num. UCM ) Obiettivo del piano è quello di definire le linee strategiche d’intervento in grado di consentire all’Italia di trasformare Il settore spaziale nazionale in uno dei motori propulsori della nuova crescita del paese Il progetto prevede la definizione di 5 infrastrutture istituzionali complesse, distribuite sul territorio nazionale e articolate in centri nazionali e regionali Reti di misura, capacità di trattamento dei dati satellitari ed in situ, modelli descrittivi e predittivi, infrastrutture di comunicazione tra i diversi centri e proprie interfacce con centri di eccellenza scientifica esterni Nel contesto del Mirror Copernicus, ci si propone di realizzare nuovi servizi “downstream” attraverso l’utilizzo dei dati satellitari e delle complementari misure in situ 2

3 Collaborative Ground Segment esteso
La Piattaforma Collaborative Ground Segment Esteso e Distribuito è l’infrastruttura tecnologica BIG DATA trasversale ai 5 servizi downstream e di supporto allo sviluppo dei servizi istituzionali e commerciali innovativi Infrastruttura abilitante, di interesse nazionale, che intende promuovere e facilitare l’utilizzo sia dei dati che delle informazioni, a diversi livelli di elaborazione, derivanti prioritariamente dalle costellazioni Sentinel e dai servizi Copernicus, con il concorso operativo delle diverse comunità nazionali 3

4 INFN e Collaborative Ground Segment
L’INFN si inserisce nel progetto di Collaborative Ground Segment per fornire supporto tecnologico ed infrastrutturale alle attività di sviluppo e test effettuate in ASI Tramite l’utilizzo delle strutture esistenti, su piattaforma Cloud Sia computing che Storage Tramite consulenze per l’ottimizzazione delle risorse Eventuale accesso anche alle tecnologie sviluppate dai progetti nei quali l’INFN è coinvolto, ad esempio INDIGO L’INFN non è supposto dare quindi un contributo attivo allo sviluppo ma solo di infrastruttura, tramite l’utilizzo ed espansione dei siti già presenti sul territorio nazionale La collaborazione con ASI è iniziata nell’ultima parte del 2016 ed è andata avanti con un pilota, descritto in seguito, in preparazione alla fase operativa vera e propria del progetto che vedrà la luce nei prossimi mesi 4

5 L’infrastruttura Cloud INFN
Infrastruttura cloud basata su OpenStack Infrastruttura IaaS: siti principali Bari Derivato da un PON di infrastruttura per le regioni del meridione (Re.Ca.S.) Infrastruttura in grado di fornire oltre 80 rack di spazio e 1MW di potenza IT Infrastruttura Cloud composta attualmente da ~1100 Core fisici, più di 5 TB di RAM e 110 TB di spazio disco, largamente espandibile CNAF E’ il centro di calcolo principale dell’INFN Si occupa della gestione e dello sviluppo dei principali servizi di trasferimento di informazioni e dati a supporto dell’INFN a livello nazionale e internazionale Ospita il cosiddetto Tier-1 italiano per gli esperimenti di fisica delle Alte Energie del Large Hadron Collider di Ginevra Infrastruttura cloud configurata in alta affidabilità attraverso un back-end basato su GPFS L’infrastruttura cloud attualmente offre ~350 core, 1.5 TB RAM e 16 TB di spazio disco, ampiamente espandibili (il CNAF ha > 20 PB attualmente in GPFS) Infrastruttura PaaS Facility PaaS che garantiscono la gestione automatizzata di Long-Running Services fornendo funzionalità aggiuntive di monitoring e auto-scaling 5

6 Pilota di Collaborative Ground Segment con INFN
A partire dalla seconda parte del 2016 è iniziata la realizzazione di un pilota di Collaborative Ground Segment (Fase 0) Utilizzato come testbed e studio di fattibilità per studi futuri Pilota funzionante a Bari Copia mirror del servizio già presente in ASI Utilizzo di VM (1) su OpenStack e storage CEPH per i dati Replica completa dei dati attivi in ASI Inizialmente aggiornato in parallelo con l’installazione di ASI Switch trasparente delle attività utente da ASI ad INFN effettuato ad inizio 2017 Test di scala necessario Connettività dell’infrastruttura INFN già molto al di sopra delle richieste, nessun problema previsto Possibilità di aggiungere risorse e/o di espandere al CNAF 6

7 Collaborative Ground Segment e INFN
L’INFN può mettere a disposizione risorse IaaS provenienti da Bari e CNAF Storage espandibile in entrambi i siti di alcuni ordini di grandezza Possibilità di conservazione e accesso ai dati Copernicus in entrambi i siti Infrastruttura per Disaster Recovery e High Availability Potenza di calcolo elastica, con grande espandibilità possibile in entrambi i siti Rete > 10 Gbps in tutte le facility, con possibilità di espansione e QoS ove risulti necessario ASI potrà utilizzare le risorse INFN avvalendosi dell’expertise locale dei centri di calcolo interessati Per ottimizzazioni dell’accesso Per automazione … 7

8 Collaborative Ground Segment e INFN [2]
Prossimi step per l’utilizzo effettivo dei siti di Bari e/o CNAF Effettuare il test di carico e ottimizzare l’accesso alle risorse attuali Operazioni di upgrade alle fasi successive Quantificazione delle richieste aggiuntive di CPU e storage Pianificazione delle richieste di DR e HA Definizione dell’architettura e topologia delle nuove facility Richiesta di eventuali servizi accessori necessari per gli utenti e per le attività interne del software ASI (es. backup) 8

9 Conclusioni Pilot di Collaborative Ground Segment (fase 0) funzionante a Bari Switch trasparente delle attività utente per test di carico effettuato con successo Estensione alle fasi successive del Collaborative Ground Segment Utilizzo dei siti di Bari e CNAF tramite tecnologie Cloud OpenStack Espandibilità possibile di diversi ordini di grandezza Infrastruttura IaaS e SaaS interamente resa disponibile dall’INFN, software sviluppato e gestito da ASI Possibilità di instrastruttura di Disaster Recovery e High Availability Rete adeguata per il futuro prevedibile e aggiornabile quando necessario Possibilità di ottimizzazione dell’accesso alle risorse 9