Nuove funzionalità e futura implementazione nella Sezione di Trieste

Presentazione sul tema: "Nuove funzionalità e futura implementazione nella Sezione di Trieste"— Transcript della presentazione:

1 Nuove funzionalità e futura implementazione nella Sezione di Trieste
GPFS (R)evolution Nuove funzionalità e futura implementazione nella Sezione di Trieste Alessandro Tirel - Sezione di Trieste

2 Frascati - Workshop CCR WGs
Introduzione Negli ultimi la comparsa delle CPU multicore nei sistemi di calcolo complessi ha messo in evidenza come il modello di storage monolitico con accesso basato su NFS (v2, v3) sia divenuto obsoleto. L’introduzione dei file systems paralleli (Lustre, GPFS, pNFS,…) e l’impiego di tecnologie più efficienti nella struttura hardware dello storage (FC, IB) cercano di recuperare terreno in termini di performance ed affidabilità. 10 dicembre 2007 Frascati - Workshop CCR WGs

3 General Parallel File System
L’utilizzo di questo file system in ambito INFN ha avuto una grande diffusione soprattutto in conseguenza del suo impiego al Tier1. Molte Sezioni hanno seguito l’esempio tra queste anche Trieste. Attualmente viene impiegato come file system di riferimento nella farm di Sezione. 10 dicembre 2007 Frascati - Workshop CCR WGs

4 Version 3.x, GPFS evolution
La nuova versione del software ha portato un notevole numero di miglioramenti che si possono riassumere nei seguenti punti: Rolling upgrades Numero massimo di NSD server per LUN (2  8) Subnet Clustered NFS (high available NFS) con le funzioni di monitoring, load balancing e failover Supporto RDMA per InfiniBand© Monitoring (Net-SNMP) ILM (Information Lifecycle Management)  storage pool, policies & HSM Fileset Supporto LDAP (quota) 10 dicembre 2007 Frascati - Workshop CCR WGs

5 INFN Trieste Revolution
Il progetto della farm di Sezione inizialmente dal carattere un po’ incerto ora comincia ad essere ambizioso, considerando i numeri in campo. Purtroppo questa sua caratteristica iniziale non ha permesso una pianificazione delle risorse ottimale e di conseguenza la struttura fisica nelle sue componenti principali: rete, sistemi di storage e file system mostra i suoi limiti nell’attuale situazione. In particolare, l’esecuzioni di job di analisi di dati ha messo in evidenza quanto un adeguato accesso parallelo alle risorse di storage sia importante. Per questi motivi il servizio calcolo ha iniziato alla fine della scorsa estate un’operazione di coordinamento tra i vari gruppi di ricerca presenti in Sezione per reperire i fondi necessari alla ristrutturazione della struttura fisica della farm. L’uscita della nuova versione di GPFS ha poi dato lo spunto a quella che sarà una vera e propria rivoluzione. 10 dicembre 2007 Frascati - Workshop CCR WGs

6 Frascati - Workshop CCR WGs
Strategia Il piano d’azione si articola nei seguenti punti: Ampliamento della Storage Area Network + Zoning Riorganizzazione degli switch (topologia ad albero, aggregazione) Upgrade alla versione 3.2 di GPFS Inserimento nel cluster di tre nuovi NSD server Collegamento alla SAN delle nuove risorse di storage (FC-SATA & FC-SAS) Configurazione FC dei nuovi NSD server in modalità failover+load balancing Creazione di un nuovo file system con separazione dati/metadati e dei filesets necessari Copia dei vecchi file systems nei corrispondenti filesets Riconfigurazione delle vecchie risorse di storage e collegamento alla SAN in modalità failover+load balancing Rebalancing del file system Definizione delle quote per fileset Migrazione delle funzioni di configuration server primario e secondario dai vecchi NSD server ai nuovi 10 dicembre 2007 Frascati - Workshop CCR WGs

7 Frascati - Workshop CCR WGs
HSM & TSM Una delle più importanti caratteristiche della nuova versione di GPFS è la possibilità di implementare un sistema di storage gerarchico ben integrato, considerando le difficoltà che incontra l’attuale versione di CASTOR questa è una via che vogliamo percorrere in un prossimo futuro. In Sezione è presente una libreria di nastri ADIC Scalar i2000 che con l’aggiunta di qualche drive LTO assolverebbe nel migliore dei modi al compito. Quindi uno o più server con Tivoli Storage Manager ed i nodi del cluster con il relativo software di Space Management completerebbero lo scenario. Se l’hardware non manca i dubbi rimangono sul software o meglio sui costi ed il supporto. 10 dicembre 2007 Frascati - Workshop CCR WGs

8 Frascati - Workshop CCR WGs
Modello finale (?) 10 dicembre 2007 Frascati - Workshop CCR WGs

9 Frascati - Workshop CCR WGs
Conclusione ‘Forzare’ collaborazione con Tier1 per accordo con IBM sul fronte TSM Sperimentazione della soluzione HSM LDAP perfomance 10 dicembre 2007 Frascati - Workshop CCR WGs