Riunione CCR 20/10/2005 Gruppo Storage Relazione attivita primo semestre 2005 e pianificazione 2006 Alessandro Brunengo

Riunione CCR 20/10/2005 Mandato Il gruppo e stato costituito da CCR nella riunione del 21/02/2005 Il gruppo e stato costituito da CCR nella riunione del 21/02/2005 Lobiettivo del gruppo e di fornire una valutazione sullopportunita di utilizzare la tecnologia Fiber Channel per ospitare lo storage dei servizi centrali delle sezioni Lobiettivo del gruppo e di fornire una valutazione sullopportunita di utilizzare la tecnologia Fiber Channel per ospitare lo storage dei servizi centrali delle sezioni CCR ha indicato esplicitamente la partecipazione al gruppo dei rappresentanti di Lecce, Roma1, Trieste, CNAF e Genova (coordinatore), ma di farne un gruppo aperto ai contributi di altre persone interessate CCR ha indicato esplicitamente la partecipazione al gruppo dei rappresentanti di Lecce, Roma1, Trieste, CNAF e Genova (coordinatore), ma di farne un gruppo aperto ai contributi di altre persone interessate Al gruppo e stato richiesto di relazionare alla riunione di CCR di ottobre 2005 Al gruppo e stato richiesto di relazionare alla riunione di CCR di ottobre 2005

Riunione CCR 20/10/2005 Partecipanti 22 iscritti alla mailing list, quasi tutti con partecipazione attiva alle riunioni 22 iscritti alla mailing list, quasi tutti con partecipazione attiva alle riunioni 12 sezioni rappresentate: Ba, Bo, CNAF, Ct, Ge, Le, LNL, Pd, Pi, Roma1, Ts 12 sezioni rappresentate: Ba, Bo, CNAF, Ct, Ge, Le, LNL, Pd, Pi, Roma1, Ts Ce un crescente interesse per le attivita del gruppo, con richieste di nuove iscrizioni alla mailing list Ce un crescente interesse per le attivita del gruppo, con richieste di nuove iscrizioni alla mailing list Sito web assolutamente embrionale, ospitato temporaneamente in (al solo fine di poter accedere ai lavori presentati nelle riunioni) Sito web assolutamente embrionale, ospitato temporaneamente in (al solo fine di poter accedere ai lavori presentati nelle riunioni)

Riunione CCR 20/10/2005 Attivita Diversi argomenti su cui e stata sviluppata attivita Diversi argomenti su cui e stata sviluppata attivita –valutazione dellhardware FC gia installato –analisi e test delle possibili architetture FC che possano garantire affidabilita –test sui file system disponibili –technology tracking –partecipare alla attivita della task force di HepiX sullo storage A queste si e in seguito manifestato interesse anche per questioni legate allimpatto di GRID sui sistemi di storage A queste si e in seguito manifestato interesse anche per questioni legate allimpatto di GRID sui sistemi di storage –SRM/dCache ed SRM/DPM –StoRM: SRM per parallel file system (GPFS, LUSTRE)

Riunione CCR 20/10/2005 Architetture e ridondanza Trieste Genova

Riunione CCR 20/10/2005 Architetture e ridondanza Trieste Genova

Riunione CCR 20/10/2005 Benchmark GPFS vs NFS/Ext3

Riunione CCR 20/10/2005 Benchmark GPFS vs Lustre Effective average throughput (Gb/s) # of simultaneous read/writes Results of read/write (1GB different files) Raw ethernet throughput vs time (20 x 1GB file simultaneous reads with Lustre)

Riunione CCR 20/10/2005 Considerazioni sulla tecnologia SAN su Fiber Channel Vantaggi della tecnologia: rende possibile utilizzare diverse funzionalita che tecnologie piu vecchie non hanno, con un carico di configurazione e gestione relativamente basso Vantaggi della tecnologia: rende possibile utilizzare diverse funzionalita che tecnologie piu vecchie non hanno, con un carico di configurazione e gestione relativamente basso –indipendenza del server di disco dal disco stesso –possibilita di crescita dinamica di volumi o controller con conseguente espandibilita dinamica dello spazio disco disponibile –possibilita di accesso concomitante di piu server di disco allo stesso volume logico o fisico –possibilita di configurare cammini ridondati verso lo stesso volume Problemi della tecnologia: e complessa Problemi della tecnologia: e complessa –il suo funzionamento interno non e semplice, e non sempre le specifiche che lo renderebbero plug and play si rivelano soddisfatte dalle implementazioni –modifiche della topologia richiedono un lavoro di apprendimento sulle metodologie di gestione della SAN che non sono schematizzabili in un breviario (non e Ethernet) Nel complesso il costo di apprendimento della tecnologia (una – due settimane per realizzare una struttura di base) risulta ben speso a fronte dei vantaggi che Fiber Channel offre a livello di funzionalita Nel complesso il costo di apprendimento della tecnologia (una – due settimane per realizzare una struttura di base) risulta ben speso a fronte dei vantaggi che Fiber Channel offre a livello di funzionalita

Riunione CCR 20/10/2005 Considerazioni sulla tecnologia dei dischi Si puo suggerire di utilizzare dischi FC o SCSI in luogo di dischi SATA? Si puo suggerire di utilizzare dischi FC o SCSI in luogo di dischi SATA? –il disco FC/SCSI e piu affidabile, piu veloce sia nel posizionamento che nella rotazione, piu piccolo di dimensione, piu costoso –il tipo di accesso (sequenziale per grossi file vs. accesso continuo di molti piccoli file) puo aumentare di molto il rapporto di affidabilita e prestazioni tra le diverse tecnologie –come singolo disco per servizi critici e certamente da preferire la soluzione FC o SCSI –in un sistema RAID, la ridondanza e leffetto delle prestazioni del controller riducono il gap di affidabilita e di prestazioni: si puo compensare ulteriormente la minore affidabilita dei dischi SATA con lutilizzo di ridondanza RAID6 (in produzione a Bari) –per volumi di grosse dimensioni la differenza di costo puo diventare importante Non e da escludere la possibilita di utilizzare la tecnologia piu costosa in condizioni di volumi limitati, importanza dei dati (mail, home dir), accesso non sequenziale Non e da escludere la possibilita di utilizzare la tecnologia piu costosa in condizioni di volumi limitati, importanza dei dati (mail, home dir), accesso non sequenziale

Riunione CCR 20/10/2005 Considerazioni sui file system Si e molto lavorato sui file system paralleli (PVFS, GFS, GPFS, LUSTRE) Si e molto lavorato sui file system paralleli (PVFS, GFS, GPFS, LUSTRE) –GPFS: efficiente, scalabile (fino a 250 client senza il supporto IBM), fornisce ridondanza di accesso al volume, espandibilita dinamica dei volumi, replicabilita dei dati…, a costo zero il software, non lassistenza (prezzi non definiti) –Lustre: piu performante, piu scalabile, ha grosso modo tutto quello che ha GPFS, ma costa caro (prezzi per ora non ufficializzati) Lutilizzo di FS paralleli sara strategico al Tier1 (ammesso che si possano utilizzare su questi file system i servizi SRM). GPFS e in produzione al Tier1, a Trieste ed a Catania, e sara in produzione a Genova a breve. Lutilizzo di FS paralleli sara strategico al Tier1 (ammesso che si possano utilizzare su questi file system i servizi SRM). GPFS e in produzione al Tier1, a Trieste ed a Catania, e sara in produzione a Genova a breve.

Riunione CCR 20/10/2005 Impatto di GRID sullo storage GRID richiede che il sistema di storage sia dotato di una sovrastruttura (SRM) che fornisca servizi aggiuntivi GRID richiede che il sistema di storage sia dotato di una sovrastruttura (SRM) che fornisca servizi aggiuntivi –namespace unificato –access control list –file pinning –reservation –time-to-live del file –accesso tramite certificati utente Lattuale stato dellarte vede due implementazioni operative (SRM/dCache ed SRM/DPM) che operano su ext3 Lattuale stato dellarte vede due implementazioni operative (SRM/dCache ed SRM/DPM) che operano su ext3 E in fase di completamento una interfaccia SRM per file system paralleli (GPFS/LUSTRE) che sapra sfruttarne le caratteristiche E in fase di completamento una interfaccia SRM per file system paralleli (GPFS/LUSTRE) che sapra sfruttarne le caratteristiche La situazione e in evoluzione rapida, ma il requisito iniziale potrebbe imporre vincoli alla struttura di storage sottostante; la cosa va tenuta sotto osservazione ed eventualmente sollecitata in base a potenziali esigenze (vedi ad. es. StoRM) La situazione e in evoluzione rapida, ma il requisito iniziale potrebbe imporre vincoli alla struttura di storage sottostante; la cosa va tenuta sotto osservazione ed eventualmente sollecitata in base a potenziali esigenze (vedi ad. es. StoRM)

Riunione CCR 20/10/2005 Considerazioni sui costi Il gruppo ritiene che non sia corretto fare una valutazione del costo del disco per TB Il gruppo ritiene che non sia corretto fare una valutazione del costo del disco per TB –una soluzione SAN implica un costo iniziale di infrastruttura, che impatta sul costo/TB in funzione della dimensione iniziale del disco, e successivi incrementi di spazio disco possono avere un costo/TB molto inferiore rispetto allacquisto iniziale –la soluzione scelta puo avere costi molto differenti in base al progetto, allhardware di riferimento, alle dimensioni –lo stesso costo del disco valutato sullo spazio lordo puo essere solo parzialmente significativo, in quanto lo spazio netto di disco utilizzabile a partire da una certa dimensione lorda dipende dal numero di dischi che si vogliono dedicare alla ridondanza E quindi ragionevole valutare la congruita di una richiesta di finanziamento per storage in base al complesso di requisiti, progetto, soluzione tecnica identificata, hardware ritenuto idoneo E quindi ragionevole valutare la congruita di una richiesta di finanziamento per storage in base al complesso di requisiti, progetto, soluzione tecnica identificata, hardware ritenuto idoneo –piu importante valutare il progetto in base alle esigenze ed ai programmi di crescita futura, valutando il costo della infrastruttura ed il costo per lespansione dei volumi separatamente

Riunione CCR 20/10/2005 Costi: esempi Acquisto infrastruttura a Genova (inizio anno) Acquisto infrastruttura a Genova (inizio anno) –Infortrend Eonstor A16F-R1211 (FC-SATA)+2*switch FC Emulex HBA Qlogic QLA HD 250 GB (4 TB lordi) totale: 35 KЄ (25+10) totale: 35 KЄ (25+10) –espansione con Jbod 16 HD 500 GB (8 TB lordi) totale: 10 KЄ totale: 10 KЄ Offerta recente per Finuda Offerta recente per Finuda –Infortrend Eonstor A16F-R1211+Jbod+3 HBA Qlogic QLA HD 400 GB (12.8 TB lordi) totale: 33.5 KЄ (20+13) totale: 33.5 KЄ (20+13) Acquisto recente a Catania Acquisto recente a Catania –Xyratec RIO FC-FC+4 Jbod (64 HD 400 GB)+2 server (25.6 TB lordi) totale: 60 KЄ (20+40) totale: 60 KЄ (20+40) Costo di soluzioni NAS/DAS SATA Costo di soluzioni NAS/DAS SATA –mediamente ~ 1.8 KЄ/TB

Riunione CCR 20/10/2005 Programma per il futuro Il mandato ha richiesto al gruppo di analizzare la funzionalita di soluzioni SAN/FC per lo storage dei servizi centrali, e lopportunita di adottarle Il mandato ha richiesto al gruppo di analizzare la funzionalita di soluzioni SAN/FC per lo storage dei servizi centrali, e lopportunita di adottarle La gestione dello storage nel prossimo futuro assumera grande importanza non solo per i servizi centrali ma, con caratteristiche diverse per dimensione e requirements, per i siti che ospiteranno i Tier La gestione dello storage nel prossimo futuro assumera grande importanza non solo per i servizi centrali ma, con caratteristiche diverse per dimensione e requirements, per i siti che ospiteranno i Tier Il gruppo ritiene che i suoi obiettivi dovrebbero essere rivisti ed ampliati, finalizzando la sua azione nei diversi punti Il gruppo ritiene che i suoi obiettivi dovrebbero essere rivisti ed ampliati, finalizzando la sua azione nei diversi punti –costituire un luogo in cui persone con problemi uguali possano confrontarsi e sviluppare soluzioni sfruttando lesperienza di altri e portare avanti un lavoro di sviluppo e ricerca coordinato –monitorare landamento della tecnologia per provare soluzioni alternative (esempi attuale sono iSCSI ed InfinyBand) –partecipare attivamente a gruppi che operano nel campo dello storage in consessi piu ampi (ad esempio, il gruppo storage di HepiX) –mantenere il contatto – ed eventualmente operare attivamente – con gli sviluppi di GRID ed i requirements che GRID imporra al sistema di storage –realizzare un centro di competenza che possa far circolare le informazioni ed a cui poter fare riferimento

Riunione CCR 20/10/2005 Pianificazione test su iSCSI Il gruppo vuole analizzare la tecnologia iSCSI per le sue potenzialita analoghe a FC ed il costo complessivamente inferiore, procurandosi in conto visione uno switch iSCSI/SCSI ed iSCSI/FC capace di gestione di volumi virtuali (repliche, snapshot, aggregazione), ed un disco iSCSI nativo Il gruppo vuole analizzare la tecnologia iSCSI per le sue potenzialita analoghe a FC ed il costo complessivamente inferiore, procurandosi in conto visione uno switch iSCSI/SCSI ed iSCSI/FC capace di gestione di volumi virtuali (repliche, snapshot, aggregazione), ed un disco iSCSI nativo Si pianifica il lavoro specifico su iSCSI in due fasi Si pianifica il lavoro specifico su iSCSI in due fasi –analisi sulle funzionalita (a Pisa) su una piattaforma dedicata, della durata di 4-5 mesi –analisi delle prestazioni iSCSI in condizioni di elevato carico di I/O (al CNAF), della durata di 2 mesi per arrivare ad una raccomandazione per settembre 2006 Le persone interessate ai test sono quattro (Pisa, Trieste, CNAF) Le persone interessate ai test sono quattro (Pisa, Trieste, CNAF)

Riunione CCR 20/10/2005 FTE? Da una discussione approfondita risulta difficile applicare il concetto di FTE per le attivita pianificate del gruppo Da una discussione approfondita risulta difficile applicare il concetto di FTE per le attivita pianificate del gruppo –in generale le persone afferenti ai gruppi di lavoro svolgono le attivita in concorrenza con le proprie mansioni ordinarie, che talvolta coincidono –non e semplice fornire una valutazione definita di un numero (FTE) che dovrebbe essere riconosciuto ed approvato allinterno della struttura di appartenenza, e che spesso potrebbe divenire privo di reale significato Pare piu ragionevole darsi degli obiettivi ben definiti, con una definizione precisa di tempi (ragionevoli), e identificare le persone che sono interessate al task specifico, tenendo monitorata con continuita levoluzione dei lavori in modo da applicare correttivi in caso di necessita Pare piu ragionevole darsi degli obiettivi ben definiti, con una definizione precisa di tempi (ragionevoli), e identificare le persone che sono interessate al task specifico, tenendo monitorata con continuita levoluzione dei lavori in modo da applicare correttivi in caso di necessita Una discussione su questo punto in CCR e benvenuta e dovrebbe riguardare tutti i gruppi di lavoro Una discussione su questo punto in CCR e benvenuta e dovrebbe riguardare tutti i gruppi di lavoro

Riunione CCR 20/10/2005 Richieste di finanziamento Inventariabile: Inventariabile: –5.0 KЄ per due disk server dotati di interfaccia iSCSI –6.0 KЄ per due switch con 24 porte 100/1000 in rame –20 KЄ per uno switch iSCSI/FC e iSCSI/SCSI con funzionalita di gestione di volumi virtuali (in seconda priorita) i disk server e lo switch hanno lo scopo di installare un laboratorio dedicato a test sullo storage, che permetta di valutare soluzioni tecnologiche diverse senza dover condividere risorse con sistemi in produzione; in particolare per il 2006 si desidera effettuare test sulla tecnologia iSCSI. Il progetto e di testare sia lo switch iSCSI che un disco iSCSI (controller RAID con interfaccia iSCSI) da procurarsi in conto visione; un eventuale acquisto di uno di questi oggetti potrebbe essere di interesse solo dopo i test, pertanto il finanziamento per questo acquisto va considerato in seconda priorita La sede che si e scelta per la destinazione del materiale e Pisa Missioni: Missioni: –1.5 KЄ di missioni interne e 2.5 KЄ di missioni estere per la partecipazione di una persona del gruppo alle due riunioni che HepiX terra nel 2006 (sez. di ???) –3.0 KЄ di missioni estere per la partecipazione di una persona del gruppo a 3 riunioni task force di HepiX sullo storage (da assegnare al CNAF)