Riunione CCR 21/12/2005 Gruppo Storage Relazione sulla analisi di infrastrutture Fibre Channel e presentazione attivita’ per il 2006 Alessandro Brunengo.

Presentazione sul tema: "Riunione CCR 21/12/2005 Gruppo Storage Relazione sulla analisi di infrastrutture Fibre Channel e presentazione attivita’ per il 2006 Alessandro Brunengo."— Transcript della presentazione:

1 Riunione CCR 21/12/2005 Gruppo Storage Relazione sulla analisi di infrastrutture Fibre Channel e presentazione attivita’ per il 2006 Alessandro Brunengo

2 Riunione CCR 20/10/2005 Considerazioni sulla tecnologia SAN su Fibre Channel Sono state analizzate e valutate positivamente le seguenti caratteristiche: Sono state analizzate e valutate positivamente le seguenti caratteristiche: –indipendenza del server di disco dal disco stesso: omogeneita’ di management e flessibilita’ –scalabilita’ dinamica (di spazio disco, di controller, di server) –prestazioni (oggi 2 Gbps, presto 4 e 10) –possibilita’ di accesso concomitante di piu’ server di disco allo stesso volume logico o fisico –possibilita’ di configurare cammini ridondati verso lo stesso volume Problemi della tecnologia: e’ complessa Problemi della tecnologia: e’ complessa –configurazione e modifiche della topologia richiedono un lavoro di apprendimento sulle metodologie di gestione della SAN che possono essere quantificate in un mese –il necessario apprendimento puo’ essere aiutato dalla partecipazione a corsi di formazione che le ditte manutentrici dell’hardware spesso rendono disponibili Nel complesso il costo di apprendimento della tecnologia risulta ben speso a fronte dei vantaggi che Fibre Channel offre a livello di funzionalita’ Nel complesso il costo di apprendimento della tecnologia risulta ben speso a fronte dei vantaggi che Fibre Channel offre a livello di funzionalita’

3 Riunione CCR 20/10/2005 Raccomandazioni 1. L’infrastruttura Fibre Channel garantisce funzionalità desiderabili per gestibilità del sistema di storage, ridondanza, prestazioni. 2. L’utilizzo di tale infrastruttura per ospitare area disco critica (sistemi centrali di una sezione) suggerisce fortemente l’utilizzo di una architettura per quanto possibile ridondata. 3. Il superiore costo della tecnologia è dovuto principalmente al costo della infrastruttura (controller, switch, host adapter); per ammortizzare il costo infrastrutturale si suggerisce di utilizzare questa soluzione solo se la previzione di espansione supera il 50% della capacità di espansione massima del sistema disco entro un paio di anni dall’acquisto.

4 Riunione CCR 20/10/2005 Raccomandazioni (2) 4. E’ fortemente consigliata una analisi approfondita del prevedibile sviluppo degli accessi e delle esigenze di throughput alla SAN per dimensionarla correttamente. 5. L’utilizzo di dischi Fibre Channel è sconsigliato per i costi molto elevati; può avere senso utilizzare questa soluzione solo in caso di volumi particolarmente importanti, ad accesso fortemente randomico, di dimensione limitata e prevedibilmente limitata anche nelle sue esigenze di espandibilità future (nell’ordine di pochi TB).può avere senso utilizzare questa soluzione solo in caso di volumi particolarmente importanti, ad accesso fortemente randomico, di dimensione limitata e prevedibilmente limitata anche nelle sue esigenze di espandibilità future (nell’ordine di pochi TB).

5 Riunione CCR 20/10/2005 Considerazioni sui costi Il costo di una soluzione per lo storage basata su SAN con Fibre Channel dipende da molti fattori, quali il livello di ridondanza desiderato, il livello qualitativo dell’hardware scelto, le funzionalità del software di gestione. Il costo di una soluzione per lo storage basata su SAN con Fibre Channel dipende da molti fattori, quali il livello di ridondanza desiderato, il livello qualitativo dell’hardware scelto, le funzionalità del software di gestione. Il costo di una soluzione dipende fortemente dall’architettura scelta, quindi dai requisiti e dal progetto. Una richiesta di finanziamento per soluzioni di storage dovrebbe essere corredata da un progetto che, sulla base delle esigenze attuali e della crescita prevedibile nei tre anni successivi, proponga una soluzione tecnicamente idonea. Il costo di una soluzione dipende fortemente dall’architettura scelta, quindi dai requisiti e dal progetto. Una richiesta di finanziamento per soluzioni di storage dovrebbe essere corredata da un progetto che, sulla base delle esigenze attuali e della crescita prevedibile nei tre anni successivi, proponga una soluzione tecnicamente idonea. La rapida evoluzione tecnologica spinge i produttori a modificare il valore commerciale dell’hardware offerto con notevole rapidità. La rapida evoluzione tecnologica spinge i produttori a modificare il valore commerciale dell’hardware offerto con notevole rapidità. Si deve fare attenzione a non legarsi ad un solo prodotto (il meno costoso sul mercato) Si deve fare attenzione a non legarsi ad un solo prodotto (il meno costoso sul mercato)

6 Riunione CCR 20/10/2005 Considerazioni sui costi (2) Il gruppo ritiene che fornire numeri di “costo-tipo”, sia in generale (costo/TB), che per voce (costo infrastruttura/costo disco), o anche per soluzioni specifiche (soluzione ridondata/soluzione non ridondata) non sia funzionale alla corretta valutazione delle richieste di finanziamento. Il gruppo ritiene che fornire numeri di “costo-tipo”, sia in generale (costo/TB), che per voce (costo infrastruttura/costo disco), o anche per soluzioni specifiche (soluzione ridondata/soluzione non ridondata) non sia funzionale alla corretta valutazione delle richieste di finanziamento. Il gruppo suggerisce alla CCR di valutare le richieste di infrastrutture di storage caso per caso, per esprimere un parere in funzione della analisi della soluzione proposta nel suo complesso: requisiti, idoneità del progetto anche in funzione della espandibilità, soluzione tecnica proposta e costo relativo. Il gruppo suggerisce alla CCR di valutare le richieste di infrastrutture di storage caso per caso, per esprimere un parere in funzione della analisi della soluzione proposta nel suo complesso: requisiti, idoneità del progetto anche in funzione della espandibilità, soluzione tecnica proposta e costo relativo.

7 Riunione CCR 20/10/2005 Progetti 2006: test iSCSI Il gruppo propone di svolgere attivita’ di test sulla tecnologia iSCSI, con gli obiettivit di Il gruppo propone di svolgere attivita’ di test sulla tecnologia iSCSI, con gli obiettivit di –sviluppare conoscenza sulla tecnologia – misurarne funzionalita’ e prestazioni –valutare un suo possibile utilizzo in alternativa o in affiancamento alle tecnologie di storage (DAS, SAN/Fibre Channel) attualmente utilizzate nelle sezioni per la gestione dello storage centrale e di esperimento

8 Riunione CCR 20/10/2005 Progetti 2006: test iSCSI (2) Il progetto si sviluppa in sei fasi: 1. 1. approfondimento delle specifiche e valutazione delle caratteristiche dell’hardware attualmente disponibile sul mercato 2. 2. valutazione delle prestazioni di soluzioni con e senza HBA dedicate, impatto sulle risorse dei server 3. 3. valutazione delle caratteristiche di fault tolerance dell’accesso al disco 4. 4. test di prestazioni di controller iSCSI e bridge iSCSI-to-FC in conto visione 5. 5. funzionalita’ e scalabilita’ su soluzioni di cluster file system (GPFS/Lustre) 6. 6. test di alta affidabilita’ in affiancamento a soluzioni di clustering dei servizi (RedHat Cluster) Partecipanti: 3 persone (altri interessati) Scadenza temporale: fine settembre 2006 Documentazione: http://grid.ct.infn.it/swiki/index.php?pagename=Sperimentazione%20protocollo%20iSCSI

9 Riunione CCR 20/10/2005 Progetti 2006: validazione SC4 Il gruppo si propone di analizzare le diverse soluzioni attualmente disponibili per la configurazione dello storage nei Tier INFN, sia per le prestazioni che per le funzionalita’, e verificare la loro idoneita’ a soddisfare i requisiti richihesti dalle attivita’ di Service Challenge 4 in programma nel 2006, fino alla scala prevedibile di un Tier2 in fase di produzione. Il gruppo si propone di analizzare le diverse soluzioni attualmente disponibili per la configurazione dello storage nei Tier INFN, sia per le prestazioni che per le funzionalita’, e verificare la loro idoneita’ a soddisfare i requisiti richihesti dalle attivita’ di Service Challenge 4 in programma nel 2006, fino alla scala prevedibile di un Tier2 in fase di produzione.

10 Riunione CCR 20/10/2005 Progetti 2006: validazione SC4 (2) Il progetto prevede le seguenti attivita’: realizzazione di tools: realizzazione di tools: misura delle prestazioni di accesso allo storage sia diretto che attraverso interfaccia SRM misura delle prestazioni di accesso allo storage sia diretto che attraverso interfaccia SRM realizzazione di un tool di verifica delle funzionalita’ delle implementazioni della interfaccia SRM per la versione 2 realizzazione di un tool di verifica delle funzionalita’ delle implementazioni della interfaccia SRM per la versione 2 realizzazione di applicazioni simili a job di analisi dati di un esperimento LHC, finalizzate allo stress dell’accesso alla infrastruttura di storage realizzazione di applicazioni simili a job di analisi dati di un esperimento LHC, finalizzate allo stress dell’accesso alla infrastruttura di storage test di misura di prestazioni e funzionalita’ in scala ridotta per le soluzioni di storage basate su dCache, DPM, StoRM/GPFS test di misura di prestazioni e funzionalita’ in scala ridotta per le soluzioni di storage basate su dCache, DPM, StoRM/GPFS test di misura di scalabilita’ delle soluzioni, per le prestazioni e per le funzionalita’, ad una scala di ~1000 worker node su uno storage di qualche decina di TB test di misura di scalabilita’ delle soluzioni, per le prestazioni e per le funzionalita’, ad una scala di ~1000 worker node su uno storage di qualche decina di TB test di misura di prestazioni e funzionalita’ sulla stessa scala ottenuti attraverso l’accesso allo storage da parte di job di tipologia simile ad una analisi dati di un esperimento LHC test di misura di prestazioni e funzionalita’ sulla stessa scala ottenuti attraverso l’accesso allo storage da parte di job di tipologia simile ad una analisi dati di un esperimento LHC

11 Riunione CCR 20/10/2005 Progetti 2006: validazione SC4 (3) Partecipanti: 6 persone (piu’ altri interessati) Partecipanti: 6 persone (piu’ altri interessati) Scadenza temporale: fine gennaio 2006 Scadenza temporale: fine gennaio 2006 Documentazione: Documentazione: http://grid.ct.infn.it/swiki/index.php?pagename=Attivita%27%20di %20validazione%20per%20SC4

12 Riunione CCR 20/10/2005 Una richiesta… il sito web del gruppo e’: http://grid.ct.infn.it/swiki il nome non e’ particolarmente indicativo delle attivita’ del gruppo il sito web del gruppo e’: http://grid.ct.infn.it/swiki il nome non e’ particolarmente indicativo delle attivita’ del gruppo Si propone a CCR di definire una nomenclatura uniforme per i siti dei gruppi di lavoro, e di inserire un link al sito del gruppo sul sito di CCR Si propone a CCR di definire una nomenclatura uniforme per i siti dei gruppi di lavoro, e di inserire un link al sito del gruppo sul sito di CCR