CCR - Roma 15 marzo 2007 Gruppo storage CCR Report sulle attivita’ Alessandro Brunengo.

Presentazione sul tema: "CCR - Roma 15 marzo 2007 Gruppo storage CCR Report sulle attivita’ Alessandro Brunengo."— Transcript della presentazione:

1 CCR - Roma 15 marzo 2007 Gruppo storage CCR Report sulle attivita’ Alessandro Brunengo

2 CCR - Roma 15 marzo 2007 2 iSCSI ► In corso test su link aggregation (802.3ad) in ambiente iSAN  server con OpenFiler 2.2 e scheda Intel 4*1000 connesso a switch Extreme Networks 400 ► la connessione con il trunk e’ funzionale, con ripartizione secondo il criterio ( XOR )% ► la connessione con il trunk e’ funzionale, con ripartizione secondo il criterio ( XOR )%  4 client SL 4.4  verificata la fault tolerance  test di throughput in corso ► Contatti con CSI: per ora scambio di esperienze, possibile eventuale collaborazione  da definire

3 CCR - Roma 15 marzo 2007 3 Infrastrutture Tier2 ed SRM ► Riunione Tier2/CMS a gennaio  DPM: l’esperienza nell’utilizzo di DPM non e’ stata positiva (in particolare LNL e Pi)  sostanzialmente si pensa di migrare verso l’utilizzo di dCache per la gestione dello storage via SRM  per l’architettura hardware, si e’ manifestato maggiore interesse verso una soluzione SAN, ma con il problema del maggiore costo iniziale legato alla infrastruttura ► ma LNL e Pi sono gia’ dotati di tale infrastruttura ► Test al CNAF  sono in corso di preparazione test intensivi da svolgere al CNAF sulle infrastrutture T1 per confrontare prestazioni ed affidabilita’ di diversi protocolli di accesso allo storage sulla stessa infrastruttura hardware ► Persone coinvolte: A. Fella (CNAF), F. Furano (Padova), G. Donvito (Bari), S. Sarkar (Pisa), CNAF team

4 CCR - Roma 15 marzo 2007 4 Test al CNAF: obiettivi ► Protocolli con accesso locale:  Rfio (via CASTOR)  Xroot (via xrootd)  Dcap (via dCache)  GPFS (accesso nativo Posix su file system GPFS) ► Accesso remoto:  Si ritiene importante disporre di ulteriore cluster client, situato al di fuori della rete CNAF, per confrontare le prestazioni nei casi di utilizzo remoto (via GsiFTP) ► siti candidati: Pd e Ba (da definire ancora)

5 CCR - Roma 15 marzo 2007 5 Test al CNAF: piattaforma di test ► Server:  Un sottoinsieme dei 24 nuovi server (8 server di disco + macchine di servizio)  ~ 20 TB (parte dell’ultimo acquisto)  è prevista l’installazione di tutti i sistemi da testare contemporaneamente sulle stesse 8 macchine ► Client:  Una porzione notevole della farm di produzione (da concordare, ma dell’ordine di centinaia di nodi) che dovra’ essere dedicata

6 CCR - Roma 15 marzo 2007 6 Applicativi lato client ► Software pronti per generare diversi pattern di accesso in lettura (possono simulare il comportamento di job di esperimento)  il client - sviluppato per Xroot - è stato portato su tutti gli altri protocolli ► In fase di sviluppo client analoghi che eseguano operazioni in scrittura  sara’ pronto in tempi brevi (giorni)

7 CCR - Roma 15 marzo 2007 7 Test al CNAF: programma ► Settimana 5-9 Marzo:  Installazione server e disco e ultimi fix alla configurazione di OS ► Problemi di driver, performance e installazione GPFS (SLC4-x86_64) ► Settimana 12-16 Marzo:  Test di base (usando comandi standard) per verificare performance e stabilità  Verifica preliminare della capacita’ di throughput della rete (aggregato verso i server >= 600 MB/s) ► Settimana 19-23 Marzo:  Installazione e configurazione dei pacchetti da testare su server e client e dei volumi per i test ► A seguire:  Test sui protocolli di accesso  Senza intoppi le misure sui diversi protocolli dovrebbero esaurirsi in una settimana

8 CCR - Roma 15 marzo 2007 8 Documento su infrastrutture di storage e costi ► Pubblicato un documento con lo scopo di  identificare le principali tecnologie idonee a servire lo storage per le diverse esigenze ► alti volumi (T1/T2) ► ridondanza ed affidabilita’ (sistemi centrali) ► throughput ► dati critici (db critici, mail,...)  fornire una indicativa valutazione dei costi per le diverse soluzioni, anche in funzione delle dimensioni

9 CCR - Roma 15 marzo 2007 9 Tipologie di infrastruttura ► Architetture di storage divise in tre categorie:  low-cost (NAS/DAS) + basso costo + semplicita’ di installazione  scarsa affidabilita’ intrinseca  problemi di management (disomogeneita’, mancanza di flessibilita’ nella gestione dei volumi)  medium-cost (controller FC-to-SATA, eventuale SAN) + costo ancora contenuto + throughput per pattern di accesso sequenziale + flessibilita’ della gestione dei volumi, e disponibilita’ di soluzioni anche altamente affidabili  costo iniziale di startup (in termini di soldi e di apprendimento della tecnologia)  high-cost (controller FC-to-FC o FC-to-SAS, eventuale SAN) + prestazioni ed affidabilita’  costo elevato (impossibile per grossi volumi)

10 CCR - Roma 15 marzo 2007 10 Criteri di valutazione dei costi ► Riferimento: ultimi acquisti 2006  puo’ essere una base di riferimento troppo piccola ► Le soluzioni che separano il disco dal disk server devono prevedere il costo dei disk server (dotati di scheda FC)  criteri di performance impongono limiti sulla dimensione dei volumi esportati per disk server (10-15 TB) ► Il costo di eventuali switch Fibre Channel per l’implementazione di una SUN deve essere valutato a parte  non dipende dai volumi, ma da necessita’ di rendere la struttura flessibile e scalabile ► Molto difficile dare indicazioni di euro/GB: forte dipendenza da  soluzione tecnica scelta  volumi ed ordini aggregati  prezzi speciali  rapida variazione dei prezzi in conseguenza delle innovazioni tecnologiche

11 CCR - Roma 15 marzo 2007 11 Tabella riassuntiva TecnologiaFino a 10-15 TBDecine di TBCentinaia di TB DAS/NAS1.3-1.5 euro/GB1.1-1.2 euro/GB FC–to-SATA rid.2.3-2.5 euro/GB2.1-2.3 euro/GB non rid.2.1-2.3 euro/GB1.8-2.0 euro/GB1.6 euro/GB FC – to – FC/SAS (rid.)4-6 euro/GB (*)