CCR - Roma 15 marzo 2007 Gruppo storage CCR Report sulle attivita’ Alessandro Brunengo
CCR - Roma 15 marzo iSCSI ► In corso test su link aggregation (802.3ad) in ambiente iSAN server con OpenFiler 2.2 e scheda Intel 4*1000 connesso a switch Extreme Networks 400 ► la connessione con il trunk e’ funzionale, con ripartizione secondo il criterio ( XOR )% ► la connessione con il trunk e’ funzionale, con ripartizione secondo il criterio ( XOR )% 4 client SL 4.4 verificata la fault tolerance test di throughput in corso ► Contatti con CSI: per ora scambio di esperienze, possibile eventuale collaborazione da definire
CCR - Roma 15 marzo Infrastrutture Tier2 ed SRM ► Riunione Tier2/CMS a gennaio DPM: l’esperienza nell’utilizzo di DPM non e’ stata positiva (in particolare LNL e Pi) sostanzialmente si pensa di migrare verso l’utilizzo di dCache per la gestione dello storage via SRM per l’architettura hardware, si e’ manifestato maggiore interesse verso una soluzione SAN, ma con il problema del maggiore costo iniziale legato alla infrastruttura ► ma LNL e Pi sono gia’ dotati di tale infrastruttura ► Test al CNAF sono in corso di preparazione test intensivi da svolgere al CNAF sulle infrastrutture T1 per confrontare prestazioni ed affidabilita’ di diversi protocolli di accesso allo storage sulla stessa infrastruttura hardware ► Persone coinvolte: A. Fella (CNAF), F. Furano (Padova), G. Donvito (Bari), S. Sarkar (Pisa), CNAF team
CCR - Roma 15 marzo Test al CNAF: obiettivi ► Protocolli con accesso locale: Rfio (via CASTOR) Xroot (via xrootd) Dcap (via dCache) GPFS (accesso nativo Posix su file system GPFS) ► Accesso remoto: Si ritiene importante disporre di ulteriore cluster client, situato al di fuori della rete CNAF, per confrontare le prestazioni nei casi di utilizzo remoto (via GsiFTP) ► siti candidati: Pd e Ba (da definire ancora)
CCR - Roma 15 marzo Test al CNAF: piattaforma di test ► Server: Un sottoinsieme dei 24 nuovi server (8 server di disco + macchine di servizio) ~ 20 TB (parte dell’ultimo acquisto) è prevista l’installazione di tutti i sistemi da testare contemporaneamente sulle stesse 8 macchine ► Client: Una porzione notevole della farm di produzione (da concordare, ma dell’ordine di centinaia di nodi) che dovra’ essere dedicata
CCR - Roma 15 marzo Applicativi lato client ► Software pronti per generare diversi pattern di accesso in lettura (possono simulare il comportamento di job di esperimento) il client - sviluppato per Xroot - è stato portato su tutti gli altri protocolli ► In fase di sviluppo client analoghi che eseguano operazioni in scrittura sara’ pronto in tempi brevi (giorni)
CCR - Roma 15 marzo Test al CNAF: programma ► Settimana 5-9 Marzo: Installazione server e disco e ultimi fix alla configurazione di OS ► Problemi di driver, performance e installazione GPFS (SLC4-x86_64) ► Settimana Marzo: Test di base (usando comandi standard) per verificare performance e stabilità Verifica preliminare della capacita’ di throughput della rete (aggregato verso i server >= 600 MB/s) ► Settimana Marzo: Installazione e configurazione dei pacchetti da testare su server e client e dei volumi per i test ► A seguire: Test sui protocolli di accesso Senza intoppi le misure sui diversi protocolli dovrebbero esaurirsi in una settimana
CCR - Roma 15 marzo Documento su infrastrutture di storage e costi ► Pubblicato un documento con lo scopo di identificare le principali tecnologie idonee a servire lo storage per le diverse esigenze ► alti volumi (T1/T2) ► ridondanza ed affidabilita’ (sistemi centrali) ► throughput ► dati critici (db critici, mail,...) fornire una indicativa valutazione dei costi per le diverse soluzioni, anche in funzione delle dimensioni
CCR - Roma 15 marzo Tipologie di infrastruttura ► Architetture di storage divise in tre categorie: low-cost (NAS/DAS) + basso costo + semplicita’ di installazione scarsa affidabilita’ intrinseca problemi di management (disomogeneita’, mancanza di flessibilita’ nella gestione dei volumi) medium-cost (controller FC-to-SATA, eventuale SAN) + costo ancora contenuto + throughput per pattern di accesso sequenziale + flessibilita’ della gestione dei volumi, e disponibilita’ di soluzioni anche altamente affidabili costo iniziale di startup (in termini di soldi e di apprendimento della tecnologia) high-cost (controller FC-to-FC o FC-to-SAS, eventuale SAN) + prestazioni ed affidabilita’ costo elevato (impossibile per grossi volumi)
CCR - Roma 15 marzo Criteri di valutazione dei costi ► Riferimento: ultimi acquisti 2006 puo’ essere una base di riferimento troppo piccola ► Le soluzioni che separano il disco dal disk server devono prevedere il costo dei disk server (dotati di scheda FC) criteri di performance impongono limiti sulla dimensione dei volumi esportati per disk server (10-15 TB) ► Il costo di eventuali switch Fibre Channel per l’implementazione di una SUN deve essere valutato a parte non dipende dai volumi, ma da necessita’ di rendere la struttura flessibile e scalabile ► Molto difficile dare indicazioni di euro/GB: forte dipendenza da soluzione tecnica scelta volumi ed ordini aggregati prezzi speciali rapida variazione dei prezzi in conseguenza delle innovazioni tecnologiche
CCR - Roma 15 marzo Tabella riassuntiva TecnologiaFino a TBDecine di TBCentinaia di TB DAS/NAS euro/GB euro/GB FC–to-SATA rid euro/GB euro/GB non rid euro/GB euro/GB1.6 euro/GB FC – to – FC/SAS (rid.)4-6 euro/GB (*)