Alessandro Tirel - Sezione di Trieste Storage Area Network Riunione gruppo Storage Padova, 5 ottobre 2005

Alessandro Tirel - Sezione di Trieste Premessa La scelta di costruire una SAN e` stata dettata dalla necessita di gestire un discreto quantitativo di storage (decine di TB) in maniera molto flessibile, cercando di rendere per quanto possibile indipendente lo storage dai server.

Schema

Alessandro Tirel - Sezione di Trieste Hardware Switch FC Qlogic 5200 HBA FC Qlogic 2340 Infortrend A16F-R1211-R2 (12 TB) Infortrend F16F-R2A2A (2 TB) Servers Supermicro Xeon mono 2/4GB di memoria Switch Summit400 Extreme Networks

Alessandro Tirel - Sezione di Trieste Filesystem Dopo alcune prove con GFS (RedHat ES 3) non troppo soddisfacenti, siamo passati all’implementazione di GPFS che ha dato da subito buoni risultati in termini di affidabilità e di performance. La configurazione iniziale si e` rivelata un po' ostica a causa dell’utilizzo di ssh/scp come mezzo per il colloquio tra i vari nodi.

Alessandro Tirel - Sezione di Trieste Configurazione cluster GPFS Il cluster e` formato da tre server collegati alla SAN i quali distribuiscono lo storage ai client tramite le due interfacce Ethernet configurate in modalità balance-rr. I client attualmente sono 14 tra Xeon ed Opteron. Sono stati creati due volumi GPFS uno dedicato all’esperimento Alice (10 TB) mentre il secondo e` di utilizzo comune (2 TB).

Alessandro Tirel - Sezione di Trieste Esempio: configurazione volume Alice L’EonStor A16F e` formato dall’unita controller piu` altri 2 JBOD per un totale di 48 dischi da 250 GB. E` stato creato un RAID set per ogni JBOD e quindi partizionato in due. Ad ogni partizione, inferiore ai 2 TB, e` stata assegnata una host lun. Tali host lun rappresentano i dischi visibili dai server i quali sono stati definiti come NSD (network shared disk) e sommati per ottenere il filesystem GPFS File system Disk name Primary node Backup node fs0 ali0d00 filer1.ts.infn.it filer2.ts.infn.it fs0 ali0d01 filer2.ts.infn.it filer3.ts.infn.it fs0 ali0d02 filer3.ts.infn.it filer1.ts.infn.it fs0 ali0d03 filer1.ts.infn.it filer2.ts.infn.it fs0 ali0d04 filer2.ts.infn.it filer3.ts.infn.it fs1 com1d00 filer1.ts.infn.it filer2.ts.infn.it Come si vede dalla lista, per ogni NSD e` stato definito un primary ed un backup node in modo da mantenere attivo il filesystem in caso di problemi su uno dei server.

Alessandro Tirel - Sezione di Trieste Test Per testare le performance del sistema e` stata utilizzata la suite di test prodotta da Vincenzo Vagnoni al CNAF. I risultati ottenuti si attestano in lettura tra i 180~200 MB/sec mentre in scrittura si raggiungono gli 80~90 MB/sec

Alessandro Tirel - Sezione di Trieste Test 10 client - 4 GB - 64K - 1 loop

Alessandro Tirel - Sezione di Trieste Test 10 client MB - 64K - 10 loop

Alessandro Tirel - Sezione di Trieste Test 10 client - 10 MB - 64K loop

Alessandro Tirel - Sezione di Trieste Sviluppi futuri Espansione dello spazio disco per l’esperimento Compass 6 TB Export via NFS dei filesystem GPFS Acquisto Tape library partizionabile per backup e HSM Installazione di castor o altro HSM