GM, Bologna, 8 aprile INFN-GRID-WP4: Computing Fabric & Mass Storage Attivita 2003 (CNAF, Genova, Lecce, LNL, Padova, Napoli, Roma1)

GM, Bologna, 8 aprile WP Breakdown Fabric Design –lattivita del 2003 e focalizzata sulle tecniche di storage di una farm con un numero elevato di nodi. Lutilizzo di NFS in questi casi e di difficile realizzazione e fornisce prestazioni modeste. Ci sono vari approcci possibilie. Il piu interessante per noi e quello legato alla possibilita di SAN a basso costo associate ad un file system condiviso da tutta la farm. Quindi lattivita del 2003 e cosi articolata Commodity Storage Area Network (SAN) Cluster file systems Fabric Management –Lattivita 2003 continua il programma concordato con wp4-edg. Installation Task oTransizione LCFG->LCFGng->EDG wp4 tools

GM, Bologna, 8 aprile Fabric Management: Installation Task The INFN efforts in WP4 has been spent during the review period as follows: INFN Legnaro ( E. Ferro and C. Aifitimiei): –LCFGng deployment and support: maintenance of the existing documentation for Red Hat 6.2 server, add of the installation guide for Red Hat 7.3 (thanks to WP6 collaboration), support for deployment on the testbed (bug fixes and some improvements). 1 PM. –[WP4I-16] Automated installation infrastructure: Design. Almost complete, announced to mailing lists, waiting for comments. 0.6 PM. –[WP4I-17] Automated installation infrastructure: installation server. Started implementation only of basic functionalities (DHCP configuration). 0.2 PM INFN CNAF (A. Chierici ): –Generic support to CNAF-Tier1 staff for the installation problem with LCFG. –Feedback to WP4/WP6 on the deployment of the new LCFGng installation system. –Development, in conjunction with WP1 staff, of 2 new LCFGng objects: jssrbconfig and uiconfig.

GM, Bologna, 8 aprile Fabric Design Lattivita del 2003 e si compone di due argomenti strettamente correlati tra loro: –commodity SAN (o presunte) gigaethernet (con migrazione a 10 Geth se possibile) Infiniband –Cluster File Systems da poter utilizzare con una commodity SAN e dove quindi e immaginabile un file system condiviso tra tutti i nodi di calcolo e disk server –Partecipanti: Genova LNL Napoli

GM, Bologna, 8 aprile Modello di storage con NFS Application Servers Data Servers Disk Array Server SANSAN gateway NFS - Attualmente laccesso remoto ai Data Server e penalizzato da NFS - Dato lelevato numero di Application Server ci sono scarsi vantaggi ad utilizzare SAN basate per esempio su FC (costoso)

GM, Bologna, 8 aprile Commodity SAN Application Servers Data Servers gateway SAN enabled disk array GEth/iSCSI Infiniband SAN low cost (commodity) permettono di raggiungere direttamente tutti i nodi. Di interesse per noi sono: GigaEthernet con trasporto SCSI su IP (iSCSI) Infiniband Lintegrazione completa sulla farm richiede cmnq un file system a livello di farm stessa.

GM, Bologna, 8 aprile iSCSI Internet SCSI (iSCSI) is a standard protocol for encapsulating SCSI command into TCP/IP packets and enabling I/O block data transport over IP networks iSCSI adapters combines NIC and HBA functions. 1.take the data in block form 2.handle the segmentation and processing with TCP/IP processing engine 3.send IP packets across the IP network Application Layer Driver Layer Link Layer Network Interface Card Storage HBA FC Storage iSCSI Adapter IP Server FC Server IP Server IP Packets FileBlock IP Packets on Ethernet IP Packets FC Packets Intel GE 1000 T IP Storage Adapter

GM, Bologna, 8 aprile iSCSI products GEth/iSCSI Application Servers Data Servers Host adapter: - Intel GE 1000 T - Adaptec ASA LSI ecc. 2 x GE LSI iMegaRAID SATA 1 16 = ~ 5 Tbyte x controller iSCSI Controller RAID – SATA Controller

GM, Bologna, 8 aprile Infiniband Transport Protocols IBA has been developed with Virtual Interface in mind. VIPL 2.0 includes IBA extensions and RDMA operations. SCSI RDMA Protocol (SRP). It is a T10 standard. –SRP defines mapping to IBA architecture –it is the transport protocol over IBA –SRP is based on VI Direct Access Files System (DAFS) Direct Access Socket (DAS) –TCP/IP functionality over VI/IB IBA Host Channel Adapter Virtual Interface over IB DAS DAFS SRP fast, low latency TCP/IP sockets File Access Block Access fast, low latency network storage

GM, Bologna, 8 aprile LNL Infiniband Test Bed All the hardware has been provided by Infiniswitch (1 switch + 4 HCA) All the hardware is up and running First p2p measurements have been performed Software –Virtual Interface Library (VIPL) as provided by Infiniswitch Send/Receive over reliable connections RDMA over reliable connections –Sourceforge has a infiniband project over Linux VIPL source is available. Compiled and works! Performance as the infiniswitch VIPL (probably they are the same code) Results –Round trip time small buffers ~ 40 sec (latency 20 sec) –P2P ~ 80% link saturation

GM, Bologna, 8 aprile LNL Infiniband Test Bed II Leaf Switch 32 1x (2.5 Gbps) ports in 1 U chassis PCI-X (max ~ 380 Mbyte/s) Supermicro P4DL6 IBA Host Channel Adapter

GM, Bologna, 8 aprile Infiniband: risultati ottenuti 220 Link Saturation

GM, Bologna, 8 aprile Cluster File Systems Application Servers Data Servers Cluster File System - GFS - GPFS - Lustre - Storage Tank

GM, Bologna, 8 aprile Legnaro Test Bed Blade + 4 server GB*4 Test con GPFS Test in programmazione fino a giugno: –valutazione lustre – storage tank (cluster file system) su FC o su DAS se possibile –Test bed su iscsi con : –Host adapter LSI 5201 –iMegaRAID solution IBM Blade center GPFS Write 30 Mbyte/s Read 30 Mbyte/s DAS Disk Servers

GM, Bologna, 8 aprile Napoli test bed La proposta e di equipaggiare la farm di FIRB (16 macchine) con una rete Myrinet a 2 Gbps Durante il setup di FIRB la farm viene utilizzata anche per fare I test sui cluster file system A test finiti Myrinet rimane a FIRB abilitando la farm al calcolo parallelo (con MPI) ad alta velocita. Myrinet, essendo lunico link per cluster commerciale a 2 Gbps, permette il test dei cluster file system ad alta velocita.

GM, Bologna, 8 aprile Genova test bed Viene potenziata la loro Farm Gethernet aumentando il numero di nodi (+ 15 PC) Lattivita continua su: –Protocollo Gamma in produzione su applicativi paralleli, portato su MPI –DRAID Progetto completato Test di scalabilita