Gaetano Maron, Workshop Tier2, CNAF, gennaio La rete locale per i Tier2 Workshop Tier2 CNAF – gennaio 2008 Gaetano Maron INFN – Laboratori Nazionali di Legnaro

Gaetano Maron, Workshop Tier2, CNAF, gennaio Requisiti finali Tier 2 (use case CMS) Disk Array Potenza di calcolo: 2.3 MSI2k ~700 cores (3.3 kSI2k/core) ~ 100 boxes Storage: 600 TB Capacità di I/O: Analisi + MC (2 - 8 MB/s/kSI2k): (6.6 – 16.4)GB/s 10 GB/s 100 Gbps Copia Data Set + MC: (1 – 10 ) Gbps CPU BOX 100 Gbps Max 10 Gbps Al Tier 1 CMS Tier TB disks

Gaetano Maron, Workshop Tier2, CNAF, gennaio Un possibile layout fisico per il Tier2 Server Disk Array Server SANSAN Disk Array 1 Gbps links 10 boxes 80 cores o Blade center Switch Concentratore 10 Gbps link > 200 Gbps Ethernet backbone ~ 50 TB Gbps FC links N*Gbps trunck 10 Gbps X-Pop / Centro Stella Lab.

Gaetano Maron, Workshop Tier2, CNAF, gennaio Switch Caratteristiche principali dello switch di backbone –Bandwidth > 200 Gbps –Layer 2 / layer 3 “semplice” –Due opzioni Switch compatto con sole porte 10 Gbps –Min 24 porte / meglio 48 Switch modulare con porte 1-10 Gbps Caratteristiche principali switch concentratore –24 porte 1 Gbps –2 uplilnk a 10 Gbps

10 Gbit ethernet media 10 Gbit Ethernet fiber (SR, LR, ER) –consolidato 10 Gbit CX4 (rame) –Consolidato 10 Gbit BaseT (rame) –Standard nel 2006 –Primi prodotti nel 2007 –Disponibilità 2Q/3Q 2008 Gaetano Maron, Workshop Tier2, CNAF, gennaio

6 Ethernet Evolution 2.94 Mbps Xerox DIX Ethernet CSMA/CD z u ae 10B5 10B2 10BT 1000BT CSMA CSMA + Full Duplex Full Duplex Eth Switch Era The original draw showing the first ethernet design (R.Metcalfe, Xerox, 1973) Featuring an initial transmission rate of 2.49 Mbps.

Gaetano Maron, Workshop Tier2, CNAF, gennaio GEthernet rame CX4 –Stesso cavo Infiniband rame –Solo 15 metri –NIC compatibili con CX4 10 GE base T (IEEE an) –Start del progetto Standard nel 2006 –Caratteristiche principali 10 Gbps su unshielded o shielded twisted pair Con cavi cat 6 fino 55 m Con cavi cat 6a fino a 100 m –Prodotti Primi prodotti fine 2007 Disponibilità commerciale metà/fine 2008 –Problemi Power dissipation del physical layer interface device (PHY) 10 W/device (1000 baseT 1 W/device) Schede ad alta denistà penalizzate

Gaetano Maron, Workshop Tier2, CNAF, gennaio Alcuni esempi di switch che fittano le ns richieste Building block della nuova generazione di switch ethernet 24 porte 10 Gbps 500 Gbps aggregate bandwidth Arastra porte 10 Gbps, no blocking Sfp+ interface -> Fibra, cx4 960 Gbps 400 $ / port (cx4) Force10S 24 ports 10 Gbps Cx4 600 euro/porta 480 Gbps SMC 24 porte 10 Gbase-T 1000 $ /porta Fulcrum chip Solarflare®’s 10Xpress® PHY

Gaetano Maron, Workshop Tier2, CNAF, gennaio Switch Modulari Extreme 8800, 800 Gbps 48 Gbps per slot CX euro/porta 480 porte Gbps 40 porte 10 Gbps Foundry Big-Iron 480 Gbps 232 Gbps porte Gigabit porte Force10 serie C 1.5 Tbps 8 slots 400 porte 1 Gbps 64 porte 10 Gbps HP 5412zl, 12 slot Moduli 24 porte 1 Gbps, 4 porte 10 Gbps Fibra 2500 euro / porta, CX4 750 euro/porta 692 Gbps, Max 288 porte 1 Gbps Max 48 porte 10 Gbps

Confronto Gaetano Maron, Workshop Tier2, CNAF, gennaio

Switch concentratore Gaetano Maron, Workshop Tier2, CNAF, gennaio Hp porte 1 Gbps, 2 CX4 uplink 10 Gbps, 115 Gbps, ~ 2000 euro 48 porte 1 Gbps, 4 CX4 uplink 10 Gbps, 175 Gbps

Schede NIC a 10 Gbps Gaetano Maron, Workshop Tier2, CNAF, gennaio Chelsio CX4, SR (700 – 1000 $) Mellanox ConnetxEN PCI Express 2.0 BaseT, CX4, SR/LR/ER NetXen PCI Express SR/LR NetXen PCIe CX4,SR,LR

Blades Gaetano Maron, Workshop Tier2, CNAF, gennaio IBM Blade Centers Nortel 10 Gbps uplink 3 x 10 Gbps CX euro SR/LR HP serie C Blade Centers Hp Switch 3 x 10 Gbps uplinks CX4, SR/LR

Mettendo i pezzi insieme Il quadro presenta diverse soluzioni possibili Siamo in presenza di un cambio di tecnologia (10G BaseT). Solo questa tecnologia ci permetterà un uso massiccio dei 10 G dentro un Tier2 a prezzi grosso modo equivalenti a quelli del Gbps. Ma bisogna aspettare ancora 6/9 mesi per una accettabile disponibilità commerciale Si può: –Procastinare gli acquisti della rete se non c’e’ immediato bisogno –Se indispensabile procedere all’acquisto: Investimento su uno switch con le caratteristiche che servono, ma 10 Gbps enabled –In una prima fase solo 1 Gbps –Assicurarsi che la sua road map includa 10G BaseT –Eventualmente prendere temporaneamente porte a 10 Gbps CX4 / fibra SR Se la road map non garantisce il 10G Base T fare un investimento piccolo per poi fare un ulteriore acquisto quando la tecnologia e’ matura. Gaetano Maron, Workshop Tier2, CNAF, gennaio

Mettendo i pezzi insieme II L’esperienza con 1 Gbps ci ha insegnato che conviene cambiare lo switch centrale man mano che le risorse di CPU e storage aumentano piuttosto che comprare un centro stella all’inizio del progetto e che preveda tutte le espansioni possibili In particolare in questa fase di cambio di tecnologia andrebbero evitate soluzioni “finali”. Gaetano Maron, Workshop Tier2, CNAF, gennaio

Una possibile soluzione temporanea Gaetano Maron, Workshop Tier2, CNAF, gennaio Tra i casi presentato lo switch HP5400 è probabilmente la soluzione piu flessibile e meno rischiosa in questo momento Nella sua road map però non e’ inclusa per il momento il 10 Gbase T L’investimento però è piccolo e può quindi risultare come non definitivo Soluzione prudente di partenza Concentrare le connessioni di tutti i box/CPU a 1 Gbps e/o usare concentratori di rack +trunnking Lavorare in trunck sui disk server Connessioni 10 Gbps CX4 sui server di nuova generazione La soluzione permette l’utilizzo di blade con connessioni a 10 Gbps e/o concentratori di rack con uplink della stessa velocità Chassis + 96 porte 1 Gbps 7k euro Modulo 4 porte CX4 3k euro

Se siamo “costretti” ad investimenti importanti Force10 serie C ed E garantisce un buona espandabilità con appropriata banda nel backplane (1.5 Tbps) Questo non è vero negli altri casi di switch modulari che abbiamo visto Eventualmente da approfondire sul caso specifico Gaetano Maron, Workshop Tier2, CNAF, gennaio

Una soluzione per quando la 10 BaseT sarà pienamente disponibile Gaetano Maron, Workshop Tier2, CNAF, gennaio x 10 Gbps Concentrazione di rack Switch centrale 48 porte 10 GbaseT 1 Tbps Server Disk Array 10 Gbps Server Disk Array Server Disk Array Switch centrale 15 – 20 kEuro Concentratore 2-4 kEuro / rack /Blade Nic disk server 0.5 kEuro

Accesso al X-Pop di Garr-X Gaetano Maron, Workshop Tier2, CNAF, gennaio T2 Central Switch Site Central Switch/Router X - POP 10 Gbps Tier 2 1 Gbps T2 Central Switch Site Central Switch/Router X - POP 1 Gbps 10 Gbps Tier 2 Impatto sul router centrale da verificare se adeguato Eventuale potenziamento Scelta interfaccia 10 Gbps In questo caso lo switch del T2 Deve avere L3 piu potente Impatto sulla scelta

Necessità di allargare il gruppo di consultazione Gaetano Maron, Workshop Tier2, CNAF, gennaio T2 Central Switch Site Central Switch/Router X - POP Server La rete di un T2 impatta su 3 elementi: –Switch di farm –Disk server –Switch/Router di sede Vanno sviluppate sinergie tra gli esperimenti (T1 e T2) e il gruppo reti e storage della CCR per poter fare le scelte più opportune

Gruppo di lavoro tra T2, T1 e gruppo reti / storage di CCR Scopo del gruppo del lavoro –Tracking tecnologico per supportare le scelte –Test on field del materiale più interessante –Rapporti con il Garr per preparare il passaggio a Garr-x (impatti sugli apparati centrali di sede / switch di T2 ) Gaetano Maron, Workshop Tier2, CNAF, gennaio