Gaetano Maron, Workshop Tier2, CNAF, 17-18 gennaio 2008 1 La rete locale per i Tier2 Workshop Tier2 CNAF – 17-18 gennaio 2008 Gaetano Maron INFN – Laboratori.

Presentazione sul tema: "Gaetano Maron, Workshop Tier2, CNAF, 17-18 gennaio 2008 1 La rete locale per i Tier2 Workshop Tier2 CNAF – 17-18 gennaio 2008 Gaetano Maron INFN – Laboratori."— Transcript della presentazione:

1 Gaetano Maron, Workshop Tier2, CNAF, 17-18 gennaio 2008 1 La rete locale per i Tier2 Workshop Tier2 CNAF – 17-18 gennaio 2008 Gaetano Maron INFN – Laboratori Nazionali di Legnaro

2 Gaetano Maron, Workshop Tier2, CNAF, 17-18 gennaio 2008 2 Requisiti finali Tier 2 (use case CMS) Disk Array Potenza di calcolo: 2.3 MSI2k ~700 cores (3.3 kSI2k/core) ~ 100 boxes Storage: 600 TB Capacità di I/O: Analisi + MC (2 - 8 MB/s/kSI2k): (6.6 – 16.4)GB/s 10 GB/s 100 Gbps Copia Data Set + MC: (1 – 10 ) Gbps 1 100 100 CPU BOX 100 Gbps Max 10 Gbps Al Tier 1 CMS Tier 2 600 TB disks

3 Gaetano Maron, Workshop Tier2, CNAF, 17-18 gennaio 2008 3 Un possibile layout fisico per il Tier2 Server Disk Array Server SANSAN Disk Array 1 Gbps links 10 boxes 80 cores o Blade center Switch Concentratore 10 Gbps link > 200 Gbps Ethernet backbone ~ 50 TB 4 + 4 Gbps FC links N*Gbps trunck 10 Gbps X-Pop / Centro Stella Lab.

4 Gaetano Maron, Workshop Tier2, CNAF, 17-18 gennaio 2008 4 Switch Caratteristiche principali dello switch di backbone –Bandwidth > 200 Gbps –Layer 2 / layer 3 “semplice” –Due opzioni Switch compatto con sole porte 10 Gbps –Min 24 porte / meglio 48 Switch modulare con porte 1-10 Gbps Caratteristiche principali switch concentratore –24 porte 1 Gbps –2 uplilnk a 10 Gbps

5 10 Gbit ethernet media 10 Gbit Ethernet fiber (SR, LR, ER) –consolidato 10 Gbit CX4 (rame) –Consolidato 10 Gbit BaseT (rame) –Standard nel 2006 –Primi prodotti nel 2007 –Disponibilità 2Q/3Q 2008 Gaetano Maron, Workshop Tier2, CNAF, 17-18 gennaio 2008 5

6 6 Ethernet Evolution 2.94 Mbps Xerox DIX Ethernet CSMA/CD 802.3 z 802.3 u 802.3 ae 10B5 10B2 10BT 1000BT CSMA CSMA + Full Duplex Full Duplex Eth Switch Era The original draw showing the first ethernet design (R.Metcalfe, Xerox, 1973) Featuring an initial transmission rate of 2.49 Mbps.

7 Gaetano Maron, Workshop Tier2, CNAF, 17-18 gennaio 2008 7 10 GEthernet rame CX4 –Stesso cavo Infiniband rame –Solo 15 metri –NIC compatibili con CX4 10 GE base T (IEEE 802.3 an) –Start del progetto 2002. Standard nel 2006 –Caratteristiche principali 10 Gbps su unshielded o shielded twisted pair Con cavi cat 6 fino 55 m Con cavi cat 6a fino a 100 m –Prodotti Primi prodotti fine 2007 Disponibilità commerciale metà/fine 2008 –Problemi Power dissipation del physical layer interface device (PHY) 10 W/device (1000 baseT 1 W/device) Schede ad alta denistà penalizzate

8 Gaetano Maron, Workshop Tier2, CNAF, 17-18 gennaio 2008 8 Alcuni esempi di switch che fittano le ns richieste Building block della nuova generazione di switch ethernet 24 porte 10 Gbps 500 Gbps aggregate bandwidth Arastra 7100 48 porte 10 Gbps, no blocking Sfp+ interface -> Fibra, cx4 960 Gbps 400 $ / port (cx4) Force10S 24 ports 10 Gbps Cx4 600 euro/porta 480 Gbps SMC 24 porte 10 Gbase-T 1000 $ /porta Fulcrum chip Solarflare®’s 10Xpress® PHY

9 Gaetano Maron, Workshop Tier2, CNAF, 17-18 gennaio 2008 9 Switch Modulari Extreme 8800, 800 Gbps 48 Gbps per slot CX4 2000 euro/porta 480 porte Gbps 40 porte 10 Gbps Foundry Big-Iron 480 Gbps 232 Gbps porte 28 10 Gigabit porte Force10 serie C 1.5 Tbps 8 slots 400 porte 1 Gbps 64 porte 10 Gbps HP 5412zl, 12 slot Moduli 24 porte 1 Gbps, 4 porte 10 Gbps Fibra 2500 euro / porta, CX4 750 euro/porta 692 Gbps, Max 288 porte 1 Gbps Max 48 porte 10 Gbps

10 Confronto Gaetano Maron, Workshop Tier2, CNAF, 17-18 gennaio 2008 10

11 Switch concentratore Gaetano Maron, Workshop Tier2, CNAF, 17-18 gennaio 2008 11 Hp 2900 24 porte 1 Gbps, 2 CX4 uplink 10 Gbps, 115 Gbps, ~ 2000 euro 48 porte 1 Gbps, 4 CX4 uplink 10 Gbps, 175 Gbps

12 Schede NIC a 10 Gbps Gaetano Maron, Workshop Tier2, CNAF, 17-18 gennaio 2008 12 Chelsio CX4, SR (700 – 1000 $) Mellanox ConnetxEN PCI Express 2.0 BaseT, CX4, SR/LR/ER NetXen PCI Express SR/LR NetXen PCIe CX4,SR,LR

13 Blades Gaetano Maron, Workshop Tier2, CNAF, 17-18 gennaio 2008 13 IBM Blade Centers Nortel 10 Gbps uplink 3 x 10 Gbps CX4 2-3000 euro SR/LR HP serie C Blade Centers Hp Switch 3 x 10 Gbps uplinks CX4, SR/LR

14 Mettendo i pezzi insieme Il quadro presenta diverse soluzioni possibili Siamo in presenza di un cambio di tecnologia (10G BaseT). Solo questa tecnologia ci permetterà un uso massiccio dei 10 G dentro un Tier2 a prezzi grosso modo equivalenti a quelli del Gbps. Ma bisogna aspettare ancora 6/9 mesi per una accettabile disponibilità commerciale Si può: –Procastinare gli acquisti della rete se non c’e’ immediato bisogno –Se indispensabile procedere all’acquisto: Investimento su uno switch con le caratteristiche che servono, ma 10 Gbps enabled –In una prima fase solo 1 Gbps –Assicurarsi che la sua road map includa 10G BaseT –Eventualmente prendere temporaneamente porte a 10 Gbps CX4 / fibra SR Se la road map non garantisce il 10G Base T fare un investimento piccolo per poi fare un ulteriore acquisto quando la tecnologia e’ matura. Gaetano Maron, Workshop Tier2, CNAF, 17-18 gennaio 2008 14

15 Mettendo i pezzi insieme II L’esperienza con 1 Gbps ci ha insegnato che conviene cambiare lo switch centrale man mano che le risorse di CPU e storage aumentano piuttosto che comprare un centro stella all’inizio del progetto e che preveda tutte le espansioni possibili In particolare in questa fase di cambio di tecnologia andrebbero evitate soluzioni “finali”. Gaetano Maron, Workshop Tier2, CNAF, 17-18 gennaio 2008 15

16 Una possibile soluzione temporanea Gaetano Maron, Workshop Tier2, CNAF, 17-18 gennaio 2008 16 Tra i casi presentato lo switch HP5400 è probabilmente la soluzione piu flessibile e meno rischiosa in questo momento Nella sua road map però non e’ inclusa per il momento il 10 Gbase T L’investimento però è piccolo e può quindi risultare come non definitivo Soluzione prudente di partenza Concentrare le connessioni di tutti i box/CPU a 1 Gbps e/o usare concentratori di rack +trunnking Lavorare in trunck sui disk server Connessioni 10 Gbps CX4 sui server di nuova generazione La soluzione permette l’utilizzo di blade con connessioni a 10 Gbps e/o concentratori di rack con uplink della stessa velocità Chassis + 96 porte 1 Gbps 7k euro Modulo 4 porte CX4 3k euro

17 Se siamo “costretti” ad investimenti importanti Force10 serie C ed E garantisce un buona espandabilità con appropriata banda nel backplane (1.5 Tbps) Questo non è vero negli altri casi di switch modulari che abbiamo visto Eventualmente da approfondire sul caso specifico Gaetano Maron, Workshop Tier2, CNAF, 17-18 gennaio 2008 17

18 Una soluzione per quando la 10 BaseT sarà pienamente disponibile Gaetano Maron, Workshop Tier2, CNAF, 17-18 gennaio 2008 18 2x 10 Gbps Concentrazione di rack Switch centrale 48 porte 10 GbaseT 1 Tbps Server Disk Array 10 Gbps Server Disk Array Server Disk Array Switch centrale 15 – 20 kEuro Concentratore 2-4 kEuro / rack /Blade Nic disk server 0.5 kEuro

19 Accesso al X-Pop di Garr-X Gaetano Maron, Workshop Tier2, CNAF, 17-18 gennaio 2008 19 T2 Central Switch Site Central Switch/Router X - POP 10 Gbps Tier 2 1 Gbps T2 Central Switch Site Central Switch/Router X - POP 1 Gbps 10 Gbps Tier 2 Impatto sul router centrale da verificare se adeguato Eventuale potenziamento Scelta interfaccia 10 Gbps In questo caso lo switch del T2 Deve avere L3 piu potente Impatto sulla scelta

20 Necessità di allargare il gruppo di consultazione Gaetano Maron, Workshop Tier2, CNAF, 17-18 gennaio 2008 20 T2 Central Switch Site Central Switch/Router X - POP Server La rete di un T2 impatta su 3 elementi: –Switch di farm –Disk server –Switch/Router di sede Vanno sviluppate sinergie tra gli esperimenti (T1 e T2) e il gruppo reti e storage della CCR per poter fare le scelte più opportune

21 Gruppo di lavoro tra T2, T1 e gruppo reti / storage di CCR Scopo del gruppo del lavoro –Tracking tecnologico per supportare le scelte –Test on field del materiale più interessante –Rapporti con il Garr per preparare il passaggio a Garr-x (impatti sugli apparati centrali di sede / switch di T2 ) Gaetano Maron, Workshop Tier2, CNAF, 17-18 gennaio 2008 21