NET@TIER1 Evoluzione del collegamento geografico e collaudo della nuova struttura CORE del TIER1 CDG – 06/10/2016 Stefano Zani Stefano.Zani@cnaf.infn.it

WAN@CNAF (prima del 26 di Luglio) LHC OPN RAL SARA PIC TRIUMPH BNL FNAL TW-ASGC NDGF KR-KISTI RRC-KI JINR Main Tier-2s LHC ONE GARR Mi1 IN2P3 General IP NEXUS GARR Bo1 GARR BO1 20 Gb/s For General IP Connectivity 20Gb/s 40Gb/s 10Gb/s 40 Gb Physical Link (4x10Gb) Shared by LHCOPN and LHCONE. Cisco7600 CNAF TIER1 S.Zani

WAN@CNAF (dal 26 di Luglio) LHC OPN RAL SARA PIC TRIUMPH BNL FNAL TW-ASGC NDGF KR-KISTI RRC-KI JINR Main Tier-2s LHC ONE GARR Mi1 IN2P3 General IP NEXUS GARR Bo1 GARR BO1 20 Gb/s For General IP Connectivity 20Gb/s 40Gb/s 10Gb/s 40 Gb Physical Link (4x10Gb) Shared by LHCOPN and LHCONE. Cisco7600 CNAF TIER1 S.Zani

Considerazioni generali sull’utilizzo della banda e raddoppio della banda CNAF-CERN da 2x10 a 4x10Gb/s 26 Luglio Upgrade della banda su LHC OPN verso Ginevra lasciando invariata la banda fisica totale del TIER1 (4x10Gb/s utilizzata per OPN+ONE). Saturazione OPN+ONE (Daily) OPN Daily ONE Daily 15/09/2016 E’ stato evidente da subito che la richiesta di banda preponderante è su LHC OPN OPN Yearly Upgrade del CNAF-CERN (OPN) a 4X10Gb/s (26/07/2016)

Upgrade dell’accesso fisico del TIER160Gb/s 26 Settembre: Upgrade della banda fisica di accesso alla WAN del TIER1 (LHC-OPN/ONE) da 4x10Gb/s a 6x10Gb/s. 3 Ottobre: Toccati 60 gb/s OPN+ONE (Daily) OPN+ONE (weekly statistics) OPN Daily) ONE (Daily) OPN: Il 90% del traffico nel momento del picco era Xrootd su WN del CNAF  per la maggior parte da macchine del CERN. ONE: il traffico su ONE era generato da vari T2 di cui molti nodi da LNL 5 Stefano.Zani@cnaf.infn.it

WAN@CNAF (Upgrade del Link OPN+ONE 4060Gb/s) LHC OPN RAL SARA PIC TRIUMPH BNL FNAL TW-ASGC NDGF KR-KISTI RRC-KI JINR Main Tier-2s LHC ONE GARR Mi1 IN2P3 General IP NEXUS GARR Bo1 GARR BO1 20 Gb/s For General IP Connectivity 60 Gb Physical Link (4x10Gb) Shared by LHCOPN and LHCONE. 20Gb/s 40Gb/s 40 Gb Physical Link (4x10Gb) Shared by LHCOPN and LHCONE. Cisco7600 CNAF TIER1 S.Zani

Evoluzione a medio/lungo termine GARR dovrebbe essere in grado di fornirci connettività a 100 Gb/s da Bologna. approssimativamente dal mese di maggio 2017 Sarebbe opportuno dotarci per l’epoca di 2 schede da 100Gb/s da installare sui nuovi CORE Switch del TIER1 (che sono in fase di collaudo in questi giorni) LHC OPN/ONE 100Gb Procederemo nelle prossime settimane a farci dare una stima dei costi delle schede e dei transceiver che nel nostro caso dovrebbero essere su fibra multimodale. Verificheremo con GARR che tipo di schede prevedono lato utente. VPC Link Nexus 9516 Nexus 9516 4x40Gb/s 10Gb/s 40Gb/s 40Gb/s 40Gb/s Switch Farming Disk Servers Disk Servers Worker Nodes Stefano.Zani@cnaf.infn.it

X Testbed per il collaudo (Risorse collegate ad entrambi i CORE) N9K-1 15 17 1 1/1 34 1/17 sw-4948 x460-40G S1 33 p1p1 p1p2 1/51 1/52 1/27 192.168.0.4 192.168.0.1 Po1: 192.168.0.3 1/10 1/10 2/51 2/51 Po20 vpc 20 Po20 2/10 2/10 p1p1 p1p1 1/9 1/9 ds-108 ds-107 N9K-1 N9K-2 Po10 vpc 10 Po10 192.168.0.108 192.168.0.254 3/10 3/10 192.168.0.253 192.168.0.107 X Po1 peer-link Po1 1/50 2/49 3/49 1/49 1/49 1/50 2/49 3/49 Po100 vpc100 1/52 2/52 3/52 1/52 2/52 3/52 Po100 vpc100 N7K mgmt mgmt N7K keepalive bond0: 192.168.0.2 p1p1 p1p2 S2

Testbed per il collaudo (Risorse collegate ad uno solo dei CORE) 15 17 1 1/1 34 1/17 sw-4948 x460-40G S1 33 p1p1 p1p2 1/51 1/52 1/27 192.168.0.4 192.168.0.1 Po1: 192.168.0.3 1/10 1/10 2/51 2/51 Po20 vpc 20 Po20 2/10 2/10 p1p1 p1p1 1/9 1/9 ds-108 ds-107 N9K-1 N9K-2 Po10 vpc 10 Po10 192.168.0.108 192.168.0.254 3/10 3/10 192.168.0.253 192.168.0.107 Po1 peer-link Po1 1/50 2/49 3/49 1/49 1/49 1/50 2/49 3/49 Po100 vpc100 1/52 2/52 3/52 1/52 2/52 3/52 Po100 vpc100 N7K mgmt mgmt N7K keepalive bond0: 192.168.0.2 p1p1 p1p2 S2

Prossime azioni pe mettere in produzine I due nuovi CORE Predisposizione dei collegamenti con fra I nuovi CORE ed il vecchio CORE (6 x 40 Gb/s) Spostamento delle risorse dal 7018 ed I 9516 Operarione tutt’altro che banale Collegamento alla rete geografica a 6/8 x 10Gb o 2x40Gb/s. Sessioni BGP Equal Cost fra i due apparati i router del GARR LHC OPN/ONE VPC Link Nexus 9516 Nexus 9516 4x40Gb/s Nexus 7018

FINE Stefano.Zani@cnaf.infn.it