NET@TIER1 Collaudo della nuova struttura CORE del TIER1 e migrazione delle risorse dalla attuale infrastruttura di rete a quella nuova CDG – 07/12/2016 Stefano Zani Stefano.Zani@cnaf.infn.it

Prossime azioni per mettere in produzine i due nuovi CORE Prossimi passi per la messa in produzione della nuova struttura di CORE Network Prossime azioni per mettere in produzine i due nuovi CORE LHC OPN/ONE Predisposizione dei collegamenti con fra I nuovi CORE ed il vecchio CORE (6 x 40 Gb/s) 1) La scheda 6x40Gb/s in prestito da inserire sul NEXUS 7018 era difettosa ed è stata sostituita il 5 Dicembre. 2) E’ stata finanziato l’acquisto di questa scheda in modo da non dismettere il Nexus7018 per gestire le risorse “Single Homed” fino a spegnimento. 3) Collegamento delle 2 infrastrutture in Gennaio (Data da concordare per possibile momentanea interruzione di connettività) 4)Spostamenteo delle risorse di calcolo dal 7018 ai 9516 (Data da concordare per possibile momentanea interruzione di connettività) 5) Migrazione dell’accesso alla WAN dal 7018 al 9516 VPC Link Nexus 9516 Nexus 9516 4x40Gb/s RDO in corso (Acquistata fondi 2016) Nexus 7018 LHC OPN/ONE Single Homed

Note per la migrazione e tempistiche (stimate) Ogni singolo passo per la migrazione richiede attenta pianificazione e lavoro di concerto fra i reparti del TIER1 in modo da limitare al minimo i disservizi. Dobbiamo ancora individuare una sequenza precisa di operazioni nel dettaglio Le operazioni considerate più critiche, andranno concordate con gli utenti del TIER1 in modo da effettuarle durante “downtime” o come minimo “At Risk” per tutte le fasi principali (Il periodo più critico potrà essere probabilmente concentrato in una settimana). Individuiamo il periodo migliore per “Schedulare” queste attività.

FINE Stefano.Zani@cnaf.infn.it

Backup Slides Stefano.Zani@cnaf.infn.it

WAN@CNAF (prima del 26 di Luglio) LHC OPN RAL SARA PIC TRIUMPH BNL FNAL TW-ASGC NDGF KR-KISTI RRC-KI JINR Main Tier-2s LHC ONE GARR Mi1 IN2P3 General IP NEXUS GARR Bo1 GARR BO1 20 Gb/s For General IP Connectivity 20Gb/s 40Gb/s 10Gb/s 40 Gb Physical Link (4x10Gb) Shared by LHCOPN and LHCONE. Cisco7600 CNAF TIER1 S.Zani

WAN@CNAF (dal 26 di Luglio) LHC OPN RAL SARA PIC TRIUMPH BNL FNAL TW-ASGC NDGF KR-KISTI RRC-KI JINR Main Tier-2s LHC ONE GARR Mi1 IN2P3 General IP NEXUS GARR Bo1 GARR BO1 20 Gb/s For General IP Connectivity 20Gb/s 40Gb/s 10Gb/s 40 Gb Physical Link (4x10Gb) Shared by LHCOPN and LHCONE. Cisco7600 CNAF TIER1 S.Zani

Considerazioni generali sull’utilizzo della banda e raddoppio della banda CNAF-CERN da 2x10 a 4x10Gb/s 26 Luglio Upgrade della banda su LHC OPN verso Ginevra lasciando invariata la banda fisica totale del TIER1 (4x10Gb/s utilizzata per OPN+ONE). Saturazione OPN+ONE (Daily) OPN Daily ONE Daily 15/09/2016 E’ stato evidente da subito che la richiesta di banda preponderante è su LHC OPN OPN Yearly Upgrade del CNAF-CERN (OPN) a 4X10Gb/s (26/07/2016)

Upgrade dell’accesso fisico del TIER160Gb/s 26 Settembre: Upgrade della banda fisica di accesso alla WAN del TIER1 (LHC-OPN/ONE) da 4x10Gb/s a 6x10Gb/s. 3 Ottobre: Toccati 60 gb/s OPN+ONE (Daily) OPN+ONE (weekly statistics) OPN Daily) ONE (Daily) OPN: Il 90% del traffico nel momento del picco era Xrootd su WN del CNAF  per la maggior parte da macchine del CERN. ONE: il traffico su ONE era generato da vari T2 di cui molti nodi da LNL 9 Stefano.Zani@cnaf.infn.it

WAN@CNAF (Upgrade del Link OPN+ONE 4060Gb/s) LHC OPN RAL SARA PIC TRIUMPH BNL FNAL TW-ASGC NDGF KR-KISTI RRC-KI JINR Main Tier-2s LHC ONE GARR Mi1 IN2P3 General IP NEXUS GARR Bo1 GARR BO1 20 Gb/s For General IP Connectivity 60 Gb Physical Link (4x10Gb) Shared by LHCOPN and LHCONE. 20Gb/s 40Gb/s 40 Gb Physical Link (4x10Gb) Shared by LHCOPN and LHCONE. Cisco7600 CNAF TIER1 S.Zani

Evoluzione a medio/lungo termine GARR dovrebbe essere in grado di fornirci connettività a 100 Gb/s da Bologna. approssimativamente dal mese di maggio 2017 Sarebbe opportuno dotarci per l’epoca di 2 schede da 100Gb/s da installare sui nuovi CORE Switch del TIER1 (che sono in fase di collaudo in questi giorni) LHC OPN/ONE 100Gb Procederemo nelle prossime settimane a farci dare una stima dei costi delle schede e dei transceiver che nel nostro caso dovrebbero essere su fibra multimodale. Verificheremo con GARR che tipo di schede prevedono lato utente. VPC Link Nexus 9516 Nexus 9516 4x40Gb/s 10Gb/s 40Gb/s 40Gb/s 40Gb/s Switch Farming Disk Servers Disk Servers Worker Nodes Stefano.Zani@cnaf.infn.it

X Testbed per il collaudo (Risorse collegate ad entrambi i CORE) N9K-1 15 17 1 1/1 34 1/17 sw-4948 x460-40G S1 33 p1p1 p1p2 1/51 1/52 1/27 192.168.0.4 192.168.0.1 Po1: 192.168.0.3 1/10 1/10 2/51 2/51 Po20 vpc 20 Po20 2/10 2/10 p1p1 p1p1 1/9 1/9 ds-108 ds-107 N9K-1 N9K-2 Po10 vpc 10 Po10 192.168.0.108 192.168.0.254 3/10 3/10 192.168.0.253 192.168.0.107 X Po1 peer-link Po1 1/50 2/49 3/49 1/49 1/49 1/50 2/49 3/49 Po100 vpc100 1/52 2/52 3/52 1/52 2/52 3/52 Po100 vpc100 N7K mgmt mgmt N7K keepalive bond0: 192.168.0.2 p1p1 p1p2 S2

Testbed per il collaudo (Risorse collegate ad uno solo dei CORE) 15 17 1 1/1 34 1/17 sw-4948 x460-40G S1 33 p1p1 p1p2 1/51 1/52 1/27 192.168.0.4 192.168.0.1 Po1: 192.168.0.3 1/10 1/10 2/51 2/51 Po20 vpc 20 Po20 2/10 2/10 p1p1 p1p1 1/9 1/9 ds-108 ds-107 N9K-1 N9K-2 Po10 vpc 10 Po10 192.168.0.108 192.168.0.254 3/10 3/10 192.168.0.253 192.168.0.107 Po1 peer-link Po1 1/50 2/49 3/49 1/49 1/49 1/50 2/49 3/49 Po100 vpc100 1/52 2/52 3/52 1/52 2/52 3/52 Po100 vpc100 N7K mgmt mgmt N7K keepalive bond0: 192.168.0.2 p1p1 p1p2 S2