LHC-OPN / LHCONE Update CCR LNS (CT), Maggio Stefano Zani (INFN CNAF)

LHC OPN (T0-T1, T1-T1) L’ultimo LHC OPN/ONE meeting e’ stato organizzato dall’INFN in Presidenza il 28 Aprile. Si sono aggiunti due nuovi TIER1 ad LHCOPN RRC-KI (National Research Centre “Kurchatov Institute”) Mosca – 10Gb/s to CERN via Amsterdam per Atlas, Alice, LHCB KR-KISTI (Korea Institute for Science and Technology Information) – 2Gb/s to CERN via Amsterdam per Alice E’ in previsione il collegamento di un secondo TIER1 Russo JINR (Dubna) per CMS 2Stefano Zani (INFN CNAF)

New! 13 TIER1 connessi 3Stefano Zani (INFN CNAF)

Statistiche di utilizzo di LHC OPN 4Stefano Zani (INFN CNAF)

Statistiche di utilizzo di LHC OPN Quest’anno il CNAF in termini di I/O con il CERN è stato uno dei più performanti! 5Stefano Zani (INFN CNAF)

US LHCNET 6 Circuiti transatlantici 10G Di cui 1 per LHCONE Per LHCOPN (20Gb/s per FNAL e BNL) Su 5 differenti cavi sottomarini* * Yellow: Bellport/Brookhaven (NY)  Bude UK (Cornovaglia) Apollo North:Shirley NY  Bude UK (Cornovaglia) Apollo South: Manasquan New Jersey:  Lanninon (France) Flag North: Northport NY  Skewjack UK Flag South: Island Park NY  Plerin (France) 6Stefano Zani (INFN CNAF)

Per chi vuole approfondire questo argomento: IN APPROVAZIONE IN QUESTI GIORNI.. PREVISIONE DI REALIZZAZIONE: OTTOBRE 2014!! EEX - Expansion of the ESnet network into Europe 7Stefano Zani (INFN CNAF)

LHCONE in numeri La dorsale di LHCONE è sostenuta da – Più di 15 Reti della ricerca ed educazione Nazionali (RENs) – Molti Open Exchange Points fra cui NetherLight, StarLight, MANLAN – La connettività Transatlantica è fornita da ACE, GEANT, NORDUNET e USLHCNET Sono connessi ad LHCONE piu di 50 siti – 45 Tier 2 – 10 Tier 1 ted_sites 8Stefano Zani (INFN CNAF)

LHCONE in Europa (*Mian Usman Dante) 9Stefano Zani (INFN CNAF)

LHCONE in Europa (*Mian Usman Dante) Traffico LHCONE aggregato da tutte le NRENs e Peers – Traffico medio ~25Gbps – Picchi sostenuti ~35Gbps – Traffico transatlantico ~ 15Gbps (Peak) 10Stefano Zani (INFN CNAF)

Connessione a GEANT 100G primary and 100G backup CNAF T1 connesso a 40G (4x10G) I T2 potrebbero essere “Upgradati” a 2x10G nel corso 2014 LHCONE in Europa GARR (NREN Italiana) LHCONE (*Mian Usman Dante) 11Stefano Zani (INFN CNAF)

LHCOPN e LHCONE in Italia … T1 NA T2 NA T2 RM T2 RM T2 PI T2 PI T2 MI T2 MI T2 CNAF T1 CNAF T1 CERN T0 CERN T0 10Gb/s Total 4x10Gb/s 2x10Gb/s 10Gb/s 2x10Gb/s OPN 10Gb/s 2x10Gb/s 10Gb/s T1 DE-KIT T1 DE-KIT LHCOPN 10Gb/s 100 Gb/s BA T2 BA T2 GARR LHC-ONE VRF RM T2 RM T2 NA T2 NA T2 BA T2 BA T2 GEANT LHCONE VRF T1-T2 LHCONE MI T2 MI T2 PI T2 PI T2 1x10Gb/s OPN (CBF) LNF T2 LNF T2 CT T2 CT T2 TO T2 TO T2 LNL T2 LNL T2 12Stefano Zani (INFN CNAF)

10G 4x10G 12x10G 100G LHCONE backup LHCOPN/LHCONE GARR Q G LHCONE Primary LHCONE LHCONE links LHCOPN links T1 LHCOPN+LHCONE General purpose 10G2x10G 6x10G MI2MI1BO1RM2 6x10G 10G SiteConnection INFN-CNAF Bologna (T1) 4x10G (LHCONE+LHCOPN ) INFN-Bari (T2) 10G (LHCONE) INFN-Catania (T2) 10G (LHCONE) INFN-Frascati (T2) 10G (LHCONE) INFN-Legnaro (T2) 2x10G (LHCONE+GP) INFN-Napoli (T2) 10G (LHCONE) INFN-Milano (T2) 10G (LHCONE) INFN-Pisa (T2) 2x10G (LHCONE+GP) INFN-Roma1 (T2) 10G (LHCONE) INFN-Torino (T2)10G 13Stefano Zani (INFN CNAF)

CNAF TIER1 WAN Connectivity NEXUSCisco7600 RAL PIC TRIUMPH BNL FNAL TW-ASGC NDFGF IN2P3 SARA T1 resources LHC ONE LHC OPN General IP GARR Bo1 40Gb/s 10Gb/s 10 Gb/s CNAF-FNAL CDF (Data Preservation) 40 Gb Physical Link (4x10Gb) shared for LHCOPN and LHCONE. 10Gb/s 10 Gb/s For General IP Connectivity 14Stefano Zani (INFN CNAF)

T1-T1 on LHCONE Primi test in Europa Un accordo fra GARR, Renater e DFN ci ha consentito di “Spostare” il traffico fra i TIER1 Italiano, Tedesco e Francese sul peering di LHCONE sul quale in questo momento c’è piu banda disponibile grazie al backbone al 100Gb/s di Geant al quale abbiamo accesso attraverso il POP GARR di Milano. 15Stefano Zani (INFN CNAF)

CNAF TIER1 WAN Connectivity NEXUSCisco7600 RAL PIC TRIUMPH BNL FNAL TW-ASGC NDFGF IN2P3 T1 resources LHC ONE LHC OPN General IP 40Gb/s 10Gb/s 10 Gb/s CNAF-FNAL CDF (Data Preservation) 40 Gb Physical Link (4x10Gb) shared for LHCOPN and LHCONE. 10Gb/s 10 Gb/s For General IP Connectivity 16Stefano Zani (INFN CNAF) GARR Bo1 SARA RRC-KI

LHC WAN (LHC OPN+LHCONE) “Come viene usata la rete” (Situazione precedente all’upgrade a 40 Gb/s) Stefano Zani (INFN CNAF) LHC OPN + ONE Daily LHC OPN + ONE Year OUT IN OUT IN OUT Peak IN Peak AVERAGE IN: 4.1Gb/s AVERAGE OUT: 4.8 Gb/s MAX IN:20Gb/s MAX OUT:20Gb/s LHC OPN + ONE Weekly Prima dell’upgrade misuravamo molte situazioni di saturazione dell’uplink a 20 Gb/s 17

Dopo l’upgrade a 40 Gb/s ( ) Dalle statistiche GARR Upgrade! Picco dell’ 8 Aprile (Aggregato OPN+ONE) 18Stefano Zani (INFN CNAF)

LHC OPN Yearly LHC ONE Yearly AVERAGE IN: 1.12Gb/s AVERAGE OUT: 2.13 Gb/s MAX IN: 21.5 Gb/s MAX OUT: 24.2 Gb/s AVERAGE IN: 3.8Gb/s AVERAGE OUT: 2.4 Gb/s MAX IN:29.2 Gb/s MAX OUT:22.8 Gb/s Picchi fino a 29 Gb/s TOP Apps: 53% Xrootd 47% GridFtp TOP Peers: CERN, (KIT, IN2P3)… Picchi fino a 24 Gb/s TOP Apps: 70% GridFtp, 30% Xrootd TOP Peers:SLAC, INFN MI, INFN LNL.. LHC-OPN vs LHCONE Il traffico su LHCOPN è ancora decisamente più elevato di quello su LHCONE. Con lo spostamento su LHCONE di parte del traffico T1-T1 ci aspettiamo un aumento netto dell’ utilizzo di LHCONE. 19Stefano Zani (INFN CNAF)

“Analisi di un picco di traffico” (LHC-OPN Link) Spesso i picchi di traffico son legati all’utilizzo del protocollo Xrootd 20

Stefano Zani (INFN CNAF) Guardando i sorgenti ed i nodi di desitnazione delle sessioni Xrootd: From KIT  CNAF (ALICE Xrootd Servers) Xrootd: From CERN  CNAF (Worker Nodes)  Analisi remota! “Analisi di un picco di traffico” (LHC-OPN Link) 21

Monitoring 22Stefano Zani (INFN CNAF)

perfSONAR-PS (Shawn McKee/University of Michigan) perfSONAR-PS è un toolkit standardizzato (installabile via netinstall) in grado di raccogliere dati di Throughtput, One Way Delay, packet loss attraverso test shedulati ed “On Demand”. I Server perfSONAR-PS sono stati installati in quasi tutti i siti LHCOPN ed LHCONE: 2 Server per ogni sito: Uno per i test di throughtput ed uno per I test di latenza e packet-loss. I dati sono stati organizzati in dashboard… C’è ancora molto da fare per il tuning E la configurazione dei server ! Tutti i riquadri arancioni sono dovuti alla mancata acquisizione di dati.. Si sta lavorando per eliminarli tutti contribution/5/material/slides/1.pdf 23Stefano Zani (INFN CNAF)

SDN Activity 24Stefano Zani (INFN CNAF)

SDN Possibili campi di applicazione in HEP Le tecnologie di Software Defined Networks applicate alla WAN sono di interesse per la comunità HEP in quanto superano i concetti di Spanning tree, Round Robin ed Equal Cost BGP per un più efficace utilizzo della rete in caso di collegamenti geografici “Multipath”. A questo scopo è iniziato da circa un anno e mezzo il progetto OLiMPS (Openflow Linklayer MultiPath Switching) 25Stefano Zani (INFN CNAF)

OLiMPS OpenFlow MultiPath Switching Comparazione dei risultati ottenuti usando I diversi algoritmi di instradamento: Migliori performance utilizzando instradamento basato sui “Flussi” di traffico e l’applicazione (Application aware path selection..). on/22/material/slides/0.pdf 26Stefano Zani (INFN CNAF)

OpenFlow SDN in LHCONE Dr. Michael Bredel California Institute of Technology (Caltech) I prossimi sviluppi prevedono di passare da un controller basato su Floodlight a OpenDayligth che implementa OpenFlow 1.3 e molte altre funzionalità. 27Stefano Zani (INFN CNAF)

Conclusioni LHCOPN  Consolidata, OK esperimenti (con priorità T0-T1) L’analisi remota (più in generale l’accesso remoto) sta facendo esplodere le richieste di banda geografica ! LHCONE  In espansione per traffico T2 ma anche T1- T1.. Molta banda spratutto in Europa (backbone GEANT a 100 Gb/s) Nei prossimi mesi avremo numerose linee 100 Gb/s fra USA ed Europa. Continua lo studio di tecnologie sulle SDN (Network Application Aware..) 28Stefano Zani (INFN CNAF)

FINE 29Stefano Zani (INFN CNAF)