Monitoring di Reti Complesse ad alte Prestazioni Applicazione al TIER-1 Workshop CCR INFN-GRID Isola D’Elba Maggio 2011

Network Monitoring Topics Throughput Flow Analysis / Anomaly Detection Alert System Network Tools (mgmt day-by-day) Dashboard (network status “at a glance”) Il monitoraggio dei diversi aspetti e’ affidato a vari sistemi indipendenti che, integrati in un’unica interfaccia web, caratterizzano un unico ambiente di controllo la scelta dei tool utilizzati ricade su software open source o su applicazioni sviluppate ad hoc, a parte NetflowAnalyzer Il monitoraggio dei diversi aspetti e’ affidato a vari sistemi indipendenti che, integrati in un’unica interfaccia web, caratterizzano un unico ambiente di controllo la scelta dei tool utilizzati ricade su software open source o su applicazioni sviluppate ad hoc, a parte NetflowAnalyzer

sw sw sw sw sw sw sw sw sw sw sw sw sw TIER-0/1TIER-2/1 INTERNET bd8810 INFN TIER-1 Network 3:4 3:8 4:4 4:8 sw sw cisco 6500 cisco :1 3:2 3:3 nexus :10 14:10 13:1 14:1 17:1 17:2 18:1 18:2 sw sw sw sw sw sw sw sw-f-01 sw sw sw sw sw sw sw sw sw sw sw sw sw sw sw sw sw sw sw sw sw sw sw sw sw sw sw sw sw sw sw sw sw sw sw sw sw sw sw sw sw sw sw sw sw sw sw sw sw sw sw sw sw sw LHCOPN 1 x ACCESS ROUTER 3 x CORE SWITCH/ROUTER +110 x ACCESS SWITCH ~ 60 x DISK SERVER 10G x ACTIVE IP ADDRESS 1 x ACCESS ROUTER 3 x CORE SWITCH/ROUTER +110 x ACCESS SWITCH ~ 60 x DISK SERVER 10G x ACTIVE IP ADDRESS

MRTG, attraverso il protocollo snmp, si occupa di collezionare le statistiche di utilizzo della banda di tutte le interfacce degli apparati presenti in rete. I contatori di ciascuna interfaccia vengono letti ogni 5 min (crond) e salvati su log file (1logfile/interfaccia): – Rappresentazione Grafica del Throughput – LoadMap: ci permette di visualizzare “at a glance” il Livello di Carico degli Uplink di tutti gli apparati di rete Throughput

Throughput: LoadMap 1

Throughput: LoadMap 2

L’analisi dei flussi riesce a dare completa visibilita’ sull’utilizzo della rete: Mentre con MRTG riusciamo a dire quanta banda stiamo utilizzando, con l’analisi del traffico riusciamo a capire chi la sta utilizzando (host conversation) e come (protocol): 1.Top Speaker / Top Conversation 2.Top Application (web, dns, gridFTP, P2P, GRE, …) 3.Security Analysis: identificazione attivita’ di rete non autorizzate 4.Troubleshooting 5.Traffic Engineering (T2-T1 vs T1-T1) Flow Analysis 1

Flow Analysis 2 Le informazioni sui flussi si ottengono abilitando sugli apparati di rete gli agenti: – Netflow (Cisco): per IP interface (Full/Sampled Mode) – J-Flow (JunOS) – sFlow (standard): per port (Extreme Sampled Mode) L’agente Netflow salva le informazioni sui flussi in una cache e periodicamente le esporta verso un collettore/analizzatore.

Cisco NetFlow IOS: nelle versioni fino alla 12.2(17d)SX e’ disponibile NetFlow v5, che funziona “bene” solo in OUT (manca proprio il comando): – quindi va abilitato sulle interfacce opportune (vlan IP interface + la wan interface) – la loro correlazione a livello di collector, associata a determinati IP Group, dovrebbe fornire completa visibilita’ del traffico (per quei gruppi di IP) NX-OS: versione 5.x fornisce NetFlow v9, che funziona “bene” in IN e OUT

TIER-0/1TIER-2/1 INTERNET bd8810 cisco7600 nexus7018 LHCOPN TIER-1 LANSERVICEs PC LAN vlan1001vlan1002 vlan1 NetFlow Agent COLLECTOR ANALYZER REPORT NetFlow datagram Te3/3 vlanX vlanY NDGF TW-ASGC US-FNAL 3152 US-BNL 43 CA-TRIUMF CH-CERN 513 DE-KIT ES-PIC FR-CCIN2P3 789 NL-T1 1126, 1104 UK-T1-RAL 43475

NetFlow Configuration: IOS interface TenGigabitEthernet3/3 description UPLINK-CNAF-GARR ip address x.y ip flow ingress ip route-cache flow interface Vlan2 ip address x.y ip flow ingress ip route-cache flow ip flow-export source Vlan1 ip flow-export version 5 ip flow-export destination

NetFlow Configuration: NX-OS 1 NetFlow Components Record MapDefinisce i campi chiave che identificano un flusso Exporter MapDefinisce il Collector e la versione Monitor MapAssocia Record Map e Exporter Map Sampler MapDefinisce il Sampling Rate Flexibility nexus7018 Flow Record “1” Key Field Non-Key Field vlan1002 Flow Monitor “1” Flow Export “1” Traffic Analysis Collector Traffic Analysis Collector NDE Security Analysis Collector Security Analysis Collector Flow Monitor “2” Flow Record “2” Flow Export “2” Key Field Non-Key Field NDE Key Field

NetFlow Configuration: NX-OS 2 feature netflow # In NX-OS per utilizzare una funzionalita’ bisogna prima # attivarla col comando feature (bgp, interfaceVlan, lacp, …) flow record Netflow-Record-1 match ipv4 source address match ipv4 destination address match ip protocol match ip tos match transport source-port match transport destination-port collect transport tcp flags collect counter bytes long flow exporter Netflow-Exporter-1 description Production-Netflow-Exporter destination x transport udp 8100 source Vlan1 version 9 flow monitor Netflow-Monitor-1 description Applied LHCOPN record Netflow-Record-1 exporter Netflow-Exporter-1

NetFlow Configuration: NX-OS 3 interface Vlan1 ip flow monitor Netflow-Monitor-1 input ip flow monitor Netflow-Monitor-1 output interface Vlan1001 ip flow monitor Netflow-Monitor-1 input ip flow monitor Netflow-Monitor-1 output interface Vlan1002 ip flow monitor Netflow-Monitor-1 input ip flow monitor Netflow-Monitor-1 output

INTERNET bd8810 cisco7600 nexus7018 LHCOPN TIER-1 LAN Flow Analysis: nTAP R-eth0R-eth1 NTOP sFlow Agent IN OUT nTAP 33 / 66 COLLECTOR WANLHCOPN ANALYZER REPORT

Flow Analysis: Collector 1 Esistono molti collector Netflow, sFlow, ecc…: – Open Source: piu’ spartani (troppo) – Commerciali: piu’ completi e flessibili a livello di report – Al Tier-1 stiamo valutando NetflowAnalyzer Pro v9 Rapidita’/semplicita’ di installazione Interfaccia web accattivante sia a livello di report sia a livello di configurazione (se necessaria) per la creazione di Device Group, IP group, Users, Schedule Report, ecc… Allarmistica integrata e configurabile Security Analytic Module per fare detection di traffico sospetto o anomalo

Flow Analysis: Collector 2

Flow Analysis: Collector 3

Flow Analysis: Collector 4

Flow Analysis: Collector 5

cisco 7600 HOST / SERVICES LHCOPN NAGIOS INTERNET bd8810 nexus 7018 active_check alert notification web report SMS notification MAIL notification Alert System 1 SQL write CNAF Dashboard

Alert System 2

Network Tools: arpwatch identificare eventuali IP address duplicati presenti in rete mantenere un DataBase aggiornato delle associazioni MAC / IP nexus7018 trunk arpwatch eth1.i

Network Tools: host finder Script in PERL + moduli Expect per cercare in tempo reale IP/MAC address presenti nella rete locale: 1.dietro quale porta di quale switch si trova un IP/MAC address 2.quale MAC/IP si trova dietro una determinata porta di uno switch

Network Dashboard 1

Network Dashboard 2

Network Dashboard 3

Sviluppi Futuri Integrazione di un log analyzer (splunk) Valutazione di un NIDS basato su flussi E molto altro ancora…

Thanks