Monitoraggio di rete con NetFlow

Presentazione sul tema: "Monitoraggio di rete con NetFlow"— Transcript della presentazione:

1 Monitoraggio di rete con NetFlow alessandro@tanasi.it http://www.tanasi.it

2 Monitoraggio di rete con NetFlow – Alessandro Tanasi aka jekil - http://www.tanasi.ithttp://www.tanasi.it NetFlow: Introduzione Esigenza di rispondere alle domande chi, cosa, dove, quando e come? Il monitoraggio di reti a bassa velocità (100Mb/s) è possibile con i comuni tool basati sulle libpcap La cattura completa del traffico è limitata dalle potenzialità dell'hardware NetFlow è un protocollo per il monitoraggio passivo di flussi di rete anche ad alta velocità (1Gb/s e più) Inventato da Cisco (Daren Kerr e Barry Bruins) per aumentare la velocità dello switching Implementato dalla maggior parte dei produttori di apparati di rete (Cisco, Juniper, Enterasys, Extreme)

3 Monitoraggio di rete con NetFlow – Alessandro Tanasi aka jekil - http://www.tanasi.ithttp://www.tanasi.it NetFlow: Origini NetFlow è stato ideato come metodo per aumentare le performances nella fase di switching path Ogni pacchetto viene gestito singolarmente Ogni processo deve essere applicato su ogni pacchetto Nessuna informazione sullo stato Ogni pacchetto è identificato in un flusso I processi vengono applicati una volta sola sul flusso Informazioni sullo stato del flusso

4 Monitoraggio di rete con NetFlow – Alessandro Tanasi aka jekil - http://www.tanasi.ithttp://www.tanasi.it Caratterizzazione di un Flusso Flusso unidirezionale di pacchetti IP caratterizzato dai seguenti elementi (default): Indirizzo IP sorgente Indirizzo IP destinazione Porta sorgente Porta di destinazione Tipo di protocollo ToS Interfaccia logica di input (ifInput) L'aggregazione permette di cambiare queste chiavi

5 Monitoraggio di rete con NetFlow – Alessandro Tanasi aka jekil - http://www.tanasi.ithttp://www.tanasi.it NetFlow: Features Fornisce statistiche sul traffico di rete ispezionando gli header dei livelli 2 – 4 Supporta statistiche su IPv6, MPLS, IPSEC, BGP Real time (o quasi) Architettura a tier Non fa packet inspection Non è una tecnologia IDS / IPS

6 Monitoraggio di rete con NetFlow – Alessandro Tanasi aka jekil - http://www.tanasi.ithttp://www.tanasi.it NetFlow: Casi d'uso Packet CountPacket Count Byte CountByte Count Packet CountPacket Count Byte CountByte Count Start TimestampStart Timestamp End TimestampEnd Timestamp Start TimestampStart Timestamp End TimestampEnd Timestamp Type of ServiceType of Service TCP FlagsTCP Flags ProtocolProtocol Type of ServiceType of Service TCP FlagsTCP Flags ProtocolProtocol Input Interface PortInput Interface Port Output Interface PortOutput Interface Port Input Interface PortInput Interface Port Output Interface PortOutput Interface Port Source IP AddressSource IP Address Destination IP AddressDestination IP Address Source IP AddressSource IP Address Destination IP AddressDestination IP Address Source TCP/UDP PortSource TCP/UDP Port Destination TCP/UDP PortDestination TCP/UDP Port Source TCP/UDP PortSource TCP/UDP Port Destination TCP/UDP PortDestination TCP/UDP Port Next Hop AddressNext Hop Address Source AS NumberSource AS Number Dest. AS NumberDest. AS Number Source Prefix MaskSource Prefix Mask Dest. Prefix MaskDest. Prefix Mask Next Hop AddressNext Hop Address Source AS NumberSource AS Number Dest. AS NumberDest. AS Number Source Prefix MaskSource Prefix Mask Dest. Prefix MaskDest. Prefix Mask Utilizzo della rete Tempistiche Utilizzo di Interfacce QoS Sorg. / Dest. Applicazioni Routing / Peering User (IP) monitoring Application monitoring Traffic analysis Attack Detection Chargeback Billing Attack mitigation Billing AS Peer monitoring Traffic engineering Network Planning

7 Monitoraggio di rete con NetFlow – Alessandro Tanasi aka jekil - http://www.tanasi.ithttp://www.tanasi.it NetFlow: Funzionamento Arrivo di un nuovo pacchetto Viene creato un'entry nella NetFlow cache che descrive il flusso Arrivo di pacchetti appartenenti a flussi conosciuti Vengono aggiornati i contatori (aggregati se necessario) Quando il flusso viene terminato le statistiche sono esportate SYN, ACK, FIN2871217TCP1024luser69.a.it80porno.itGi0/114:20:12.871 SYN, ACK, PSH10295TCP80porno.it1024luser69.a.itGi0/014:20:12.221 TCP flagsBytes sent Pkts sent protodst port dst IPsrc port src IPInt.Start

8 Monitoraggio di rete con NetFlow – Alessandro Tanasi aka jekil - http://www.tanasi.ithttp://www.tanasi.it Architettura base Filtraggio dei pacchetti per associare ogni pacchetto ad un flusso Filtraggio dei pacchetti per associare ogni pacchetto ad un flusso Probe Crea, aggiorna e rimuove flow records Crea, aggiorna e rimuove flow records Flow cache Flow key Flow start time Flow end Time Number of packets....... Legge la flow cache, prepara e esporta pacchetti NetFlow Legge la flow cache, prepara e esporta pacchetti NetFlow Exporter info Header Riceve i flussi esportati. Interfaccia per le applicazioni Riceve i flussi esportati. Interfaccia per le applicazioni Collector NetFlow vX IETF/IPFIX Applicazione di analisi analisi Application

9 Monitoraggio di rete con NetFlow – Alessandro Tanasi aka jekil - http://www.tanasi.ithttp://www.tanasi.it Export di un flusso I flussi memorizzati all'interno della cache dell'apparato vengono esportati se: Il flusso viene terminato dall'arrivo di pacchetto contenente il flag FIN o RST Il flusso è inattivo oltre una soglia di timeout: cioè nessun pacchetto relativo al flusso è stato catturato (default 15 sec) Il flusso è attivo ma è scaduto un timeout predefinito che impone l'export del flusso (default 30 min) Cache management nel caso la flow cache sia piena, i primi flussi ad essere esportati sono i più vecchi

10 Monitoraggio di rete con NetFlow – Alessandro Tanasi aka jekil - http://www.tanasi.ithttp://www.tanasi.it Versioni di NetFlow La versione specifica il formato del pacchetto di export Versione 5 Formato di export fisso Nessun tipo di aggregazione Versione 7 Creata per gli switch Cisco serie 6500 e 7600 Versione 8 Permette diversi tipi di aggregazione, in modo da esportare e memorizzare in cache solo i dati che servono Versione 9 Aggregazione flessibile basata su template definiti dall'utente

11 Monitoraggio di rete con NetFlow – Alessandro Tanasi aka jekil - http://www.tanasi.ithttp://www.tanasi.it NetFlow v9 Si basa sul concetto di template personalizzabili che definiscono semanticamente i dati esportati I soli dati sono esportati in Data Flow Sets Il Collector si configura con i template che gli arrivano (autoconfigurazione) Transports multipli (non solo UDP) Ogni Data Flow Set è preceduto da un puntatore al template Se un template viene perso i dati perdono significato RFC 3954 Cisco Systems NetFlow Services Export Version 9, IPR statement

12 Monitoraggio di rete con NetFlow – Alessandro Tanasi aka jekil - http://www.tanasi.ithttp://www.tanasi.it IPFIX IETF draft[1] per Find or develop a basic common IP Traffic Flow measurement technology to be available on (almost) all future routers NetFlow v9 è stato scelto come base per lo sviluppo Non sarà mantenuta la retrocompatibilità Utilizzo di TCP, UDP, SCTP, TLS, DTLS Autenticazione mutua con certificati X.509 [1] http://www.ietf.org/html.charters/ipfix-charter.htmlhttp://www.ietf.org/html.charters/ipfix-charter.html

13 Monitoraggio di rete con NetFlow – Alessandro Tanasi aka jekil - http://www.tanasi.ithttp://www.tanasi.it Sampled NetFlow Viene scelto in modo deterministico o pseudocasuale un sottoinsieme dei pacchetti che transitano (campionamento) Uso di Traffic Class (campionamento specifico per ogni traffic class) Funzionalità introdotta nei Cisco serie 12000 Allegerisce il carico sugli apparati Adatto a rete ad alta velocità Adatto a soddisfare alcune esigenze: ad es. network planning

14 Monitoraggio di rete con NetFlow – Alessandro Tanasi aka jekil - http://www.tanasi.ithttp://www.tanasi.it Considerazioni NetFlow fornisce una gran mole di informazioni, che però deve essere elaborata L'analisi di queste informazioni permette di porre ipotesi riguardanti anche la sicurezza di rete Una VLAN di amministrazione è necessaria L'impatto sulle prestazioni dell'apparato di rete è modesto <16%65000 <12%45000 < 4%10000 Additional CPU UtilizationActive Flows in Cache

15 Monitoraggio di rete con NetFlow – Alessandro Tanasi aka jekil - http://www.tanasi.ithttp://www.tanasi.it Un attacco DoS.. Router#show ip cache flow SrcIf SrcIPaddress SrcP SrcAS DstIf DstIPaddress DstP DstAS Pr Pkts B/Pk 29 192.1.6.69 77 aaa 49 194.20.2.2 1308 bbb 6 1 40 29 192.1.6.61 2222 aaa 49 194.20.2.2 1308 bbb 6 1 40 29 192.1.6.120 1024 aaa 49 194.20.2.2 1308 bbb 6 1 40 Alcune tipologie di attacchi (ad es. DoS) sono modellizzabili. Utilizzo di NetFlow anche per la sicurezza di rete, l'elaborazione dei dati permette di rilevare attacchi e anomalie di rete.

16 Monitoraggio di rete con NetFlow – Alessandro Tanasi aka jekil - http://www.tanasi.ithttp://www.tanasi.it Security? Senza payload? Ricerca di pattern nel traffico NetFlow Un host che ne contatta molti in breve tempo (P2P, worm) Flussi di lunga durata (VPN, covert channels) Utilizzo di porte non autorizzate Anomalie sull'uso della banda (DoS, warez) Comunicazioni non autorizzate (due macchine che normalmente non dovrebbero parlare)

17 Monitoraggio di rete con NetFlow – Alessandro Tanasi aka jekil - http://www.tanasi.ithttp://www.tanasi.it L2 e Security Monitoring Inoltre per identificare e tracciare attacchi: Layer2 IP header Source MAC address (frame ricevuti dal router) Destination MAC address (frame spediti dal router) Received VLAN ID (802.1q e Cisco ISL) Transmitted VLAN ID (802.1q e Cisco ISL) Extra Layer 3 IP header Time-to-Live Identification field Packet length ICMP type

18 Monitoraggio di rete con NetFlow – Alessandro Tanasi aka jekil - http://www.tanasi.ithttp://www.tanasi.it Parte pratica Come implementare un'infrastruttura di monitoraggio basata su NetFlow: Decidere su quali apparati di rete e su quali interfacce abilitare NetFlow Configurare gli apparati di rete di cui sopra Setup di un collector o di più collector Setup di una o più applicazioni di analisi dei dati e di allarmistica

19 Monitoraggio di rete con NetFlow – Alessandro Tanasi aka jekil - http://www.tanasi.ithttp://www.tanasi.it Architettura Enterprise

20 Monitoraggio di rete con NetFlow – Alessandro Tanasi aka jekil - http://www.tanasi.ithttp://www.tanasi.it Dove abilitare NetFlow Decidere cosa si vuole ottenere da NetFlow Scegliere di conseguenza su che apparati andare ad abilitarlo Scegliere le interfacce Monitorare tutto il traffico in uscita e in ingresso dalla LAN Evitare il doppio conteggio!

21 Monitoraggio di rete con NetFlow – Alessandro Tanasi aka jekil - http://www.tanasi.ithttp://www.tanasi.it Hardware Apparati di rete con supporto per NetFlow (ormai tutti i grandi produttori) Sistemi (computer) con schede di rete specifiche: Endace http://www.endace.com : capacità di selezione e filtering on board, full packet capture http://www.endace.com AMP (Analytic Metadata Producers) sono NetFlow capture devices sviluppate all'NSA, fingerprinting, deep inspection COMBO6 http://www.liberouter.org/card_combo6.php http://www.liberouter.org/card_combo6.php Sistemi embedded dedicati nbox http://ntop.ethereal.com/nBox.htmlhttp://ntop.ethereal.com/nBox.html e altri...

22 Monitoraggio di rete con NetFlow – Alessandro Tanasi aka jekil - http://www.tanasi.ithttp://www.tanasi.it NetFlow probes Primo elemento della catena deputato a associare ogni pacchetto in transito ad un flusso Sonde inserite dai vendor negli apparati di rete (spesso software proprietario) Software nProbe http://www.ntop.org/nProbe.html : buone performances http://www.ntop.org/nProbe.html fProbe http://fprobe.sourceforge.net/ : basato sulle libpcap http://fprobe.sourceforge.net/ fProbe-ulog http://fprobe.sourceforge.net/ : basato su libipulog (Netfilter) http://fprobe.sourceforge.net/ pfflowd http://www.mindrot.org/projects/pfflowd : basato su pf di OpenBSD http://www.mindrot.org/projects/pfflowd

23 Monitoraggio di rete con NetFlow – Alessandro Tanasi aka jekil - http://www.tanasi.ithttp://www.tanasi.it Configurazione router Cisco ip flow-export version [origin-as|peer-as|bgp-nexthop] ip flow-export destination ip flow-cache timeout inactive ip flow-cache timeout active ip flow-cache entries Juniper cflowd collector-host-address { Autonomous-system-type (origin|peer); port port-number; version version-number; (local-dump | no-local-dump); }

24 Monitoraggio di rete con NetFlow – Alessandro Tanasi aka jekil - http://www.tanasi.ithttp://www.tanasi.it Collectors Hanno il compito di memorizzare i flussi NetFlow esportati Ricezione dei pacchetti di export Memorizzazione su disco o database Eventuale compressione e rotazione dei flussi memorizzati Eventuale filtraggio Eventuale relay verso i livelli più alti dell'architettura Software: nfdump http://nfdump.sourceforge.net/ http://nfdump.sourceforge.net/ flowd http://www.mindrot.org/projects/flowd/ http://www.mindrot.org/projects/flowd/ flow-tools http://www.splintered.net/sw/flow-tools/ http://www.splintered.net/sw/flow-tools/

25 Monitoraggio di rete con NetFlow – Alessandro Tanasi aka jekil - http://www.tanasi.ithttp://www.tanasi.it Cisco CLI

26 Monitoraggio di rete con NetFlow – Alessandro Tanasi aka jekil - http://www.tanasi.ithttp://www.tanasi.it Stager Aggrega e presenta statistiche di rete Monitoraggio di rete (usa anche SNMP e ping) Non adatto al monitoraggio delle sicurezze Personalizzabile http://software.uninett.no/stager/

27 Monitoraggio di rete con NetFlow – Alessandro Tanasi aka jekil - http://www.tanasi.ithttp://www.tanasi.it nfsen Visualizzazione e filtraggio dei dati Grafici (RRD) Sistema di detection e alert Architettura a plugin http://nfsen.sourceforge.net/

28 Monitoraggio di rete con NetFlow – Alessandro Tanasi aka jekil - http://www.tanasi.ithttp://www.tanasi.it Nerd Security monitoring tool Analizza le statistiche NetFlow alla ricerca di attacchi Allarmistica http://www.nerdd.org

29 Monitoraggio di rete con NetFlow – Alessandro Tanasi aka jekil - http://www.tanasi.ithttp://www.tanasi.it...e altri.. nTop http://www.ntop.org/ : può funzionare anche come collector NetFlow http://www.ntop.org/ Flamingo http://flamingo.merit.edu : genera visualizzazioni 3D del traffico http://flamingo.merit.edu Panotips http://panoptis.sourceforge.net/ : progetto che si prefigge di rilevare e bloccare gli attacchi DoS e DdoS http://panoptis.sourceforge.net/ Flowscan http://www.caida.org/tools/utilities/flowscan/ : produce semplici grafici http://www.caida.org/tools/utilities/flowscan/

30 Monitoraggio di rete con NetFlow – Alessandro Tanasi aka jekil - http://www.tanasi.ithttp://www.tanasi.it Programming Librerie per la programmazione di applicazioni che usano il protocollo NetFlow libipfix http://libipfix.sourceforge.net : libreria C per IPFIX http://libipfix.sourceforge.net libfixbuf http://www.cert.org/netsa/tools/fixbuf/ : libreria per IPFIX message format http://www.cert.org/netsa/tools/fixbuf/ jflow http://www.net-track.ch/opensource/jflow : libreria java http://www.net-track.ch/opensource/jflow Net::sflow http://search.cpan.org/author/ELISA/Net-sFlow-0.06/sFlow.pm : libreria perl per sFlow http://search.cpan.org/author/ELISA/Net-sFlow-0.06/sFlow.pm NetFlow Simulator http://sourceforge.net/projects/netflowsim http://sourceforge.net/projects/netflowsim

31 Monitoraggio di rete con NetFlow – Alessandro Tanasi aka jekil - http://www.tanasi.ithttp://www.tanasi.it Tricks Nelle ultime versioni di IOS ci sono comandi alcuni comandi per l'analisi integrati nella CLI (top ten talkers ad es.) ip flow ingress|egress sulle subinterfaces Attenzione ai valori origin-as | peer-as Si può accedere via SNMP ad alcuni dati NetFlow di un apparato di rete (casi d'emergenza, sampling adattivo?) Spesso basta memorizzare dati aggregati (grande risparmio di spazio) Sincronizzare tutti gli apparati con un server NTP

32 Monitoraggio di rete con NetFlow – Alessandro Tanasi aka jekil - http://www.tanasi.ithttp://www.tanasi.it Conclusioni NetFlow mette a disposizioni dati per monitoraggio di rete, auditing, network forensics I router Cisco (e molti altri..) hanno NetFlow di default. A gratis. Usiamolo. Prodotti open source e commerciali possono venir utilizzati per analizzare dati NetFlow Nuovi worms e virus possono essere rilevati senza avere a disposizione signatures Il monitoraggio di rete si deve fare!!!

33 Monitoraggio di rete con NetFlow – Alessandro Tanasi aka jekil - http://www.tanasi.ithttp://www.tanasi.it Riferimenti CISCO NetFlow: http://www.cisco.com/en/US/products/ps6601/products_ios_protocol_group_home.html http://www.cisco.com/en/US/products/ps6601/products_ios_protocol_group_home.html RFC 3917: Requirements for IP Flow Information Export (IPFIX) ftp://ftp.rfc-editor.org/in-notes/rfc3917.txt ftp://ftp.rfc-editor.org/in-notes/rfc3917.txt RFC 3954: Cisco Systems NetFlow Services Export Version 9 ftp://ftp.rfc-editor.org/in-notes/rfc3954.txt ftp://ftp.rfc-editor.org/in-notes/rfc3954.txt IPFIX Version Numbers http://www.iana.org/assignments/ipfix-parameters http://www.iana.org/assignments/ipfix-parameters IPFIX Information Elements http://www.iana.org/assignments/ipfix http://www.iana.org/assignments/ipfix SWITCH NetFlow References http://www.switch.ch/network/projects/completed/TF- NGN/floma/references.html http://www.switch.ch/network/projects/completed/TF- NGN/floma/references.html FloMA: Pointers and Software http://www.switch.ch/network/projects/completed/TF- NGN/floma/software.html http://www.switch.ch/network/projects/completed/TF- NGN/floma/software.html Free NetFlow Tools List http://www.networkuptime.com/tools/netflow/ http://www.networkuptime.com/tools/netflow/ NetFlow Performance Analysis http://www.cisco.com/en/US/tech/tk812/technologies_white_paper0900aecd802a0eb9.shtml http://www.cisco.com/en/US/tech/tk812/technologies_white_paper0900aecd802a0eb9.shtml

34 Monitoraggio di rete con NetFlow – Alessandro Tanasi aka jekil - http://www.tanasi.ithttp://www.tanasi.it Riferimenti (2) User and Test Report on the Netflow Probe http://www.surfnet.nl/publicaties/surfworks2005/indi-2005-012-48.pdf http://www.surfnet.nl/publicaties/surfworks2005/indi-2005-012-48.pdf Autonomous NetFlow Probe http://www.terena.nl/tech/task-forces/tf- csirt/meeting16/netflow-probe-lhotka.pdf http://www.terena.nl/tech/task-forces/tf- csirt/meeting16/netflow-probe-lhotka.pdf Free NetFlow Tools http://www.networkuptime.com/tools/netflow http://www.networkuptime.com/tools/netflow Detecting Worms and Abnormal Activities with NetFlow http://www.securityfocus.com/infocus/1796 http://www.securityfocus.com/infocus/1796 NetFlow sul mio blog http://www.lonerunners.net/blog/plugin/tag/netflow http://www.lonerunners.net/blog/plugin/tag/netflow

35 Monitoraggio di rete con NetFlow – Alessandro Tanasi aka jekil - http://www.tanasi.ithttp://www.tanasi.it Domande?

36 Monitoraggio di rete con NetFlow – Alessandro Tanasi aka jekil - http://www.tanasi.ithttp://www.tanasi.it Licenza Questo documento viene rilasciato sotto licenza Alcoolware, la quale non è altro che una normale licenza Creative Commons Attribute-NonCommercial- ShareALike [1] ma con l'aggiunta che se mi incontrate dobbiamo andare a bere qualcosa. In sintesi è liberamente distribuibile per usi non commerciali, copiabile e modificabile purchè citiate l'autore e la fonte. Se volete distribuire questo documento sul vostro sito siete pregati per favore di comunicarmelo in modo che possa spedirvi le nuove versioni. [1] http://creativecommons.org/licenses/by-nc-sa/2.0/http://creativecommons.org/licenses/by-nc-sa/2.0/

37 Monitoraggio di rete con NetFlow – Alessandro Tanasi aka jekil - http://www.tanasi.ithttp://www.tanasi.it Dove reperisco queste slides? Le slides di questa presentazione sono già disponibili su: http://www.lonerunners.net/slides http://www.lonerunners.net/slides Per informazioni: http://www.tanasi.it alessandro@tanasi.it Non esitate a contattarmi anche solo per far due chiacchere... Italian grappa a tutti!! :-)