Analysis framework of distributed thread and malware data-sources Studente/i Relatore Correlatore Committente Giuliano Gremlich Angelo Consoli Cristian Bovino Angelo Consoli Corso di laurea Modulo Anno Data Ingegneria informatica (Informatica TP) M00002 Progetto di Diploma 2016/2017 1 Settembre 2017 Abstract L'obbiettivo principale di questo progetto è sfruttare l'enorme potenzialità degli Honeypot, creando una struttura per processare ed analizzare i dati da essi creati. Questo per avere un'immagine chiara dei vari attacchi avvenuti. Questa struttura dovrà comprendere una raccolta e uno stoccaggio dei dati in modo performante e la possibilità di analizzare i dati in maniera molto semplificata. Le tecnologie che ho utilizzato sono tutte open source e utilizzate a livello professionale. Possono essere divise in due tipologie, ovvero quelle che mi hanno permesso di raccogliere e immagazzinare i dati dai vari devices, e quelle che vanno a ricoprire l'esigenza di analizzarli. Per quanto riguarda la prima parte ho utilizzato due librerie di Apache, completamente compatibili tra di loro, Kafka e Hadoop. Mi hanno permesso di creare un sistema clusterizzato per integrare i dati, con tutte i vantaggi del caso, alte performance,scalabilità orizzontale,fault tollerance. Mentre per l'analisi dei dati ho utilizzato Elasticsearch, un progetto molto attuale e in continua evoluzione che permette di eseguire analisi su grandi mole di dati con alte performance Grazie a questo progetto sono riuscito a creare un sistema che sfrutta i dati degli Honeypot, dati fondamentali per la sicurezza informatica, dando la possibilità ad un team di IT-security, composto da tecnici o anche da semplici analisti, di accedervi in maniera efficiente e semplificata Obbiettivi I compiti di questo progetto di diploma sono: • Creazione di un sistema di stoccaggio distribuito e ridondante • Studiare le tecniche di processing distribuito(Clustering, GPU,…) • Studiare una strutturazione da dati raw • Implementare un sistema di processing distribuito per lo stutturazione dei logs • Sviluppare di un servizio REST per accedere ai dati • Creare un interfaccia web per visualizzare i risultati Conclusioni Il compito principale di questo progetto era quello di creare una struttura performante per collezionare e salvare i log file generati dai vari device, sfruttando così la potenzialità maggiore di questa tecnologia, ovvero la scalabilità orizzontale. Grazie a Kafka, Hadoop e ai vari software creati da me sono riuscito ad ottenere questo risultato. Ho la possibilità di aggiungere o rimuovere device con molta facilità, infatti qualora un nuovo Honeypot entrasse a far parte del sistema, non basterà far altro che eseguire su di esso il mio software java visto in precedenza per collezionare i suoi dati e metterli a disposizione per l'analisi Un' altro aspetto importante era quello dell'analisi dei dati da parte di utenti non prettamente tecnici. Grazie al client Web che ho realizzato sono andato a coprire anche questo requisito. Naturalmente il client dispone ancora di miglioramenti, ma sono riuscito comunque a dimostrare che è possibile utilizzare le enormi potenzialità fornite da Elasticsearch anche distaccandosi dalla sua parte grafica, ovvero Kibana Questo progetto mi ha permesso di utilizzare framework professionali che nel mio percorso di studi non avevo mai visto. Naturalmente questo ha implicato tutto un periodo di studio dei vari software prima di passare alla vera e propria implementazione. Inoltre ho potuto consolidare tutte le conoscenze dei linguaggi principali di programmazione.