La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

GESTIONE EFFICIENTE DEI DATI IN UN DATA STREAM MANAGEMENT SYSTEM Università degli studi di Modena e Reggio Emilia Facoltà di Scienze Matematiche, Fisiche.

Presentazioni simili


Presentazione sul tema: "GESTIONE EFFICIENTE DEI DATI IN UN DATA STREAM MANAGEMENT SYSTEM Università degli studi di Modena e Reggio Emilia Facoltà di Scienze Matematiche, Fisiche."— Transcript della presentazione:

1 GESTIONE EFFICIENTE DEI DATI IN UN DATA STREAM MANAGEMENT SYSTEM Università degli studi di Modena e Reggio Emilia Facoltà di Scienze Matematiche, Fisiche e Naturali Corso di Laurea Magistrale in Informatica Relatore: Ing. Riccardo Martoglia Correlatori: Dott. Federica Mandreoli Ing. Luca Carafoli Candidato: Federico Di Bernardo Anno Accademico

2 INTRODUZIONE Situazione critica del traffico nelle città o Situazione critica del traffico nelle città Aumento del consumo di carburante ed inquinamento Incremento del numero di incidenti Incremento del numero di incidenti Forte congestionamento della rete stradale Forte congestionamento della rete stradale Necessità di una nuova concezione di mobilità e trasporto Sfida nellambito di ricerca dellICT (Information and Communication technology ) Sfida nellambito di ricerca dellICT (Information and Communication technology )

3 INTRODUZIONE Mission del progetto: Smart Navigation: Mobilità intelligente. Urban Mobility: Incremento dell'efficienza nell'uso degli attuali mezzi di trasporto e delle infrastrutture. Safety: Incremento della sicurezza e riduzione degli impatti ambientali. PEGASUS = ProgEtto per la Gestione della mobilità Attraverso Sistemi infotelematici per lambito Urbano, per la Sicurezza di passeggeri, veicoli e merci. Realizzato in collaborazione con luniversità di Bologna. Realizzato in collaborazione con luniversità di Bologna.

4 OBIETTIVO DELLA TESI: Studiare e sviluppare un sistema per la gestione efficiente dei dati provenienti dalle OBU (On-Board Unit) installate sui veicoli urbani CONTENUTI: Panoramica sul Sistema PEGASUS Panoramica sul Sistema PEGASUS Data Stream Management System Data Stream Management System Prototipo Software Prototipo Software Prove Sperimentali Effettuate Prove Sperimentali Effettuate Conclusioni e Sviluppi Futuri Conclusioni e Sviluppi Futuri

5 Panoramica sul Sistema PEGASUS Panoramica sul Sistema PEGASUS Data Stream Management System Data Stream Management System Prototipo Software Prototipo Software Prove Sperimentali Effettuate Prove Sperimentali Effettuate Conclusioni e Sviluppi Futuri Conclusioni e Sviluppi Futuri

6 PANORAMICA SUL SISTEMA PEGASUS OBU ( On-Board Unit ) = Dispositivo installato a bordo dei veicoli in grado di raccogliere varie informazioni sul veicolo e comunicarle sottoforma di data stream Velocità Posizione Posizione Accelerazione Accelerazione Real-time comms engine Smart navigation engine Maps & real-time data User interface GPS unit Accel unit GPRS V2I unit WiFi V2V unit

7 PANORAMICA SUL SISTEMA PEGASUS ad-hoc, multi-hop, V2V communication V2I communication BTS Control Centre Control Centre Infrastructured Network OBUs Comunicazioni GPRS costose ! Differenti tipologie di comunicazione: Differenti tipologie di comunicazione: V2V (WiFi) V2V (WiFi) V2I (GPRS) V2I (GPRS) Il Centro Di Controllo colleziona ed integra i dati e gestisce i POI ed EOI Il Centro Di Controllo colleziona ed integra i dati e gestisce i POI ed EOI

8 PANORAMICA SUL SISTEMA PEGASUS Centro di Controllo OBU Communication Manager EOI Ontology Recom- mender System POI Ontology OBU V2I interaction V2Vinteractio n Data acquisition Storage Manager GIS tables Query Processing Engine Query Processing Engine DSMS Communication -saving! OBU

9 Panoramica sul Sistema PEGASUS Panoramica sul Sistema PEGASUS Data Stream Management System Data Stream Management System Prototipo Software Prototipo Software Prove Sperimentali Effettuate Prove Sperimentali Effettuate Conclusioni e Sviluppi Futuri Conclusioni e Sviluppi Futuri

10 DATA STREAM MANAGEMENT SYSTEM Applicazione di streaming data-intensive con requisiti spaziali e temporali Applicazione di streaming data-intensive con requisiti spaziali e temporali GIS DSMS Temporale GIS DSMS Temporale Linguaggio di interrogazione SQL-Like Linguaggio di interrogazione SQL-Like Acquisizione ed accesso a dati tempo e spazio localizzati Acquisizione ed accesso a dati tempo e spazio localizzati Streaming items utilizzati non solo per i servizi real-time Query continue Query continue Ad-Hoc Query Ad-Hoc Query Analisi OLAP su dati storici Analisi OLAP su dati storici Tipiche soluzioni accoppiano il sistema di Storage Management con quello di Query Processing Tipiche soluzioni accoppiano il sistema di Storage Management con quello di Query Processing Scarsa flessibilità Scarsa flessibilità Difficoltà di ottimizzazione Difficoltà di ottimizzazione

11 DATA STREAM MANAGEMENT SYSTEM Storage Manager DSMS Query Processing Engine Query n Query 2Query 1 … QueryOptimizerQueryExecutorQueryParser Interface Read / Setup ResultsSet Storage Point 1 Storage Point 2 Storage Point n … LoadShedder DataManager OBUs OBUs Input Stream Input Stream GISDBMS

12 DSMS profondamente diversi dai DBMS DSMS profondamente diversi dai DBMS DATA STREAM MANAGEMENT SYSTEM DBMS: Dati: Dati statici e persistenti Gestione del dato presente Dati corretti Spazio illimitato Query: Query one-shot complesse Risposte precise Update poco frequenti Query plan statico HADP (Human-Active, Database-Passive) DSMS: Dati: Stream transienti Nozione di tempo Memoria primaria limitata Dati danneggiati o mancanti Query: Query continue semplici Approximate answering Query plan dinamico Diverse query in esecuzione DAHP (Database-Active, Human-Passive)

13 DATA STREAM MANAGEMENT SYSTEM PROBLEMA : Dati potenzialmente infiniti e memoria primaria limitata ! Soluzioni Lossless: Soluzioni Lossless: Window Models Window Models Presente vs Storico Presente vs Storico Old tuples Newly arrival tuples DBMS Main Memory WINDOW

14 DATA STREAM MANAGEMENT SYSTEM Ottimizzazioni Lossy: Ottimizzazioni Lossy: Load Shedding Load Shedding Synopses Synopses Batch Processing Batch Processing Memory P = 0,33 DSMS Incident detection Near vehicle

15 Panoramica sul Sistema PEGASUS Panoramica sul Sistema PEGASUS Data Stream Management System Data Stream Management System Prototipo Software Prototipo Software Prove Sperimentali Effettuate Prove Sperimentali Effettuate Conclusioni e Sviluppi Futuri Conclusioni e Sviluppi Futuri

16 PROTOTIPO SOFTWARE Sviluppo di un Storage Management System disaccoppiato dal modulo di Query Processing Engine Sviluppo di un Storage Management System disaccoppiato dal modulo di Query Processing Engine Storage Manager Storage Manager Query produttore pull-based Query produttore pull-based Registrazione queries consumatore Registrazione queries consumatore Switch dinamico delle strutture dati Switch dinamico delle strutture dati Gestione delle finestre temporali Gestione delle finestre temporali Migrazione dati storici Migrazione dati storici Storage Manager Interface Query Engine PostGIS OBUs OBUs Input Stream Input Stream read setup results Results Query Processing Engine Query Processing Engine Sottomissione query consumatore Sottomissione query consumatore Esecuzione concorrente di diverse queries Esecuzione concorrente di diverse queries Invio comandi di lettura (con o senza filtri) Invio comandi di lettura (con o senza filtri) Scrittura risultati su file Scrittura risultati su file

17 PROTOTIPO SOFTWARE Strutture dati dinamiche Strutture dati dinamiche Never ConsumeOrdered ConsumeEager Consume Never Expire Ordered Expire Unordered Expire Replaced Expire PERSISTENT IN-PLACE RANDOM FIFO FIFO \ RANDOM FIFO in scritturapieno consumativuoti FIFO – Lista concatenata circolare RANDOM – Lista concatenata consumatoin scrittura Produttore Consumatore

18 PROTOTIPO SOFTWARE Esecuzione concorrente di diverse query continue Esecuzione concorrente di diverse query continue Gestione overlapping finestre multiple Gestione overlapping finestre multiple Singola passata sui dati Singola passata sui dati 0 s5 s10 s15 s20 s25 s30 s t1t2t3t4t5t6t7 C2C3C1 0 s5 s10 s15 s20 s25 s30 s t1t2t3t4 t5 t6t7 C2C3C1 Newly arrival tuples t t Old Tuples Consumed PostGIS Polling 10 s

19 PROTOTIPO SOFTWARE Dati storici gestiti tramite DBMS PostgreSQL con estensione spaziale PostGIS Dati storici gestiti tramite DBMS PostgreSQL con estensione spaziale PostGIS Driver JDBC di tipo 4 Driver JDBC di tipo 4 Estesione GIS molto utile per la gestione dei dati georeferenziati Estesione GIS molto utile per la gestione dei dati georeferenziati obuid obuid Identificativo vettura speed speed Velocità al tempo t time time Tempo di ricezione della tupla timestamp timestamp Tempo logico di ricezione position (lat, long) position (lat, long) Posizione spaziale modellato come punto bidimensionale

20 PROTOTIPO SOFTWARE main() startDSMS() stopDSMS() submitQuery() stopQuery() DSMSCoordinator submitConsumer() stop() stopAll() QueryEngine start() stop() seqRead() randRead() setConsumer() removeConsumer() StorageManager ID Latitude Longitude Speed Time ecc Tuple ConsumerType ProducerType Schema ecc… DataStructure ConsumerID Window SamplePeriod Filter ecc… Consumer inizializeInterface() setTextOBU_Store() ecc… DSMSInterface inizializeInterface() start() submitConsumer() GUI StorageManagerInterface seqRead() randRead() setConsumer() removeConsumer() resultSet > Utente Grafo delle classi Grafo delle classi

21 PROTOTIPO SOFTWARE Caratteristiche delproduttore Caratteristiche del/deiConsumatore/i Produttore: Produttore: Dimensione dei blocchi Dimensione dei blocchi Finestra Finestra Tempo di riesecuzione Tempo di riesecuzione Modalità di inserimento Modalità di inserimento Consumatore: Consumatore: Tipologia di consumo Tipologia di consumo Filtri Filtri Polling time Polling time ID query ID query Finestra Finestra

22 Panoramica sul Sistema PEGASUS Panoramica sul Sistema PEGASUS Data Stream Management System Data Stream Management System Prototipo Software Prototipo Software Prove Sperimentali Effettuate Prove Sperimentali Effettuate Conclusioni e Sviluppi Futuri Conclusioni e Sviluppi Futuri

23 PROVE SPERIMENTALI Misura dei tempi di risposta al variare di: Misura dei tempi di risposta al variare di: N. Thread Consumer N. Thread Consumer Frequenza di lettura Frequenza di lettura delle tuple delle tuple Quantità di tuple per Quantità di tuple per file file Algoritmo di lettura lineare O(K) Algoritmo di lettura lineare O(K) Singola passata Singola passata Nessuna approssimazione Nessuna approssimazione

24 Panoramica sul Sistema PEGASUS Panoramica sul Sistema PEGASUS Data Stream Management System Data Stream Management System Prototipo Software Prototipo Software Prove Sperimentali Effettuate Prove Sperimentali Effettuate Conclusioni e Sviluppi Futuri Conclusioni e Sviluppi Futuri

25 CONCLUSIONI E stato effettuato uno studio approfondito delle caratteristiche e delle problematiche relative ai sistemi per la gestione di stream di dati, ovvero dei Data Stream Management System E stato effettuato uno studio approfondito delle caratteristiche e delle problematiche relative ai sistemi per la gestione di stream di dati, ovvero dei Data Stream Management System Sono stati analizzanti i principali DSMS in via sperimentale, come ad esempio: TelegrapCQ, STREAM, Cougar, Aurora e NiagaraCQ. Sono stati analizzanti i principali DSMS in via sperimentale, come ad esempio: TelegrapCQ, STREAM, Cougar, Aurora e NiagaraCQ. E stato progettato ed implementato un innovativo DSMS in Java, in cui la parte di gestione dei dati è ben separata rispetto alla parte di query processing engine, in modo da garantire la massima flessibilità ed ottime possibilita di ottimizzazione. E stato progettato ed implementato un innovativo DSMS in Java, in cui la parte di gestione dei dati è ben separata rispetto alla parte di query processing engine, in modo da garantire la massima flessibilità ed ottime possibilita di ottimizzazione. Per la gestione dei dati storici, ci si è appoggiati al DBMS PostgreSQL, con lestensione PostGIS per poter gestire i dati georeferenziati comunicati dalle OBU. Per la gestione dei dati storici, ci si è appoggiati al DBMS PostgreSQL, con lestensione PostGIS per poter gestire i dati georeferenziati comunicati dalle OBU. Sono state effettuate delle prove sperimentali in modo da misurare le prestazioni e la scalabilità del sistema. Sono state effettuate delle prove sperimentali in modo da misurare le prestazioni e la scalabilità del sistema. Tutte le parti del lavoro di Tesi che mi è stato proposto sono state portate a termine in maniera concreta e completa. Tutte le parti del lavoro di Tesi che mi è stato proposto sono state portate a termine in maniera concreta e completa.

26 CONCLUSIONI … studiati ed analizzati articoli scientifici e documenti di ricerca nel campo dei DSMS: … studiati ed analizzati più di 20 articoli scientifici e documenti di ricerca nel campo dei DSMS: Flexible and scalable storage management for data-intensive stream processing I. Botan, G. Alonso, P. M. Fischer, D. Kossmann, and N. Tatbul. Flexible and scalable storage management for data-intensive stream processing Data Management Issues for Intelligent Transportation Systems F. Mandreoli, R. Martoglia, W. Penzo, S. Sassatelli. Data Management Issues for Intelligent Transportation Systems Issues in Data Stream Management Lukasz Golab and M. Tamer Ozsu. Issues in Data Stream Management Models and Issues in Data Stream Systems. Brian Babcock Shivnath Babu Mayur Datar Rajeev Motwani Jennifer- Widom. Models and Issues in Data Stream Systems. Mining Data Streams: A Review. Arkady Zaslavsky Mohamed Medhat Gaber and Shonali Krishnaswamy. Mining Data Streams: A Review. Ecc…

27 SVILUPPI FUTURI Il progetto PEGASUS è un sistema molto complesso che richiederà alluniversità e ai collaboratori alcuni anni di lavoro tra sviluppo e testing Il progetto PEGASUS è un sistema molto complesso che richiederà alluniversità e ai collaboratori alcuni anni di lavoro tra sviluppo e testing Il lavoro prodotto si inserisce quindi nellambito di una problematica ben più vasta di quanto è possibile trattare in una Tesi di Laurea e si presta di conseguenza a molti ed interessanti sviluppi sotto diversi aspetti Il lavoro prodotto si inserisce quindi nellambito di una problematica ben più vasta di quanto è possibile trattare in una Tesi di Laurea e si presta di conseguenza a molti ed interessanti sviluppi sotto diversi aspetti Per quanto riguarda il DSMS, dovrà essere implementata linterfaccia di rete verso le OBU in modo da gestire stream di dati reali e dovrà essere sviluppato il motore di query processing engine (query parsing, query optimization, etc.). Per quanto riguarda il DSMS, dovrà essere implementata linterfaccia di rete verso le OBU in modo da gestire stream di dati reali e dovrà essere sviluppato il motore di query processing engine (query parsing, query optimization, etc.). Infine, dovranno essere implementati tutti i servizi di Smart Navigation, Safety e Urban Mobility e dovrà essere implementato il Recommender System collaborativo per la gestione dei POI. Infine, dovranno essere implementati tutti i servizi di Smart Navigation, Safety e Urban Mobility e dovrà essere implementato il Recommender System collaborativo per la gestione dei POI.

28 FINE


Scaricare ppt "GESTIONE EFFICIENTE DEI DATI IN UN DATA STREAM MANAGEMENT SYSTEM Università degli studi di Modena e Reggio Emilia Facoltà di Scienze Matematiche, Fisiche."

Presentazioni simili


Annunci Google