UNIVERSITÀ DEGLI STUDI DI MODENA E REGGIO EMILIA Dipartimento di Ingegneria “Enzo Ferrari” Corso di Laurea Magistrale in Ingegneria Informatica Integrazione e visualizzazione semantica di dataset pubblici nel dominio del precariato giovanile Salve a tutti sono il candidato Luca Gagliardelli, il titolo del mio lavoro di tesi è «Integrazione e visualizzazione semantica di dataset pubblici nel dominio del precariato giovanile» e il mio relatore è la prof. Sonia Bergamaschi Relatore: Chiar.ma Prof. Sonia Bergamaschi Correlatore: Ing. Laura Po Candidato: Luca Gagliardelli

Obbiettivi Integrazione sorgenti dati proprietarie/open nell’ambito del «Progetto Open Linked Data dell’osservatorio Giovani della regione Emilia Romagna» Reingegnerizzazione MOMIS Dashboard Visualizzazione dei dati integrati con la MOMIS Dashboard

Processo di integrazione e visualizzazione Databases Vista unificata Spreadsheets SOURCE 1 Il lavoro di tesi si colloca nell’ambito del «Progetto Open Linked Data dell’osservatorio Giovani della Regione Emilia Romagna» i cui obiettivi erano: Integrare diverse sorgenti pubbliche e private fornite dalla regione Emilia Romagna, utilizzando MOMIS; MOMIS è uno strumento open source di data integration in grado di unire tra loro i dati di diverse sorgenti eterogenee. Visualizzare i dati integrati con la MOMIS Dashboard. Pubblicare i dati integrati come Open Linked Data SOURCE 2 Open Data SOURCE 3 Open Data

Sorgenti dati Progetti di spesa corrente Progetti di spesa investimento Numero di giovani residenti Punti Informagiovani Numero redazioni Informagiovanionline attive Numero accessi a Informagiovanionline Young ER Card Numero di laureati - fonte MIUR Numero di immatricolati - fonte MIUR Per il processo di integrazione sono state utilizzate 9 sorgenti dati, alcune proprietarie, altre open come è possibile vedere nella slide. Alcune sorgenti erano già state analizzate in precedenza, altre come i progetti di spesa investimento, quelle su informagiovani e young er card sono state analizzate nel corso del lavoro di tesi.

Now we can query: SELECT * FROM Companies Company| Location | Revenue Company| Location | Revenue Name | Address | Sector | N° Emp Name | Address | Sector | N° Emp Global as View Mapping Now we can query: SELECT * FROM Companies Name | Address | Latitude| Longitude Name | Address | Latitude| Longitude 1. Attribute Matching Attribute Matching 2. Companies Mediated Schema Companies Mediated Schema 3. Global as View mapping Name | Address | Sector | Revenue| Map 4. Query

Data Fusion based on the same key Virtual Integration Data stored in Local sources XML

Always up to date Virtual Integration Data stored in Local sources XML

Creazione di 3 viste globali sui dati con MOMIS SORGENTI REGIONALI e OPEN DATA 2006 2007 2008 2009 2010 2011 2012 2013 2014 1. Progetti di spesa corrente   2. Progetti di spesa investimento 3. Numero di giovani residenti 4. Punti Informagiovani presenti 5. Numero redazioni Informagiovanionline attive 6. Numero accessi a Informagiovanionline 7. Young ER Card 8. Dati sui laureati – fonte MIUR 9. Dati sugli immatricolati - fonte MIUR Vista 2009-13 Vista 2006-14 Vista 2014 È stata fatta un’analisi sui dati per vederne la disponibilità nei vari anni, come si può vedere in figura non tutte le sorgenti disponevano di dati su tutto il periodo. MOMIS all’interno dello stesso progetto consente di creare integrazioni diverse sulle stesse sorgenti, ognuna di queste integrazioni è detta Global Schema. Basandosi sulla disponibilità dei dati sono stati creati tre differenti Global Schema, inoltre sui dati dei Global Schema sono state create delle viste che limitano il periodo in modo da avere il minor numero di valori nulli dei dati.

MOMIS Dashboard La MOMIS Dashboard è una web application sviluppata in Java con l’utilizzo del framework Google Web Toolkit, consente di visualizzare dei dati sotto forma di diversi tipi di grafici. L’applicazione è suddivisa in tre aree principali: Intestazione Area che contiene i filtri, situata sulla sinistra. Area che contiene i grafici, situata sulla destra. I grafici vengono generati in base ai parametri di ricerca impostati dall’utente.

Reingegnerizzazione MOMIS Dashboard Vecchia architettura Nuova architettura Come abbiamo visto nella fase relativa all’integrazione dati sono stati creati più Global Schema e su ognuno di essi è stata creata una vista da utilizzare nella MOMIS Dashboard. Il problema è che la versione iniziale della MOMIS Dashboard aveva le query e la parte di definizione dei grafici integrati con il codice, quindi per vedere grafici differenti e connettersi a tre differenti global schema sarebbe stato necessario creare tre versioni diverse della Dashboard a livello codice e pubblicarle a tre indirizzi differenti. La soluzione è stata quella di produrre una versione della MOMIS Dashboard configurabile tramite un file di configurazione e la possibilità di associare ad un utente più file di configurazione, in questo modo utenti diversi collegandosi alla stessa istanza della MOMIS Dashboard possono vedere cose diverse e un utente può caricare più configurazioni diverse. La Dashboard è stata ristrutturata come in figura, si è separato il DB dei dati dal DB interno che contiene i file di configurazione e i dati degli utenti. Si sono rimosse le query dal codice, spostandole nel file di configurazione.

Database MOMIS Dashboard È stato ristrutturato anche il database della MOMIS Dashboard User: contiene gli utenti Role: contiene i ruoli relativi ad una configurazione. Configuration: contiene le configurazioni. Ad un file di configurazione sono associati più ruoli, un utente può avere uno o più ruoli, un ruolo definisce che cosa può vedere un utente, possono essere disabilitati grafici, filtri, etc

File di configurazione Parti principali connection charts filterSections permission Il file di configurazione è in formato JSON ed è suddiviso in 4 parti principali: Connection => connessione ai dati Charts => grafici filterSections => contenitore sezioni che contengono i filtri Permissions => permessi ruolo utente

charts Bar chart Line chart Map Grid Sono stati implementati i seguenti grafici: istogramma grafico di andamento Mappa Tabella

charts Bar chart Line chart Map Grid Mostra i dati relativi ad una situazione puntuale (nell’esempio un solo anno) in un’istogramma.

charts Bar chart Line chart Map Grid Grafico di andamento, mostra i dati relativi ad una situazione nel tempo.

charts Bar chart Line chart Map Grid Mostra su una Google Maps in un grafico a bolle dati relativi ad una situazione puntuale, es un solo anno; cliccando su una bolla è possibile leggere il valore. Per utilizzare la mappa nel progetto, visto che questo è scritto in Java con GWT e che la libreria per l’uso della Google Maps è scritta in JavaScript, è stato necessario creare un wrapper per potersi interfacciare con la mappa da Java. Inoltre, rispetto alla vecchia versione della Dashboard, è stato aggiunto un servizio che consente di risolvere le coordinate di una località tramite le API di Google, se queste non sono già presenti nella cache locale.

charts Bar chart Line chart Map Grid Mostra i dati in formato tabellare.

filterSections Contiene le sezioni. Una sezione può contenere più filtri. { "id": "id_sezione", "related": [ "id_related1", "id_related2", . . ], "title": "Titolo sezione", "filters": [ . ] } Sezioni correlate Contiene l’elenco delle sezioni, ogni sezione può contenere più filtri. Sezioni correlate: vengono letti i filtri anche di quelle sezioni quando si lancia il search da una sezione. A destra: esempio di sezione «Search By All» che contiene tre filtri differenti.

Filters Filtri applicabili sul database dei dati single multi tree Da – A Testo Filtri implementati

filters single multi tree Da – A Testo Stesso filtro, solo che single consente di selezionare un solo elemento, multi consente di selezionarne più di uno. SELECT DISTINCT(anno) FROM gs_2014

filters single multi tree Da – A Testo Filtro gerarchico

filters single multi tree Da – A Testo Filtro Da – A per valori interi, reali o date.

filters single multi tree Da – A Testo Consente di effettuare una ricerca libera in base a ciò che vuole l’utente. Può essere configurato per una ricerca esatta (ossia con =) oppure per eseguire una ricerca con il LIKE.

Permissions Ruolo Grafici visibili Sezioni visibili Filtri visibili Relativo ai ruoli impostati nel DB Condizione applicata al filtro

Processo di creazione di una nuova configurazione

Conclusioni e sviluppi futuri Il processo di integrazione dati del «progetto Open Linked Data dell’osservatorio giovani della Regione Emilia Romagna» è stato completato con successo La MOMIS Dashboard è stata reingegnerizzata e funziona correttamente tramite file di configurazione Sono stati inoltre valutati metodi per la pubblicazione dei dati integrati sotto forma di Open Linked Data La MOMIS Dashboard dovrà essere estesa per permettere la generazione automatica del file di configurazione attraverso un’interfaccia visuale.

GRAZIE PER L’ATTENZIONE