INTEGRAZIONE MULTILINGUA DI PUBBLICA AMMINISTRAZIONE: SIAM Saluti alla commissione e titolo Tesi, dove e quando è stata svolta con Obiettivo Principale 11 Corso di Laurea Specialistica in Ingegneria Informatica INTEGRAZIONE MULTILINGUA DI SORGENTI DATI POSTGRESQL DELLA PUBBLICA AMMINISTRAZIONE: ACCOPPIAMENTO DEI SISTEMI MOMIS E SIAM Relatore: Chiar.mo Prof. Sonia Bergamaschi Correlatori: PhD. Ing. Mirko Orsini PhD. Ing Laura Po Candidato: Saponi Riccardo Anno Accademico 2008 - 2009

Sommario Obiettivo della Tesi Il Progetto MOMIS Il SIAM (Sistema Informativo AMbientale) Integrazione MOMIS - SIAM Wrapper JDBC / PostgreSQL Sviluppo di un database multilingua per l’utilizzo in MOMIS Materializzazione dello Schema Globale Test, conclusioni e sviluppi futuri Descrizione del Sommario

Obiettivo MOMIS DataRiver SIAM Ipotesi : poter disporre di una vista integrata dei dati presenti negli Uffici del settore Ambiente di diverse province, attraverso l’ accoppiamento del progetto MOMIS “DataRiver” e del programma SIAM. Sono state eseguite 3 fasi: Creazione di un Wrapper per sorgenti PostgreSQL; Analisi e integrazione del database lessicale multilingua MultiWordNet; Implementazione di funzioni per la materializzazione dello Schema Virtuale Globale(GS) all’interno della versione DataRiver di MOMIS; Accennare brevemente alla Pubblica Amministrazione e al problema del reperimento dell’informazione. Da qui l’idea per la Tesi. Cosa deve essere realizzato: obiettivi principali E’ UN TENTATIVO!

MOMIS (Mediator envirOnment for Multiple Information Sources) MOMIS e' un sistema per l'integrazione intelligente di informazioni per sorgenti dati strutturate e semi - strutturate nato fra una collaborazione dell’Università degli Studi di Modena e Reggio Emilia (DbGroup) e l’Università di Milano. OBIETTIVO: Integrare le informazioni ricavate da sorgenti eterogenee costruendo uno Schema Globale Virtuale che consenta all’utente di sottomettere delle query e che conservi i dati nelle sorgenti locali. Approccio opposto rispetto quello di un Data Warehouse, dove invece i dati sono duplicati su un database interrogabile dall’utente. Obiettivo di MOMIS: integra le informazini ricavate da sorgenti eterogenee attraverso l’interfacciamento dei Wrapper con le sorgenti locali e l’utilizzo di Odli3 per la rappresentazione virtuale di queste sorgenti. Viene generato un Common Thesaurus e successivamente una GVV (Global Virtual View). Per l’interrogazione si usa il componente QueryManager che consente all’utente di sottomettere una query alla GVV (scomposta ppoi in sub-queries nelle sorgenti locali) e di ricevere una risposta unificata

MOMIS (Mediator envirOnment for Multiple Information Sources) Schema che rappresenta l’architettura di MOMIS. Descrizione: Livello Dati..il Wrapper…direzione in due sensi del flusso di informazioni Cosa fa l’utente…interroga mediante interfaccia grafica e i tools. Attraverso alcuni moduli di supporto(WN, Artemis) viene generato un GlobalSchema, rappresentazione delle sorgenti colegate emdiante il Wrapper e interrogaile dal query manager

SIAM (Sistema Informativo AMbientale) Web application che regola l’iter procedurale delle pratiche dell’Ufficio Ambiente di diverse Province Italiane. E’ stato sviluppato da QUIX s.r.l Leggere.. 66 SIAM (Sistema Informativo AMbientale) Prodotto web-based sviluppato da QUIX s.r.l. che si occupa di gestire il flusso completo di tutte le pratiche elaborate dall’Ufficio Ambiente delle Province. Si pone come strumento di integrazione e collaborazione fra i vari soggetti coinvolti nei processi amministrativi che regolano la gestione dell’ambiente (Operatori, Imprese, Assessori). Piena compatibilità e possibilità di scambio di informazioni con altri strumenti informatici presenti nell’Ente(software di protocollazione; GIS; sportello SUAP..).

Wrapper JDBC / PostgreSQL Un Wrapper è un modulo che si occupa di rendere le diverse sorgenti di informazione conformi ad uno standard interno o esterno. In particolar modo si occupa di : Tradurre la descrizione della sorgente nel linguaggio del mediatore; Tradurre l’interrogazione ricevuta dal mediatore in una query in linguaggio locale ( ODLI3 ) Trasferire i risultati parziali al mediatore

Wrapper JDBC / PostgreSQL PostgreSQL è un object – relational database management system (ORDBMS) open source, seguito del progetto Ingres. E’ un sistema per la gestione di database relazionali che assume caratteristiche tipiche dei Linguaggi Orientati agli Oggetti Definizione di Oggetti e Classi; Ereditarietà; Consente di implementare funzioni e procedure tramite il linguaggio nativo PL / pgSQL e i linguaggi di programmazione più comuni: C++, Ruby, Perl, Python. Tipi di dato JDBC compatibili. Open source, multipiattaforma e ampia community di sviluppo.

Wrapper JDBC / PostgreSQL Creazione della classe WrapperJdbcCore_PostgreSQL, estensione delle interfacce Java già presenti. Interfaccia grafica per l’inserimento dei parametri per la connessione JDBC: Domain; Port; User; Password; Scelta del database; Generazione automatica della stringa di connessione JDBC; Scelta dei database presenti sul server mediante il reperimento delle informazioni dalla tabella di sistema PG_CATALOG Far notare il Menù a Tendina

Sviluppo di un database multilingua per l’utilizzo in MOMIS Stato dell’ arte: WordNet : Database lessicale di riferimento in lingua inglese che definisce i concetti della conoscenza e le relazioni che intercorrono fra di essi. Caratteristiche: Categoria Sintattica: categorie in cui sono suddivisi i termini (nomi, aggettivi,verbi,avverbi) Lemma: parola e/o termine a cui vengono associati uno o più significati Synset: insieme di termini associati ad un medesimo significato ed appartenenti alla stessa categoria sintattica Glossa: descrizione a parole di un significato preciso. Associata a ciascun synset Relazione Semantica: relazione che lega due synset appartenenti alla stessa categoria sintattica Relazione Lessicale: relazione tra due lemmi appartenenti a synset distinti

Sviluppo di un database multilingua per l’utilizzo in MOMIS WordNet concorre alla generazione del Common Thesaurus durante il Processo di Integrazione, contribuendo alla definizione di relazioni terminologiche attraverso il processo di annotazione. Il secondo punto a riguardato lo studio e l’integrazione di un Database multilingua, Descrizione della Matrice lessicale. Un signficato èer più lemmi, un lemma per più significati. E relazioni I dataas emultilingua erano stati finora solamente studiati in precedenti tesi. Expand model: si basa sul presupposto che in ingue differenti, vi siano le stesse relazioni fra synset e quindi per l’implementazione si usa la stessa struttura di WordNet. Espende! Merge Model: mira a realizzare dei database lessicali multilingua non perdendo le peculiarità el’indipendenza di ciascuna lingu. Si basa suu risorse di lingue differenti già esistenti, schemi differenti, e crea successivamente un modulo epr l’integrazione con WordNet Book SYN Volume Book BT Catalog

Sviluppo di un database multilingua per l’utilizzo in MOMIS Per una maggior compatibilità con la versione di WordNet presente in MOMIS è stato analizzato e scelto MultiWordNet come database lessicale multilingua. MultiWordNet mira a creare un database lessicale strettamente legato a Princeton WordNet che consenta un facile inserimento di nuove lingue. Relazioni semantiche : invariate rispetto WN. Si procede con degli add on; Relazioni lessicali : re – mapping dei lemmi basato sulla lingua; Si compone di una parte comune (relazioni semantiche) e di parti specifiche a ciascuna lingua (relazioni lessicali) Si è utilizzato MultiWordNet, in quanto il modello expad model permette un’integrazione sicura e meno onerosa. Progetto della Fondazion Bruno Kessler di Treno. Si passa dalla matrice lessicale a un cub dove la terzadimensione viene data dalla Lingua. Quindi una relazione viene individuata univcamente dal lemma, dal synset e dalla lingua, Come detto: - fra synset esistono l stesse relazioni 

Sviluppo di un database multilingua per l’utilizzo in MOMIS Allineamento di MultiWordNet 1.6 a WordNet 2.0: Aggiornamento coerente dei record (Thanks to Rada Mihalcea, University of Texas) Integrazione di MultiWordNet e WordNet 2.0: Inserimento di nuovi tipi di Relazione e di Extender Procedura di integrazione basata sulla lingua del record. Modifiche al software: Nuovi parametri di configurazione per Torque; Enum AnnotationLanguage; Gestione lingua lato Backend: synset e lemma recuperati mediante la lingua di Annotazione; Gestione lingua lato Frontend: menù di scelta per la lingua in fase di inserimento e ricerca del record; Modifiche agli algoritmi WNFS e WND per la gestione della lingua di Annotazione. Implementazione di uno Stemmer Algorithm per la lingua italiana e refactoring delle classi di Stemming

Materializzazione dello Schema Globale MOMIS Versione “DataRiver” Progetto Open Source che si prefigge di “prodottizzare” MOMIS. Sviluppato da “Datariver S.r.l.”, una spin-off nata per iniziativa di professori e ricercatori del DbGroup del Dipartimento di Ingegneria dell’Informazione di Modena e della ditta QUIX S.r.l. Caratteristiche: GUI sviluppate mediante Eclipse – RCP Gestione di WordNet tramite file originali o JPA (Java Persistence API) DataBase HSQLDB per supporto a Query Manager Gestione del progetto mediante il tool MAVEN …MA… STESSO PROCESSO DI INTEGRAZIONE DI MOMIS!  Interrogazione di uno Schema Globale generato con MOMIS

Materializzazione dello Schema Globale Creazione del modulo QUERY MANAGER EXPORT DATA; Tramite il modulo QUERYMANAGER si invocano le interfacce per la gestione della connessione ad un target database; Inserimento dei parametri “Wrapper – like” per la connessione JDBC al target database; Chiamata alla classe QueryManagerExportData per la gestione delle funzioni di materializzazione a partire dallo Schema Globale; Esecuzione di script SQL creati runtime per la creazione di tabelle e l’inserimento dei dati sulla base delle Classi Globali ricavate dallo schema e salvataggio sul target database

Test e analisi dei risultati Test effettuati su schemi di prova e sul database di produzione del SIAM della Provincia di Ancona (90 tabelle, 1711 attributi) Wrapper : importate con successo sorgenti relazionali site su server locali o remoti. Integrazione database lessicale Multilingua: annotazione eseguita in base alla scelta della AnnotationLanguage. Combinando le diverse tecniche di annotazione automatica si arriva ad avere il 62 % dei termini presenti annotati(1069 su 1711). Stemmer: Problemi con la gestione delle forme flesse della lingua italiana. Materializzazione dello Schema Globale: test eseguito con successo su una sorgente locale, fallito con più sorgenti. Diversi scenari di sviluppo

Conclusioni e sviluppi futuri Concludendo: Wrapper per sorgenti PostgreSQL sviluppato e testato con successo; Integrazione di un database lessicale multilingua sviluppata e testata con successo. Alcuni miglioramenti riguardo lo stemmer italiano Materializzazione dello Schema Globale non completato sebbene testato con successo su una sorgente; Sviluppi futuri Rifinitura delle funzioni e della logica di gestione di lingue differenti Completamento delle funzioni di materializzazione dello Schema Globale Prevedere l’integrazione di diversi schemi Prevedere dei controlli sulla creazione e sull’aggiornamento temporale dei dati

Grazie per l’attenzione