La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

1 Università degli Studi di Modena e Reggio Emilia Facoltà di Ingegneria di Modena Corso di Laurea in Ingegneria Informatica Relatore: Chiar.mo Prof. Sonia.

Presentazioni simili


Presentazione sul tema: "1 Università degli Studi di Modena e Reggio Emilia Facoltà di Ingegneria di Modena Corso di Laurea in Ingegneria Informatica Relatore: Chiar.mo Prof. Sonia."— Transcript della presentazione:

1 1 Università degli Studi di Modena e Reggio Emilia Facoltà di Ingegneria di Modena Corso di Laurea in Ingegneria Informatica Relatore: Chiar.mo Prof. Sonia Bergamaschi Correlatore: Dott. Ing. Serena SorrentinoCandidato: Elena Parmiggiani Anno Accademico 2007/2008 ANNOTAZIONE LESSICALE AUTOMATICA DI SCHEMI IN SISTEMI DI INTEGRAZIONE DEI DATI: ANALISI E SVILUPPO DI TECNICHE PER NOMI COMPOSTI

2 2 Outline Introduzione Introduzione I termini composti I termini composti Stato dellarte: Stato dellarte: metodi basati su corporametodi basati su corpora metodi basati sulla semanticametodi basati sulla semantica Lalgoritmo realizzato Lalgoritmo realizzato Lanalisi dei risultati Lanalisi dei risultati Conclusioni e sviluppi futuri Conclusioni e sviluppi futuri

3 3 Introduzione (1/2) A causa del rapido sviluppo del web, si è via via reso sempre più necessario interrogare sorgenti dati estremamente eterogenee importanza di integrare tali risorse MOMIS (www.dbgroup.unimo.it) (Mediator EnvirOment for Multiple Information Sources) Sistema di Integrazione Intelligente delle Informazioni che estrae in modo semi-automatico i dati provenienti da documenti strutturati e semi-strutturati e ne realizza una fusione intelligente

4 4 Introduzione (2/2) All'interno di MOMIS, il meccanismo di annotazione semantica associa a ciascun termine della sorgente uno o più significati, rispetto allontologia lessicale WordNet PROBLEMA Questo meccanismo non permette di annotare i TERMINI COMPOSTI eventualmente presenti nella sorgente, se non presenti allinterno del database lessicale SCOPO RISOLUZIONE DEI TERMINI COMPOSTI

5 5 I termini composti Termini composti = sequenze di due o più parole, separate da spazio bianco, che abbiano uno o più significati se considerate insieme Esempio: dato il termine composto UniversityMember: 1) Fase di RISOLUZIONE 2) Fase di RICERCA DELLE RELAZIONI University member IS A member (PART) OF university Modifier term (termine modificante) Head term (termine principale) universitymember

6 6 Stato dellarte (1/2) Dagli anni sono stati proposti numerosi algoritmi per risolvere e disambiguare termini composti possono essere distinti in base al tipo di informazioni utilizzate 1) METODI STATISTICI BASATI SU GRANDI CORPORA (raccolte di documenti o articoli): Calcolano la probabilità di trovare un composto in un determinato corpus. Dipendono da: Contesto nel quale il composto si trova; Composti precedentemente analizzati e risolti PROBLEMI: dipendenza dal dominio di applicazione + necessità di raccogliere molte informazioni

7 7 Stato dellarte (2/2) 2) METODI BASATI SULLA SEMANTICA: Utilizzano soltanto: Contenuto lessicale; Informazione semantica. Cercano la MUTUA POSIZIONE dei membri del composto allinterno di una ricca ONTOLOGIA LESSICALE come WordNet; Da questa deducono la relazione che intercorre tra i due membri; Li classificano al fine di poter interpretare rapidamente anche tutti i termini composti simili. Ad esempio: - lalgoritmo di Vanderwende - le 20 relazioni di Barker e Szpakowicz - lutilizzo della gerarchia medica MeSH - lalgoritmo di Fan, Barker e Porter

8 8 Lalgoritmo realizzato (1/2) Dalle ricerche passate è possibile elaborare un algoritmo in Java per la RISOLUZIONE dei termini composti che: richieda il minimo delle risorse possibili; sia il più possibile portabile; sia indipendente dal contesto di utilizzo. STRUMENTI UTILIZZATI: WordNet; librerie Java per interfacciarsi con WordNet librerie Java per il parsing di sorgenti XML; DB MySQL per lanalisi dei risultati. JavaWordNetLibrary (JWNL) (sviluppata presso la Princeton University come WordNet)

9 9 Lalgoritmo realizzato (2/2) STRUTTURA DELLALGORITMO: 1) ESTRAZIONE DEI PATTERN CHE POSSONO COSTITUIRE TERMINI COMPOSTI 2) FASE DI PULITURA DEL COMPOSTO: rimozione di eventuali - trattini (university_member) - underscore (university_member) - camel case (UniversityMember) Termine composto da risolvere (university member) 3) DISTINZIONE DI TERMINE PRINCIPALE E TERMINE/I MODIFICANTE/I A) Se il valore di un termine composto contiene il nome della classe cui appartiene, allora quello è il termine modificante; B) Membri considerati 2 a 2 se NOME + AGGETTIVO nome = termine principale, aggettivo = termine modificante; C) Se sono TUTTI NOMI il termine principale è più a destra (valido solo per linglese); 4) ALBERO DI IPERNIMI ricerca del MINIMO TERMINE GENITORE IN COMUNE ai due membri nella gerarchia di WordNet seguendo le sole relazioni di tipo IS A

10 10 I risultati (1/4) expiration date, family description distinzione di termine principale e midificatore (soluzione di default) + albero di ipernimia; family name distinzione di termine principale e modificatore da altre informazioni. Non necessita di albero di ipernimia; first name già presente in WordNet, reperimento della glossa; is available is non è né nome né aggettivo e il composto non può essere disambiguato (tutti i campi della tupla settati a NULL).

11 11 I risultati (2/4) Calcolo di precision e recall per ognuna delle 6 sorgenti XML analizzate:

12 12 I risultati (3/4) Analisi dettagliata delle risposte non date e delle risposte errate:

13 13 I risultati (4/4) I risultati ottenuti, per quanto richiesto dallalgoritmo, sono pienamente soddisfacenti. 77% in media di risposte date dal sistema, di cui il 93% circa corrette; del restante 23%: - il 59% conteneva almeno un membro non in WordNet, per esempio a causa di: abbreviazioni non riconosciute da WordNet (es: enum parameter); sigle come fk, pk (indicazione di foreign o primary key), xrd, etc…; articoli o altre funzioni grammaticali non contenute in WordNet. - il 41% dovuto ad errori casuali, per esempio a causa di: problemi di sincronizzazione con il DB MySQL; problemi imprevedibili in fase di parsing di sorgenti XML di grandi dimensioni.

14 14 Conclusioni e sviluppi futuri (1/2) Il lavoro svolto per questa tesi ha consentito di realizzare un programma Java per la risoluzione dei termini composti all'interno di documenti strutturati e semi-strutturati. 1)valore della recall più basso rispetto alla precision; 2)mancato reperimento del più grande termine figlio in comune ai due membri del composto allinterno della gerarchia di WordNet che ne contenga linformazione. Gli eventuali errori in fase di risoluzione o le mancate risposte da parte del sistema sono in larga parte dovute a mancanze di WordNet. Il database lessicale, purtroppo, presenta alcuni difetti, le cui conseguenze sono:

15 15 Conclusioni e sviluppi futuri (2/2) I punti sui quali sarebbe interessante focalizzarsi al fine di realizzare un metodo sempre migliore per la risoluzione e la disambiguazione di termini composti: A) ricerca e utilizzo di RISORSE MIGLIORI E PIU APPROFONDITE del solo database lessicale WordNet, che NON fornisce relazioni altamente specifiche, ad esempio: tesauri, tassonomie di settore tecnico, etc…; B) possibilità di SINTETIZZARE IL SIGNIFICATO DEL COMPOSTO con un termine singolo, AD ESEMPIO più grande termine figlio in comune ai due membri, in modo da realizzare appieno la fase di DISAMBIGUAZIONE (ovvero l'assegnazione di un significato univoco) dei termini composti; C) IDENTIFICAZIONE E SUDDIVISIONE DEI MODIFICATORI per composti di più di due termini e riconoscimento delle mutue relazioni.

16 16 Grazie per lattenzione


Scaricare ppt "1 Università degli Studi di Modena e Reggio Emilia Facoltà di Ingegneria di Modena Corso di Laurea in Ingegneria Informatica Relatore: Chiar.mo Prof. Sonia."

Presentazioni simili


Annunci Google