La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

FMZ Elaborazione del linguaggio naturale Fabio Massimo Zanzotto.

Presentazioni simili


Presentazione sul tema: "FMZ Elaborazione del linguaggio naturale Fabio Massimo Zanzotto."— Transcript della presentazione:

1 FMZ Elaborazione del linguaggio naturale Fabio Massimo Zanzotto

2 FMZ Part seven Modular and Robust parsing

3 FMZ Our Aim Lines of development Grammatical Representation Power: CFG (context free grammars) DCG Feature Structures Tree Adjoining Grammars (TAG) Grammar Use: CYK Chart and Early Algorithm

4 FMZ Lesson learnt Lexicon (i.e. words) is a very important piece of the Language and of the language model Words carry meaning and govern the syntactic structure of sentences

5 FMZ Limits of the previous approaches When parsing or: –one interpretation is active at each processing step (for example, DCG in Prolog) –all interpretations are active (for example, CYK or Chart Parsing) Processing complexity depends on the number of active interpretation

6 FMZ Observation Question: is it possible to fix some ambiguity in early step of the analysis? lamangia... Art Prn

7 FMZ Decomposizione del processo Processori P i che si occupano di specifici fenomeni accoppiati con una possibile funzione di disambiguazione basata su informazioni locali P1P1 PnPn … P1P1 PnPn

8 FMZ Decomposizione del processo Ricerca di obbiettivi (o rappresentazioni) intermedi raggiungibili (e utili) –Criteri psicolinguistici –Requisiti computazionali –Esigenze applicative È possibile trovare soluzioni approssimate per problemi più semplici?

9 FMZ Decomposizione del processo L'industria giapponese dei robot, una delle poche a non risentire della grave crisi economica, ha sfornato una versione perfezionata del robot umanoide "Db", fatto nascere due anni fa in un laboratorio vicino a Kyoto.

10 FMZ Decomposizione del processo Esiste un livello di aggregazione nel testo che si pone tra parole e frasi. Gli aggregati non si sovrappongono (i.e. non sono ricorsivi)

11 FMZ Chunking: esempio di stratificazione di un albero L industria giapponese ha sfornato una versione perfezionata del robot umanoide "Db. ANAdjVVAN PANAdjN NPAdjP VP NPAdjPNP PPNP VP S

12 FMZ Chunking: esempio di stratificazione di un albero L industria giapponese ha sfornato una versione perfezionata del robot umanoide "Db. ANAdjVVAN PANAdjN NPAdjP VP NP AdjP NP PP NP VP S

13 FMZ Chunking: esempio di stratificazione di un albero L industria giapponese ha sfornato una versione perfezionata del robot umanoide "Db. ANAdjVVAN PANAdjN NPAdjP VP NPAdjPNP PPNP VP S

14 FMZ Chunking: esempio di stratificazione di un albero L industria giapponese ha sfornato una versione perfezionata del robot umanoide "Db. ANAdjVVAN PANAdjN NPAdjP VP NP PPNP

15 FMZ Decomposizione del processo Chunk: –livello intermedio di rappresentazione –giustificato psico-linguisticamente (Abney, 1991) Definizione (intuitiva) di chunk: Sequenza di parole fortemente connessa con un unico portatore di significato costante alle differenti interpretazioni

16 FMZ I medici operano un paziente al femore : aveva 105 anni. Decomposizione del processo LESSICALIZZAZIONE: Controllo dellambiguità –verbi controllano semantica delle proposizioni –quindi controllano le relazioni sintattiche

17 FMZ I medici operano un paziente al femore : aveva 105 anni. Decomposizione del processo Controllo dellambiguità –verbi controllano semantica delle proposizioni –quindi controllano le relazioni sintattiche SUBJ operare OBJ PP(a)

18 FMZ Definizione di chunk Bottom-up: Una sequenza di parole che rappresenta il nucleo non ricorsivo di sintagmi nominali, preposizionali, verbali ed aggettivali Top-down: Una sequenza di parole le cui relazioni non sono influenzate dal comportamento dei verbi

19 FMZ Chunk: osservazioni Chunk nuclei non ricorsivi* di sintagmi particolari Chunk sono riconoscibili con automi a stati finiti * non ricorsivi = ricorsivi destri che non rimandano a sintagmi superiori

20 FMZ Chunking: prototipi Prototipo: regola per catturare chunk esprimibile utilizzando informazione di POS tags tramite –espressioni regolari/trasduttori (Fastus, Alembic, Chanod&Ait) –marker iniziale e finale (ACL, 2001)

21 FMZ Chunking: prototipi Esempi di espressioni regolari: NPK: Art N | Art A N VPK: V | V V PPK: P Art N | P Art A N

22 FMZ Chunking: prototipi Esempi di marker iniziale e finale: NPK: MI: ArtMF: N VPK: MI: V MF: V PPK: MI: PMF: N

23 FMZ Chunking: considerazioni Identificazione e classificazione: –possibile nel livello sintattico –risolvibile con macchinari semplici (i.e. FSA) La grammatica (ovvero i prototipi) –indipendente dal dominio di applicazione Domanda: Qualora fosse la sola informazione estratta, sarebbe utile per una qualche applicazione?

24 FMZ Prerequisiti Chunking –Part-of-speech tagging Riconoscimento dei legami verbali: –Individuazione dei limiti delle proposizioni (clause boundary recognition)

25 FMZ Part-of-speech tagging Definizione del problema w 1 …w n t 1 …t n Strategies to use with questions you cannot answer NNSTOVBINNNSPRPMDVB

26 FMZ Part-of-speech tagging Origini (1989) sotto la spinta dellInformation Extraction alla Message Understanding Conference Approcci –approcci simbolici (regole trasformazionali, Brill 94) –approcci statistici (a seguire)

27 FMZ POS Tagging basato sulle trasformazioni (Brill, 94) Dato un primo tagging (dizionario con tag più frequenti), applicare regole di trasformazione fino a che lerrore non diminuisca sotto una soglia

28 FMZ Trasformazioni Regole di riscrittura t1 t2 se Esempio NN VB se il tag precedente è TO Strategies to use with questions you cannot answer NNSTONNINNNSPRPMDVB TONN VB Strategies to use with questions you cannot answer NNSTOVBINNNSPRPMDVB

29 FMZ Trasformazioni: Schemi dei triggering environments t i-3 t i-2 t i-1 t i+3 t i+1 t i+2 * * * * * * * * * titi

30 FMZ Trasformazioni: algoritmo di apprendimento Quali trasformazioni? Quale ordine di applicazione?

31 FMZ Trasformazioni: algoritmo di apprendimento C 0 := Corpus con tag più frequenti for k:=0 step 1 do v:= trasformazione n che minimizza E(n(C k )) if (E(C k ) - E(n(C k ))) < then break C k+1 :=v(C k ) t k+1 := v end OUTPUT: sequenza t 1, …, t k

32 FMZ POS Tagging basato sulle trasformazioni Tagging delle parole sconosciute basato sulla morfologia –Tutte le parole sconosciute vengono taggate con NN –Il tag viene cambiato seguendo alcune regole trasformazionali morfologiche Es: NN NNS la parola termina con -s

33 FMZ POS Tagging basato sulle trasformazioni Qualità dellattività di POS Tagging dipende: dallinsieme dei tag obbiettivo dalla possibilità di recuperare informazione disambiguante nei contesti di attivazione Es.: che in italiano (pronome/congiuzione) dal materiale di apprendimento

34 FMZ ( ) ( ) ( ) Clause boundary recognition L'industria giapponese dei robot, una delle poche a non risentire della grave crisi economica, ha sfornato una versione perfezionata del robot umanoide "Db", fatto nascere due anni fa in un laboratorio vicino a Kyoto. Definizione del problema

35 FMZ Clause boundary recognition Proposizioni sono utili per: –Conversione Text-to-speech –Allineamento di testi –Traduzione automatica Particolarità –Ricorsività non presente nei chunks

36 FMZ Clause boundary recognition Inf(S 2 ) Inf(S 1 ) [ Mr. Gaubert ] [contributed] [real estate] [valued] [ at $ 25 million] [to the assets] [of Independent American] contribute-NP-PP(to) value-NP-PP(at)

37 FMZ Clause boundary recognition Inf(S 2 ) Inf(S 1 ) [ Mr. Gaubert ] [contributed] [real estate] [valued] [ at $ 25 million] [to the assets] [of Independent American] contribute-NP-PP(to) value-NP-PP(at)

38 FMZ Clause boundary recognition Inf(S 2 ) Inf(S 1 ) [ Mr. Gaubert ] [contributed] [real estate] [valued] [ at $ 25 million] [to the assets] [of Independent American] contribute-NP-PP(to) value-NP-PP(at)

39 FMZ Clause boundary recognition Algoritmo: –Ipotesi iniziale di minima estensione delle proposizioni gerarchia derivata –Finché ci sono verbi da analizzare (da destra verso sinistra): Riconoscere il legami verbali Espandere lestensione minima della proposizione

40 FMZ Controllo del processo Passi analisi: –POS Tagging –Chunking –Clause Boundary Recognition –Verb Argument Detection

41 FMZ Controllo del processo Situazione problematica: necessità di definire i tipi di dati trattati P1P1 PnPn … … P1P1 PnPn

42 FMZ Controllo del processo Situazione problematica: necessità di definire i tipi di dati trattati P1P1 PnPn … Giudice

43 FMZ Formalismo di rappresentazione Requisiti: Rappresentazione di analisi parziali Rappresentazione di legami distanti Information hiding –rendere disponibile la sola informazione necessaria … –ma capace di esprimere tutti i vincoli correnti

44 FMZ Formalismo di rappresentazione Rappresentazione a costituenti –Context-free Grammar (Tree) –Well Formed Substring Table (WFST): chart –Tree-Adjoint Grammar (TAG) Rappresentazione a dipendenze –Link Grammar Rappresentazione miste –Extended Dependency Graph (XDG)

45 FMZ XDG: eXtended Dependency Graph an XDG is a graph: XDG=(constituents,dependencies) Nice property: allow to store persistent ambiguity (for interpretations projected by the same nodes) Each constituent has: –a potential governor –a grammatical head

46 FMZ Modular approach Syntactic parser SP(S,K)=I SP(S)=I Syntactic parsing module: P i (S i,K i )=S i+1 P i (S i )=S i+1 Modular syntactic parser SP = P n... P 2 P 1

47 FMZ Classification of parsing modules P i (XDG i,K i )=P i (XDG i )=XDG i+1 The classification is performed according to: –the type of information K used –how they manipulate the sentence representation

48 FMZ Decomposizione del processo Principi: Scegliere i fenomeni trattati in ogni livello Scegliere lalgoritmo migliore per ogni task Scegliere un opportuno formalismo di rappresentazione

49 FMZ Back to the beginning... conosenza simbolica conosenza simbolica incerta abilità linguistica apprendimento Tutti i marinai amano una ragazza x Marinaio (x).( y Ragazza(y) Ama (x, y)) y Ragazza(y).( x Marinaio (x) Ama (x, y)) ?

50 FMZ Interpreting Language Through Syntax Assunzione di Chomsky: i differenti significati hanno differenti strutture sintattiche profonde Esempio: Luigina ha chiesto in prestito la borsetta di pelle di nonna. Possibili Costruzioni Sintattiche in alberi:...(la borsetta di (pelle di nonna))...(la (borsetta di pelle) di nonna)

51 FMZ Where we worked Lines of development Grammatical Representation Power: CFG (context free grammars) DCG Feature Structures Tree Adjoining Grammars (TAG) Grammar Use: CYK Chart and Early Algorithm Modular Parsing and Cascades of Different Theories (XDG)

52 FMZ NLP Applications Information Extraction Q&A Ontological Q&A Textual Entailment


Scaricare ppt "FMZ Elaborazione del linguaggio naturale Fabio Massimo Zanzotto."

Presentazioni simili


Annunci Google