Text Processing Question Answering Basi di Dati Multimediali - Giugno 2005 Marco Ernandes:

Presentazione sul tema: "Text Processing Question Answering Basi di Dati Multimediali - Giugno 2005 Marco Ernandes:"— Transcript della presentazione:

1 Text Processing Question Answering Basi di Dati Multimediali - Giugno 2005 Marco Ernandes: ernandes@dii.unisi.it

2 2 Motivazioni Motivazioni Laccesso alle informazioni diventa sempre più complesso quando: Laccesso alle informazioni diventa sempre più complesso quando: Information Overload: la collezione di dati diventa sempre più grande, e la velocità con cui cresce è superiore al miglioramento della tecnologia di accesso. Information Overload: la collezione di dati diventa sempre più grande, e la velocità con cui cresce è superiore al miglioramento della tecnologia di accesso. Linformazione è spesso duplicata. Linformazione è spesso duplicata. Linformazione è spesso falsa o non esatta. Linformazione è spesso falsa o non esatta. Accesso tradizionale: Accesso tradizionale: Information Retrieval (IR) Information Retrieval (IR) Information Extraction (IE) Information Extraction (IE) Il Question Answering (QA) si pone come approccio alternativo. Il Question Answering (QA) si pone come approccio alternativo.

3 3 Motivazioni Motivazioni Gli utenti vogliono porre domande. Gli utenti vogliono porre domande. Gli utenti vogliono delle risposte concise, senza dover leggere liste di documenti. Gli utenti vogliono delle risposte concise, senza dover leggere liste di documenti. Circa il 15% delle query nei motori di ricerca è formulato come domanda. Circa il 15% delle query nei motori di ricerca è formulato come domanda. Grande interesse industriale & commerciale. Grande interesse industriale & commerciale. ES: How much money does Pirelli invest on research? ES: How much money does Pirelli invest on research? Google non trova un buon documento-risposta Google non trova un buon documento-risposta Neanche con: money Pirelli invest research Neanche con: money Pirelli invest research

4 4 QA vs. IR QA vs. IR LInformation Retrieval sostituisce il concetto di informazione con quello di documento. LInformation Retrieval sostituisce il concetto di informazione con quello di documento. Risponde con documenti completi Risponde con documenti completi Ordina i documenti per rilevanza Ordina i documenti per rilevanza Sfrutta metodi statistici considerando la frequenza delle parole nella query, nel documento e nella collezione. Sfrutta metodi statistici considerando la frequenza delle parole nella query, nel documento e nella collezione. Limiti: Limiti: Risponde alle domande in modo indiretto Risponde alle domande in modo indiretto Non cerca di interpretare il senso della query dellutente o dei documenti (NLP assente). Non cerca di interpretare il senso della query dellutente o dei documenti (NLP assente).

5 5 QA vs. IE QA vs. IE LInformation Extraction si prefigge lobiettivo di riempire dei Template predefiniti. LInformation Extraction si prefigge lobiettivo di riempire dei Template predefiniti. I topic di interesse sono conosciuti in anticipo, mentre il Question Answering è online. I topic di interesse sono conosciuti in anticipo, mentre il Question Answering è online. I template sono creati a mano da esperti. I template sono creati a mano da esperti. I Template non sono molto portabili da un dominio allaltro. I Template non sono molto portabili da un dominio allaltro. Il QA si prefigge di ridurre lintervento umano. Il QA si prefigge di ridurre lintervento umano.

6 6 Relazioni tra QA e IR/IE Relazioni tra QA e IR/IE QA deriva da IR in quanto: QA deriva da IR in quanto: Può essere visto come un Passage Retrieval portato al limite. Può essere visto come un Passage Retrieval portato al limite. E stato creato dalla comunità di Information Retrieval E stato creato dalla comunità di Information Retrieval Si appoggia su sistemi di IR per la gestione della base documentale. Si appoggia su sistemi di IR per la gestione della base documentale. QA deriva da IE in quanto: QA deriva da IE in quanto: Le domande possono essere viste come versioni semplificate, ma non pre-definite, di Template. Le domande possono essere viste come versioni semplificate, ma non pre-definite, di Template. Le risposte vengono normalmente estratte dal testo. Le risposte vengono normalmente estratte dal testo. Sia il QA che lIE si discostano dal full-text understanding: non cè comprensione, ma localizzazione e riorganizzazione dellinfo. Sia il QA che lIE si discostano dal full-text understanding: non cè comprensione, ma localizzazione e riorganizzazione dellinfo.

7 7 QA: gli obiettivi QA: gli obiettivi Rispondere direttamente alle domande dellutente, usando una frase compiuta in linguaggio naturale. Rispondere direttamente alle domande dellutente, usando una frase compiuta in linguaggio naturale. Rispondere in modo preciso e conciso, così da minimizzare il tempo impiegato per trovare la risposta. Rispondere in modo preciso e conciso, così da minimizzare il tempo impiegato per trovare la risposta. Rispondere motivando la risposta: fornendo il contesto nel quale si è identificata la risposta, oppure fornendo link ai documenti in cui è stata trovata. Rispondere motivando la risposta: fornendo il contesto nel quale si è identificata la risposta, oppure fornendo link ai documenti in cui è stata trovata. Rispondere fornendo un grado di confidenza: Rispondere fornendo un grado di confidenza: Chi è lattuale Cancelliere tedesco?: Gherard Schroeder al 70% Chi è lattuale Cancelliere tedesco?: Gherard Schroeder al 70%

8 8 Riassumendo: cosè il QA? Riassumendo: cosè il QA? Input: domande espresse in linguaggio naturale, non queries. Input: domande espresse in linguaggio naturale, non queries. Output: risposte in linguaggio naturale, non documenti. Output: risposte in linguaggio naturale, non documenti. Attenzione particolare su fact-based (factoids) questions: Attenzione particolare su fact-based (factoids) questions: Quanto è alto il Monte Everest? Quanto è alto il Monte Everest? Quando ha scoperto lAmerica Cristoforo Colombo? Quando ha scoperto lAmerica Cristoforo Colombo? Con chi era sposato il Conte di Cavour? Con chi era sposato il Conte di Cavour? Quante specie di ragni velenosi ci sono in Italia? Quante specie di ragni velenosi ci sono in Italia? Elenca 4 nazioni che producono diamanti sintetici. Elenca 4 nazioni che producono diamanti sintetici.

9 9 Lo stato dellarte Lo stato dellarte Alcuni sistemi di QA sono già prodotti commerciali. Alcuni sistemi di QA sono già prodotti commerciali. AskJeeves: http://www.askjeeves.com/ AskJeeves: http://www.askjeeves.com/ http://www.askjeeves.com/ Database di domande risposte a mano Database di domande risposte a mano Se una domanda è sconosciuta cerca nel Web Se una domanda è sconosciuta cerca nel Web Non fa vero Question Answering: prestazioni scarse Non fa vero Question Answering: prestazioni scarse AnswerBus: http://www.answerbus.com/ AnswerBus: http://www.answerbus.com/ http://www.answerbus.com/ Language Computer: http://www.languagecomputer.com Language Computer: http://www.languagecomputer.com http://www.languagecomputer.com AskMSR (Microsoft): AskMSR (Microsoft): Ha dato buoni risultati usando la semplice: inversione interrogativa affermativa (es: Dove si trova il Taj Mahal? Il Taj Mahal si trova …) Ha dato buoni risultati usando la semplice: inversione interrogativa affermativa (es: Dove si trova il Taj Mahal? Il Taj Mahal si trova …)

10 10 Lo stato dellarte Lo stato dellarte Esempi di buone risposte: Esempi di buone risposte: Who won Wimbledon in 1953? In 1953, Little Mo won all four Slams. Who won Wimbledon in 1953? In 1953, Little Mo won all four Slams. How many people live in Paris? The population of Paris is 2152423 people. How many people live in Paris? The population of Paris is 2152423 people. Esempi di cattive risposte: Esempi di cattive risposte: Where do lobsters like to live? On a Canadian airline Where do lobsters like to live? On a Canadian airline Where do hyenas live? In the back of pick-up trucks Where do hyenas live? In the back of pick-up trucks Where are zebras most likely found? In the dictionary Where are zebras most likely found? In the dictionary Why cant ostriches fly? Because of American economic sanctions Why cant ostriches fly? Because of American economic sanctions Whats the population of Maryland? Three Whats the population of Maryland? Three What is the height of a typical Giraffe? AskJeeves: Michael Jordan is a typical giraffe What is the height of a typical Giraffe? AskJeeves: Michael Jordan is a typical giraffe

11 11 Un po di storia del QA Un po di storia del QA Sistemi di dialogo e QA sono nati fin dagli anni 60! Sistemi di dialogo e QA sono nati fin dagli anni 60! Nel 1965 se ne contavano già una quindicina Nel 1965 se ne contavano già una quindicina BASEBALL (1961): primo sistema, front end NL per accesso a database BASEBALL (1961): primo sistema, front end NL per accesso a database SHRDLU (1972): dialog&action nel mondo dei blocchi SHRDLU (1972): dialog&action nel mondo dei blocchi BORIS(1972): story comprehension BORIS(1972): story comprehension LUNAR(1973): front end NL per accesso a informazione geologica per le missioni Apollo LUNAR(1973): front end NL per accesso a informazione geologica per le missioni Apollo JUPITER(MIT-2000): QA vocale telefonico sul meteo JUPITER(MIT-2000): QA vocale telefonico sul meteo Sistemi di QA open-domain sono recenti: Sistemi di QA open-domain sono recenti: MURAX (1993): risposte da enciclopedia MURAX (1993): risposte da enciclopedia

12 12 PersonPICK A BIG RED UP BLOCK. Computer OK. (does it) PersonGRASP THE PYRAMID. Computer I DON'T UNDERSTAND WHICH PYRAMID YOU MEAN. PersonFIND A BLOCK WHICH IS TALLER THAN THE ONE YOU ARE HOLDING AND PUT IT INTO THE BOX. Computer BY "IT", I ASSUME YOU MEAN THE BLOCK WHICH IS TALLER THAN THE ONE I AM HOLDING. Computer OK. (does it) PersonWHAT DOES THE BOX CONTAIN? Computer THE BLUE PYRAMID AND THE BLUE BLOCK. PersonWHAT IS THE PYRAMID SUPPORTED BY? Computer THE BOX. PersonHOW MANY BLOCKS ARE NOT IN THE BOX? ComputerFOUR OF THEM. Person IS AT LEAST ONE OF THEM NARROWER THAN THE ONE WHICH I TOLD YOU TO PICK UP? Computer YES, THE RED CUBE. Person IS IT SUPPORTED? Computer YES, BY THE TABLE. Person CAN THE TABLE PICK UP BLOCKS? Computer NO Storia del QA: SHRDLU (es.) Storia del QA: SHRDLU (es.)

13 13 TREC: la competizione TREC: la competizione Text REtrieval Conference Text REtrieval Conference Serie di workshops sullInformation Retrieval Serie di workshops sullInformation Retrieval Iniziato nel 1992, sponsor NIST (National Institute of Standard and Technology), DARPA Iniziato nel 1992, sponsor NIST (National Institute of Standard and Technology), DARPA Il QA è uno dei 6 track (ora 7) della conferenza, iniziato con il TREC-8 (1999), 20 partecipanti Il QA è uno dei 6 track (ora 7) della conferenza, iniziato con il TREC-8 (1999), 20 partecipanti Il TREC fornisce una collezione di articoli come base testuale (> 1milione nel 2002, 3Gb) e poi i team competono sulle stesse domande. Il TREC fornisce una collezione di articoli come base testuale (> 1milione nel 2002, 3Gb) e poi i team competono sulle stesse domande. Newswire delle agenzie di stampa e articoli giornalistici Newswire delle agenzie di stampa e articoli giornalistici I team inseriscono proprie basi di conoscenza addizionali I team inseriscono proprie basi di conoscenza addizionali

14 14 TREC: le domande TREC: le domande Domande Open-Domain, negli anni difficoltà cresciuta Domande Open-Domain, negli anni difficoltà cresciuta Estratte dai log-files di motori di ricerca (MSNSearch, Excite), motori QA (AskJeeves), enciclopedie (Encarta). Estratte dai log-files di motori di ricerca (MSNSearch, Excite), motori QA (AskJeeves), enciclopedie (Encarta). Factoid questions: Who, When, Where, Why, … Factoid questions: Who, When, Where, Why, … Who invented the telephone? Who invented the telephone? In what year was the telephone invented? In what year was the telephone invented? Why did President Clinton risk impeachement? Why did President Clinton risk impeachement? List Questions: List Questions: Name 4 people from Massachussets who were candidates for vice-president. Name 4 people from Massachussets who were candidates for vice-president. Definition Questions (What is): Definition Questions (What is): What is epilepsy? What is epilepsy?

15 15 TREC: valutazione TREC: valutazione Prime 3 edizioni, da TREC-8 (99) a TREC-10 (01): Prime 3 edizioni, da TREC-8 (99) a TREC-10 (01): 2 tipologie di risposte: 50-byte e 250-byte passage 2 tipologie di risposte: 50-byte e 250-byte passage La risposta doveva essere trovata allinterno del passage da due arbitri umani (valutazione molto soggettiva) La risposta doveva essere trovata allinterno del passage da due arbitri umani (valutazione molto soggettiva) 200, 689 e 500 domande: per ogni domanda potevano essere date 5 risposte, ordinate. 200, 689 e 500 domande: per ogni domanda potevano essere date 5 risposte, ordinate. Punteggio: Mean Reciprocal Rank (MRR) Punteggio: Mean Reciprocal Rank (MRR) MRR = 1/pos(correct_answer).MRR = 1/pos(correct_answer).

16 16 TREC: valutazione TREC: valutazione Dal TREC-11 (02): Dal TREC-11 (02): Il sistema deve fornire solo 1 risposta Il sistema deve fornire solo 1 risposta La risposta deve essere corredata di uno score di confidenza La risposta deve essere corredata di uno score di confidenza Loutput deve essere NO_ANSWER se la collezione usata non contiene la risposta. Loutput deve essere NO_ANSWER se la collezione usata non contiene la risposta. La risposta di lunghezza variabile, ma contenente solo linformazione corretta e formulata in modo sintatticamente coerente (la correttezza di una risposta rimane comunque unopinione degli arbitri). Nel 2003 è stato introdotto il Passage Task. La risposta di lunghezza variabile, ma contenente solo linformazione corretta e formulata in modo sintatticamente coerente (la correttezza di una risposta rimane comunque unopinione degli arbitri). Nel 2003 è stato introdotto il Passage Task. ES: What is the longest river in the USA? ES: What is the longest river in the USA? E errata: 2.348 miles long, the Mississipi River is the longest river in the US. E errata: 2.348 miles long, the Mississipi River is the longest river in the US.

17 17 TREC 2003: risultati TREC 2003: risultati FACTOID QUESTIONS LIST QUESTIONS DEFINITIONS

18 18 QA: architettura generale Tutti i sistemi che partecipano al TREC possiedono almeno 4 moduli fondamentali: Tutti i sistemi che partecipano al TREC possiedono almeno 4 moduli fondamentali: 1)Question Analysis: cerca di capire la natura della domanda 2)Document Retrieval: cerca di ottenere dei documenti rilevanti (quindi cè anche bisogno di una repository di documenti) 3)Document Processing: analizza il contenuto dei documenti 4)Answer Extraction: cerca di ottenere la risposta a partire dai documenti selezionati

19 19 QA: architettura generale 2 Question Analysis Question Analysis Document Processing Document Processing Answer Extraction Answer Extraction Document Retrieval Document Retrieval Keywords Passages Question Semantics Catturare la semantica di una domanda. Formulare la miglior query possibile. Estrarre e fare il ranking delle porzioni dei documenti più promettenti. Estrarre e fare il ranking delle risposte candidate QA

20 20 QA: architettura generale 3 Question Parsing Question Classification Query Formulation Info-Retrieval Answer Extraction Answer Selection Generazione albero sintattico: ai nodi si trovano i termini e il loro valore grammaticale (aggettivo, sost,…). Stabilire il tipo di domanda: nominale (where), numerica (how many, how tall…), temporale (when), … Trasforma la domanda in una o varie keyword- query da inviare al sistema di IR. Estrae le risposte candidate dai documenti e dalle strutture prodotte dal modulo di IE. Sceglie le risposte migliori da dare in uscita al sistema e ne fa il ranking (eventualmente confidenza). Document processing Answer Construction Modulo di IE: seleziona le porzioni utili dei docs (passaggi), estrae i NE e ne definisce le relazioni. Answer Type

21 21 QA: question analysis Question semantic representation Q Question parsing Question parsing Costruzione di una nuova question representation Costruzione di una nuova question representation Question Classification: Riconoscimento Answer Type Question Classification: Riconoscimento Answer Type Query Reformulation & Expansion: Keyword selection AT category Keywords E una fase di grande importanza: determina il successo o meno del sistema! E la causa della maggior parte di errori irreversibili. E una fase di grande importanza: determina il successo o meno del sistema! E la causa della maggior parte di errori irreversibili.

22 22 QA: question analysis QA: question analysis Question Classification - 2 approcci: Question Classification - 2 approcci: Knowledge engineering: AT detection determinata da regole e da database lessicali Knowledge engineering: AT detection determinata da regole e da database lessicali Machine Trainable: apprendimento da esempi (es: SVM sul parse tree della domanda). Machine Trainable: apprendimento da esempi (es: SVM sul parse tree della domanda).

23 23 QA: AT detection Question Question stem Answer type What was the name of Titanics captain? WhatPerson What U.S. Government agency registers trademarks? WhatOrganization What is the capital of Kosovo? WhatCity How much does one ton of cement cost? How much Quantity Per identificare la categoria semantica di una domanda si cercano le Question Stems Altre question stems: Who, Which, Name, How hot... Altre question stems: Who, Which, Name, How hot... Altri answer type: Country, Number, Product... Altri answer type: Country, Number, Product...

24 24 QA: AT detection Capire lanswer type a partire dalle Question Stems può essere immediato: Why REASON Why REASON When DATE When DATE Who PERSON Who PERSON Alle volte la question stem invece è ambigua: Alle volte la question stem invece è ambigua: Per esempio: Per esempio: What was the name of Titanics captain ? (PERSON)What was the name of Titanics captain ? (PERSON) What U.S. Government agency registers trademarks? (ORG)What U.S. Government agency registers trademarks? (ORG) What is the capital of Kosovo? (CITY)What is the capital of Kosovo? (CITY) Soluzione: seleziona un altra parola della domanda (AT words) che aiuta a disambiguare lanswer type Soluzione: seleziona un altra parola della domanda (AT words) che aiuta a disambiguare lanswer type Per esempio: Per esempio: captain, agency, capitalcaptain, agency, capital

25 25 QA: AT detection Per collegare un termine della domanda ad un answer type si definisce una tassonomia di answer type. Per collegare un termine della domanda ad un answer type si definisce una tassonomia di answer type. Quando il termine non si trova nella tassonomia AT si usa una tassonomia di concetti (generale): WordNet. Quando il termine non si trova nella tassonomia AT si usa una tassonomia di concetti (generale): WordNet. migliaia di concetti per linglese migliaia di concetti per linglese Cè anche per lItaliano. Cè anche per lItaliano. Realizzato a mano! Realizzato a mano!

26 26 QA: AT taxonomy La tassonomia di AT di WebClopedia La tassonomia di AT di WebClopedia

27 27 QA: AT detection Algoritmo di Answer Type Detection: Algoritmo di Answer Type Detection: Rimuovi dalla domanda le parole content-free (es:name) Rimuovi dalla domanda le parole content-free (es:name) Delle rimanenti seleziona la parola più riccamente connessa nella question representation (derivante dallalbero sintattico) Delle rimanenti seleziona la parola più riccamente connessa nella question representation (derivante dallalbero sintattico) A partire da questa parola risali la tassonomia (WordNet) fino a che non trovi unAnswer Type A partire da questa parola risali la tassonomia (WordNet) fino a che non trovi unAnswer Type ES: What is the name of the French oceanographer who owned Calypso?NAMEFRENCH OCEANOGR. OWNED CALIPSO researcher oceanographer chemist scientist, man of sciencePERSON

28 28 QA: AT detection Valutazione Tassonomia AT: Valutazione Tassonomia AT: Test fatto variando in modo automatico la copertura (in numero di concetti usati) WordNet della tassonomia AT. Test fatto variando in modo automatico la copertura (in numero di concetti usati) WordNet della tassonomia AT. 800 domande usate 800 domande usate E utile possedere una vasta gerarchia di AT, ma oltre un certo limite (300/500 concetti) il contributo è minimo. E utile possedere una vasta gerarchia di AT, ma oltre un certo limite (300/500 concetti) il contributo è minimo. Copertura della gerarchia Precision 50-byte answer 0%0.296 3%0.404 10%0.437 25%0.451 50%0.461

29 29 QA: Query Formulation 1 Le domande devono essere approssimate con una bag of word di parole con un lessico rilevante Le domande devono essere approssimate con una bag of word di parole con un lessico rilevante Tipico algoritmo di scelta del lessico: Tipico algoritmo di scelta del lessico: 1.Seleziona le non-stopwords tra apici (nella dom.): Promessi Sposi 2.Seleziona i Named-Entities: Alessandro Manzoni, Peugeot 3.Seleziona i nomi più insoliti 4.Seleziona i modifiers (aggettivi) dei nomi insoliti 5.Seleziona tutti gli altri nomi (con modifiers) 6.Seleziona tutti i verbi 7.Seleziona la AT word (evitata negli step precedenti) ES: ES: What researcher discovered the vaccine against Hepatitis-B? Hepatitis-B, vaccine, discover, researcher What is the name of the French oceanographer who owned Calypso? Calypso, French, own, oceanographer What U.S. government agency registers trademarks? U.S., government, trademarks, register, agency What is the capital of Kosovo? Kosovo, capital

30 30 QA: Query Formulation 2 Se il numero di keyword non supera il limite (es: 10 per Google) QUERY EXPANSION Se il numero di keyword non supera il limite (es: 10 per Google) QUERY EXPANSION La query può essere espansa in due modi: La query può essere espansa in due modi: Inserendo derivazioni (forme flesse di un certo lemma) Inserendo derivazioni (forme flesse di un certo lemma) Inserendo sinonimi Inserendo sinonimi La query viene quindi gestita con catene AND OR: La query viene quindi gestita con catene AND OR: ES: What researcher discovered the vaccine against Hepatitis-B? (Hepatitis-B OR Hepatitis) AND (vaccine OR vaccines OR cure OR cures) AND (discover OR discovered OR discovers) AND (researcher OR scientist)

31 31 QA: Query Formulation 3 Si può rispondere con successo ad una porzione di domande in un modo estremamente semplice: Si può rispondere con successo ad una porzione di domande in un modo estremamente semplice: Riformulare la domanda in modo affermativo (lavorando sullalbero sintattico). Riformulare la domanda in modo affermativo (lavorando sullalbero sintattico). Mettere laffermazione ottenuta tra apici Mettere laffermazione ottenuta tra apici Considerare come potenziali risposte tutto ciò che nei documenti si trova a destra (o in certi casi a sinistra) dellaffermazione. Approccio di AskMSR Considerare come potenziali risposte tutto ciò che nei documenti si trova a destra (o in certi casi a sinistra) dellaffermazione. Approccio di AskMSR ES: Where is the Louvre Museum located? ES: Where is the Louvre Museum located? The Louvre Museum is located The Louvre Museum is located The Louvre Museum is located in Paris Cedex n° 01 … and the Louvre Museum is located next to the river

32 32 QA: Query Formulation 4 Il modulo di query formulation può dialogare con quello di Information Retrieval: Keyword Adjustment Il modulo di query formulation può dialogare con quello di Information Retrieval: Keyword Adjustment 1.Nella prima iterazione usa un numero intermedio di keywords (6 keyword è una regola del pollice efficace) 2.Se il numero di hit (documenti ottenuti) è sotto una certa soglia allora la query è troppo selettiva: riduci la query di una keyword (lultima) 3.Se il numero di hit è sopra una certa soglia allora inserisci una keyword per rendere la query più selettiva. 4.Se con tutte le keywords la query rimane poco selettiva: combina le keywords usando gli apici

33 33 QA: IR and Document Processing Lapproccio tipicamente usato è quello del Passage Retrieval: si cerca di estrarre le porzioni di documenti che con alta probabilità contengano la risposta. Lapproccio tipicamente usato è quello del Passage Retrieval: si cerca di estrarre le porzioni di documenti che con alta probabilità contengano la risposta. 1.Un sistema di IR ritorna la lista di docs associati alla query. 2.Un sistema di PR seleziona le porzioni interessanti. 3.Si fa lo scoring dei passaggi ottenuti I sistemi di Web-Based QA usano generalmente le snippets di Google per risolvere i punti 1 e 2. I sistemi di Web-Based QA usano generalmente le snippets di Google per risolvere i punti 1 e 2.

34 34 QA: Passage Ranking Da un passaggio (o snippet) vengono estratte delle finestre usando le keywords della query Da un passaggio (o snippet) vengono estratte delle finestre usando le keywords della query Per esempio, con le keywords: {k 1, k 2, k 3, k 4 }, otteniamo un passage in cui k 1 e k 2 sono presenti 2 volte, k 3 una volta, e k 4 è assente. Si definiscono le finestre della figura sotto. Per esempio, con le keywords: {k 1, k 2, k 3, k 4 }, otteniamo un passage in cui k 1 e k 2 sono presenti 2 volte, k 3 una volta, e k 4 è assente. Si definiscono le finestre della figura sotto. Lo scoring definitivo lo si calcola Lo scoring definitivo lo si calcola sulla base di alcune metriche: Same Word Sequence Score: Same Word Sequence Score: # di parole della domanda ritrovate nello stesso ordine allinterno della finestra Missing Keyword Score: Missing Keyword Score: # di keyword mancanti allinterno della finestra Distance Score: # di parole Distance Score: # di parole intercorrenti tra le keyword più distanti nella finestra k 1 k 2 k 3 k 2 k 1 Window 1Window 2 k 1 k 2 k 3 k 2 k 1 Window 4 k 1 k 2 k 3 k 2 k 1 Window 3 k 1 k 2 k 3 k 2 k 1

35 35 QA: Answer Extraction 1 Si tratta di un modulo che riceve in input: Si tratta di un modulo che riceve in input: delle porzioni rilevanti dei documenti delle porzioni rilevanti dei documenti un answer type da ricercare in questi estratti un answer type da ricercare in questi estratti Step necessari: Step necessari: Analisi IE del passage in modo da ottenere tutte le Named Entities (la maggior parte delle domande sono relative a NE). Analisi IE del passage in modo da ottenere tutte le Named Entities (la maggior parte delle domande sono relative a NE). Selezione delle NE della categoria corretta: Candidate Answers Selezione delle NE della categoria corretta: Candidate Answers Ranking delle risposte candidate. Ranking delle risposte candidate. Lo score delle risposte candidate può essere ottenuto: Lo score delle risposte candidate può essere ottenuto: Grazie ad un sistema addestrato Grazie ad un sistema addestrato Con delle euristiche legate alla Candidate-Query Distance Con delle euristiche legate alla Candidate-Query Distance

36 36 QA: Answer Extraction 2 Name the first private citizen to fly in space. Answer type: Person Text passage: Among them was Christa McAuliffe, the first private citizen to fly in space. Karen Allen, best known for her starring role in Raiders of the Lost Ark, plays McAuliffe. Brian Kerwin is featured as shuttle pilot Mike Smith... Miglior risposta candidata: Christa McAuliffe Conferma intuitiva: è infatti la NE person più vicina ai i question-terms della domanda (lunica contenuta nella stessa frase dove si trovano tutti i question terms).

37 37 QA: Answer Extraction 3 Approccio Machine-Learning. Si estraggono delle feature particolari relative al passage e alla parola candidata, ad esempio: # question terms nel passage # question terms nel passage # question terms nella stessa frase della candidata # question terms nella stessa frase della candidata # question terms, fuori dalla frase, ma vicine (es: 3 parole) # question terms, fuori dalla frase, ma vicine (es: 3 parole) # question terms che si trovano nellordine della domanda # question terms che si trovano nellordine della domanda distanza media tra la candidata e le question terms distanza media tra la candidata e le question terms Si usa una tecnica di machine-learning (un Percettrone funziona già bene) per associare un peso a ciascuna di quelle features e attribuire uno score ad ogni candidata. Si addestra il sistema su un set di answer passage con le risposte corrette poste come output desiderato 1 e le altre 0 (oppure -1).

38 38 QA: Answer Extraction 4 Pattern Learning (WebClopedia 02) Webclopedia: 6 Question Types Webclopedia: 6 Question Types BIRTHDATE, LOCATION, INVENTOR BIRTHDATE, LOCATION, INVENTOR DISCOVERER, DEFINITION, WHY-FAMOUS DISCOVERER, DEFINITION, WHY-FAMOUS WebClopedia costruisce automaticamente dei pattern osservando le frequenze dei contesti delle risposte. WebClopedia costruisce automaticamente dei pattern osservando le frequenze dei contesti delle risposte. ES: BIRTHDATE table: ES: BIRTHDATE table: 1.0 ( - )1.0 ( - ) 0.85 was born on,0.85 was born on, 0.6 was born in 0.6 was born in 0.59 was born 0.59 was born 0.53 was born0.53 was born 0.50- ( 0.50- ( 0.36 ( -0.36 ( -

39 39 QA: Answer Extraction 5 Approccio Candidate-Query Distance : Funziona bene la mean square distance Dove: è il minimo numero di parole che separa w k da w Q t Among them was Christa McAuliffe, the first private citizen to fly in space 3 4 5 7

40 40 QA: Answer Construction Enumera tutte le candidate per N-grams (N=1,2,3) Enumera tutte le candidate per N-grams (N=1,2,3) Associa un peso a ciascun N-gram = # occ.* score Associa un peso a ciascun N-gram = # occ.* score Example: Who created the character of Scrooge? Example: Who created the character of Scrooge? Dickens: 117, Charles Dickens: 75, Disney: 72, Dickens: 117, Charles Dickens: 75, Disney: 72, Carl Banks: 54, Uncle: 31, Mr Charles: 10 Carl Banks: 54, Uncle: 31, Mr Charles: 10 Rimuovi gli overlap Rimuovi gli overlap Dickens Charles Dickens Mr Charles Scores 75 117 10 merging, rimuovi n-grams vecchi Mr Charles Dickens Score 202 N-Grams combina il miglior n-gram N-Grams ripeti finchè ci sono overlap