La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

Apprendimento Automatico: Apprendimento Non Supervisionato Roberto Navigli 1 Apprendimento Automatico: Elaborazione del Linguaggio Naturale.

Presentazioni simili


Presentazione sul tema: "Apprendimento Automatico: Apprendimento Non Supervisionato Roberto Navigli 1 Apprendimento Automatico: Elaborazione del Linguaggio Naturale."— Transcript della presentazione:

1 Apprendimento Automatico: Apprendimento Non Supervisionato Roberto Navigli 1 Apprendimento Automatico: Elaborazione del Linguaggio Naturale

2 Apprendimento Automatico: Apprendimento Non Supervisionato Roberto Navigli 2 Elaborazione del Linguaggio Naturale Un campo dellinformatica e unarea dellIntelligenza Artificiale che studia le interazioni tra i calcolatori e il linguaggio umano (linguaggio naturale) Alcune sottoaree: –Morfologia –Analisi grammaticale (part-of-speech tagging) –Sintassi (parsing) –Semantica (semantica lessicale, word sense disambiguation, ecc.) –Pragmatica (discorso, dialogo, ecc.) –Generazione del linguaggio –… Riferimenti bibliografici: –C. D. Manning, H. Schutze. Foundations of Statistical Natural Language Processing. MIT Press, – D. Jurafsky, J. H. Martin. Speech and Language Processing. Prentice Hall, 2000 (nuova edizione: 2009).

3 Apprendimento Automatico: Apprendimento Non Supervisionato Roberto Navigli 3 Parole e corpus Che cosa distingue luomo dagli animali? La parola! Il conteggio di parole è alla base di qualsiasi statistica relativa alle stesse e al contesto in cui appaiono Un corpus è una collezione di testi in formato elettronico e, tipicamente, preelaborati in qualche senso Un corpus può essere grezzo (non annotato) oppure annotato –Al ristorante, abbiamo preso un rombo con patate. –Disegniamo un rombo sul piano bidimensionale... –Il rombo è un quadrilatero a 4 lati uguali e paralleli a due a due. –Un rombo, un pesce piatto, libero nelloceano.

4 Apprendimento Automatico: Apprendimento Non Supervisionato Roberto Navigli 4 Parole e corpus Che cosa distingue luomo dagli animali? La parola! Il conteggio di parole è alla base di qualsiasi statistica relativa alle stesse e al contesto in cui appaiono Un corpus è una collezione di testi in formato elettronico e, tipicamente, preelaborati in qualche senso Un corpus può essere grezzo (non annotato) oppure annotato –Al ristorante, abbiamo preso un rombo con patate. –Disegniamo un rombo sul piano bidimensionale... –Il rombo è un quadrilatero a 4 lati uguali e paralleli a due a due. –Un rombo, un pesce piatto, libero nelloceano.

5 Apprendimento Automatico: Apprendimento Non Supervisionato Roberto Navigli 5 Parole e corpus Che cosa distingue luomo dagli animali? La parola! Il conteggio di parole è alla base di qualsiasi statistica relativa alle stesse e al contesto in cui appaiono Un corpus è una collezione di testi in formato elettronico e, tipicamente, preelaborati in qualche senso Un corpus può essere grezzo (non annotato) oppure annotato –Al/P ristorante/N, abbiamo/V preso/V un/A rombo/N con/P patate/N. –Disegniamo/V un/A rombo/N sul/P piano/N bidimensionale/J... –Il/A rombo/N è/V un/A quadrilatero/N a/P 4/J lati/N uguali/J e/C paralleli/J a/P due/N a/P due/N. –Un/A rombo/N, un/A pesce/N piatto/J, libero/J nell/P oceano/N.

6 Apprendimento Automatico: Apprendimento Non Supervisionato Roberto Navigli 6 La legge di Zipf La legge di Zipf afferma che, dato un corpus in linguaggio naturale, la frequenza di qualsiasi parola è inversamente proporzionale alla sua posizione (rank) nella tabella delle frequenze

7 Apprendimento Automatico: Apprendimento Non Supervisionato Roberto Navigli 7 Cooccorrenze e collocazioni Dato un corpus, è possibile studiare le correlazioni tra coppie di parole (cooccorrenze) Coppie di parole che cooccorrono più spesso che a caso sono dette collocazioni –Es. mangiare la polvere, lavare i vetri, sedersi a tavola E possibile identificare le cooccorrenze da un corpus utilizzando delle misure di rilevanza statistica

8 Apprendimento Automatico: Apprendimento Non Supervisionato Roberto Navigli 8 Preelaborazione di una frase

9 Apprendimento Automatico: Apprendimento Non Supervisionato Roberto Navigli 9 Part-of-speech tagging Lobiettivo è, data una parola, associare la categoria grammaticale più appropriate rispetto al contesto in cui essa appare –E di capitale/J importanza –Abbiamo speso un capitale/N. Tipicamente fa uso di informazioni di frequenza delle parole e dei tag precedenti (spesso, a memoria 2, ovvero w -1, w -2, tag -1, tag -2 ) Es. TreeTagger

10 Apprendimento Automatico: Apprendimento Non Supervisionato Roberto Navigli 10 Trasformazione in una Bag of Words (BoW) Dato un testo, si procede alla preelaborazione (non necessariamente tutti i passi) Le feature sono tipicamente le parole (es. was) o i lemmi (es. be) Ciascuna feature è valorizzata con il numero di occorrenze nel testo d o, laddove abbia senso, con la TF*IDF: dove w è il termine/feature in esame, d è il documento che si sta rappresentando e D è linsieme di documenti del dataset

11 Apprendimento Automatico: Apprendimento Non Supervisionato Roberto Navigli 11 Esempio (Sentiment Analysis) His love was penetrating –(love=1, penetrate=1, time=0, husband=0, drink=0, suffer=0) Every time her husband gets drunk, she suffers –(love=0, penetrate=0, time=1, husband=1, drink=1, suffer=1) Tuttavia, non vogliamo un semplice approccio BoW Utilizziamo feature per codificare laffettività, es.: –(love=1, penetrate=1, …, suffer=0, positive-emotion=1, negative-emotion=0, intensity=1) –(love=0, penetrate=0, …, suffer=1, positive-emotion=0, negative-emotion=2, intensity=0) Abbiamo bisogno di risorse che permettano di espandere il vettore (es. WordNet oppure WordNet Affect)

12 Apprendimento Automatico: Apprendimento Non Supervisionato Roberto Navigli 12 Esempio (Question Typing) Anche in questo caso ho bisogno di espandere il vettore in modo da generalizzare il più possibile Es. supponiamo che nel training set ci sia questa sola domanda riguardante le città: –What is Athens? WHAT_CITY Se nel test set ci viene chiesto: –What is the capital of Italy? Con un modello bag of words, le due domande in comune hanno solo la wh-question (What). Se invece espandiamo il vettore con gli iperonimi di WordNet: –(what=1, Athens=1, capital=1, city=1, …) –(what=1, Athens=0, capital=1, city=1, …, Italy=1, country=1)

13 Apprendimento Automatico: Apprendimento Non Supervisionato Roberto Navigli 13 Word Sense Induction: Context-group discrimination (Schutze, 1998) Obiettivo: apprendere le classi di significato di una parola obiettivo 1.I vettori (word vector) indicano le cooccorrenze (nella stessa frase) con la parola obiettivo allinterno di tutto il corpus –E necessario un passo di feature selection che riduca linsieme delle feature a quelle più significative

14 Apprendimento Automatico: Apprendimento Non Supervisionato Roberto Navigli 14 Word Sense Induction: Context-group discrimination (Schutze, 1998) Obiettivo: apprendere le classi di significato di una parola obiettivo 1.I vettori (word vector) indicano le cooccorrenze (nella stessa frase) con la parola obiettivo allinterno di tutto il corpus –E necessario un passo di feature selection che riduca linsieme delle feature a quelle più significative 2.I vettori di contesto (context vector) riguardano invece un singolo contesto di occorrenza della parola obiettivo –E il centroide dei vettori delle parole che appaiono nella frase –Rappresenta la summa dei significati delle singole parole nel contesto

15 Apprendimento Automatico: Apprendimento Non Supervisionato Roberto Navigli 15 Word Sense Induction: Context-group discrimination (Schutze, 1998) Obiettivo: apprendere le classi di significato di una parola obiettivo 1.I vettori (word vector) indicano le cooccorrenze (nella stessa frase) con la parola obiettivo allinterno di tutto il corpus –E necessario un passo di feature selection che riduca linsieme delle feature a quelle più significative 2.I vettori di contesto (context vector) riguardano invece un singolo contesto di occorrenza della parola obiettivo –E il centroide dei vettori delle parole che appaiono nella frase –Rappresenta la summa dei significati delle singole parole nel contesto I vettori di senso (sense vector) vengono creati raggruppando i vettori di contesto in cluster e calcolando il centroide del cluster


Scaricare ppt "Apprendimento Automatico: Apprendimento Non Supervisionato Roberto Navigli 1 Apprendimento Automatico: Elaborazione del Linguaggio Naturale."

Presentazioni simili


Annunci Google