La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

LATENT SEMANTIC INDEXING. Limiti della ricerca per parole chiave I metodi di ranking tradizionali calcolano lattinenza di un documento ad una query sulla.

Presentazioni simili


Presentazione sul tema: "LATENT SEMANTIC INDEXING. Limiti della ricerca per parole chiave I metodi di ranking tradizionali calcolano lattinenza di un documento ad una query sulla."— Transcript della presentazione:

1 LATENT SEMANTIC INDEXING

2 Limiti della ricerca per parole chiave I metodi di ranking tradizionali calcolano lattinenza di un documento ad una query sulla base della presenza o meno di parole contenute nella query: un termine o è presente o non lo è Nel LSI la ricerca avviene per concetti: ma un concetto non è lastrazione-generalizazzione di un termine (es: golf vestiario) bensì un insieme di termini correlati (golf, maglia, vestito) detti co-occorrenze o dominio semantico

3 Data una collezione di documenti, LSI è in grado di rilevare che alcune n-uple di termini co-occorrono frequentemente (es: gerarchia, ordinamento e classificazione) Se viene fatta una ricerca con gerarchia, ordinamento vengono automaticamente recuperati documenti che contengono anche (e eventualmente solo!) classificazione Dominio Semantico k

4 Golf Car Topgear Petrol GTI Golf Car Clarkson Petrol Badge Golf Petrol Topgear Polo Red Golf Tiger Woods Belfry Tee Selezione dei documenti basata sul termine Golf Golf Car Topgear Petrol GTI Golf Car Clarkson Petrol Badge Golf Petrol Topgear Polo Red Golf Tiger Woods Belfry Tee Car Petrol Topgear GTI Polo Base di documenti (20) Motor Bike Oil Petrol Tourer Bed lace legal Petrol button soft Petrol cat line yellow wind full sail harbour beach report Petrol Topgear June Speed Fish Pond gold Petrol Koi PC Dell RAM Petrol Floppy Core Petrol Apple Pip Tree Pea Pod Fresh Green French Lupin Petrol Seed May April Office Pen Desk Petrol VDU Friend Pal Help Petrol Can Paper Petrol Paste Pencil Roof Card Stamp Glue Happy Send Toil Petrol Work Time Cost con il modello keyword vengono estratti 4 documenti

5 Golf Car Topgear Petrol GTI Golf Car Clarkson Petrol Badge Golf Petrol Topgear Polo Red Golf Tiger Woods Belfry Tee Selezione basata su Golf Golf Car Topgear Petrol GTI Golf Car Clarkson Petrol Badge Golf Petrol Topgear Polo Red Golf Tiger Woods Belfry Tee Car Petrol Topgear GTI Polo Tutti i 20 documenti Motor Bike Oil Petrol Tourer Bed lace legal Petrol button soft Petrol cat line yellow wind full sail harbour beach report Petrol Topgear June Speed Fish Pond gold Petrol Koi PC Dell RAM Petrol Floppy Core Petrol Apple Pip Tree Pea Pod Fresh Green French Lupin Petrol Seed May April Office Pen Desk Petrol VDU Friend Pal Help Petrol Can Paper Petrol Paste Pencil Roof Card Stamp Glue Happy Send Toil Petrol Work Time Cost vediamo quali sono le parole più rilevanti associate a Golf di questi 4 documenti. Esse sono: Car, Topgear and Petrol rank dei doc selezionati Car 2 *(20/3) = 13 Topgear 2 *(20/3) = 13 Petrol 3 *(20/16) = 4 wf.idf

6 Golf Car Topgear Petrol GTI Golf Car Clarkson Petrol Badge Golf Petrol Topgear Polo Red Golf Tiger Woods Belfry Tee rank dei doc selezionati Selezione basata su Golf Car 2 *(20/3) = 13 Topgear 2 *(20/3) = 13 Petrol 3 *(20/16) = 4 Golf Car Topgear Petrol GTI Golf Car Clarkson Petrol Badge Golf Petrol Topgear Polo Red Golf Tiger Woods Belfry Tee Car Petrol Topgear GTI Polo Tutti i 20 documenti Motor Bike Oil Petrol Tourer Bed lace legal Petrol button soft Petrol cat line yellow wind full sail harbour beach report Petrol Topgear June Speed Fish Pond gold Petrol Koi PC Dell RAM Petrol Floppy Core Petrol Apple Pip Tree Pea Pod Fresh Green French Lupin Petrol Seed May April Office Pen Desk Petrol VDU Friend Pal Help Petrol Can Paper Petrol Paste Pencil Roof Card Stamp Glue Happy Send Toil Petrol Work Time Cost poiché le parole sono pesate anche rispetto al loro idf, risulta che : Car e Topgear sono associate a Golf più di Petrol

7 Golf Car Topgear Petrol GTI Golf Car Clarkson Petrol Badge Golf Petrol Topgear Polo Red Golf Tiger Woods Belfry Tee Car Petrol Topgear GTI Polo Tutti i 20 documenti Motor Bike Oil Petrol Tourer Bed lace legal Petrol button soft Petrol cat line yellow wind full sail harbour beach report Petrol Topgear June Speed Fish Pond gold Petrol Koi PC Dell RAM Petrol Floppy Core Petrol Apple Pip Tree Pea Pod Fresh Green French Lupin Petrol Seed May April Office Pen Desk Petrol VDU Friend Pal Help Petrol Can Paper Petrol Paste Pencil Roof Card Stamp Glue Happy Send Toil Petrol Work Time Cost Golf Car Topgear Petrol GTI Golf Car Clarkson Petrol Badge Golf Petrol Topgear Polo Red Golf Tiger Woods Belfry Tee rank dei doc selezionati Selezione basata su Golf selezione basata sul dominio semantico Car 2 *(20/3) = 13 Topgear 2 *(20/3) = 13 Petrol 3 *(20/16) = 4 Golf Car Topgear Petrol GTI Golf Car Clarkson Petrol Badge Golf Petrol Topgear Polo Red Golf Tiger Woods Belfry Tee Car Wheel Topgear GTI Polo Ora cerchiamo ancora nella base di documenti, usando questo insieme di parole che rappresentano il dominio semantico di Golf. La lista ora include un nuovo documento, non catturato sulla base della semplice ricerca per keywords.

8 Golf Car Topgear Petrol GTI Golf Car Clarkson Petrol Badge Golf Petrol Topgear Polo Red Golf Tiger Woods Belfry Tee rank dei doc selezionati Selezione basata su Golf selezione basata sul dominio semantico Car 2 *(20/3) = 13 Topgear 2 *(20/3) = 13 Petrol 3 *(20/16) = 4 Rank Golf Car Topgear Petrol GTI Golf Car Clarkson Petrol Badge Golf Petrol Topgear Polo Red Golf Tiger Woods Belfry Tee Car Petrol Topgear GTI Polo Tutti i 20 documenti Motor Bike Oil Petrol Tourer Bed lace legal Petrol button soft Petrol cat line yellow wind full sail harbour beach report Petrol Topgear June Speed Fish Pond gold Petrol Koi PC Dell RAM Petrol Floppy Core Petrol Apple Pip Tree Pea Pod Fresh Green French Lupin Petrol Seed May April Office Pen Desk Petrol VDU Friend Pal Help Petrol Can Paper Petrol Paste Pencil Roof Card Stamp Glue Happy Send Toil Petrol Work Time Cost Golf Car Topgear Petrol GTI Golf Car Clarkson Petrol Badge Golf Petrol Topgear Polo Red Golf Tiger Woods Belfry Tee Car Wheel Topgear GTI Polo Usando un ranking basato sulla co-occorrenza dei termini possiamo assegnare un miglior ranking ai documenti. Notate che: il documento più rilevante non contiene la parola Golf, e che uno dei documenti che la conteneva scompare (era infatti un senso spuriodi Golf).

9 Esempio 2

10 Matrice termini-documenti L

11 Co-occorrenze dei termini nei documenti A ij è il numero di co-occorrenze nei documenti fra il termine i ed il termine j

12 A trees,graph = ( ) T ( )=2

13 Esempio w1 w2 w3 d1 d2 d LL T = w11 w12 w13 w21 w22 w23 w31 w32 w33 Ma wij=wji quindi w11 w12 w13 w12 w22 w23 w13 w23 w33 Simmetrica!

14 Matrici delle co-occorrenze Se L è una matrice nxm (termini x documenti) Allora: –L T L è la matrice le cui righe ai rappresentano le co- occorrenze di termini fra di e dj, per ogni dj. Dato un documento, indica quali sono i documenti più simili. –LL T è la matrice le cui righe ai rappresentano le co- occorrenze nei documenti fra ti e tj per ogni tj. Dato un termine, indica quali sono i termini più correlati. –Usando, ad esempio, la matrice LL T potrei espandere ogni termine con quelli aventi il più alto valore di correlazione (cioè, aggiungere alla query in cui compare la parola w anche quelle che co-occorrono con w più frequentemente)

15 Osservazione Tutte le possibili co-occorrenze sarebbero assai di più dei termini singoli (detta L la matrice termini-documenti, dovrei calcolare A=LL T ). Tuttavia, sebbene la matrice A ha dimensionalità elevata la maggioranza delle celle hanno valore zero Con i metodi classici ogni documento o query è un vettore in uno spazio t-dimensionale LSI tenta di proiettare questo spazio in uno spazio di dimensione ridotta, in cui, anziché termini, le dimensioni rappresentano co-occorrenze o dominii semantici, ma solo quelli preponderanti Tuttavia LSI utilizza per questa riduzione di rango solo strumenti matematici (singular value decomposition, SVD).

16 LTLLTL c 13 c 23 c 12 c 123 d1 d2 d3 c 13 c 23 c 123 c 23 Similarità fra documenti come diagramma di Venn Similarità fra documenti come sim fra vettori nello spazio delle co-occorrenze Cosa significa proiettare in uno spazio di concetti

17 Singual value decomposition Come detto, LSI proietta la matrice L termini- documenti in uno spazio concettuale di dimensioni ridotte, dove le dimensioni sono gruppi di concetti che co-occorrono, definendo un dominio semantico Il metodo utilizzato per effettuare questa proiezione è la singular value decomposition, un metodo algebrico. Ci occorre un piccolo ripasso di algebra per capire questo metodo.

18 Ripasso di algebra Autovalori Autovettori Vettori e valori singolari

19 Autovalori & Autovettori Ha soluzioni non nulle se Se S mxm, questa è unequazione di grado m in λ che ha al più m soluzioni distinte (le radici del polinomio caratteristico) – possono essere complesse anche se S è reale. (right) eigenvector eigenvalue Esempio Eigenvectors o autovettori (di una matrice S) Quanti autovalori al massimo ha S?

20 Esempio: calcolo di Eigenvalues and Eigenvectors Def: Un vettore v R n, v 0, è un autovettore di una matrice n n A con corrispondente autovalore, se: Av = v

21 Esempio di calcolo Ricorda il determinante di una matrice M 2x2 2 e 4 sono i due eigenvalues di A Polinomio caratteristico

22 Approfondimenti ml

23 Significato geometrico di autovalori e autovettori La moltiplicazione di una matrice A mxn per un vettore v è una trasformazione lineare che trasferisce il vettore v dallo spazio R n a R m Gli autovettori sono quei vettori la cui direzione non cambia per effetto della trasformazione A

24 Moltiplicare per una matrice è una trasformazione lineare In questa trasformazione lineare della Gioconda, l'immagine è modificata ma l'asse centrale verticale rimane fisso. Il vettore blu ha cambiato direzione, mentre quello rosso no. Quindi il vettore rosso è un autovettore della trasformazione e quello blu no. Inoltre, poiché il vettore rosso non è stato né allungato, né compresso, né ribaltato, il suo autovalore è 1 (quindi lautovalore indica una costante di traslazione dei punti dellimmagine nella direzione blu). Tutti i vettori sull'asse verticale sono multipli scalari del vettore rosso, e sono tutti autovettori. Av= v

25 Trasformazioni lineari Se v è un vettore qualsiasi, A una matrice nxm (trasformazione lineare), v i gli autovettori di A e i gli autovalori, la trasformazione del vettore è completamente definita da autovalori e autovettori di A:

26 Riduzione della dimensionalità (o approssimazione di rango k di una matrice) Moltiplicare una matrice per un vettore ha due effetti sul vettore: rotazione (il vettore cambia coordinate) e scalatura (la lunghezza del vettore cambia). La massima compressione e rotazione dipendono dagli autovalori della matrice (vedi formula precedente)

27 Riduzione della dimensionalità (o approssimazione di rango k di una matrice) Nello schiacciamento e compressione il ruolo principale lo giocano i valori singolari più grandi della matrice (s1 e s2 in figura) Gli autovalori descrivono dunque quanto la matrice distorce (riduce e comprime) il vettore originario

28 Riduzione della dimensionalità (o approssimazione di rango k di una matrice) Qui invece supponiamo che, invece di ruotare un vettore, ruotiamo un insieme di vettori ortonormali. Se, ad es, di tre autovalori uno lo trascuriamo perché più piccolo, è come se rimuovessimo una dimensione (se invece eliminiamo due autovalori, lellissoide si schiaccia su una retta)

29 Cosa centra tutto ciò? Riassumiamo: –Se q è il vettore di una query e L è la matrice termini- documenti, il prodotto L T q fornisce una matrice delle similarità fra q e i documenti della collezione, secondo il modello vettoriale standard –Ma L T q è una trasformazione lineare, e, se i e vi sono autovalori e autovettori di L T =A, allora –Se posso trascurare alcuni autovalori, allora è come se proiettassi q in uno spazio a dimensioni ridotte: ma come? –Servono altre definizioni.. ( e ci resta da capire cosa centrano le matrici delle co-occorrenze L T L e LL T viste prima)

30 Valori e vettori singolari Data una matrice L nxm, la radice quadrata degli n autovalori di L T L si dicono valori singolari di L Gli n autovettori di L T L si dicono vettori singolari destri Gli m autovettori di LL T si dicono vettori singolari sinistri E finalmente…

31 Singular Value Decomposition!! Sia L una matrice nxm Data una matrice nxn, esistono 3 matrici U, e V T, tali che: L = U V T 1.U e V sono le matrici dei vettori singolari sinistro e destro di L (cioè gli autovettori o eigenvectors di LL T e L T L, rispettivamente) 2. Le colonne di U e le righe di V definiscono uno spazio ortonormale, cioè: U -1 =V T è la matrice diagonale dei valori singolari di L I valori singolari sono le radici degli autovalori di LL T o L T L (si dimostra che sono uguali). Poiché LL T è SIMMETRICA, i suoi autovalori = saranno reali decrescenti lungo.

32 Riduzione del rango in LSI Gli elementi diagonali in sono positivi e decrescenti in grandezza. Si prendono i primi k e gli altri vengono posti a zero. Si cancellano le righe e le colonne zero di e le corrispondenti righe e colonne di U e V. Si ottiene: L UV T Interpretazione Se il valore k è selezionato opportunamente, laspettativa è che la nuova matrice mantenga linformazione semantica di L, ma elimini il rumore derivante dalla sinonimia (perché sensi diversi avranno co-occorrenze diverse) e riconosca la dipendenza fra termini co-occorrenti. ^

33 Riduzione del rango L = t x dt x kk x dk x k k è il numero di valori singolari scelti per rappresentare i concetti nellinsieme dei documenti In genere, k « d. U VTVT

34 Ma insomma, cosa centrano le co-occorrenze???? Abbiamo detto che U, e V sono matrici degli autovalori e autovettori di L T L e LL T (nonchè valori e vettori singolari di L). Ma come calcoliamo, ad es. gli autovalori di L T L?

35 Ricordate come è fatta la matrice L T L w11 w12 w13 w12 w22 w23 w13 w23 w33 Per trovare gli autovalori, devo calcolare il determinante di: w11- w12 w13 w12 w22 - w23 w13 w23 w33 - Lequazione caratteristica di terzo grado è data, in questo esempio, da: Che come si vede, contiene prodotti di co-occorrenze: gli autovalori di grandezza maggiore (o vettori singolari di L) saranno determinati dai prodotti di co-occorrenze tutte non nulle

36 Esempio LL T (ricordate?) Si vede chiaramente che esistono due dimensioni: quella di w1 e w2 (w12), e quella di w3 w11 w12 w13 w12 w22 w23 w13 w23 w33 Calcolando autovalori e autovettori su: si ottiene il polinomio caratteristico: Con autovalori 4, 1 e 0.

37 Matrice LL T Autovalori e autovettori reali

38 La matrice L termini-documenti Autovettori di LL T o vettori singolari sinistri di L Radici degli autovalori di LL T o valori singolari di L Autovettori di LTL o vettori singolari destri

39 SVD nel LSI: conclusioni Nel modello vettoriale, queries e documenti sono vettori in uno spazio le cui dimensioni sono i termini, considerati fra loro ortonormali, cioè indipendenti fra loro LSI trasferisce questi vettori in uno spazio le cui dimensioni sono concetti, cioè co-occorrenze fra termini La riduzione di rango ha leffetto di eliminare i concetti poco rilevanti

40 Riassunto del Procedimento L=U V T dove L nxm 1.Calcola la trasposta L T di L 2.Determina gli autovalori di L T L e ordinali in ordine decrescente. Calcola le radici quadrate. 3.Costruisci la matrice 4.Calcola gli autovettori di L T L. Questi sono le colonne di V. Genera V T 5.Calcola U=AV -1

41 Esempio per una matrice termini documenti query L

42 1. Calcolo U V T

43 2. Approssimazione di rango 2

44 3a. Calcolo similarità query- documento Per N documenti, V contiene N righe, ognuna delle quali rappresenta le coordinate del documento d i proiettato nella dimensione LSI Una query viene trattata come un documento e anchessa proiettata nello spazio LSI

45 3b. L=USV T Se L=U V T si ha anche che V = L T U -1 d = d T U -1 q = q T U -1 Dopo la riduzione di rango k: –d = d T U k k -1 –q = q T U k k -1 –sim(q, d) = sim(q T U k k -1, d T U k k -1 )

46 3c. Calcolo del query vector q = q T U k k -1

47 Vettori della query e dei documenti nello spazio LSI

48 Similarità query-documento


Scaricare ppt "LATENT SEMANTIC INDEXING. Limiti della ricerca per parole chiave I metodi di ranking tradizionali calcolano lattinenza di un documento ad una query sulla."

Presentazioni simili


Annunci Google