La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

Selezione delle caratteristiche - Principal Component Analysis dove l e k sono le medie delle caratteristiche x l ed x k, rispettivamente.

Presentazioni simili


Presentazione sul tema: "Selezione delle caratteristiche - Principal Component Analysis dove l e k sono le medie delle caratteristiche x l ed x k, rispettivamente."— Transcript della presentazione:

1 Selezione delle caratteristiche - Principal Component Analysis dove l e k sono le medie delle caratteristiche x l ed x k, rispettivamente. Per M oggetti con N caratteristiche (x 1,x 2, x N ) è definita una matrice simmetrica di covarianza C realizzata con i valori di covarianza C l,k : Sia C l,k la covarianza delle caratteristiche x l ed x k per tutte le M possibili osservazioni. La covarianza di due caratteristiche x l ed x k calcolata per gli M esempi è data da:

2 Principal Component Analysis Il valore di covarianza C l,k è nullo se le caratteristiche x l ed x k sono non correlate: Gli autovettori di C sono ortogonali tra loro e le loro direzioni sono parallele ai corrispondenti autovalori. La direzione di massima varianza è parallela allautovettore corrispondente allautovalore massimo della matrice di covarianza C. Gli elementi C ii diagonali della matrice simmetrica di covarianza rappresentano la varianza delle N caratteristiche.

3 Principal Component Analysis La matrice di covarianza può essere diagonalizzata con la procedura di trasformazione agli assi principali (oppure alle componenti principali PCA o trasformata di Karhunen-Loeve) Le caratteristiche degli oggetti in questo nuovo sistema di riferimento risultano non correlate. Lidea principale è che maggiore informazione corrisponde a maggiore varianza. Algoritmi PCA: Covarianza/Correlazione Singular value decomposition (SVD)

4 Principal Component Analysis Le nuove caratteristiche (componenti) y=eX sono espresse come combinazione lineare delle x i caratteristiche di input e corrispondono agli autovettori della matrice di covarianza C. Gli autovalori corrispondenti sono la varianza. Per trovare la prima componente principale, che denoteremo con y 1, è necessario trovare il vettore di coefficienti e 1 =(e 11,…,e 1N ) tale che la varianza di e 1 X sia massima rispetto alla classe di tutte le combinazioni lineari di X soggette al vincolo (la norma di e 1 è unitaria) y 1 = e 1 X Dalla definizione di autovettore/autovalore: Cy=yλ Ce 1 X=e 1 X λ 1 e 1 Ce 1 X= e 1 e 1 X λ 1 e 1 Ce 1 X = X λ 1 e 1 Ce 1 = λ 1 e 1 Ce 1 – λ 1 I= 0 (C- λ 1 I ) e 1 = 0

5 Principal Component Analysis La seconda componente si ottiene trovando il secondo vettore normalizzato e 2 ortogonale a e 1 y 2 = e 2 X che avrà la seconda varianza massima Le N componenti principali estratte soddisfano la proprietà Tutte le correlazioni e covarianze del campione tra coppie delle componenti derivate sono zero.

6

7 Con e1 = [ ] e2 = [ ] e3 = [ ] Y1Y1 Y2Y2 Y3Y3

8 Principal Component Analysis Gli autovettori della matrice di covarianza C sono orientati nella direzione di massima varianza e, conseguentemente, le caratteristiche associate si presentano con grande varianza (caratteristiche più significative). Le caratteristiche con varianza piccola possono essere trascurate in quanto non efficaci al fine della separabilità delle classi. Gli assi coordinati delle nuove caratteristiche y l ed y k risultano ruotati rispetto a quelli di input x l ed x k di un angolo e la loro relazione è definita dallequazione:

9 Principal Component Analysis Considerando i nuovi assi coordinati y l ed y k allineati con gli autovettori e l ed e k della matrice di covarianza C, la trasformata agli assi principali è data dalla equazione: oppure y = Ax dove è la matrice di trasformazione delle nuove caratteristiche dove ciascuna riga rappresenta le proiezioni degli autovettori e l ed e k sui rispettivi assi x l ed x k.

10 Principal Component Analysis Le nuove caratteristiche possono essere definite con lorigine dei nuovi assi coordinati y l ed y k coincidente con il centroide del cluster ( l, k ):

11 Principal Component Analysis Gli elementi della matrice di covarianza delle nuove caratteristiche y, sono dati da: dove m l ed m k sono le medie delle nuove caratteristiche y l ed y k, che sono uguali a zero come si può dimostrare: Si dimostra che la matrice di covarianza C ` delle nuove caratteristiche y e` data da: dove si evidenzia la proprietà che le nuove caratteristiche y i non sono correlate, infatti tutti i termini hanno valore 0 ad esclusione di quelli sulla diagonale principale i che esprimono la varianza della caratteristica y i nella direzione dellautovettore e i.

12 Principal Component Analysis In conclusione, con la trasformazione agli assi principali si ha una riduzione anche consistente del numero delle caratteristiche. Le caratteristiche in questo nuovo spazio, anche se risultano le più significative, non implicano però una migliore separazione dei cluster. Se i cluster nello spazio di origine sono molto vicini tra loro ed è difficile separarli, anche nello spazio delle nuove caratteristiche si avranno le stesse difficoltà di separazione. Le componenti principali conducono soltanto alla selezione del miglior sottoinsieme di caratteristiche più significative per semplificare il processo di classificazione avendo eliminato le caratteristiche ridondanti e non necessarie.

13 PCA - Data Reduction con W

14 PCA - Data Reduction Secondo metodo: Screen test

15 PCA - Data Reduction Score plot


Scaricare ppt "Selezione delle caratteristiche - Principal Component Analysis dove l e k sono le medie delle caratteristiche x l ed x k, rispettivamente."

Presentazioni simili


Annunci Google