La Classificazione supervisionata

Presentazione sul tema: "La Classificazione supervisionata"— Transcript della presentazione:

1 La Classificazione supervisionata
CAPITOLO 15 CLASSIFICAZIONE La Classificazione supervisionata A. Dermanis, L.Biagi

2   mi = x Ci = (x – mi)(x – mi)T La Classificazione supervisionata
I pixel noti in ciascuna classe ω1, ω2, ..., ωK, formano gli “insieme campione” S1, S2, ..., SK con n1, n2, ..., nK pixel ciascuno. Stime per ciascun insieme campione Si, (i = 1, 2, …, K ) : Vettori delle medie: Matrici di covarianza: mi = x  xSi 1 ni  xSi Ci = (x – mi)(x – mi)T 1 ni Metodi di classificazione supervisionata: Parallelepipedi Distanza euclidea Distanza di Mahalanobis Massima verosimiglianza Bayesiano A. Dermanis, L.Biagi

3 dE(x, x) = || x – x || = (x1 – x1)2 + (x2 – x2)2 + … + (xB – xB)2
La Classificazione con la distanza Euclidea dE(x, x) = || x – x || = (x1 – x1)2 + (x2 – x2)2 + … + (xB – xB)2 (a) Semplice || x – mi || = min || x – mk ||  x i k Assegna ciascun pixel alla classe con centro più vicino. Confini fra le classi: iperpiani perpendicolari nel punto medio al segmento congiungente i centri delle classi. A. Dermanis, L.Biagi

4 dE(x, x) = || x – x || = (x1 – x1)2 + (x2 – x2)2 + … + (xB – xB)2
La Classificazione con la distanza Euclidea dE(x, x) = || x – x || = (x1 – x1)2 + (x2 – x2)2 + … + (xB – xB)2 (b) Con livello di soglia T || x – mi || = min || x – mk || k  x i || x – mi ||  T Assegna ciascun pixel alla classe con centro più vicino se distanza < livello di soglia || x – mi || > T, i  x 0 Lascia non classificati i pixel (class ω0) la cui distanza da ogni centro è maggiore della soglia. A. Dermanis, L.Biagi

5 dE(x, x) = || x – x || = (x1 – x1)2 + (x2 – x2)2 + … + (xB – xB)2
La Classificazione con distanza Euclidea dE(x, x) = || x – x || = (x1 – x1)2 + (x2 – x2)2 + … + (xB – xB)2 Giusto Sbagliato Si introduce il ruolo della statistica nella classificazione! A. Dermanis, L.Biagi

6  ij = (Ci)jj j = 1, 2, …, B x = [x1 … xj … xB]T  Pj j = 1, 2, …, B
La classificazione con il metodo dei parallelepipedi ij = (Ci)jj j = 1, 2, …, B Deviazione standard per ogni banda x = [x1 … xj … xB]T  Pj  mij – k ij  xj  mij + k ij j = 1, 2, …, B Parallelepipedi Pi x  Pj  x  i x  Pi  x  0  i Classificazione: A. Dermanis, L.Biagi

7    dM(x, x) = (x – x)T C–1 (x – x)
La classificazione con la distanza di Mahalanobis Distanza di Mahalanobis: dM(x, x) = (x – x)T C–1 (x – x) C = (x – mi) (x – mi)T = ni Ci 1 N   i xSi  i (Matrice di covarianza) Classificazione (semplice): dM(x,mi) < dM(x,mk), ki  xi Classificazione con soglia: dM(x,mi) < dM(x,mk), ki dM(x,mi)  T,  xi dM(x,mi) > T, i  x0 A. Dermanis, L.Biagi

8 li(x) = exp [ – (x – mi)T Ci–1 (x – mi) ] (2)B/2 | Ci |1/2
La classificazione con il metodo di massima verosimiglianza Funzione di distribuzione di probabilità o funzione di verosimiglianza per la classe ωi: 1 2 li(x) = exp [ – (x – mi)T Ci–1 (x – mi) ] (2)B/2 | Ci |1/2 Classificazione: li(x) > lk(x) k  i  xi Equivalente all’uso della funzione di decisione: di(x) = 2 ln[li(x)] + B ln(2) = – ln | Ci | – (x – mi)T Ci–1 (x – mi) di(x) > dk(x) k  i  xi A. Dermanis, L.Biagi

9 La classificazione mediante approccio Bayesiano
N : numero totale di pixel (i.e. per ogni banda) B : numbero di bande, ω1, ω2, …, ωK : le K classi presenti nell’immagine Ni : numero di pixel nella classe ωi (i = 1,2, …, K) nx : numero di pixel con valore x nxi : numero di pixel con valore x in classe ωi A. Dermanis, L.Biagi

10 La classificazione mediante approccio Bayesiano
N : numero totale di pixel (i.e. per ogni banda) B : numbero di bande, ω1, ω2, …, ωK : le K classi presenti nell’immagine Ni : numero di pixel nella classe ωi (i = 1,2, …, K) nx : numero di pixel con valore x nxi : numero di pixel con valore x in classe ωi A. Dermanis, L.Biagi

11 La classificazione mediante approccio Bayesiano
N : numero totale di pixel (i.e. per ogni banda) B : numbero di bande, ω1, ω2, …, ωK : le K classi presenti nell’immagine Ni : numero di pixel nella classe ωi (i = 1,2, …, K) nx : numero di pixel con valore x nxi : numero di pixel con valore x in classe ωi Identità di base: A. Dermanis, L.Biagi

12 La classificazione mediante approccio Bayesiano
N : numero totale di pixel (i.e. per ogni banda) B : numbero di bande, ω1, ω2, …, ωK : le K classi presenti nell’immagine Ni : numero di pixel nella classe ωi (i = 1,2, …, K) nx : numero di pixel con valore x nxi : numero di pixel con valore x in classe ωi Identità di base: A. Dermanis, L.Biagi

13 La classificazione mediante approccio Bayesiano
N : numero totale di pixel (i.e. per ogni banda) B : numbero di bande, ω1, ω2, …, ωK : le K classi presenti nell’immagine Ni : numero di pixel nella classe ωi (i = 1,2, …, K) nx : numero di pixel con valore x nxi : numero di pixel con valore x in classe ωi Identità di base: A. Dermanis, L.Biagi

14 Ni N p(i) = nx N p(x) = nxi Ni p(x | i) = nxi nx p(i | x) = nxi N
probabilità che un pixel appartenga alla classe ωi p(x) = nx N probabilità che un pixel abbia il valore x p(x | i) = nxi Ni probabilità che un pixel della classe ωi abbia valore x (condizionata) p(i | x) = nxi nx probabilità che un pixel con valore x appartenga alla classe ωi (condizionata) p(x, i) = nxi N probabilità che un pixel abbia il valore x e appartenga alla classe ωi (congiunta) A. Dermanis, L.Biagi

15 Ni N p(i) = nx N p(x) = nxi Ni p(x | i) = nxi nx p(i | x) = nxi N
probabilità che un pixel appartenga alla classe ωi p(x) = nx N probabilità che un pixel abbia il valore x p(x | i) = nxi Ni probabilità che un pixel della classe ωi abbia valore x (condizionata) p(i | x) = nxi nx probabilità che un pixel con valore x appartenga alla classe ωi (condizionata) p(x, i) = nxi N probabilità che un pixel abbia il valore x e appartenga alla classe ωi (congiunta) A. Dermanis, L.Biagi

16 Ni N p(i) = nx N p(x) = nxi Ni p(x | i) = nxi nx p(i | x) = nxi N
probabilità che un pixel appartenga alla classe ωi p(x) = nx N probabilità che un pixel abbia il valore x p(x | i) = nxi Ni probabilità che un pixel della classe ωi abbia valore x (condizionata) p(i | x) = nxi nx probabilità che un pixel con valore x appartenga alla classe ωi (condizionata) p(x, i) = nxi N probabilità che un pixel abbia il valore x e appartenga alla classe ωi (congiunta) formula di Bayes A. Dermanis, L.Biagi

17 Pr(A | B) Pr(B) = Pr(AB) = Pr(B | A) Pr(A)
Teorema di Bayes: Pr(A | B) = Pr(AB) Pr(B) Pr(A | B) Pr(B) = Pr(AB) = Pr(B | A) Pr(A) Pr(B | A) = Pr(A | B) Pr(B) Pr(A) evento A = occorrenza del valore x evento B = occorrenza della classe ωi p(x|i) p(i) p(i|x) = p(x) Classificazione: p(i |x) > p(k |x) k i  xi p(x) = non necessaria (fattore comune) Classificazione: p(x |i) p(i) > p(x |k) p(k) k i  xi A. Dermanis, L.Biagi

18 p(x|i) p(i) = max [p(x|k) p(k)  xi
Classificazione: p(x|i) p(i) = max [p(x|k) p(k)  xi k p(x | i) = li(x) = exp{– – (x – mi)T Ci–1 (x – mi) } (2)B/2 | Ci |1/2 1 2 per distribuzione Gaussiana: Anzichè: p(x | i) p(i) = max Equivalente ln[p(x | i) p(i)] = ln[p(x | i) + ln[p(i) = max – – (x – mi)T Ci–1 (x – mi) – – ln[ | Ci | + ln[p(i)] = max 1 2 o, finalmente: (x – mi)T Ci–1 (x – mi) + ln[ | Ci | + ln[p(i)] = min A. Dermanis, L.Biagi

19 (x – mi)T Ci–1 (x – mi) + ln[ | Ci | + ln[p(i)] = min
La Classificazione Bayesiana per una distribuzione Gaussiana: (x – mi)T Ci–1 (x – mi) + ln[ | Ci | + ln[p(i)] = min CASI SPECIALI: p(1) = p(2) = … = p(K)  (x – mi)T Ci–1 (x – mi) + ln[ | Ci | = min Massima Verosimiglianza! p(1) = p(2) = … = p(K) C1 = C2 = … = CK = C  (x – mi)T Ci–1 (x – mi) = min Distanza di Mahalanobis! p(1) = p(2) = … = p(K) C1 = C2 = … = CK = I  (x – mi)T (x – mi) = min Distanza Euclidea! A. Dermanis, L.Biagi