La Classificazione non supervisionata CAPITOLO 14 CLASSIFICAZIONE La Clusterizzazione e La Classificazione non supervisionata A. Dermanis, L. Biagi

Clusterizzazione = divisione di N pixel in K classi ω1, ω2, …, ωK matrice di dispersione della classe ωi : media della classe ωi :  xi Si = (x – mi)(x – mi)T mi = x  xi 1 ni matrice di covarianza della classe ωi : Ci = Si 1 ni matrice di dispersione totale: media globale   i xi ST = (x – m)(x – m)T m = x 1 N   i xi matrice di covarianza totale: CT = ST 1 N A. Dermanis, L. Biagi

     Sin = Si = (x – mi)(x – mi)T Sex = ni (mi – m)(mi – m)T Criteri di clusterizzazione indice di coerenza delle classi  matrice di dispersione interna   i xi Sin = Si = (x – mi)(x – mi)T  i indice di distanza fra le classi  matrice di dispersione esterna Sex = ni (mi – m)(mi – m)T  i ST = Sin + Sex = costante Algoritmo ottimale: Sin = min e Sex = max contemporaneamente Problema: Quanti cluster ? (K = ?) Scelta estrema: K = N (una classe per ogni pixel) k = {xk} mk = xk, Sk = 0, Sin = Sk = 0 = min, Sex = ST =max  k Scelta estrema: K = 1 (un’unica classe) Sin = ST, Sex = 0 A. Dermanis, L. Biagi

Clusterizzazione gerarchica 1 2 3 4 5 6 A Agglomerativa: Ad ogni passo vengono uniti i due cluster più vicini B AGGLOMERATIVE DIVISIVE C D Divisiva: Ad ogni passo il cluster più disperso viene diviso in due nuovi cluster E F Sono necesssari: Criteri di unione. Criteri di divisione. A. Dermanis, L. Biagi

Clusterizzazione gerarchica 1 2 3 4 5 6 1 2 3 4 5 6 A B AGGLOMERATIVE DIVISIVE C D E F A B C D E F A. Dermanis, L. Biagi

Distanza fra due cluster (alternative): distanza media: distanza minima: distanza massima: Utilizzate nella clusterizzazione gerarchica A. Dermanis, L. Biagi

L’algoritmo K-means (o delle medie mobili) 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 A. Dermanis, L. Biagi

L’algoritmo K-means (o delle medie mobili) 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 Passo 0: Selezione di K = 3 pixel come posizioni iniziali delle medie A. Dermanis, L. Biagi

L’algoritmo K-means (o delle medie mobili) 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 Passo 1: Assegnazione di ogni altro pixel al cluster con la media più vicina. Ricalcolo delle nuove medie per ogni cluster. A. Dermanis, L. Biagi

L’algoritmo K-means (o delle medie mobili) 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 Passo 2: Riassegnazione di ogni pixel al cluster con la media più vicina. Ricalcolo delle nuove medie per ogni cluster. A. Dermanis, L. Biagi

L’algoritmo K-means (o delle medie mobili) 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 Passo 3: Riassegnazione di ogni pixel al cluster con la media più vicina. Ricalcolo delle nuove medie per ogni cluster. A. Dermanis, L. Biagi

L’algoritmo K-means (o delle medie mobili) 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 Passo 4: Riassegnazione di ogni pixel al cluster con la media più vicina. Tutti i pixel rimangono nella classe in cui erano. Le medie non cambiano. Fine della clusterizzazione ! A. Dermanis, L. Biagi

Una variante di quello K means. L’algoritmo Isodata Una variante di quello K means. Ad ogni passo una delle 3 seguenti procedure: 1. ELIMINAZIONE Elimina cluster con pochi pixel 2. UNIONE Unisci coppie di cluster reciprocamente vicini 3. DIVISIONE Dividi cluster dispersi in due nuovi cluster A. Dermanis, L. Biagi

L’algoritmo Isodata 1. ELIMINAZIONE Elimina cluster con pochi pixel A. Dermanis, L. Biagi

Unisci coppie di cluster reciprocamente vicini L’algoritmo Isodata 2. UNIONE Unisci coppie di cluster reciprocamente vicini A. Dermanis, L. Biagi

L’algoritmo Isodata 3. DIVISIONE Dividi cluster dispersi in due nuovi A. Dermanis, L. Biagi

m2+kσ2 m2 m2–kσ2 m1 L’algoritmo Isodata Il processo di unione Il processo di divisione m2+kσ2 m2–kσ2 m2 m1 A. Dermanis, L. Biagi

Esempi di classificazione: l’algoritmo K-means K-means: 3 classi A. Dermanis, L. Biagi

Esempi di classificazione: l’algoritmo ISODATA ISODATA : 3 classi A. Dermanis, L. Biagi