ANALISI DEI GRUPPI seconda parte

Presentazione sul tema: "ANALISI DEI GRUPPI seconda parte"— Transcript della presentazione:

1 ANALISI DEI GRUPPI seconda parte

2 Argomenti della lezione
Distanze Metodi gerarchici: legame singolo e legame completo

3 Per i dati di tipo quantitativo si ricorre alle distanze

4 Una distanza possiede le seguenti proprietà:
identità dii = 0 simmetria dij = dji non negatività dij ≥ = 0 disuguaglianza triangolare dil + dlj ≤ = dij

5 Distanza di Minkowski  = p k=1 rdij xik - xjk r 1/r

6 Per r = 2 si ha la distanza euclidea
 = p k=1 2dij xik - xjk 2 1/r

7 Distanza di Mahalanobis
 = p k=1 dij (xik - xjk) (xih - xjh) 1/2 h=1 shk in cui shk indica il generico elemento della matrice inversa delle varianze-covarianze tra le p variabili

8 Matrice delle dissomiglianze
= D d21 dn1 dn2 d2n d1n d12 …

9 Algoritmi gerarchici Gli algoritmi gerarchici procedono sia per mezzo di una serie di aggregazioni successive o una serie di successive divisioni. Gli algoritmi aggregativi iniziano con tutte le unità distinte, così vi sono tanti gruppi quanti sono gli oggetti da classificare

10 I passaggi di un algoritmo aggregativo gerarchico applicato ad un insieme di n unità sono i seguenti:

11 1 Si inizia con n gruppi contenenti ciascuno una sola unità e una matrice di distanze simmetrica nxn 2 Si individua nella matrice delle distanze la coppia più vicina (più simile), ad esempio quella formata dai gruppi U e V

12 3 Si raggruppano U e V in un unico gruppo etichettato come (UV). Si aggiorna la matrice delle distanze cancellando le righe e le colonne corrispondenti ai clusters U e V e aggiungendo una riga e una colonna che riporta le distanze tra il gruppo (UV) e i restanti clusters

13 Si ripetono i passi 2 e 3 per un totale di n-1 volte
Si ripetono i passi 2 e 3 per un totale di n-1 volte. Tutti gli oggetti sono raggruppati in un unico gruppo al termine della procedura. 4

14 Metodi di aggregazione gerarchica:
legame semplice legame completo legame medio di Ward

15 Distanza tra gruppi (dissimilarità) per (a) legame singolo, (b) legame completo, e (c) legame medio

16 d24 d15 Cluster distance (a) (b) (c) 6 3 1 4 5 2 3 1 4 5 2 3 1 4 5 2
d13+ d14 + d15 + d23 + d24 + d25 6 (c) 1 2 3 4 5

17 Legame semplice d(UV)W = min [ dUW , dVW]
Le distanze tra i gruppi sono formate considerando la più piccola delle distanze istituibili a due a due tra tutti gli elementi dei due gruppi: d(UV)W = min [ dUW , dVW]

18 Esempio Passo 1 individui A B C D E 9 3 6 11 7 5 10 2 8

19 I due individui più vicini sono l'individuo C e l'individuo E
min ij (dij) = dCE = 2

20 Passo 2 Le distanze tra il gruppo (CE) e i rimanenti oggetti sono calcolate con il metodo del legame singolo: d(CE),A = min [ d CA, d EA] = min [3,11] =3 d(CE),B = min [ d CB, d EB] = min [7,10] =7 d(CE),D = min [ d CD, d ED] = min [9,8] =8

21 Si ottiene quindi la nuova matrice delle dissomiglianze
B D (CE) 7 8 9 6 5 3

22 Passo 3 La distanza minima è ora quella d(CE)A = 3 e quindi uniamo il gruppo A al gruppo CE. Procediamo successivamente a calcolare le nuove distanze: d (ACE)B = min [d(CE)B, d AB] = min[7,9] = 7 d (ACE)D = min [d(CE)D, d AD] = min[8,6] =6

23 La nuova matrice delle dissomiglianze è la seguente:
B D (ACE) 6 5 7

24 d(ACE)(BD) = min [d(ACE)B, d(ACE),D] = = min [7,6] = 6
Passo 4 Ora la distanza minore tra i cluster è dBD =5, e a questo punto otteniamo due gruppi, (ACE) e (BD). La loro distanza secondo la regola del legame singolo è d(ACE)(BD) = min [d(ACE)B, d(ACE),D] = = min [7,6] = 6

25 La matrice finale è la seguente:
(BD) (ACE) 6

26 La fusione finale avviene quindi ad una distanza pari 6
Passo 5 La fusione finale avviene quindi ad una distanza pari 6

27 I risultati di una procedura di cluster gerarchica possono essere rappresentati dal dendrogramma o diagramma ad albero I rami dell'albero rappresentano i cluster. I rami si uniscono in nodi le cui posizioni lungo l'asse delle distanze (o delle dissomiglianze) indicano il livello in cui avviene la fusione

28 Dendrogramma della procedura di aggregazione con il legame singolo
Distanza 2 4 6 1 3 5 4 Individui

29 Legame completo

30 Ad ogni passo la distanza (similarità) tra i gruppi è stabilita considerando i due elementi più lontani (dissimili) nei due gruppi. In questo modo la procedura del legame completo assicura che tutti gli elementi all'interno di un gruppo siano comprese ad una distanza massima (o somiglianza minima) l'uno dall'altro d(UV)W = max [dUW, dVW]

31 Esempio Passo 1 individui A B C D E 9 3 6 11 7 5 10 2 8

32 I due individui più vicini sono l'individuo C e l'individuo E
min ij (dij) = dCE = 2

33 Passo 2 Calcoliamo le distanze tra il gruppo (CE) e i restanti con il metodo del legame completo d(CE),A = max [ d CA, d EA] = max [3,11] =11 d(CE),B = max [ d CB, d EB] = max [7,10] =10 d(CE),D = max [ d CD, d ED] = max [9,8] =9

34 La nuova matrice delle distanze è la seguente:
B D (CE) 10 9 6 5 11

35 d(BD)(CE) = max [d B(CE), d D(CE)] = = max =[10,9] =10
Passo 3 La fusione successiva avviene tra i gruppi B e D. Le nuove distanze da calcolare sono le seguenti: d(BD)(CE) = max [d B(CE), d D(CE)] = = max =[10,9] =10

36 e la matrice delle distanze è la seguente:
(BD) A (ACE) 11 9 10

37 Il dendrogramma che rappresenta la procedura di aggregazione
Passo 4 La fusione seguente produce il gruppo (ABD). Nel passo finale i gruppi (CE) e (ABD) sono raggruppati nella fusione finale. Il dendrogramma che rappresenta la procedura di aggregazione è il seguente

38 Dendrogramma della procedura di aggregazione con il legame completo

39 1 Individui Distanze 2 4 6 8 10 12 3 5