Esempio di estrazione delle componenti principali

Presentazione sul tema: "Esempio di estrazione delle componenti principali"— Transcript della presentazione:

1 Esempio di estrazione delle componenti principali
Cinque domande di un questionario (scala di Likert da 1 molto contrario a 5 molto d’accordo) 1559 studenti delle scuole medie hanno risposto al questionario SPSS calcola le statistiche univariate e la matrice delle correlazioni

2 Le medie ci informano che le risposte non sono estreme, ma variano e si collocano abbastanza al centro dell’ambito delle risposte

3 Alcune correlazioni sono elevate
Sono un buon inizio per un’analisi fattoriale

4 Definizione e calcolo delle comunanze
Le comunanze sono, per ogni variabile osservata, la somma delle varianze comuni fra fattori e variabili osservate. La somma di queste varianze (standardizzate) vale 1, per ogni variabile

5 Estrazione delle comunanze
Con un numero di fattori estratti uguale al numero delle variabili, le comunanze (somma dei quadrati delle saturazioni) sono uguali all’unità

6 La terza frase ha una correlazione negativa con il primo fattore
Matrice fattoriale (correlazioni fra variabili osservate e variabili latenti) La terza frase ha una correlazione negativa con il primo fattore

7 Matrice fattoriale (correlazioni fra variabili osservate e variabili latenti)
La somma dei quadrati delle saturazioni (1,780) è uguale alla varianza del fattore o autovalore

8 Con un numero di fattori estratti uguale al numero delle variabili, la somma degli autovalori è uguale alla varianza standardizzata delle variabili osservate (=N)

9 Che relazione c’è fra le componenti?
La somma dei prodotti delle saturazioni è uguale a zero

10 La matrice di saturazioni fattoriali ha queste caratteristiche:
Le n variabili osservate sono scomposte in n componenti (inferite o latenti) La somma dei loro quadrati per riga è uguale a 1 (= comunanza) La somma dei loro quadrati per colonna è uguale all’autovalore (o varianza del fattore) La prima componente è più elevata (e importante della sua seguente - forma canonica. La somma dei prodotti della riga r per la riga s è uguale al coefficiente di correlazione fra la variabile r e la variabile s La somma dei prodotti di una colonna s per una colonna r è uguale a zero (i fattori sono indipendenti)

11 La somma dei prodotti delle saturazioni della riga r e della riga s è uguale al coefficiente di correlazione fra le variabili r e s

12 Questo valore è la correlazione della variabile w1 e w3

13 Grafico delle cinque comunanze, suddivise secondo la ripartizione in cinque fattori (serie= fattore)

14 Grazie alla caratteristica degli autovalori (in forma canonica o ordine decrescente), si possono conservare solo le prime componenti principali, (per esempio, due) e trascurare le altre

15 Estrazione di un numero inferiori di fattori, per esempio due

16

17 Con due fattori estratti… le comunanze sono inferiori a 1, poiché si trascura la varianza associata con i fattori di minore importanza

18

19 Con due fattori estratti, si conserva l’informazione rilevante sulle prime due componenti

20 Con due fattori estratti, si possono rappresentare graficamente le saturazioni sui primi due fattori

21 Vedere parte 2a

22

23 I due fattori non sono molto comprensibili
I due fattori non sono molto comprensibili. Però possono essere modificati, per renderli interpretabili

24 I fattori possono essere trasformati , senza perdita di informazione

25 … In questa direzione, per rendere le saturazioni fattoriali alte su un fattore e nulle sugli altri

26 Ecco il risultato finale

27 La trasformazione imposta ai due fattori si chiama rotazione ortogonale
I valori della trasformazione hanno raramente senso per l’interpretazione. Sono però stampati da SPSS

28

29 coseno seno Vettore unitario Angolo di rotazione Kaiser è l’autore che ha proposto la rotazione Varimax (variance Maaximum) La matrice di trasformazione contiene i seni e coseni degli angoli di rotazione

30

31 Si moltiplica la matrice non ruotata per la matrice di trasformazione

32 Ecco il risultato finale i due fattori sono semplici e comprensibili
Accettazione del proprio corpo Armonia coi familiare (o adulti)

33 Grafico delle comunanze con i fattori ruotati (in azzurro le varianze dei fattori abbandonati)
Comunanze originali

34 Grafico delle cinque comunanze, suddivise secondo la ripartizione in cinque fattori (serie= fattore)

35 Criterio per la rotazione ortogonale (Varimax, Kaiser, 1958)
Si cerca la soluzione semplice: Una variabile dovrebbe essere molto satura di un solo fattore (r >|0,40|) avere saturazioni nulle sugli altri fattori (r  0)

36 Rotazione obliqua Quando la rotazione degli assi non mantiene rigidi (ortogonali) gli assi di riferimento dei fattori, si ottengono le rotazioni oblique Gli assi non restano ortogonali, i fattori non sono indipendenti fra di loro, ma le saturazioni fattoriali sono più grandi e facilitano l’interpretazione dei fattori

37 Esempio Revisionando il questionario sulla depressione di Beck (BDI II), si scoprì che c’erano due aspetti che partecipavano del fenomeno: il versante cognitivo-affettivo e il versante comportamentale. Non aveva senso cercare una soluzione ortogonale, (non esiste un aspetto affettivo della depressione indipendente dall’aspetto comportamentale della depressione). La soluzione è stata trovata con due fattori obliqui.

38 Testo del Beck Depression Inventory II

39

40 Perché si chiama rotazione obliqua
Perché si chiama rotazione obliqua? Ecco un esempio di sette variabili su i primi due fattori

41 La rotazione ortogonale non produrrebbe una soluzione ottimale, le variabili sono troppo simili fra di loro

42 Le variabili sono sature di entrambi i fattori, ma i due fattori sono ora obliqui, cioè correlati fra di loro, ma si adattano meglio ai punti dei fattori

43 La rotazione Promax produce i fattori correlati (qui r12= 0,66)
La rotazione Promax è quella più utile e consigliabile, perché si basa sulla rotazione Varimax La rotazione Promax produce i fattori correlati (qui r12= 0,66)

44 Spss produce anche la correlazione fra i fattori obliqui
Tuttavia, in questo caso la correlazione fra i due fattori è veramente trascurabile e la soluzione fattoriale non differisce molto da quella ortogonale

45 Esempio iniziale, con fattori iterati e rotazione promax

46 Il metodo di estrazione dei fattori

47 Metodo di estrazione: Fattori iterati
Il metodo delle componenti principali è matematicamente corretto, ma statisticamente improbabile. E’ opportuno usare un altro metodo, detto dei fattori principali o iterati.

48 Il metodo si basa su iterazioni:
Al posto delle comunanze, si inserisce il coefficiente di correlazione multiplo di ogni variabile. Si calcolano gli autovalori e le saturazioni Si calcolano le comunanze Si sostituiscono alle stime iniziali Si ripete il ciclo, finche le saturazioni osservate sono uguali a quelle ottenute con la soluzione precedente.

49 Esempio applicativo Le stesse cinque variabili dell’esempio iniziale, con due fattori estratte e ruotati

50 Gli autovalori iniziali sono uguali alla soluzione delle componenti principali, ma quelli dei fattori sono più piccoli. Il metodo di estrazione tende a eliminare la varianza delle variabili solitarie.

51

52 Il metodo dei fattori iterati (o asse principale) evidenzia la scarsa covariazione della variabile w5 con le altre variabili dell’analisi, e per questo è più realistico (saturazioni basse)

53 Con due fattori estratti, cambiano molto le comunanze, soprattutto per la domanda 5

54

55 Con i Fattori iterati, non si possono ottenere tanti fattori quante sono le variabili osservate, poiché vi è una riduzione della covariazione (la matrice perde il suo rango). Ma dal punto di vista statistico è più realistico questo approccio. SPSS stampa un avviso per avvisare che l’estrazione chiederà un numero più basso di fattori

56 La comunanza della variabile 5 (solitaria) è sparita: non fa riferimento a nessun’altra variabile

57 Il metodo dei Fattori principali è da consigliare, in sostituzione di quello delle componenti principali Le differenze sono tanto più elevate quanto più piccolo è il numero di variabili osservate. A al di là delle 35 variabili osservate, le differenze fra i metodi sono minime.

58 Il problema del numero di fattori da estrarre
Criteri validi: Scree test Analisi parallela

59 Lo scree-test È la rappresentazione grafica degli autovalori in forma canonica (i primi, più importanti, sono sulla sinistra del grafico) Secondo Cattell, gli autovalori connessi con i fattori reali e non casuali hanno un andamento caratteristico a caduta Quelli casuali degradano lentamente

60 Lo scree-test Si estraggono solo quei fattori che sono sulla linea di caduta, e si trascurano quelli che degradano lentamente

61 Validità dello scree-test
È molto usato, è facile da utilizzare, ma non sempre è efficace e veritiero. A volte il pendìo non è individuabile con facilità

62 L’analisi parallela Consiste nel generare dei numeri causali, uno per ogni variabile osservata e per ogni partecipante. Si estraggono gli autovalori Si ripete la simulazione molte volte La media del primo, secondo … ennesimo autovalore servono da confronto per gli autovalori della matrice reale

63 Esempio con cinque simulazioni
Si estraggono i 14 autovalori da una matrice di 14 variabili osservate, e si riportano sul grafico, insieme a quelli corrispondenti di cinque simulazioni, ottenute sostituendo a ciascuna risposta R di un soggetto S un dato casuale (per esempio un punto zeta. Si estraggono i fattori e si tiene conto degli autovalori. Si ripete la simulazione cinque volte, ottenendo così cinque primi, cinque secondi , cinque terzi …autovalori, da confrontare con il primo, secondo, terzo… reale.

64 Esempio con cinque simulazioni
Autovalori fuori scala nel grafico, perché sicuramente da conservare Ambito dell’incertezza Autovalori reali più piccoli di quelli casuali, sicuramente da scartare

65 Validità dell’analisi parallela
Funziona molto bene, anche se non è entrata completamente nell’uso. Un software (Monte Carlo PCA di Marley Watkins) è disponibile gratuitamente in rete.

66 Grafico degli autovalori dei dati reali e simulati
In questo grafico la linea fucsia indica la media degli autovalori casuali

67 Secondo esempio Valori reale e medie degli autovalori casuali
In questo grafico la linea fucsia indica la media degli autovalori casuali

68 Output del programmino di Watkins
I primi due autovalori dell’esempio sono superiori ai due autovalori dei dati casuali (1,78 e 1,36) ma il terzo è inferiore (0,90), Si sceglie la soluzione a due fattori (da estrarre e ruotare) Monte Carlo PCA for Parallel Analysis Version . 08/11/ Number of variables: Number of subjects: Number of replications: 100 Eigenvalue # Random Eigenvalue Standard Dev , ,0157 , ,0147 , ,0102 , ,0112 , ,0176 08/12/ ******************************************************

69 Il 95° percentile Il software di Witkins permette di trasformare il k-esimo autovalore tratto dai dati con il k-esimo autovalore dei dati simulati. L’autovalore dei dati reali dovrebbe essere superiore al 95% degli autovalori casuali per essere considerato rappresentativo di una dimensione latente da prendere in considerazione.

70 Istruzione del software
Select the number of variables (3-300), subjects ( ), and replications (1-1000). The program then: (1) generates random normal numbers for the quantity of variables and subjects selected, (2) computes the correlation matrix, (3) performs Principal Components Analyses and calculates the eigenvalues for those variables, (4) repeats the process as many times as specified in the replications field, and (5) calculates the average and standard deviation of the eigenvalues across all replications. For stable results, replicate at least times. Use these eigenvalues as the criteria for Horn's Parallel Analysis for the number of factors or components to retain for rotation.

71 Segue… Horn, J. L. (1965). A rationale and test for the number of factors in factor analysis. Psychometrika, 30, Lautenschlager, G. J. (1989). A comparison of alternatives to conducting monte carlo analyses for determining parallel analysis criteria. Multivariate Behavioral Research, 24, Velicer, W. F., Eaton, C. A., & Fava, J. L. (2000). Construct explication through factor or component analysis: A review and evaluation of alternative procedures for determining the number of factors or components. In R. D. Goffin & E. Helmes (Eds.), Problems and solutions in human assessment: Honoring Douglas N. Jackson at seventy (pp ). Boston: Kluwer Academic Publishers. Zwick, W. R., & Velicer, W. F. (1986). Comparison of five rules for determining the number of components to retain. Psychological Bulletin, 99,

72 Riferimento bibliografico
Include this reference in publications which determined the number of factors to retain using this software: Watkins, M. W. (2000). Monte Carlo PCA for Parallel Analysis [computer software]. State College, PA: Ed & Psych Associates.