Caratteristiche psicometriche dei test

Presentazione sul tema: "Caratteristiche psicometriche dei test"— Transcript della presentazione:

1 Caratteristiche psicometriche dei test
Validità Attendibilità Analisi degli items Teorie e tecniche dei test- 2003 Prof. Paola Gremigni

2 Operazionalizzazione
Validità Validità esterna generalizzabilità delle conclusioni Teoria Costrutto Validità di costrutto ho osservato ciò che volevo osservare Operazionalizzazione Validità interna legame causale tra osservazioni e intervento Intervento Osservazione

3 Validità esterna Si riferisce alla verità approssimata di proposizioni, inferenze e conclusioni Coinvolge la generalizzabilità. E’ il grado in cui le conclusioni dello studio possono essere considerate valide per altre persone in altre situazioni e in altri momenti

4 Validità interna –1 Si riferisce alla verità approssimata di inferenze che riguardano relazioni causali ossia relazioni causa - effetto E’ rilevante solo in studi che cercano di dimostrare un legame causale (es. valutazione dell’effetto di un intervento terapeutico, educativo ecc.) In tali contesti vogliamo concludere che gli effetti o cambiamenti osservati sono attribuibili all’intervento (causa) e non ad altre possibili cause

5 Validità interna – 2 Possiamo pensare alla validità interna come a un concetto di “zero generalizzabilità” La validità interna significa che abbiamo evidenze del fatto che ciò che abbiamo fatto nello studio (intervento) ha causato ciò che abbiamo osservato succedere (outcome) Non dice che ciò che abbiamo fatto e osservato era ciò che volevamo fare o osservare (validità di costrutto)

6 Validità di costrutto Costrutto
Un costrutto psicologico è un’idea teorica elaborata per spiegare e organizzare alcuni aspetti delle conoscenze esistenti (APA, 1974) I costrutti vengono formulati derivandoli da teorie psicologiche o da osservazioni empiriche

7 Validità di costrutto o Validità rispetto alla funzione
Qui il concetto di validità di costrutto viene usato per identificare la validità di ogni operazionalizzazione Ogni volta che traduciamo un costrutto in una funzione o realtà operativa dobbiamo interrogarci su “quanto bene” abbiamo fatto questa traduzione La validità di costrutto è la verità approssimata della conclusione che l’operazionalizzazione fatta riflette accuratamente il costrutto su cui si basa Trochim W. (2000). The Research Methods Knowledge Base. Atomic Dog Pub., Cincinnati, OH

8 Idea della Validità di costrutto
Teoria Cosa abbiamo in mente Costrutto Una definizione concettuale precisa di cosa abbiamo in mente Programma di misurazione Procedure di osservazione Osservazioni Cosa vediamo

9 Idea della Validità di costrutto
La validità di costrutto è una misura (assessment) di “quanto bene” abbiamo tradotto le nostre idee (teoria) in concetti precisi (costrutto) e in programmi di misura (procedure di misurazione) Il suo scopo è evitare gli errori di etichettamento (labeling) dei costrutti e di interpretazione dei risultati delle ricerche

10 Criteri per la Validità di costrutto
Esempio Definire il costrutto che vogliamo operazionalizzare all’interno di una rete di significati (semantica) ossia dire a cosa è più o meno simile come significato Valore del sé Espressione del sé Autostima Fornire evidenze dirette che l’operazionalizzazione del costrutto è sotto il nostro controllo Apertura Fiducia in sé Fornire evidenze che i dati sostengono la visione teorica delle relazioni fra costrutti simili

11 Tipi di Validità di costrutto
Validità dell’ operazionalizzazione* Validità di facciata Validità di contenuto Validità strutturale Validità in relazione a un criterio Validità predittiva Validità concorrente Validità congruente Validità convergente / divergente Validità discriminante / differenziale * Trochim (2000): Validità di traduzione (Translation Validity)

12 Validità dell’ operazionalizzazione
La validità dell’operazionalizzazione verifica se l’operazionalizzazione è una buona traduzione del costrutto L’approccio è legato al processo di definizione Assumiamo di avere una definizione ben dettagliata del costrutto e verifichiamo l’operazionalizzazione rispetto ad esso

13 Validità in relazione ad un criterio
La validità in relazione a un criterio verifica se l’operazionalizzazione si comporta come dovrebbe, data la teoria del costrutto prescelta L’approccio è di tipo relazionale Assumiamo che l’operazionalizzazione debba funzionare in modo prevedibile in relazione ad altre operazionalizzazioni basate sulla teoria del costrutto prescelta

14 Tipi di Validità di costrutto
Validità dell’ operazionalizzazione Validità di facciata Validità di contenuto Validità strutturale Validità in relazione a un criterio

15 Validità dell’ operazionalizzazione
1 - Validità di facciata L’operazionalizzazione appare come una buona traduzione del costrutto. Si può rendere più sistematica usando un campione selezionato di giudici esperti che ne valutano l’appropriatezza.

16 Validità dell’ operazionalizzazione
2 - Validità di contenuto L’operazionalizzazione viene valutata rispetto a domini di contenuto rilevanti del costrutto. L’insieme degli items che compongono la scala è necessario e sufficiente a evidenziare il costrutto scelto. Il criterio di valutazione è il costrutto stesso. Occorre verificare la campionatura degli items, la proporzione per area e l’accordo fra esperti sulla rappresentatività degli items.

17 Validità dell’ operazionalizzazione
3 - Validità strutturale Grado in cui il test misura una struttura teorica o un tratto. Metodo dell’analisi fattoriale

18 Metodo dell’analisi fattoriale
Dato un insieme di misure, l’analisi fattoriale si propone di verificare se tutte misurano sostanzialmente la stessa variabile psicologica o se invece ne misurano aspetti diversi identificabili con sottogruppi di misure Boncori L. Teorie e tecniche dei test. 1993, Torino: Bollati Boringhieri

19 Metodo dell’analisi fattoriale - 1
Analisi fattoriale esplorativa E’ usata a scopo esplorativo per formulare ipotesi Analisi fattoriale esplorativa Si cerca di interpretare i raggruppamenti in modo da fondare un’ipotesi più precisa Raggruppamenti di variabili Esempio: metodo delle componenti principali

20 Metodo dell’analisi fattoriale - 2
Analisi fattoriale confermativa E’ usata a scopo di verifica di un’ipotesi teorica precedentemente definita Si verifica se i risultati dell’analisi fattoriale sono congruenti con l’ipotesi ossia se la confermano Si formula un’ipotesi su come si raggrupperanno le variabili in base alla teoria del costrutto

21 Tipi di Validità di costrutto
Validità dell’ operazionalizzazione Validità in relazione a un criterio Validità predittiva Validità concorrente Validità congruente Validità convergente / divergente Validità discriminante / differenziale

22 Validità rispetto a un criterio
Valuta la prestazione dell’operazionalizzazione rispetto ad un criterio. Serve per predire come funzionerà l’operalizzazione in base alla teoria da cui è derivato il costrutto. La differenza fra vari tipi di validità rispetto a un criterio dipende dal criterio usato come standard per il giudizio.

23 Tipi di validità di criterio - 1 (Anastasi, 1976)
1 - Predittiva Relazione tra test e criterio (outcome) a distanza di tempo. Capacità di predire (regressione) qualcosa (criterio-outcome) che il test deve essere in grado di predire secondo la teoria. Criterio Comportamento importante rispetto alla misura da validare ed esterno ad essa. 2 - Concorrente Relazione contestuale tra test e criterio. Correlazione del test con la misurazione simultanea, agli stessi soggetti, di una variabile-criterio.

24 Tipi di validità di criterio - 2
3 - Congruente Congruenza (correlazione) tra risultati al test e risultati ad altri test paralleli che misurano lo stesso costrutto. 4 - Convergente / Divergente Grado in cui il test correla con altri che misurano costrutti simili e non correla con altri che misurano costrutti diversi. Convergenza Le misure che devono essere correlate sono in realtà correlate Divergenza Le misure che non devono essere correlate non lo sono in realtà

25 Tipi di validità di criterio - 3
5 - Discriminante / Differenziale Capacità di discriminare fra gruppi contrapposti, che teoricamente dovrebbero avere risultati opposti. Capacità di differenziare fra gruppi simili, che teoricamente dovrebbero avere risultati diversi.

26 Attendibilità Si riferisce alla qualità della misurazione in termini di stabilità nel tempo e di consistenza interna Non si può calcolare esattamente, ma solo stimare Occorre integrare l’attendibilità con la validità

27 Attendibilità Attendibilità test-retest
Attendibilità come coerenza interna Attendibilità per forme parallele

28 Attendibilità TEST-RETEST
E’ un indicatore della stabilità del test. Si misura correlando i punteggi degli stessi soggetti allo stesso test ripetuto due volte. Una buona correlazione si avvicina 1 (0,80) (es. una correlazione di 0,70 indica 49% di concordanza tra i due punteggi)

29 Errori di misurazione Condizioni dei soggetti Caratteristiche del test
Istruzioni scadenti Codifica soggettiva Manipolabilità della risposta Fattori di distorsione Intervallo di tempo Livello di difficoltà Campionamento dei soggetti Dimensione del campione (almeno 100)

30 Attendibilità come COERENZA INTERNA
Grado in cui tutte le parti del test misurano la stessa variabile. Correlazione item-totale Omogeneità degli items Attendibilità split-half Alpha di Cronbach

31 α = k (1 – Σ σ2i) Correlazione item-totale Omogeneità degli items
Correlazione tra punteggio di ciascun item e punteggio totale al test Omogeneità degli items Correlazione media degli item fra loro Alpha di Cronbach - Formula 20 di Kuder-Richarsdson, KR20 Covarianza media fra gli item α = k (1 – Σ σ2i) k-1 σ2t K = n° item Σ σ2i = somma varianze item Σ2t = varianza totale test

32 Attendibilità split-half
- Divisione del test a metà Correlazione delle due metà del test fra loro (item pari – item dispari) Legame attendibilità-lunghezza (10 item) Formula profetica Spearman-Brown rkk = kr(media) ij 1 + (k – 1) r(media)ij rkk = attendibilità K = n° item r(media) ij = correlazione media fra item

33 Attendibilità per FORME PARALLELE
Correlazione tra forme parallele dello stesso test (r = 0,90) Relazione fra gli items di due test intesi come campioni casuali di uno stesso dominio

34 Attendibilità - sintesi
Test-retest Correlazione degli item di un test somministrati in 2 occasioni Coerenza interna Correlazione degli item all’interno di un test Forme parallele Correlazione di 2 campioni di item presi dallo stesso dominio di item