Caratteristiche psicometriche dei test Validità Attendibilità Analisi degli items Teorie e tecniche dei test- 2003 Prof. Paola Gremigni

Operazionalizzazione Validità Validità esterna generalizzabilità delle conclusioni Teoria Costrutto Validità di costrutto ho osservato ciò che volevo osservare Operazionalizzazione Validità interna legame causale tra osservazioni e intervento Intervento Osservazione

Validità esterna Si riferisce alla verità approssimata di proposizioni, inferenze e conclusioni Coinvolge la generalizzabilità. E’ il grado in cui le conclusioni dello studio possono essere considerate valide per altre persone in altre situazioni e in altri momenti

Validità interna –1 Si riferisce alla verità approssimata di inferenze che riguardano relazioni causali ossia relazioni causa - effetto E’ rilevante solo in studi che cercano di dimostrare un legame causale (es. valutazione dell’effetto di un intervento terapeutico, educativo ecc.) In tali contesti vogliamo concludere che gli effetti o cambiamenti osservati sono attribuibili all’intervento (causa) e non ad altre possibili cause

Validità interna – 2 Possiamo pensare alla validità interna come a un concetto di “zero generalizzabilità” La validità interna significa che abbiamo evidenze del fatto che ciò che abbiamo fatto nello studio (intervento) ha causato ciò che abbiamo osservato succedere (outcome) Non dice che ciò che abbiamo fatto e osservato era ciò che volevamo fare o osservare (validità di costrutto)

Validità di costrutto Costrutto Un costrutto psicologico è un’idea teorica elaborata per spiegare e organizzare alcuni aspetti delle conoscenze esistenti (APA, 1974) I costrutti vengono formulati derivandoli da teorie psicologiche o da osservazioni empiriche

Validità di costrutto o Validità rispetto alla funzione Qui il concetto di validità di costrutto viene usato per identificare la validità di ogni operazionalizzazione Ogni volta che traduciamo un costrutto in una funzione o realtà operativa dobbiamo interrogarci su “quanto bene” abbiamo fatto questa traduzione La validità di costrutto è la verità approssimata della conclusione che l’operazionalizzazione fatta riflette accuratamente il costrutto su cui si basa Trochim W. (2000). The Research Methods Knowledge Base. Atomic Dog Pub., Cincinnati, OH

Idea della Validità di costrutto Teoria Cosa abbiamo in mente Costrutto Una definizione concettuale precisa di cosa abbiamo in mente Programma di misurazione Procedure di osservazione Osservazioni Cosa vediamo

Idea della Validità di costrutto La validità di costrutto è una misura (assessment) di “quanto bene” abbiamo tradotto le nostre idee (teoria) in concetti precisi (costrutto) e in programmi di misura (procedure di misurazione) Il suo scopo è evitare gli errori di etichettamento (labeling) dei costrutti e di interpretazione dei risultati delle ricerche

Criteri per la Validità di costrutto Esempio Definire il costrutto che vogliamo operazionalizzare all’interno di una rete di significati (semantica) ossia dire a cosa è più o meno simile come significato Valore del sé Espressione del sé Autostima Fornire evidenze dirette che l’operazionalizzazione del costrutto è sotto il nostro controllo Apertura Fiducia in sé Fornire evidenze che i dati sostengono la visione teorica delle relazioni fra costrutti simili

Tipi di Validità di costrutto Validità dell’ operazionalizzazione* Validità di facciata Validità di contenuto Validità strutturale Validità in relazione a un criterio Validità predittiva Validità concorrente Validità congruente Validità convergente / divergente Validità discriminante / differenziale * Trochim (2000): Validità di traduzione (Translation Validity)

Validità dell’ operazionalizzazione La validità dell’operazionalizzazione verifica se l’operazionalizzazione è una buona traduzione del costrutto L’approccio è legato al processo di definizione Assumiamo di avere una definizione ben dettagliata del costrutto e verifichiamo l’operazionalizzazione rispetto ad esso

Validità in relazione ad un criterio La validità in relazione a un criterio verifica se l’operazionalizzazione si comporta come dovrebbe, data la teoria del costrutto prescelta L’approccio è di tipo relazionale Assumiamo che l’operazionalizzazione debba funzionare in modo prevedibile in relazione ad altre operazionalizzazioni basate sulla teoria del costrutto prescelta

Tipi di Validità di costrutto Validità dell’ operazionalizzazione Validità di facciata Validità di contenuto Validità strutturale Validità in relazione a un criterio

Validità dell’ operazionalizzazione 1 - Validità di facciata L’operazionalizzazione appare come una buona traduzione del costrutto. Si può rendere più sistematica usando un campione selezionato di giudici esperti che ne valutano l’appropriatezza.

Validità dell’ operazionalizzazione 2 - Validità di contenuto L’operazionalizzazione viene valutata rispetto a domini di contenuto rilevanti del costrutto. L’insieme degli items che compongono la scala è necessario e sufficiente a evidenziare il costrutto scelto. Il criterio di valutazione è il costrutto stesso. Occorre verificare la campionatura degli items, la proporzione per area e l’accordo fra esperti sulla rappresentatività degli items.

Validità dell’ operazionalizzazione 3 - Validità strutturale Grado in cui il test misura una struttura teorica o un tratto. Metodo dell’analisi fattoriale

Metodo dell’analisi fattoriale Dato un insieme di misure, l’analisi fattoriale si propone di verificare se tutte misurano sostanzialmente la stessa variabile psicologica o se invece ne misurano aspetti diversi identificabili con sottogruppi di misure Boncori L. Teorie e tecniche dei test. 1993, Torino: Bollati Boringhieri

Metodo dell’analisi fattoriale - 1 Analisi fattoriale esplorativa E’ usata a scopo esplorativo per formulare ipotesi Analisi fattoriale esplorativa Si cerca di interpretare i raggruppamenti in modo da fondare un’ipotesi più precisa Raggruppamenti di variabili Esempio: metodo delle componenti principali

Metodo dell’analisi fattoriale - 2 Analisi fattoriale confermativa E’ usata a scopo di verifica di un’ipotesi teorica precedentemente definita Si verifica se i risultati dell’analisi fattoriale sono congruenti con l’ipotesi ossia se la confermano Si formula un’ipotesi su come si raggrupperanno le variabili in base alla teoria del costrutto

Tipi di Validità di costrutto Validità dell’ operazionalizzazione Validità in relazione a un criterio Validità predittiva Validità concorrente Validità congruente Validità convergente / divergente Validità discriminante / differenziale

Validità rispetto a un criterio Valuta la prestazione dell’operazionalizzazione rispetto ad un criterio. Serve per predire come funzionerà l’operalizzazione in base alla teoria da cui è derivato il costrutto. La differenza fra vari tipi di validità rispetto a un criterio dipende dal criterio usato come standard per il giudizio.

Tipi di validità di criterio - 1 (Anastasi, 1976) 1 - Predittiva Relazione tra test e criterio (outcome) a distanza di tempo. Capacità di predire (regressione) qualcosa (criterio-outcome) che il test deve essere in grado di predire secondo la teoria. Criterio Comportamento importante rispetto alla misura da validare ed esterno ad essa. 2 - Concorrente Relazione contestuale tra test e criterio. Correlazione del test con la misurazione simultanea, agli stessi soggetti, di una variabile-criterio.

Tipi di validità di criterio - 2 3 - Congruente Congruenza (correlazione) tra risultati al test e risultati ad altri test paralleli che misurano lo stesso costrutto. 4 - Convergente / Divergente Grado in cui il test correla con altri che misurano costrutti simili e non correla con altri che misurano costrutti diversi. Convergenza Le misure che devono essere correlate sono in realtà correlate Divergenza Le misure che non devono essere correlate non lo sono in realtà

Tipi di validità di criterio - 3 5 - Discriminante / Differenziale Capacità di discriminare fra gruppi contrapposti, che teoricamente dovrebbero avere risultati opposti. Capacità di differenziare fra gruppi simili, che teoricamente dovrebbero avere risultati diversi.

Attendibilità Si riferisce alla qualità della misurazione in termini di stabilità nel tempo e di consistenza interna Non si può calcolare esattamente, ma solo stimare Occorre integrare l’attendibilità con la validità

Attendibilità Attendibilità test-retest Attendibilità come coerenza interna Attendibilità per forme parallele

Attendibilità TEST-RETEST E’ un indicatore della stabilità del test. Si misura correlando i punteggi degli stessi soggetti allo stesso test ripetuto due volte. Una buona correlazione si avvicina 1 (0,80) (es. una correlazione di 0,70 indica 49% di concordanza tra i due punteggi)

Errori di misurazione Condizioni dei soggetti Caratteristiche del test Istruzioni scadenti Codifica soggettiva Manipolabilità della risposta Fattori di distorsione Intervallo di tempo Livello di difficoltà Campionamento dei soggetti Dimensione del campione (almeno 100)

Attendibilità come COERENZA INTERNA Grado in cui tutte le parti del test misurano la stessa variabile. Correlazione item-totale Omogeneità degli items Attendibilità split-half Alpha di Cronbach

α = k (1 – Σ σ2i) Correlazione item-totale Omogeneità degli items Correlazione tra punteggio di ciascun item e punteggio totale al test Omogeneità degli items Correlazione media degli item fra loro Alpha di Cronbach - Formula 20 di Kuder-Richarsdson, KR20 Covarianza media fra gli item α = k (1 – Σ σ2i) k-1 σ2t K = n° item Σ σ2i = somma varianze item Σ2t = varianza totale test

Attendibilità split-half - Divisione del test a metà Correlazione delle due metà del test fra loro (item pari – item dispari) Legame attendibilità-lunghezza (10 item) Formula profetica Spearman-Brown rkk = kr(media) ij 1 + (k – 1) r(media)ij rkk = attendibilità K = n° item r(media) ij = correlazione media fra item

Attendibilità per FORME PARALLELE Correlazione tra forme parallele dello stesso test (r = 0,90) Relazione fra gli items di due test intesi come campioni casuali di uno stesso dominio

Attendibilità - sintesi Test-retest Correlazione degli item di un test somministrati in 2 occasioni Coerenza interna Correlazione degli item all’interno di un test Forme parallele Correlazione di 2 campioni di item presi dallo stesso dominio di item