La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

Caratteristiche psicometriche dei test Validità Attendibilità Analisi degli items Teorie e tecniche dei test- 2003 Prof. Paola Gremigni.

Presentazioni simili


Presentazione sul tema: "Caratteristiche psicometriche dei test Validità Attendibilità Analisi degli items Teorie e tecniche dei test- 2003 Prof. Paola Gremigni."— Transcript della presentazione:

1 Caratteristiche psicometriche dei test Validità Attendibilità Analisi degli items Teorie e tecniche dei test Prof. Paola Gremigni

2 Validità Teoria Costrutto Operazionalizzazione Osservazione Validità esterna generalizzabilità delle conclusioni Validità interna legame causale tra osservazioni e intervento Validità di costrutto ho osservato ciò che volevo osservare Intervento

3 Validità esterna Si riferisce alla verità approssimata di proposizioni, inferenze e conclusioni Coinvolge la generalizzabilità. E il grado in cui le conclusioni dello studio possono essere considerate valide per altre persone in altre situazioni e in altri momenti

4 Validità interna –1 Si riferisce alla verità approssimata di inferenze che riguardano relazioni causali ossia relazioni causa - effetto E rilevante solo in studi che cercano di dimostrare un legame causale (es. valutazione delleffetto di un intervento terapeutico, educativo ecc.) In tali contesti vogliamo concludere che gli effetti o cambiamenti osservati sono attribuibili allintervento (causa) e non ad altre possibili cause

5 Validità interna – 2 Possiamo pensare alla validità interna come a un concetto di zero generalizzabilità La validità interna significa che abbiamo evidenze del fatto che ciò che abbiamo fatto nello studio (intervento) ha causato ciò che abbiamo osservato succedere (outcome) Non dice che ciò che abbiamo fatto e osservato era ciò che volevamo fare o osservare (validità di costrutto)

6 Validità di costrutto Costrutto Un costrutto psicologico è unidea teorica elaborata per spiegare e organizzare alcuni aspetti delle conoscenze esistenti (APA, 1974) I costrutti vengono formulati derivandoli da teorie psicologiche o da osservazioni empiriche

7 Validità di costrutto o Validità rispetto alla funzione Qui il concetto di validità di costrutto viene usato per identificare la validità di ogni operazionalizzazione Ogni volta che traduciamo un costrutto in una funzione o realtà operativa dobbiamo interrogarci su quanto bene abbiamo fatto questa traduzione Trochim W. (2000). The Research Methods Knowledge Base. Atomic Dog Pub., Cincinnati, OH La validità di costrutto è la verità approssimata della conclusione che loperazionalizzazione fatta riflette accuratamente il costrutto su cui si basa

8 Idea della Validità di costrutto Teoria Cosa abbiamo in mente Costrutto Programma di misurazione OsservazioniCosa vediamo Procedure di osservazione Una definizione concettuale precisa di cosa abbiamo in mente

9 Idea della Validità di costrutto La validità di costrutto è una misura (assessment) di quanto bene abbiamo tradotto le nostre idee (teoria) in concetti precisi (costrutto) e in programmi di misura (procedure di misurazione) Il suo scopo è evitare gli errori di etichettamento (labeling) dei costrutti e di interpretazione dei risultati delle ricerche

10 Apertura Espression e del sé Fornire evidenze che i dati sostengono la visione teorica delle relazioni fra costrutti simili Definire il costrutto che vogliamo operazionalizzare allinterno di una rete di significati (semantica) ossia dire a cosa è più o meno simile come significato Fiducia in sé Valore del sé Criteri per la Validità di costrutto Fornire evidenze dirette che loperazionalizzazione del costrutto è sotto il nostro controllo Autostima Esempio

11 Tipi di Validità di costrutto Validità dell operazionalizzazione* 1.Validità di facciata 2.Validità di contenuto 3.Validità strutturale Validità in relazione a un criterio 1.Validità predittiva 2.Validità concorrente 3.Validità congruente 4.Validità convergente / divergente 5.Validità discriminante / differenziale * Trochim (2000): Validità di traduzione (Translation Validity)

12 Validità dell operazionalizzazione La validità delloperazionalizzazione verifica se loperazionalizzazione è una buona traduzione del costrutto Lapproccio è legato al processo di definizione Assumiamo di avere una definizione ben dettagliata del costrutto e verifichiamo loperazionalizzazione rispetto ad esso

13 Validità in relazione ad un criterio La validità in relazione a un criterio verifica se loperazionalizzazione si comporta come dovrebbe, data la teoria del costrutto prescelta Lapproccio è di tipo relazionale Assumiamo che loperazionalizzazione debba funzionare in modo prevedibile in relazione ad altre operazionalizzazioni basate sulla teoria del costrutto prescelta

14 Tipi di Validità di costrutto Validità dell operazionalizzazione 1.Validità di facciata 2.Validità di contenuto 3.Validità strutturale Validità in relazione a un criterio

15 Validità dell operazionalizzazione 1 - Validità di facciata Loperazionalizzazione appare come una buona traduzione del costrutto. Si può rendere più sistematica usando un campione selezionato di giudici esperti che ne valutano lappropriatezza.

16 Validità dell operazionalizzazione 2 - Validità di contenuto Loperazionalizzazione viene valutata rispetto a domini di contenuto rilevanti del costrutto. Linsieme degli items che compongono la scala è necessario e sufficiente a evidenziare il costrutto scelto. Il criterio di valutazione è il costrutto stesso. Occorre verificare la campionatura degli items, la proporzione per area e laccordo fra esperti sulla rappresentatività degli items.

17 Validità dell operazionalizzazione 3 - Validità strutturale Grado in cui il test misura una struttura teorica o un tratto. Metodo dellanalisi fattoriale

18 Dato un insieme di misure, lanalisi fattoriale si propone di verificare se tutte misurano sostanzialmente la stessa variabile psicologica o se invece ne misurano aspetti diversi identificabili con sottogruppi di misure Boncori L. Teorie e tecniche dei test. 1993, Torino: Bollati Boringhieri

19 Metodo dellanalisi fattoriale - 1 Analisi fattoriale esplorativa E usata a scopo esplorativo per formulare ipotesi Esempio: metodo delle componenti principali Si cerca di interpretare i raggruppamenti in modo da fondare unipotesi più precisa Raggruppamenti di variabili Analisi fattoriale esplorativa

20 Metodo dellanalisi fattoriale - 2 Analisi fattoriale confermativa E usata a scopo di verifica di unipotesi teorica precedentemente definita Si formula unipotesi su come si raggrupperanno le variabili in base alla teoria del costrutto Si verifica se i risultati dellanalisi fattoriale sono congruenti con lipotesi ossia se la confermano

21 Tipi di Validità di costrutto Validità dell operazionalizzazione Validità in relazione a un criterio 1.Validità predittiva 2.Validità concorrente 3.Validità congruente 4.Validità convergente / divergente 5.Validità discriminante / differenziale

22 Validità rispetto a un criterio Valuta la prestazione delloperazionalizzazione rispetto ad un criterio. Serve per predire come funzionerà loperalizzazione in base alla teoria da cui è derivato il costrutto. La differenza fra vari tipi di validità rispetto a un criterio dipende dal criterio usato come standard per il giudizio.

23 Tipi di validità di criterio - 1 (Anastasi, 1976) 1 - Predittiva Relazione tra test e criterio (outcome) a distanza di tempo. Capacità di predire (regressione) qualcosa (criterio-outcome) che il test deve essere in grado di predire secondo la teoria. 2 - Concorrente Relazione contestuale tra test e criterio. Correlazione del test con la misurazione simultanea, agli stessi soggetti, di una variabile-criterio. Criterio Comportamento importante rispetto alla misura da validare ed esterno ad essa.

24 Tipi di validità di criterio Convergente / Divergente Grado in cui il test correla con altri che misurano costrutti simili e non correla con altri che misurano costrutti diversi. 3 - Congruente Congruenza (correlazione) tra risultati al test e risultati ad altri test paralleli che misurano lo stesso costrutto. Convergenza Le misure che devono essere correlate sono in realtà correlate Divergenza Le misure che non devono essere correlate non lo sono in realtà

25 Tipi di validità di criterio Discriminante / Differenziale Capacità di discriminare fra gruppi contrapposti, che teoricamente dovrebbero avere risultati opposti. Capacità di differenziare fra gruppi simili, che teoricamente dovrebbero avere risultati diversi.

26 Attendibilità Si riferisce alla qualità della misurazione in termini di stabilità nel tempo e di consistenza interna Non si può calcolare esattamente, ma solo stimare Occorre integrare lattendibilità con la validità

27 Attendibilità Attendibilità test-retest Attendibilità come coerenza interna Attendibilità per forme parallele

28 Attendibilità TEST-RETEST E un indicatore della stabilità del test. Si misura correlando i punteggi degli stessi soggetti allo stesso test ripetuto due volte. Una buona correlazione si avvicina 1 (0,80) (es. una correlazione di 0,70 indica 49% di concordanza tra i due punteggi)

29 Errori di misurazione Condizioni dei soggetti Caratteristiche del test –Istruzioni scadenti –Codifica soggettiva –Manipolabilità della risposta Fattori di distorsione –Intervallo di tempo –Livello di difficoltà –Campionamento dei soggetti –Dimensione del campione (almeno 100)

30 Attendibilità come COERENZA INTERNA Grado in cui tutte le parti del test misurano la stessa variabile. –Correlazione item-totale –Omogeneità degli items –Attendibilità split-half –Alpha di Cronbach

31 Correlazione item-totale Correlazione tra punteggio di ciascun item e punteggio totale al test Omogeneità degli items Correlazione media degli item fra loro Alpha di Cronbach - Formula 20 di Kuder- Richarsdson, KR20 Covarianza media fra gli item α = k (1 – Σ σ 2 i ) k-1 σ 2 t K = n° item Σ σ 2 i = somma varianze item Σ 2 t = varianza totale test

32 Attendibilità split-half - Divisione del test a metà -Correlazione delle due metà del test fra loro (item pari – item dispari) -Legame attendibilità-lunghezza (10 item) Formula profetica Spearman-Brown rkk = kr(media) ij 1 + (k – 1) r(media) ij rkk = attendibilità K = n° item r(media) ij = correlazione media fra item

33 Attendibilità per FORME PARALLELE Correlazione tra forme parallele dello stesso test (r = 0,90) Relazione fra gli items di due test intesi come campioni casuali di uno stesso dominio

34 Attendibilità - sintesi Test-retest –Correlazione degli item di un test somministrati in 2 occasioni Coerenza interna –Correlazione degli item allinterno di un test Forme parallele –Correlazione di 2 campioni di item presi dallo stesso dominio di item


Scaricare ppt "Caratteristiche psicometriche dei test Validità Attendibilità Analisi degli items Teorie e tecniche dei test- 2003 Prof. Paola Gremigni."

Presentazioni simili


Annunci Google