Corso di formazione ADi

Presentazione sul tema: "Corso di formazione ADi"— Transcript della presentazione:

1 Corso di formazione ADi
Castelfranco Emilia, 28 maggio 2008 METODI E TECNICHE PER LA VALUTAZIONE DELLE PROVE OGGETTIVE Roberto Ricci Agenzia Nazionale per lo Sviluppo dell’Autonomia Scolastica (ex I.R.R.E. – E.R.)

2 Statisticamente tutto si spiega, personalmente tutto si complica.
(Daniel Pennac, Diario di scuola, 2008)

3 Il contesto teorico di riferimento

4 Misurazione delle conoscenze
Scelta e validazione dello strumento di valutazione questionario Trasformazione della misurazione punteggio su scala arbitraria

5 Caratteristiche dello strumento di misurazione
Tutte le domande (o loro sottogruppi) devono misurare lo stesso costrutto latente dimensione dello spazio latente Delle domande occorre verificare le proprietà psicometriche calibrazione Ogni tipologia di domanda implica un modello statistico ad hoc per la sua valutazione

6 La valutazione statistica dei risultati
Item Response Theory: La performance di un soggetto è espressa in funzione di una (o più) abilità latente Definizione e specificazione di un modello matematico che esprime la performance in funzione dell’abilità latente Espressione numerica dell’abilità e delle caratteristiche delle domande Comparabilità dei risultati in termini di abilità Indipendenza dal campione

7 Le curve di risposta nel modello multiple choice (Thissen e Steinberg, 1984)
Validazione di una domanda analisi della risposta corretta e dei distrattori

8 La valutazione statistica dei risultati
Item Analysis classica: La performance di un soggetto è espressa in funzione del numero delle risposte corrette Difficoltà di una domanda Potere discriminante di una domanda Attendibilità (coerenza) della prova Il ruolo dei distrattori

9 La costruzione di una misura in campo cognitivo

10 I quattro passi nella costruzione di una prova oggettiva
La mappa concettuale La formulazione delle domande Lo “spazio” degli esiti Il modello di misura

11 La mappa concettuale Aspetto solitamente sottovalutato (!)
Definizione del comportamento “teorico” del rispondente Le risposte possibili

12 La formulazione delle domande
Il formato Standardizzate: A risposta chiusa A risposta aperta Corrispondenza tra ciascuna domanda e l’oggetto di misurazione

13 Lo spazio degli esiti Risposte dicotomiche Risposte politomiche
Risposte “ordinali” Lo schema di attribuzione del punteggio Il punteggio e la valutazione per livelli

14 Il modello di misura Strumenti statistici: La misurazione
Media aritmetica Deviazione standard La misurazione Difficoltà Potere discriminante Attendibilità

15 Caratteristiche della media aritmetica
E’ applicabile solo a caratteri quantitativi Si ipotizza l’equidistribuzione del carattere oggetto d’interesse Ogni valore della variabile deve essere pesato con la sua frequenza (assoluta o relativa) La media aritmetica “risente” di tutti i valori del carattere considerato.

16 Gli scostamenti semplici
Gli scostamenti semplici sono dati dalla differenza di ciascun valore assunto dal carattere oggetto d’interesse e di un valor medio

17 Alcune proprietà degli scostamenti semplici
Il segno di ciascun scarto indica se un’unità statistica è plusvariante o minusvariante rispetto al valor medio considerato La media degli scostamenti semplici dalla media aritmetica è uguale a zero (!!)

18 Esempio Punteggio Frequenza Scostamenti semplici 25 15 -16,91 30 18
-11,91 42 32 0,09 52 21 10,09 60 14 18,09 Totale 100

19 Gli scostamenti quadratici
L’elevamento al quadrato permette di eliminare il “problema dei segni”, ma pone un problema di metrica La media degli scostamenti quadratici (varianza) è un indicatore di variabilità

20 Scostamenti quadratici
Esempio Punteggio Frequenza Scostamenti quadratici 25 15 4289,22 30 18 2553,27 42 32 0,26 52 21 2137,97 60 14 4581,47 Totale 100

21 Gli scostamenti quadratici
Varianza Deviazione standard

22 La ricerca OCSE-PISA (slide tratte da www.istruzioneer.it)

23 Grazie per l’attenzione