Corso di formazione ADi Castelfranco Emilia, 28 maggio 2008 METODI E TECNICHE PER LA VALUTAZIONE DELLE PROVE OGGETTIVE Roberto Ricci Agenzia Nazionale per lo Sviluppo dell’Autonomia Scolastica (ex I.R.R.E. – E.R.) ricci@irreer.it http://www.irreer.it/~ricci/
Statisticamente tutto si spiega, personalmente tutto si complica. (Daniel Pennac, Diario di scuola, 2008)
Il contesto teorico di riferimento
Misurazione delle conoscenze Scelta e validazione dello strumento di valutazione questionario Trasformazione della misurazione punteggio su scala arbitraria
Caratteristiche dello strumento di misurazione Tutte le domande (o loro sottogruppi) devono misurare lo stesso costrutto latente dimensione dello spazio latente Delle domande occorre verificare le proprietà psicometriche calibrazione Ogni tipologia di domanda implica un modello statistico ad hoc per la sua valutazione
La valutazione statistica dei risultati Item Response Theory: La performance di un soggetto è espressa in funzione di una (o più) abilità latente Definizione e specificazione di un modello matematico che esprime la performance in funzione dell’abilità latente Espressione numerica dell’abilità e delle caratteristiche delle domande Comparabilità dei risultati in termini di abilità Indipendenza dal campione
Le curve di risposta nel modello multiple choice (Thissen e Steinberg, 1984) Validazione di una domanda analisi della risposta corretta e dei distrattori
La valutazione statistica dei risultati Item Analysis classica: La performance di un soggetto è espressa in funzione del numero delle risposte corrette Difficoltà di una domanda Potere discriminante di una domanda Attendibilità (coerenza) della prova Il ruolo dei distrattori
La costruzione di una misura in campo cognitivo
I quattro passi nella costruzione di una prova oggettiva La mappa concettuale La formulazione delle domande Lo “spazio” degli esiti Il modello di misura
La mappa concettuale Aspetto solitamente sottovalutato (!) Definizione del comportamento “teorico” del rispondente Le risposte possibili
La formulazione delle domande Il formato Standardizzate: A risposta chiusa A risposta aperta Corrispondenza tra ciascuna domanda e l’oggetto di misurazione
Lo spazio degli esiti Risposte dicotomiche Risposte politomiche Risposte “ordinali” Lo schema di attribuzione del punteggio Il punteggio e la valutazione per livelli
Il modello di misura Strumenti statistici: La misurazione Media aritmetica Deviazione standard La misurazione Difficoltà Potere discriminante Attendibilità
Caratteristiche della media aritmetica E’ applicabile solo a caratteri quantitativi Si ipotizza l’equidistribuzione del carattere oggetto d’interesse Ogni valore della variabile deve essere pesato con la sua frequenza (assoluta o relativa) La media aritmetica “risente” di tutti i valori del carattere considerato.
Gli scostamenti semplici Gli scostamenti semplici sono dati dalla differenza di ciascun valore assunto dal carattere oggetto d’interesse e di un valor medio
Alcune proprietà degli scostamenti semplici Il segno di ciascun scarto indica se un’unità statistica è plusvariante o minusvariante rispetto al valor medio considerato La media degli scostamenti semplici dalla media aritmetica è uguale a zero (!!)
Esempio Punteggio Frequenza Scostamenti semplici 25 15 -16,91 30 18 -11,91 42 32 0,09 52 21 10,09 60 14 18,09 Totale 100
Gli scostamenti quadratici L’elevamento al quadrato permette di eliminare il “problema dei segni”, ma pone un problema di metrica La media degli scostamenti quadratici (varianza) è un indicatore di variabilità
Scostamenti quadratici Esempio Punteggio Frequenza Scostamenti quadratici 25 15 4289,22 30 18 2553,27 42 32 0,26 52 21 2137,97 60 14 4581,47 Totale 100
Gli scostamenti quadratici Varianza Deviazione standard
La ricerca OCSE-PISA (slide tratte da www.istruzioneer.it)
Grazie per l’attenzione ricci@irreer.it http://www.irreer.it/~ricci/