La costruzione delle domande INVALSI di matematica: un delicato equilibrio fra analisi qualitativa e quantitativa Secondaria di I grado - Livello 08 R. Garuti Padova, 4 aprile 2017

Prova sul campo Fascicolo definitivo La costruzione di un fascicolo di Matematica Produzione delle domande Selezione e classificazione Costruzione dei fascicoli per il pre-test Prova sul campo Analisi statistica Analisi didattica Fascicolo definitivo

Prova sul campo Fascicolo definitivo La costruzione di un fascicolo di Matematica Produzione delle domande Selezione e classificazione Costruzione dei fascicoli per il pre-test Prova sul campo Analisi statistica Analisi didattica Fascicolo definitivo

Un delicato equilibrio Analisi didattica Analisi statistica

Un delicato equilibrio Analisi didattica Analisi statistica QDR Indicazioni Nazionali Ricerca in Didattica della Matematica - Analisi descrittiva classica - IRT

Due domande importanti In che modo l’analisi statistica delle proprietà psicometriche di una domanda può favorire un progressivo miglioramento nella sua formulazione ? Come trovare il giusto equilibrio nella produzione di buone domande da punto di vista psicometrico e significative per l’apprendimento della matematica?

Domanda adatta Domanda non adatta Scopo principale Scopo della presentazione è quello di mostrare attraverso alcuni esempi alcune caratteristiche che rendono una domanda adatta per una prova INVALSI, secondo le due lenti analisi didattica e analisi statistica. Domanda bella Domanda brutta Domanda adatta Domanda non adatta

Le domande INVALSI di matematica Non è detto, infatti, che una domanda «ricca» e interessante dal punto di vista didattico sia adatta a una prova INVALSI. STANDARDIZZATA STANDARDIZZATA Permette il confronto e la comparazione diretta dei dati La correzione avviene secondo un protocollo prestabilito

La validità del quesito INVALSI Risulta fondamentale valutare l’adeguatezza del quesito in termini di misurazione effettiva dell’oggetto di valutazione. Il quesito è coerente con lo scopo della domanda (question intent)? Il quesito è coerente con il QdR INVALSI? Il quesito ha buone proprietà psicometriche? L’analisi statistica rivela elementi discrepanti?

Perché il pre-test ? Il pre-test è una prova sul campo. Il suo scopo principale è quello di valutare la validità e l’affidabilità delle domande. per la Prova Nazionale L08 dal 2015 si effettuano due pre-test, alla luce dei risultati dei pre-test, viene poi composto il fascicolo per l’indagine principale.

La somministrazione del pre-test Viene estratto un campione su base nazionale dove incaricati dell’INVALSI somministrano le prove e raccolgono informazioni/osservazioni sull’andamento della prova.

- indice di discriminatività IRT: - indice di FIT L’analisi statistica Teoria classica: - indice di discriminatività IRT: - indice di FIT - indice di difficoltà - analisi delle curve caratteristiche

Analisi statistica: la teoria classica L’indice di discriminatività della domanda L’indice di discriminatività dei distrattori

L’indice di discriminatività Indica la capacità di ciascuna domanda di distinguere i diversi livelli di abilità degli studenti utilizzando come stima dell’abilità il punteggio alla prova. Corrisponde al coefficiente di correlazione biseriale ed esprime la correlazione tra i risultati di una domanda e il punteggio totale della prova.

L’analisi dei distrattori Il coefficiente di correlazione biseriale viene utilizzato anche per indagare l’andamento dei distrattori. In una domanda che funzioni bene tale indice deve essere positivo per la risposta corretta e negativo per gli altri distrattori. Indica la capacità di ciascun distrattore di intercettare i diversi livelli di abilità degli studenti.

Analisi statistica: IRT Stima probabilistica: uno studente con un certo livello di abilità ha una probabilità maggiore di rispondere in maniera corretta a una domanda rispetto un altro studente con livello di abilità inferiore. La probabilità di rispondere correttamente a una domanda decresce per livelli di abilità bassi

Analisi statistica: IRT L’indice di FIT; L’indice di difficoltà; La curva caratteristica della domanda.

L’indice di FIT Garantisce l’invarianza della misurazione; cioè la congruenza tra i dati osservati e gli assunti teorici del modello: studente con abilità maggiore ha maggiore probabilità di superare una domanda rispetto studente con abilità minore; uno studente dovrebbe avere maggior probabilità di superare un item facile rispetto un item difficile

La valutazione del FIT Le soglie accettabili su un grande campione non seguono delle regole precise, ma si rifanno alla pratica empirica. L’INVALSI ritiene accettabili le domande con un indice di FIT compreso tra 0,80 e 1,20. Tanto più l’indice è approssimato a 1, tanto più i dati osservati sono congruenti con il modello teorico.

L’indice di difficoltà IRT Esprime il livello di difficoltà della domanda in modo indipendente dall’abilità degli studenti che hanno affrontato la prova. L’indice è espresso con la stessa unità di misura (logit) dell’abilità degli studenti. La difficoltà dell’item e l’abilità dello studente sono indipendenti ma confrontabili Importante per pre-test

La rappresentazione grafica Attraverso la rappresentazione grafica, è possibile identificare le criticità dell’item, in termini di andamento della risposta corretta e, nel caso di domande a scelta multipla, l’andamento dei distrattori.

La rappresentazione grafica In ordinata (y) è riportata la probabilità di scegliere l’opzione in funzione dell’abilità (in ascissa - x). Ogni curva rappresenta un’opzione di risposta, quella corretta è rappresentata in rosso

Alcuni esempi 1/3 Domanda adeguata L’opzione corretta (in rosso) è sempre crescente al crescere dell’abilità. Esistono inoltre valori di abilità bassi per cui sono preferibili le altre opzioni che tendono a decrescere al crescere dell’abilita. Da un certo valore di abilità in poi è sempre preferibile l’opzione corretta

Alcuni esempi 2/3 Domanda da rivedere L’opzione corretta cresce e poi cala per livelli di abilità più elevati pur rimanendo preferibile. Due opzioni sono molto deboli.

Alcuni esempi 3/3 Domanda non adeguata L’opzione corretta è sempre preferibile. I distrattori hanno poca probabilità di essere scelti, dati qualsiasi livello di abilità

Domande modificate dopo il pre-test e accettate ESEMPI Domande modificate dopo il pre-test e accettate 2 Domanda modificata dopo il pre-test ed eliminata 3 Domanda non adeguata

Prima del pre-test AUTORE

Prima del pre-test MODIFICATA dal GRUPPO di LIVELLO

Prima del pre-test SCOPO: verificare che a parità di volume l’altezza del livello di acqua è inversamente proporzionale all’area di base ANALISI: Contenitori con area di base diversa e altezze diverse Nelle opzioni è presente la giustificazione

Analisi statistica del pre-test Indice di discriminazione (>0,20) Fit: relazione fra dato osservato e dato ipotizzato =1 Numero studenti Difficoltà: -3,+3 FIT alto (1,09): l’andamento osservato della domanda non si adatta completamente al modello teorico ipotizzato Domanda difficile (1,3) e poco discriminante (0,11) Problemi di significatività del terzo distrattore Correlazione punto biseriale. Negativa per le risposte sbagliate e positiva per quella giusta 30

Curve caratteristiche corretta

Si focalizza lo scopo della domanda Domanda modificata Analisi qualitativa dei risultati: Il contenuto matematico è rilevante: significato di volume Si cambiano i contenitori (stessa altezza) Si modifica il testo della domanda (livello vs altezza) Si tolgono le giustificazioni Si focalizza lo scopo della domanda

Discriminatività (Item-Rest Cor) da 0,11 a 0,25 Risultati dell’indagine principale Fit migliorato (da 1,09 a 1,03) Discriminatività (Item-Rest Cor) da 0,11 a 0,25 Difficoltà sulla scala di Rasch da 1,3 a 1,66 (più difficile) ma da 9,77% a 19,58%

PRIMA DOPO

dal linguaggio verbale al linguaggio matematico Prima del pre-test SCOPO: dal linguaggio verbale al linguaggio matematico

Risultati pre-test 1

Domanda modificata La modifica riguarda il testo della domanda. Le opzioni sono cambiate: 5 è sempre all’inizio Lo scopo rimane lo stesso

DOPO Risultati pre-test 2 PRIMA

Risultati pre-test 2 DOPO PRIMA

2 Domanda bocciata SCOPO: individuare una variabile espressa in linguaggio verbale all’interno di equazione risolutiva di un problema

Indice di discriminazione (>0,20) Il primo pre-test Numero studenti

Domanda modificata MODIFICA: viene modificata la domanda

Fit: relazione fra dato osservato e dato ipotizzato =1 Indice di discriminazione (>0,20) Il secondo pre-test

Domanda modificata La vera difficoltà è interpretare il numero di adulti in funzione del numero x di bambini. Lo scopo della domanda non è ben focalizzato!!!

Domanda non adeguata per una prova standardizzata 3 SCOPO: Utilizzare l’inverso del teorema di Pitagora in un contesto reale

CHE TIPO DI RISPOSTE SONO STATE FORNITE? Il pre-test

Alcune risposte fornite Domanda interessante per una attività in classe ma non adeguata per una prova standardizzata

Conclusioni Analisi didattica Analisi statistica

Conclusioni Entrambe le prospettive sono indispensabili per la costruzione di una buona prova; L’analisi quantitativa va intesa a supporto dell’analisi qualitativa; I risultati dei pre-test evidenziano che spesso un mal funzionamento in termini psicometrici indica un problema nella definizione dello scopo della domanda; Un quesito adatto per una rilevazione INVALSI deve sempre partire da un’attenta e precisa definizione del question intent.

Il data base GESTINV Uno strumento per gli insegnanti Rossella Garuti

3. Il data base GESTINV Rossella Garuti

Il data base GESTINV Rossella Garuti

Il data base GESTINV Analisi di ogni item Rossella Garuti

Il data base GESTINV Rossella Garuti

Il data base GESTINV Rossella Garuti

Il data base GESTINV Rossella Garuti

Grazie per l’attenzione!