La costruzione delle domande INVALSI di matematica: un delicato equilibrio fra analisi qualitativa e quantitativa Secondaria di I grado - Livello 08 R.

Presentazione sul tema: "La costruzione delle domande INVALSI di matematica: un delicato equilibrio fra analisi qualitativa e quantitativa Secondaria di I grado - Livello 08 R."— Transcript della presentazione:

1 La costruzione delle domande INVALSI di matematica: un delicato equilibrio fra analisi qualitativa e quantitativa Secondaria di I grado - Livello 08 R. Garuti Padova, 4 aprile 2017

2 Prova sul campo Fascicolo definitivo
La costruzione di un fascicolo di Matematica Produzione delle domande Selezione e classificazione Costruzione dei fascicoli per il pre-test Prova sul campo Analisi statistica Analisi didattica Fascicolo definitivo

3 Prova sul campo Fascicolo definitivo
La costruzione di un fascicolo di Matematica Produzione delle domande Selezione e classificazione Costruzione dei fascicoli per il pre-test Prova sul campo Analisi statistica Analisi didattica Fascicolo definitivo

4 Un delicato equilibrio
Analisi didattica Analisi statistica

5 Un delicato equilibrio
Analisi didattica Analisi statistica QDR Indicazioni Nazionali Ricerca in Didattica della Matematica - Analisi descrittiva classica - IRT

6 Due domande importanti
In che modo l’analisi statistica delle proprietà psicometriche di una domanda può favorire un progressivo miglioramento nella sua formulazione ? Come trovare il giusto equilibrio nella produzione di buone domande da punto di vista psicometrico e significative per l’apprendimento della matematica?

7 Domanda adatta Domanda non adatta Scopo principale
Scopo della presentazione è quello di mostrare attraverso alcuni esempi alcune caratteristiche che rendono una domanda adatta per una prova INVALSI, secondo le due lenti analisi didattica e analisi statistica. Domanda bella Domanda brutta Domanda adatta Domanda non adatta

8 Le domande INVALSI di matematica
Non è detto, infatti, che una domanda «ricca» e interessante dal punto di vista didattico sia adatta a una prova INVALSI. STANDARDIZZATA STANDARDIZZATA Permette il confronto e la comparazione diretta dei dati La correzione avviene secondo un protocollo prestabilito

9 La validità del quesito INVALSI
Risulta fondamentale valutare l’adeguatezza del quesito in termini di misurazione effettiva dell’oggetto di valutazione. Il quesito è coerente con lo scopo della domanda (question intent)? Il quesito è coerente con il QdR INVALSI? Il quesito ha buone proprietà psicometriche? L’analisi statistica rivela elementi discrepanti?

10 Perché il pre-test ? Il pre-test è una prova sul campo. Il suo scopo principale è quello di valutare la validità e l’affidabilità delle domande. per la Prova Nazionale L08 dal 2015 si effettuano due pre-test, alla luce dei risultati dei pre-test, viene poi composto il fascicolo per l’indagine principale.

11 La somministrazione del pre-test
Viene estratto un campione su base nazionale dove incaricati dell’INVALSI somministrano le prove e raccolgono informazioni/osservazioni sull’andamento della prova.

12 - indice di discriminatività IRT: - indice di FIT
L’analisi statistica Teoria classica: - indice di discriminatività IRT: - indice di FIT - indice di difficoltà - analisi delle curve caratteristiche

13 Analisi statistica: la teoria classica
L’indice di discriminatività della domanda L’indice di discriminatività dei distrattori

14 L’indice di discriminatività
Indica la capacità di ciascuna domanda di distinguere i diversi livelli di abilità degli studenti utilizzando come stima dell’abilità il punteggio alla prova. Corrisponde al coefficiente di correlazione biseriale ed esprime la correlazione tra i risultati di una domanda e il punteggio totale della prova.

15 L’analisi dei distrattori
Il coefficiente di correlazione biseriale viene utilizzato anche per indagare l’andamento dei distrattori. In una domanda che funzioni bene tale indice deve essere positivo per la risposta corretta e negativo per gli altri distrattori. Indica la capacità di ciascun distrattore di intercettare i diversi livelli di abilità degli studenti.

16 Analisi statistica: IRT
Stima probabilistica: uno studente con un certo livello di abilità ha una probabilità maggiore di rispondere in maniera corretta a una domanda rispetto un altro studente con livello di abilità inferiore. La probabilità di rispondere correttamente a una domanda decresce per livelli di abilità bassi

17 Analisi statistica: IRT
L’indice di FIT; L’indice di difficoltà; La curva caratteristica della domanda.

18 L’indice di FIT Garantisce l’invarianza della misurazione; cioè la congruenza tra i dati osservati e gli assunti teorici del modello: studente con abilità maggiore ha maggiore probabilità di superare una domanda rispetto studente con abilità minore; uno studente dovrebbe avere maggior probabilità di superare un item facile rispetto un item difficile

19 La valutazione del FIT Le soglie accettabili su un grande campione non seguono delle regole precise, ma si rifanno alla pratica empirica. L’INVALSI ritiene accettabili le domande con un indice di FIT compreso tra 0,80 e 1,20. Tanto più l’indice è approssimato a 1, tanto più i dati osservati sono congruenti con il modello teorico.

20 L’indice di difficoltà IRT
Esprime il livello di difficoltà della domanda in modo indipendente dall’abilità degli studenti che hanno affrontato la prova. L’indice è espresso con la stessa unità di misura (logit) dell’abilità degli studenti. La difficoltà dell’item e l’abilità dello studente sono indipendenti ma confrontabili Importante per pre-test

21 La rappresentazione grafica
Attraverso la rappresentazione grafica, è possibile identificare le criticità dell’item, in termini di andamento della risposta corretta e, nel caso di domande a scelta multipla, l’andamento dei distrattori.

22 La rappresentazione grafica
In ordinata (y) è riportata la probabilità di scegliere l’opzione in funzione dell’abilità (in ascissa - x). Ogni curva rappresenta un’opzione di risposta, quella corretta è rappresentata in rosso

23 Alcuni esempi 1/3 Domanda adeguata L’opzione corretta (in rosso) è sempre crescente al crescere dell’abilità. Esistono inoltre valori di abilità bassi per cui sono preferibili le altre opzioni che tendono a decrescere al crescere dell’abilita. Da un certo valore di abilità in poi è sempre preferibile l’opzione corretta

24 Alcuni esempi 2/3 Domanda da rivedere
L’opzione corretta cresce e poi cala per livelli di abilità più elevati pur rimanendo preferibile. Due opzioni sono molto deboli.

25 Alcuni esempi 3/3 Domanda non adeguata L’opzione corretta è sempre preferibile. I distrattori hanno poca probabilità di essere scelti, dati qualsiasi livello di abilità

26 Domande modificate dopo il pre-test e accettate
ESEMPI Domande modificate dopo il pre-test e accettate 2 Domanda modificata dopo il pre-test ed eliminata 3 Domanda non adeguata

27 Prima del pre-test AUTORE

28 Prima del pre-test MODIFICATA dal GRUPPO di LIVELLO

29 Prima del pre-test SCOPO: verificare che a parità di volume l’altezza del livello di acqua è inversamente proporzionale all’area di base ANALISI: Contenitori con area di base diversa e altezze diverse Nelle opzioni è presente la giustificazione

30 Analisi statistica del pre-test
Indice di discriminazione (>0,20) Fit: relazione fra dato osservato e dato ipotizzato =1 Numero studenti Difficoltà: -3,+3 FIT alto (1,09): l’andamento osservato della domanda non si adatta completamente al modello teorico ipotizzato Domanda difficile (1,3) e poco discriminante (0,11) Problemi di significatività del terzo distrattore Correlazione punto biseriale. Negativa per le risposte sbagliate e positiva per quella giusta 30

31 Curve caratteristiche
corretta

32 Si focalizza lo scopo della domanda
Domanda modificata Analisi qualitativa dei risultati: Il contenuto matematico è rilevante: significato di volume Si cambiano i contenitori (stessa altezza) Si modifica il testo della domanda (livello vs altezza) Si tolgono le giustificazioni Si focalizza lo scopo della domanda

33 Discriminatività (Item-Rest Cor) da 0,11 a 0,25
Risultati dell’indagine principale Fit migliorato (da 1,09 a 1,03) Discriminatività (Item-Rest Cor) da 0,11 a 0,25 Difficoltà sulla scala di Rasch da 1,3 a 1,66 (più difficile) ma da 9,77% a 19,58%

34 PRIMA DOPO

35 dal linguaggio verbale al linguaggio matematico
Prima del pre-test SCOPO: dal linguaggio verbale al linguaggio matematico

36 Risultati pre-test 1

37 Domanda modificata La modifica riguarda il testo della domanda. Le opzioni sono cambiate: 5 è sempre all’inizio Lo scopo rimane lo stesso

38 DOPO Risultati pre-test 2 PRIMA

39 Risultati pre-test 2 DOPO PRIMA

40 2 Domanda bocciata SCOPO: individuare una variabile espressa in linguaggio verbale all’interno di equazione risolutiva di un problema

41 Indice di discriminazione (>0,20)
Il primo pre-test Numero studenti

42 Domanda modificata MODIFICA: viene modificata la domanda

43 Fit: relazione fra dato osservato e dato ipotizzato =1
Indice di discriminazione (>0,20) Il secondo pre-test

44 Domanda modificata La vera difficoltà è interpretare il numero di adulti in funzione del numero x di bambini. Lo scopo della domanda non è ben focalizzato!!!

45 Domanda non adeguata per una prova standardizzata
3 SCOPO: Utilizzare l’inverso del teorema di Pitagora in un contesto reale

46 CHE TIPO DI RISPOSTE SONO STATE FORNITE?
Il pre-test

47 Alcune risposte fornite
Domanda interessante per una attività in classe ma non adeguata per una prova standardizzata

48 Conclusioni Analisi didattica Analisi statistica

49 Conclusioni Entrambe le prospettive sono indispensabili per la costruzione di una buona prova; L’analisi quantitativa va intesa a supporto dell’analisi qualitativa; I risultati dei pre-test evidenziano che spesso un mal funzionamento in termini psicometrici indica un problema nella definizione dello scopo della domanda; Un quesito adatto per una rilevazione INVALSI deve sempre partire da un’attenta e precisa definizione del question intent.

50 Il data base GESTINV Uno strumento per gli insegnanti Rossella Garuti

51 3. Il data base GESTINV Rossella Garuti

52 Il data base GESTINV Rossella Garuti

53 Il data base GESTINV Analisi di ogni item Rossella Garuti

54 Il data base GESTINV Rossella Garuti

55 Il data base GESTINV Rossella Garuti

56 Il data base GESTINV Rossella Garuti

57 Grazie per l’attenzione!