Item Analysis: Valutazione di affidabilità dei test: Rilevazione Nazionale del SIF Z. Adam Gruppo del supporto regionale per la valutazione 5 giugno 2006.

Presentazione sul tema: "Item Analysis: Valutazione di affidabilità dei test: Rilevazione Nazionale del SIF Z. Adam Gruppo del supporto regionale per la valutazione 5 giugno 2006."— Transcript della presentazione:

1 Item Analysis: Valutazione di affidabilità dei test: Rilevazione Nazionale del SIF Z. Adam Gruppo del supporto regionale per la valutazione 5 giugno 2006

2 Legenda e istruzioni per la lettura dei dati INValSI - Sicotem © 1996/2004 - Work in progress - Updated version, 17.10.2005 11.25 Media: Media aritmetica, valore centrale di una distribuzione somma di tutti i valori di una distribuzione divisa per il numero dei casi. Ad esempio l'altezza media degli alunni di una classe è data dalla somma delle altezze di ciascun alunno diviso il numero totale degli alunni. Mediana: Valore centrale di una distribuzione sopra il quale e sotto il quale ricade la metà dei casi. Ad esempio la mediana dell'altezza degli alunni di una classe è quel valore dell'altezza al di sopra e al di sotto del quale si troverà il 50% dei valori delle altezza degli alunni. Moda: Valore che ricorre più frequentemente in una variabile. Se esistono valori pari merito viene considerato come Moda il valore più basso. Nell'esempio considerato la moda è l'altezza che ricorre più frequentemente tra gli alunni della classe. Minimo: Valore più basso ottenuto per una variabile. Nell'esempio considerato il minimo corrisponde all'altezza minore riscontrata tra gli alunni della classe. Massimo: Valore più alto ottenuto per una variabile. Nell'esempio considerato il massimo corrisponde all'altezza maggiore riscontrata tra gli alunni della classe. Deviazione Standard: È la misura della dispersione dei valori intorno alla Media. Un basso valore della deviazione standard indica che i valori assunti dalla variabile sono concentrati intorno alla media ed esprime omogeneità di dati. Al contrario, un alto valore della deviazione standard indica che i valori assunti dalla variabile si discostano molto dalla media ed esprime disomogeneità di dati. Nell'esempio considerato se l'altezza media di una classe è di 170cm si ha un'alto valore della deviazione standard se l'altezza dei singoli alunni si discosta molto dal valore dell'altezza media, quindi troveremo alunni alti 195cm, oppure 150cm. Al contrario si ha un basso valore della deviazione standard se le altezze dei singoli alunni si avvicinano al valore dell'altezza media, quindi avremo alunni alti 175cm oppure 165cm.

3 Leggenda per la lettura dei dati INValSI - Sicotem © 1996/2004 - Work in progress - Updated version, 17.10.2005 11.25 Legenda e istruzioni per la lettura dei dati Media: Media aritmetica, valore centrale di una distribuzione somma di tutti i valori di una distribuzione divisa per il numero dei casi. Ad esempio l'altezza media degli alunni di una classe è data dalla somma delle altezze di ciascun alunno diviso il numero totale degli alunni. Mediana: Valore centrale di una distribuzione sopra il quale e sotto il quale ricade la metà dei casi. Ad esempio la mediana dell'altezza degli alunni di una classe è quel valore dell'altezza al di sopra e al di sotto del quale si troverà il 50% dei valori delle altezza degli alunni. Moda: Valore che ricorre più frequentemente in una variabile. Se esistono valori pari merito viene considerato come Moda il valore più basso. Nell'esempio considerato la moda è l'altezza che ricorre più frequentemente tra gli alunni della classe. Minimo: Valore più basso ottenuto per una variabile. Nell'esempio considerato il minimo corrisponde all'altezza minore riscontrata tra gli alunni della classe. Massimo: Valore più alto ottenuto per una variabile. Nell'esempio considerato il massimo corrisponde all'altezza maggiore riscontrata tra gli alunni della classe. Deviazione Standard: È la misura della dispersione dei valori intorno alla Media. Un basso valore della deviazione standard indica che i valori assunti dalla variabile sono concentrati intorno alla media ed esprime omogeneità di dati. Al contrario, un alto valore della deviazione standard indica che i valori assunti dalla variabile si discostano molto dalla media ed esprime disomogeneità di dati. Nell'esempio considerato se l'altezza media di una classe è di 170cm si ha un'alto valore della deviazione standard se l'altezza dei singoli alunni si discosta molto dal valore dell'altezza media, quindi troveremo alunni alti 195cm, oppure 150cm. Al contrario si ha un basso valore della deviazione standard se le altezze dei singoli alunni si avvicinano al valore dell'altezza media, quindi avremo alunni alti 175cm oppure 165cm. Errore standard: Indica il campo di variazione di una costante statistica (Media, Mediana, Moda, Deviazione Standard etc) che si ottiene riportand il valore della costante statistica rilevato nel campione all'universo di riferimento. Viene calcolato misurando di quanto il valore della costante statistica presa in esame può variare tra campioni presi dalla stessa distribuzione. Nell'esempio considerato se la classe presa in considerazione è un campione rappresentativo dell'intera scuola, conoscendo la media dell'altezza della classe è possibile conoscere la media l'altezza della scuola con una determinata percentuale di errore (errore standard), quindi se la media delle altezze della classe è 170cm e l'errore standard è del 5%, la media della scuola sarà un valore che oscilla tra 178,5cm e 161,5cm. Quartile: Si definiscono quartili e si indicano con Q1 Q2 e Q3 i tre valori che dividono una distribuzione dei casi in quattro parti uguali. Il primo 25 % dei dati della distribuzione ha come limite superiore il primo quartile, il 50% dei dati hanno come limite il secondo quartile (che e' anche la mediana), e cosi' via. Fasce: Divisione di una distribuzione in intervalli rispetto ai punteggi ottenuti. Bassa: da 0 al primo Quartile incluso; Medio-bassa: dal primo Quartile escluso al secondo Quartile incluso; Medio-alta: dal secondo Quartile escluso al terzo Quartile incluso; Alta: dal terzo Quartile escluso al Punteggio massimo 100 incluso; Top (Fascia di eccellenza):dal novantesimo percentile incluso al Punt.o massimo 100 incluso. Percentile: Si definiscono percentili e si indicano con P1 P2, P3... P99 i novantanove valori che dividono una distribuzione dei casi in cento parti uguali. Il primo 5 % dei dati della distribuzione ha come limite superiore il percentile P5, il 50% dei dati hanno come limite il percentile P50 (che e' anche la mediana), e cosi' via. Punteggi normalizzati: Un punteggio è normalizzato quando si esprimono i risultati in centesimi. Ad esempio se in un test composto da 20 domande vengono date 15 risposte corrette, in media si è risposto correttamente ai 3/4 delle domande, il dato che si troverà è i 3/4 di 100, ossia 75%. Punteggi = ' - ' Il punteggio non è calcolato per mancanza di casi Attenzione: Relativamente ai riferimenti per regione si rammenta che, per il Trentino-Alto Adige provincia di Bolzano, i valori riportati comprendono tutti e tre i gruppi linguistici (italiano, ladino, tedesco)

4 Media Deviaz ione Stand ard PmPm P Max Moda Media na MILANO74,7420,72 0100 92,3176,92 Lombardia74,3020,56 0100 92,3176,92 Nord Ovest 74,8020,67 0 100 76,92 N0RD EST CENTRO 74,54 77,7 20,71 20,24 100 76,92 84,62 SUD E ISOLE TOTALE 80,36 77,83 21,07 20,73 0000 100 84,62 Punteggi ottenuti dagli studenti ITALIANOITALIANO 0000

5 Media Deviaz ione Stand ard PmPm P Max Moda Media na MILANO77,5118,38010093,7581,25 Lombardia 77,5118,28010093,7581,25 Nord Ovest 78,3918,27010093,7581,25 NORD EST CENTRO 78,08 81,70 18,25 17,76 0000 100 93,75 100 81,25 87,50 SUD E ISOLE TOTALI 84,54 81,54 18,32 18,22 0000 100 93,75 87,50 Punteggi ottenuti dagli studenti MATEMATICAMATEMATICA

6 Media Deviaz ione Stand ard PmPm P Max Moda Media na MILANO86,3016,710100 90,00 Lombardia 86,4016,590100 90,00 Nord Ovest 86,7616,620100 90,00NORD EST CENTRO 86,19 88,80 16,71 15,79 0000 100 90,00 SUD E ISOLE TOTALI 90,30 88,62 16,40 16,27 0000 100 90,00 Punteggi ottenuti dagli studenti SCIENZESCIENZE

7 Media Deviaz ione Stand ard PmPm P Max Moda Media na MILANO 58,0515,75010057,14 LOMBARDIA 58,0515,77010057,14 Nord OVEST 58,9216,16010057,1460,71NORD EST CENTRO 58,68 61,05 15,80 17,16 0000 100 60,71 SUD E ISOLE TOTALI 63,10 61,31 19,12 17,61 0000 100 60,71 64,29 60,71 Punteggi ottenuti dagli studenti ITALIANOITALIANO

8 Media Deviaz ione Stand ard PmPm P Max Moda Media na MILANO 59,4219,37010057,1460,71 Lombardia 59,6719,50010057,1460,71 Nord Ovest 61,0620,03010057,1460,71NORD EST CENTRO 59,93 65,00 19,74 21,19 0000 100 57,14 67,86 60,71 64,29 SUD E ISOLE TOTALI 70,66 65,72 23,30 21,89 0000 100 96,43 75,00 67,86 Punteggi ottenuti dagli studenti MATEMATICAMATEMATICA

9 Media Deviaz ione Stand ard PmPm P Max Moda Media na MILANO 79,7515,26010088,4684,62 Lombardia 80,0415,29010088,4684,62 Nord Ovest 80,8615,33010088,4684,62NORD EST CENTRO 80,81 82,70 15,24 15,46 0000 100 88,46 100 84,62 SUD E ISOLE TOTALI 85,15 83,04 16,62 15,83 0000 100 92,31 88,46 Punteggi ottenuti dagli studenti SCIENZESCIENZE

10 Media Deviaz ione Stand ard PmPm P Max Moda Media na MILANO 61,9316,4701007063,33 Lombardia 61,6316,37010066,6763,33 Nord Ovest 61,5516,55010066,6763,33 NORD EST CENTRO 61,97 60,53 16,15 16,32 0000 100 70,00 66,67 63,33 SUD E ISOLE TOTALI 55,44 59,13 17,85 17,09 0000 100 63,33 66,67 56,67 60 Punteggi ottenuti dagli studenti ITALIANOITALIANO

11 Media Deviaz ione Stand ard PmPm P Max Moda Media na MILANO 53,1116,54010050,0053,33 Lombardia 53,3616,54010053,33 Nord Ovest 53,1716,55010053,33 NORD EST CENTRO 53,64 51,93 16,67 16,43 0000 100 53,33 50,00 53,33 SUD E ISOLE TOTALI 46,98 50,89 16,85 16,84 0000 100 46,67 50,00 46,67 Punteggi ottenuti dagli studenti MATEMATICAMATEMATICA

12 Media Deviaz ione Stand ard PmPm P Max Moda Media na MILANO 59,3214,91010061,54 Lombardia 59,3614,84010061,54 Nord Ovest 59,3814,94010061,54 NORD EST CENTRO 60,22 58,38 14,95 14,85 0000 100 65,38 61,54 57,69 SUD E ISOLE TOTALI 54,84 57,44 16,30 15,55 0000 100 57,69 61,54 53,85 57,79 Punteggi ottenuti dagli studenti SCIENZESCIENZE

13

14

15 La procedura di raccolta dati la somministrazione e la raccolta delle risposte può essere compiuta con i prodotti statistici Quando le risposte alle domande a scelta multipla sono conteggiate i risultati con le chiavi di risposta esse possono costituire la base di unanalisi.. Si deve procedere con la registrazione di risposta 1 (corretto) e 0 (sbagliato) per ogni singolo partecipante. Inoltre, il punteggio degli studenti per ogni item (percentuale delle risposte corrette) viene registrato in un tabulato.

16 Comprensione dei dati E importante notare che tre tipi di informazioni sono critici nella comprensione di un esame a scelta multipla: se gli item sono stati troppo difficili o troppo facili; se gli item hanno fatto la differenza tra quegli studenti che veramente conoscevano il materiale e quelli che non lo conoscevano; Se le risposte non corrette in effetti distraggono dalla risposta corretta o se invece non hanno alcuna influenza. Si farà riferimento ad alcuni termini in questa guida. Essi comprendono: Il fattore Difficoltà LIndice di Discriminazione I Coefficienti di Affidabilità Kuder Richardson Ponderazione della Domanda Differenziate La Deviazione Minima, Media e varianza.

17 Ponderazione della domanda da differenziare Un esempio del sistema di ponderazione differenziale potrebbe essere di dare due punti di credito ad alcune domande perché sono molto più difficili o più importanti e un punto di credito ad altre. Le ragioni per cui non usare questo sistema comprendono: Non cè aumento nellaffidabilità quando si usano ponderazioni differenziali ponderazione differenziale è più efficacie solo nei test brevi (meno di dieci item) Altri Termini per comprendere quando le relazioni Punteggio della media - Punteggio della mediana- il punteggio corrisponde al dato percentile 50mo. Esattamente metà dei punteggi sono più bassi e metà dei più alti. Deviazione standard- la gamma al di sopra o al di sotto il punteggio medio dove la maggioranza dei punteggi mente. Più sono ampi i punteggi, più lo sarà anche la deviazione standard.

18 Altri item statistici importanti Idealmente, si dovrebbe volere la correttezza di un particolare item in un test in modo tale da associarlo con un punteggio globale (percentuale di tutti gli item a cui si è risposto correttamente). Preso da un angolo diverso, si potrebbero preferire item di test con risposte frequentemente corrette da studenti che hanno fatto globalmente bene nel test. Questa associazione tra item di test individuali e performance di test globali è chiamata la correlazione biseriale. Una correlazione più utile è lesecuzione stimata globale del test ad esclusione dell item di test particolare in questione. Questa misura è chiamata la correlazione corretta del punto biseriale di un item di test.

19 Lindice Alpha di Cronbach La statistica fornisce una misurazione di consistenza interna (affidabilità) di item di test chiamati alpha di Cronbach. Più alta è la correlazione tra gli item, più grande è lalpha. Alte correlazioni implicano che alti (o bassi) punteggi di una domanda sono associati con alti (o bassi) punteggi su altre domande. Alpha può variare da 0 a 1, indicando che il test è perfettamente affidabile. Inoltre, la computazione dell Alpha di Cronbach quando un item particolare è rimosso dalla considerazione è una buona misura del contributo di quellitem allesecuzione della valutazione dellintero test. Altre statistiche sono automaticamente generate usando una procedura chiamata Affidabilità (Reliability) (nel risultato, la scala di termine si riferisce alla collezione di tutti gli item di test).

20 Lindice Alpha di Cronbach (Classe I° Media: Italiano, Matematica e Scienze- rif. Diap 20 e Classe I° superiore sono state scelte ed analizzate). Notate la Correlazione corretta del totale dellitem. Questa colonna mostra la correlazione del punto biseriale corretta. Potete vedere che le domande sembrano correlate con lesecuzione del test generale. Da notare che gli item6 e item9 di italiano I° media hanno una correlazione negativa con il resto degli items(vedere anche item18,item19 di matematica e item6 di scienze); per la I° superiore item3 ditaliano e item24 di scienze hanno correlazione negataiva. Daltra parte, gli studenti che tendono ad andare male nei test generalmente tendono a rispondere a queste domande correttamente. Questo non è un risultato desiderato. Notate i valori di alpha nella colonna intitolata Alpha se Item è eliminatoper gli item su indicati. Se gli item sono eliminati dalla tabella, la statistica Alpha viene incrementato e con questa prospettiva, gli item hanno bisogno di essere esaminati criticamente e forse riscritti.

21 Analisi delle risposte errate In una domanda a scelta multipla, le scelte sbagliate sono chiamate distracters (risposte errate). Quando create le domande dei test, dovete considerare: Una percentuale di studenti dovrebbe selezionare ogni distrattore (risposta errata) (al posto della risposta giusta) o il distrattore non è efficiente. Se una percentuale troppo grande di studenti seleziona un particolare distrattore, ci potrebbe essere unambiguità nella formulazione della domanda o nella formulazione di un particolare distrattore. Un distracttore ha valore se la percentuale di studenti che lo seleziona si differenzia a seconda della loro produzione globale del test. Un buon distrattore è quello che è selezionato da pochi studenti che erano nel terzo gruppo di alto livello della classe, ma scelto da molti studenti nel terzo gruppo di basso livello.

22 conclusione Lanalisi degli item è una serie di procedure disponibili ed estremamente utile ai professionisti dellinsegnamento. SPSS è uno degli strumenti di statistica potente per misurare lanalisi degli item e un modo ideale per gli educatori per creare, valutare e validare i test di apprendimento somministrate alle classi. Lanalisi degli item permette agli istruttori di migliorare gli esercizi in classe e agli esecutori dei test di migliorare i loro esami.

23 Bibliografia Dati della Lombardia INValSI -RNSIF-as 2005/2006 Quantitative data analysis with SPSS di Alan Bryman,D. Cramer2003 Data Analysis Using SPSS-Beginners Guide J. Foster 1999 Adventures in Social Research:Data Analysis using SPSS di Earl Babbie, Fred Halley, J. Zaino 2003 Common Analysis of Repeated Measures: M. J. Crowder 1990 Common Correlation and Reliability Analysis with SPSS di R. A. Yaffee