Le analisi per singolo item 1 Le analisi per singolo item Sino a questo momento le analisi condotte hanno cercato di fornire risposta a due obiettivi cognitivi: Quanto diversa è l'intensità di una proprieta (come la competenza in un dato momento o la scarto fra i due test) fra gruppi di soggetti ottenuti dalla distinzione sulla base di un'altra proprietà teoricamente rilevante (come il gruppo di appartenenza)? Quanti soggetti, classificati sulla base di una certa proprietà teoricamente rilevante (come il gruppo di appartenenza), presentano una determinata caratteristica (come il miglioramento/peggioramento)? La prima domanda rende conto dell'intensità media della proprietà in esame rispetto ad una certa classificazione, la seconda del grado di diffusione di una determinata caratteristica. In entrambi i casi, l'unità d'analisi fondamentale resta l'individuo. Teoria e pratica della valutazione Laboratorio Analisi per singolo item

Le analisi per singolo item 2 Le analisi per singolo item Cercheremo ora di fornire una valutazione dell'esito della campagna a partire dall'esame analitico, per ciascuna domanda posta, delle risposte corrette o sbagliate date dai ragazzi nelle due somministrazioni del questionario, al fine di capire se i miglioramenti e i peggioramenti nel tempo siano distribuiti in maniera casuale fra i due gruppi, oppure seguano un andamento conforme alle ipotesi del disegno sperimentale. Questo tipo di analisi ci permette di individuare quali domande del questionario, ed eventualmente quali temi del test di competenza, siano risultati di più difficile comprensione per i ragazzi coinvolti, e di essere così in grado di correggere il tiro nel caso di una ripetizione dell'intervento formativo. Quello che bisogna fare, dunque, è esaminare le frequenze derivanti dall'incrocio trivariato delle variabili costituite da gruppi, domande e occasioni. Teoria e pratica della valutazione Laboratorio Analisi per singolo item

Le analisi per singolo item 3 Le analisi per singolo item Lungo la diagonale principale ritroviamo la dimensione della stabilità di risposta nelle due occasioni (entrambe sbagliate o entrambe corrette), mentre sulla diagonale secondaria, che è quella che qui interessa maggiormente, si collocano i soggetti per i quali è stato registrato un peggioramento o un miglioramento nel tempo sulla specifica domanda. Affiancando allora due variabili dicotomiche (risposta giusta/sbagliata e primo test/secondo test), è possibile svolgere fra i due gruppi quattro comparazioni. Teoria e pratica della valutazione Laboratorio Analisi per singolo item

Le analisi per singolo item 4 Le analisi per singolo item Perchè si sia avuto un esito dell'indagine corente con le aspettative del ricercatore, è necessario che nella tabella su riportata si riscontrino le seguenti situazioni: fra i soggetti del gruppo sperimentale che hanno fornito una risposta sbagliata al primo test, quelli che nel secondo ne forniscono una corretta devono essere più numerosi dei corrispondenti soggetti del gruppo di controllo (celle celesti); chiameremo l'esito di tale confronto “miglioramento prospettivo”; fra i soggetti del gruppo sperimentale che hanno fornito una risposta corretta al secondo test, quelli che nel primo ne avevano fornita una sbagliata devono essere più numerosi dei corrispondenti soggetti del gruppo di controllo (celle rosa); chiameremo l'esito di tale confronto “miglioramento retrospettivo”; fra i soggetti del gruppo sperimentale che hanno fornito una risposta corretta al primo test, quelli che nel secondo ne forniscono una sbagliata devono essere meno numerosi dei corrispondenti soggetti del gruppo di controllo (celle verdi); chiameremo l'esito di tale confronto “peggioramento prospettivo”; fra i soggetti del gruppo sperimentale che hanno fornito una risposta sbagliata al secondo test, quelli che nel primo ne avevano fornita una corretta devono essere meno numerosi dei corrispondenti soggetti del gruppo di controllo (celle gialle); chiameremo l'esito di tale confronto “peggioramento retrospettivo”. Teoria e pratica della valutazione Laboratorio Analisi per singolo item

Le analisi per singolo item 5 Le analisi per singolo item Teoria e pratica della valutazione Laboratorio Analisi per singolo item

Le analisi per singolo item 6 Le analisi per singolo item Le espressioni utilizzate per etichettare ciascun tipo di osservazione (miglioramento/peggioramento prospettivo/retrospettivo) si basano ovviamente sulla situazione sperimentale che si sta adottando come punto di vista temporale per svolgere i nostri confronti. Nel primo caso, infatti, quello del “miglioramento prospettivo”, si vanno a vedere quanti dei soggetti, resi pari a 100, di ciascun gruppo che hanno risposto correttamente al quesito nel primo test commettono un errore sullo stesso nel secondo test. Invece nel secondo caso, quello del “miglioramento retrospettivo”, si guarda all'indietro per scoprire quanti dei soggetti resi pari a 100 che hanno risposto bene alla domanda nel secondo test, avevano invece sbagliato nel primo. Discorso analogo, mutatis mutandis, vale per le due declinazioni del peggioramento. Ovviamente, il controllo dell'andamento di queste quattro osservazioni deve essere supportato anzitutto dalla ragionevole confidenza nel rifiuto dell'ipotesi nulla di distribuzione casuale: per tale ragione, va svolto per ciascun item il test del χ2; in secondo luogo, è necessario altresì accertarsi della significatività della differenza fra le coppie di percentuali che di volta in volta vengono fra loro accostate. Teoria e pratica della valutazione Laboratorio Analisi per singolo item

Le analisi per singolo item 7 Le analisi per singolo item Verifica delle ipotesi per una differenza fra due frequenze Ho: La frequenza di una modalità di un carattere X è la stessa in entrambe le popolazioni o strati di un collettivo Esempio. Ho: In Italia la disoccupazione giovanile colpisce nella stessa misura maschi e femmine Disoccupazione giovanile (15-29 anni) di lunga durata (+12 mesi) per genere. Rilevazione trimestrale Istat, 4^ trimestre 2011 (frequenze uguali a un millesimo di quelle reali). Teoria e pratica della valutazione Laboratorio Analisi per singolo item

Le analisi per singolo item 8 Le analisi per singolo item Verifica delle ipotesi per una differenza fra due frequenze Esempio. Ho: In Italia la disoccupazione giovanile colpisce nella stessa misura maschi e femmine Vogliamo dunque sapere se la differenza dell 1,9% riscontrata è statisticamente significativa oppure no, ricordando che l'ipotesi nulla è che % maschi = % femmine. Come sappiamo, esiste una probabilità p che l'ipotesi nulla sia vera, ed una contraria q tali che p + q =1 Teoria e pratica della valutazione Laboratorio Analisi per singolo item

Le analisi per singolo item 9 Le analisi per singolo item Verifica delle ipotesi per una differenza fra due frequenze Facendo riferimento alla curva normale, p+q=1 corrisponde all'area sottesa alla curva. Vogliamo dunque sapere quant'è grande l'area p, che rappresenta l'errore di I Specie, cioè quello che si corre rifiutando l'ipotesi nulla. Ad esempio, nella figura sottostante, l'area esterna a Z = ± 1 (le code) rappresentano il rischio di rifiutare l'ipotesi nulla. Teoria e pratica della valutazione Laboratorio Analisi per singolo item

Le analisi per singolo item 1010 Le analisi per singolo item Verifica delle ipotesi per una differenza fra due frequenze Formula per il calcola di Z: Dove: f1 e f2 sono le frequenza percentuali dei due gruppi M è la media fra f1 e f2 n1 e n2 sono le frequenza assolute dei gruppi Teoria e pratica della valutazione Laboratorio Analisi per singolo item

Le analisi per singolo item 1111 Le analisi per singolo item Verifica delle ipotesi per una differenza fra due frequenze Quindi, nel nostro esempio: Nella figura accanto, dunque, il rischio di errore è quello esterno all'area sottesa dalla curva compresa fra gli estremi ± 2,98 sull'asse x. Per calcolare quest'area si ricorre alla tavola dell'integrale della curva normale standardizzata. -2,98 +2,98 Teoria e pratica della valutazione Laboratorio Analisi per singolo item

Le analisi per singolo item 1212 Le analisi per singolo item Tavola dell'integrale della curva normale standardizzata Z Teoria e pratica della valutazione Laboratorio Analisi per singolo item

Le analisi per singolo item 1313 Le analisi per singolo item Tavola dell'integrale della curva normale standardizzata A un valore di Z = 2,98 corrisponde un'area compresa fra 0 e Z pari a 0,49856. Siccome a noi interessa però tutta la curva, per ottenere la probabilità di errore sottraiamo a 1 (probabilità totale) il valore di Z (inferenza corretta) moltiplicato per due. Quindi: α = 1 – 0,49856 *2 = 0,003 Esiste dunque una probalità inferiore al 3 ‰ che le differenze osservate siano dovute al caso. Teoria e pratica della valutazione Laboratorio Analisi per singolo item

Le analisi per singolo item 1414 Le analisi per singolo item Vale la pena di notare che le differenze di significatività risentono fortemente della numerosità dei collettivi in esame, poiché più numerosi questi sono, tanto meno casuali sono le loro differenze, mentre con piccoli numeri piccole variazioni dovute al caso possono produrre grandi differenze. Se analizziamo infatti la stessa differenza percentuale dell'esempio precedente, ma riduciamo le frequenze a un decimo, ecco cosa succede: Ad un valore di Z di ± 0,94 corrisponde un valore di α pari al 35%. Quindi quanto più i gruppi sono ampi, tanto più anche le differenze piccole tendono a essere significative; viceversa, quanto più i gruppi sono ristretti, tanto più occorono grosse differenze per avere livelli di fiducia significativi. Teoria e pratica della valutazione Laboratorio Analisi per singolo item