La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

Definizione criteri generatori Studio prototipico Scelta del formato di risposta Generazione degli item Scelta del numero di item del test finale.

Presentazioni simili


Presentazione sul tema: "Definizione criteri generatori Studio prototipico Scelta del formato di risposta Generazione degli item Scelta del numero di item del test finale."— Transcript della presentazione:

1 Definizione criteri generatori Studio prototipico Scelta del formato di risposta Generazione degli item Scelta del numero di item del test finale

2 Tipi di item nei test cognitivi Item a esclusione Item analogici Item a sequenza Item di vocabolario Item di abilità spaziale * Nei test di profitto: Item a scelta multipla Item a risposta libera

3 Tipi di item nei test cognitivi e non cognitivi Item vero-falso Item sì-no Item tricotomici Item con scale di valutazione Item a risposta libera

4 Stili di risposta nei test non cognitivi ACQUIESCENZA: È la tendenza ad approvare gli item quale che sia il loro contenuto o più precisamente: Uno stile di risposta come una determinata coerenza stilistica derivante dalla forma di risposta richiesta dagli item nei test di personalità (Cronbach).

5 Ti piace la musica? Suoni qualche strumento?

6 DESIDERABILITÀ SOCIALE: È la tendenza ad aderire agli item quando ladesione risulti socialmente desiderabile in particolare nei test per la selezione del personale

7 Sono avaro Se qualcuno mi chiede di assumermi le mie responsabilità divento ansioso Chi risparmia guadagna: questo principio andrebbe impresso nella mente di ogni bambino

8 Questi due stili di risposta diminuiscono lattendibilità e la validità di un test

9 Punto 5 Prima somministrazione ad un campione pilota Naturalmente dipende dalluso e dalla popolazione a cui è destinato il test Stratificato (per età, sesso, classe sociale, residenza geografica, professione) Ampio

10 Requisiti minimi 5-10 soggetti per item (Bilanciamento per sesso (idealmente 150 maschi, 150 femmine) Campione eterogeneo

11 Punto 6 Selezione degli item Criteri di selezione degli item A.Item con risposte esatte (dicotomici e politomici trasformati in dicotomici) distrib. item dicotomici distrib. binomiale (media Np, varianza Npq) Nota bene: Varianza dellitem = pq

12 Esempio: N=10 e p=q=1\2 media =? varianza=?

13 Media==Np 10*1/2=5 Varianza= 2 =Npq 10*1/2*1/2=2.5 DS= =1.6

14 e se… N = 10 Ma ci sono tre alternative di risposta?

15 p=1/3 q=2/3 =10*1/3= =10*1/3*2/3=…….

16 Applicazioni della binomiale Ad un test composto da 10 item qual è la probabilità che un soggetto abbia risposto a caso?

17 A caso p = q= 1/2 10 C 6 p 6 q 4 10! (1/2) 6 (1/6) 4 6!(10-6)! 20.5%

18 Quindi Luso della binomiale può servire per decidere da quale punteggio si devono selezionare i candidati

19 1. Indice di difficoltà dellitem Np numero di soggetti che risponde correttamente Nq numero di soggetti che sbaglia P = Np varia tra 0 e 1 N Massima variabilità.50 p=q Intervallo p di selezione item tra.2 e.8 per capacità discriminativa

20 esempio N=10 Np=4 P=4/10=.4

21 Nei test a scelta multipla (di solito test di achievement) come in quelli a risposta limitata esiste la possibilità di indovinare la risposta.

22 Formula per la correzione dei tentativi di indovinare: χ corretto = χ - W N-1 χ numero di item giusti W numero di item sbagliati N numero di opzioni allinterno dellitem

23 esempio Multiple choice composto da 60 item 5 possibilità di risposta 48 corrette-12 errate/ =45

24 2. Indice di discriminazione (rapporti tra un singolo item e il punteggio totale) Si calcola il punteggio totale al test ASoggetti con alto punteggio (70° percentile) BSoggetti con basso punteggio (30° percentile)

25 Proporzione di risposte corrette dei soggetti con alto punteggio meno prop. di risposte corrette dei soggetti con basso punteggio D = p (A) – P(B) Valori di D fra +1 e –1 >.30 discrimina in maniera efficace

26 esempio 10/100 – 30/ = /100 – 10/ =.30

27 3. Correlazione fra litem dicotomico e il punteggio totale del test Coefficiente di correlazione punto- biseriale >.30

28 b. item senza risposte esatte (test di personalità) Distribuzione normale Dispersione dei punteggi Correlazione tra item e punteggio totale (>.30)

29 Scala Likert a 7 punti Media 4 Si calcola la DS su un campione pilota

30 Intervallo di fiducia 1,5 D.S. dal valore medio teorico X T -1.5s T

31 Calcolare Media 4 DS 1 X T -1.5s T

32 Lintervallo di fiducia Dato un campione di n=50 soggetti con media X (media di uno dei possibili campioni n=50 e quindi distribuita normalmente)

33 x X

34 Quale rischio si accetta di correre nel dichiarare che costruendo un intervallo intorno al parametro X media del campione (uno dei possibili campioni n=50 estratto da quella popolazione) questo riesca ad includere la media campionaria delle medie x e quindi la media della popolazione

35 Rischio del 5%si ha una fiducia al 95% che lintervallo contenga x e quindi

36 Intervallo di fiducia al 95% =.05 IL RISCHIO /2 =.025 su una sola coda Metà tavola =.4750 Z = (area.4750 in metà tavola)

37 La formula X-z x x X+z x

38 Di solito non si conosce della popolazione ma la s (DS) del campione x = s/(n-1)

39 quindi n = 50 X = 19 s = 1.8 ……..

40 19 – 1.96 *(1.8/ 50-1) = 19 – 1.96*.26 = = (limite inferiore) Limite superiore = 19.51

41 Intervallo di fiducia x Si ha una probabilità del 95% che lintervallo includa la media della distribuzione campionaria delle medie e quindi la media della popolazione da cui è estratto il campione

42 La Correlazione Un indice numerico che misura il grado con cui una qualunque relazione tra due variabili tende ad essere una relazione funzionale

43 La correlazione lineare I punti che rappresentano graficamente la relazione tendono a disporsi lungo una retta Y= a+bx con b 0 Correlazione positiva a > 0 Correlazione negativa a < 0

44 Il coefficiente di correlazione di Pearson Variabili x, y continue Le distribuzioni dei dati delle due variabili sono normali Livello della scala: intervallo o rapporti

45 Altri indici di correlazione

46 Correlazione di Spearman ranghi+ranghi campioni piccoli N<30 misure di tipo ordinale es. graduatoria Q.I. vs.graduatoria attitudine al comando

47 Tau di Kendall ranghi+ranghi Preferibile al rho di Spearman quando il numero dei casi è inferiore a 10

48 Correlazione biseriale Una delle due variabili è misurata su scala a intervallo e laltra è una variabile dicotomica

49 Il coefficiente di correlazione biseriale r b Il coefficiente di correlazione biseriale (è una stima della correlazione di Pearson) continua+continua dicotomizzata es. test di ingresso vs promossi/bocciati es. test vs età 40

50 Il coefficiente di correlazione punto-biseriale r pb Il coefficiente di correlazione punto- biseriale(equivalente alla correlazione di Pearson) Item dicotomici - totale n.b. la variabile dicotomica può non essere distribuita normalmente

51 Correlazione tetracorica r t dicotomica artificiale+dicotomica artificiale grandi campioni N>300 distribuzione normale delle variabili es. artigiani: reddito >30 milioni lanno reddito<30 milioni lanno ore di lavoro>8 ore ore di lavoro<8 ore

52 Coefficiente Phi o Punto tetracorica vera dicotomia+vera dicotomia si assume che queste categorie non siano continue es. item dicotomici o a scelta multipla vs.riuscito/fallito es. sesso vs. mensa si/mensa no

53 CORRELAZIONE PARZIALE r xy.z Correlazione tra x e y una volta eliminata linfluenza di z

54 Esempio x test di sviluppo percettivo y caratteristiche del disegno infantile z età


Scaricare ppt "Definizione criteri generatori Studio prototipico Scelta del formato di risposta Generazione degli item Scelta del numero di item del test finale."

Presentazioni simili


Annunci Google