Criteri e tecniche per la misurazione delle prove “oggettive”

Presentazione sul tema: "Criteri e tecniche per la misurazione delle prove “oggettive”"— Transcript della presentazione:

1 Criteri e tecniche per la misurazione delle prove “oggettive”
Criteri e tecniche per la misurazione delle prove “oggettive” Maurizio Tiriticco maurizio tiriticco misurazione 2007

2 conclusiva Oggetti della valutazione:
Valutazione degli apprendimenti iniziale - livelli di partenza o prerequisiti formativa conclusiva Oggetti della valutazione: una o più prove qualità degli apprendimenti Ieri - Valutazione con 10 voti decimali di merito Oggi – a) misurazione con punteggi non di merito e b) valutazione da attribuire al punteggio conseguito secondo criteri dati c) accertamento e certificazione delle competenze alla conclusione di un ciclo maurizio tiriticco misurazione 2007

3 Tipologia delle prove. non strutturate tradizionali
Tipologia delle prove * non strutturate tradizionali * strutturate anni 70 e * semistrutturate anni 90 maurizio tiriticco misurazione 2007

4 probabilità di risposta esatta
Probabilità di rispondere esattamente ad un test probabilità di risposta esatta punti Test v/f 50% 1 Test s/m a 2 scelte Test s/m a 3 scelte 33,33% 2 Test s/m a 4 scelte 25% 3 Test s/m a 5 scelte 20% 4 Test s/m a n scelte … n – 1 maurizio tiriticco misurazione 2007

5 Attribuzione di punteggi grezzi ad un test S/M
con item a 4 scelte: la prova più frequente Alcune ipotesi di 10 item senza pesi Ipotesi risposta esatta 1 3 4 ecc. astensione – risposta errata – 1 punt. max. 10 30 40 punt. min. – 10 La soglia di accettabilità è da stabilire maurizio tiriticco misurazione 2007

6 Test S/M di 10 item con 4 scelte ciascuno, somministrato a 10 alunni
Punteggi attribuiti: 4 risposta esatta 1 astensione 0 risposta errata Massimo teorico 40 x ciascun alunno 400 x il gruppo Limite di accettabilità??? 24 = norma = voto 6 30 = test facile 20 = test difficile Item alunni Se il Test S/M è di 30 item con 4 scelte ciascuno, il punt. max = 120 maurizio tiriticco misurazione 2007

7 La misurazione – Punteggi relativi a due prove oggettive attribuzione di punteggi grezzi alle prove punteggio da 1 a…. n esempio da 1 a 100 – costituiscono il minimo e massimo teorico raggiungibile distribuzione dei punteggi di due prove, A e B, somministrate a 16 alunni A ….45, 48, 58, 60, 65, 65, 65, 68, 68, 76, 77, 78, 80, 83, 89, 93………… B…………….58, 58, 58, 60, 68, 69, 70, 73, 73, 80, 89, 91, 99, 100, 100, limite di accettabilità, a discrezione del testista: qui ci si potrebbe fermare, ma… …consideriamo altri valori Media: sommatoria dei punteggi diviso il loro numero A : 16 = B : 16 = 77,87 Mediana: il punteggio che occupa la posizione centrale A = B = 73 Moda: il punteggio più frequente A = B = 58 e 100 Gamma: punt. max – min A 93 – = B 100 – = sono valori utili per elaborare i punteggi maurizio tiriticco misurazione 2007

8 Per l’elaborazione dei punteggi grezzi servono altri valori Sigma: radice quadrata della somma di ogni punteggio meno la media elevato al quadrato diviso il numero delle prove Punto Z di una prova: singolo punteggio meno la media diviso il sigma Punto T di una prova: punto Z moltiplicato Comparare dei punteggi tra loro in valori assoluti non è corretto La comparazione va fatta solo se prima si è compiuta l’elaborazione Risulterà che un 8 non è eguale ad un altro 8!!! maurizio tiriticco misurazione 2007

9 Attenzione. UN NUMERO NON INDICA SEMPRE UNA REALTA’ OGGETTIVA
Attenzione! UN NUMERO NON INDICA SEMPRE UNA REALTA’ OGGETTIVA! Il medesimo punteggio raggiunto da 2 candidati a 2 concorsi non è “eguale” se un candidato vince e l’altro no perché i posti del suo concorso sono pochi!!! Il posto n. 55 su un vagone di seconda classe è proprio il cinquantacinquesimo? No! In effetti è il ventinovesimo! La camera 320 dell’hotel x non è la trecentoventesima! Sappiamo solo che è al terzo piano! 3 litri non sono eguali a 3 galloni! maurizio tiriticco misurazione 2007

10 Esempio di elaborazione Ada e Bice, in due gruppi di 10 alunni prendono 8 in una prova, ma… …vediamo i voti di Ada e di Bice nei 2 gruppi di 10 alunni …gruppo di Ada …gruppo di Bice media della distribuzione di Ada : 10 = 5,7 media della distribuzione di Bice : 10 = 9,1 sigma della distribuzione di Ada 1, 00 sigma della distribuzione di Bice 0,53 Punto Z di Ada – 5,7 : 1 = 2,30 Punto Z di Bice 8 – 9,1 : 0,53 = 2,07 Punto T di Ada 2, x 50 = Punto T di Bice 2, x 50 = Ergo! L’8 di Ada non è eguale all’8 di Bice! Vale di piùùùù! maurizio tiriticco misurazione 2007

11 Analisi degli item indice di difficoltà, DF, di un item numero delle risposte errate diviso il numero totale delle risposte difficoltà massima – DF = 1 tutte le risposte sono errate difficoltà medio/max – DF = 0, difficoltà media – DF = 0, difficoltà medio-min – DF = 0, difficoltà inesistente – DF = 0 indice di discriminatività, DS, di un item serve a valutare se un item è in grado di distinguere gli alunni migliori dai peggiori Numero delle risposte esatte dei migliori (1/3 del gruppo) meno il numero delle risposte esatte dei peggiori (1/3 del gruppo) diviso 1/3 del gruppo. Gli esiti vanno da un +1 (DS positiva) a un –1 (DS negativa) maurizio tiriticco misurazione 2007

12 LE PROVE SEMISTRUTTURATE Le prove semistrutturate sono un mix di prove strutturate e di prove aperte. Concretamente, l’insegnante elabora un testo di 2, 3 o 4 cartelle su un dato tema studiato dagli alunni. Il testo, nel suo sviluppo, contiene a finestra dei quesiti chiusi e aperti (ad esempio 4 quesiti chiusi e 6 aperti). Per ciascun quesito aperto, si indica quale lunghezza minima-massima debbano avere le singole risposte (in genere da 80 a 100 parole). Per la misurazione si procede così: a) per i quesiti a risposta chiusa vale ciò che si è detto per i test; b) per i quesiti a risposta aperta, si stabilisce un punteggio min/max in relazione alla conformità o meno della risposta ad una risposta criterio formulata ed attesa dall’insegnante. Ad esempio: 0 = risposta omessa, 1 = basso, 2 = medio, 3 = alto. Ovviamente si può scegliere anche una scala diversa, ma non oltre i 5 punti. In ordine al massimo teorico raggiungibile complessivamente, si stabilisce anche la soglia di accettabilità. maurizio tiriticco misurazione 2007

13 Esempio di misurazione di una prova semistrutturata 5 quesiti test (ipotesi 1, vedi slide n. 5): min. 0, max quesiti a risposta aperta (ipotesi 0,1,2,3) min. 0, max 21 totali: min. 0, max 26 soglia di accettabiltà: 16 oppure 20, prova difficile o 12, prova facile maurizio tiriticco misurazione 2007

14 La misurazione negli esami di Stato
maurizio tiriticco misurazione 2007

15 Griglia di misurazione di una prova scritta di italiano
I N D I C A T O R I LIVELLI B M A 1. Punteggiatura 2. Ortografia 3. Morfosintassi 4. Proprietà lessicale 5. Aderenza allo stimolo 6. Coerenza Organicità 7. Chiarezza espositiva Fluenza 8. Competenza nell’analisi 9. Competenza nella elaborazione personale 10. Flessibilità Fluidità Creatività Livello di accettabilità: Massimo teorico: 30 I singoli risultati si rapportano ai quindicesimi richiesti dalla norma maurizio tiriticco misurazione 2007

16 Prima prova scritta – Tipologia A – Analisi del testo
2 indicatori 5 descrittori B M A lettura/decodifica del testo 1 2 3 aspetti contenutistici analisi del testo elaborazione critica, riflessioni, approfondimenti aspetti morfosintassi e lessico formali sviluppo argomentativo Prima prova scritta – Tipologia B1 – Articolo di giornale 5 indicatori B M A conformità e congruenza dello stile e del registro linguistico del “pezzo” con la tipologia del destinatario 1 2 3 modalità della trattazione dei dati e dei documenti di supporto e loro corretta e pertinente utilizzazione ai fini della informazione correttezza morfosintattica e capacità comunicativa originalità della elaborazione caratterizzazione del registro e dello stile ed eventuali capacità divergenti e creative maurizio tiriticco misurazione 2007

17 Prima prova scritta – Tipologia B2 – Saggio breve
5 indicatori B M A conformità e congruenza dello stile e del registro linguistico del “saggio” con la tipologia della pubblicazione e del destinatario 1 2 3 qualità della analisi dei dati forniti e loro corretta utilizzazione corretta e pertinente utilizzazione delle citazioni, dei documenti, dei riferimenti, delle testimonianze che accompagnano le indicazioni di lavoro correttezza morfosintattica e proprietà lessicale originalità delle argomentazioni e della elaborazione Prima prova scritta – Tipologie C e D – Tema tradizionale 3 indicatori 5 descrittori B M A COMPETENZE punteggiatura ortografia morfosintassi 1 2 3 linguistiche proprietà lessicale CONOSCENZE mono e pluridisciplinari correttezza e pertinenza dei contenuti CAPACITA’ elaborative sviluppo delle argomentazioni logico-critiche e creative originalità della elaborazione maurizio tiriticco misurazione 2007

18 TERZA PROVA SCRITTA Tipologia E – Casi pratici e professionali, non più di 2 5 Indicatori B M A Identificazione della situazione problematica e degli ambiti di riferimento; analisi dei diversi aspetti della situazione proposta 1 2 3 ipotesi per soluzioni diverse in ordine ai vincoli e alle opportunità esistenti, ai costi necessari e alle risorse disponibili elaborazione di uno o più piani di azione e loro fattibilità in ordine agli obiettivi da perseguire e previsione delle conseguenze avvio, conduzione e realizzazione dell’intervento per la soluzione – o per le soluzioni – del caso criteri e strumenti adottati per il monitoraggio e le eventuali correzioni in itinere e valutazione dell’efficacia delle soluzioni adottate e dei risultati raggiunti anche, eventualmente, in termini di un possibile trasferibilità e/o generalizzazione maurizio tiriticco misurazione 2007

19 TERZA PROVA SCRITTA Tipologia F – Un progetto Il candidato sa: B M A individuare e definire le variabili, gli elementi, i fattori che concorrono alla realizzazione del progetto in termini di finalità ed obiettivi 1 2 3 individuare, definire e utilizzare le risorse, i mezzi, la strumentazione, le tecniche, le tecnologie, i costi, le procedure per la realizzazione del progetto analizzare le diverse componenti della attività progettuale, programmazione, pianificazione, esecuzione, controllo in ordine ai processi da realizzare, anche in ordine ai vincoli da considerare realizzare e produrre, ovviamente in via simulata, l’“oggetto” perseguito dal progetto valutare l’efficienza e l’efficacia del processo e del prodotto in termini tecnici, di costi/benefici, degli eventuali impatti e dei suoi effetti nel tempo maurizio tiriticco misurazione 2007

20 COLLOQUIO PLURIDISCIPLINARE – edizione attuale
1 ÷ 4 = Basso; = Medio; = Medio/Alto; = Alto 3 indicatori 5 descrittori B M MA A competenze morfosintassi e lessico 1 ÷ 4 5 6 7 linguistiche sviluppo delle argomentazioni conoscenze generali padronanza dei contenuti e specifiche raccordi pluridisciplinari capacità elaborative, logiche, critiche e creative correttezza, pertinenza, originalità nelle interazioni dialogiche maurizio tiriticco misurazione 2007

21 COLLOQUIO PLURIDISCIPLINARE – edizione a. s. 2008-2009
1 ÷ 4 = Basso; = Medio; = Medio/Alto; = Alto 3 indicatori 5 descrittori B M M A A competenze morfosintassi e lessico 1 ÷ 3 4 5 6 linguistiche sviluppo delle argomentazioni conoscenze generali padronanza dei contenuti e specifiche raccordi pluridisciplinari capacità elaborative, logiche, critiche e creative correttezza, pertinenza, originalità nelle interazioni dialogiche maurizio tiriticco misurazione 2007

22 fine maurizio tiriticco misurazione 2007