TFA 2015 tecniche di valutazione & pedagogia sperimentale

Presentazione sul tema: "TFA 2015 tecniche di valutazione & pedagogia sperimentale"— Transcript della presentazione:

1 TFA 2015 tecniche di valutazione & pedagogia sperimentale

2 L'unanimità di opinione può essere adatta per una chiesa, per le vittime atterrite o bramose di qualche mito (antico o moderno) e per i seguaci deboli e pronti di qualche tiranno. Per una conoscenza obiettiva è necessaria la varietà di opinione. E un metodo che incoraggi la varietà è anche l'unico metodo che sia compatibile con una visione umanitaria PK Feyerabend, "Contro il metodo"

3 Cinque concetti fondamentali
Valutazione Misurazione (e oggettività) Validità (e validazione) Affidabilità Rapporto tra valutazione e motivazione all’apprendimento

4 Criteri di valutazione (3 cfu tecniche di valutazione)
1. Lavoro laboratoriale Validazione di uno strumento di misurazione scelto dal gruppo (es. test Invalsi, Pisa, prove d’ingresso al tfa, prove usate in classe ecc…). 2. Test Domande a risposta multipla sugli argomenti in programma

5 Qualche considerazione introduttiva
Nel corso degli ultimi anni l’inveterata tendenza ad avere idee confuse su misurazione e valutazione in campo educativo ha abbracciato più ambiti del sistema d’istruzione. Questo perché, da un ventennio circa, a essere sottoposti a valutazioni (o misurazioni?) non sono più soltanto studenti e studentesse, ma anche docenti, dirigenti e istituti dalla scuola dell’Infanzia all’Università. Credo ci siano due tendenze opposte ma egualmente deleterie a tal proposito. La prima è quella che confonde i due termini, considerandoli sinonimi o annullando la misurazione nella valutazione. La seconda è quella che tende a separarli nettamente, nell’illusione che sia possibile misurare senza valutare o che sia auspicabile valutare senza misurare. Cercheremo dunque di fare chiarezza sui due processi, sulle loro differenze e sui loro rapporti. Per procedere, è bene iniziare dalla loro funzione nel processo educativo.

6 Un esempio della confusione a proposito di valutazione e misurazione in educazione
G. Tremonti, Il passato e il buon senso, “Corriere della Sera”, 22 agosto 2008 I numeri sono una cosa. I giudizi sono una cosa diversa. I numeri sono una cosa precisa, i giudizi sono spesso confusi. Ci sarà del resto una ragione perché tutti i fenomeni significativi sono misurati con i numeri. Un terremoto è misurato con i numeri della scala Mercalli o Richter. Il moto marino è misurato in base alla scala numerica della «forza», la pendenza di una parete di montagna in base ai «gradi», la temperatura del corpo umano ancora in base ai «gradi». La mente umana è semplice e risponde a stimoli semplici. I numeri sono insieme precisi e semplici. Il messaggio che trasmettono è un messaggio diretto. Se gli stessi fenomeni – terremoto, moto marino, pendenza, temperatura corporea – fossero espressi non con i numeri ma attraverso frasi complesse con finalità descrittive, il messaggio resterebbe impreciso. NB. Tremonti allora era Ministro dell’Economia e delle Finanze e, in quanto tale, difese sulle pagine del Corriere il passaggio dai giudizi ai voti nella scuola primaria.

7 Cominciamo dalla valutazione
Iniziamo dalla valutazione perché, come vedremo, essa precede dapprima la misurazione per poi succederle (cfr. Visalberghi). Alla valutazione è riconosciuta una funzione fondamentale: essa è finalizzata al miglioramento del processo educativo. In pratica, si valuta per migliorare. La cosa è vera persino nel caso di valutazioni sommative e terminali (cfr. Vertecchi), dato che esse dovrebbero svolgere un ruolo fondamentale nella successiva programmazione dell’attività didattica.

8 Nel processo di valutazione c’è una…
«osservazione del risultato ottenuto in paragone e in contrasto con quello atteso, in modo che il paragone getti luce sulla effettiva adeguatezza delle cose adoperate come mezzi» J. Dewey, Teoria della valutazione, 1939

9 Nel processo di valutazione c’è una…
«osservazione del risultato ottenuto in paragone e in contrasto con quello atteso, in modo che il paragone getti luce sulla effettiva adeguatezza delle cose adoperate come mezzi» J. Dewey, Teoria della valutazione, 1939 rendicontativa sommativa in itinere formativa diagnostica

10 Funzioni della valutazione
La valutazione formativa si colloca durante il corso e la sua funzione è quella di dare forma alla successiva didattica. La valutazione sommativa si colloca alla fine di un corso e certifica l’avvenuto apprendimento. La valutazione diagnostica si colloca all’inizio di un corso e il suo scopo è dare informazioni sul livello iniziale di chi apprende. La rendicontazione (o accountability) riguarda principalmente chi insegna e ha lo scopo di rilevarne l’efficacia. Ps. Sulla rendicontazione, cfr. l’ultima slide! Per approfondire, cfr. dal file Benvenuto e Giacomantonio la lettura Funzioni della valutazione (Benedetto Vertecchi, Manuale della valutazione. Analisi degli apprendimenti)

11 Prerogative della valutazione educativa
È un giudizio di valore. Esprime la distanza tra una situazione osservata e una auspicata. È uno strumento utile per colmare tale distanza. Ha un dimensione soggettiva (ineliminabile ma controllabile) Ha una dimensione comparativa e intersoggettiva che prevede la raccolta di informazioni valide e affidabili È finalizzata al miglioramento di apprendimento e insegnamento

12 Due definizioni di valutazione educativa…
Le due seguenti definizioni di valutazione in educazione rispecchiano le prerogative precedentemente evidenziate e possono riferirsi tanto ai prodotti quanto ai processi. Tuttavia la seconda (Becchi, Scalera) pone maggiormente l’accento sulla natura collegiale e negoziale del processo valutativo. Da notare che in entrambe le definizioni viene riservato uno spazio intermedio al processo di misurazione (implicitamente nel primo caso, esplicitamente nel secondo) e c’è un richiamo alla necessità di un’incidenza della valutazione sul miglioramento educativo.

13 1. Jaap Scheerens Giudizio del valore di oggetti educativi emesso sulla base di una raccolta sistematica di informazioni, al fine di sostenere i processi decisionali e l’apprendimento Autovalutazione e uso delle informazioni nella scuola orientata ai risultati, 2000

14 2. Egle Becchi, Vega Scalera
Accertamento intersoggettivo di più dimensioni formative e organizzative di un contesto educativo e indicazione della loro misurabile distanza da espliciti livelli considerati ottimali da un gruppo di riferimento, in vista di un’incidenza concreta sull’esperienza educativa Cit. in Bondioli, Verso un modello di valutazione formativa, 2004

15 La valutazione ha una natura soggettiva perché è chi valuta che sceglie su cosa incentrare il proprio giudizio. Inoltre è chi valuta che definisce la situazione auspicata (le cose come dovrebbero essere). Tuttavia la soggettività (che, come vedremo, introduce notevoli distorsioni e iniquità) può e deve essere controllata attraverso il confronto intersoggettivo con gli altri attori del processo valutativo e l’esplicitazione di finalità e criteri della valutazione. La valutazione educativa in parole povere è un giudizio di valore espresso sulla distanza tra come le cose sono e come dovrebbero essere (per esempio: quel che uno studente sa e quel che dovrebbe sapere a questo punto dell’anno) finalizzato alla riduzione di tale distanza.

16 La misurazione, attraverso la raccolta di informazioni valide e affidabili, svolge una funzione fondamentale nell’esplicitazione della distanza tra le cose come sono e le cose come dovrebbero essere. Per cui… si valuta per migliorare. si misura per valutare meglio. La valutazione educativa in parole povere è un giudizio di valore espresso sulla distanza tra come le cose sono e come dovrebbero essere (per esempio: quel che uno studente sa e quel che dovrebbe sapere a questo punto dell’anno) finalizzato alla riduzione di tale distanza.

17 Fasi della valutazione
visalberghi Concludiamo questa prima presentazione presentando l’argomento della prossima: la misurazione. Essa è preceduta dalla valutazione, dato che la scelta dei criteri, delle forme, del momento e in ultima analisi la scelta stessa di valutare è un giudizio di valore (cfr. Visalberghi) Essa è seguita dalla valutazione, dato che la valutazione è un giudizio su una misura / accertamento (cfr. Gattullo). La misurazione nasce dalla valutazione e in essa confluisce. gattullo 1) Definizione dell’oggetto della valutazione. 2) Misurazione / accertamento. 3) Valutazione (interpretazione della misurazione / accertamento)

18 Qualche considerazione introduttiva
La misurazione ci consente di attribuire a concetti astratti (come la preparazione di Caio in matematica al termine del primo quadrimestre) alcune proprietà del sistema numerico Come abbiamo visto questa riduzione empirica svolge una preziosa funzione all’interno del più generale processo di valutazione (anche se non va confusa con esso) Legare concetti astratti a indicatori empirici è un’operazione complessa e richiede l’osservazione di determinati passaggi. Spesso tale complessità non viene colta e i passaggi non vengono tenuti in considerazione. In tal caso abbiamo misure inaccurate, che compromettono l’intero processo di valutazione con pesanti ripercussioni sull’apprendimento dei soggetti coinvolti Prima di affrontare i passaggi da seguire nella misurazione, vorrei ripartire dai problemi affrontati da Visalberghi in “Misurazione e valutazione”. Rileggiamo con attenzione il passaggio seguente…

19 A. Visalberghi, Misurazione e valutazione nel processo educativo, 1955
«Non c’è nessuna ragione di fondo per cui la misura intesa come operazione di conteggio o confronto non debba accompagnarsi con la misura intesa come abito di equilibrio e discrezione. Si potrebbero fare, è vero, sottili analisi circa l’origine classica dei due significati ed il loro uso rinascimentale, ma non crediamo che i risultati sarebbero in contrasto con la semplice osservazione di buon senso che l’abito stesso del misurare, implicando l’attitudine a vedere un più ed un meno dove il giudizio affrettato scorge qualità assolute è esso stesso un abito di riflessività, di moderazione e di prudenza».

20 Tre considerazioni sulle parole di Visalberghi
1 Queste parole ci mettono in guardia contro un uso squilibrato della misurazione in educazione. E lo fanno all’interno di un lavoro che, nel complesso, difende le ragioni di un uso (misurato) del testing. Ci ricordano che una buona misura costituisce, al massimo, una buona approssimazione, ma non esaurisce quel che intendiamo misurare.

21 Tre considerazioni sulle parole di Visalberghi
2 Il richiamo al “vedere un più e un meno” da parte di chi misura rovescia il luogo comune che assegna a chi propone un approccio scientifico o quantitativo la tendenza a operare eccessive semplificazioni della realtà. Per Visalberghi, al contrario, affrontare scientificamente le questioni educative equivale a farsi carico delle loro complessità e la misura è chiamata ad arricchire e a rendere più ricco il nostro giudizio di valore.

22 Tre considerazioni sulle parole di Visalberghi
3 Si tratta di un approccio che rispecchia una visione della scienza in linea con il tramonto dell’idea che riteneva possibile considerare i dati indipendentemente dalle teorie e dai valori. Da questo punto di vista appare evidente la distanza tra questa visione matura e quella pseudoscientifica proposta (oltre mezzo secolo dopo!) da Tremonti (cfr. Presentazione precedente, slide 4) improntata a un induttivismo ingenuo. Purtroppo, come vedremo nel corso di altre unità didattiche, negli ultimi anni è la visione pseudoscientifica a guidare le politiche relative alla valutazione educativa.

23 Il ruolo della misurazione
visalberghi Nonché sopprimere la valutazione, la misurazione nasce dalla valutazione e nella valutazione confluisce. Essa mantiene però una provvisoria ma nettissima autonomia che le permette di raggiungere una precisione ed un'attendibilità altrimenti impossibili. Gattullo 1) Definizione dell’oggetto della valutazione. 2) Misurazione / accertamento. 3) Valutazione (interpretazione della misurazione / accertamento)

24 Il ruolo della misurazione
Come visto (cfr. Visalberghi, Gattullo) la misurazione assume una posizione intermedia nel processo di valutazione educativa. Essa lo sostiene attraverso la raccolta di informazioni affidabili sulla distanza che intercorre tra uno stato di cose osservato (per esempio: le conoscenze di uno studente in un dato momento del corso) e uno auspicato (per esempio: le conoscenze che a quel punto del corso dovrebbe possedere) Questo significa che prima di misurare dobbiamo avere idee chiare rispetto a quel che ci interessa conoscere.

25 Prima il perché “Troppo spesso ci chiediamo di misurare qualcosa senza affrontare la questione di che cosa potremmo fare con le misure una volta ottenute. Noi vogliamo sapere come, senza porci il problema del perché. Io spero di poter dire, senza irriverenza, cercate prima ciò che serve ai vostri bisogni e tutte le altre cose vi saranno date di conseguenza”. A. Kaplan, The Conduct of Inquiry, 1964. Cit. in P. Lucisano, Misurare perché e come, in P. Lucisano (a cura di), Lettura e comprensione, 1989

26 A. Visalberghi, Misurazione e valutazione nel processo educativo, 1955
Noi dobbiamo domandarci non già quali tipi di prove siano più «calde» ed umane, ma quali tipi di prove servano meglio ai fini di un giudizio impegnativo e motivato ricco di conseguenze pratiche importanti. E che deve perciò essere giusto ed obiettivo quant’è possibile.

27 Prima il perché In poche parole, prima di scegliere o costruire uno strumento di misura dobbiamo avere chiaro a quale scopo ci serve. In quale tipo di processo di valutazione impiegheremo le misure rilevate? Si tratta di valutazione diagnostica, formativa o sommativa? In quale momento del percorso stiamo valutando?

28 Le misure che usiamo come docenti
Come docenti, spesso diamo i numeri. Le nostre valutazioni si esprimono come misure che di solito hanno un’espressione numerica (18… 30 all’università o 6… 10 a scuola), talvolta sono rappresentate da una lettera (C…A). Altre volte da un giudizio (sufficiente… ottimo). Di solito queste forme sono intercambiabili, cosa che sanno benissimo le migliaia di docenti della scuola primaria che hanno convertito facilmente i loro giudizi in voti, annullando così buona parte degli effetti deleteri che avrebbe avuto la pretesa rivoluzione gelminiana sostenuta da Tremonti.

29 Le misure che usiamo come docenti
Questa intercambiabilità dovrebbe metterci in guardia dal credere che per il sol fatto di esprimere numericamente un concetto si stia operando quantitativamente. O, viceversa, dal ritenere che per il sol fatto di esprimere giudizi si operi con delle qualità. Così, la questione tra quantitativo e qualitativo è mal posta. D’ora in poi parliamo di misurazione quando quando classifichiamo individui e/o fenomeni. Le qualità, se esistono, sono da noi conoscibili (aggredibili, comprensibili) soltanto mediante l’utilizzazione di procedure e categorie di tipo quantitativo. Gattullo, M. (1989), «Quantitativo e qualitativo in educazione e nella ricerca educativa», Scuola e Città, n. 4,

30 Proseguiamo definendo il processo di misurazione e descrivendo sinteticamente le scale di misura…

31 P. Lucisano, A. Salerni, Metodologia della ricerca in educazione e formazione, 2003
La misurazione ha l’obiettivo di consentire una stima sulla base di un sistema di riferimento condiviso delle informazioni sulle quali si intende operare o che debbono essere considerate ai fini di formulare un giudizio. Definiamo misura diretta quella operazione che si effettua confrontando la grandezza da misurare con un’altra grandezza ad essa omogenea, presa come campione. Carmines e Zeller (1979) ritengono più appropriato definire la misurazione come un processo nel quale vengono collegati concetti astratti ad indicatori empirici, cioè un processo che comporta un esplicito e organizzato piano per classificare e/o per quantificare. Carmines, Edward G., and Richard A. Zeller (1979). Reliability and Validity Assessment. Immagine 78133 31

32 P. Lucisano, A. Salerni, Metodologia della ricerca in educazione e formazione, 2003
Le scale di misura Nella misurazione, attribuiamo dei valori numerici a oggetti o ad eventi secondo regole che permettono di rappresentare caratteri degli oggetti o eventi in questione con proprietà del sistema numerico. In teoria, alle variabili di tipo qualitativo possiamo assegnare solo nomi e non numeri, tuttavia nella pratica è comune etichettare variabili qualitative con numeri. E' necessario ricordare però che in questi casi i numeri non hanno le proprietà del sistema numerico. Una distinzione comunemente adottata è quella che divide le scale di misura in quattro categorie. NOMINALI ORDINALI DI RAPPORTI A INTERVALLI 32

33 Le scale nominali Il tipo di misura più elementare è quello basato su scale nominali. Gli elementi che sono oggetto della misurazione possono essere solo raggruppati in categorie, distinguibili ma non ordinabili gerarchicamente. Un esempio di scala nominale è quella basata sulla nazionalità o sul credo religioso (nessuna persona sana di mente pretenderebbe di ordinare gerarchicamente gli individui sulla base della nazionalità o del credo religioso) Immagine e 78093 33

34 Le scale ordinali In una scala ordinale gli elementi sono raggruppabili in categorie tra cui è possibile stabilire una relazione di ordinamento gerarchico Così, a differenza delle scale nominali, quelle ordinali consentono di ordinare gerarchicamente gli individui in relazione al fatto che possiedano in certa misura una caratteristica Tuttavia la scala non definisce quanto un elemento dista dall'altro. Sappiamo che A è maggiore di B ma non sappiamo quantificare la distanza tra A e B né quella tra B e C. La relazione viene indicata con l’espressione “maggiore di” e con la notazione ‘>’ . Un esempio di scala ordinale è quella basata sui titoli di studio: sappiamo che una Laurea è gerarchicamente sovraordinata rispetto a un diploma di scuola secondaria di secondo grado. Ma non siamo in grado di stabilire la differenza tra i due titoli, né se la distanza tra essi è maggiore o minore rispetto a quella esistente tra il diploma e una licenza di scuola secondaria di primo grado. C B A Immagine 78096 34

35 Con queste scale è possibile calcolare media e deviazione standard.
Le scale a intervalli Quando una scala ha tutte le caratteristiche di una scala ordinale ed è inoltre possibile stabilire la distanza tra ciascuna coppia di elementi si parla di scala a intervalli. Questo richiede che venga definita una unità di misura come riferimento comune con cui esprimere gli intervalli e che questa misura sia replicabile, cioè ripetibile ottenendo lo stesso risultato. L’unità di misura e lo zero di tale scala sono arbitrari. Un esempio di scala a intervalli è la temperatura misurata coi gradi centigradi Con queste scale è possibile calcolare media e deviazione standard. Immagine 59309 35

36 Operazioni ammissibili: tutte!
Le scale di rapporti Le scale di rapporti oltre alle caratteristiche delle scale ad intervalli hanno un punto zero assoluto, cioè fisso, non arbitrario. Un modo di accertare se stiamo utilizzando una scala di rapporti è dunque provare a pensare se possiamo usare lo zero. Di norma queste scale non hanno numeri negativi. Operazioni ammissibili: tutte! Immagine Tagliata come sopra Un esempio classico di scala di rapporti è l'età di una persona o il suo peso: non si può essere più giovane di zero o pesare meno di zero. 36

37 Descrizioni analitiche dell’obiettivo: permettono un affidabile e utile confronto tra la situazione attesa e quella osservata Descrittori Indicatori Elementi che segnalano il posizionamento rispetto a un obiettivo (es. tipo e numero di risposte fornite) Sintesi numeriche che segnalano il posizionamento rispetto a un obiettivo (es. % di abbandoni) Seconda parte

38 Valutazione a norma o a criterio?
Si limita a confrontare le prestazioni del soggetto con un gruppo di riferimento Es. SNV-Invalsi, Test d’accesso alle Università Fornisce indicazioni sul raggiungimento di determinati livelli di conoscenza, capacità o competenza Es. Test di L2 basati su quadri di riferimento (A1…C2) Norma Criterio Poi parleremo delle ricerche sull’incidenza degli stili valutativi sull’acquisizione di obiettivi di padronanza o di prestazione (intrinseci vs estrinseci) da parte di chi apprende Terza parte

39 Docimologia, validità, affidabilità e d equità
C’era proprio bisogno di una nuova disciplina all’interno delle scienze dell’educazione? C’era proprio bisogno della docimologia? Come vedremo, di sicuro c’è che la docimologia nasce intorno a un problema rilevante: la differenza di giudizi fornita da docenti a prestazioni identiche o quasi fornite da allieve e allievi. È a questo problema, che è insieme un problema di validità, affidabilità, equità ed efficacia della valutazione, dell’apprendimento e dell’insegnamento, che la docimologia, nel corso del secolo scorso, ha proposto come soluzioni approcci e strumenti innovativi.

40 Qualche considerazione introduttiva (2)
Nel corso dei decenni, la valutazione di chi apprende ha cessato di essere l’interesse pressoché unico della docimologia. Ed ecco che, dagli anni ottanta del XX secolo, assumono rilevanza anche questioni relative alla validità, all’affidabilità e all’equità di valutazioni di scuole e docenti.

41 Docimo-(dokimàzo) = esaminare logia(logos) = discorso / riflessione scientifica
Evoluzione della docimologia in tre definizioni… Studio destinato alla critica e al miglioramento delle votazioni scolastiche (Piéron, 1929) Scienza che ha per oggetto lo studio sistematico degli esami, in particolare dei sistemi di votazione e del comportamento degli esaminatori e degli esaminati (De Landsheere, 1971) Scienza che ha per oggetto lo studio dei sistemi di valutazione in educazione (De Ketele, 1982) I voti e i giudizi sono la punta di un iceberg che per sintetizzare chiameremo valutazione e verifica scolastica e il tema dell’equità dell’istruzione è lo sfondo problematico nel quale tale iceberg si colloca G. Benvenuto, Mettere i voti a scuola, 2003

42 Prova Composizione di francese Versione dal latino Inglese Matematica
Analisi dello scarto dei voti tra valutatori (Laugier e Weinberg, in Piéron 1963) Prova Scarti (scala da 1 a 20) Medio Più frequente Massimo Vero voto N. minimo Valutatori Composizione di francese 3,3 6 e 7 13 78 Versione dal latino 3,0 5 12 19 Inglese 2,2 4 9 28 Matematica 2,0 Filosofia 3,4 5 e 7 127 Fisica 1,9 8 16

43 L’affidabilità nelle valutazioni nella scuola di massa: gli studi di Piéron
Ciascun valutatore era sensibile ad alcune caratteristiche delle prove, mentre ne trascurava altre I punteggi attribuiti dai vari correttori davano luogo a distribuzioni diverse (ognuno interpretava a suo modo una scala di voti) Per ottenere un voto vero (“media d’un numero alquanto elevato di classificazioni indipendenti”) il numero dei correttori sarebbe dovuto esser altissimo (13 per la matematica, 127 per la dissertazione filosofica!)

44 Principali distorsioni valutative in ambito educativo
«L’arte di esaminare è, come tutte le arti, una sintesi di tecnica e di atti originali d’intuizione» A. Visalberghi, Misurazione e valutazione nel processo educativo, 1955 44

45 Principali distorsioni valutative in ambito educativo
Alone Elementi poco pertinenti risultano determinanti nel giudizio Contagio Influenza del giudizio altrui sulla valutazione Contraccolpo Modificazione della didattica in funzione degli esami finali Distribuzione forzata Forzatura delle differenze individuali Pigmalione Adeguamento alle aspettative Stereotipia Forte incidenza di giudizi precedenti (fissità valutativa) Successione/Contrasto Sovra o sottostima sulla base di un confronto con un altro esaminando Terza parte 45

46 Affidabilità Ecco dunque un primo tema affrontato storicamente dalla docimologia. Uno strumento di misura è affidabile se, sottoposto allo stesso stimolo, riproduce la stessa risposta. Salgo su una bilancia e la misura che mi restituisce è pari a 77,5 kg. Scendo. Risalgo dopo pochi secondi. La bilancia mi restituisce la misura di 82,5 kg. Scendo. Risalgo dopo pochi secondi. La bilancia mi restituisce la misura di 80,5 kg. E così via. Che conclusioni posso trarre? Che la bilancia non è affidabile. Parimenti, se la stessa prestazione di uno studente ottiene un 5 da un docente e un 7 da un altro, non posso che considerare inaffidabile la misura. Non di rado è lo stesso docente ad assegnare misure diverse a prestazioni identiche fornite da due allievi. A voi succede?

47 Affidabilità ed equità
L’affidabilità è una questione legata indissolubilmente con l’equità scolastica. È un legame che ha tratti paradossali, come ricordato nella “Lettera a una professoressa”: non c’è nulla che sia ingiusto quanto far parti uguali fra disuguali. Ma il punto è ricordare che stiamo misurando. In questa fase è necessario “far parti uguali”, sarà poi nel successivo giudizio di valore che arricchiremo le nostre misure con un ragionamento sulle differenze di partenza o di contesto. La confusione tra i due momenti è foriera di misure inaffidabili e valutazioni inique!

48 Un modo per affrontare il problema consiste nell’utilizzo di strumenti “oggettivi” di verifica, che consentono di annullare o limitare iniquità o distorsioni nella fase di rilevazione. Nelle prove standardizzate chi “corregge” compie un’operazione nella quale o non mette in campo la propria soggettività (dato che le risposte esatte sono del tutto prestabilite, come nelle prove a scelta multipla) o limita la propria soggettività (come nelle prove semistrutturate, in cui ci sono numerosi esempi e criteri per l’assegnazione dei punteggi)

49 Tuttavia… anche facendo ricorso a prove oggettive, la soggettività, eliminata o fortemente limitata nella fase finale del processo di misurazione (la “correzione”) si ripresenta all’inizio. Infatti sono stati dei… soggetti a scegliere quelle prove e non altre, o a costruire quelle prove facendo determinate scelte di metodo e contenuto. L’irriducibilità dell’elemento soggettivo (che non va eliminato ma controllato) ci ricorda però, ancora una volta, che… la misurazione nasce dalla valutazione (e in essa confluisce)

50 la validità di una misura
La validità è la capacità di una misura di misurare proprio quel che intende misurare Ciò che è possibile validare non è mai uno strumento in sé, ma uno strumento in relazione allo scopo per il quale viene costruito Ciò che a noi interessa che abbia validità non è tanto lo strumento quanto una particolare interpretazione dei dati ricavati dal suo utilizzo è possibile che uno strumento sia valido per misurare un fenomeno diverso da quello che vogliamo misurare

51 la validità di contenuto
Il contenuto della prova è appropriato agli intenti di misura della prova? es. per la misurazione del concetto “comprensione della lettura”, si deve 1 Definire in maniera operativa il concetto (“tradurlo in comportamenti osservabili”) ... le domande che possono aiutarci in queste fasi: a) la nostra definizione include tutti gli aspetti importanti del concetto? b) la nostra definizione esclude qualcuno tra gli aspetti importanti del concetto? 2 Scegliere i testi in modo che siano adatti allo scopo 3 Scegliere gli indicatori per rappresentare il concetto c) la scelta degli indici ha escluso aspetti importanti della nostra definizione? 4 SARÀ NECESSARIO CHE CIASCUNA ABILITÀ VENGA RILEVATA DA MOLTI ITEM

52 OECD PISA. La verifica della validità di contenuto (1
OECD PISA. La verifica della validità di contenuto (1. Definire operativamente il concetto astratto) Literacy in lettura Utilizzare informazioni dal testo Attingere a conoscenze extratestuali Concentrarsi su parti del testo Concentrarsi sulle relazioni fra le informazioni Concentrarsi sul contenuto Concentrarsi sulla forma Individuare informazioni Comprendere il significato generale del testo Sviluppare un’interpre-tazione Riflettere sul contenuto e valutarlo Riflettere sulla forma e valutarla Focalizzarsi sull’insieme del testo Focalizzarsi sulle relazioni nel testo Seconda parte

53 OECD PISA. La verifica della validità di contenuto (1
OECD PISA. La verifica della validità di contenuto (1. Definire operativamente il concetto astratto) Literacy in lettura Utilizzare informazioni dal testo Attingere a conoscenze extratestuali Concentrarsi su parti del testo Concentrarsi sulle relazioni fra le informazioni Concentrarsi sul contenuto Concentrarsi sulla forma Focalizzarsi sull’insieme del testo Focalizzarsi sulle relazioni nel testo Interpretare il testo Riflettere e valutare Individuare informazioni Seconda parte

54 Individuare informazioni
OECD PISA. La verifica della validità di contenuto (2. Controllare se gli elementi della definizione sono ben rappresentati nella prova) Interpretare il testo Riflettere e valutare Individuare informazioni Controllare, per ogni elemento 1) se ci sono item (quesiti) che all’interno della prova vanno a rilevare soltanto quello specifico elemento. 2) se il numero di item per ciascun elemento è da ritenersi sufficiente.

55 Confronto tra INVALSI e PISA
Numero insufficiente di quesiti e iniqua rappresentazione Iniqua rappresentazione

56 LIVELLO 2 Literacy in lettura (benchmark Lisbona)
INDIVIDUARE INFORMAZIONI INTERPRETARE IL TESTO RIFLETTERE E VALUTARE Localizzare una o più informazioni, ciascuna delle quali potrebbe dover soddisfare molteplici criteri. Orientarsi fra informazioni fra loro contrapposte Individuare l’idea chiave del testo, comprendere relazioni, creare o applicare semplici categorie oppure interpretare il significato di una parte limitata del testo nei casi in cui le informazioni non siano evidenti e siano necessarie semplici deduzioni Stabilire legami o paragoni fra il testo e nozioni di origine extratestuale oppure spiegare un aspetto del testo attingendo alla propria esperienza o alle proprie opinioni personali. Testi continui: Ricostruire legami linguistici o tematici all’interno di un paragrafo, allo scopo di localizzare o interpretare informazioni, oppure sintetizzare informazioni presenti trasversalmente nel testo, o in parti del testo, allo scopo di dedurre l’intenzione dell’autore. Testi non continui: Dimostrare di afferrare la struttura sottesa ad una rappresentazione grafica – ad esempio un semplice diagramma ad albero o una tabella – oppure integrare insieme due informazioni provenienti da un grafico o da una tabella Seconda parte

57 «Lago Ciad» Seconda parte

58 «Lago Ciad» Seconda parte

59 «Lago Ciad» Seconda parte

60 «Lago Ciad» Seconda parte

61 «Lago Ciad» Seconda parte

62 Seconda parte

63 Seconda parte

64 «Graffiti» Seconda parte

65 Seconda parte

66 Indicazione per la valutazione
CODICE 1. Spiega il proprio punto di vista riferendosi al contenuto di una o di entrambe le lettere. Può fare riferimento alla posizione generale dell'autrice (a favore o contrario) o ai dettagli della sua argomentazione. L’interpretazione dell’argomentazione dell’autrice deve essere plausibile. La spiegazione può essere una parafrasi del testo ma non può essere per la maggior parte copiata senza cambiamenti o aggiunte. Seconda parte

67 Esempi di risposte da CODICE 1
• Sono d’accordo con Olga. I graffiti sono illegali e per questo sono atti vandalici. • Olga, perché sono contro i graffiti. [Risposta minima.] • Sofia. Penso che sia ipocrita multare gli autori dei graffiti e poi guadagnare milioni copiandone le creazioni. • Sono in parte d’accordo con entrambe. Dovrebbe essere vietato dipingere i muri dei luoghi pubblici, ma bisognerebbe dare a queste persone la possibilità di farlo altrove. • Sofia, perché si preoccupa dell’arte. • Sono d’accordo con entrambe. I graffiti sono una cosa negativa, ma lo è anche la pubblicità, e non vorrei quindi essere ipocrita. • Con Olga, perché neanche a me piacciono i graffiti ma capisco anche il punto di vista di Sofia e il fatto che lei non voglia condannare le persone perché fanno le cose in cui credono. • Sofia. È vero che disegni e colori copiati dai graffiti compaiono nei negozi e sono accettati da persone che considerano i graffiti orribili. [La spiegazione è una combinazione di frasi dal testo, ma la quantità di manipolazione indica che il testo è stato compreso bene.]

68 la validità del criterio
verifica della validità di un test confrontando i suoi risultati con altre misure della stessa abilità rilevate in modo indipendente si tratta dunque di utilizzare un’altra misura come CRITERIO per validare la prima un modo molto semplice per validare secondo criterio è quello di prendere i punteggi di un test e verificare se sono correlati con punteggi che l’insegnante ha attribuito in modo autonomo ai suoi studenti

69 la validità di costrutto
si riferisce alla bontà di un test giudicata sulla base di quanto i punteggi ricavati dalla prova hanno senso in relazione alle nostre teorie Come la validità di contenuto, anche la validità di costrutto può essere verificata solo in relazione a un modello teorico Le operazioni necessarie per verificare la validità del costrutto prevedono la costruzione di una teoria (definizione di concetti e dei loro rapporti), la scelta di indicatori per ciascun concetto, la misurazione dei concetti, il calcolo delle correlazioni tra gli indici dei concetti misurati e il confronto tra queste correlazioni empiriche e quelle ipotizzate teoricamente tra i concetti

70 la validità di aspetto si riferisce alla bontà di un test
valutata in base al suo ASPETTO da parte di persone che non hanno esperienza di testing L’aspetto condiziona l’accettazione, l’uso e la circolazione di un test. In una prova che propone domande irrilevanti o inutili agli occhi della popolazione cui è destinata, L’aspetto finisce con il condizionare la validità delle misure, generando resistenze o superficialità nelle risposte

71 L’item analysis CON L’ITEM ANALYSIS VERIFICHIAMO IL FUNZIONAMENTO DI CIASCUN QUESITO PER OGNI ITEM VENGONO CALCOLATI GLI INDICI DI FACILITÀ E DISCRIMINATIVITÀ

72 L’indice di facilità Verifica quanto l’item sia risultato facile.
È dato dal rapporto tra il numero di risposte esatte e il numero degli studenti. L’indice varia tra: 1 (tutti hanno risposto correttamente) e 0 (nessuna risposta esatta). Generalmente vengono rivisti o scartati gli item con un indice di facilità superiore a 0,75 o inferiore a 0,25

73 L’indice di discriminatività
La discriminatività di un item è la sua capacità di distinguere gli studenti più competenti da quelli meno competenti (rispetto all’oggetto di misurazione) CALCOLO DELL’INDICE La prima cosa da fare è quella di dividere i soggetti, sulla base del numero di risposte esatte, in 3 fasce per individuare due fasce estreme di rendimento (i più bravi e i meno bravi), composte dallo stesso numero di soggetti.

74 Il calcolo della discriminatività
La discriminatività di un item è data da: la differenza tra il numero di risposte esatte fornite dai soggetti più bravi e il numero di risposte esatte fornite dai soggetti meno bravi, diviso per il numero di soggetti che compone ciascun estremo. L’indice varia tra: +1 (massima discriminatività positiva) all’ item rispondono bene solo i soggetti che sono andati complessivamente bene -1 (massima discriminatività negativa) all’ item rispondono bene solo i soggetti che sono andati male alla prova Generalmente, si ritengono accettabili gli item con indici di discriminatività superiore 0,30

75

76 Avvertenze per costruire prove oggettive
La domanda deve focalizzare un solo problema o concetto, esprimendolo con precisione per evitare incertezze e confusioni nella scelta della risposta. Tutti i distrattori devono essere plausibili rispetto al problema considerato. Ogni distrattore deve, per contenuto e natura, risultare in qualche modo collegato alla domanda. I distrattori e la risposta esatta devono essere formulati in modo omogeneo, per struttura sintattica e per lunghezza. Allo stesso modo è bene evitare l’uso di termini come quasi sempre, spesso, qualche volta, che inducono a credere nell’esattezza delle alternative. Unica eccezione il caso in cui queste espressioni siano usate in una scala graduata:sempre, quasi sempre, talvolta, quasi mai, mai. Le domande dovrebbero evitare di contenere negazioni semplici o doppie. Se è proprio indispensabile, è consigliabile evidenziare la negazione in neretto, con sottolineatura o scrivendola in maiuscolo. Le risposte contenenti cifre o quantità disporle in ordine crescente o decrescente. Le alternative di risposta: nessuna di queste, sia a che b, tutte le precedenti sono da evitare Le alternative di risposta devono accordarsi grammaticalmente con la domanda posta. Terza parte

77 Avvertenze per costruire prove oggettive
Motivazioni Il linguaggio (termini e struttura delle proposizioni) non sia inutilmente complicato ma sia adeguato ai destinatari (V) La misurazione degli obiettivi sarebbe accompagnata o filtrata dalla misurazione delle abilità linguistiche riguardanti tali complicazioni Gli stimoli siano brevi ed essenziali, nella misura del possibile. (V) Si perde meno tempo, si provoca minore stanchezza. Non fare tranelli (V) Si misurerebbe l’abilità di sfuggire ai tranelli. Non chiedere cose banali o sciocche (V). Si misurerebbero conoscenze inutili. Non fare domande alle quali si possa rispondere solo in base al buon senso o alla cultura generale (V). Si misurerebbe il buon senso e la cultura generale. Le risposte sbagliate non siano ingenue né raffinate, ma adeguate alla preparazione dei destinatari (V) (A). Si misurerebbero acquisizioni estranee agli obiettivi perseguiti. Taluni soggetti potrebbero trovarsi in difficoltà. Citare un autore, se si fanno riferimenti a quanto egli abbia detto o scritto (A). Non si saprebbe altrimenti riconoscere come vere o false le asserzioni riportate. La collocazione delle risposte esatte non deve essere preordinata (ad esempio VFVFVFVFVF, oppure VVFFVVFFVVFF) (AS). Qualcuno potrebbe scoprirla Non utilizzare mai ‘pezzi’presi tali e quali da libri usati per lo studio (AS). Qualcuno li potrebbe avere memorizzati o ritrovarvi più facilmente la risposta esatta. Ciascuna domanda sia indipendente dalle altre (AS) Chi scoprisse i collegamenti potrebbe essere facilitato. Benvenuto, Giacomantonio p. 135 (vedi file!) Riadattamento della tabella riportata in Gattullo, Giovannini, Misurare e valutare l'apprendimento nella scuola media, B. Mondadori, Milano 1989 Terza parte

78 Oggettiva Tradizionale Autentica
Peculiarità Eliminazione o ridimensionamento dell’incidenza del giudizio di chi rileva Test Richiesta di risposta complessa. Colloquio orale, tema Realizzazione, individuale e di gruppo, di prodotti reali, attinenti alla dimensione scientifico/professionale della disciplina. Laboratori. Punti di forza Possibilità, in tempi ridotti, di testare la conoscenza di un numero esteso di nozioni da parte di un numero elevato di soggetti Possibilità di approfondire la conoscenza e la padronanza di un determinato argomento Possibilità di verificare se il soggetto è in grado di utilizzare risorse cognitive e metacognitive per affrontare situazioni complesse attinenti all’insegnamento Scacchi Difficoltà di rilevare conoscenze approfondite e capacità complesse (validità di contenuto). Illusione di oggettività. Confusione: tra espressione numerica ed esattezza, tra misurazione e valutazione. Scarso ricorso all’item analysis. Mancato rispetto delle regole di costruzione dei test. Scarsa affidabilità: incidenza di distorsioni valutative Difficoltà di approntamento dei contesti in cui realizzare i prodotti. Difficoltà nella valutazione delle dimensioni metacognitive e della capacità di lavorare in gruppo Terza parte

79 Gradi di autenticità di un “compito”
Inautentico Realistico Autentico Spiegare un set di dati Disegnare una casa utilizzando formule matematiche e figure Disegnare e costruire un modello di casa che risponda a standard e alle richieste di clienti Scrivere un “paper” su tematiche di diritto Scrivere un saggio persuasivo sul perché cambiare una legge Scrivere una proposta da presentare a specifici legislatori per cambiare una legge corrente Leggere un testo scelto dal docente Leggere alla classe un testo scelto autonomamente Produrre una registrazione audio su una storia da fornire alla biblioteca Traduzione da Wiggins, Educative Assessment, Jossey and Bass, 1998

80 ORIENTAMENTO DEGLI STUDENTI EVITAMENTO della PRESTAZIONE
TENDENZA A… ORIENTAMENTO DEGLI STUDENTI PADRONANZA PRESTAZIONE / EVITAMENTO della PRESTAZIONE PERSEGUIRE OBIETTIVI centrati sul compito, che svolgono motivati a capire ciò che fanno e a farlo bene ( intrinseca) orientati alla dimostrazione delle proprie abilità, alla valutazione positiva di altri o all’evitamento di valutazione negative (motivazione estrinseca) UN COMPORTAMENTO INTRINSECAMENTE MOTIVATO intrapreso e/o sostenuto dal senso di soddisfazione che si prova quando ci impegniamo in un’attività che ci piace e in cui ci sentiamo competenti ESTRINSECAMENTE MOTIVATO Intrapreso per ottenere un qualche premio o per evitare una conseguenza negativa CONSIDERARE LA RIUSCITANEL COMPITO In rapporto a se stessi Riuscire significa migliorare le proprie conoscenze e abilità in un settore e sviluppare le proprie competenze In rapporto agli altri Riuscire significa ottenere bei voti, la superiorità sui pari, il riconoscimento da parte degli altri della propria abilità CONSIDERARE L’ABILITÀ O L’INTELLIGENZA (IN RELAZIONE AD AMBITI SPECIFICI) Incrementale e acquisibile: può essere appresa e sviluppata Entitaria o fissa: l’individuo non crede di poter superare i propri limiti, che vengono riaffermati in caso di insuccesso

81 ORIENTAMENTO DEGLI STUDENTI EVITAMENTO della PRESTAZIONE
TENDENZA A… ORIENTAMENTO DEGLI STUDENTI PADRONANZA PRESTAZIONE / EVITAMENTO della PRESTAZIONE AVERE ORIENTAMENTI DI Approccio Approccio/Evitamento AVERE EMOZIONI DI ATTIVAZIONE POSITIVA ATTIVAZIONE POSITIVA o NEGATIVA (prestazione) DEATTIVAZIONE NEGATIVA (evitamento) ATTIVARE MECCANISMI DI REGOLAZIONE (pianificazione, monitoraggio, controllo, reazione) Adattivi (es. richiesta d’aiuto come strumento per accrescere la propria autonomia) Adattivi, maladattivi (richiesta d’aiuto evitata in quanto ammissione di incapacità, auto-ostacoli per scusare il fallimento per evitare le implicazioni negative della prestazione, procrastinazione) AVERE UN SENSO DI AUTOEFFICACIA SCOLASTICA Forte Forte o debole ATTRIBUIRE GLI INSUCCESSI a un LOCUS INTERNO, a CAUSE MOBILI e CONTROLLABILI (orgoglio, perseveranza) a un LOCUS ESTERNO, a CAUSE FISSE e NON CONTROLLABILI (vergogna, sconforto)

82 Obiettivi di riuscita degli studenti
Carole Ames, 4 passaggi chiave Un cambiamento efficace punta al cambiamento dell’ambiente scolastico prima ancora che sul cambiamento dello studente, si incentra sul ruolo degli insegnanti e della leadership 1 Obiettivi di riuscita degli studenti dicotomia tra obiettivi di padronanza, qui task, centrati sul compito in sé e obiettivi di prestazione, qui ability, centrati sul giudizio degli altri 2 Ambiente di classe e sua incidenza sull’adozione di obiettivi di riuscita Gli studenti dalla classe percepiscono un’enfasi su padronanza o prestazione, questa percezione incide su motivazione e apprendimento Gli studenti percepiscono la classe come ambiente che definisce la finalità dell’apprendimento e tale percezione influenza l’adozione di obiettivi, quindi la motivazione e l’apprendimento.

83 Carole Ames, 4 passaggi chiave
Un cambiamento efficace punta al cambiamento dell’ambiente scolastico prima ancora che sul cambiamento dello studente, si incentra sul ruolo degli insegnanti e della leadership 3 Identificazione di dimensioni chiave della classe che spingono verso gli obiettivi di riuscita Il focus sulla prestazione è correlato con scarsa possibilità per gli studenti di dire la propria sulle attività, scoraggiamento del lavoro cooperativo e delle interazioni raggruppamenti basati sui livelli di prestazione enfasi su competizione e confronti tra le prestazioni e valutazioni basate sulla posizione relativa rispetto agli altri Al contrario, si incentiva l’adozione di obiettivi di padronanza attraverso coinvolgimento degli studenti nella scelta delle attività incentivazione alla cooperazione raggruppamenti basati su interessi e bisogni valutazioni basate sui miglioramenti individuali e sull’effettivo raggiungimento di livelli di competenza 4 Strutturazione di strategie concrete per agevolare l’adozione di obiettivi di riuscita Il programma TARGET parte dal presupposto che la classe non è un’isola, che è necessario coinvolgere la leadership educativa: la pressione che la scuola esercita attraverso la Cultura di scuola incide sulla struttura degli obiettivi di classe. Evidenza empirica: la percezione degli obiettivi di scuola, che si accresce di grado in grado ed è più incidente su neri e poveri, è correlata con i livelli di apprendimento

84 ATTIVITÀ Importanza che gli studenti avvertano la significatività e la rilevanza personale delle attività Che tali attività contengano elementi di sfida e che diano agli studenti un senso di controllo sui processi e sui prodotti Che siano inoltre varie e non ripetitive (tra l’altro, meno possibilità di confronti deleteri sui prodotti) Che facciano riferimento anche a obiettivi specifici e a breve termine (per attivare l’autoregolazione per la gestione personale dell’attività) Che possano essere affrontate anche in (piccoli) gruppi VALUTAZIONE L’orientamento alla prestazione è favorito se vengono enfatizzati esclusivamente l’assenza di errori e il frequente confronto con le prestazioni altrui, con conseguenze negative come l’evitamento, un senso di efficacia deficitario, il mancato uso di strategie di autoregolazione. Anche i premi corrono il rischio di incentivare l’adozione di obiettivi di prestazione Concentrarsi sui progressi di qualcuno stabiliti in termini di padronanza (non di norma!) invece può attivare meccanismi di autoregolazione, incentivati anche dalla percezione di un ambiente collaborativo. Utilizzo proattivo degli errori. Importanza di una valutazione che informa e suggerisce azioni ma non impone conseguenze (infatti, anche le conseguenze della valutazione incidono sull’orientamento: più elevate sono, più spingono verso la prestazione). AUTORITÀ Il coinvolgimento degli studenti nella presa di decisioni supporta l’autonomia individuale e di gruppo, purché sia basato sugli interessi degli studenti e non sull’idea di impegnarsi di meno. Dare una scelta su priorità, metodi, contenuti e tempi dell’apprendimento significa responsabilizzare (a patto che vengano forniti i supporti per selezionare il materiale e applicare le migliori strategie).

85 Lee J. Cronbach <<La rendicontabilità (accountability) implica il guardarsi indietro per attribuire meriti o colpe, la valutazione viene piuttosto utilizzata per capire gli eventi e i processi al fine di indirizzare le attività future>>