La lettura e la verifica della comprensione con particolare riferimento alla scuola secondaria di primo grado Centro per la Valutazione e la Certificazione.

Presentazione sul tema: "La lettura e la verifica della comprensione con particolare riferimento alla scuola secondaria di primo grado Centro per la Valutazione e la Certificazione."— Transcript della presentazione:

1 La lettura e la verifica della comprensione con particolare riferimento alla scuola secondaria di primo grado Centro per la Valutazione e la Certificazione Linguistica (CVCL) Giuliana Grego Bolli giuliana.bolli@gmail.com Università per Stranieri, Perugia, 21 aprile 2015

2 Questa presentazione in 5 punti Verifica, valutazione, test/prova Qualità nella valutazione linguistica Comprensione della Lettura – quadro di riferimento (Khalifa & Weir 2009) Prove INVALSI – Linee Guida Nazionali - Quadro di riferimento della prova di italiano - scuola secondaria di primo grado Rapporto/collegamento fra valutazione esterna e insegnamento - opportunità o meno di garantire una formazione degli insegnanti in valutazione, soprattutto in prospettiva linguistica

3 La Valutazione (non solo linguistica) e il contesto italiano Mancanza di una “cultura” della valutazione all’interno del sistema educativo italiano (Valutazione come disciplina e non come parte indefinita e indistinta della competenza ed esperienza dell’insegnante) Mancanza diffusa di preparazione specifica, sistematica e professionalizzante degli insegnanti in questo settore Discipline pedagogiche (Pedagogia sperimentale) INVALSI (Istituto Nazionale per la Valutazione del Sistema dell’Istruzione) (valutazione esterna)

4 Perché? Ragioni culturali/filosofiche: opposizione fra empirismo (anglossassone) e neoidealismo (italiano)

5 Il processo valutativo (valutazione linguistica) è di tipo interpretativo/argomentativo Partiamo dalla performance (dato) di uno studente in una prova Questa performance genera un risultato (punteggio, giudizio, grado, ecc) L’interpretazione del risultato e l’uso che ne viene poi fatto (giustificato su basi teoriche e supportato da evidenze empiriche) va al di là del dato (limitato esempio di performance) e si estende a situazioni di uso della lingua nella vita reale Si procede quindi per inferenze e deduzioni

6 Parole chiave verifica, valutazione, test/prova

7 Verifica e Valutazione Indicano momenti diversi di un processo complessivo: processo valutativo Sono spesso usati in modo interscambiabile Non c’è valutazione senza verifica, anche se ci può essere verifica senza valutazione

8 Verifica L’accertamento sistematico (che segue principi - norme/standard - sia teorici che di buona prassi condivisi sia dalla comunità scientifica che professionale) ed organizzato delle conoscenze/competenze d’uso/abilità (il cosa) presenti in chi si sottopone alla verifica, vale a dire nei soggetti da valutare (gli studenti/apprendenti) Parlare di accertamento sistematico di abilità e competenze significa parlare di metodi (il come) I metodi/le tecniche/ i formati, di verifica non sono ‘neutrali’ Non esistono metodi “buoni” o “cattivi” in assoluto

9 Valutazione Raccolta sistematica di informazioni (in parte - si pensi al contesto scolastico - fornite dalla verifica) per poter esprimere un giudizio o assegnare un punteggio In entrambi i casi vengono prese delle decisioni Valutazione è il momento in cui si prendono delle decisioni – potere della valutazione –impatto della valutazione La valutazione è il più potente strumento di comunicazione didattica

10 Terminologia: Test o prova standardizzata o esame (singolo momento) Nel dizionario della OUP troviamo questa definizione: “Un breve esame di conoscenze o abilità, che consiste nel rispondere a determinate domande o nel portare avanti determinate attività”

11 Secondo un’accezione più tecnica il termine test/prova/esame È espressione di un metodo per raccogliere informazioni (legato alla verifica) utilizza procedure standard per la sua costruzione ha come obiettivo accertare conoscenze o abilità è sempre relativo a ‘qualcosa’ che a seconda delle circostanze può essere: la storia, la geografia… la competenza linguistica questo ‘qualcosa’ deve essere definito e descritto (quanto meno “essere nella mente” di chi costruisce il test) Costruire test/prove ci aiuta a riflettere su cosa vogliamo verificare e indirettamente sul nostro stesso insegnamento

12 Per chi è importante la Valutazione (linguistica)? Chi è coinvolto nel processo valutativo? Una lista dei possibili utenti (stakeholders)

13 Utenti “tecnici” vale a dire chi contribuisce alla produzione somministrazione e valutazione di un test o di un esame  Chi produce test/prove (item writers-test producers)  Chi amministra/somministra test/prove (test administrators)  Chi corregge test/prove scritte e orali e/o chi assegna punteggi o formula giudizi (examiners)

14 Utenti  Insegnanti  Studenti  Famiglie  Società  Istituzioni scolastiche  Istituzioni governative nazionali ed internazionali  Ricercatori/mondo accademico

15 Gli utenti (stakeholders) coinvolti ci invitano a riflettere sulla responsabilità sociale ed educativa del processo valutativo e sulla necessità di una preparazione e formazione professionale di chi prepara test/prove, di chi li amministra e di chi li corregge e valuta – garanzia della qualità della valutazione

16 L’applicazione di questi concetti alla produzione di test linguistici costituisce una garanzia di qualità Validità (validity) Affidabilità (reliability) Autenticità (authenticity) Fattibilità (practicality) Correttezza (fairness) Utilità (usefulness) Impatto (impact) Eticità (ethical test use) Processo di Validazione di un test

17 Validità La Validità riguarda l’interpretazione dei risultati, le inferenze sui risultati (punteggi, gradi, giudizi) e quindi l’uso che viene fatto del test e rappresenta, generalizzando, la vera, più importante qualità di un test Dalla Validità come concetto teorico e quindi astratto della prospettiva tradizionale si è passati (fine anni ‘80) a parlare di Validazione o meglio di processo di validazione intendendo un’analisi del processo di produzione di un test che fornisca evidenze a supporto delle inferenze sui risultati di un test

18 Affidabilit à (Reliability) o validità dei punteggi (Scoring validity) La costanza e stabilit à dei risultati di un test/prova/esame (o di sue versioni) attraverso somministrazione successive. Concetto tecnico relativo all’assenza di errori di misurazione, sostanzialmente a come è stato applicato il metodo di verifica e alle procedure sia di somministrazione del test sia di correzione ed attribuzione dei punteggi.

19 Impatto (Impact) L’effetto/le conseguenze generato/e da un test/prova/esame, sia sull’insegnamento (aspetto educativo-backwash effect), sia sulla società (aspetto sociale-washback effect). Le conseguenze possono essere sia positive sia negative. Il concetto di impatto è considerato parte del processo di validazione

20 Comprensione della lettura: possibile quadro di riferimento

21 A framework for conceptualising reading test validity ( adapted from Weir 2005) ‐ Physical/physiological ‐ Psychological ‐ Experiential SETTING: TASK ‐ Response method ‐ Weighting ‐ Knowledge of criteria ‐ Order of items ‐ Channel of presentation ‐ Text length ‐ Time constraints SETTING: ADMINISTRATION ‐ Physical conditions ‐ Uniformity of ‐administration ‐ Security LINGUISTIC DEMANDS: TASK: TASK INPUT AND OUTPUT ‐ Overall text purpose ‐ Writer‐reader relationship ‐ Discourse mode ‐ Functional resources ‐ Lexical resources ‐ Nature of information ‐ Content knowledge COGNITIVE PROCESSES ‐ Goal setting ‐ Word recognition ‐ Lexical access ‐ Syntactic parsing ‐ Inferencing ‐ Establish propositional meaning ‐ Building a mental model ‐ Creating a text level representation ‐ Creating an intertextual representation ‐Monitoring comprehension ‐ Item difficulty‐ Error of measurement ‐ Item discrimination‐ Marker reliability ‐ Internal consistency‐ Grading and awarding ‐ Washback on individuals in classroom / workplace ‐ Impact on institutions and society ‐ Avoidance of test bias ‐ Cross test comparability ‐ Equivalence with different versions of the same test ‐ Comparability with external standards ‐ Grammatical resources TEST TAKER CHARACTERISTICS CONTEXT VALIDITYCOGNITIVE VALIDITY RESPONSE SCORING VALIDITY SCORE/GRADE CONSEQUENTIAL VALIDITYCRITERION‐RELATED VALIDITY

22 INVALSI: Obiettivi delle Prove Gli obiettivi delle Prove nazionali sono diversi da quelli delle altre prove usate nelle rilevazioni condotte annualmente sempre dall’INVALSI in quanto sono strumento: per monitorare il sistema scolastico e l’efficacia didattica nelle singole scuole per valutare gli alunni Le altre prove servono quindi come monitoraggio del sistema di istruzione per riportarne i risultati sia a livello nazionale che locale

23 La comprensione della lettura viene verificata all’interno della prova di italiano (al termine della scuola secondaria I e II grado) Secondo il Quadro di Riferimento INVALSI ( Linee Guida Nazionali per il curricolo della scuola secondaria di primo grado) la prova di italiano è circoscritta a: Valutazione della competenza di lettura (intesa come comprensione, interpretazione, riflessione su e valutazione del testo scritto avente a oggetto un’ampia gamma di testi, letterari e non letterari) Valutazione delle conoscenze e competenze grammaticali (che svolgono un ruolo importante nei curricoli di italiano della scuola primaria e secondaria di I e II grado)

24 Circoscrivendo alla sola comprensione della lettura…il Quadro di Riferimento comprende: Le competenze sottese: competenza pragmatico testuale, lessicale e grammaticale Il testo come oggetto della lettura, distinto a seconda della situazione comunicativa, del formato e della tipologia, Le modalità di lettura: esplorativa ed orientativa (skimming), selettiva (scanning), estensiva e intensiva

25 Gli aspetti di comprensione della lettura che possono essere oggetto di verifica nella prova (Indicazioni Nazionali e del Quadro di riferimento ) saper comprendere il significato, letterale e figurato, di parole ed espressioni usate nel testo e riconoscere le relazioni (di sinonimia, antonimia, ecc.) tra parole; saper individuare informazioni date esplicitamente nel testo; saper compiere una inferenza diretta, ricavando un’informazione non presente in modo esplicito nel testo da quanto in esso viene detto o dall’enciclopedia personale; saper cogliere le relazioni di coesione testuale (riferimenti anaforici e cataforici, connettivi, ecc.) e di coerenza testuale (rapporti di gerarchia tra le informazioni contenute in un testo, legami logico-semantici tra frasi, ecc.); saper ricostruire il significato di una parte più o meno estesa del testo, integrando più informazioni e concetti e/o formulando inferenze complesse;

26 Gli aspetti di comprensione della lettura misurati nella prova saper ricostruire il significato del testo nel suo insieme (ad esempio, individuarne il tema o i concetti principali); saper interpretare il testo a partire dal suo contenuto o dalla sua forma (ad esempio, riconoscere il genere del testo, il suo registro linguistico, individuarne la funzione o lo scopo, ecc.) andando al di là di una comprensione letterale; saper riflettere sul testo, valutandone il contenuto e/o le caratteristiche formali e stilistiche.

27 PROVA NAZIONALE INVALSI di italiano di III secondaria di primo grado 2014: struttura e metodi Tre parti: “la prima costituita da un testo narrativo (56 righe) seguito da 20 quesiti: scelte multiple e domande a risposta aperta; la seconda costituita da un testo espositivo (43 righe) seguito da 18 quesiti: scelte multiple e domande a risposta aperta; la terza costituita da 10 quesiti di grammatica, sempre scelte multiple e domande a risposta aperta”. 75 minuti di tempo complessivo

28 Risultati PROVA INVALSI di III secondaria di primo grado (2010: italiano e matematica) Alunni che hanno ottenuto un voto insufficiente (4 o 5) sono il 36,6 % Alunni che hanno ottenuto un voto molto alto sono il 21,6%. I promossi sono stati nel 2010 il 99,5% Rilevazioni Nazionali 2014: solo comprensione della lettura punteggi molto bassi nelle dee macro aree meridionali e insulari con in aggiunta grande variabilità di risultati (bassi- molto bassi) punteggi alti nelle due macro aree settentrionali punteggi medi al centro

29 Valutazione - INVALSI - insegnamento…

30 Un passaggio importante … Scrive Anna Maria Ajello, Presidente INVALSI : “L’INVALSI ha inoltre l’intenzione di aprire una stagione di ampia e approfondita consultazione con il mondo della scuola per rafforzare il ruolo di servizio per le scuole e non di soggetto chiamato esclusivamente a svolgere un compito di misurazione sulle scuole.”

31 Gli insegnanti devono essere formati/preparati in valutazione? E’ innegabile che la valutazione faccia parte del processo di insegnamento-apprendimento Si parla di valutazione come del più importante/efficace strumento di comunicazione didattica E’ stato dimostrato che un insegnante dedica da un terzo alla metà del suo tempo di lavoro alla valutazione

32 Vero ma…. Gran parte degli insegnanti si occupa di valutazione senza aver appreso in modo sistematico i principi di una valutazione consapevole, di qualità e teoricamente fondata Questo fenomeno è trasversale vale anche nel mondo anglosassone (Stigging 2007)

33 Che cosa può significare per un insegnante avere una preparazione in valutazione? Capire come tenere presenti chiari obbiettivi di insegnamento/apprendimento Capire quali metodi di verifica usare al fine di raccogliere informazioni affidabili sull’apprendimento degli studenti Capire come usarli Capire come comunicare risultati significativi e affidabili indipendentemente dal modo con cui vengono comunicati: punteggi, gradi, giudizi, ecc Capire come usare la valutazione per massimizzare motivazione e apprendimento, coinvolgendo gli studenti nel processo valutativo

34 Ci fermiamo qui…. Grazie!