PIANO DI INFORMAZIONE E FORMAZIONE SULL’INDAGINE OCSE-PISA E ALTRE RICERCHE NAZIONALI E INTERNAZIONALI Seminario provinciale rivolto ai docenti della scuola secondaria di primo e secondo grado Valutazioni nazionali e internazionali: finalità ed esperienze a confronto a cura di Maria Gabriella de Judicibus ( Team 30) Presidio Lecce – IISS “A. de Pace”- A.S. 2011-2012 1 1

Valutazione esterna degli apprendimenti: fattori della diffusione - 1 Nel secondo dopoguerra si è verificata l’ espansione dei sistemi d’istruzione a carico della spesa pubblica I risultati negativi hanno messo in discussione la relazione semplice e diretta fra risorse investite nell’istruzione (input) e risultati ottenuti (output) e conseguentemente una politica scolastica basata sul semplice aumento della spesa La ricerca di soluzioni ha favorito il passaggio da modelli burocratici di governo della scuola a modelli “post-burocratici”, decentralizzando i poteri e le competenze ( la scuola dell’autonomia … ) 2

Valutazione esterna degli apprendimenti: fattori della diffusione - 2 L’istruzione di massa per essere davvero democratica deve garantire la confrontabilità dei voti scolastici e dei titoli di studio all’interno di un paese attraverso la trasparenza sul valore di titoli e certificazioni, Questa esigenza è resa più forte dalla apertura dei confini e dalla conseguente necessità di favorire la mobilità della forza lavoro e il riconoscimento delle qualificazioni nel mercato comune 3

L’Accountability delle scuole I sistemi di accountability sono uno strumento per raccogliere sistematicamente informazioni sull’operato di ciascuna scuola e per dare alle stesse scuole e ai “portatori d’interesse” (amministratori, utenti, società in generale) informazioni utili per tenere sotto controllo queste differenze. Perché si possa parlare dell’esistenza di un sistema di Accountability è necessaria la compresenza di due elementi (Hanushek, 2002): la pubblicità ( intesa come oggettiva comunicazione) dei risultati di apprendimento delle singole scuole l’assunzione di responsabilità dei risultati degli alunni da parte delle singole istituzioni scolastiche 4

le indagini internazionali negli ultimi anni, il processo di valutazione degli apprendimenti, si è avvalso sempre di più dei risultati e dell’utilizzo degli strumenti delle indagini comparative internazionali in termini di riflessione ed intervento formativo . Perché la valutazione nelle indagini internazionali si basa sulla misurazione di livelli? Cosa ci dicono e cosa non ci possono dire le indagini internazionali? 5

perché misurare La letteratura dimostra che il possesso di alcune discipline ha un ruolo di primo piano nell’avanzamento individuale e dell’intera società Ciò comporta maggiore attenzione per tali discipline ritenute fondamentali e trasversali nel processo cognitivo (lettura, matematica/scienze) Obiettivo strategico di Lisbona: diminuzione della percentuale dei quindicenni con scarsa capacità di lettura

Literacy “Literacy” è un termine tecnico, utilizzato da IEA ed OCSE per identificare la competenza nell’utilizzo funzionale della lingua e dei linguaggi nel problem solving che è alla base di ciascun processo cognitivo e dunque del successo formativo: scolastico, personale, professionale. 7

Indagini internazionali e nazionali: diversi obiettivi Indagini internazionali: di sistema offrono dati sulle prestazioni degli studenti comparabili a livello internazionale permettono di individuare punti di forza e di debolezza del proprio sistema scolastico ricercano fattori antecedenti e correlati al profitto scolastico che possono influenzarlo in varia misura e in base a diversi contesti Indagini nazionali: dal sistema alle singole scuole accertano i livelli di apprendimento degli studenti italiani in Italiano e in Matematica offrono dati comparabili a livello nazionale, regionale e locale, a livello di singola scuola e classe 8

Le indagini internazionali IEA (International Association for the Evaluation of Educational Achievement)– PIRLS (Progress in International Reading Literacy Study) IEA (International Association for the Evaluation of Educational Achievement)– – TIMMS (Trends in International Mathematics and Science Study) OCSE OCSE( Organiz. per Cooperaz. Sviluppo Economico)– PISA (Programme for International Student Assessment) OCSE ( Organiz. per Cooperaz. Sviluppo Economico)– ALL (Adult Literacy and Life Skills)

le indagini internazionali – IEA PIRLS è un progetto internazionale promosso dalla IEA (International Association for the Evaluation of Educational Achievement) per iniziativa di ricercatori e pedagogisti misura i livelli di comprensione della lettura di alunni al quarto anno di scolarità (quarta classe della scuola primaria) effettua rilevazioni periodiche ogni 5 anni (2001, 2006 e … 2011) prevede prove con domande a scelta multipla; domande a risposta aperta breve; domande a risposta aperta estesa utilizza test cognitivi e questionari rivolti agli studenti, alla famiglia, agli insegnanti e alle scuole ha coinvolto 40 paesi nel 2006

le indagini internazionali – IEA TIMSS è un progetto internazionale promosso dalla IEA (International Association for the Evaluation of Educational Achievement) per iniziativa di ricercatori e pedagogisti rileva gli apprendimenti degli studenti in matematica e in scienze di alunni sia al quarto sia all’ottavo anno di scolarità (quarta classe della primaria e terza classe della secondaria di primo grado) effettua rilevazioni periodiche degli apprendimenti ogni 4 anni (1995, 1999, 2003, 2007 e … 2011) prevede prove con domande a scelta multipla; domande a risposta aperta breve; domande a risposta aperta estesa utilizza questionari rivolti agli studenti, agli insegnanti e alle scuole ha coinvolto 59 paesi nel 2007

le indagini internazionali – OCSE PISA è un progetto internazionale promosso dall’OCSE (Organizzazione per la Cooperazione e lo Sviluppo Economico) per iniziativa dei governi, ed è gestito e coordinato da un consorzio tecnico internazionale Misura l’acquisizione da parte di quindicenni scolarizzati di alcune competenze giudicate essenziali per svolgere un ruolo consapevole e attivo nella società, negli ambiti della lettura, della matematica e delle scienze approfondisce, ogni tre anni, uno in particolare dei tre ambiti di competenza (2000 e 2009: lettura; 2003 e 2011: matematica; 2006: scienze) prevede prove con quesiti a scelta multipla semplice e complessa e quesiti aperti a risposta univoca e articolata utilizza questionari per rilevare informazioni di contesto, rivolti agli studenti, alle scuole e ai genitori ha coinvolto 67 paesi nel 2009

le indagini internazionali – OCSE ALL è un progetto promosso dall’OCSE (Organizzazione per la Cooperazione e lo Sviluppo Economico), sulla scorta delle precedenti indagini IALS e SIALS (International Adult Literacy and Life Skills e Second International Adult Literacy and Life Skills) ha come focus la rilevazione del possesso e la distribuzione di competenze fondamentali della popolazione adulta coinvolge un campione probabilistico rappresentativo della popolazione residente di 16-65 anni prevede prove per rilevare la competenza alfabetica funzionale e prove più complesse, sia per la qualità dei contenuti che per le modalità di presentazione dei formati ovvero prove di numeracy e di problem solving utilizza interviste sul campo e prevede un questionario per ricostruire il profilo socio-culturale del rispondente è stata svolta in Italia e in altri 5 paesi tra il 2001 e il 2006

le indagini internazionali le indagini comparative hanno per obiettivo principale quello di consentire uno studio dei sistemi di istruzione in termini di prestazioni degli studenti, misurati secondo un quadro di riferimento comune a livello internazionale contenente: “oggetti” delle rilevazioni costrutti e variabili utilizzati per la costruzione dei questionari

alcuni problemi aperti Ogni misurazione ha alla base scelte precise rispetto alle variabili individuate e ai costrutti utilizzati Non si può chiedere alle indagini internazionali quanto è fuori dai loro obiettivi e dalla loro logica (comparazione fra diversi sistemi) Necessità di confrontare questi risultati con quelli delle rilevazioni nazionali, di sviluppare approfondimenti mirati, di affiancare alle indagini su larga scala altre metodologie di indagine e di ricerca

IEA PISA le indagini internazionali confronto tra curricoli (opportunità di apprendimento ) e caratteristiche dei sistemi scolastici che influiscono sul livello di prestazione degli studenti PISA confronto fra esiti (lettura, matematica, scienze) ritenuti essenziali per i sistemi educativi/le società dei paesi appartenenti all’OCSE e indicatori di output (progetto INES sugli indicatori di qualità - Education at a Glance)

La valutazione in Inghilterra 1. VALUTAZIONE DEGLI ALUNNI La valutazione certificativa degli alunni è effettuata mediante esami nazionali esterni condotti da centri specializzati al termine della scuola secondaria obbligatoria (esami di GCSE) e dell‘istruzione secondaria, generale o tecnico-professionale (esami di GCE-A level/As level e prove di GNVQs). Nel corso del precedente itinerario scolastico la valutazione è affidata alle singole scuole e il passaggio da un anno al successivo è automatico. 2. VALUTAZIONE DELLE SCUOLE (Accountability) Verifica sistematica, a cura dell'OFSTED, dei livelli di apprendimento degli alunni di tutte le scuole pubbliche o private sovvenzionate, mediante prove standardizzate di profitto in Inglese, Matematica e Scienze al termine di ciascuno dei quattro Key Stages in cui il curricolo nazionale è scandito, a 7, 11 e 14 anni (la fine del quarto Key Stage coincide col termine dell'istruzione obbligatoria: 16 anni). Compilazione annuale di graduatorie pubbliche (league tables) delle scuole basate sui risultati dei test e degli esami nazionali. Ispezione periodica (inizialmente ogni 4 anni, poi ogni 6) di ogni scuola da parte di una squadra di ispettori dipendenti dall'OFSTED con redazione di un rapporto finale, anch’esso reso pubblico. L’eventuale conclusione negativa del rapporto comporta conseguenze per le scuole. 17

La valutazione in Francia 1.VALUTAZIONE DEGLI ALUNNI: Valutazione da parte degli insegnanti su una scala da 1 a 20. Orientamento vincolante, dato dal preside, per il passaggio dal Collège al Lycée. Esami nazionali di stato al termine del Collège (Brevet) e del Lycée (Baccalaureat). 2.VALUTAZIONE DI SISTEMA: Pubblicazione di indicatori dell'istruzione (Etat de l'école; Geographie de l’école) Verifica mediante prove oggettive gestite dalla DPD dei livelli di apprendimento in Francese e Matematica: al 2° anno delle elementari e al primo anno del Collège su tutti gli alunni con finalità pedagogica alla fine della scuola elementare e del Collège su campione statistico con finalità di monitoraggio del sistema ed elaborazione dei dati a livello nazionale e regionale. 3.AUTOVALUTAZIONE DELLE SCUOLE: È basata sul sistema di Indicatori IPES (Indicateurs de Pilotage des Etablissements du Secondaire): 1. Indicatori di popolazione 2. Indicatori di risorse e mezzi 3. Indicatori di risultati 18

La valutazione negli Stati Uniti 1.VALUTAZIONE DEGLI ALUNNI: La valutazione è affidata alle singole scuole. Non esistono esami nazionali. Le università decidono l’ammissione degli studenti che chiedono di frequentarle sulla base di propri criteri, tra cui i risultati del SAT (o dell’ACT). 2.VALUTAZIONE DI SISTEMA: È realizzata mediante il NAEP (National Assessment of Educational Progress): è un programma di valutazione continua, mediante prove standardizzate, di "ciò che gli studenti americani conoscono e sono in grado di fare" in varie materie. Dal 1969 le rilevazioni sono svolte sistematicamente in Arte, Educazione civica, Geografia, Matematica, Lettura, Scrittura, Scienze, Storia degli US su campioni rappresentativi a livello nazionale di studenti (K-12) di scuole pubbliche e private della 4°, 8° e 12° classe. Dal 1990 i risultati delle rilevazioni sono forniti anche per i singoli stati dell'Unione. 3.VALUTAZIONE DELLE SCUOLE (Accountability): È stata introdotta con il No Child Left Behind Act (2002): gli stati sono tenuti a verificare i risultati di apprendimento degli studenti in inglese, matematica e scienze, secondo cadenze stabilite. Ogni anno le scuole devono dimostrare che gli alunni, complessivamente considerati e per principali gruppi etnici, hanno realizzato un progresso “adeguato”. Se ciò non accade, vi sono conseguenze. 19

Risultati E l’Italia? Quali informazioni ci danno i risultati ? I risultati conseguiti dagli studenti italiani in termini di comparazione e rispetto alle medie internazionali sono: buoni a livello di scuola primaria (con alcune eccezioni) meno buoni a livello di scuola secondaria di primo grado decisamente non buoni a livello di scuola secondaria superiore Sostanziale “stabilità” nel tempo di questi risultati

E l’Italia? Quali informazioni ci danno i risultati ? Ampie differenze tra i livelli di prestazioni degli studenti (varianza maggiore del 50%) in confronto con gli altri paesi (OCSE 33,8%) Differenze legate alla frequenza di scuole diverse e a tipi di scuola diversi più che a differenti livelli interni alle scuole ( i bravi al liceo, i meno bravi al tecnico e i ciucci al professionale?!?!) Scarsa incidenza dell’indice ESCS sulla varianza all’interno delle scuole: nei vari tipi di scuola e nelle singole scuole i livelli socio-economico-culturali degli studenti tendono ad essere abbastanza omogenei (i bravi sono anche ricchi, i ciucci sono anche poveri?!?!) 21

Purtroppo … è così! I livelli di prestazione degli studenti italiani variano in rapporto: alle macroaree geografiche (indipendentemente dal livello scolastico): il Nord-Est ha risultati nettamente migliori nella scuola secondaria superiore, al tipo di indirizzo di studio seguito: i livelli risultano canalizzati in ingresso sulla base delle differenze socio-economico-culturali (occupazioni e ai livelli di scolarizzazione dei genitori degli studenti)

Considerazioni sui risultati delle indagini Un problema di equità: Le differenze tra scuole sono maggiori rispetto alle differenze all’interno delle scuole Influenza del tipo di scuola su varianza tra scuole Italia 26,4%, OCSE 17,8% Tipo di scuola + ESCS (studenti e scuole) su varianza tra scuole Italia 31,9% OCSE 24,3% La frequenza di un certo tipo di scuola diventa predittore di livello 23

Le reazioni delle scuole all’Accountability Le scuole possono rispondere in due modi, uno “corretto”: a)cercando di migliorare la qualità del proprio insegnamento; e uno “scorretto”: b)cercando di selezionare gli alunni all'ingresso o in corso d'anno (cream-skimming), oppure di escludere il peso sui risultati degli alunni “deboli” (assegnandoli a programmi di educazione speciale o consigliando di rimanere assenti il giorno del test). Quando solo determinati livelli di classe sono oggetto di valutazione, le scuole possono reagire assegnando ad esse i migliori insegnanti, oppure, se la prestazione è valutata in termini di percentuale di alunni che raggiungono o superano un certo livello, concentrandosi sugli alunni vicini alla soglia e trascurando gli altri. 24

Per riflettere… La scienza è fatta di dati come una casa di pietre. Ma un ammasso di dati non è scienza più di quanto un mucchio di pietre sia una casa. Henrì Poincaré, La scienza e l’ipotesi, 1902