Le tendenze internazionali e il sistema di valutazione in Italia Nadia Colombo Milano 26-2-2012

Le tendenze internazionali INDICE Le tendenze internazionali Il sistema di valutazione in Italia I quadri di riferimento PISA, PIRLS e TIMSS I framework INVALSI di lettura e matematica Nadia Colombo 26-2-2010

LE TENDENZE INTERNAZIONALI Partecipazione dei singoli paesi a progetti internazionali di misurazione degli apprendimenti Valutazione dei risultati degli alunni in alcune fasce di età Individuazione di alcune aree chiave del curricolo da presidiare, valutare e certificare (core curriculum) Focus sull’acquisizione da parte degli alunni di competenze funzionali Una nuova idea di curricolo: diminuzione del tempo scuola; priorità delle competenze strumentali di base (literacy); valorizzazione dello sviluppo delle abilità trasversali; arricchimenti culturali: lifelong learning Nadia Colombo 26-2-2010

LE TENDENZE INTERNAZIONALI Fino alla fine degli anni ’70 Immissione di risorse da parte dei sistemi politici, delle scuole pedagogiche e di apparati amministrativi, senza controllo sui risultati Ipotesi: Investimenti + insegnamenti  miglioramento Anni ’80 : Attenzione ai processi (Auto)analisi,(auto)valutazione, manutenzione del processo Ipotesi: valutazione dei processi  miglioramento Dalla metà degli anni ’90: Dai processi agli esiti Misurazione degli apprendimenti in aree chiave del curricolo Relazione con indicatori di processo ritenuti significativi (tempo insegnamento, frequenza compiti, presenza e uso biblioteca, capacità verbali e conoscenza materia insegnanti) Ipotesi OCSE-CERI: leadership educativa, aspettative, enfasi su conoscenze di base, clima scolastico ordinato, frequenti verifiche Nadia Colombo 26-2-2010

I PERCHÉ DELLE PROVE DI VALUTAZIONE ESTERNA Grande espansione dei sistemi d’istruzione nel secondo dopoguerra, con conseguente esplosione della spesa Crisi dell’istruzione e messa in discussione dell’esistenza di una relazione semplice e diretta fra risorse investite nell’istruzione (input) e risultati ottenuti (output) e conseguentemente delle politiche scolastiche basate sul semplice aumento della spesa Tendenza al passaggio da modelli burocratici di governo della scuola a modelli “post-burocratici”, che sfocia da un lato in politiche di “devolution and choice” e dall’altro lato di “standards and accountability” Nadia Colombo 26-2-2010

I PERCHÉ DELLE PROVE DI VALUTAZIONE ESTERNA Lo sviluppo dell’istruzione di massa fa venir meno le condizioni che un tempo assicuravano, entro certi limiti, la confrontabilità dei voti scolastici e dei titoli di studio all’interno di un paese Esigenza di trasparenza sul valore dei titoli e delle certificazioni poiché è provato che le valutazioni degli insegnanti non sono comparabili (esempio Pisa 2003: voti – punteggi) Apertura dei confini e conseguente necessità di favorire la mobilità della forza lavoro e il riconoscimento delle qualificazioni ai vari livelli (esempio EQF) Nadia Colombo 26-2-2010

Strategia di Lisbona IL BISOGNO DI ACCONTABILITY Da ISTRUZIONE = SPESA a ISTRUZIONE = INVESTIMENTO “capitale umano” come fattore discriminante per il progresso economico e sociale di un Paese La letteratura dimostra che la conoscenza nelle discipline fondamentali ha un ruolo di primo piano nell’avanzamento individuale e dell’intera società Questa consapevolezza scientifica ha modellato le indicazioni di policy a livello internazionale ed europeo ed è stata recepita dalla legislazione nazionale Strategia di Lisbona Nadia Colombo 26-2-2010

GLI OBIETTIVI DI LISBONA Quindicenni con bassi livelli di competenza in lettura Abbandoni precoci Completamento studi secondari superiori (20-24 anni) Laureati scienze matematica e tecnologie Incremento Percentuale femminile Partecipazione adulti a lifelong learning (25 – 64 anni) Istruzione prescolastica (4 anni) Adulti con titolo d’istruzione terziario (25 – 64 anni) Investimento pubblico nell’istruzione % PIL Nadia Colombo 26-2-2010 8

PROGRESSI VERSO LISBONA: RAPPORTO 2009 Benchmark 2020 Percentuale di quindicenni con scarse abilità in lettura, matematica e scienze: inferiore al 15% Italia*: PISA 2006 11,4% degli studenti sotto il livello 1 (media OCSE 7,4); 15,0% degli studenti si colloca al livello 1 (media OCSE 12,7); 24,5% degli studenti si colloca al livello 2 (media OCSE 22,7) Dispersione scolastica: inferiore al 10% Completamento dei studi terziari: almeno 40 % adulti di età compresa tra 30 e 34 anni Aumento della partecipazione ad iniziative di apprendimento permanente: almeno 15% della popolazione adulta in età lavorativa 25/64 anni Istruzione prescolastica per bambini di età compresa tra 4 anni e l’inizio della scuola: 95% *Fra il 2000 e il 2003 l’Italia è scesa nella scala complessiva di lettura di 12 punti, fra il 2003 e il 2006 la discesa continua, passando da 476 a 469; nel complesso, rispetto a PISA 2000, la discesa è dunque di 19 punti. Si tratta di un dato estremamente preoccupante, considerando che la competenza di lettura era l’unica in cui l’Italia era partita da un dato appena inferiore alla media internazionale. Nadia Colombo 26-2-2010

PROGRESSI VERSO LISBONA: dal 2000 al 2008 Nadia Colombo 26-2-2010

PAESI ADERENTI AL PROGETTO PISA 2009 Come si è arrivati qui? Nadia Colombo 26-2-2010

LO SVILUPPO DELLE INDAGINI INTERNAZIONALI: TAPPE Anni ’50 Gruppo di esperto di valutazione ad Amburgo Anni ‘60 – ‘70 Sviluppo indagini IEA (International Association for the Evaluation of Educational Achievement) - associazione di Enti di ricerca non governativi Indagini internazionali comparative sugli apprendimenti a scopi di ricerca,la cui metodologia si basa sulla misurazione tramite prove oggettive dei livelli di profitto e sull’esame di come le variabili di sfondo nei diversi paesi contribuiscono a determinare i diversi livelli di profitto Nadia Colombo 26-2-2010

LO SVILUPPO DELLE INDAGINI INTERNAZIONALI: TAPPE Anni ’80 Pubblicazione dei primi studi sulla “school effectiveness” e sul miglioramento delle scuole (“school improvement) Anni ’90 OCSE: Education at a Glance (1992), UE: Key data on education (1994) Sviluppo indagini OCSE (Progetti De.Se.Co., PISA 1997): dalla ricerca alla politica Indagini nate dall’iniziativa di un certo numero di governi i cui risultati, pertanto, fanno riferimento agli interessi degli stessi in materia di politica educativa La regolarità delle indagini dà la possibilità ai paesi partecipanti di monitorare ciclicamente e con certezza i propri progressi nel raggiungere gli obiettivi di apprendimento più importanti Nadia Colombo 26-2-2010

GLI SCOPI DELLE INDAGINI INTERNAZIONALI Monitorare i risultati dei sistemi scolastici in termini di prestazioni degli studenti misurati in un quadro di riferimento comune a livello internazionale Mettere a punto indicatori di base che consentano di costruire un profilo di riferimento delle conoscenze e delle abilità degli studenti per ottenere dati comparabili sulle loro prestazioni Ottenere un quadro di riferimento per individuare punti di forza e di debolezza del proprio sistema scolastico Individuare le caratteristiche dei sistemi scolastici dei paesi che hanno ottenuto i risultati migliori, in termini di qualità (livello delle prestazioni) e di equità (impatto dello status socio-economico sui rendimenti scolastici), in modo da trarre indicazioni relative all'efficacia delle politiche scolastiche nazionali. Nadia Colombo 26-2-2010

GLI SCOPI DELLE INDAGINI INTERNAZIONALI • Mettere a punto indicatori di contesto che mostrino come conoscenze e abilità siano in relazione con importanti variabili di carattere demografico, socio-economico e riguardanti il sistema dell’istruzione (questionari di accompagnamento) Vedere in che misura fattori antecedenti e correlati del profitto scolastico operino nello stesso modo in diversi contesti… tradizioni e leggi … cosa è consentito, i sistemi di istruzione al di fuori dei confini nazionali … cosa è possibile (Foshay 1962) … per rendere più informato il lavoro dei decisori pubblici Mettere a punto indicatori di tendenza, derivanti dal carattere ciclico della rilevazione, che mettano in luce i cambiamenti sia nel livello e nella distribuzione dei risultati, sia nelle relazioni tra tali risultati e le variabili di contesto a livello di studenti e di scuole. Fornire dati sui risultati dei sistemi di istruzione in modo regolare, così da consentire il loro monitoraggio e la costruzione di serie storiche di dati utilizzabili per orientare eventuali provvedimenti innovativi e di riforma. Nadia Colombo 26-2-2010

LE PRINCIPALI RICERCHE INTERNAZIONALI IEA – PIRLS (Progress in International Reading Literacy Study) IEA – TIMMS (Trends in International Mathematics and Science Study) OCSE – PISA (Programme for International Student Assessment) OCSE – ALL (Adult Literacy and Life Skills) Nadia Colombo 26-2-2010

IEA PIRLS SCOPO Misurare i livelli di comprensione della lettura dei bambini, analizzare le esperienze familiari e scolastiche che possono influenzare l’apprendimento A CHI Campione di bambini al quarto anno di scolarità SU COSA Competenza di lettura PROVE Quesiti a scelta multipla e alcuni quesiti aperti STRUMENTI Test cognitivo, questionario studente, questionario famiglia, questionario insegnante, questionario scuola QUANDO Ogni 5 anni (2001-2006) DOVE 45 paesi CHI IEA– Consorzio Università Nadia Colombo 26-2-2010

IEA TIMSS SCOPO Effettuare confronti a livello internazionale sul rendimento degli studenti in matematica e in scienze; raccogliere un’ampia gamma di informazioni sui contesti “scuola e casa” per l’apprendimento della matematica e delle scienze. A CHI Campione di alunni al quarto e all’ottavo anno di scolarità SU COSA Competenze in matematica e scienze PROVE Quesiti a scelta multipla e alcuni quesiti aperti STRUMENTI Test cognitivo, questionario studente, questionario famiglia, questionario insegnante, questionario scuola QUANDO Ogni 4 anni (1995-1999-2003-2007) DOVE 46 paesi (2003) – oltre 60 (2007) CHI IEA – Consorzio Università Nadia Colombo 26-2-2010

OCSE - PISA SCOPO Misurare le competenze funzionali nelle aree di lettura, matematica e scienze in chiave comparativa su 5/6 livelli A CHI Campione di quindicenni scolarizzati SU COSA Literacy lettura (2000, 2009), Literacy matematica (2003), Literacy scienze (2006), Problem Solving (solo nel 2003) PROVE Quesiti a scelta multipla semplice e complessa e quesiti aperti a risposta univoca e articolata STRUMENTI Test cognitivo, questionario studente, questionario genitori, questionario scuola QUANDO Dal 2000 ogni 3 anni DOVE 2000: 35 paesi 2003: 41 paesi 2006: 58 paesi 2009: 67 paesi CHI Promosso da OCSE, gestito e coordinato da un consorzio tecnico internazionale Nadia Colombo 26-2-2010

DIVERSI APPROCCI ALLA VALUTAZIONE DEI RISULTATI Padronanza del curricolo Preparazione per la vita Oggetto di indagine le conoscenze e le abilità valutate sono definite in termini di competenze funzionali / obiettivi educativi comune denominatore fra curricoli scolastici dei diversi paesi Nadia Colombo 26-2-2010

IL MODELLO DELLE INDAGINI IEA: CRITERI ISPIRATORI La comparazione parte da studi di caso nazionali per identificare gli elementi curricolari comuni Nadia Colombo 26-2-2010

IL MODELLO DELL’INDAGINE OCSE PISA: CRITERI ISPIRATORI La scuola viene valutata in relazione ad un criterio esterno ad essa rappresentato dalla preparazione dei giovani per la vita ad obiettivi impliciti dei sistemi educativi (così come definiti dalla società) Concezione dinamica dell’apprendimento (lifelong learning): le conoscenze e le abilità necessarie per adattarsi ad un mondo in continuo cambiamento si acquisiscono lungo tutto l’arco della vita • Dimensione internazionale: i curricoli nazionali costituiscono una cornice di riferimento per la definizione dell’oggetto d’indagine, non un vincolo prescrittivo • Dimensione diacronica: valutare nel tempo senza esser legati alle variazioni nei curricoli • Prospettiva cross-curricolare: indagare abilità di carattere generale (comunicazione, capacità di risolvere problemi, flessibilità, adattabilità) Nadia Colombo 26-2-2010

complesso di conoscenze e abilità funzionali IL CONCETTO DI LITERACY IN PISA LITERACY COMPETENZA complesso di conoscenze e abilità funzionali Superamento di una prospettiva strettamente scolastica Prospettiva valutativa orientata non al passato ma al futuro Concezione dinamica dell’apprendimento Ciò che si intende valutare non è la padronanza di parti del curricolo, ma la capacità di servirsi delle conoscenze e delle abilità acquisite per affrontare i compiti e le sfide della vita adulta. L’accento è posto sulla padronanza di processi cognitivi, sulla comprensione di concetti e sulla capacità di applicarli, nei vari ambiti, in diverse situazioni. Nadia Colombo 26-2-2010

IL CONCETTO DI LITERACY IN PISA Alla base della definizione del cosa valutare vi è l’individuazione dei bisogni del cittadino: Cosa è importante che un cittadino conosca? Cosa deve saper fare in situazioni che hanno a che fare con la scienza/ la matematica/ la lettura? A cosa è importante che dia valore? Le competenze, intese come complesso di conoscenze e abilità funzionali, non riguardano una versione riduttiva del saper fare (molti compiti PISA richiedono più di una mera esecuzione di compiti eterodefiniti); costituiscono, invece, quel saper fare ad ampio spettro che conferisce senso autentico e motivante alle “cose apprese e utilizzate” e consente di svolgere un ruolo attivo nella società. “Competenze chiave sono quelle di cui tutti hanno bisogno per la realizzazione e lo sviluppo personali, la cittadinanza attiva, l’inclusione sociale e l’occupazione” Raccomandazione del Parlamento europeo e del Consiglio 18/12/2006 relativa a competenze chiave per l’apprendimento permanente Nadia Colombo 26-2-2010

PERCHÉ L’ACCENTO SULLE COMPETENZE? Crescita esponenziale informazione Percorsi lavorativi meno lineari Evoluzione del mercato del lavoro Nadia Colombo 26-2-2010

DELLE INDAGINI INTERNAZIONALI VALENZA STRATEGICA DELLE INDAGINI INTERNAZIONALI Per la scuola italiana le rilevazioni internazionali hanno valenza strategica: per valutarne il posizionamento in ambito internazionale per analizzarne e comprenderne la capacità di far acquisire agli studenti le competenze ritenute essenziali nei paesi a sviluppo avanzato per disegnare e valutare programmi di intervento in materia di politica educativa per avviare una riflessione all’interno delle istituzioni scolastiche su possibili ricadute didattiche Nadia Colombo 26-2-2010

DELLE INDAGINI INTERNAZIONALI LIMITI DELLE INDAGINI INTERNAZIONALI PISA, TIMSS, PIRLS sono progetti per la comparazione tra sistemi scolastici pertanto non consentono di approfondire alcuni aspetti relativi alle differenze interne ai singoli sistemi scolastici nazionali non possono fornire dati relativi alla singola scuola (PISA), né, tanto meno, ai singoli studenti non possono sostituire le rilevazioni nazionali possono però fornire modelli e metodologie per le rilevazioni nazionali hanno offerto un setting di riferimento all’introduzione delle prove standardizzate esterne per la valutazione delle scuole e degli studenti (PISA è stato, in Italia, l’apripista della valutazione esterna) Nadia Colombo 26-2-2010

IL SISTEMA DI VALUTAZIONE IN ITALIA Raccomandazioni esperti OCSE all’Italia – 1997 Istituire un sistema di valutazione indipendente che definisca parametri di valutazione per mettere le scuole in grado di autovalutarsi, sviluppi test e fornisca consulenza per la allocazione delle risorse Istituire un ente indipendente che svolga ricerche in materia di istruzione Creare un sistema di testing per valutare gli alunni in determinati momenti del corso di studi Mettere i risultati a disposizione dei genitori e della comunità in forma di media di scuola Nadia Colombo 26-2-2010

IL SISTEMA DI VALUTAZIONE IN ITALIA DPR 275/99 Regolamento per l’Autonomia Art. 10 - Per la verifica del raggiungimento degli obiettivi di apprendimento e degli standard di qualità del servizio il Ministero fissa metodi e scadenze per rilevazioni periodiche... … finalizzate a sostenere le scuole per l'efficace raggiungimento degli obiettivi attraverso l'attivazione di iniziative nazionali e locali di perequazione, promozione, supporto e monitoraggio. DL 258/99 Riordino del CEDE  INVALSI Valutare l’efficacia e l’efficienza del sistema di istruzione Studiare le cause dell’insuccesso e della dispersione scolastica Valutare la soddisfazione dell’utenza Valutare gli effetti delle iniziative legislative Valutare gli esiti dei progetti di innovazione Assicurare la partecipazione italiana ai progetti di ricerca internazionale Nadia Colombo 26-2-2010

IL SISTEMA DI VALUTAZIONE IN ITALIA INVALSI - Cosa si valuta? Decreto Legislativo 286/2004 “Istituzione del Servizio nazionale di istruzione e di formazione” INVALSI effettua verifiche periodiche e sistematiche sulle conoscenze e abilità degli allievi e sulla qualità del sistema educativo di istruzione e formazione Valutazione di sistema che intende misurare l’efficienza e l’efficacia del sistema scolastico globalmente inteso Ha valore statistico ma può costituire uno spunto di riflessione per le singole scuole Nadia Colombo 26-2-2010

- al sistema scolastico - e ai livelli di apprendimento degli studenti Art. 1, c. 5, Legge 25 ottobre 2007, n. 176: Dall’anno scolastico 2007/08 il Ministro della Pubblica Istruzione fissa con direttiva annuale gli obiettivi della valutazione esterna condotta dal Servizio nazionale di valutazione in relazione - al sistema scolastico - e ai livelli di apprendimento degli studenti per effettuare verifiche periodiche e sistematiche sulle conoscenze e abilità degli studenti, di norma, alla classe seconda e quinta della scuola primaria, alla prima e terza classe della scuola secondaria di I grado e alla seconda e alla quinta classe del secondo ciclo (…). Nadia Colombo 26-2-2010

IL SISTEMA DI VALUTAZIONE IN ITALIA Direttiva triennale n. 74 – 15 settembre 2008 Direttiva MIUR all’INVALSI per l’a.s. 2009-2010 n. 76 – 6 agosto 2009 Provvedere alla valutazione degli apprendimenti tenendo conto delle soluzioni e degli strumenti già adottati per rilevare il valore aggiunto prodotto da ogni singola scuola in termini di accrescimento dei livelli di apprendimento degli alunni: II e V classe scuola primaria I e III classe scuola secondaria di 1°grado; per la III classe prova nazionale all’Esame di Stato rilevazione in italiano e matematica La direttiva n.74 del 15/09/2008 chiede all’INVALSI di portare a regime il sistema nazionale di valutazione nel corso di un triennio Nadia Colombo 26-2-2010

LA SITUAZIONE IN ITALIA DECRETO LEGGE 7 SETTEMBRE 2007 N. 147 convertito in Legge n. 176 25 ottobre 2007 L’Esame di Stato comprende anche una prova scritta, a carattere nazionale, volta a verificare i livelli generali e specifici di apprendimento conseguiti dagli studenti. Nadia Colombo 26-2-2010

IL SISTEMA DI VALUTAZIONE IN ITALIA INDAGINI NAZIONALI Progetti Pilota: PP1, PP2, PP3 2004-2005 e 2005-2006 Rilevazione Nazionale degli Apprendimenti su base censuaria 2006-2007 Valutazione degli apprendimenti su base campionaria (II e IV primaria, I secondaria primo grado, I e III secondaria secondo grado) 2007-2008 Valutazione degli apprendimenti su base campionaria (II e V primaria, I e III secondaria di primo grado, II e V secondaria secondo grado) 2008-2009 Scuola primaria (classi II e V): Rilevazione censuaria a livello di scuola, campionaria a livello di studente Nadia Colombo 26-2-2010

Nadia Colombo 26-2-2010

UN POSSIBILE PERCORSO OPERATIVO Come utilizzare Quadri di riferimento per mettere a fuoco gli obiettivi dei percorsi di insegnamento acquisire consapevolezza delle caratteristiche del nostro insegnamento individuare alcune competenze chiave quali esiti attesi alla fine del percorso formativo Prove per costruire percorsi di apprendimento costruire prove di accertamento migliorare i processi di valutazione avere riferimenti esterni in aggiunta e quelli interni Risultati per riequilibrare le diverse componenti dei percorsi di insegnamento e dei processi di apprendimento, migliorare i processi valutativi Nadia Colombo 26-2-2010

RIFERIMENTI SITOGRAFICI Quadri di riferimento, prove rilasciate, rapporti nazionali ed internazionali sono disponibili sui siti: PISA: http://www.invalsi.it/invalsi/ri/pisa2006.php?page=pisa2006_it_05 PIRLS: http://www2.invalsi.it/Ri/Pirls2006/pagine/documentazione.htm TIMSS: http://www.invalsi.it/ric-int/timss2007/index.php INVALSI SNV: http://www.invalsi.it/snv0809/ INVALSI PROVA NAZIONALE: http://www.invalsi.it/esamidistato0809/ Per approfondimenti: http://old.irrelombardia.it/valutazione/ http://old.irrelombardia.it/valutazione/va_00_pisa_fw_00.php http://www.irrelombardia.it/Progetti/Progetti-in-ordine-alfabetico/Padronanza-della-lingua-italiana Nadia Colombo 26-2-2010