VALUTAZIONE DEI SISTEMI DI ISTRUZIONE: STORIA E ATTUALITA A cura di Franco Tornaghi

OBIETTIVI EUROPEI Nel 2003 il Consiglio dei ministri europei ha sintetizzato in 5 punti le richieste per verificare il raggiungimento degli obiettivi di Lisbona: 1.ridurre almeno al 10% gli abbandoni scolastici 2.aumentare di almeno il 15% il totale dei laureati in matematica, scienze, tecnologie 3.arrivare ad avere fra i ventiduenni almeno l85% che abbia completato il ciclo di istruzione secondaria superiore 4.ridurre almeno del 20% la percentuale di quindicenni con scarse capacità di lettura (rispetto ai dati dellindagine OCSE-PISA del 2000) 5.innalzare almeno al 12,5% la partecipazione degli adulti in età lavorativa (25-64 anni) allapprendimento permanente Rispetto a queste mete cosa possiamo fare noi? Quali strumenti abbiamo a disposizione e come utilizzarli?

OBIETTIVI EUROPEI Nascono da qui le necessità di uniformare –o meglio interpretare in un unico modo– i linguaggi e i significati delle parole di modo da intendersi sui contenuti stabilire delle competenze in uscita, da raggiungere magari con percorsi diversi Vi sono anche domande personali: rispetto a queste mete cosa possiamo fare noi? quali strumenti abbiamo a disposizione e come utilizzarli?

DEFINIZIONI (Raccomandazioni del parlamento europeo del 7/10/2006) Dal Quadro europeo delle Qualifiche e dei Titoli CONOSCENZE indicano il risultato dellassimilazione di informazioni attraverso lapprendimento. Le conoscenze sono lapprendimento dei fatti, principi, teorie e pratiche, relative a un settore di studio o di lavoro; le conoscenze sono descritte come teoriche e/o pratiche

DEFINIZIONI (Raccomandazioni del parlamento europeo del 7/10/2006) Dal Quadro europeo delle Qualifiche e dei Titoli ABILITA indicano le capacità di applicare conoscenze e di usare know-how per portare a termine compiti e risolvere problemi; le abilità sono descritte come cognitive (uso del pensiero logico, intuitivo e creativo) e pratiche (che implicano labilità manuale e luso di metodi, materiali e strumenti)

DEFINIZIONI (Raccomandazioni del parlamento europeo del 7/10/2006) Dal Quadro europeo delle Qualifiche e dei Titoli COMPETENZE indicano la comprovata capacità di usare conoscenze, abilità e capacità personali, sociali e/o metodologiche, in situazioni di lavoro o di studio e nello sviluppo professionale e/o personale; le competenze sono descritte in termini di responsabilità e autonomia

VALUTAZIONE DEI SISTEMI DI ISTRUZIONE Chi aiuta a trovare buone pratiche per raggiungere le competenze? Chi verifica che alle buone intenzioni seguano buoni risultati? Chi aiuta i sistemi di istruzione a trovare percorsi che conducano gli studenti ad acquisire le competenze richieste? Sorge il problema della valutazione dei sistemi di istruzione, dove valutazione non è lattribuzione di un voto, ma la presa di contatto con la realtà e lattribuzione di un valore agli elementi che la costituiscono.

STORIA e ATTUALITA STORIA La valutazione dei sistemi di istruzione nel mondo La valutazione del sistema di istruzione in Italia ATTUALITA OCSE-PISA IEA (TIMSS-PIRLS- SITES) INVALSI

INIZI… Nel 1952 lUNESCO crea ad Amburgo un istituto internazionale delleducazione che esiste tuttora Nel 1958 ci si accostò al problema della organiz- zazione di valutazioni comparate e lanno successivo si deliberò per lintroduzione di unindagine che si svolse fino al 1961 e coin- volse studenti di 13 anni al primo giorno di scuola (1000 in ognuno dei 12 paesi coinvol- ti), indipendentemente dalla classe frequentata. Scopo dellindagine: è possibile predisporre strumenti di indagine utilizzabili in modo uniforme fra sistemi scolastici molto diversi, ad esempio quello svedese e giapponese?

1° LAVORO IN 12 PAESI Prove relative a: matematica, scienze, geografia, lettura Prove culturalmente neutre, cioè che possono essere valutate a prescindere dalle conoscenze scolastiche e dalle differenze socio-culturali Le più forti differenze tra paesi si ebbero in queste prove, quelle non condizionate da competenze verbali o linguistiche

POLITICA E FINANZIAMENTI Fino ad allora lindice del funzionamento di un sistema scolastico era la percentuale di diplomati Gli interessati erano primariamente gli ambienti della ricerca, non i responsabili politici Per estendere la ricerca si pone il serio problema dei costi delle rilevazioni: in questo ambito rientra il problema del rapporto con il gestore politico dellistruzione E normale che sulla direzione da dare alla ricerca sia il finanziatore ad avere lultima parola Una delle richieste è quella di avere i risultati in breve tempo (entro due anni è già un successo)

IEA Per condurre le indagini e gestire gli aspetti economici nel 1961 ad Amburgo si costituisce lIEA (International Association for Evaluation of Educational Achievement), allinterno dellIstituto delleducazione. Il suo lavoro di ricerca ha permesso di mettere a punto procedure rigorose per la costruzione di campioni probabilistici. Tale modello è tuttora utilizzato - ovviamente adattato alle diverse realtà- per le valutazioni su larga scala Tutti gli studi di quegli anni sono serviti per mettere a fuoco i problemi che sempre si incontrano nel predisporre una indagine per valutare il sistema di istruzione

STRUMENTI PER LE RILEVAZIONI Fondamenti statistici per la scelta del campione di modo che questi saino significativi Conoscenze statistiche e software relativo Tecniche per organizzare indagini comparabili sul piano internazionale Modelli di analisi e trattamento dei dati Forme innovative di presentazione dei risultati

MATEMATICA (FIMS) Nel 1964 parte la First International Mathematics Study (FIMS). Essa ha posto le premesse per gli sviluppi successivi delle indagini, in particolare per quel che riguarda Il quadro teorico di riferimento per gli strumenti che si utilizzano nellindagine La popolazione esaminata Lanalisi dei curricoli e dei programmi dinsegnamento Linvenzione del concetto opportunity to learn per interpretare i dati

IL QUADRO TEORICO DI RIFERIMENTO A quali domande vuole rispondere lindagine? Si formulano ipotesi e, in base ad esse, si predispongono esercizi che servano a confermare o smentire le ipotesi. Ad esempio: In una scuola la media dei risultati in matematica è correlata al numero totale di alunni della scuola Il livello del profitto in matematica a 13 anni non dipende dalletà di inizio della scuola dellobbligo …e altre 32

LA POPOLAZIONE ESAMINATA I risultati cambiano in funzione di: Numero di anni di scuola Età al momento dellindagine Classe che si frequenta Momento in cui si è incominciato a studiare un certo argomento …

LA POPOLAZIONE ESAMINATA Nel FIMS si scelsero: I tredicenni indipendentemente dalla classe frequentata. Con laumentare degli anni obbligatori di scuola nelle successive rilevazioni si passò ai quattordicenni e ora, nellindagine OCSE-PISA, ai quindicenni Studenti dellultimo anno della scuola secondaria superiore

LA POPOLAZIONE ESAMINATA La scelta di considerare la popolazione in uscita da un certo livello scolastico indipendentemente dalletà, poiché è calata in sistemi di istruzione di numerosi paesi con caratteristiche molto diverse fra loro, dà sempre luogo a polemiche sulla corretta interpretazione dei risultati Ad esempio nellindagine IEA sulla lettura del il divario di anni di scuola nel gruppo dei nove anni era troppo elevato: un conto è leggere da 4 anni e un conto è leggere da 2. Leffetto classe e leffetto età sono problemi tuttora aperti

LANALISI DEI CURRICOLI E DEI PROGRAMMI DI INSEGNAMENTO Le richieste presenti nelle prove sono coerenti con i programmi di insegnamento? E questo un altro fronte caldo delle indagini internazionali (e non solo) Qual è il contenuto da valutare? E possibile giungere a contenuti accettati da tutti? E, una volta stabiliti, che peso dare ai singoli argomenti che costituiscono un settore? Gli studenti sono abituati a rispondere a problemi posti con prove strutturate con domande a scelta multiple o aperte?

LANALISI DEI CURRICOLI E DEI PROGRAMMI DI INSEGNAMENTO Nel lindagine TIMSS sulla matematica e le scienze ha coinvolto 45 paesi e le domande precedenti sono esplose, anche per motivi politici: nessun paese accetta regole del gioco che lo penalizzino, sapendo che i risultati saranno pubblici e permetteranno confronti Per questo si è incrementato lo studio e la tabulazione degli argomenti presenti sui libri di testo, nei curricoli dei diversi paesi e si è sviluppata lattenzione per i livelli di conoscenza richiesti; inoltre si è molto curata la qualità delle prove

TIMSS LINValSi è membro della IEA e partecipa alla General Assembly annuale che ha funzione di indirizzo delle attività della IEA.Attualmente lINValSI partecipa a tre indagini IEA: IEA PIRLS,SITES e TIMSS. TIMSS, the Trend in International Mathematics and Science Study, si basa su rilevazioni periodiche degli apprendimenti degli studenti al quarto, allottavo e al dodicesimo anno di scolarità (o, a seconda del sistema distruzione, lultimo; per lItalia la IV classe della scuola primaria, la III classe della scuola secondaria di I grado e il quinto anno della scuola secondaria di secondo grado) in Matematica e Scienze con lo scopo di indagare la situazione in tali discipline

TIMSS Periodicità: ogni quattro anni a partire dalla prima rilevazione 1995 seguita da quelle del 1999, 2003 e Alla sessione del TIMSS nel 2002/03, condotto sulla quarta primaria e sulla terza secondaria di I grado, hanno partecipato quarantasei paesi, e nel 2006/07 almeno ad un livello hanno partecipato 67 paesi (con unelevata presenza di paesi africani ed asiatici). LItalia ha partecipato allultima edizione con classi provenienti da 420 scuole.

OBIETTIVI DEL TIMSS Comparare gli apprendimenti tra gli studenti di differenti sistemi scolastici e nell'interno dello stesso paese in anni diversi (analisi di trend). Spiegare le differenze fra paesi in termini di ciò che si insegna (contenuti in termini qualitativi e quantitativi), come si insegna (pratiche didattiche) e cosa è eventualmente cambiato nel sistema scolastico fra il 1995 e il Agli studenti è richiesto di rispondere ad alcune domande di matematica e di scienze, così come ad alcune domande sulle loro esperienze a casa e a scuola.

OBIETTIVI DEL TIMSS Dalla presentazione effettuata dallINValSI si legge che i risultati Indicheranno in che misura gli studenti italiani hanno appreso gli argomenti e quali abilità hanno maggiormente sviluppato in matematica e in scienze; permetteranno un confronto dei risultati degli studenti di differenti paesi; permetteranno di identificare le eventuali lacune per colmarle nei successivi tre anni; potranno essere utilizzati dal MIUR come test per migliorare la riforma; saranno utilizzati dalle scuole italiane per migliorare la didattica in matematica e scienze; forniranno una base per monitorare e valutare l'efficienza dei sistemi dell'istruzione.

LANALISI DEI CURRICOLI E DEI PROGRAMMI DI INSEGNAMENTO Negli Stati Uniti nel 1991 cè stato anche un tentativo di abbandonare il vincolo della costruzione delle prove in base ai programmi nazionali di insegnamento (IAEP: International Assessment of Educational Progress). Al contrario essi venivano utilizzati per interpretare i risultati Questa impostazione è alla base dellindagine OCSE- PISA che dichiara apertamente che lo scopo non è quello di misurare quanto si è imparato a scuola, ma il livello raggiunto nelle competenze ritenute indispensabili per un quindicenne. Lindispensabilità non è relativa alla richiesta della scuola, ma alla richiesta della società e della vita quotidiana. Le prove sono perciò curriculum free e misurano il successo delle scuole nel fare maturare competenze.

LANALISI DEI CURRICOLI E DEI PROGRAMMI DI INSEGNAMENTO Nel TIMSS invece è stata data la possibilità ai singoli paesi di inserire prove coerenti coi singoli curricoli. E interessante notare che i risultati sulle prove specifiche coerenti coi programmi non divergevano di molto rispetto a quelli del totale generale.

OPPORTUNITY TO LEARN Vi è diversità fra Programmi ufficiali (indicati dai ministri o organismi centrali) Programmi effettivamente svolti (scelti dagli insegnanti) Programmi che si imparano (lavoro dello studente) Nelle indagini su larga scala solo questi ultimi sono oggetto di studio. Si cerca cioè di indagare la realtà e non le intenzioni

OPPORTUNITY TO LEARN La misura della parte di programma realmente insegnata è stata uno degli obiettivi fissi dellIEA e per far ciò bisogna tenere presente che il curricolo valutato è diverso dal curricolo imparato Definizione di OTL: Se sì o no…gli studenti hanno avuto loccasione di studiare un soggetto particolare o di imparare come risolvere un tipo particolare di problema presentato nel test (Husén)

Six Subjects Study I risultati del 64 furono resi pubblici nel 67 e si iniziò a pensare ad estendere oltre i confini della Matematica la metodologia introdotta. Nel si svolse la Six Subjects Study che si estendeva alle Elementari (10 anni) e coinvolgeva scienze, comprensione della lettura, letteratura, francese o inglese come lingua straniera, educazione civica. Gli esiti furono resi noti nel La lingua straniera era composta da 4 competenze: comprensione dei testi scritti, dellorale, scrittura e parlato Da allora, sulle lingue straniere, non si è più riusciti ad intervenire e non solo per motivi economici

VALUTAZIONE DEL SISTEMA DI ISTRUZIONE IN ITALIA Gli obiettivi di Lisbona 2000 sul fronte dellistruzione hanno come scadenza lanno Uno degli strumenti che lItalia si è data per raggiungere tali obiettivi è lINValSI Istituto Nazionale per la Valutazione del Sistema Educativo di Istruzione e Formazione

Valutazione esterna nella SCUOLA ITALIANA Facoltativi Progetto Pilota 1 nella.s Progetto Pilota 2 nella.s Progetto Pilota 3 nella.s Obbligatoria per la Scuola Primaria e Secondaria di I grado, facoltativa per la Secondaria di II grado Rilevazione del Servizio Nazionale di Valutazione nella.s Rilevazione del Servizio Nazionale di Valutazione nella.s

Questionario di Sistema Prove di apprendimento, basate su item a risposta chiusa, in Italiano Matematica Scienze Classi coinvolte nella Primaria: II e IV nella Secondaria di Primo grado: I nella Secondaria di Secondo grado: I e III

Rilevazione del Servizio Nazionale di Valutazione nella.s Questionario di Sistema: Prove di apprendimento, basate su item a risposta chiusa, in Italiano Matematica Scienze Classi campionate e somministratore esterno Classi coinvolte nella Primaria: II e IV nella Secondaria di Primo grado: II nella Secondaria di Secondo grado: I e III

Per proseguire… Norberto Bottani – Una pagella per la scuola –Erickson, Trento 2003, pp.380 AAVV (fra i quali Caputo, Cinà, Vertecchi, Mayer) – Ricerche valutative internazionali 2000 –FrancoAngeli, 2001, pp.480 Nei siti dellIEA e dellINVALSI si segnalano in particolare int/Pisa2006/sito/pagine/documentazione.htmhttp:// int/Pisa2006/sito/pagine/documentazione.htm