DELL’INVALSI PER LA VALUTAZIONE DEGLI APPRENDIMENTI. LE FUNZIONI E I COMPITI DELL’INVALSI PER LA VALUTAZIONE DEGLI APPRENDIMENTI. DALLA COSTRUZIONE DELLE PROVE ALLA RESTITUZIONE DEI RISULTATI Dino Cristanini Direttore Generale INVALSI

LA NATURA DELL’INVALSI L’ISTITUTO E’ ENTE DI RICERCA CON PERSONALITA’ GIURIDICA DI DIRITTO PUBBLICO ED AUTONOMIA AMMINISTRATIVA, CONTABILE, PATRIMONIALE, REGOLAMENTARE E FINANZIARIA (Decreto legislativo 19 novembre 2004, n. 286)

VALUTARE PER MIGLIORARE Art. 3 c.1 lett. b Legge 28 marzo 2003, n.53 Ai fini del progressivo miglioramento e dell’armonizzazione della qualità del sistema di istruzione e di formazione, l’Istituto nazionale per la valutazione del sistema di istruzione effettua verifiche periodiche e sistematiche sulle conoscenze e abilità degli studenti e sulla qualità complessiva dell’offerta formativa delle istituzioni scolastiche e formative

I COMPITI DELL’INVALSI NEL D.LGS. 286/2004 effettua verifiche periodiche e sistematiche sulle conoscenze e abilità degli studenti e sulla qualità complessiva dell'offerta formativa delle istituzioni di istruzione e di istruzione e formazione professionale, anche nel contesto dell'apprendimento permanente. Per la formazione professionale le verifiche concernono esclusivamente i livelli essenziali di prestazione e sono effettuate tenuto conto degli altri soggetti istituzionali che già operano a livello nazionale nel settore della valutazione delle politiche nazionali finalizzate allo sviluppo delle risorse umane; predispone, nell'ambito delle prove previste per l'esame di Stato conclusivo dei cicli di istruzione, per la loro scelta da parte del Ministro, le prove a carattere nazionale, sulla base degli obiettivi specifici di apprendimento del corso ed in relazione alle discipline di insegnamento dell'ultimo anno di ciascun ciclo, e provvede alla gestione delle prove stesse, secondo le disposizioni emanate in attuazione dell'articolo 3, comma 1, lettera c), della legge 28 marzo 2003, n. 53; svolge attività di ricerca, nell'ambito delle sue finalità istituzionali; studia le cause dell'insuccesso e della dispersione scolastica con riferimento al contesto sociale ed alle tipologie dell'offerta formativa; assume iniziative rivolte ad assicurare la partecipazione italiana a progetti di ricerca europea e internazionale in campo valutativo; svolge attività di supporto e assistenza tecnica all'amministrazione scolastica, alle regioni, agli enti territoriali, e alle singole istituzioni scolastiche e formative per la realizzazione di autonome iniziative di monitoraggio, valutazione e autovalutazione; svolge attività di formazione del personale docente e dirigente della scuola, connessa ai processi di valutazione e di autovalutazione delle istituzioni scolastiche.

LA LEGGE 1/2007 L’ANALISI DELLE PROVE DELL’ESAME DI STATO CONCLUSIVO DELLA SCUOLA SECONDARIA SUPERIORE L'Istituto nazionale per la valutazione del sistema educativo di istruzione e di formazione (INVALSI) provvede, sulla base di apposite direttive impartite dal Ministro della pubblica istruzione (…), alla predisposizione di modelli da porre a disposizione delle autonomie scolastiche ai fini della elaborazione della terza prova. L'Istituto provvede, altresì, alla valutazione dei livelli di apprendimento degli studenti a conclusione dei percorsi dell'istruzione secondaria superiore, utilizzando le prove scritte degli esami di Stato secondo criteri e modalità coerenti con quelli applicati a livello internazionale per garantirne la comparabilità

LA LEGGE 176/2007 LA PROVA NAZIONALE AL TERMINE DEL PRIMO CICLO L’esame di Stato comprende anche una prova scritta, a carattere nazionale, volta a verificare i livelli generali e specifici di apprendimento conseguiti dagli studenti. I testi relativi alla suddetta prova sono scelti dal Ministro della pubblica istruzione tra quelli predisposti annualmente dall’Istituto nazionale per la valutazione del sistema educativo di istruzione e di formazione (Invalsi), conformemente alla direttiva periodicamente emanata al Ministro stesso, e inviati alle istituzioni scolastiche competenti.

LA LEGGE 176/2007 LA VALUTAZIONE DEL VALORE AGGIUNTO A decorrere dall'anno scolastico 2007-2008 il Ministro della pubblica istruzione fissa, con direttiva annuale, gli obiettivi della valutazione esterna condotta dal Servizio nazionale di valutazione in relazione al sistema scolastico e ai livelli di apprendimento degli studenti, per effettuare verifiche periodiche e sistematiche sulle conoscenze e abilita' degli studenti, di norma, alla classe seconda e quinta della scuola primaria, alla prima e terza classe della scuola secondaria di I grado e alla seconda e quinta classe del secondo ciclo, nonche' altre rilevazioni necessarie per la valutazione del valore aggiunto realizzato dalle scuole.

IL VALORE AGGIUNTO L’EFFETTO POSITIVO PRODOTTO DALLA SCUOLA IN UN DETERMINATO INTERVALLO DI TEMPO I RISULTATI DI APPRENDIMENTO DEPURATI DALLE VARIABILI ESTERNE ALLA SCUOLA CHE LO CONDIZIONANO

Esempio punteggi grezzi (Martini e Ricci - 2008)

Esempio punteggi con calcolo valore aggiunto (Martini e Ricci-2008)

LE DIRETTIVE MINISTERIALI LA DIRETTIVA TRIENNALE N.74/2008 Rilevare gli apprendimenti degli studenti nei momenti di ingresso e di uscita dei diversi livelli di scuola, così da rendere possibile la valutazione del valore aggiunto fornito da ogni scuola in termini di accrescimento dei livelli di apprendimento degli alunni

LE DIRETTIVE MINISTERIALI LA DIRETTIVA TRIENNALE N.74/2008 La rilevazione sarà messa a regime nel corso di tre anni secondo la seguente scansione: anno 2008-2009 le scuole primarie anno 2009-2010 le scuole secondarie di primo grado anno 2010-2011 le scuole secondarie di secondo grado

I COMPITI DELL’INVALSI NEL DECRETO LEGISLATIVO n I COMPITI DELL’INVALSI NEL DECRETO LEGISLATIVO n. 213 del 31 dicembre 2009 Nell’ambito della costruzione del Sistema nazionale di valutazione l’INVALSI ha le seguenti competenze: a. lo studio e la predisposizione di strumenti e modalità oggettive di valutazione degli apprendimenti e la cura dell’elaborazione e della diffusione dei risultati della valutazione; b. la promozione di periodiche rilevazioni nazionali sugli apprendimenti che interessano le istituzioni scolastiche e l’istruzione e formazione professionale, il supporto e l’assistenza tecnica alle istituzioni scolastiche e formative anche attraverso la messa a disposizione di prove oggettive per la valutazione degli apprendimenti finalizzate anche alla realizzazione di autonome iniziative di valutazione e autovalutazione; c. lo studio di modelli e metodologie per la valutazione delle istituzioni scolastiche e di istruzione e formazione professionale e dei fattori che influenzano gli apprendimenti d. la predisposizione di prove a carattere nazionale per gli esami di Stato, nell’ambito della normativa vigente; e. lo svolgimento di attività di ricerca e la collaborazione alle attività di valutazione del sistema scolastico al fine di realizzare iniziative di valorizzazione del merito anche in collaborazione con il sistema universitario; f. lo svolgimento di attività di ricerca, nell'ambito delle proprie finalità istituzionali, sia su propria iniziativa che su mandato di enti pubblici e privati, assicurando inoltre la partecipazione italiana a progetti internazionali in campo valutativo; g. lo svolgimento di attività di supporto e assistenza tecnica alle regioni e agli enti territoriali per la realizzazione di autonome iniziative di monitoraggio, valutazione e autovalutazione; h. lo svolgimento di attività di formazione del personale docente e dirigente della scuola sui temi della valutazione in collaborazione con l’ ANSAS.

LA QUALITA’ DELLE RILEVAZIONI QUALITA’ DELLE PROVE QUALITA’ DELLA SOMMINISTRAZIONE QUALITA’ DELLA ELABORAZIONE DEI DATI

LA PREDISPOSIZIONE DELLE PROVE L’ELABORAZIONE DEI QUADRI DI RIFERIMENTO LA PRODUZIONE DEGLI ITEM LA PRIMA REVISIONE QUALITATIVA LA PROVA SUL CAMPO LA PRODUZIONE DEFINITIVA

IL QUADRO DI RIFERIMENTO DI ITALIANO Oggetto precipuo delle prove Invalsi sono le sottocompetenze dell’ambito della lettura TESTUALE comprensione locale e globale del testo organizzazione logica entro e oltre la frase aspetti formali e retorici GRAMMATICALE ortografia e punteggiatura morfologia e sintassi LESSICALE

IL QUADRO DI RIFERIMENTO DI MATEMATICA I NUCLEI TEMATICI NUMERI SPAZIO E FIGURE RELAZIONI E FUNZIONI (solo a partire dalla V primaria) MISURE, DATI E PREVISIONI

LA VALIDAZIONE DELLE PROVE Indice di Cronbach: coerenza e unitarietà della prova Rasch analysis: stima della difficoltà delle domande Placement: difficoltà delle domande e livelli di apprendimento raggiunti dai rispondenti

LA RESTITUZIONE DEI DATI I RAPPORTI NAZIONALI I DATI AGGREGATI A LIVELLO REGIONALE I DATI AGGREGATI A LIVELLO DI SINGOLA SCUOLA I DATI AGGREGATI A LIVELLO DI SINGOLE CLASSI I DATI DISAGGREGATI DOMANDA PER DOMANDA

LA RESTITUZIONE DEI DATI ALLE SCUOLE UNA RISORSA PER L’AUTOVALUTAZIONE E IL MIGLIORAMENTO art.4 comma 4 D.P.R. 275/1999 Nell'esercizio dell'autonomia didattica le istituzioni scolastiche (…) Individuano inoltre le modalità e i criteri (…) per la valutazione periodica dei risultati conseguiti dalle istituzioni scolastiche rispetto agli obiettivi prefissati

LA RESTITUZIONE DEI DATI ALLE SCUOLE SCOPI FORNIRE ALLE SCUOLE ELEMENTI DI CONOSCENZA AFFIDABILI PER CONOSCERE IL PROPRIO POSIZIONAMENTO RISPETTO ALLE ALTRE SCUOLE O AD UN PROPRIO TARGET STIMOLARE PROCESSI DI MIGLIORAMENTO

Le criticità in italiano ( II classe) 22

Le criticità in italiano (V classe) 23

Le criticità in matematica (II classe) 24

Le criticità in matematica (V classe) 25

CONFRONTARSI RISPETTO AGLI STANDARD ESTERNI Domande che una scuola dovrebbe porsi Rispetto alle medie, nazionale e locale (regione, macro-area), come si colloca il risultato medio della mia scuola? Rispetto a scuole simili sotto il profilo della composizione della popolazione scolastica, come si colloca la mia scuola? Qual è la distribuzione degli alunni della mia scuola nei livelli di prestazione? Le eventuali differenze che riscontro sono significative (in termini statistici e di entità della differenza)? Da cosa possono dipendere le differenze che riscontro? Sono in grado di formulare un’ipotesi per rispondere a questa domanda, oppure ho bisogno di raccogliere ulteriori informazioni prima di arrivare ad avanzarne una? Bologna, 23 Novembre 2009 Angela Martini

CONFRONTARSI AL PROPRIO INTERNO Domande che una scuola dovrebbe porsi Le classi della mia scuola, dello stesso livello (es.: II) o di livello diverso (es: II e V), hanno risultati simili fra loro e rispetto agli standard? Se no, sono in grado di ipotizzare quale ne sia la ragione? (differenze originarie nel livello di abilità degli alunni delle varie classi, differenze nel curricolo “insegnato”, differenze tra gli insegnanti …) Quale relazione c’è tra il punteggio medio ottenuto dalle classi nelle prove INVALSI e le valutazioni medie degli insegnanti di classe, in particolare in Italiano e in Matematica? L’ordinamento fra classi stabilito in base alle prime corrisponde grosso all’ordinamento in base alle seconde? Qual è l’entità della differenza di risultati – se c’è – fra i principali sottogruppi della popolazione della mia scuola (ad es. fra maschi e femmine, fra alunni italiani e non, ecc.) Vi sono differenze rilevanti di risultati fra la prova di Italiano e la prova di Matematica, e, all’interno di ciascuna, tra le loro principali articolazioni (ad es. tra testo narrativo ed espositivo, nel caso dell’Italiano, o tra l’ambito “Numeri” e l’ambito “Spazio e figure” nel caso della Matematica? Bologna, 23 Novembre 2009 Angela Martini

LA COLLABORAZIONE ALLE INDAGINI INTERNAZIONALI OCSE PISA IEA TIMSS IEA TIMSS ADVANCED IEA ICCS IEA PIRLS IEA SITES

L’INDAGINE OCSE PISA PISA = Programme for International Student Assessment E’ una indagine promossa dall’OCSE per accertare le competenze dei quindicenni scolarizzati Viene effettuata ogni tre anni e riguarda tre aree: lettura, matematica e scienze, ma ogni ciclo approfondisce in particolare un’area Nel 2010: Sviluppo progetto indagine 2009 Avvio progetto indagine 2012

L’INDAGINE IEA TIMSS IEA=International Association for the Evaluation of Educational Assessment TIMSS=Trends in International Mathematics and Science Study I risultati degli studenti in Matematica e Scienze in oltre 60 sistemi d’istruzione Classi coinvolte: IV primaria III secondaria primo grado

L’INDAGINE IEA PIRLS IEA=International Association for the Evaluation of Educational Assessment PIRLS=Progress in International Reading Literacy Study La competenza nella lettura Classe coinvolta: IV primaria

L’INDAGINE TIMSS ADVANCED Rileva le prestazioni degli studenti nell’ultimo anno della scuola secondaria superiore per gli indirizzi di studio con matematica e fisica avanzata (liceo scientifico e istituto tecnico industriale)

L’Italia nel confronto internazionale Fonte : Cipollone Sestito 2010

LO STUDIO DI MODELLI PER LA VALUTAZIONE DELLE SCUOLE ANALISI DEI SISTEMI DI VALUTAZIONE UTILIZZATI IN CIRCA 20 PAESI COSTRUZIONE DI UN SISTEMA NAZIONALE DI INDICATORI ORGANIZZATI IN BASE AL MODELLO CIPP: CONTEXT-INPUT-PROCESS-PRODUCT

LO STUDIO DI MODELLI PER LA VALUTAZIONE DELLE SCUOLE ANALISI DEI SISTEMI DI VALUTAZIONE UTILIZZATI IN CIRCA 20 PAESI COSTRUZIONE DI UN SISTEMA NAZIONALE DI INDICATORI ORGANIZZATI IN BASE AL MODELLO CIPP: CONTEXT-INPUT-PROCESS-PRODUCT

CONTESTO RISORSE (INPUT) PROCESSI ORGANIZZATIVI DIDATTICI RISULTATI (OUTPUT OUTCOME)

ValSiS  Macroaree - Aree CONTESTO Ampiezza e diffusione del servizio scolastico Offerta di istruzione Caratteristiche socio-economiche-culturali delle famiglie Background socio-economico-culturale familiare Composizione del nucleo familiare Spese delle famiglie per l'istruzione Partecipazione della comunità alla scuola Integrazione / coesione sociale / collaborazione Partecipazione Servizi aggiuntivi Sovvenzioni allo studio Scolarizzazione Scolarizzazione in ciascuna tappa educativa Titolo di studio della popolazione adulta Aspetti demografici / economici della popolazione Popolazione in età scolare Stato occupazionale della popolazione Sviluppo demografico Elaborazione ValSiS – INVALSI 2010 INPUT Risorse delle scuole Caratteristiche delle scuole Risorse economiche / finanziarie Disponibilità di risorse per le scuole Spesa pubblica Risorse materiali Biblioteca Dotazioni informatiche Spazi Risorse umane Assenteismo Caratteristiche del dirigente Caratteristiche del personale Stabilità del personale docente e dirigente Studenti Attitudine e comportamento degli studenti Caratteristiche degli studenti Percorso di studi RISULTATI Esiti più generali o outcome Successo / insuccesso scolastico Qualità percepita dell’offerta Soddisfazione degli utenti della scuola Risultati diretti dell’istruzione o output Competenze cross-curricolari Livello degli apprendimenti relativi alle materie scolastiche Livello delle competenze chiave possedute Opportunità di apprendere Risultati sociali o indicatori di impatto Esiti delle politiche delle pari opportunità Esiti sociali PROCESSI Processi a livello di classe Flessibilità organizzativa e didattica Strategie didattiche Sostegno, guida e supporto Uso del tempo Processi a livello di scuola Capacità di investire Clima di scuola Collaborazione fra insegnanti Continuità lavorativa Diversificazione delle fonti di finanziamento Equilibrio della gestione finanziaria Formazione e aggiornamento del personale docente Forme di valutazione interna / autovalutazione Modi di affrontare situazioni di tipo problematico Offerta formativa Pari opportunità Progettazione del curricolo e dell’azione didattica Progettazione POF Progettualità strategica Stato / manutenzione delle strutture scolastiche Stili di direzione / coordinamento Uso dello spazio e delle infrastrutture Utilizzo della valutazione Processi a livello di scuola e del territorio Partecipazione e coinvolgimento del territorio