DALLA MISURAZIONE DEGLI APPRENDIMENTI ALLA VALUTAZIONE DI SISTEMA Dino Cristanini Direttore Generale INVALSI Genova – 19 novembre 2010

GLI OGGETTI DELLA VALUTAZIONE SCOLASTICA ALUNNO (apprendimenti, comportamento, competenze) PERSONALE (prestazioni professionali) ISTITUZIONE SCOLASTICA (risorse utilizzate, funzionamento, risultati) SISTEMA (risorse utilizzate, funzionamento, risultati)

LA VALUTAZIONE DI SISTEMA UN PO DI STORIA 1990 – Conferenza Nazionale sulla scuola CENSIS - Per un servizio nazionale di valutazione Approccio di sistema : pluralità di indicatori e di fonti informative Aree di analisi : contesto, risorse immesse, processi, prodotti finali Funzioni del servizio. Valutazione di: -efficienza ed efficacia del sistema scolastico nel suo complesso e nelle sue articolazioni territoriali -effetti delle politiche legislative che coinvolgono la scuola - valutazione di programmi, iniziative, sperimentazioni significative Ricadute : -Sviluppo della cultura della valutazione -Supporto allautovalutazione delle scuole

LA VALUTAZIONE DI SISTEMA UN PO DI STORIA 1993 – Decreto Legislativo n.35 art. 8 – Parametri di valutazione della produttività del sistema scolastico Il Ministro provvede alla: -determinazione di parametri di valutazione dellefficacia della spesa in rapporto allattuazione del diritto allo studio e ai livelli qualitativi dellistruzione -Individuazione di adeguati metodi di rilevamento dei processi e dei risultati in termini di preparazione generale e specifica del servizio scolastico

LA VALUTAZIONE DI SISTEMA UN PO DI STORIA 1993 – Proposta organica sulla scuola Punto 6 – La valutazione del sistema formativo -assicura analisi sistematiche della congruenza dellofferta formativa con gli obiettivi e con i programmi fissati per lo sviluppo del sistema scolastico -introduce nel sistema procedure e strumenti per la gestione amministrativa e strategica dei punti di criticità dellofferta formativa anche ai fini del recupero della dispersione scolastica -produce e sviluppa criteri di efficienza e di efficacia degli standard e dei risultati formativi utilizzabili dagli operatori per la valutazione e per lautovalutazione dei processi -raccoglie, elabora e standardizza modelli di valutazione e di autovalutazione e promuove la diffusione di una cultura di responsabilità sui risultati tra gli utenti del servizio

LA VALUTAZIONE DI SISTEMA UN PO DI STORIA 1997 – Direttiva n.307 Istituzione presso il CEDE del Servizio Nazionale per la qualità dellistruzione – Compiti: -studiare e scegliere i necessari indicatori di risorse, processo, prodotto e contestuali e le metodologie di rilevazione più affidabili -sviluppare direttamente, validare, tarare e diffondere ulteriori strumenti di accertamento del profitto, nonché strumenti atti a rilevare lo stato e le condizioni di funzionamento del sistema scolastico per cui linformazione non sia già disponibile

LA VALUTAZIONE DI SISTEMA IL PRIMO INVALSI 1999 – Decreto Legislativo n.258 Trasformazione del CEDE in INVALSI – I COMPITI DELLISTITUTO valuta lefficienza e l'efficacia del sistema di istruzione nel suo complesso e analiticamente, ove opportuno anche per singola istituzione scolastica, inquadrando la valutazione nazionale nel contesto internazionale; studia le cause dell'insuccesso e della dispersione scolastica con riferimento al contesto sociale ed alle tipologie dell'offerta formativa; conduce attività di valutazione sulla soddisfazione dell'utenza; fornisce supporto e assistenza tecnica all'amministrazione per la realizzazione di autonome iniziative di valutazione e supporto alle singole istituzioni scolastiche anche mediante la predisposizione di archivi informatici liberamente consultabili; valuta gli effetti degli esiti applicativi delle iniziative legislative che riguardano la scuola; valuta gli esiti dei progetti e delle iniziative di innovazione promossi in ambito nazionale; assicura la partecipazione italiana a progetti di ricerca internazionale in campo valutativo e nei settori connessi dellinnovazione organizzativa e didattica.

LA VALUTAZIONE DI SISTEMA IL SECONDO INVALSI Art. 3 c.1 lett. b Legge 28 marzo 2003, n.53 Ai fini del progressivo miglioramento e dellarmonizzazione della qualità del sistema di istruzione e di formazione, lIstituto nazionale per la valutazione del sistema di istruzione effettua verifiche periodiche e sistematiche sulle conoscenze e abilità degli studenti e sulla qualità complessiva dellofferta formativa delle istituzioni scolastiche e formative

I COMPITI DELLINVALSI NEL D.LGS. 286/2004 effettua verifiche periodiche e sistematiche sulle conoscenze e abilità degli studenti e sulla qualità complessiva dell'offerta formativa delle istituzioni di istruzione e di istruzione e formazione professionale, anche nel contesto dell'apprendimento permanente. Per la formazione professionale le verifiche concernono esclusivamente i livelli essenziali di prestazione e sono effettuate tenuto conto degli altri soggetti istituzionali che già operano a livello nazionale nel settore della valutazione delle politiche nazionali finalizzate allo sviluppo delle risorse umane; predispone, nell'ambito delle prove previste per l'esame di Stato conclusivo dei cicli di istruzione, per la loro scelta da parte del Ministro, le prove a carattere nazionale, sulla base degli obiettivi specifici di apprendimento del corso ed in relazione alle discipline di insegnamento dell'ultimo anno di ciascun ciclo, e provvede alla gestione delle prove stesse, secondo le disposizioni emanate in attuazione dell'articolo 3, comma 1, lettera c), della legge 28 marzo 2003, n. 53; svolge attività di ricerca, nell'ambito delle sue finalità istituzionali; studia le cause dell'insuccesso e della dispersione scolastica con riferimento al contesto sociale ed alle tipologie dell'offerta formativa; assume iniziative rivolte ad assicurare la partecipazione italiana a progetti di ricerca europea e internazionale in campo valutativo; svolge attività di supporto e assistenza tecnica all'amministrazione scolastica, alle regioni, agli enti territoriali, e alle singole istituzioni scolastiche e formative per la realizzazione di autonome iniziative di monitoraggio, valutazione e autovalutazione; svolge attività di formazione del personale docente e dirigente della scuola, connessa ai processi di valutazione e di autovalutazione delle istituzioni scolastiche.

LA LEGGE 176/2007 LA VALUTAZIONE DEL VALORE AGGIUNTO A decorrere dall'anno scolastico il Ministro della pubblica istruzione fissa, con direttiva annuale, gli obiettivi della valutazione esterna condotta dal Servizio nazionale di valutazione in relazione al sistema scolastico e ai livelli di apprendimento degli studenti, per effettuare verifiche periodiche e sistematiche sulle conoscenze e abilita' degli studenti, di norma, alla classe seconda e quinta della scuola primaria, alla prima e terza classe della scuola secondaria di I grado e alla seconda e quinta classe del secondo ciclo, nonche' altre rilevazioni necessarie per la valutazione del valore aggiunto realizzato dalle scuole.

IL PROGETTO VALSIS PER VALUTARE UN SISTEMA E NECESSARIO UN COMPLESSO INTEGRATO DI INDICATORI VALSIS: COMPLESSO DI INDICATORI CHE INTEGRA LA PROSPETTIVA DI SISTEMA CON QUELLA DELLISTITUZIONE SCOLASTICA IL COMPLESSO DEGLI INDICATORI E SATO DEFINITO SULLA BASE DEL MODELLO CONTEXT-INPUT-PROCESS-PRODUCT

COME E STATO COSTRUITO IL MODELLO STUDIO DELLA LETTERATURA SCIENTIFICA ESISTENTE E ANALISI DELLE ESPERIENZE STRANIERE DEFINIZIONE DI UN QUADRO DI RIFERIMENTO TEORICO CLASSIFICAZIONE DEGLI INDICATORI INTERNAAZIONALI E COSTRUZIONE DI UN ARCHIVIO DEGLI STESSI DEFINIZIONE DEI POSSIBILI INDICATORI PER LITALIA

LE AREE DEL MODELLO CONTESTO ASPETTI DEMOGRAFICI ED ECONOMICI DELLA POPOLAZIONE LIVELLO DI SCOLARIZZAZIONE AMPIEZZA E DIFFFUSIONE DEL SERVIZIO SCOLASTICO CARATTERISTICHE SOCIO-ECONOMICHE E CULTURALI DELLE FAMIGLIE PARTECIPAZIOINE DELLA COMUNITA ALLA SCUOLA PROCESSI PROCESSI A LIVELLO DI SCUOLA E DEL TERRITORIO PROCESSI A LIVELLO DI SCUOLA PROCESSI A LIVELLO DI CLASSE RISORSE RISORSE DELLE SCUOLE RISORSE ECONOMICO-FINANZIARIE RISORSE MATERIALI STUDENTI RISORSE UMANE RISULTATI RISULTATI DIRETTI DELLISTRUZIONE LIVELLO DI ISTRUZIONE CONSEGUITO E SUCCESSO SCOLASTICO RISULTATI SOCIALI QUALITA PERCEPITA DELLOFFERTA

CONTESTO Ampiezza e diffusione del servizio scolastico –Offerta di istruzione Caratteristiche socio-economiche-culturali delle famiglie –Background socio-economico-culturale familiare –Composizione del nucleo familiare –Spese delle famiglie per l'istruzione Partecipazione della comunità alla scuola –Integrazione / coesione sociale / collaborazione –Partecipazione –Servizi aggiuntivi –Sovvenzioni allo studio Scolarizzazione –Scolarizzazione in ciascuna tappa educativa –Titolo di studio della popolazione adulta Aspetti demografici / economici della popolazione –Popolazione in età scolare –Stato occupazionale della popolazione –Sviluppo demografico RISULTATI Esiti più generali o outcome –Successo / insuccesso scolastico Qualità percepita dellofferta –Soddisfazione degli utenti della scuola Risultati diretti dellistruzione o output –Competenze cross-curricolari –Livello degli apprendimenti relativi alle materie scolastiche –Livello delle competenze chiave possedute –Opportunità di apprendere Risultati sociali o indicatori di impatto –Esiti delle politiche delle pari opportunità –Esiti sociali PROCESSI Processi a livello di classe –Flessibilità organizzativa e didattica –Strategie didattiche – Sostegno, guida e supporto – Uso del tempo Processi a livello di scuola –Capacità di investire –Clima di scuola –Collaborazione fra insegnanti –Continuità lavorativa –Diversificazione delle fonti di finanziamento –Equilibrio della gestione finanziaria –Formazione e aggiornamento del personale docente –Forme di valutazione interna / autovalutazione –Modi di affrontare situazioni di tipo problematico –Offerta formativa –Pari opportunità –Progettazione del curricolo e dellazione didattica –Progettazione POF –Progettualità strategica –Stato / manutenzione delle strutture scolastiche –Stili di direzione / coordinamento –Uso dello spazio e delle infrastrutture –Utilizzo della valutazione Processi a livello di scuola e del territorio –Partecipazione e coinvolgimento del territorio INPUT Risorse delle scuole –Caratteristiche delle scuole Risorse economiche / finanziarie –Disponibilità di risorse per le scuole –Spesa pubblica Risorse materiali –Biblioteca –Dotazioni informatiche –Spazi Risorse umane –Assenteismo –Caratteristiche del dirigente –Caratteristiche del personale –Stabilità del personale docente e dirigente Studenti –Attitudine e comportamento degli studenti –Caratteristiche degli studenti –Percorso di studi ValSiS Macroaree - Aree Elaborazione ValSiS – INVALSI 2010

LINDIVIDUAZIONE DELLE FONTI E LACQUISIZIONE DELLE INFORMAZIONI IL MODELLO RENDE POSSIBILE LANALISI DI VARIE CORRELAZIONI TRA LE AREE OCCORRE PERO UNA BASE DATI COMPLETA E ATTENDIBILE LINVALSI NEGLI ULTIMI DUE ANNI HA LAVORATO ALLA COSTRUZIONE DEGLI STRUMENTI PER LA MISURAZIONE STANDARDIZZATA DEGLI APPRENDIMENTI

I RISULTATI DELLE MISURAZIONI ALCUNE INDICAZIONI A LIVELLO DI SISTEMA I RISULTATI MEDI A LIVELLO NAZIONALE I RISULTATI DISTINTI PER GENERE, PROVENIENZA, REGOLARITA DEL PERCORSO GLI ELEMENTI DI CRITICITA NEGLI APPRENDIMENTI DI ITALIANO E MATEMATICA I CONFRONTI PER MACRO-AREE E PER REGIONI LA VARIANZA TRA LE ISTITUZIONI SCOLASTICHE NELLA STESSA AREA

Roberto Ricci – 27 ottobre 2010 I numeri del SNV e della Prova nazionale (2009/2010) Livello Numero scuole Numero classiNumero studenti II primaria V primaria I secondaria di I grado III secondaria di I grado Totale

Roberto Ricci – 27 ottobre 2010 I risultati medi a livello nazionale (2009/2010) CLASSEITALIANOMATEMATICA II primaria 61,0 (0,25) 56,7 (0,35) V primaria 66,6 (0,25) 61,3 (0,29) I sec. di secondo grado 60,8 (0,11) 50,9 (0,19) III sec. di secondo grado 60,4 (0,24) 51,1 (0,18)

Roberto Ricci – 27 ottobre 2010 I risultati delle prove (italiano 2009/2010- dati medi per area)

Roberto Ricci – 27 ottobre 2010 I risultati delle prove INVALSI (matematica 2009/2010- dati medi per area )

La distribuzione nei livelli di risultato (classe 2^ primaria - dati 2008/2009) ITALIANOMATEMATICA L1L2L3L4L5L6L1L2L3L4L5L6 Nord7,413,123,922,520,712,48,818,525,024,116,17,5 Centro8,312,826,222,119,211,59,819,625,023,315,37,0 Sud11,217,328,020,114,78,711,618,924,021,013,910,6 Italia9,014,625,921,518,210,810,018,824,722,815,18,6

I risultati della prova di ITALIANO (classe 5^ primaria- dati 2008/2009)

Le distanze si cumulano? (dati 2008/2009)

Studenti Italiani e non (dati 2008/2009) Matematica, II primariaMatematica, V primaria

Altre differenze (dati 2008/2009) IIV V ItalianoMatematicaItalianoMatematicaItalianoMatematicaItalianoMatematica NordRiferimento Centro -1,07 (**) -0,92 (**) 0,09 -1,23 (**) -0,71 (**) -0,84 (**) 0,01 -1,26 (**) Sud -5,71 (**) -0,45 (**) -1,77 (**) -3,58 (**) -5,74 (**) -0,51 (**) -2,15 (**) -3,81 (**) Maschi Riferimento Femmine 0,93 (**) -2,24 (**) 0,14 (**) -1,79 (**) Regolari Riferimento Anticipatari -0,75 -3,56 (**) 2,51 (**) 2,16 (**) Posticipatari -3,33 (**) -0,72 (**) -4,18 (**) -2,76 (**) Italiani Riferimento Stranieri -10,59 (**) -5,68 (**) -6,61 (**) -4,88 (**)

La varianza tra scuole e tra classi La varianza tra scuole e tra classi (dati 2008/2009)

Lincidenza della variabilità TRA le scuole su quella TOTALE

I RISULTATI DELLE MISURAZIONI COME RISORSA PER LAUTOVALUTAZIONE DELLE ISTITUZIONI SCOLASTICHE I RISULTATI MEDI DI SCUOLA IL POSIZIONAMENTO RISPETTO ALLA REGIONE, ALLA MACRO-AREA GEOGRAFICA, AL PAESE LANALISI DELLE DOMANDE LANALISI DELLE RISPOSTE DOMANDA PER DOMANDA I RISULTATI DISTINTI PER GENERE, PROVENIENZA, REGOLARITA DEL PERCORSO GLI ELEMENTI DI CRITICITA NEGLI APPRENDIMENTI DI ITALIANO E MATEMATICA

INVALSI– 6 ottobre 2010 I nuovi grafici: esempio 1

INVALSI– 6 ottobre 2010 I nuovi grafici: esempio 2

INVALSI– 6 ottobre 2010 I nuovi grafici: esempio 4

INVALSI– 6 ottobre 2010 I nuovi grafici: esempio 3

INVALSI– 6 ottobre 2010 I nuovi grafici: esempio 5

PER LIMPLEMENTAZIONE DELLA VALUTAZIONE DI SISTEMA COSTRUIRE IL SISTEMA DI VALUTAZIONE DEFINIRE UN SISTEMA DI INDICATORI INDIVIDUARE FONTI, PROCEDURE E STRUMENTI PER LA RACCOLTA DEI DATI E DELLE INFORMAZIONI PUBBLICAZIONE PERIODICA DI RAPPORTI

OutputInput Processi Scuola Classe Valutazione esterna SNV (Servizio Nazionale di Valutazione) Esame di stato I ciclo Indagini internazionali Flussi di informazione per la definizione degli indicatori per la valutazione di sistema e delle scuole Autovalutazione Bilancio sociale Certificazioni di qualità ………………… Ragioneria di Stato MIUR ISTAT Contesto

DALLA VALUTAZIONE AL MIGLIORAMENTO PROMUOVERE UNA RESPONSABILITA DIFFUSA A TUTTI I LIVELLI IN ORDINE ALLUTILIZZAZIONE DEI RISULTATI DELLA VALUTAZIONE PER RICERCARE IL MIGLIORAMENTO LAPPRENDIMENTO E UN DIRITTO SIA DELLA SINGOLA PERSONA SIA DELLA SOCIETA, E IL DIRITTO DELLUNA RAPPRESENTA UN DOVERE PER LALTRA