IL SISTEMA DI VALUTAZIONE NAZIONALE SINTESI DI UNA PROSPETTIVA IMOLA 20.01.2015 a cura di MARIA RITA SALVI

Piano di lavoro S.N.V. Le esperienze internazionali Il cammino sperimentale Il cammino normativo L’AUTOVALUTAZIONE NEL S.N.V. Come funziona il S.N.V. La valutazione interna: il RAV Le azioni della scuola Il Nucleo Interno di Valutazione

Le esperienze internazionali: fonti Rete Eurydice Key Data on Education 2012 Panorama dei sistemi di valutazione interna ed esterna delle scuole E’ impossibile pensare che un sistema complesso come quello scolastico possa funzionare senza un meccanismo regolatore di accountability

Le esperienze internazionali: valutazione interna/esterna La maggior parte dei paesi adotta un processo di valutazione della scuola, che può essere interno e/o esterno, e che, in molti casi, include anche la valutazione dei singoli insegnanti. In un discreto numero di paesi, le scuole vengono valutate dall'esterno, generalmente da un ispettorato, e internamente da personale della scuola e, talvolta, da altri membri della comunità scolastica.

Le esperienze internazionali: obbligatorietà della valutazione interna La valutazione interna è obbligatoria o fortemente raccomandata ovunque tranne che in Belgio (Comunità francese) e in Irlanda (fino al 2012). In Estonia, la valutazione interna è stata resa obbligatoria nel 2006. Italia e Croazia effettuano solo la valutazione interna delle scuole.

Le esperienze internazionali: criteri standardizzati Quasi la metà dei paesi europei utilizza criteri standardizzati stabiliti a livello centrale per la valutazione esterna delle scuole . Questo processo di standardizzazione, che nella maggior parte dei casi è cominciato negli anni 90 (Eurydice, 2004), in alcuni paesi è ancora in atto.

Le esperienze internazionali: in assenza di standard Non tutti i paesi hanno elaborato criteri standardizzati per la valutazione delle scuole. Di conseguenza, per determinare i criteri di valutazione, i valutatori dipendenti dal livello centrale attingono ai testi normativi e agli obiettivi educativi nazionali o a elenchi di settori stabiliti a livello centrale (è quello che fa l’INVALSI per la rilevazione degli apprendimenti)

Le esperienze internazionali: pubblicazione dei risultati Quasi tutti i paesi mettono in atto forme di valutazione esterna delle scuole e la regolare pubblicazione dei risultati sotto forma di rapporti di valutazione. Nonostante questa pratica sia stata introdotta in Inghilterra negli anni 80, nel resto d’Europa è decollata alla fine degli anni 90 e ha preso sempre più campo nei primi anni del nuovo millennio, diffondendosi in Belgio (Comunità fiamminga), Danimarca, Irlanda, Ungheria e Romania, e più di recente in Lettonia, Lituania e Polonia

Le esperienze internazionali: pubblicazione dei risultati In 16 paesi o regioni i risultati vengono pubblicati normalmente sul sito dell’organo responsabile della valutazione esterna o su quello del Ministero dell’istruzione. In Danimarca (dal 2006), Ungheria, Svezia e Islanda i risultati della valutazione condotta a livello locale vengono anche pubblicati su Internet. In Polonia i valutatori che dipendono dal livello regionale hanno l’obbligo di pubblicare i dati dal 2009

Le esperienze internazionali: pubblicazione dei risultati Pubblicare i risultati aggregati per scuola ottenuti dagli studenti nelle prove nazionali è considerato un modo per responsabilizzare la scuola e per aumentare la competizione tra scuole. In questo ambito i paesi europei hanno adottato politiche varie e, talvolta, anche contrapposte, che vanno dalla regolare pubblicazione al divieto ufficiale di stilare classifiche delle scuole sulla base dei risultati delle prove nazionali.

Le esperienze internazionali: pubblicazione dei risultati In Ungheria, Romania e Regno Unito le scuole devono includere, nei documenti distribuiti a tutti i genitori, anche i risultati aggregati relativi alle prove nazionali, oppure pubblicarli sul sito. Le autorità educative centrali possono pubblicare i risultati delle singole scuole in diversi modi: sotto forma di dati non elaborati, come fa la Svezia, o con indicatori ponderati basati sulle caratteristiche della popolazione scolastica, o sul valore aggiunto delle scuole, come in Islanda, o persino unendo i due tipi di informazione, come avviene in Inghilterra

Le esperienze internazionali: pubblicazione dei risultati In Italia, Lussemburgo, Polonia e Liechtenstein le scuole in genere decidono autonomamente se pubblicare o no i risultati ottenuti nelle prove nazionali. In 17 sistemi educativi i risultati non vengono pubblicati. In Belgio (Comunità̀ francese), Spagna e Slovenia, addirittura, esistono dei documenti ufficiali che vietano la classificazione delle scuole sulla base dei risultati.

Le esperienze internazionali: valutazione esterna LA VALUTAZIONE ESTERNA DELLE SCUOLE SI CONCENTRA SPESSO SU DATI RELATIVI AL RENDIMENTO DEGLI STUDENTI sono i risultati ottenuti dagli studenti negli esami stabiliti a livello centrale e nelle valutazioni nazionali standardizzate Altri indicatori utilizzati sono: i giudizi degli insegnanti sui propri studenti, i dati sulla progressione della carriera scolastica,i risultati ottenuti dagli studenti nelle indagini internazionali, come pure, anche se meno frequentemente, i dati sull’inserimento nel mercato del lavoro e la soddisfazione dello studente o dei genitori.

Le esperienze internazionali: scuole in situazione di criticità In Ungheria, Portogallo e Inghilterra esistono delle soglie minime per i risultati raggiunti dagli studenti; provvedimenti di vario genere nelle scuole sono previsti per risultati sotto tali soglie. In Ungheria le scuole che, per diversi anni, presentano risultati al di sotto dei livelli minimi nelle valutazioni nazionali, devono preparare un proprio piano d'azione per lo sviluppo.

Le esperienze internazionali: scuole in situazione di criticità In Portogallo le scuole con risultati deludenti nei test standardizzati, o nei tassi di transizione degli alunni, sono tenute a definire un calendario per l'attuazione di una serie di misure correttive, tra cui il sostegno supplementare per gli alunni con rendimento insoddisfacente.

Le esperienze internazionali: scuole in situazione di criticità In Inghilterra esistono degli standard minimi sia per la percentuale di alunni che raggiungono un determinato livello. sia per gli indicatori di progressione nei test e negli esami standardizzati. Le scuole al disotto di questi standard possono essere selezionate per un ulteriore sostegno e un monitoraggio aggiuntivo e, se non riescono a migliorare, possono essere soggette a interventi formali.

LA VALUTAZIONE DI SISTEMA IN ITALIA: le PP.AA. D.Lgs 286/99: riforma dei controlli Direttiva F.P. dicembre 2006 (Amministrazione di Qualità) Direttiva F.P. febbraio 2006 (Bilancio Sociale) Legge 15/2009 D. Lgs 150/09

LA VALUTAZIONE DI SISTEMA IN ITALIA: IL SISTEMA DI ISTRUZIONE T.U. del 1994 art. 603: misurare i livelli qualitativi e quantitativi del Servizio scolastico, in ossequio al principio della qualità dei servizi pubblici (superamento della dispersione, di evasione, di ripetenza, quindi da subito definiti come qualità degli apprendimenti conseguiti dagli studenti. CEDE Biblioteca di Documentazione Pedagogica di Firenze (BDP) IRSAE, Istituti regionali di ricerca e sperimentazione educativa, ora tutti organi soppressi. Il Centro di Frascati, CEDE, è stato poi trasformato nell’INVALSI, (D.Lgs 258/99), al quale p

LA VALUTAZIONE DI SISTEMA IN ITALIA; IL SISTEMA DI ISTRUZIONE Art. 21, L. n59ù797 DPR 275/99 Moratti L. n.53/03 - sistema di valutazione. Distingue in modo chiaro le attività di rilevazione da quelle di valutazione D.L.vo n° 286/2004- INVALSI e sistema INTEROPERATIVO (singole scuole, Regioni, Province e ai Comuni affida all’INVALSI il compito di effettuare “verifiche periodiche e sistematiche sulle conoscenze e abilità degli studenti e sulla qualità complessivo dell’offerta formativa delle scuole”.

LA VALUTAZIONE DI SISTEMA IN ITALIA: IL SISTEMA DI ISTRUZIONE legge n. 176/07 introduce negli Esami di Stato conclusivi della scuola secondaria di primo grado, una prova nazionale scelta dal MIUR tra i testi proposti annualmente dall’INVALSI. La stessa legge, al co.5 dell’art. 1, prevede che il MIUR fissi, con Direttiva annuale, gli obiettivi della valutazione esterna condotta dall’INVALSI, di norma, nelle classi 2 e 5 della S.P., nella 1 e 3 della S.S: 1° g, nelle classi 2 e 5 della S.S. 2° g., nonché altre rilevazioni necessarie per calcolare il valore aggiunto delle scuole” (il famoso Questionario studente, le tabelle comparative con scuole analoghe dello stesso territorio)

INVALSI, Direttiva 74/2008 VALUTAZIONE DI SISTEMA (rapporto annuale) VALUTAZIONE DELLE SCUOLE: definire, anche sulla base delle esperienze internazionali, un modello di valutazione delle scuole VALUTAZIONE (rilevazione) DEGLI APPRENDIMENTI DEGLI STUDENTI: rilevare gli apprendimenti degli studenti nei momenti di ingresso e di uscita dei diversi livelli di scuole,. VALUTAZIONE DEL PERSONALE DELLA SCUOLA: formulare proposte al ministro dell’istruzione, dell’Università e della Ricerca sulla base degli esiti delle attività svolte in merito alla definizione del sistema di valutazione dei Dirigenti scolastici….. internazionale……”

Priorità strategiche 2012/13- 2013/14- 2014/15 – Direttiva n.85 del 12.10.2012: rilevazioni nazionali degli apprendimenti anche alle classi quinte della scuola secondaria di secondo grado

Esperienze che hanno preceduto la nascita del S.N.V. P.Q.M. Progetto di valutazione delle scuole VALORIZZA. (scuole e docenti) VALSIS (modello C.I.P.P., “Contest, Input, Process, Product) VALES: leggere i risultati (che sono poi l’oggetto principale della valutazione) strettamente connessi alle risorse di cui una organizzazione dispone, ai processi che riesce a mettere in campo ed al contesto nel quale opera.

Progetto Qualità e merito (P.Q.M.) Riguarda le scuole secondarie di primo grado e S.S. di 2° g. Orientato al miglioramento misurabile dei risultati dell’apprendimento, (matematica, poi anche italiano). Il Progetto riguarda le metodologie didattiche e valutative. Gli studenti sono sottoposti ai test predisposti dall’INValSI, per rilevare la situazione di partenza, successivamente un team di docente, coordinato da un tutor interno e da un tutor di rete (piccoli network di 5 scuole), predispone materiali di lavoro e learning object per lo sviluppo della didattica in classe. Tutta l’attività è costantemente monitorata dall’ANSAS che mette a disposizione anche le piattaforme di collegamento. Alla fine dell’a.s. vengono rimisurati i risultati ed il valore aggiunto della didattica sperimentale realizzata. .  

VALORIZZA SCUOLE Progetto di valutazione delle scuole. Il progetto nasce nell’ambito della sperimentazione di modelli di applicazione del D.Lgs 150/09, anche allo scopo di evidenziare i maggiori fattori di criticità della pratica operativa. La sperimentazione coinvolge le province di Pisa, Siracusa, Cagliari, si rivolge alle scuole secondarie di primo grado, ed utilizza il testing predisposto per il progetto P.Q.M. Ha cadenza triennale, misura la qualità della scuola in relazione alla progressione dei risultati degli apprendimenti degli studenti e destina alle scuole circa settantamila euro, da destinarsi ai docenti coinvolti e alla scuola.

VALORIZZA DOCENTI Il CTS ed il MIUR hanno elaborato il metodo “Valorizza” anche tenendo conto di precedenti indagini scientifiche sulle opinioni degli insegnanti INDAGINE ANP-NOMISMA 2009 (campione di 5000 insegnanti) “L’opinione dei docenti sull’introduzione di un sistema di riconoscimento del merito” • D’accordo 66% • In disaccordo 17% • Né in accordo né in disaccordo il 15% • Non risponde 2%

VALORIZZA DOCENTI Progetto di valutazione dei docenti. Sperimentato nelle province di Milano, Torino, Napoli (33 scuole in tutto) Prevede un team di valutazione interno alla scuola, formato da due docenti esperti e dal Dirigente Scolastico (può essere presente anche il Presidente del C.d.I. ma senza diritto di voto). I docenti si autocandidano per la valutazione, predisponendo un C.V. sulla scorta del profilo individuato dall’art. 27 del CCNL. Ricevono una mensilità di stipendio aggiuntiva, non si dà luogo a classifiche o graduatorie.

VALORIZZA DOCENTI Caratteristiche del metodo: Le scuole aderiscono volontariamente (con delibera del Collegio dei docenti) I docenti si autocandidano per la valutazione Il processo di valutazione avviene per intero dentro la scuola e riguarda solo i soggetti direttamente coinvolti nel processo di erogazione del sevizio. Si tratta di un tipo di valutazione: reputazionale olistica contestuale

VALORIZZA DOCENTI Risultati: Facilità del processo di attribuzione del merito Largo riconoscimento, adozione delle decisioni quasi del tutto all’unanimità nei Nuclei (ogni comunità scolastica riconosce, con largo accordo, i soggetti meritevoli) Soddisfazione dei valutati e dei valutatori, la maggior parte del DS intervistati aderirebbe senza problemi alla prosecuzione della sperimentazione

VALORIZZA DOCENTI Supervisione scientifica affidata all’Associazione TRELLLE, della Fondazione Scuola Compagnia di San Paolo Ha sottolineato alcuni aspetti positivi del metodo: riconoscimento della Autonomia delle scuole valorizzazione della comunità scolastica e delle sue componenti corretta rilevanza data al contesto

VALORIZZA DOCENTI Valutazione dell’OCSE espandere gradualmente la sperimentazione Ampliare il riconoscimento ai meritevoli, bonus per tre anni a patto che non lasci la scuola Evitare riconoscimenti economici che durano per tutta la carriera riconoscere il titolo di “docenti esperti”, con rilievo per la costituzione dello staff di lavoro interno individuare il profilo professionale del docente esperto

IL SISTEMA NAZIONALE DI VALUTAZIONE

La struttura del sistema MISURAZIONE rilevare una grandezza in un oggetto/fenomeno (stabilire una unità di misura) VALUTAZIONE attribuire un valore ad un oggetto/fenomeno (confrontare aspettativa e risultato) • la misurazione è di per sé a-valutativa • un termometro misura “x” gradi su una scala data • la valutazione presuppone una desiderabilità • “x” gradi sono “caldo” o “freddo” secondo i casi

Scuola: cosa si può misurare / valutare NEI SISTEMI SCOLASTICI: si possono misurare gli apprendimenti • se esistono standard di riferimento si possono valutare gli apprendimenti • se è definito un livello di desiderabilità NON SI POSSONO “MISURARE” LE SCUOLE • perchè la loro funzione non si limita agli apprendimenti • non si possono “misurare” i docenti • non è un sistema che produce valori e non solo numeri • quindi: non tutto nella scuola si può misurare • ma per valutare gli apprendimenti la misurazione è necessaria

cosa si può valutare SECONDO LA RICERCA INTERNAZIONALE: il sistema nel suo insieme le scuole il personale gli apprendimenti

Valutare le scuole: famiglie di modelli MODELLI DI VALUTAZIONE ESTERNA • di natura ispettiva • oppure basati su test di risultato • eventualmente integrati da “customer satisfaction” MODELLI DI AUTOVALUTAZIONE/VALUTAZIONE INTERNA • basati sull’analisi dei processi • oppure sulla verifica dei risultati • eventualmente integrati da una “validazione” esterna

modelli fondati sull’autovalutazione TRE TIPOLOGIE PRINCIPALI: modelli “input driven” o procedurali • ISO 9001 e simili • CAF, CQAF, EFQM, ... modelli “output driven” • CIPP • schede di qualità (sistema olandese) modelli misti • “peer review” • validazione da parte di un nucleo esterno territoriale

i modelli di valutazione procedurale: sistemi centralizzati analizzano attentamente i processi li scompongono in passi elementari ne definiscono i “requisiti formali di qualità” mettono a punto il “manuale della qualità” (o simili), che raccoglie tutti gli standard definiti a priori • in fase di attuazione, documentano ogni passo, secondo protocolli definiti in anticipo • in fase di controllo, verificano la conformità fra processo atteso e processo attuato, sulla sola base della documentazione dei processi • un esempio: la rendicontazione dei progetti europei • la qualità è misurata dalla corrispondenza fra le due fasi ma non si entra nel merito dei risultati che, per definizione, devono corrispondere alle attese, se il processo di attuazione è stato scrupoloso e ben documentato

i modelli “output driven” (fondati sui risultati) : autonomie definiscono attentamente gli obiettivi attesi individuano gli indicatori di risultato individuano a priori gli standard di prestazione attesi lasciano che le strutture locali scelgano da sole il modo che ritengono migliore per implementare il servizio verificano con rigore e dal centro i risultati per vedere se corrispondono agli standard fissati responsabilizzano gli operatori per gli esiti sono tendenzialmente di tipo “a posta elevata”, cioè comportano premi o sanzioni per gli attori del servizio • utilizzano, il controllo sociale, la pubblicità̀ dei risultati o la rendicontazione sociale

i modelli misti cercano di correggere i difetti degli altri due • partono, di solito, dall’autovalutazione, più o meno “pilotata” e/o “assistita” • vi affiancano una validazione esterna, condotta da un nucleo professionale • di solito centrata sul processo di autovalutazione • più̀ di rado(o almeno non direttamente)sui risultati • oppure affidata ad un gruppo di “pari” • secondo la modalità del “criticalfriend”

il modello concettuale del DPR 80/2013 è un modello di tipo CIPP … (cioè fondato sugli esiti) • Context • Input • Process • Product ma modificato, in quanto: quasi tutti gli elementi sono definiti dall’esterno • tramite i dati INVALSI e le elaborazioni intermedie il piano di miglioramento è regolamentato • anche questo attraverso indicatori forniti da INVALSI serve a valutare anche persone e non solo scuole • ma soltanto i dirigenti delle scuole e non i docenti deve sopperire alla mancanza di standard a priori e quindi rendere confrontabili i risultati di ottomila scuole, in modo da poter definire dei punti di riferimento statistici

FONTI NORMATIVE legge 26.2.2011, n. 10 • art. 2 comma 4-undevicies DPR 28.3.2013, n. 80 regolamento di attuazione per le scuole, in particolare, l’art. 6 DIRETTIVA 18.9.2014, n. 11 detta gli obiettivi e la tempistica dà il via ufficiale al sistema C.M. 20.10.2014, n. 47 • accompagna e rende più analitica la Direttiva • ma, di fatto, è il prolungamento di VALES • di cui eredita buona parte dell’impianto e parte dei materiali

le diverse fasi del ciclo TUTTE LE SCUOLE sono previste quattro fasi su tre anni: auto-analisi ed ipotesi di piano di miglioramento validazione esterna della prima fase attuazione del piano di miglioramento rendicontazione sociale non ci sono sanzioni o benefici per le scuole peraltro, sul raggiungimento degli obiettivi di miglioramento, saranno valutati i dirigenti scolastici

la prima fase: da gennaio si articola in due passaggi (art. 6, comma 1, lettera a): analisi e verifica del proprio servizio sulla base dei dati resi disponibili dal sistema informativo del Ministero, delle rilevazioni sugli apprendimenti e delle elaborazioni sul valore aggiunto restituite dall'Invalsi, oltre a ulteriori elementi significativi integrati dalla stessa scuola; elaborazione di un rapporto di autovalutazione in formato elettronico, secondo un quadro di riferimento predisposto dall'Invalsi, e formulazione di un piano di miglioramento;

prima fase, primo passaggio: l’autoanalisi di istituto UTILIZZA TRE TIPOLOGIE DI INFORMAZIONI: • “dati resi disponibili dal Ministero” (SCUOLA IN CHIARO) “rilevazioni sugli apprendimenti ed elaborazioni sul valore aggiunto, restituite dall’INVALSI” (settembre, giugno?) • “ulteriori elementi significativi integrati dalla stessa scuola” • in VaLeS, sono questionari di contesto e di input • la cui traccia è fornita sempre dall’INVALSI

Prima fase, secondo passaggio: il rapporto di auto-valutazione Il R.A.V. è suddiviso in tre sezioni: • ESITI successo scolastico Competenze di base equità degl iesiti risultati a distanza CONTESTO • contesto(socio-economico-culturale) • risorse • PROCESSI • praticheeducativeedidattiche • ambienteorganizzativoperl’apprendimento

Come si compila consiste in una serie di domande strutturate che – a gruppi – si aggregano in alcuni macro-indicatori l’elaborazione sarà svolta dall’INVALSI, che li restituirà̀ alle scuole

prima fase, secondo passaggio: il Piano di Miglioramento si articola in diversi punti: situazione attuale, descritta tramite indicatori (quantitativi) valori / dati di riferimento (quelli rispetto ai quali ci si confronta ed a cui si tende) • risultato atteso al termine del periodo triennale (può essere inferiore rispetto al valore di riferimento (di regola, lo è) per tutti i risultati attesi indicati nel piano • vanno individuati un numero limitato di obiettivi • uno o due nell’area degli esiti • uno o due in quella dei processi • il piano deve essere aggiornato in itinere (la prima volta, a luglio 2016)

seconda fase: la valutazione esterna art. 6, comma 1 lettera b): 1) individuazione da parte dell‘INVALSI delle situazioni da sottoporre a verifica, sulla base di indicatori di efficienza ed efficacia previamente definiti dall'Invalsi medesimo; 2) visite dei nuclei di cui al comma 2, secondo il programma e i protocolli di valutazione adottati dalla conferenza ai sensi dell'articolo 2, comma 5; 3) ridefinizione da parte delle istituzioni scolastiche dei piani di miglioramento in base agli esiti dell'analisi effettuata dai nuclei

l’anello debole del sistema NUCLEO composto da: un D.T. + due esperti esterni (nuova selezione) saranno “visitate” il 10% delle scuole ogni anno il 7% sulla base di parametri di efficienza ed efficacia / criticità il 3% per “campionamento casuale” per le altre, ci si fermerà̀ al rapporto di auto-valutazione • con il rischio di autoreferenzialità

la Direttiva n. 11/2014 LE PRIORITÀ STRATEGICHE INDICATE dovranno orientare le scelte delle scuole nell’individuazione degli obiettivi di miglioramento: riduzione della dispersione scolastica e dell’insuccesso riduzione delle differenze fra scuole ed aree geografiche rafforzamento delle competenze di base rispetto alla situazione di partenza valorizzazione degli esiti a distanza degli studenti rispetto ad università ̀ e mondo del lavoro Ovvero ESITI DI APPRENDIMENTO E SUCCESSO FORMATIVÒ

RAV QUADRO DI RIFERIMENTO Il Quadro di riferimento presentato per la nuova versione del RAV rappresenta un'ulteriore evoluzione, in quanto acquisisce i risultati emersi con le sperimentazioni VALES e Valutazione e Miglioramento negli anni 2012-2014. Il modello è articolato (come in VALES) nelle tre dimensioni: Contesto Esiti Processi (Pratiche educative e didattiche e quello delle Pratiche gestionali e organizzative).

IL RAV visto da vicino Materiali INVALSI (Presentazione del S.N.V.) QUADRO DI RIFERIMENTO E STRUTTURA I DATI DA INSERIRE NEL RAV

NUCLEO INTERNO DI VALUTAZIONE