LA VALUTAZIONE DEL MIGLIORAMENTO Dino Cristanini

Presentazione sul tema: "LA VALUTAZIONE DEL MIGLIORAMENTO Dino Cristanini"— Transcript della presentazione:

1 LA VALUTAZIONE DEL MIGLIORAMENTO Dino Cristanini
STRESA – 4 SETTEMBRE 2014

2 IL PROCEDIMENTO DI VALUTAZIONE (art.6 DPR 80/2013)
AUTOVALUTAZIONE Analisi dati forniti da sistema informativo Miur e da Invalsi Rapporto di autovalutazione sulla base di quadro rif. fornito da Invalsi + elementi significativi individuati da scuola Formulazione piano miglioramento VALUTAZIONE ESTERNA Individuazione scuole da verificare Visite nuclei valutazione esterna Ridefinizione piani miglioramento AZIONI DI MIGLIORAMENTO Anche con supporto Indire, Università, Enti di ricerca, Associazioni professionali e culturali RENDICONTAZIONE SOCIALE Pubblicazione e diffusione risultati raggiunti

3 NECESSITÀ DI UN SISTEMA DI MISURAZIONE
PER ATTIVARE IL MIGLIORAMENTO CONTINUO DELLE PERFORMANCE, LE ORGANIZZAZIONI HANNO LA NECESSITÀ DI DOTARSI DI UN SISTEMA DI MISURAZIONE DELLA QUALITÀ DEI SERVIZI CHE EROGANO.

4 LA VALUTAZIONE DEL MIGLIORAMENTO PROBLEMATICHE
FOCALIZZARE IL MIGLIORAMENTO SUGLI ESITI O SUI PROCESSI? FARE RIFERIMENTO SOLO ALLE DIMENSIONI, AREE, INDICATORI DELLE LINEE GUIDA NAZIONALI O INDIVIDUARNE ANCHE ALTRI? COME COSTRUIRE UN SISTEMA DI VALUTAZIONE DEL MIGLIORAMENTO DA PARTE DELLA SCUOLA?

5 OBIETTIVI DI MIGLIORAMENTO
IL MODELLO VALeS ANALISI E VALUTAZIONE CONTESTO RISORSE PROCESSI PRATICHE EDUCATIVE E DIDATTICHE AMBIENTE ORGANIZZATIVO PER L’APPRENDIMENTO ESITI SUCCESSO SCOLASTICO COMPETENZE ACQUISITE EQUITÀ DEGLI ESITI RISULTATI A DISTANZA OBIETTIVI DI MIGLIORAMENTO SITUAZIONE ATTUALE VALORI/DATI DI RIFERIMENTO RISULTATO ATTESO

6 PROCESSI ED ESITI NEL PROGETTO VALeS
PRATICHE EDUCATIVE E DIDATTICHE Selezione dei saperi, scelte curricolari e offerta formativa Progettazione della didattica e valutazione degli studenti Sviluppo della relazione educativa e tra pari Inclusione, integrazione, differenziazione Continuità e orientamento ESITI SUCCESSO SCOLASTICO COMPETENZE DI BASE EQUITÀ DEGLI ESITI RISULTATI A DISTANZA AMBIENTE ORGANIZZATIVO PER L’APP.TO Identità strategica e capacità di direzione della scuola (leadership) Gestione strategica delle risorse Sviluppo professionale delle risorse umane Capacità di governo del territorio e rapporti con le famiglie Attività di autovalutazione

7 ESEMPI DI OBIETTIVI DI MIGLIORAMENTO TRA ESITI E PROCESSI
MIGLIORARE I RISULTATI DEGLI ALUNNI NELLE PROVE INVALSI MIGLIORARE LE COMPETENZE ARGOMENTATIVE DEGLI ALUNNI INCREMENTARE L’USO DELLE PROVE AUTENTICHE PER LA CERTIFICAZIONE DELLE COMPETENZE INNOVARE LE PRATICHE DIDATTICHE MEDIANTE L’INCREMENTO DELL’USO DELLE TECNOLOGIE DIGITALI MIGLIORARE LA COMUNICAZIONE CON GLI UTENTI MEDIANTE IL SITO WEB MIGLIORARE LA COMUNICAZIONE TRA I PLESSI …………….

8 LA FOCALIZZAZIONE DEGLI OBIETTIVI DI MIGLIORAMENTO
IL MIGLIORAMENTO DEVE AVERE COME OGGETTO LE PERFORMANCES (CAF), GLI APPRENDIMENTI DEGLI ALUNNI (modello DASI, Dynamic Approaches to School Improvement, Creemers e Kyriakides) oppure ASSUMERE COME OGGETTO DEL MIGLIORAMENTO I PROCESSI PRODUCE COMUNQUE QUALCOSA DI BUONO?

9 IL MODELLO CAF MIGLIORARE I RISULTATI MIGLIORANDO I PROCESSI

10 CONCLUSIONE TENERE SEMPRE PRESENTE LE CONNESSIONI CAUSALI TRA PROCESSI E RISULTATI
MIGLIORARE I PROCESSI PER MIGLIORARE GLI ESITI PER MIGLIORARE DETERMINATI ESITI, SU QUALI PROCESSI OCCORRE LAVORARE? SE SI PUNTA A MIGLIORARE DETERMINATI PROCESSI, QUALI MIGLIORAMENTI NEGLI ESITI SI PENSA DI OTTENERE?

11 VALUTAZIONE IN ITINERE
OBIETTIVI, INDICATORI, TARGET LA VALUTAZIONE DEI PIANI DI MIGLIORAMENTO INIZIA DALLA PROGETTAZIONE VALUTAZIONE EX ANTE QUALITÀ DEL PROGETTO VALUTAZIONE IN ITINERE MONITORAGGIO DELL’ ANDAMENTO E REGOLAZIONE VALUTAZIONE EX POST ESITI

12 PROGETTARE IN MODO DA RENDERE POSSIBILE LA VALUTAZIONE
IL PROBLEMA/CRITICITA’/ASPETTO INSODDISFACENTE RISPETTO A CUI DOBBIAMO MIGLIORARE È … IL MIGLIORAMENTO (OBIETTIVO STRATEGICO) DA REALIZZARE CONSISTE … LE CAUSE PIU’ PROBABILI DEL PROBLEMA/CRITICITÀ/ASPETTO INSODDISFACENTE SONO … PER RIMUOVERE LE CAUSE VERRANO ATTUATE LE SEGUENTI MACRO-AZIONI OBIETTIVI OPERATIVI (RISULTATI ATTESI PER OGNI MACRO-AZIONE) AZIONE: _____________________ Attività Chi fa (soggetto responsabile dell’attuazione) Entro quando (scadenza) Adeguamenti in itinere (eventuali) OBIETTIVO In quale direzione migliorare INDICATORE Attraverso quali segnali si può rilevare il miglioramento? TARGET valore atteso/desiderato/ programmato

13 LA PROGETTAZIONE DEL MIGLIORAMENTO
UN PROGETTO È UN INSIEME COERENTE DI ATTIVITÀ PER RAGGIUNGERE DETERMINATI OBIETTIVI CON RISORSE DEFINITE IN UN TEMPO STABILITO

14 CONCETTI FONDAMENTALI
OUTCOME IMPATTO, RISULTATO ULTIMO DI UN’ AZIONE CONSEGUENZA DI UN’ATTIVITÀ O PROCESSO DAL PUNTO DI VISTA DEGLI UTENTI DEL SERVIZIO E, PIÙ IN GENERALE, DEGLI STAKEHOLDER VALORE PUBBLICO PRODOTTO DALLE AMMINISTRAZIONI NELL’EROGAZIONE DI SERVIZI PER LA COLLETTIVITÀ

15 CONCETTI FONDAMENTALI
OUTPUT RISULTATO CHE SI OTTIENE IMMEDIATAMENTE AL TERMINE DI UNA ATTIVITÀ O DI UN PROCESSO

16 CONCETTI FONDAMENTALI
OBIETTIVI STRATEGICI OBIETTIVI DI PARTICOLARE RILEVANZA RISPETTO AI BISOGNI DELLA COLLETTIVITÀ E ALLE ATTESE DEGLI STAKEHOLDER TRADUCONO L’IDENTITÀ IN OBIETTIVI PROSPETTIVA PLURIENNALE GLI OBIETTIVI DI EFFICACIA ED EFFICIENZA DELL’ATTIVITÀ ISTITUZIONALE ORDINARIA HANNO CARATTERE PERMANENTE AGLI OBIETTIVI STRATEGICI SONO COLLEGATI UNO O PIÙ INDICATORI

17 CONCETTI FONDAMENTALI
OBIETTIVI OPERATIVI OGNI OBIETTIVO STRATEGICO È ARTICOLATO IN OBIETTIVI OPERATIVI PROSPETTIVA TEMPORALE PIÙ BREVE PER OGNI OBIETTIVO OPERATIVO OCCORRE DEFINIRE AZIONI, TEMPI, RISORSE, RESPONSABILITÀ AD OGNI OBIETTIVO OPERATIVO OCCORRE ASSOCIARE UNO O PIÙ INDICATORI AD OGNI INDICATORE OCCORRE ASSOCIARE UN TARGET (VALORE PROGRAMMATO O ATTESO)

18 OBIETTIVI SMART SPECIFICI MISURABILI
ACCESSIBILI (RAGGIUNGIBILI ANCHE SE SFIDANTI) RILEVANTI (COERENTI CON LA MISSION) TEMPIFICABILI

19 LA VALUTAZIONE EX ANTE DEL PROGETTO
COMPLETEZZA CONNESSIONE LOGICA TRA ESITI DELLA VALUTAZIONE E OBIETTIVI DI MIGLIORAMENTO CONNESSIONE LOGICA TRA AZIONI PREVISTE E OBIETTIVI INDIVIDUATI CHIAREZZA E FACILE COMPRENSIBILITÀ FATTIBILITÀ PRESENZA DISPOSITIVI VALUTAZIONE IN ITINERE ED EX POST

20 COERENZA GLI OBIETTIVI DEL PIANO DI MIGLIORAMENTO SONO IDONEI A RISOLVERE LE CRITICITÀ INDIVIDUATE? LE AZIONI PREVISTE DAL PIANO SONO IDONEE A RAGGIUNGERE GLI OBIETTIVI DI MIGLIORAMENTO INDIVIDUATI? SONO FATTIBILI IN RELAZIONE AL CONTESTO E ALLE RISORSE?

21 PROGETTARE IL MONITORAGGIO E LA REGOLAZIONE IN ITINERE
Attività Chi fa (soggetto responsabile dell’attuazione) Entro quando (scadenza) Adeguamenti in itinere (eventuali)

22 CRITERI CLASSICI DI VALUTAZIONE EX POST
EFFICACIA INTERNA Grado di conseguimento degli obiettivi stabiliti EFFICACIA ESTERNA Abbiamo fatto le cose giuste per gli utenti e gli stakeholder? EFFICIENZA Fermi restando gli obiettivi abbiamo contenuto i costi il più possibile? Con gli stessi costi potevamo fare di più?

23 CONCETTI FONDAMENTALI
CRITERI DI QUALITÀ ASPETTI IDONEI A DEFINIRE LA QUALITÀ DELL’OGGETTO VALORI IN BASE A CUI ATTRIBUIRE UN LIVELLO DI MAGGIORE O MINORE QUALITÀ ALL’OGGETTO DELLA VALUTAZIONE INDICATORI SEGNALI CONNESSI A EVIDENZE OSSERVABILI/RILEVABILI/MISURABILI IDONEI A SEGNALARE IL LIVELLO DI PRESENZA DEI CRITERI DI QUALITÀ (NON DIRETTAMENTE OSSERVABILI/RILEVABILI/MISURABILI) GLI INDICATORI QUANTITATIVI SONO ESPRESSI COME GRANDEZZE IN TERMINI ASSOLUTI (numero di …) O DI RAPPORTO (% di …) TARGET VALORE DESIDERATO, ESPRESSO IN TERMINI QUANTITATIVI, DEL RISULTATO CHE CI SI PREFIGGE DI OTTENERE RISPETTO A UN OBIETTIVO E AL RELATIVO INDICATORE

24 LE CARATTERISTICHE DI UN BUON INDICATORE
IDONEITÀ A FORNIRE EFFETTIVAMENTE INFORMAZIONI SUL LIVELLO DI RAGGIUNGIMENTO DELL’OBIETTIVO RILEVANZA, SIGNIFICATIVITÀ RISPETTO ALL’OBIETTIVO CHIARA INTERPRETABILITÀ, MANCANZA DI AMBIGUITÀ SICURA REPERIBILITÀ DEI DATI NECESSARI PER MISURARE LA GRANDEZZA O VERIFICARE LA PRESENZA/ASSENZA DELL’ASPETTO CONSIDERATO

25 PROBLEMI DI METRICA COME SI MISURA IL MIGLIORAMENTO?
PRESENZA/ASSENZA DI FENOMENI (SÌ/NO) (PASSAGGIO DALL’ASSENZA ALLLA PRESENZA DI ELEMENTI POSITIVI PASSAGGIO DALLA PRESENZA ALLL’ASSENZA DI ASPETTI NEGATIVI) DATI STATISTICI (es. risultati prove Invalsi) RUBRICHE VALUTATIVE (trasformazione di più informazioni in un punteggio sintetico, definito mediante il giudizio di esperti”) DAGLI INDICATORI AGLI INDICI (come “sommare” gli indicatori in modo da ottenere punteggi sintetici)

26 ES. PUNTEGGIO CAF GRIGLIA DI VALUTAZIONE DEI RISULTATI Scala 0 – 10
11 – 30 31 – 50 51 – 70 71 – 90 TREND Nessuna misurazione Trend negativo Trend stazionario o progressi poco significativi Progresso costante Progresso significativo Confronti positivi con organizzazio-ni di rilievo su tutti i risultati Punteggio TARGET Nessuna o scarsa informazione I risultati non soddisfano gli obiettivi Pochi obiettivi raggiunti Alcuni obiettivi significativi raggiunti La maggior parte degli obiettivI raggiunti Tutti gli obiettivi raggiunti Totale/200 Punteggio/100

27 ES. RUBRICA VALES Livelli Descrizione livelli Livello 1. inadeguato
accettabile Livello 3. buono Livello 4. eccellente

28 L’ACQUISIZIONE DELLE EVIDENZE
OBIETTIVO DI MIGLIORAMENTO DA VALUTARE: _______________________________________ INDICATORI TARGET QUALI INFORMAZIONI SERVONO? SONO GIÀ STATE RACCOLTE? DOVE SONO ? A CHI SI POSSONO CHIEDERE? DEVONO ESSERE ANCORA RACCOLTE? CON QUALI STRUMENTI SI POSSONO RACCOGLIERE?

29 IL PROBLEMA DELLA VALIDITÀ, DELL’AFFIDABILITÀ E DELLA COMPARABILITÀ
La presenza di momenti di valutazione esterna e, più in generale, l’individuazione di criteri e strumenti comuni e di standard omogenei per la stessa autovalutazione, non servono soltanto ad impedire che, banalmente quanto inutilmente, ogni scuola dia peso solo al momento di rendicontazione, che è parte dell’esercizio di autovalutazione, e lo deformi attribuendosi il “massimo dei voti”. I riferimenti esterni comuni e omogenei servono soprattutto ad orientare ciascuna Istituzione scolastica verso una prospettiva sistemica di analisi organizzativa interna, utile a riconoscerne le componenti essenziali e le reciproche relazioni ed a leggere il singolo caso comparativamente agli altri. Da Logiche generali progetto VALeS

30 DATI COMPARABILI ESITI PROVE INVALSI FASCICOLO SCUOLA IN CHIARO QUESTIONARIO SCUOLA QUESTIONARI INSEGNANTI, STUDENTI, GENITORI

31 ESEMPIO EVIDENZE SUGLI ESITI
SUCCESSO SCOLASTICO ESITI DEGLI SCRUTINI: % PROMOSSI, % SOSP. GIUDIZIO PER DEBITO SCOLASTICO, % BOCCIATI ESITI ESAME DI FINE CICLO VOTAZIONI OTTENUTE % ABBANDONI IN CORSO D’ANNO % ALUNNI CHE HANNO CHIESTO IL TRASFERIMENTO AD ALTRA SCUOLA PER MOTIVI LEGATI ALL’INSUCCESSO SCOLASTICO COMPETENZE ACQUISITE ESITI DELLA CERTIFICAZIONE DELLE COMPETENZE: % DI ALUNNI COLLOCATA IN CIASCUN LIVELLO: BASE, INTERMEDIO AVANZATO ESITI PROVE INVALSI ITALIANO E MATEMATICA EQUITÀ DEGLI ESITI % DI ALUNNI COLLOCATI IN CIASCUNO DEI CINQUE LIVELLI DELLA SCALA DEI RISULTATI DELLE PROVE INVALSI RISULTATI A DISTANZA DATI SU PROMOSSI E NON PROMOSSI AL TERMINE DEL PRIMO ANNO DELLA SCUOLA SUCCESSIVA DATI SU CREDITI CONSEGUITI NEL PRIMO ANNO DI UNIVERSITÀ

32 ALTRI ELEMENTI DI CONOSCENZA ACQUISITI DALLE SCUOLE
Rischio di indirizzare il miglioramento solo verso obiettivi per i quali di dispone di indicatori comparabili In relazione agli obiettivi di miglioramento prescelti una scuola può avere la necessità di ricorrere a indicatori e misure proprie L’importante è garantire la validità e l’affidabilità dei dati

33 L’ACQUISIZIONE DELLE EVIDENZE SUI PROCESSI STRUMENTI
ANALISI DOCUMENTALE QUESTIONARIO INTERVISTA OSSERVAZIONE DIRETTA

34 L’ANALISI DOCUMENTALE
VANTAGGI LIMITI CONDIZIONI NON SERVE UNA PARTICOLARE PREPARAZIONE PREVENTIVA LE INFORMAZIONI ESISTONO GIÀ I DOCUMENTI POSSONO NON ESSERE FACILMENTE REPERIBILI I DOCUMENTI POSSONO ESSERE DISOMOGENEI LE INFORMAZIONI POSSONO ESSERE INCOMPLETE O POCO SIGNIFICATIVE DIFFERENZA TRA DICHIARATO E AGITO

35 L’INTERVISTA VANTAGGI LIMITI CONDIZIONI VA PREPARATA
SI POSSONO RACCOGLIERE INFORMAZIONI SU VARI ASPETTI INTERATTIVITÀ, POSSIBILITÀ DI APPROFONDIMENTI FLESSIBILITÀ, POSSIBILITÀ DI ESPLORARE ASPETTI NON INIZIALMENTE PREVISTI VA PREPARATA L’INTERVISTATORE DEVE STARE ATTENTO A NON INFLUENZARE CHI RISPONDE PUÒ TENDERE A DARE RISPOSTE CONFORMISTICHE, A DIRE CIÒ CHE RITIENE CHE GLI ALTRI APPREZZINO PROBLEMA DELLA COMPARABILITÀ

36 L’OSSERVAZIONE DIRETTA
VANTAGGI LIMITI CONDIZIONI SI POSSONO RACCOGLIERE INFORMAZIONI SU VARI ASPETTI CONTATTO DIRETTO CON L’OGGETTO D’ INDAGINE, SENZA MEDIAZIONI VA PREPARATA LA PRESENZA DELL’OSSERVATORE PUÒ INFLUENZARE L’OSSERVATO RICHIEDE TEMPI LUNGHI NON SEMPRE SI PUÒ FARE

37 IL QUESTIONARIO VANTAGGI LIMITI CONDIZIONI
SI POSSONO RACCOGLIERE INFORMAZIONI SU VARI ASPETTI CON UN SOLO STRUMENTO E IN TEMPI RAPIDI LE DOMANDE SONO UGUALI PER TUTTI L’ ANOMINATO PUÒ INCORAGGIARE LA SINCERITA’ LA PREPARAZIONE RICHIEDE COMPETENZA E CURA LE DOMANDE SONO RELATIVE A CIÒ CHE GIÀ SI SA POSSIBILE DIFFICOLTÀ NEL RECUPERARE TUTTE RISPOSTE POSSIBILI TIMORI DI ESSERE COMUNQUE RICONOSCIUTI O RISPOSTE FRETTOLOSE

38 ORIZZONTI DI RICERCA DOPO QUANTO TEMPO, IN RELAZIONE AI VARI TIPI DI OBIETTIVI, È RAGIONEVOLE ATTENDERSI MIGLIORAMENTI APPPREZZABILI? COMPATIBILITÀ TRA FINALITÀ DI ACCOUNTABILITY E DI LEARNING