Dossier: la valutazione dei piani di zona Corso di formazione sul monitoraggio e la valutazione dei Piani di zona avviati in Provincia di Torino Dossier: la valutazione dei piani di zona 26-28 giugno 2006 Katja Avanzini (kavanzini@hsn.it) Carla Dessi (cdessi@hsn.it) Diletta Cicoletti (dcicoletti@hsn.it)

Alcune definizioni chiave di valutazione

VALUTA- ZIONE DEFINIZIONE è un’espressione di giudizio rispetto ad azioni di interesse collettivo, con l’intento di migliorare le azioni pubbliche, viene svolta attraverso attività di ricerca realizzate con metodi rigorosi e codificabili, valorizzando gli aspetti inattesi e contraddittori, deve essere comunicata a terzi in modo esplicito e trasparente, all’interno di un processo nel quale valutazione e progettazione sono percorsi integrati. VALUTA- ZIONE

CHE COSA SI VALUTA NEI SERVIZI SOCIALI

Una valutazione “frattale” Valutazione del singolo intervento Valutazione zonale della politica di uno specifi-co settore (anziani) Valutazione del piano di zona Valutazione degli interventi provinciali di coordinamento e sostegno Valutazione della politica regionale

VALUTA ZIONE EX ANTE- TIPI DI VALUTAZIONE La valutazione realizzata prima dell'approvazione e della successiva implementazione di un progetto; In questo caso la valutazione aiuta i decisori a scegliere fra scenari alter-nativi (derivati da probabili diversi impatti dell'azione da avviare), o fra progetti alternativi, o fra modalità di esecuzione alternative dello stesso progetto. Nel caso in cui non ci sia una reale possibilità di scelta, aiuta a stimare i diversi effetti, positivi e negativi, del progettoin via di implementazione, al fine di elaborare correzioni o sostegni VALUTA ZIONE EX ANTE-

VALUTA ZIONE IN ITINERE TIPI DI VALUTAZIONE E' quella valutazione che si realizza mentre il processo valutato è ancora in corso, al fine di conseguire l'adattamento e la correzione di eventuali deviazioni dal progetto originario, a causa di errori di progettazioni o di modificazioni del contesto; VALUTA ZIONE IN ITINERE

VALUTAZIO NE EX POST TIPI DI VALUTAZIONE Valutazione di un intervento dopo che è stato completato. L'obbiettivo della valutazione ex post è quello di studiare se e come il progetto abbia raggiunto gli obbiettivi prefissati nonché immaginare soluzioni adeguate per interventi simili in futuro in genere si considerano due momenti distinti della valutazione ex post: dell'output (di esito - costi benefici - ) dell'outcome (di impatto ) VALUTAZIO NE EX POST

TIPI DI VALUTAZIONE Affronta di norma l'aspetto procedurale e mira ad analizzare i seguenti aspetti: il grado di cooperazione fra i soggetti coinvolti il modo in cui vengono raggiunti i destinatari degli interventi le procedure di partecipazione adottate i fattori di successo incontrati nell'implementazione dell'intervento gli ostacoli incontrati VALUTA ZIONE DI PROCESSO

TIPI DI VALUTAZIONE Valutazione che considera gli esiti di un determinato intervento, la sua efficacia. Viene usualmente distinta in due caterie fondamentali: l'efficacia interna, intesa come la capacità di raggiungere gli obiettivi e i risultati attesi, definiti a priori l'efficacia esterna, intesa come la capacità del servizio di soddisfare i bisogni degli utenti VALUTAZIONE DI RISULTATO

TIPI DI VALUTAZIONE E' una valutazione attraverso la quale la qualità degli interventi forniti viene analizzata e sottoposta a giudizi finalizzati al suo miglioramento Fare valutazione della qualità per chi si occupa di servizio sociale significa tenere conto di valori ed obbiettivi dei soggetti coinvolti in un determinato intervento (destinatari, operatori, attori della comunità locale) e delle relazioni tra tali attori VALUTAZIO NE DELLA QUALITA'

VALUTA ZIONE PAR TECIPATA TIPI DI VALUTAZIONE La valutazione realizzata coinvolgendo un n. significativo di attori implicati nella realizzazione di un servizio, che contribuiscono alla formulazione di giudizi e se ne assumono la responsabilità rispetto alla realizzazione degli interventi successivi VALUTA ZIONE PAR TECIPATA

CONSIDERAZIONI DI SINTESI 1. La Valutazione pervade in modo crescente la normativa nazionale di settore: Ci viene pertanto sempre più frequentemente detto che: la valutazione si deve fare . 2. Si tratta di valutazione di casi, interventi e di politiche, anche se, come è logico, la normativa insiste soprattutto su interventi e politiche, lasciando al livello professionale la valutazione dei casi.

CONSIDERAZIONI DI SINTESI 3. Le finalità valutative proposte sono sia nella logica della valutazione \ appren-dimento per migliorare (learning) che in quella della valutazione \ rendicon-tazione (accountability). Tuttavia la normativa non è sempre chiara sul "perché si valuta" 4. Ci viene per tanto detto che valuta-zione si deve fare ma dalla lettura della normativa la valutazione "non si vede", non si capisce cioè come si può fare la valutazione

Attenzioni metodologiche

ATTENZIONI METODOLOGICHE Principio di autovalutazione ogni soggetto interessato dalla valutazione è responsabile e primo utilizzatore della propria valutazione

ATTENZIONI METODOLOGICHE Principio dei diversi livelli di valutazione il processo di valutazione interessa tutti i livelli istitu-zionali coinvolti nell’ erogazione di un intervento

ATTENZIONI METODOLOGICHE Principio di non autoreferenzialita' per quanto possibile la valutazione deve essere basata su riscontri oggettivi e comunque esterni al soggetto valutatore

ATTENZIONI METODOLOGICHE Principio di confrontabilità: le valutazioni devono essere condotte sulla base di criteri di giudizio e metodi omogenei e permettere confronti nel corso del tempo, anche fra più esperienze.

ATTENZIONI METODOLOGICHE Principio di trasparenza: le valutazioni devono essere condotte sulla base di criteri di trasparenza ovvero attraverso attività chiare, esplicite e documentate per i diversi livelli e soggetti coinvolti (chi ha diritto di sapere)

IL SUCCESSO DELLA VALUTAZIONE La misura del successo della valutazione può essere rappresentata dall’ampiezza dei cambiamenti intervenuti nel comportamento degli attori dell’intervento, servizio o politica

IL SUCCESSO DELLA VALUTAZIONE La probabilità di successo della valutazione è alta se questa svolge una funzione di apprendimento per gli attori coinvolti

La costruzione del disegno di valutazione dei piani di zona

L’unità di analisi: l’implementazione del sistema dei servizi del pdz Piano di zona Area … Area anziani Area minori e famiglia Area disabili Ob: potenziare la domiciliarità Ob.:Tutela del bambino SAD Ricoveri di sollievo Assegni di servizio

Il Pdz e la sua valutazione Il piano di zona rappresenta uno strumento ambizioso e, allo stesso tempo, “rivoluzionario” diviene quindi cruciale valutarlo almeno per 3 ragioni: per considerare la sua capacità di cambiamento, del sistema programmatorio delle politiche sociali, per valutare l’effettiva implementazione delle politiche che si propone di realizzare; per valutare la sua capacità di incidere nella effettiva realizzazione di servizi e interventi, Il problema che ci si pone allora è: come valutare i piani di zona, da quale livello di governo del sistema, con quali precise finalità?

I livelli della valutazione 1 La valutazione dei Piani di zona è auspicabile che si svolga agli stessi livelli in cui avviene il governo del sistema e la sua programmazione e quindi è necessario svilupparla: a livello regionale, provinciale o di azienda di ambito territoriale, allargato agli stakeholders coinvolti nella programmazione partecipata.

I livelli della valutazione 2 Avendo questi livelli, ruoli e competenze diverse in tema di programmazione è necessario anche prevedere modalità diverse di valutazione. E’ necessario sottolineare che questi livelli non procedono autonomamente ma devono prevedere dei flussi di comunicazione tra loro, e alimentarsi a vicenda.

Che cosa si può valutare dei pdz? Il processo di pianificazione e il documento di piano (valutazione ex ante) Il cambiamento prodotto: L’implementazione degli interventi previsti dal piano La politica sociale prevista dal Piano (valutazione in itinere e ex post) I processi di integrazione avviati: L’integrazione fra Enti Locali L’integrazione con l’ASL L’integrazione con il Terzo Settore (valutazione della governance)

Le finalità della valutazione nei Pdz La valutazione ex ante dei Piani di zona finalizzata a verificarne la conformità rispetto agli indirizzi regionali (linee guida) e trarne ulteriori suggerimenti per ri-orientare la programmazione in una direzione più efficace La valutazione in itinere del processo di implementazione dei piani di zona, per monitorarne gli esiti parziali e individuare criticità e punti di forza utili per suggerire strategie migliorative La valutazione ex post finalizzata a individuare i risultati ottenuti nella implementazione dei piani di zona (anche in relazione alla spesa sostenuta) per orientare le successive scelte programmatorie

Il disegno di valutazione dei piani di zona Perché l'attività di valutazione del Piano di zona sia efficace essa deve risultare utile a chi deve prendere decisioni. Deve cioè produrre informazioni e dati che servano effettivamente a formulare giudizi e - su questa base - riprogettare corsi d’azione.

Il disegno di valutazione del piano di zona Una valutazione fatta bene aiuta a: capire meglio il problema; capire meglio le scelte fatte e le loro implicazioni; capire meglio cosa funziona e cosa no nella politica; scoprire cose nuove, inaspettate.

Il disegno di valutazione dei piani di zona E' cruciale che essa avvenga sulla base di un disegno di valutazione, parte integrante del Piano stesso, che indichi quali sono le domande alla quale la valutazione deve rispondere, quali sono gli strumenti utilizzati per rispondervi, chi e quando svolgerà le attività necessarie.

Ma che cosa intendiamo valutare dei Piani di zona? Il cambiamento prodotto sul territorio con la nuova programmazione e pianificazione delle politiche sociali, le due dimensioni principali del cambiamento sono: Lo sviluppo del sistema dei servizi Lo sviluppo del territorio

Lo sviluppo del sistema Il processo avviato con la riforma dei servizi sociali ha sviluppato un cambiamento nella progettazione e pianificazione del sistema di servizi e interventi. La portata del cambiamento la possiamo leggere ad esempio attraverso: un’analisi del sistema di interventi e servizi l’apporto innovativo sul sistema dei servizi

Punti di attenzione 1 La valutazione è opportuno che avvenga ai diversi livelli della programmazione in un quadro, però nel quale tali livelli si alimentino a vicenda, divenendo l’uno risorsa per l’altro. La valutazione dei Piani deve concentrarsi non solo sui documenti ma soprattutto sulle azioni concrete, sugli interventi sociali che a seguito dei piani vengono realizzati. La valutazioni dei piani è opportuno che sia orientata anche all’analisi costi benefici,

Punti di attenzione 2 I disegni di valutazione dei Pdz, saranno più efficaci se utilizzeranno metodologie miste, che si basino su più strumenti e più fonti informative, e che assumano una logica di piano La valutazione deve essere condotta in modo partecipato e deve essere interpretata come processo di apprendimento collettivo dei soggetti che insieme concorrono alla realizzazione delle politiche sociali pubbliche, che, anche grazie alla valutazione, imparano a “governare” insieme un sistema locale di servizi alla persona.

I passaggi principali per la costruzione del disegno di valutazione 1. Individuazione della finalità della valutazione 2. Identificazione dello scopo (la mission) dell’oggetto di valutazione 3. Identificazione delle dimensioni di valutazione 4. Identificazione dei criteri 5. Identificazione degli indicatori 6. Identificazione degli strumenti e delle fonti informative 7. Rilevazione sul campo. 8. Valutazione vera e propria (espressione di un giudizio) e identificazione degli obiettivi di miglioramento. 9. Individuazione delle strategie di miglioramento 10. Restituzione dei risultati della valutazione agli stakeholders Portare l’esempio dell’esperienza di valutazione della governance del distretto di Rho e di valutazione dell’implementazione del sistema dei servizi di Brescia e Collebeato

Ricordando le caratteristiche degli indicatori… Gli indicatori, per essere adeguatamente utilizzabili nel processo valutativo, debbono possedere le seguenti caratteristiche ( Zajczyk 1997): Validità Attendibilità Sensibilità Adeguatezza Comparabilità Tempestività

Le caratteristiche degli indicatori 1) Validità, ovvero la capacità di rappresentare effettivamente il concetto/ criterio indicato in modo accettabile Non esiste alcun criterio “oggettivo” per misurarla a priori, al fine di soddisfare questo requisito ci si avvale della conoscenza del contesto in cui si opera. E’ infatti, ad esempio, proprio la conoscenza del contesto che ha permesso di identificare in termini di PARTECIPAZIONE l’indicatore: N° di soggetti individuati (istituzionali e non)/ N° di soggetti presenti sul territorio

Le caratteristiche degli indicatori 2) Attendibilità, ovvero è in grado di cogliere effettivamente quegli aspetti che ci si era proposti di rilevare In che termini ad esempio “Gli interventi dei partecipanti durante gli incontri” consentono di ricostruire la dimensione PARTECIPAZIONE?

Le caratteristiche degli indicatori 3) Sensibilità, ovvero la capacità di discriminare tra le diverse forme che può assumere un fenomeno E’ la sensibilità ad intervenire nell’individuazione di un indicatore piuttosto che un altro, si pensi ad esempio alla scelta di monitorare “I tempi di attesa nell’accesso ai servizi” in termini di miglioramento della qualità della vita delle famiglie

Le caratteristiche degli indicatori 4) Adeguatezza, ovvero rispondere ai bisogni conoscitivi del valutatore In termini ad esempio di Congruenza tra bisogni ed allocazione delle risorse si è ritenuto adeguato rilevare ex post la “Percezione dei tavoli relativamente ai bisogni affrontati e alle azioni realizzate”

Le caratteristiche degli indicatori 5) Comparabilità, ovvero la possibilità di confrontare lo stesso fenomeno in aree territoriali diverse o lo stesso fenomeno nella stessa area ma in tempi diversi 6) Tempestività, ovvero possono essere utilizzati in tempi adeguati per modificare un programma o un intervento grazie al giudizio che hanno permesso di formulare

Il monitoraggio e la valutazione Ovvero la valutazione in itinere

IL MONITORAGGIO : DEFINIZIONI Nella letteratura specializzata al monitoraggio viene data rilevanza relativa, non esistono testi specifici sul monitoraggio, le definizioni ed applicazioni del monitoraggio si ritrovano all’interno dei manuali sulla valutazione degli interventi e delle politiche.

IL MONITORAGGIO : DEFINIZIONI “Il monitoraggio è un processo di raccolta di dati e informazioni sulle modalità di attuazione di un intervento o di una politica. E’ utilizzato spesso a fini di accountability; in altre parole, i dati e le informazioni vengono raccolti dalle strutture di attuazione per mostrare a soggetti esterni di controllo (le agenzia che hanno erogato i finanziamenti oppure le agenzie responsabili per il rispetto degli standard) che l’intervento viene realizzato secondo quanto previsto dal programma originario”. C. Weiss 1972

“Il monitoraggio serve per verificare se la politica: IL MONITORAGGIO : DEFINIZIONI “Il monitoraggio serve per verificare se la politica: sta raggiungendo il target di destinatari previsto, è attuata in modo fedele al disegno originario, sta utilizzando le risorse (finanziarie, umane, tecnologiche, ecc.) in modo economico ed efficiente”. P.H. Rossi - H.E. Freeman 1989

IL MONITORAGGIO : DEFINIZIONI funzione che consiste nell’accertamento e nella descrizione puntuale e metodica dell’avanzamento di un progetto e nella segnalazione tempestiva delle discrepanze rispetto a quanto stabilito” Il Calamaio e l’arcobaleno 2000

IL MONITORAGGIO : DEFINIZIONI “Una funzione del management che, attraverso una raccolta metodica di dati, verifica se le risposte materiali e finanziarie impiegate in un’iniziativa sono sufficienti, il personale impiegato è adeguatamente preparato e qualificato, le attività in atto sono previste nei termini di riferimento e sono stati raggiunti gli obbiettivi prefissati nei piani di lavoro” Pennisi 1991

IL MONITORAGGIO : DEFINIZIONI Le parole chiave che maggiormente ricorrono in queste definizioni sono: Accountability (rendicontazione) Verifica (rispetto di obbiettivi dati) Avanzamento (rispetto dei tempi)

MONITORAGGIO E VALUTAZIONE Fornisce l’informazione viene fatto con rilevazioni regolari misura il raggiungimento di standard Stame 1998 VALUTAZIONE Formula il giudizio Può essere fatta in momenti diversi, o in un solo colpo misura delle dimensioni: efficienza, efficacia, qualità

MONITORAGGIO E VALUTAZIONE Il monitoraggio è pertanto una funzione all’interno della più complessa esperienza della valutazione. Il monitoraggio, in sé, non è una disciplina, ma una funzione \ strumento utile per rendere conto, e verificare lo sviluppo di una politica nel corso del tempo, utile, in altri termini, per realizzare le valutazioni in itinere.

MONITORAGGIO E VALUTAZIONE Il monitoraggio può allora essere una funzione “molto utile per la valutazione in itinere …... Per es. le eventuali deviazioni dal disegno iniziale possono derivare non tanto da errori degli attuatori, ma da una progettazione operativa deficitaria. Oppure ancora, il disegno originario può essere eseguito correttamente, senza tuttavia produrre i risultati in itinere attesi”…..; .

MONITORAGGIO E VALUTAZIONE “ Quando attraverso il monitoraggio emergono aspetti di questo genere, e la valutazione in itinere è in grado di fornire le spiegazioni appropriate, vengono messi a disposizione dei decisori importanti elementi per una modificazione della politica in corso; oppure evidenziata l’esigenza di una nuova politica..” Vecchi 2000

IL MONITORAGGIO: A CHE COSA SERVE? Lo stato di avanzamento dei programmi, delle politiche, degli interventi; Le piste di approfondimento per mettere in luce criticità e i fattori di successo nello sviluppo di un singolo intervento, di un distretto, di un’area tematica; Le informazioni basilari per procedere a una valutazione in itinere degli interventi e delle politiche (è un sensore). Serve per evidenziare:

IL MONITORAGGIO: A CHE COSA NON SERVE? dare informazioni sulla qualità degli interventi e delle politiche dare informazioni sugli esiti, sui risultati ottenuti per l’utente finale, cioè sulla efficacia degli interventi e delle politiche Non Serve per:

Il monitoraggio la valutazione Il monitoraggio è un processo di raccolta di dati e informazioni sulle modalità di attuazione di un intervento o di una politica Il monitoraggio serve per: Lo stato di avanzamento dei programmi, delle politiche, degli interventi; Le piste di approfondimento per mettere in luce criticità e i fattori di successo nello sviluppo di un singolo intervento, di un distretto, di un’area tematica; Le informazioni basilari per procedere a una valutazione in itinere degli interventi e delle politiche (è un sensore) Il monitoraggio: Fornisce l’informazione Viene fatto con rilevazioni regolari Misura il raggiungimento di standard La valutazione intende rispondere alla domanda: ciò che si fa è fatto bene? Risponde, e in quale misura, alle strategie di Piano? Come si può migliorare? La valutazione serve per dare informazioni sulla qualità degli interventi e delle politiche dare informazioni sugli esiti, sui risultati ottenuti per l’utente finale, cioè sulla efficacia degli interventi e delle politiche Una valutazione fatta bene aiuta a: capire meglio il problema; capire meglio le scelte fatte e le loro implicazioni; capire meglio cosa funziona e cosa no nella politica; scoprire cose nuove, inaspettate.

Il monitoraggio la valutazione ELEMENTI DI MONITORAGGIO: qualche esempio Lo stato di implementazione degli interventi Il livello di raggiungimento dei destinatari Le risorse umane impiegate Le risorse finanziarie impiegate ELEMENTI DI VALUTAZIONE: qualche esempio Livello di integrazione/ collaborazione raggiunto tra gli attori del territorio Principali ostacoli/ criticità ed elementi di facilitazione incontrati Risultati raggiunti “Lezioni apprese”