Dossier: la valutazione dei piani di zona

Presentazione sul tema: "Dossier: la valutazione dei piani di zona"— Transcript della presentazione:

1 Dossier: la valutazione dei piani di zona
Corso di formazione sul monitoraggio e la valutazione dei Piani di zona avviati in Provincia di Torino Dossier: la valutazione dei piani di zona 26-28 giugno 2006 Katja Avanzini Carla Dessi Diletta Cicoletti

2 Alcune definizioni chiave di valutazione

3 VALUTA- ZIONE DEFINIZIONE
è un’espressione di giudizio rispetto ad azioni di interesse collettivo, con l’intento di migliorare le azioni pubbliche, viene svolta attraverso attività di ricerca realizzate con metodi rigorosi e codificabili, valorizzando gli aspetti inattesi e contraddittori, deve essere comunicata a terzi in modo esplicito e trasparente, all’interno di un processo nel quale valutazione e progettazione sono percorsi integrati. VALUTA- ZIONE

4 CHE COSA SI VALUTA NEI SERVIZI SOCIALI

5 Una valutazione “frattale”
Valutazione del singolo intervento Valutazione zonale della politica di uno specifi-co settore (anziani) Valutazione del piano di zona Valutazione degli interventi provinciali di coordinamento e sostegno Valutazione della politica regionale

6 VALUTA ZIONE EX ANTE- TIPI DI VALUTAZIONE
La valutazione realizzata prima dell'approvazione e della successiva implementazione di un progetto; In questo caso la valutazione aiuta i decisori a scegliere fra scenari alter-nativi (derivati da probabili diversi impatti dell'azione da avviare), o fra progetti alternativi, o fra modalità di esecuzione alternative dello stesso progetto. Nel caso in cui non ci sia una reale possibilità di scelta, aiuta a stimare i diversi effetti, positivi e negativi, del progettoin via di implementazione, al fine di elaborare correzioni o sostegni VALUTA ZIONE EX ANTE-

7 VALUTA ZIONE IN ITINERE TIPI DI VALUTAZIONE
E' quella valutazione che si realizza mentre il processo valutato è ancora in corso, al fine di conseguire l'adattamento e la correzione di eventuali deviazioni dal progetto originario, a causa di errori di progettazioni o di modificazioni del contesto; VALUTA ZIONE IN ITINERE

8 VALUTAZIO NE EX POST TIPI DI VALUTAZIONE
Valutazione di un intervento dopo che è stato completato. L'obbiettivo della valutazione ex post è quello di studiare se e come il progetto abbia raggiunto gli obbiettivi prefissati nonché immaginare soluzioni adeguate per interventi simili in futuro in genere si considerano due momenti distinti della valutazione ex post: dell'output (di esito - costi benefici - ) dell'outcome (di impatto ) VALUTAZIO NE EX POST

9 TIPI DI VALUTAZIONE Affronta di norma l'aspetto procedurale e mira ad analizzare i seguenti aspetti: il grado di cooperazione fra i soggetti coinvolti il modo in cui vengono raggiunti i destinatari degli interventi le procedure di partecipazione adottate i fattori di successo incontrati nell'implementazione dell'intervento gli ostacoli incontrati VALUTA ZIONE DI PROCESSO

10 TIPI DI VALUTAZIONE Valutazione che considera gli esiti di un determinato intervento, la sua efficacia. Viene usualmente distinta in due caterie fondamentali: l'efficacia interna, intesa come la capacità di raggiungere gli obiettivi e i risultati attesi, definiti a priori l'efficacia esterna, intesa come la capacità del servizio di soddisfare i bisogni degli utenti VALUTAZIONE DI RISULTATO

11 TIPI DI VALUTAZIONE E' una valutazione attraverso la quale la qualità degli interventi forniti viene analizzata e sottoposta a giudizi finalizzati al suo miglioramento Fare valutazione della qualità per chi si occupa di servizio sociale significa tenere conto di valori ed obbiettivi dei soggetti coinvolti in un determinato intervento (destinatari, operatori, attori della comunità locale) e delle relazioni tra tali attori VALUTAZIO NE DELLA QUALITA'

12 VALUTA ZIONE PAR TECIPATA TIPI DI VALUTAZIONE
La valutazione realizzata coinvolgendo un n. significativo di attori implicati nella realizzazione di un servizio, che contribuiscono alla formulazione di giudizi e se ne assumono la responsabilità rispetto alla realizzazione degli interventi successivi VALUTA ZIONE PAR TECIPATA

13 CONSIDERAZIONI DI SINTESI
1. La Valutazione pervade in modo crescente la normativa nazionale di settore: Ci viene pertanto sempre più frequentemente detto che: la valutazione si deve fare . 2. Si tratta di valutazione di casi, interventi e di politiche, anche se, come è logico, la normativa insiste soprattutto su interventi e politiche, lasciando al livello professionale la valutazione dei casi.

14 CONSIDERAZIONI DI SINTESI
3. Le finalità valutative proposte sono sia nella logica della valutazione \ appren-dimento per migliorare (learning) che in quella della valutazione \ rendicon-tazione (accountability). Tuttavia la normativa non è sempre chiara sul "perché si valuta" 4. Ci viene per tanto detto che valuta-zione si deve fare ma dalla lettura della normativa la valutazione "non si vede", non si capisce cioè come si può fare la valutazione

15 Attenzioni metodologiche

16 ATTENZIONI METODOLOGICHE
Principio di autovalutazione ogni soggetto interessato dalla valutazione è responsabile e primo utilizzatore della propria valutazione

17 ATTENZIONI METODOLOGICHE
Principio dei diversi livelli di valutazione il processo di valutazione interessa tutti i livelli istitu-zionali coinvolti nell’ erogazione di un intervento

18 ATTENZIONI METODOLOGICHE
Principio di non autoreferenzialita' per quanto possibile la valutazione deve essere basata su riscontri oggettivi e comunque esterni al soggetto valutatore

19 ATTENZIONI METODOLOGICHE
Principio di confrontabilità: le valutazioni devono essere condotte sulla base di criteri di giudizio e metodi omogenei e permettere confronti nel corso del tempo, anche fra più esperienze.

20 ATTENZIONI METODOLOGICHE
Principio di trasparenza: le valutazioni devono essere condotte sulla base di criteri di trasparenza ovvero attraverso attività chiare, esplicite e documentate per i diversi livelli e soggetti coinvolti (chi ha diritto di sapere)

21 IL SUCCESSO DELLA VALUTAZIONE
La misura del successo della valutazione può essere rappresentata dall’ampiezza dei cambiamenti intervenuti nel comportamento degli attori dell’intervento, servizio o politica

22 IL SUCCESSO DELLA VALUTAZIONE
La probabilità di successo della valutazione è alta se questa svolge una funzione di apprendimento per gli attori coinvolti

23 La costruzione del disegno di valutazione dei piani di zona

24 L’unità di analisi: l’implementazione del sistema dei servizi del pdz
Piano di zona Area … Area anziani Area minori e famiglia Area disabili Ob: potenziare la domiciliarità Ob.:Tutela del bambino SAD Ricoveri di sollievo Assegni di servizio

25 Il Pdz e la sua valutazione
Il piano di zona rappresenta uno strumento ambizioso e, allo stesso tempo, “rivoluzionario” diviene quindi cruciale valutarlo almeno per 3 ragioni: per considerare la sua capacità di cambiamento, del sistema programmatorio delle politiche sociali, per valutare l’effettiva implementazione delle politiche che si propone di realizzare; per valutare la sua capacità di incidere nella effettiva realizzazione di servizi e interventi, Il problema che ci si pone allora è: come valutare i piani di zona, da quale livello di governo del sistema, con quali precise finalità?

26 I livelli della valutazione 1
La valutazione dei Piani di zona è auspicabile che si svolga agli stessi livelli in cui avviene il governo del sistema e la sua programmazione e quindi è necessario svilupparla: a livello regionale, provinciale o di azienda di ambito territoriale, allargato agli stakeholders coinvolti nella programmazione partecipata.

27 I livelli della valutazione 2
Avendo questi livelli, ruoli e competenze diverse in tema di programmazione è necessario anche prevedere modalità diverse di valutazione. E’ necessario sottolineare che questi livelli non procedono autonomamente ma devono prevedere dei flussi di comunicazione tra loro, e alimentarsi a vicenda.

28 Che cosa si può valutare dei pdz?
Il processo di pianificazione e il documento di piano (valutazione ex ante) Il cambiamento prodotto: L’implementazione degli interventi previsti dal piano La politica sociale prevista dal Piano (valutazione in itinere e ex post) I processi di integrazione avviati: L’integrazione fra Enti Locali L’integrazione con l’ASL L’integrazione con il Terzo Settore (valutazione della governance)

29 Le finalità della valutazione nei Pdz
La valutazione ex ante dei Piani di zona finalizzata a verificarne la conformità rispetto agli indirizzi regionali (linee guida) e trarne ulteriori suggerimenti per ri-orientare la programmazione in una direzione più efficace La valutazione in itinere del processo di implementazione dei piani di zona, per monitorarne gli esiti parziali e individuare criticità e punti di forza utili per suggerire strategie migliorative La valutazione ex post finalizzata a individuare i risultati ottenuti nella implementazione dei piani di zona (anche in relazione alla spesa sostenuta) per orientare le successive scelte programmatorie

30 Il disegno di valutazione dei piani di zona
Perché l'attività di valutazione del Piano di zona sia efficace essa deve risultare utile a chi deve prendere decisioni. Deve cioè produrre informazioni e dati che servano effettivamente a formulare giudizi e - su questa base - riprogettare corsi d’azione.

31 Il disegno di valutazione del piano di zona
Una valutazione fatta bene aiuta a: capire meglio il problema; capire meglio le scelte fatte e le loro implicazioni; capire meglio cosa funziona e cosa no nella politica; scoprire cose nuove, inaspettate.

32 Il disegno di valutazione dei piani di zona
E' cruciale che essa avvenga sulla base di un disegno di valutazione, parte integrante del Piano stesso, che indichi quali sono le domande alla quale la valutazione deve rispondere, quali sono gli strumenti utilizzati per rispondervi, chi e quando svolgerà le attività necessarie.

33 Ma che cosa intendiamo valutare dei Piani di zona?
Il cambiamento prodotto sul territorio con la nuova programmazione e pianificazione delle politiche sociali, le due dimensioni principali del cambiamento sono: Lo sviluppo del sistema dei servizi Lo sviluppo del territorio

34 Lo sviluppo del sistema
Il processo avviato con la riforma dei servizi sociali ha sviluppato un cambiamento nella progettazione e pianificazione del sistema di servizi e interventi. La portata del cambiamento la possiamo leggere ad esempio attraverso: un’analisi del sistema di interventi e servizi l’apporto innovativo sul sistema dei servizi

35 Punti di attenzione 1 La valutazione è opportuno che avvenga ai diversi livelli della programmazione in un quadro, però nel quale tali livelli si alimentino a vicenda, divenendo l’uno risorsa per l’altro. La valutazione dei Piani deve concentrarsi non solo sui documenti ma soprattutto sulle azioni concrete, sugli interventi sociali che a seguito dei piani vengono realizzati. La valutazioni dei piani è opportuno che sia orientata anche all’analisi costi benefici,

36 Punti di attenzione 2 I disegni di valutazione dei Pdz, saranno più efficaci se utilizzeranno metodologie miste, che si basino su più strumenti e più fonti informative, e che assumano una logica di piano La valutazione deve essere condotta in modo partecipato e deve essere interpretata come processo di apprendimento collettivo dei soggetti che insieme concorrono alla realizzazione delle politiche sociali pubbliche, che, anche grazie alla valutazione, imparano a “governare” insieme un sistema locale di servizi alla persona.

37 I passaggi principali per la costruzione del disegno di valutazione
1. Individuazione della finalità della valutazione 2. Identificazione dello scopo (la mission) dell’oggetto di valutazione 3. Identificazione delle dimensioni di valutazione 4. Identificazione dei criteri 5. Identificazione degli indicatori 6. Identificazione degli strumenti e delle fonti informative 7. Rilevazione sul campo. 8. Valutazione vera e propria (espressione di un giudizio) e identificazione degli obiettivi di miglioramento. 9. Individuazione delle strategie di miglioramento 10. Restituzione dei risultati della valutazione agli stakeholders Portare l’esempio dell’esperienza di valutazione della governance del distretto di Rho e di valutazione dell’implementazione del sistema dei servizi di Brescia e Collebeato

38 Ricordando le caratteristiche degli indicatori…
Gli indicatori, per essere adeguatamente utilizzabili nel processo valutativo, debbono possedere le seguenti caratteristiche ( Zajczyk 1997): Validità Attendibilità Sensibilità Adeguatezza Comparabilità Tempestività

39 Le caratteristiche degli indicatori
1) Validità, ovvero la capacità di rappresentare effettivamente il concetto/ criterio indicato in modo accettabile Non esiste alcun criterio “oggettivo” per misurarla a priori, al fine di soddisfare questo requisito ci si avvale della conoscenza del contesto in cui si opera. E’ infatti, ad esempio, proprio la conoscenza del contesto che ha permesso di identificare in termini di PARTECIPAZIONE l’indicatore: N° di soggetti individuati (istituzionali e non)/ N° di soggetti presenti sul territorio

40 Le caratteristiche degli indicatori
2) Attendibilità, ovvero è in grado di cogliere effettivamente quegli aspetti che ci si era proposti di rilevare In che termini ad esempio “Gli interventi dei partecipanti durante gli incontri” consentono di ricostruire la dimensione PARTECIPAZIONE?

41 Le caratteristiche degli indicatori
3) Sensibilità, ovvero la capacità di discriminare tra le diverse forme che può assumere un fenomeno E’ la sensibilità ad intervenire nell’individuazione di un indicatore piuttosto che un altro, si pensi ad esempio alla scelta di monitorare “I tempi di attesa nell’accesso ai servizi” in termini di miglioramento della qualità della vita delle famiglie

42 Le caratteristiche degli indicatori
4) Adeguatezza, ovvero rispondere ai bisogni conoscitivi del valutatore In termini ad esempio di Congruenza tra bisogni ed allocazione delle risorse si è ritenuto adeguato rilevare ex post la “Percezione dei tavoli relativamente ai bisogni affrontati e alle azioni realizzate”

43 Le caratteristiche degli indicatori
5) Comparabilità, ovvero la possibilità di confrontare lo stesso fenomeno in aree territoriali diverse o lo stesso fenomeno nella stessa area ma in tempi diversi 6) Tempestività, ovvero possono essere utilizzati in tempi adeguati per modificare un programma o un intervento grazie al giudizio che hanno permesso di formulare

44 Il monitoraggio e la valutazione
Ovvero la valutazione in itinere

45 IL MONITORAGGIO : DEFINIZIONI
Nella letteratura specializzata al monitoraggio viene data rilevanza relativa, non esistono testi specifici sul monitoraggio, le definizioni ed applicazioni del monitoraggio si ritrovano all’interno dei manuali sulla valutazione degli interventi e delle politiche.

46 IL MONITORAGGIO : DEFINIZIONI
“Il monitoraggio è un processo di raccolta di dati e informazioni sulle modalità di attuazione di un intervento o di una politica. E’ utilizzato spesso a fini di accountability; in altre parole, i dati e le informazioni vengono raccolti dalle strutture di attuazione per mostrare a soggetti esterni di controllo (le agenzia che hanno erogato i finanziamenti oppure le agenzie responsabili per il rispetto degli standard) che l’intervento viene realizzato secondo quanto previsto dal programma originario”. C. Weiss 1972

47 “Il monitoraggio serve per verificare se la politica:
IL MONITORAGGIO : DEFINIZIONI “Il monitoraggio serve per verificare se la politica: sta raggiungendo il target di destinatari previsto, è attuata in modo fedele al disegno originario, sta utilizzando le risorse (finanziarie, umane, tecnologiche, ecc.) in modo economico ed efficiente”. P.H. Rossi - H.E. Freeman 1989

48 IL MONITORAGGIO : DEFINIZIONI
funzione che consiste nell’accertamento e nella descrizione puntuale e metodica dell’avanzamento di un progetto e nella segnalazione tempestiva delle discrepanze rispetto a quanto stabilito” Il Calamaio e l’arcobaleno 2000

49 IL MONITORAGGIO : DEFINIZIONI
“Una funzione del management che, attraverso una raccolta metodica di dati, verifica se le risposte materiali e finanziarie impiegate in un’iniziativa sono sufficienti, il personale impiegato è adeguatamente preparato e qualificato, le attività in atto sono previste nei termini di riferimento e sono stati raggiunti gli obbiettivi prefissati nei piani di lavoro” Pennisi 1991

50 IL MONITORAGGIO : DEFINIZIONI
Le parole chiave che maggiormente ricorrono in queste definizioni sono: Accountability (rendicontazione) Verifica (rispetto di obbiettivi dati) Avanzamento (rispetto dei tempi)

51 MONITORAGGIO E VALUTAZIONE
Fornisce l’informazione viene fatto con rilevazioni regolari misura il raggiungimento di standard Stame 1998 VALUTAZIONE Formula il giudizio Può essere fatta in momenti diversi, o in un solo colpo misura delle dimensioni: efficienza, efficacia, qualità

52 MONITORAGGIO E VALUTAZIONE
Il monitoraggio è pertanto una funzione all’interno della più complessa esperienza della valutazione. Il monitoraggio, in sé, non è una disciplina, ma una funzione \ strumento utile per rendere conto, e verificare lo sviluppo di una politica nel corso del tempo, utile, in altri termini, per realizzare le valutazioni in itinere.

53 MONITORAGGIO E VALUTAZIONE
Il monitoraggio può allora essere una funzione “molto utile per la valutazione in itinere …... Per es. le eventuali deviazioni dal disegno iniziale possono derivare non tanto da errori degli attuatori, ma da una progettazione operativa deficitaria. Oppure ancora, il disegno originario può essere eseguito correttamente, senza tuttavia produrre i risultati in itinere attesi”…..; .

54 MONITORAGGIO E VALUTAZIONE
“ Quando attraverso il monitoraggio emergono aspetti di questo genere, e la valutazione in itinere è in grado di fornire le spiegazioni appropriate, vengono messi a disposizione dei decisori importanti elementi per una modificazione della politica in corso; oppure evidenziata l’esigenza di una nuova politica..” Vecchi 2000

55 IL MONITORAGGIO: A CHE COSA SERVE?
Lo stato di avanzamento dei programmi, delle politiche, degli interventi; Le piste di approfondimento per mettere in luce criticità e i fattori di successo nello sviluppo di un singolo intervento, di un distretto, di un’area tematica; Le informazioni basilari per procedere a una valutazione in itinere degli interventi e delle politiche (è un sensore). Serve per evidenziare:

56 IL MONITORAGGIO: A CHE COSA NON SERVE?
dare informazioni sulla qualità degli interventi e delle politiche dare informazioni sugli esiti, sui risultati ottenuti per l’utente finale, cioè sulla efficacia degli interventi e delle politiche Non Serve per:

57 Il monitoraggio la valutazione
Il monitoraggio è un processo di raccolta di dati e informazioni sulle modalità di attuazione di un intervento o di una politica Il monitoraggio serve per: Lo stato di avanzamento dei programmi, delle politiche, degli interventi; Le piste di approfondimento per mettere in luce criticità e i fattori di successo nello sviluppo di un singolo intervento, di un distretto, di un’area tematica; Le informazioni basilari per procedere a una valutazione in itinere degli interventi e delle politiche (è un sensore) Il monitoraggio: Fornisce l’informazione Viene fatto con rilevazioni regolari Misura il raggiungimento di standard La valutazione intende rispondere alla domanda: ciò che si fa è fatto bene? Risponde, e in quale misura, alle strategie di Piano? Come si può migliorare? La valutazione serve per dare informazioni sulla qualità degli interventi e delle politiche dare informazioni sugli esiti, sui risultati ottenuti per l’utente finale, cioè sulla efficacia degli interventi e delle politiche Una valutazione fatta bene aiuta a: capire meglio il problema; capire meglio le scelte fatte e le loro implicazioni; capire meglio cosa funziona e cosa no nella politica; scoprire cose nuove, inaspettate.

58 Il monitoraggio la valutazione
ELEMENTI DI MONITORAGGIO: qualche esempio Lo stato di implementazione degli interventi Il livello di raggiungimento dei destinatari Le risorse umane impiegate Le risorse finanziarie impiegate ELEMENTI DI VALUTAZIONE: qualche esempio Livello di integrazione/ collaborazione raggiunto tra gli attori del territorio Principali ostacoli/ criticità ed elementi di facilitazione incontrati Risultati raggiunti “Lezioni apprese”