1 Corso di formazione sul monitoraggio e la valutazione dei Piani di zona avviati in Provincia di Torino Secondo Modulo: La valutazione del livello di implementazione del Piano di Zona 12 giugno 2006 Katja Avanzini Carla Dessi Diletta Cicoletti

2 Il programma di oggi: l Illustrazione dei risultati della seconda esercitazione (similitudini e differenze tra i lavori dei tre gruppi sul monitoraggio delle azioni del piano) l Ripresa di alcuni concetti chiave trattati nelle puntate precedenti: –La valutazione “frattale” –La differenza tra monitoraggio e valutazione l Primo lavoro di gruppo per confrontarsi sui risultati emersi dalla seconda esercitazione e approfondimento sulle informazioni di valutazione (in itinere e finale) necessarie per avere un quadro completo dei singoli progetti/servizi; l In plenaria: illustrazione dei lavori dei singoli gruppi

3 Il programma di oggi: (2) l Input teorico sul passaggio dalla valutazione del singolo progetto/servizio alla valutazione per area/priorità d’intervento (macro-obiettivo) attraverso i risultati della prima esercitazione del con: –Approfondimento su che cos’è un indicatore –Presentazione di un caso di valutazione delle azioni di un piano di zona; l Secondo lavoro di gruppo: di quali informazioni ho bisogno per valutare il livello di macro-obiettivo l In plenaria: illustrazione dei lavori dei singoli gruppi l Come proseguire nel percorso del secondo modulo… presentazione degli obiettivi della giornata allargata (26 e 28 giugno) e presentazione degli obiettivi dell’ultima giornata del 12 luglio

4 L’unità di analisi: l’implementazione del sistema dei servizi del pdz Piano di zona Area anziani Area disabili Area minori e famiglia Ob: potenziare la domiciliarità Ob.:Tutela del bambino SAD Ricoveri di sollievo Assegni di servizio Area …

5 Una valutazione “frattale” 1. Valutazione del singolo intervento 2. Valutazione zonale della politica di uno specifico settore (anziani) 3. Valutazione del piano di zona 4. Valutazione degli interventi provinciali di coordinamento e sostegno 5. Valutazione della politica regionale

6 Il monitoraggio la valutazione Il monitoraggio è un processo di raccolta di dati e informazioni sulle modalità di attuazione di un intervento o di una politica Il monitoraggio serve per: ü Lo stato di avanzamento dei programmi, delle politiche, degli interventi; ü Le piste di approfondimento per mettere in luce criticità e i fattori di successo nello sviluppo di un singolo intervento, di un distretto, di un’area tematica; ü Le informazioni basilari per procedere a una valutazione in itinere degli interventi e delle politiche (è un sensore) Il monitoraggio: Fornisce l’informazione ü Viene fatto con rilevazioni regolari ü Misura il raggiungimento di standard La valutazione intende rispondere alla domanda: ciò che si fa è fatto bene? Risponde, e in quale misura, alle strategie di Piano? Come si può migliorare? La valutazione serve per dare informazioni sulla qualità degli interventi e delle politiche dare informazioni sugli esiti, sui risultati ottenuti per l’utente finale, cioè sulla efficacia degli interventi e delle politiche Una valutazione fatta bene aiuta a: ücapire meglio il problema; ücapire meglio le scelte fatte e le loro implicazioni; ücapire meglio cosa funziona e cosa no nella politica; üscoprire cose nuove, inaspettate.

7 Il monitoraggio la valutazione ELEMENTI DI MONITORAGGIO: qualche esempio Lo stato di implementazione degli interventi Il livello di raggiungimento dei destinatari Le risorse umane impiegate Le risorse finanziarie impiegate ELEMENTI DI VALUTAZIONE: qualche esempio Livello di integrazione/ collaborazione raggiunto tra gli attori del territorio Principali ostacoli/ criticità ed elementi di facilitazione incontrati Risultati raggiunti “Lezioni apprese”

8 1. LAVORO DI GRUPPO l Confrontarsi sui risultati emersi dalla seconda esercitazione negli altri gruppi e approfondimento sulle informazioni di valutazione (in itinere e finale) necessarie per avere un quadro completo dei singoli progetti/servizi l GRUPPI: per area tematica l TEMPO: 1 ora

9 Il passaggio dalla valutazione del singolo progetto/servizio alla valutazione della priorità d’intervento

10 Una prima complessità… passare dal servizio alla politica “SERVIZIO” l erogazione di prestazioni per soddisfare in maniera continuativa bisogni ricorrenti e ben definiti ( Martini) l Obiettivo: produrre un servizio l Focus della valutazione: attività intese come produzione di output per utenti “POLITICA” l realizzare attività per produrre un cambiamento, per trattare o risolvere un problema l Obiettivo: produrre un cambiamento l Focus della valutazione: la relazione fra il problema e il progetto

11 Esempio l Politica per l’area anziani: –Sostegno alla domiciliarità l Servizi per anziani che rispondono alla priorità politica individuata: –SAD –ADI –assegni di cura –formazione delle assistenti familiari

12 Ad oggi cosa sappiano? l Attraverso la bozza di scheda di monitoraggio e valutazione abbiamo informazioni inerenti: –Il prodotto… cosa è stato fatto (informazioni di monitoraggio) –Come è stato fatto… (informazioni di valutazione) –Quali cambiamenti e apprendimenti di sono verificati (informazioni di valutazione)

13 Ma come possiamo dire qualcosa sulla politica attuata per l’area… … mettendo in relazione il problema e il progetto/i attuato/i Questo dovrà essere il focus della secondo step della nostra valutazione

14 Alcune indicazioni 1. Valutare la politica non significa solo sommare la valutazione dei singoli interventi 2. Valutare la politica significa saper dire non solo ciò che è stato fatto ma anche come è stato fatto e se è servito… 3. È quindi utile definire quali dimensioni, criteri, indicatori possono aiutare a “avere chiavi di lettura”

15 Unità d’analisi DimensioniCriteriIndicatori Sostegno alla domiciliarità CoerenzaConnessione tra domanda e offerta Destinatari raggiunti/ destinatari potenziali N. Soggetti in lista d’attesa Coerenza tra bisogni e allocazione risorse Variazione spesa Consuntivo/preventivo Costo unitario per utente/ prestazione IntegrazioneIntegrazione socio sanitaria L'Asl garantisce risorse economiche definite? Vi è presenza di progetti socio sanitari integrati? Integrazione con le risorse del territorio Grado di collaborazione del territorio (per tipologia di soggetti) alla realizzazione della politica TerritorialitàGaranzia di livelli omogenei di accesso ai servizi Vi è presenza o previsione di iniziative informative, di visibilità \ comunicazione sociale, legate ai servizi?

16 OUTPUT l Misurazione dei prodotti l Domanda: “E’ stato fatto?” l Finalità: verificare, rendere conto, rendicontare l Ambito di attenzione: interno al servizio/progetto l Focus della misurazione: capacità di rispettare gli impegni programmati l Tecniche e strumenti: monitoraggio

17 OUTCOME l Misurazione del successo e dei risultati prodotti l Domanda: “E’ stato raggiunto l’obiettivo?” l Obiettivi: esprimere giudizi sull’operato, sul successo, sulla performance realizzata l Ambito di attenzione: interno ed esterno al servizio/progetto l Focus della valutazione: capacità di trattare un problema o soddisfare una aspettativa (effetti “lordi”), qualità ed efficienza con cui lo si fa Tecniche e strumenti: analisi di performance

18 IMPATTO l Misurazione degli effetti netti prodotti, gli “esiti” l Domanda: “E’ servito?” l Obiettivi: valutazione della capacità del progetto/servizio di produrre effetti in termini di trattamento di un dato problema l Ambito di attenzione: esterno l Focus della valutazione: effetti “netti” prodotti Tecniche e strumenti: analisi di impatto

19 IL PERCORSO DI COSTRUZIONE DEL DISEGNO DI VALUTAZIONE DEL PIANO DI ZONA: I 10 PASSAGGI PRINCIPALI 1. Individuazione della finalità della valutazione 2. Identificazione dello scopo (la mission) dell'evaluando 3. Identificazione delle dimensioni da valutare 4. Identificazione dei criteri di valutazione 5. Identificazione degli indicatori 6. Identificazione degli Strumenti e delle Fonti informative. 7. Rilevazione sul campo. 8. Valutazione vera e propria (espressione di un giudizio) 9. Individuazione delle strategie di miglioramento. 10. Restituzione dei risultati della valutazione agli stakeholders

20 Identificazione degli indicatori In che modo possiamo rilevare informazioni sulla dimensione da valutare? l Quali sono gli aspetti concreti, osservabili, che possono aiutarmi a rispondere alle domande di valutazione e analizzare le mie dimensioni al fine di consentire l’espressione di giudizio? Quali elementi devo tenere sotto controllo per rispondere alle domande? l Tra le molte informazioni che posso ricavare quali sono quelle “strategiche”, quelle che è utile raccogliere? l Fra queste, quali sono quelle che già possiedo, o quelle che posso ricavare facilmente?

21 Ricordiamo che … Nella scelta degli indicatori si tende a circoscrivere l’ambito della rilevazione a ciò che è misurabile ( o enumerabile), con una spesso netta propensione per la dimensione quantitativa rispetto a quella qualitativa “Un indicatore è qualcosa che dà informazioni su qualcos’altro” ( Marradi 1994) “Per indicatore si intende una misura sintetica quantitativa, in grado di fornire la rappresentazione di un fenomeno o di riassumerne l’andamento” (Vecchi 2003)

22 Gli esiti dell’esercitazione del 26 aprile DIMENSIONE: 2. SVILUPPO DEI SERVIZI CRITERI: ADEGUATEZZA DELLA RISPOSTA/ CONTINUITA’ DELL’INTERVENTO Indicatori: N° protocolli operativi attivati a partire dal Piano di Zona N° gruppi di lavoro sovracomunali a valenza di ambito formalizzati Esistenza e mantenimento di un glossario condiviso Ruolo dei soggetti partecipanti all’interno della propria organizzazione CRITERIO: MIGLIORAMENTO E COORDINAMENTO DEI LIVELLI DI INFORMAZIONE Indicatori: Grado di diffusione dell’informazione integrata Riduzione di richieste improprie Grado di soddisfazione dei cittadini

23 Gli esiti dell’esercitazione del 26 aprile DIMENSIONE: 2. SVILUPPO DEI SERVIZI CRITERIO: CONGRUENZA TRA BISOGNI E ALLOCAZIONE DELLE RISORSE Indicatori: Rapporto risorse definite e assegnate (ante e post Piano di Zona) Variazione spesa intervento: Consuntivo/preventivo Costo unitario per utente/ prestazione Percezione dei tavoli sui bisogni evidenziati e bisogni affrontati nel Piano di Zona (ante) Percezione tavoli su bisogni affrontati e azioni realizzate (post) CRITERIO: MIGLIORAMENTO DELLA RAZIONALIZZAZIONE DELLE RISORSE ESISTENTI: COSTRUZIONE DI PERCORSI INTEGRATI Rapporto tra il costo della diffusione dell’informazione ed il N° di persone fruitrici

24 Gli esiti dell’esercitazione del 26 aprile DIMENSIONE: 2. SVILUPPO DEI SERVIZI CRITERIO: ACCESSIBILITA’/ TEMPESTIVITA’ Indicatori: Esistenza della carta dei servizi Esistenza della segnaletica/ informazione cartacea, web, banca dati condivisa Esistenza di barriere architettoniche Incremento dei beneficiari Abbattimento liste di attesa Customer satisfaction su Piani di zona e servizi N° prese in carico condivise e integrate

25 Gli esiti dell’esercitazione del 26 aprile DIMENSIONE: 2. SVILUPPO DEI SERVIZI CRITERIO: MIGLIORARE LA QUALITA’ DI VITA DELLE FAMIGLIE Indicatori: Grado di soddisfazione dei cittadini Riduzione dell’istituzionalizzazione Riduzione dei tempi di attesa per l’accesso ai servizi Riduzione del numero di reati commessi da minori Riduzione delle separazioni altamente conflittuali

26 Ricordando le caratteristiche degli indicatori… Gli indicatori, per essere adeguatamente utilizzabili nel processo valutativo, debbono possedere le seguenti caratteristiche ( Zajczyk 1997): 1) Validità 2) Attendibilità 3) Sensibilità 4) Adeguatezza 5) Comparabilità 6) Tempestività

27 Le caratteristiche degli indicatori 1) Validità, ovvero la capacità di rappresentare effettivamente il concetto/ criterio indicato in modo accettabile Non esiste alcun criterio “oggettivo” per misurarla a priori, al fine di soddisfare questo requisito ci si avvale della conoscenza del contesto in cui si opera. E’ infatti, ad esempio, proprio la conoscenza del contesto che ha permesso di identificare in termini di PARTECIPAZIONE l’indicatore: N° di soggetti individuati (istituzionali e non)/ N° di soggetti presenti sul territorio

28 Le caratteristiche degli indicatori 2) Attendibilità, ovvero è in grado di cogliere effettivamente quegli aspetti che ci si era proposti di rilevare In che termini ad esempio “Gli interventi dei partecipanti durante gli incontri” consentono di ricostruire la dimensione PARTECIPAZIONE?

29 Le caratteristiche degli indicatori 3) Sensibilità, ovvero la capacità di discriminare tra le diverse forme che può assumere un fenomeno E’ la sensibilità ad intervenire nell’individuazione di un indicatore piuttosto che un altro, si pensi ad esempio alla scelta di monitorare “I tempi di attesa nell’accesso ai servizi” in termini di miglioramento della qualità della vita delle famiglie

30 Le caratteristiche degli indicatori 4) Adeguatezza, ovvero rispondere ai bisogni conoscitivi del valutatore In termini ad esempio di Congruenza tra bisogni ed allocazione delle risorse si è ritenuto adeguato rilevare ex post la “Percezione dei tavoli relativamente ai bisogni affrontati e alle azioni realizzate”

31 Le caratteristiche degli indicatori 5) Comparabilità, ovvero la possibilità di confrontare lo stesso fenomeno in aree territoriali diverse o lo stesso fenomeno nella stessa area ma in tempi diversi 6) Tempestività, ovvero possono essere utilizzati in tempi adeguati per modificare un programma o un intervento grazie al giudizio che hanno permesso di formulare

32 Un esempio di valutazione

33 Monitoraggio e valutazione del Piano di Zona del Rhodense Obiettivo: rilevare il cambiamento in termini di – sviluppo del sistema di pianificazione dei servizi – integrazione tra i soggetti della governance

34 Il percorso 1. Costruzione del gruppo di valutazione (ufficio di piano e dirigenti dei settori servizi sociali dei Comuni) 2. Condivisione delle finalità della valutazione 3. Individuazione delle unità di analisi (indirizzi di politica o “macroprogetti”) 4. Elaborazione dello strumento (scheda di monitoraggio e valutazione) per valutare il livello di realizzazione dei macroprogetti e degli interventi sul territorio, e di garantire la realizzazione di confronti e comparazioni

35 Il percorso 5. Analisi dei risultati 6. Restituzione ai membri dell’ufficio di piano dei primi esiti e raccolta di valutazioni ulteriori, in particolare sugli aspetti organizzativi 7. Individuazione delle linee di miglioramento e di piste di approfondimento in vista della futura programmazione

36 Le unità di analisi Area e macroprogettoIntervento/progetto Area minori e famiglia: protezione del minore e sostegno della famiglia Affido Spazio neutro Area anziani e disabili: potenziamento interventi a favore della domiciliarità Buono trasporti Potenziamento SAD attraverso voucher sociali Assegno di cura Area esclusione sociale: promozione “rete” di risposte al disagio Sportello immigrazione Tutoring casa Area di sistema: supporto all’avvio del piano di zona Studio di fattibilità per la gestione associata

37 Criteri per la selezione dei progetti La selezione dei progetti da valutare è avvenuta secondo due criteri 1. I progetti dovevano essere INNOVATIVI nei contenuti o nella metodologia 2. I progetti dovevano essere gestiti in modo ASSOCIATO tra i Comuni dell’ambito

38 Azioni successive l Per ciascun intervento del disegno di valutazione si sono raccolti dati, informazioni e opinioni attraverso una scheda composta da una prima parte di monitoraggio e da una seconda parte di valutazione del singolo intervento. fotografia ed un’analisi critica del livello di attuazione del piano anche in termini gestionali. l Questo ha consentito di tracciare una fotografia ed un’analisi critica del livello di attuazione del piano anche in termini gestionali.

39 Le informazioni e i dati raccolti l Stato di avvio e di realizzazione degli interventi monitorati l Destinatari raggiunti l Risorse impegnate l Attività di coordinamento, formazione ricerca e valutazione realizzate l Livello di integrazione inter e intra istituzionale l I fattori ostacolanti e facilitanti l’attuazione

40 Sintesi dell’esito del percorso per l’area anziani/disabili “sostenere la rete parentale per il mantenimento dei soggetti fragili al proprio domicilio” l FINALITA’ o OBIETTIVO STRATEGICO “sostenere la rete parentale per il mantenimento dei soggetti fragili al proprio domicilio” FENOMENI RILEVATI: invecchiamento della popolazione, prolungamento della vita media, aumento delle famiglie monoparentali di anziani, aumento di anziani in condizione di totale non autosufficienza, possibilità di miglioramento nel supporto alle famiglie di persone con disabilità.

41 Sintesi dell’esito del percorso per l’area anziani/disabili STRATEGIE PER FAR FRONTE AI PROBLEMI RILEVATI l BUONO TRASPORTO l ASSEGNO DI CURA l POTENZIAMENTO DELL’ASSISTENZA DOMICILIARE ATTRAVERSO IL VOUCHER SOCIALE

42 Sintesi dell’esito del percorso per l’area anziani/disabili ELEMENTI DI INNOVAZIONE DEI PROGETTI PER I BUONI TRASPORTO: definizione dei criteri di erogazione condivisi e definiti a livello territoriale PER ASSEGNO DI CURA: monitoraggio dell’esperienza PER VOUCHER SOCIALI: definizione dei criteri di accreditamento e delle regole di erogazione dell’intervento condivise con il III settore e con le amministrazioni pubbliche

43 Riflessioni valutative al termine del primo triennio l Target: Netta prevalenza nell’erogazione dell’assegno di cura ai soggetti anziani rispetto ai disabili in relazione alle regole di accesso formulate: in futuro si dovrà provvedere ad una distinzione dei fondi l Integrazione : Diffusione della conoscenza e della collaborazione interna fra gli operatori degli enti coinvolti nel processo. Si è stabilita una rete di collaborazione fra operatori di diversi comuni e privato sociale nella fase di costruzione del processo del voucher, favorendo la condivisione di letture omogenee del problema. l Metodologia: Il macroprogetto ha consentito di costruire una iniziale ma effettiva omogeneizzazione delle regole di accesso e funzionamento di servizi e interventi previsti nella macroarea.

44 Destinatari TIPOLOGIAPOTENZIALIRAGGIUNTIDI CUI DISABILI DI CUI STRANIERI Utenti servizi Cittadini stran. e ital Minori/ nuclei familiari16141 Adulti (fam. Affido)105 Minori (affido)35 AnzianiPrevisti 290 per assegno di cura 171 Disabili51 Oncologici12 Minori11 Amministratori18 Altro10

45 Un confronto fra target raggiunti *Per l’area anziani non c’è una previsione di destinatari e non è disponibile il dato del potenziamento SAD

46 Velocità di attuazione Buono trasporto (poche richieste) Più lentamente del previsto Assegno di cura Potenziamento SAD (tranne fermo tavolo politico) Migramondo Spazio neutro Come previsto Serv. Affido (incremento richieste) Lo studio di fattibilità per gestione associata Più velocemente del previsto

47 2. Lavoro di gruppo l Confrontarsi, sia rispetto ai risultati emersi dalla prima esercitazione del che a quelli dell’esercitazione precedente, per individuare: –Le unità d’analisi dell’area XXX –Dimensioni –Criteri –Indicatori l GRUPPI: per area tematica l TEMPO: 1 ora