Corso di PROGETTAZIONE E VALUTAZIONE NELLE POLITICHE FORMATIVE E SOCIALI _________________________________________________________________________________________________________________________________________________ Introduzione alla valutazione nei servizi alla persona

Le origini della valutazione Negli Stati Uniti nella metà degli anni ’60 per constatare l’efficacia dei programmi sociali In Europa per molto tempo non si è dubitato del risultato dell’intervento pubblico, parte integrante del sistema istituzionale. Negli anni ’80 però la crisi dello stato fiscale ha messo al centro dell’attenzione anche in Europa il risultato e l’efficacia dei programmi In Italia  Crisi fiscale dello Stato  nec. migliore allocazione risorse  Risorse di origine UE dedicate  Diffusione del concetto di centralità dell’utente, connesso alla qualità del servizio

La valutazione è … … un’attività cognitiva rivolta a fornire un giudizio su di un’azione intenzionalmente svolta e destinata a produrre effetti esterni, che si fonda su attività di ricerca delle scienze sociali e che segue procedure rigorose e codificabili (Palumbo) (Palumbo) … una produzione di informazione per dare giudizi su attività pubbliche, con l’intento di migliorarle (Martini)

≠ Ricerca sociale di base Ricerca valutativa Obiettivi ricerca Scoprire nuove conoscenze sotto forma di generalizzioni teoriche, indipendentemente dalla loro utilità per produrre un cambiamento sociale Produrre conoscenze contestualizzate e orientate all’azione, connesse con la situazione concreta studiata; risolvere un problema Oggettoricerca Lo decide il ricercatore sulla base delle sue ipotesi Deriva dal contesto problematico specifico del programma/intervento Ruolo del giudizio Evitato Essenziale: la valutazione è giudizio Legittimazione Comunità scientifica, criteri accademici Il contesto decisionale, spt i finanziatori, criteri di utilità GeneralizzabilitàPossibile Difficile, si riferisce a un setting specifico

Valutare perché … “Sia che ci occupiamo di programmi o politiche, riguardo gli ammalati o i poveri, le vittime di abusi, gli alcolisti o gli abbandoni scolastici, noi valutatori abbiamo un'opportunità per:  aiutare la politica e i programmi della nostra comunità a raggiungere un miglior fine  aiutare la società a meglio distribuire le sue risorse  aiutare un vasto pubblico a comprendere la natura dei problemi sociali e trovare il modo giusto di affrontarli Ben fatta, la valutazione è un nobile impegno” (Carol Weiss) Principali finalità: MIGLIORARE (learning) RENDICONTARE (accountability) Nel settore dei servizi è importante che la valutazione si distingua dalla verifica e e dal controllo poiché non si limita a individuare errori o a ratificare l’esistente, ma si pone in un’ottica strategica con finalità di apprendimento e miglioramento. Deve configurarsi come un processo dinamico che “costruisce correggendo” (De Ambrogio)

Quando si valuta? EX ANTE Prima dell’avvio di un programma/intervento Prima dell’avvio di un programma/intervento Per capire se vale la pena intraprenderlo Per capire se vale la pena intraprenderlo Ha funzioni organizzative e programmatorie Ha funzioni organizzative e programmatorie IN ITINERE Durante un programma/intervento Durante un programma/intervento Per correggere eventuali errori, per verificare se Per correggere eventuali errori, per verificare se la situazione è cambiata la situazione è cambiata Ha funzioni di controllo, decisione, apprendimento Ha funzioni di controllo, decisione, apprendimento EX POST Dopo la conclusione di un programma/intervento Dopo la conclusione di un programma/intervento Per imparare dall’esperienza e documentare Per imparare dall’esperienza e documentare quanto fatto a fini conoscitivi, democratici quanto fatto a fini conoscitivi, democratici Ha funzioni di controllo, decisione, apprendimento Ha funzioni di controllo, decisione, apprendimento

Cosa si valuta? Tra le dimensioni di interesse: EFFICACIA: il grado di conseguimento degli obiettivi EFFICACIA: il grado di conseguimento degli obiettivi INTERNA (o gestionale): crf risultati ottenuti / obiettivi iniziali INTERNA (o gestionale): crf risultati ottenuti / obiettivi iniziali ESTERNA (o sociale): crf risultati ottenuti / bisogni del contesto ESTERNA (o sociale): crf risultati ottenuti / bisogni del contesto EFFICIENZA: l’impiego ottimale delle risorse disponibili per il EFFICIENZA: l’impiego ottimale delle risorse disponibili per il raggiungimento degli obiettivi prefissati raggiungimento degli obiettivi prefissati Tra gli oggetti di interesse: Politiche Politiche Programmi di carattere eminentemente pubblico Programmi di carattere eminentemente pubblico Progetti Progetti

Gli attori della valutazione STAKEHOLDER: chiunque ha un interesse in gioco Decisori Chi partecipa direttamente al processo definitorio e decisionale di un programma/intervento (politici, funzionari pubblici, ecc.) Operatori Chi gestisce un programma/intervento Beneficiari chi è direttamente o indirettamente coinvolto nel programma/intervento Esperti chi è depositario di un sapere, di un’esperienza Valutatore diventa un ulteriore attore del processo …… (Leone Prezza)

GLI APPROCCI ALLA VALUTAZIONE POSITIVISTA Elemento di confronto sono gli obiettivi del programma, la valutazione consiste nel vedere se e in che modo sono stati raggiunti grazie al programma I risultati corrispondono agli obiettivi? I risultati corrispondono agli obiettivi? PRAGMATISTA - DELLA QUALITA’ Elemento di confronto sono degli standard di qualità, la valutazione consiste nel dare un parere su quanto ci si avvicini a quegli standard I risultati corrispondono al criterio di qualità? I risultati corrispondono al criterio di qualità? COSTRUTTIVISTA Elemento di confronto è ciò che viene considerato un “successo” dagli stakeholder, la valutazione consiste nello spiegare perché in quella situazione quel risultato sia da considerare tale Cos’è accaduto? Quello che è accaduto è buono? Cos’è accaduto? Quello che è accaduto è buono? (Stame)

Il disegno della ricerca valutativa Le cinque-sette tappe (Bezzi) 1.Definizione del mandato (chi chiede la valutazione? Perché? chi altro è coinvolto? Quali gli obiettivi della valutazione? ecc.) 2.Analisi obiettivi evaluando e/o formulazione domande valutative (cosa analizzare? Quale valutazione?) 3.Accertamento delle risorse 4.Ricerca valutativa 4.1. Esplorazione spazio semantico (cosa valutiamo esattamente?) 4.1. Esplorazione spazio semantico (cosa valutiamo esattamente?) 4.2. Stipulazione valori valutativi (da quale punto di vista valuto?) 4.2. Stipulazione valori valutativi (da quale punto di vista valuto?) 4.3. Raccolta e analisi dei dati 4.3. Raccolta e analisi dei dati 5. Sostegno all’utilizzo della valutazione (a cosa è servita?)

Prerequisiti per la valutazione nel settore sociale Non è opportuno intraprendere un percorso di valutazione se …  Lo staff impegnato nel progetto è contrario alla valutazione  Si prevede che i risultati della valutazione non saranno utilizzati o lo saranno solo strumentalmente  Le risorse non sono sufficienti  Se gli obiettivi del progetto o le modalità per raggiungerli sono confuse, vaghe, non coerenti: la valutazione potrà essere usata per chiarire, definire, modificare questi aspetti e solo in seguito si valuterà il progetto e i suoi esiti

Particolarità dei servizi alla persona I servizi alla persona sono tutte quelle attività che I servizi alla persona sono tutte quelle attività che coinvolgono gli operatori in un rapporto diretto coi beneficiari, tale che il prodotto e il processo coincidono Si caratterizzano per: Intangibilità: forniscono prestazioni non materiali,quindi difficilmente misurabili  la valutazione deve assumere diversi punti di vista e la loro contingenza Intangibilità: forniscono prestazioni non materiali,quindi difficilmente misurabili  la valutazione deve assumere diversi punti di vista e la loro contingenza Negoziabilità: possibilità di consentire una contrattazione tra erogatore e fruitore di un servizio, per realizzarlo con un margine di flessibilità (rispetto al programmato e ad aspettative e bisogni) Negoziabilità: possibilità di consentire una contrattazione tra erogatore e fruitore di un servizio, per realizzarlo con un margine di flessibilità (rispetto al programmato e ad aspettative e bisogni) Irripetibilità Irripetibilità (Bezzi)

Valutare la qualità nei servizi Qualità: L’insieme delle proprietà e delle caratteristiche di un prodotto o di un servizio che conferiscono ad esso la capacità di soddisfare esigenze espresse o implicite (norme ISO) Qualità: L’insieme delle proprietà e delle caratteristiche di un prodotto o di un servizio che conferiscono ad esso la capacità di soddisfare esigenze espresse o implicite (norme ISO)  Centralità utente/cliente Il servizio veramente fruito è sempre una mediazione fra il servizio erogato dal fornitore e quello percepito dal fruitore Il servizio veramente fruito è sempre una mediazione fra il servizio erogato dal fornitore e quello percepito dal fruitore Punto di vista organizzazione OBIETTIVI (strutture) (processi) STANDARD Punto di vista operatore (risultati) BISOGNI Punto di vista utente Valutazione Qualità

La valutazione partecipata È una modalità che coinvolge alcuni attori implicati nell’evaluando (l’oggetto della valutazione), per ricevere informazioni più complete. Ha forti connotazioni formative (Bezzi) “è un processo di produzione collettiva di conoscenza e di cooperazione nel quale gli stakeholder prendono parte sostanzialmente all’identificazione delle questioni valutative, al disegno della valutazione, alla raccolta e all’analisi dei dati e alla scelta delle azioni da intraprendere in base ai risultati della valutazione” (Jackson and Kassam,1998) Grado di partecipazione Coproduzione totale Valutazione esterna Estensione partecipazione Cittadini Committenti (Riquier)

Alcuni pregi e limiti della valutazione partecipata Favorisce l’innovazione attraverso l’interazione tra diverse competenze Favorisce l’innovazione attraverso l’interazione tra diverse competenze Integra diverse dimensioni di analisi Integra diverse dimensioni di analisi Sviluppa un senso di appartenenza nei partecipanti alla valutazione Sviluppa un senso di appartenenza nei partecipanti alla valutazione Facilita quindi la sua utilità e il suo utilizzo Facilita quindi la sua utilità e il suo utilizzo Richiede risorse (tempo, disponibilità, $) Richiede risorse (tempo, disponibilità, $) Richiede capacità di mediazione Richiede capacità di mediazione Rischio di strumentalizzazione Rischio di strumentalizzazione Rischio di autoreferenzialità Rischio di autoreferenzialità 

Tipi di coinvolgimento degli stakeholder PARTECIPAZION E (++) CONSULTAZION E (+-) RELAZIONI PUBBLICHE (--) Definizione collettiva di finalità, obiettivi, metodi ed elaborazione giudizi condivisi Ricerca di opinioni finalizzate a raccogliere info per la valutazione Restituzione in modo esplicito dei risultati delle valutazioni Attori: esprimono interessi e competenze rispetto al problema Attori: opinione ritenuta di interesse rispetto al tema Attori: formali e opinione pubblica (De Ambrogio)

Perché la partecipazione nei servizi e nel settore sociale Nei servizi alla persona non si può prescindere dal sapere professionale delle persone coinvolte, prima fra tutte quello dell’operatore, dalla storia a dal contesto specifici del servizio, dalla cultura generale del servizio. Nei servizi alla persona non si può prescindere dal sapere professionale delle persone coinvolte, prima fra tutte quello dell’operatore, dalla storia a dal contesto specifici del servizio, dalla cultura generale del servizio. Le informazioni possedute dagli attori non sono mere descrizioni, ma chiavi interpretative, che conferiscono senso alle attività e ai dati Le informazioni possedute dagli attori non sono mere descrizioni, ma chiavi interpretative, che conferiscono senso alle attività e ai dati La soddisfazione dei beneficiari resta una componente della valutazione, ma: La soddisfazione dei beneficiari resta una componente della valutazione, ma: Possiedono informazioni limitate su modalità di erogazione di un servizio, su vincoli normativi, finanziari, ecc. Possiedono informazioni limitate su modalità di erogazione di un servizio, su vincoli normativi, finanziari, ecc. Orientamento centrato sul loro bisogno Orientamento centrato sul loro bisogno Per la loro condizione a volte sono nell’impossibilità di esprimere un parere Per la loro condizione a volte sono nell’impossibilità di esprimere un parere

Bibliografia Bezzi Claudio, Il disegno della ricerca valutativa. Nuova edizione rivista e aggiornata, Franco Angeli, Milano, 2003 Bezzi Claudio, Il disegno della ricerca valutativa. Nuova edizione rivista e aggiornata, Franco Angeli, Milano, 2003 De Ambrogio Ugo (2003), Valutare gli interventi e le politiche sociali, Carocci, Roma De Ambrogio Ugo (2003), Valutare gli interventi e le politiche sociali, Carocci, Roma Leone Liliana e Prezza Miretta (1999), Costruire e valutare progetti nel sociale. Manuale operativo per chi lavora su progetti in campo sanitario, sociale, educativo e culturale, Franco Angeli, Milano Leone Liliana e Prezza Miretta (1999), Costruire e valutare progetti nel sociale. Manuale operativo per chi lavora su progetti in campo sanitario, sociale, educativo e culturale, Franco Angeli, Milano Palumbo Mauro (2001), Il processo di valutazione, Franco Angeli, Milano Palumbo Mauro (2001), Il processo di valutazione, Franco Angeli, Milano Tomei Gabriele (2004), Valutazione partecipata della qualità, Franco Angeli, Milano Tomei Gabriele (2004), Valutazione partecipata della qualità, Franco Angeli, Milano Ugolini Paolo (a cura di) (2005), Qualità e outcome nelle dipendenze, Franco Angeli, Milano Ugolini Paolo (a cura di) (2005), Qualità e outcome nelle dipendenze, Franco Angeli, Milano Sito web : Sito web :