La valutazione delle politiche pubbliche. Teorie e metodi Stefania Chimenti

La valutazione: definizione È un’attività di ricerca che permette di esprimere un giudizio su un’azione e i suoi effetti di rilevanza sociale. Allo scopo di migliorare e rendere più efficaci le azioni valutate. Ha una natura multidisciplinare. Si parla di valutazione in economia, sociologia, scienza politica, statistica, scienze naturali.

Che cosa si valuta? Politiche pubbliche un insieme di azioni compiute da attori che agiscono per risolvere un problema collettivo. Fabbisogni collettivi più urgenti Effetti o impatti di un servizio o programma Esempi Assistenza domiciliare agli anziani Programma di formazione professionale rivolto a giovani inoccupati Incentivi alle imprese per la stabilizzazione dei precari Incentivi agli studenti per migliorare la performance

Cosa non è valutazione Monitoraggio Audit Benchmarking Sono attività analoghe, ma non si tratta di valutazione.

Quando si valuta?

Quando si valuta?

Verifica e monitoraggio dell’operato delle amministrazioni pubbliche Perché si valuta? Aiuta i policy maker ad affrontare la complessità decisionale e sociale contribuendo così al miglioramento delle future decisioni di intervento. Utile alla società per capire se una politica ha funzionato o meno. Quel servizio pubblico ai cittadini funziona bene? Quel programma di sviluppo del territorio è efficace? Quale tra le diverse politiche del lavoro è la migliore in questo contesto? Verifica e monitoraggio dell’operato delle amministrazioni pubbliche

Analisi controfattuale Perché si valuta? Individuare gli effetti prodotti da una determinata politica. Si tratta di capire se una specifica azione pubblica sia stata capace di modificare la situazione preesistente nella direzione voluta, allo scopo di decidere se replicarla, modificarla o abolirla. Analisi controfattuale Il miglioramento osservato è merito della politica pubblica oppure si sarebbe verificato comunque? Il peggioramento osservato sarebbe stato più grave in assenza della politica oppure no?

Perché si valuta? La valutazione serve per apprendere. Si impara dalle esperienze passate. Si correggono le criticità per non commettere più gli stessi errori in futuro.

Come si valuta? Valutare è come ricomporre un puzzle (Sisti). È necessario un disegno di ricerca valutativa. Le informazioni su cui fondare il giudizio non sono immediatamente disponibili né facilmente reperibili senza un’attività di ricerca. Dunque, non basta individuare all’inizio un problema e passare direttamente alla scelta delle tecniche valutative da adottare per dichiarare poi i risultati conseguiti.

Fasi della ricerca valutativa Come si valuta? Fasi della ricerca valutativa

Come si valuta?

Chi valuta? Valutatore Stakeholder Esperti decisori, operatori, beneficiari Esperti

Valutazione partecipata La partecipazione può essere intesa come: mezzo per rendere più efficace la valutazione delle politiche pubbliche, fine in sé poiché in grado di rendere la valutazione stessa uno strumento per l’apprendimento collettivo. Gli obiettivi fondamentali della valutazione partecipata quindi sono: includere, cambiare e crescere.

Grazie per la vostra attenzione 

La valutazione di una politica regionale nata per promuovere la mediazione culturale Caso di valutazione di Marco Sisti Tratto da Valutazione in Azione. Lezioni apprese da casi concreti, FrancoAngeli, Milano, 2006

Il nostro caso di valutazione Settore di intervento: Immigrazione Ambito territoriale: Regionale Committente: Regione Piemonte Oggetto di valutazione: Politica finalizzata a incentivare la sperimentazione di interventi di mediazione culturale presso le PA piemontesi. Obiettivo della valutazione: Apprendere qualcosa di nuovo sul processo di attuazione degli interventi di mediazione, più che rendere conto al Ministero dell’impiego finale delle risorse stanziate per il programma.

Contenuti della politica Obiettivo politica: innovative soluzioni comunicative e relazionali negli uffici delle amministrazioni pubbliche, nell’ambito della mediazione culturale per facilitare la fruizione dei propri servizi da parte dell’utenza immigrata. Partnership basata su Accordo di programma tra Regione e Ministero del Lavoro e delle Politiche Sociali. Fabbisogni da soddisfare Esperienze di mediazione culturale frammentate, poco conosciute e difficoltà a consolidarle; Affrontare fenomeno dell’immigrazione in forte crescita sul territorio regionale (44.402 nel 1996, 107.950 nel 2003); Difficoltà degli enti pubblici ad affrontare le nuove sfide relazionali derivanti dalla gestione di utenti immigrati. Linee di intervento Finanziamenti diretti dei servizi di mediazione culturale. Corsi di formazione per istruire gli operatori degli enti riguardo le opportunità derivanti dall’impiego di mediatori culturali negli uffici aperti al pubblico.

Finalità della valutazione Vantaggi della valutazione: Soddisfare bisogni informativi della Regione. Mettere a fuoco quale fosse il meccanismo inceppato; Approfondire la conoscenza sulla mediazione culturale e comprendere quale fosse l’attività svolta dal mediatore culturale nell’ente pubblico. Individuare le ricadute della promozione alla mediazione culturale; Recuperare da parte della Regione un ruolo di orientamento delle scelte degli enti locali. Tipo di valutazione: valutazione ex post sull’analisi d’implementazione. Cercare di capire cosa realizzasse concretamente la politica; Comprendere se e in che misura la politica avesse prodotto gli effetti desiderati.

La ricerca valutativa. Definizione del mandato valutativo Il bisogno di apprendimento nasceva dalla sensazione da parte dei funzionari regionali che qualche meccanismo si fosse inceppato, cioè i passaggi di consegna tra i diversi enti avessero determinato: rallentamenti nell’attuazione della politica; distorsioni rispetto all’impostazione iniziale da dare alla politica.

La ricerca valutativa. Definizione domande valutative Il processo di definizione delle domande è avvenuto attraverso ripetuti colloqui e scambi di documenti tra il gruppo di ricerca e i committenti. Tre ordini di domande distinti per oggetto di analisi: Modalità di allocazione delle risorse; Realizzazione dei progetti di mediazione culturale; Corsi di formazione professionale.

La ricerca valutativa. Definizione domande valutative 1. Modalità di allocazione delle risorse e procedure scelte dagli enti per distribuire sul territorio i finanziamenti provenienti dal Ministero.  Come sono stati selezionati gli enti locali ammessi al finanziamento? Si è proceduto a un affidamento diretto, oppure è stato emanato un bando per l’assegnazione dei contributi? E in questo caso sono stati presentati dei progetti? E quali enti vi hanno partecipato? In che modo sono stati informati della possibilità del finanziamento e come hanno reagito a questa informazione? Vi sono stati degli esclusi? E quali sono state le ragioni di tali esclusioni? Come si è proceduto alla selezione dei mediatori culturali che avrebbero dovuto erogare i servizi all’interno dell’organizzazione? La scelta è stata legata alle organizzazioni proponenti il progetto oppure è stata assunta dall’amministrazione provinciale che ha assegnato i finanziamenti?

La ricerca valutativa. Definizione domande valutative 2. Realizzazione dei progetti di mediazione culturale finanziati dall’Accordo. Quali sono state le difficoltà incontrate dagli operatori pubblici e mediatori nell’ideare, progettare e gestire insieme i nuovi interventi? I fondi andavano a finanziare nuovi progetti oppure consentivano la sopravvivenza di progetti già esistenti? Domande che permettessero di conoscere più a fondo la figura del mediatore culturale e di analizzare l’interazione esistente tra mediatore e operatore del servizio.

La ricerca valutativa. Definizione domande valutative 3. Corsi di formazione professionale destinati agli operatori pubblici. Ipotesi dei decisori regionali: i progetti di mediazione erano attivati in via prioritaria nelle strutture pubbliche che avevano fatto partecipare i loro dipendenti ai corsi di formazione professionale. In che misura tale ipotesi si è realizzata? I partecipanti ai corsi sono stati davvero coinvolti nella progettazione e nella realizzazione di interventi di mediazione culturale? Vi è stata la sinergia auspicata tra le due linee di intervento? Che tipo di formazione è stata erogata? Quali sono stati i contenuti didattici?

La ricerca valutativa. Esplorazione del campo semantico Ricostruire la politica pubblica a partire dal modo in cui essa è stata interpretata e realizzata dai funzionari e dagli operatori nella loro attività quotidiana. Per tale opera di ricostruzione sono state molte le informazioni utilizzate: dati amministrativi generati nel corso dell’attuazione degli interventi; opinioni che gli operatori hanno maturato rispetto ad aspetti specifici del loro lavoro.

La ricerca valutativa. Definizioni operative e raccolta informazioni 1. Esame documenti esistenti La lettura dei documenti amministrativi forniti dalla Regione e dalle singole amministrazioni provinciali ha permesso: un primo censimento degli attori coinvolti; avere una prima idea su quali erano state le modalità procedurali e i criteri seguiti dalle singole amministrazioni per dare attuazione al mandato regionale. Lo studio delle principali ricerche condotte da altri istituti italiani sulla mediazione culturale.

La ricerca valutativa. Definizioni operative e raccolta informazioni 2. Interviste in profondità a funzionari provinciali Al fine di comprendere: in che modo gli enti avevano agito sulla base delle indicazioni della Regione, quali scelte avevano adottato, quali difficoltà avevano trovato nel disegnare i bandi destinati agli enti locali e nell’allocare le risorse disponibili. E al fine di raccogliere le opinioni e i punti di vista dei funzionari sull’intero processo di attuazione della politica. Due ragioni legate alla scelta dell’intervista in profondità: Raccogliere il maggior numero di informazioni possibili; Funzione ancillare rispetto all’impiego di altre tecniche.

La ricerca valutativa. Definizioni operative e raccolta informazioni 3. Questionari agli uffici provinciali Utile per ottenere informazioni quantitative omogenee relative a: Utilizzo dei finanziamenti, Tipologie di interventi finanziati, Numero di ore di mediazione erogate, Numero e nazionalità dei mediatori coinvolti complessivamente per l’attuazione degli interventi. Il questionario consentiva alla Regione di disporre di documenti ufficiali sui quali preparare la rendicontazione contabile e, allo stesso tempo, permetteva di recuperare informazioni utili all’analisi dell’implementazione.

La ricerca valutativa. Uso della valutazione Si dovrebbe pianificare una vera e propria strategia, concordarla insieme al committente, esattamente come avviene per le fasi precedenti. Il compito del valutatore è di tentare di muovere il terreno intorno alle decisioni (non necessariamente determinarle), nella speranza che, nel lungo periodo, la sua opera contribuisca a modificare il panorama dell’intera politica.

I risultati della valutazione I risultati positivi emersi dalla valutazione della politica. Alto numero di progetti di mediazione culturale finanziati e realizzati sull’intero territorio regionale al termine del periodo. Impiego di mediatori culturali presso molti enti che non avevano precedente esperienza in questo settore, come le scuole e i centri per l’impiego. Enfasi e grande evidenza date al tema della mediazione culturale nei programmi provinciali sulle politiche per l’immigrazione, approvati a un anno di distanza dalla conclusione della politica regionale.

I risultati della valutazione I risultati negativi emersi dalla valutazione della politica. Mancata progettazione e difficile inserimento del mediatore culturale. Problemi di discontinuità nell’erogazione del servizio. Difficoltà legate ai percorsi di formazione per gli operatori pubblici.

I risultati della valutazione. Lezioni apprese Coinvolgere gli attori interessati in un sistema a rete nel processo di attuazione della politica. Necessaria la creazione di un rapporto diretto tra tutti coloro che sono destinatari delle informazioni contenute nella valutazione, affinché gli esiti della valutazione non siano calati dall’alto, ma vengano interpretati come la logica conseguenza di un processo di riflessione largamente condiviso.

Suggerimenti bibliografici Bezzi C. (2001), Il disegno della ricerca valutativa, FrancoAngeli, Milano. Bezzi C. (2003), La valutazione dei servizi alla persona, https://bezzicante.files.wordpress.com/2014/06/valutazione-servizi- persona-intero.pdf Lippi A. (2007), La valutazione delle politiche pubbliche, il Mulino, Bologna. Formez, (2006), Valutare gli effetti delle politiche pubbliche. Metodi e applicazioni al caso italiano, Roma http://costopa.formez.it/sites/all/files/Valutare%20gli%20effetti%20delll e%20politiche%20pubbliche.pdf Palumbo M. (2001), Il processo di valutazione. Decidere, programmare, valutare, FrancoAngeli, Milano. Strada G., Martini A., L’approccio controfattuale alla valutazione   degli effetti delle politiche pubbliche, http://valutazioneinvestimenti.formez.it/sites/all/files/Capitolo%201%20 -%20L'approccio%20controfattuale.pdf

Grazie ancora per la vostra attenzione 