La valutazione

Cosa è la valutazione Def. Suchman (1967) “Metodo per la determinazione (basata su opinioni, documenti, dati soggettivi e oggettivi) dei risultati (desiderabili o indesiderabili, temporanei o permanenti, immediati o a lungo termine) raggiunti da un’attività” (nel nostro caso una POLITICA PUBBLICA) Elementi chiave della valutazione delle politiche pubbliche: Attività volta ad esprimere un giudizio rispetto ai risultati Il giudizio deve essere supportato da un metodo esplicito, guidato da alcune ipotesi di impatto e basato su dati empirici. L’obiettivo è un qualche miglioramento della politica pubblica

I tipi di valutazione La valutazione amministrativa Viene svolta all’interno del governo, talvolta da agenzie specializzate. Controlla efficienza ed efficacia dell’intervento (performance) Richiede raccolta di informazioni, es. tramite monitoraggio Spesso risente del pregiudizio “top-down” La valutazione giudiziaria Viene svolta dagli organi giudiziari e di riesame (es. TAR, Cassazione ecc.) Riguarda gli aspetti legali/procedurali dell’attuazione dell’intervento (conformance). La valutazione politica Viene svolta da chiunque si interessi di politica e politiche Non è necessariamente sistematica, ha più a che fare con la valutazione di senso comune. Consiste nell’apprezzamento o critica ad un intervento (es. elezioni; es. consultazioni)

Diversi tipi di valutazione amministrativa Ex ante: viene fatta nella fase iniziale di una politica pubblica. L’obiettivo è supportare i decisori nella selezione tra due o più alternative d’azione disponibili, per scegliere quella da realizzare in futuro. (Es. analisi costi/benefici; creazione/simulazione di scenari…) In itinere: viene fatta nel corso dell’attuazione della politica. Serve a monitorarne l’andamento nel corso del tempo, e ad individuare i fattori critici per eventualmente “correggere il tiro”. Ex post: viene fatta alla fine del processo di messa in opera. Ha il compito di analizzare quali sono stati gli esiti di un intervento e quali fattori li hanno determinati. Lo scopo è quello di favorire l’apprendimento dall’esperienza per affrontare meglio gli interventi successivi.

Ciclo di policy e valutazione Attuazione della soluzione 4. La messa in opera Presa d’atto del problema 1. Definizione dell’agenda (Agenda setting) Proposta delle soluzioni 2. Formulazione della policy Scelta della soluzione 3. Processo decisionale Controllo dei risultati 5. La valutazione Valutazione ex-ante Valutazione In itinere Valutazione ex-post

Valutazione e policy making Una politica pubblica viene operazionalizzata in programmi, i quali connettono causalmente gli obiettivi (fini) alle azioni necessarie (mezzi) per raggiungerli. Il policy making è il sistema di relazioni susseguente che si confronta con le incertezza relative a questa relazione causale Incertezza proporzionale ai gradi di complessità e di rilevanza del programma: più ampio è il problema da risolvere e minore è la probabilità di trovare una soluzione al problema di partenza senza che diventi essa stessa un problema (legge delle ampie soluzioni o di Widavsky) Incertezza, necessità di formulare una teoria del cambiamento, necessità di valutare

I principali approcci alla valutazione (1) Approccio sperimentale È l’approccio dei primi studi valutativi, e rimane ancora oggi l’approccio prevalente. Compito della valutazione: verifica della misura in cui gli obiettivi di un programma sono stati raggiunti + verifica che i risultati raggiunti siano direttamente imputabili al programma. Focus su obiettivi, mezzi impiegati e risultati; approccio top-down Centralità del concetto di causalità Strumento/metodo più utilizzato: l’esperimento o il quasi esperimento (confronto tra gruppo sperimentale e gruppo di controllo) Fase più importante: valutazione ex post

I principali approcci alla valutazione (2) Approccio pragmatico Compito della valutazione: fornire conoscenze utili ai decisori su come migliorare una politica pubblica Focus su: contesto e “valori” rispetto ai quali si valuta un programma, come ad es. l’utilità e la capacità di soddisfare le domande degli stakeholders. Gli obiettivi originari non sono più l’unico elemento al centro dell’attenzione. Strumento/metodo: sia metodi quantitativi/sperimentali, sia qualitativi. Fasi più importanti: la messa in opera (valutazione in itinere, “formative”) e la valutazione ex post (summative)

I principali approcci alla valutazione (3) Approccio costruttivista (es Guba e Lincoln 1989) Compito della valutazione: finalità conoscitiva e finalità politica; la valutazione deve servire a far confrontare i punti di vista di tutti gli stakeholders, in modo da chiarire i termini del problema affrontato, comporre i conflitti e permettere ai gruppi più “deboli” di partecipare. Focus su: non si può parlare di un “oggetto” privilegiato della valutazione. La valutazione stessa si attua in un processo di negoziazione che accompagna tutto il corso del programma. I temi rilevanti e i criteri di giudizio sono stabiliti dagli stessi stakeholders. Strumento/metodo: squisitamente qualitativo, ermeneutico/dialettico. Fasi più importanti: tutto il processo di negoziazione

Valutazione e modelli decisionali Modello Decisore Criterio di scelta Tipo di valutazione rilevante Razional-sinottico Unitario Ottimizzazione Modello “pianificazione e controllo”. Monitoraggio per controllare correttezza esecuzione. Analisi risultati NETTI rispetto a ipotesi iniziali. Razionalità limitata Soddisfazione Monitoraggio per adattare i criteri di attuazione ai CONTESTI. Valutazione dei risultati netti e della tenuta della TEORIA Incrementale Frammentato Mutuo aggiustamento partigiano/ accordo Monitoraggio e valutazione dei processi di attuazione per individuare fattori di criticità (specialmente posizioni degli attori). Valutazione dei risultati in relazione alle posizioni dei vari attori e al problema da affrontare. Cestino dei rifiuti Variabile Caso; incontro tra problemi e soluzioni Valutazione dei risultati per individuare la loro utilità rispetto ad un qualche problema. Il monitoraggio non è utile a causa dell’ambiguità del processo stesso. sperimentale approccio pragmatico costruttivista

Valutazione e apprendimento La valutazione delle politiche pubbliche dal punto di vista dell’apprendimento consiste in un processo iterativo in cui gli attori apprendono attivamente la natura dei problemi di policy e delle loro soluzioni. Tramite l’apprendimento, gli attori di policy sono portati a modificare le loro posizioni e a mutare i loro stili d’azione.

Cosa si intende per apprendimento? Accezione strumentale: apprendimento come deliberato tentativo di adattare gli obiettivi e le tecniche di policy alla luce delle conseguenze delle politiche passate, per migliorare l’efficacia dell’intervento pubblico. Accezione adattivo/comportamentale: apprendimento come risposta, non necessariamente consapevole, ad uno stimolo percepito (es. replicazione di soluzioni che in passato hanno avuto successo). Accezione analogica: apprendimento come emulazione di esperienze maturate in altri contesti, a cui si guarda perché insoddisfatti del funzionamento dei programmi in corso ( lesson drawing). Accezione cognitivista: apprendimento come alterazione relativamente persistente delle intenzioni o del comportamento, che risulta dall’esperienza e che implica la revisione dei sistemi di credenza individuali e collettivi.

Natura dell’apprendimento Endogeno: l’apprendimento e l’impulso al cambiamento originano all’interno del processo e al sottosistema di policy (es. insoddisfazione per gli strumenti e le procedure esistenti). Esogeno: l’apprendimento e l’impulso al cambiamento sono originati da mutamenti negli ambienti esterni alla policy (es. crisi finanziaria; mutamento politico; cambio di maggioranza ecc.)

Apprendimento e policy change Il policy change “normale”: gli aggiustamenti derivanti dall’apprendimento sono marginali e interessano prevalentemente gli strumenti o le procedure di policy, senza toccare il modo in cui il problema e le soluzioni sono definiti. È il tipo di policy change più frequente, spesso risultato di spinte endogene al sottosistema di policy. Il policy change “paradigmatico”: in seguito all’apprendimento le politiche vengono totalmente trasformate. L’apprendimento travalica i confini del sottosistema di policy, e porta a una ridefinizione del modo di concettualizzare un problema di rilevanza collettiva. È poco frequente, e spesso origina da pressioni esterne al sottosistema di policy.