La valutazione e le sue forme

Natura della valutazione Un insieme di attività che rientrano nelle tecniche della ricerca sociale ed orientate a raccogliere e documentare evidenze empiriche sull’impiego di programmi/politiche Un prodotto che si realizza on demand, su richiesta specifica di uno o più committenti Una ricerca sociale ad hoc, che analizza processi ed effetti di un singolo intervento e che non è generalizzabile

Gli “oggetti” della valutazione amministrativa Risultati Output (prodotti “fisici”) ( EFFICIENZA: rapporto mezzi impiegati/output prodotti) Outcomes (esiti sostantivi) ( EFFICACIA: qualità degli esiti rispetto agli obiettivi) Impatto (tutti i possibili effetti di una politica pubblica, anche in altri settori o sul sistema politico) Processo: Si esaminano i metodi, le regole, e le procedure impiegati durante l’attuazione dei programmi.

Struttura della valutazione Tre elementi da individuare per valutare: Il fenomeno da studiare (evaluando) Il criterio Il parametro (misura di riferimento da confrontare con il valore reale ottenuto)

Criteri di valutazione Efficienza. Rapporto tra risultati conseguiti e risorse utilizzate Efficacia. Si divide in due tipi interna (o gestionale): risultati/obiettivi prefissati Esterna (o sociale): risultati/bisogni iniziali Economicità:capacità di raggiungere risultati apprezzabili a costi contenuti (= efficacia/efficienza) Rilevanza: gli obiettivi del programma sono davvero in relazione ai bisogni sociali? (= obiettivi/bisogni) Utilità: risultati/soddisfazione dei destinatari Equità:distribuzione dei costi/distribuzione dei benefici Coerenza: Interna: obiettivi/finalità del programma Esterna obiettivi/finalità politiche del decisore

Definizione del parametro Il parametro è essenziale per formulare un giudizio sul risultato (giudizio = effetto atteso (parametro) – effetto osservato (metro) Tre diversi tipi di parametro adottabili: Standard: valore definito arbitrariamente dai policy maker e spesso indicato in leggi o direttive comunitarie Benchmark: valore che rappresenta un’aspettativa di eccellenza Controfattuale: valore rilevato in una parte della popolazione non investita dalla politica oggetto di valutazione

Disegno della ricerca Due tipi di schemi di ricerca per valutare una politica: Standardizzato: consiste nel riordinare il processo decisionale che ha condotto all’adozione di un provvedimento ammettendo che abbia una linearità logica che permetta l’individuazione dei suoi obiettivi Comprensivo: si convocano gli stakeholder e si identificano assieme a loro gli scopi della politica costruendola o ricostruendola assieme a loro (e definendone gli obiettivi e le variabili) Primo disegno ideale per valutazione ex-post, secondo per valutazione ex-ante, entrambi per valutazione in itinere

La valutazione ex-ante

A che serve? Ad informare e a far riflettere i decisori di un intervento sulle potenzialità di quest’ultimo stimandone effetti e dinamiche Anticipare i risultati di un intervento per permetterne la progettazione È complementare alla valutazione ex- post

Tipi di impiego della valutazione ex-ante In generale: Per ridurre i limiti della razionalità decisionale dei decision maker Per prevenire l’aggiramento di regole o per supervisionare i policy maker In casi specifici A fini di staffing per integrare azione dei decisori con il giudizio di un esperto (es. analisi d’impatto della regolazione in supporto ai parlamentari) A fini di auditing per rassicurare collettività ed istituzioni sugli effetti di una determinata scelta (es. valutazione d’impatto ambientale)

Tecniche per la valutazione ex-ante Spesso si ricorre ad analisi di efficienza derivate da metodi econometrici. Ci sono tre categorie: Analisi costi-benefici, basata sul principio della monetizzazione Analisi costi-efficacia. Si monetizzano i costi ma non i benefici per i quali si utilizza un’unità di misura non monetaria. Infine si creano degli indici costo/efficacia. Utile quando si devono valutare i benefici inerenti il benessere fisico e psicologico delle persone. Analisi costi-utilità. Utilizzato per le politiche sanitarie, si basa sul calcolo dell’utilità dell’intervento tramite il QALY (quality adjusted life year, anno di vita guadagnato ponderato per la qualità della vita)

La valutazione in itinere

Scopo della valutazione in itinere Anticipare la rilevazione dei fattori problematici dall’outcome al processo di attuazione, in modo da poter restituire ai policy maker una razionalità decisionale orientata alla correzione o alla modifica degli errori riscontrati ancora durante la loro messa in opera. Maggiore è la distanza cognitiva tra policy maker iniziali e finali maggiore è l’utilità di adottare la valutazione in itinere. La valutazione in itinere consente un recupero di controllo sulla fase di attuazione del policy making al fine di restituirgli unitarietà cognitiva Consente di aiutare i decision maker nella rimodulazione dei programmi in corso d’opera (staffing) Monitorare l’attuazione dei programmi tramite valutazioni intermedie (monitoring)

Il problema del controllo durante l’implementazione I processi di attuazione segnati da eventi imprevisti quali: Rimodulazione delle risorse Riformulazione degli obiettivi Affiorare di interessi partigiani Ingerenze esterne (es. gruppi di pressione) I decision maker puntano a controllare l’azione degli implementer per evitare la manipolazione delle scelte compiute da organi rappresentativi. Sospettosità degli implementer verso valutazioni in itinere

L’implementazione come scatola nera del policy making Difficile analizzare l’implementazione perché costituita da processi poco visibili (concentrata negli uffici amministrativi o in livelli amministrativi minori) e per la grande quantità di aggiustamenti ed eventi imprevisti Un approccio analitico suddiviso in tre operazioni: Analisi cronologica Analisi degli attori e delle poste in gioco Analisi delle interazioni e dei giochi

Analisi cronologica Consiste nella ricostruzione degli eventi (anche quelli minori ed apparentemente trascurabili) compilazione di un diario modulare che colleghi ai vari eventi i diversi stakeholder implicati

Analisi degli attori e delle loro poste in gioco Consiste nella ricostruzione tramite un diagramma (tramite tecniche di network analysis) del sistema di relazioni tra stakeholder Serve a classificare stakeholder e e rapporti di potere tra loro

Analisi delle interazioni Consiste nel ricostruire i ruoli ed i meccanismi d’interazione (posizione degli attori, risorse di cui dispongono e loro impiego, fattori di successo e insuccesso che hanno condotto agli esiti osservati) Punta a giudicare il tipo d’interazione (gioco) che ha determinato l’esito finale 4 possibili giochi: a somma positiva: tutti conseguono almeno in parte la posta in gioco A somma negativa: pochi vincono, gli altri perdono A somma zero: nessuno consegue la posta in gioco A somma mista: qualcuno guadagna e qualcuno perde in misura variabile e da determinare volta per volta

Il monitoraggio (1) I sistemi di monitoraggio della performance come metodologia ottimale per la valutazione in itinere Un’analisi simultanea: rendere conto degli andamenti degli eventuali scostamenti mentre l’azione procede Il monitoraggio non è la valutazione ma ne costituisce la piattaforma informativa

Il monitoraggio (2) Consiste nella predisposizione di un’architettura di indicatori che rilevano la prestazione delle singole politiche pubbliche (indicatori di performance) L’indicatore di performance è una misura di tipo quantitativo di un fenomeno correlato alla politica pubblica da misurare Monitoraggio simile al controllo di gestione nel caso della contabilità 2 tipi di monitoraggio: Monitoraggio confermativo Monitoraggio esplicativo

Monitoraggio confermativo Permette di formulare un giudizio sull’aderenza tra disegno e realtà (cioè obiettivi pianificati e obiettivi raggiunti ad un certo momento dell’implementazione) ed eventualmente di correggere gli scostamenti. Soddisfa la necessità dei decision maker di tenere sotto controllo gli implementer. Domanda fondamentale: come sta andando? Gli indicatori di performance sono già dati nel policy design e se ne cerca solo la conferma. Esempi: Impiego delle risorse Coerenza tra azioni pianificate e azioni realizzate Attuabilità dei progetti Tempistica (rispetto dei tempi previsti per le varie fasi o per l’intero programma I più importanti sistemi di monitoraggio confermativo sono quelli disposti dalla Commissione europea Con il monitoraggio confermativo c’è il rischio di concludere che “la terapia è stata condotta in modo eccellente, ma il paziente è morto”

Monitoraggio esplorativo Spesso i policy maker necessitano di strumenti per navigare a vista e per reinventare politiche Il monitoraggio esplorativo orientato all’individuazione di situazioni connesse alla politica pubblica in atto ma non riconducibile solo ad essa. Il monitoraggio esplorativo mira ad analizzare l’evoluzione dei problemi nel mentre si praticano gli interventi, non la messa in opera delle soluzioni mediante gli interventi

Benchmarking come metodo di valutazione Letteralmente traducibile con “fissare punti di riferimento” Una logica di valutazione estremamente semplice, basata sull’identificazione di best practice da prendere a modello per riprogrammare i processi d’implementazione I policy maker invece di governare i processi impongono agli implementer dei parametri di prestazione, detti appunto benchmark (es. budget) suggeriti dai risultati ottenuti con le best practice. La valutazione si base sul rispetto o sugli scostamenti tra benchmark e risultati ottenuti. Scopo del benchmarking è l’apprendimento attraverso il confronto, la condivisione e l’imitazione.

Determinazione delle best practices Possono essere individuati tramite: Misurazione sistematica. Si misurano i risultati ottenuti con le diverse practice e si stabilisce la best practice Giudizio di un esperto che suggerisce i valori soglia Accordo tra i partecipanti al benchmarking per stabilire valori soglia.

Requisiti per l’identificazione delle best practices Successo nel tempo. Risultati non effimeri e comprovati da serie storiche Quantificazione. Le best practice individuate con parametri quantitativi Innovatività riconosciuta da altri enti Outcome indubbiamente positivo Ripetibilità e trasferibilità ad altre politiche Importanza locale e d’impatto sul contesto (practice già assimilata e non rifiutata dall’organizzazione o settore di policy) Generalizzabilità

La valutazione ex-post

Scopi della valutazione ex-post Compito riepilogativo Far sì che i policy maker prendano coscienza di risultati, errori ed esperienze per migliorare in futuro il proprio lavoro Accountability verticale: mostrare ai cittadini effetti e risultati della politica Accountability orizzontale: mostrare alle altre istituzioni l’adeguatezza degli obiettivi della politica in termini normativi, organizzativi, economici e di cambiamento apportato Mostrare a tutti se la politica ha funzionato

Impieghi della valutazione ex-post Piloting: per valutare gli effetti di una politica testata su un campione di soggetti prima di attuarla in larga scala Staffing: come strumento di supporto decisionale ai policy maker Oversighting: come strumento di supporto al controllo delle attività di un ente o istituzione da parte di un altro ente o istituzione (es. parlamento su governo) Auditing: come strumento di controllo di trasparenza, affidabilità, efficacia ed efficienza della spesa. Affidato ad autorità indipendenti, è proprio del’Unione europea (es. valutazione utilizzo fondi strutturali)

Tipi di valutazione ex-post Analisi del raggiungimento dei fini: il valutatore si limita alla verifica del grado di discrepanza tra fini, obiettivi, prodotti generati (output) ed effetti susseguenti (outcome) Analisi indipendente dai fini: si ignorano le finalità del programma e ci si dedica invece alla ricerca di cosa il programma stia effettivamente producendo Analisi degli effetti collaterali: ispirata dalla teoria delle conseguenze inattese dell’azione razionale (Merton, 1938). Non esclude analisi del raggiungimento dei fini, ma si basa sulla scomposizione tra effetti principali (raggiungibile con le due altre tecniche) ed effetti collaterali.