Ministero dell’economia e delle finanze - RGS

Presentazione sul tema: "Ministero dell’economia e delle finanze - RGS"— Transcript della presentazione:

1 Ministero dell’economia e delle finanze - RGS
1 Consiglio italiano per le Scienze Sociali (CSS) per capire e rilanciare l’Italia Sono soldi ben spesi? Perché e come valutare l’efficacia delle politiche pubbliche Aline Pennisi Ministero dell’economia e delle finanze - RGS 14 giugno 2011

2 principali messaggi del libro bianco
2 principali messaggi del libro bianco circoscrive il concetto di “valutazione” (termine generalmente utilizzato per indicare attività molto diverse) valutare l’efficacia delle politiche intesa come capacità di produrre gli effetti desiderati individuare i motivi del ritardo italiano nell’introdurre la valutazione degli effetti come strumento di aiuto alle decisioni presentare a un pubblico non specialista alcuni dei metodi disponibili per la valutazione degli effetti la valutazione contribuisce anche a migliorare la qualità e vivacità del dibattito pubblico, con benefici in termini di: maggiore consenso per avviare cambiamenti nelle politiche esistenti e superare lo status quo maggiore capacità di esplicitare i bisogni della società l’approccio priviliegato è quello controfattuale e, in particolare, dell’esperimento randomizzato (RCTs) si focalizza l’attenzione su singoli interventi con popolazioni di beneficari omogenei e trattamento tendenzialmente uniforme

3 buone motivazioni per valutare l’efficacia delle politiche
3 buone motivazioni per valutare l’efficacia delle politiche There is nothing a Government hates more than to be well-informed; for it makes the process of arriving at decisions much more complicated and difficult. -- John Maynard Keynes per i politici legittimazione e accountability nei confronti di cittadinanza / elettori maggiori capacità negoziali con parti che vestono interessi conflittuali per i policy-makers (disegnano la politica, scrivono le norme) migliore capacità di decidere come allocare le scarse risorse disponibili tra diverse opzioni di intervento spinta a “sperimentare” / individuare meccanismi innovativi per rispondere ai bisogni della società maggiore fiducia nell’amministrazione da parte dell’opinione pubblica ma anche per i practitioners e service providers (gli insegnanti, gli operatori sociali, gli agenti che attuano operativamente gli interventi/ impartiscono il “trattamento”) hanno spesso domande “più semplici” e “ meno multi-dimensionali” a cui rispondere (più adatte ai RCTs) le modalità effettive di attuazione di un intervento “nascondono” spesso dettagli fondamentali (come mostra la letteratura dei RCTs, es. Banerjee / Duflo, 2011)

4 la valutazione va disegnata assieme all’intervento
4 la valutazione va disegnata assieme all’intervento Utilizzare esperimenti randomizzati richiede un cambiamento nel modo di disegnare gli interventi, ma porta anche molti benefici in termini di: razionalizzazione del disegno dell’intervento esplicitando le varabili-risultato introducendo sin dall’inizio “varianti” del trattamento da testare rendendo più trasparenti i meccanismi di selezione dei beneficiari (la stessa selezione casualmente…) riduzione dei costi della valutazione orientando i sistemi di gestione e monitoraggio dell’intervento in maniera da fornire dati indispensabili per la valutazione RCTs possono fornire evidenze “forti” con campioni piccoli e (per gli effetti di breve) in tempi relativamente rapidi confronto con “problemi” (imprevisti) in corso di attuazione per garantire la validità dell’esperimento diventa fondamentale porsi il problema della non-contaminazione tra gruppo di trattamento e controllo e delle cadute (attrition) nel gruppo di trattamento …. gettando luce su dettagli dell’implementazione

5 5 anche con una valutazione controfattuale è a volte difficile fornire risposte sul “che fare?” le evidenze possono essere ambigue o addirittura contraddittorie un caso classico della letteratura, Minneapolis Domestic Violence Experiment, nel campo della giustizia criminale (Sherman and Berk, 1984), ma anche di molti altri interventi (cfr. What Works Clearinghouse) se l’effetto è zero vuol dire davvero che l’intervento “non funziona”? il “dosaggio” potrebbe essere troppo basso, le variabili-risultato potrebbero essere mal individuate (effetti attesi irrealistici e/o non condivisi dalla comunità di practitioners) anche in settori in cui RCTs sono lo standard, si praticano ampiamente altre metodologie nell’intento di capire perché un effetto si produce o meno se l’effetto è positivo, lo stesso intervento funzionerà a regime e/o altrove? il problema più grosso dell’approccio controfattuale è la cd. “validità esterna” … Evidenza "debole" - uno solo studio, una sola scuola e campione inferiore a 350 studenti o 14 classi; evidenza "forte" - più di uno studio, più di una scuola e campione di almeno 350 studenti o 14 classi. (

6 valutazione degli effetti e riqualificazione della spesa
6 valutazione degli effetti e riqualificazione della spesa Le sfide per la riqualificazione della spesa sono due: migliorare le prestazioni della pubblica amministrazione e il funzionamento ordinario dei servizi sperimentare / riformare le politiche per rispondere a nuove crescenti esigenze della società (competenze, immigrazione, invecchiamento, innovazione tecnologica, ambiente, …) l’approccio del Libro bianco enfatizza il contributo della valutazione al secondo aspetto, tuttavia può essere utile anche per il primo spingere alla misurazione della quantità e qualità dei servizi erogati (senza la quale è difficile analizzare l’efficienza produttiva e organizzativa) individuare correttivi alle modalità operative esistenti (per es., capire come migliorare il targeting dei beneficiari, come fornire incentivi agli operatori, etc.) e riformare le politiche esistenti con pacchetti di interventi dimostratisi empiricamente efficaci (per es., riforme Hartz in Germania) E’ però importante non restringere il campo della valutazione agli interventi sperimentali e “replicabili” (molte politiche hanno popolazioni di beneficiari eterogenei e trattamenti non uniformi e la ricerca applica fornisce altri strumenti per fornire utili indicazioni …) 6

7 opportunità per la valutazione degli effetti
7 opportunità per la valutazione degli effetti E’ più semplice avviare grandi stagioni di valutazione in “good times” … maggiore disponibilità di risorse finanziare con cui sperimentare nuovi interventi risorse finanziare e tempo da dedicare alla valutazione degli interventi … ma è tanto più necessario oggi per imparare come evitare i cd. “tagli lineari” alla spesa esistono molti presupposti in tal senso a cui però non sono ancora conseguiti risultati visibili: normativa sull’AIR/VIR “Relazione sullo stato della spesa” che ciascun Ministro invia al Parlamento annualmente entro il 15 giugno (legge n. 244/2007) l’introduzione di un programma (prima straordinario e ora permanente) di analisi e valutazione della spesa pubblica affidato al Ministero dell’economia e delle finanze e la recente istituzione di Nuclei di analisi e valutazione della spesa. Come ambito di collaborazione tra ciascun amministrazione e il MEF/RGS, con compiti di individuazione delle aree di inefficienza della spesa e di inefficacia delle politiche perseguite 7

8 ricercatori e funzionari pubblici
8 ricercatori e funzionari pubblici Potrebbero essere i protagonisti principali di un cambiamento verso una maggiore pratica di valutazione delle politiche. Oltre a impegni dall’alto, possono essere maggiormente mobilitati dal basso … ricercatori la comunità accademica è chiamata a contribuire … ma i ricercatori sono guidati da ciò che è pubblicabile su riviste internazionali (interventi specifici al contesto italiano e interventi che hanno effetto zero non sono particolarmente allettanti, come non lo sono studi che replicano precedenti valutazioni …) funzionari pubblici per essere utilizzata (e più facilmente accettata), la valutazione deve essere fatta anche “dall’interno delle amministrazioni” (meglio competenze più diffuse o luoghi deputati di eccellenza?) naturalmente serve anche acquisire strumenti pratici per affidare una valutazione all’esterno (dall’elaborazione ed espressione di domande di valutazione, alla selezione dei valutatori, alla gestione del processo, alla diffusione dei risultati) … e per questo esistono spazi di formazione (rafforzare le iniziative di CAPIRE, progetto NUVAL ma anche introdurre moduli ad hoc nelle scuole SSEF e SSPA) 8

9 offerta: migliorare qualità e accessibilità dei dati
9 offerta: migliorare qualità e accessibilità dei dati “open government data” superare le difficoltà di diffusione di microdati amministrativi e di indagini favorire la creazione di dati longitudinali (nel rispetto della privacy) indispensabili in molti campi come quello dell’istruzione e delle politiche sociali per seguire nel tempo gli effetti rendere i dati accessibili a TUTTI, non solo ai “ricercatori accreditati” curare la maggiore fruibilità via internet (cfr. il successo dell’indagine OECD- PISA) ricordando che queste azioni portano benefici di per sé (prima ancora dei risultati delle valutazioni): costringono gli annunci politici ad essere più fattuali incoraggiano la creazione di una domanda di valutazione favoriscono lo sviluppo di studi condotti in modo spontaneo 9

10 domanda: adempimenti normativi e clausole valutative
1010 domanda: adempimenti normativi e clausole valutative Regolamenti UE per la politica di coesione: occasioni per il Gli obblighi di valutazione imposti nei precedenti cicli di programmazione per le politiche di coesione (Reg. 1260/99 e Reg.1083/2006) hanno avuto effetti solo parzialmente positivi in termini della diffusione di una pratica di valutazione e di disponibilità di risorse per farla, anche perché: mentre la valutazione ex-ante e in itinere sono poste sotto la responsabilità dei singoli Stati Membri, la valutazione ex-post (quindi quella di impatto) rientra esclusivamente nella responsabilità della Commissione Europea e non degli Stati Membri … Clausole valutative nelle norme che definiscono l’intervento l’inserimento di clausole valutative, soprattutto per interventi che hanno una dichiarata natura sperimentale, favorisce l’introduzione del disegno della valutazione sin dal disegno dell’intervento più che introdurre clausole “sunset”, occorre orientare le clausole valutative in maniera da assicurare: la disponibilità dei dati necessari e la loro accessibilità a terzi un sistema di governance della valutazione per mettere assieme i funzionari pubblici e i ricercatori 10

11 domanda: creare incentivi per l’utilizzo della valutazione
1111 domanda: creare incentivi per l’utilizzo della valutazione la fissazione di tetti di spesa pluriennali per le amministrazioni e target quantificati la stagione di evidence-based policy nel UK è stata accompagnata dagli accordi di servizio pubblico (PSAs) e accordi di servizi erogati (SDAs), accompagnati da periodici esercizi di revisioni della spesa (spending reviews) e tetti di spesa per i budget dei Ministeri. Questo tipo di impianto favorisce: la definizione degli obiettivi misurabili associati ai principali programmi di spesa, ossia un’esplicitazione degli effetti desiderati la responsabilizzazione dei dirigenti pubblici rispetto al raggiungimento di risultati con un vincolo finanziario complessivo, creando maggiore pressione per l’individuazione di interventi efficaci la riforma delle legge di contabilità e finanza pubblica (n. 196/2009) contiene alcuni elementi da valorizzare in tal senso (voto parlamentare a livello di programma di spesa, univoca identificazione tra programma e CDR, indicatori da associare ai programmi, programmazione pluriennale, delega all’art.40 con “tetti di spesa”, …) il maggiore decentramento dei servizi e l’attuazione del federalismo fiscale creano le condizioni per sperimentare un laboratorio di politiche diversificate e per sviluppare un nuovo ruolo tra centro e periferia sul raggiungimento di risultati a fronte di un vincolo rigido sulle risorse trasferite (LEP e obiettivi di servizio) 11