La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

Consiglio italiano per le Scienze Sociali (CSS) per capire e rilanciare lItalia Sono soldi ben spesi? Perché e come valutare lefficacia delle politiche.

Presentazioni simili


Presentazione sul tema: "Consiglio italiano per le Scienze Sociali (CSS) per capire e rilanciare lItalia Sono soldi ben spesi? Perché e come valutare lefficacia delle politiche."— Transcript della presentazione:

1 Consiglio italiano per le Scienze Sociali (CSS) per capire e rilanciare lItalia Sono soldi ben spesi? Perché e come valutare lefficacia delle politiche pubbliche Aline Pennisi Ministero delleconomia e delle finanze - RGS 14 giugno 2011

2 principali messaggi del libro bianco circoscrive il concetto di valutazione (termine generalmente utilizzato per indicare attività molto diverse) o valutare lefficacia delle politiche intesa come capacità di produrre gli effetti desiderati individuare i motivi del ritardo italiano nellintrodurre la valutazione degli effetti come strumento di aiuto alle decisioni presentare a un pubblico non specialista alcuni dei metodi disponibili per la valutazione degli effetti la valutazione contribuisce anche a migliorare la qualità e vivacità del dibattito pubblico, con benefici in termini di: o maggiore consenso per avviare cambiamenti nelle politiche esistenti e superare lo status quo o maggiore capacità di esplicitare i bisogni della società lapproccio priviliegato è quello controfattuale e, in particolare, dellesperimento randomizzato (RCTs) si focalizza lattenzione su singoli interventi con popolazioni di beneficari omogenei e trattamento tendenzialmente uniforme

3 There is nothing a Government hates more than to be well-informed; for it makes the process of arriving at decisions much more complicated and difficult. -- John Maynard Keynes buone motivazioni per valutare lefficacia delle politiche per i politici o legittimazione e accountability nei confronti di cittadinanza / elettori o maggiori capacità negoziali con parti che vestono interessi conflittuali per i policy-makers (disegnano la politica, scrivono le norme) o migliore capacità di decidere come allocare le scarse risorse disponibili tra diverse opzioni di intervento o spinta a sperimentare / individuare meccanismi innovativi per rispondere ai bisogni della società o maggiore fiducia nellamministrazione da parte dellopinione pubblica ma anche per i practitioners e service providers (gli insegnanti, gli operatori sociali, gli agenti che attuano operativamente gli interventi/ impartiscono il trattamento) o hanno spesso domande più semplici e meno multi-dimensionali a cui rispondere (più adatte ai RCTs) o le modalità effettive di attuazione di un intervento nascondono spesso dettagli fondamentali (come mostra la letteratura dei RCTs, es. Banerjee / Duflo, 2011)

4 la valutazione va disegnata assieme allintervento Utilizzare esperimenti randomizzati richiede un cambiamento nel modo di disegnare gli interventi, ma porta anche molti benefici in termini di: razionalizzazione del disegno dellintervento o esplicitando le varabili-risultato o introducendo sin dallinizio varianti del trattamento da testare o rendendo più trasparenti i meccanismi di selezione dei beneficiari (la stessa selezione casualmente…) riduzione dei costi della valutazione o orientando i sistemi di gestione e monitoraggio dellintervento in maniera da fornire dati indispensabili per la valutazione o RCTs possono fornire evidenze forti con campioni piccoli e (per gli effetti di breve) in tempi relativamente rapidi confronto con problemi (imprevisti) in corso di attuazione o per garantire la validità dellesperimento diventa fondamentale porsi il problema della non-contaminazione tra gruppo di trattamento e controllo e delle cadute (attrition) nel gruppo di trattamento …. gettando luce su dettagli dellimplementazione

5 anche con una valutazione controfattuale è a volte difficile fornire risposte sul che fare? le evidenze possono essere ambigue o addirittura contraddittorie o un caso classico della letteratura, Minneapolis Domestic Violence Experiment, nel campo della giustizia criminale (Sherman and Berk, 1984), ma anche di molti altri interventi (cfr. What Works Clearinghouse) se leffetto è zero vuol dire davvero che lintervento non funziona? o il dosaggio potrebbe essere troppo basso, le variabili-risultato potrebbero essere mal individuate (effetti attesi irrealistici e/o non condivisi dalla comunità di practitioners) o anche in settori in cui RCTs sono lo standard, si praticano ampiamente altre metodologie nellintento di capire perché un effetto si produce o meno se leffetto è positivo, lo stesso intervento funzionerà a regime e/o altrove? o il problema più grosso dellapproccio controfattuale è la cd. validità esterna … Evidenza "debole" - uno solo studio, una sola scuola e campione inferiore a 350 studenti o 14 classi; evidenza "forte" - più di uno studio, più di una scuola e campione di almeno 350 studenti o 14 classi. (http://ies.ed.gov/ncee/wwc/)

6 valutazione degli effetti e riqualificazione della spesa 6 Le sfide per la riqualificazione della spesa sono due: o migliorare le prestazioni della pubblica amministrazione e il funzionamento ordinario dei servizi o sperimentare / riformare le politiche per rispondere a nuove crescenti esigenze della società (competenze, immigrazione, invecchiamento, innovazione tecnologica, ambiente, …) lapproccio del Libro bianco enfatizza il contributo della valutazione al secondo aspetto, tuttavia può essere utile anche per il primo o spingere alla misurazione della quantità e qualità dei servizi erogati (senza la quale è difficile analizzare lefficienza produttiva e organizzativa) o individuare correttivi alle modalità operative esistenti (per es., capire come migliorare il targeting dei beneficiari, come fornire incentivi agli operatori, etc.) e riformare le politiche esistenti con pacchetti di interventi dimostratisi empiricamente efficaci (per es., riforme Hartz in Germania) E però importante non restringere il campo della valutazione agli interventi sperimentali e replicabili (molte politiche hanno popolazioni di beneficiari eterogenei e trattamenti non uniformi e la ricerca applica fornisce altri strumenti per fornire utili indicazioni …)

7 opportunità per la valutazione degli effetti 7 E più semplice avviare grandi stagioni di valutazione in good times … o maggiore disponibilità di risorse finanziare con cui sperimentare nuovi interventi o risorse finanziare e tempo da dedicare alla valutazione degli interventi … ma è tanto più necessario oggi per imparare come evitare i cd. tagli lineari alla spesa o esistono molti presupposti in tal senso a cui però non sono ancora conseguiti risultati visibili: - normativa sullAIR/VIR - Relazione sullo stato della spesa che ciascun Ministro invia al Parlamento annualmente entro il 15 giugno (legge n. 244/2007) - lintroduzione di un programma (prima straordinario e ora permanente) di analisi e valutazione della spesa pubblica affidato al Ministero delleconomia e delle finanze e la recente istituzione di Nuclei di analisi e valutazione della spesa. Come ambito di collaborazione tra ciascun amministrazione e il MEF/RGS, con compiti di individuazione delle aree di inefficienza della spesa e di inefficacia delle politiche perseguite

8 ricercatori e funzionari pubblici 8 Potrebbero essere i protagonisti principali di un cambiamento verso una maggiore pratica di valutazione delle politiche. Oltre a impegni dallalto, possono essere maggiormente mobilitati dal basso … ricercatori o la comunità accademica è chiamata a contribuire … ma i ricercatori sono guidati da ciò che è pubblicabile su riviste internazionali (interventi specifici al contesto italiano e interventi che hanno effetto zero non sono particolarmente allettanti, come non lo sono studi che replicano precedenti valutazioni …) funzionari pubblici o per essere utilizzata (e più facilmente accettata), la valutazione deve essere fatta anche dallinterno delle amministrazioni (meglio competenze più diffuse o luoghi deputati di eccellenza?) o naturalmente serve anche acquisire strumenti pratici per affidare una valutazione allesterno (dallelaborazione ed espressione di domande di valutazione, alla selezione dei valutatori, alla gestione del processo, alla diffusione dei risultati) … e per questo esistono spazi di formazione (rafforzare le iniziative di CAPIRE, progetto NUVAL ma anche introdurre moduli ad hoc nelle scuole SSEF e SSPA)

9 offerta: migliorare qualità e accessibilità dei dati 9 open government data o superare le difficoltà di diffusione di microdati amministrativi e di indagini o favorire la creazione di dati longitudinali (nel rispetto della privacy) indispensabili in molti campi come quello dellistruzione e delle politiche sociali per seguire nel tempo gli effetti o rendere i dati accessibili a TUTTI, non solo ai ricercatori accreditati o curare la maggiore fruibilità via internet (cfr. il successo dellindagine OECD- PISA) o ricordando che queste azioni portano benefici di per sé (prima ancora dei risultati delle valutazioni): - costringono gli annunci politici ad essere più fattuali - incoraggiano la creazione di una domanda di valutazione - favoriscono lo sviluppo di studi condotti in modo spontaneo

10 domanda: adempimenti normativi e clausole valutative 10 Regolamenti UE per la politica di coesione: occasioni per il o Gli obblighi di valutazione imposti nei precedenti cicli di programmazione per le politiche di coesione (Reg. 1260/99 e Reg.1083/2006) hanno avuto effetti solo parzialmente positivi in termini della diffusione di una pratica di valutazione e di disponibilità di risorse per farla, anche perché: - mentre la valutazione ex-ante e in itinere sono poste sotto la responsabilità dei singoli Stati Membri, la valutazione ex-post (quindi quella di impatto) rientra esclusivamente nella responsabilità della Commissione Europea e non degli Stati Membri … Clausole valutative nelle norme che definiscono lintervento o linserimento di clausole valutative, soprattutto per interventi che hanno una dichiarata natura sperimentale, favorisce lintroduzione del disegno della valutazione sin dal disegno dellintervento o più che introdurre clausole sunset, occorre orientare le clausole valutative in maniera da assicurare: - la disponibilità dei dati necessari e la loro accessibilità a terzi - un sistema di governance della valutazione per mettere assieme i funzionari pubblici e i ricercatori

11 domanda: creare incentivi per lutilizzo della valutazione 11 la fissazione di tetti di spesa pluriennali per le amministrazioni e target quantificati o la stagione di evidence-based policy nel UK è stata accompagnata dagli accordi di servizio pubblico (PSAs) e accordi di servizi erogati (SDAs), accompagnati da periodici esercizi di revisioni della spesa (spending reviews) e tetti di spesa per i budget dei Ministeri. Questo tipo di impianto favorisce: - la definizione degli obiettivi misurabili associati ai principali programmi di spesa, ossia unesplicitazione degli effetti desiderati - la responsabilizzazione dei dirigenti pubblici rispetto al raggiungimento di risultati con un vincolo finanziario complessivo, creando maggiore pressione per lindividuazione di interventi efficaci - la riforma delle legge di contabilità e finanza pubblica (n. 196/2009) contiene alcuni elementi da valorizzare in tal senso (voto parlamentare a livello di programma di spesa, univoca identificazione tra programma e CDR, indicatori da associare ai programmi, programmazione pluriennale, delega allart.40 con tetti di spesa, …) o il maggiore decentramento dei servizi e lattuazione del federalismo fiscale creano le condizioni per sperimentare un laboratorio di politiche diversificate e per sviluppare un nuovo ruolo tra centro e periferia sul raggiungimento di risultati a fronte di un vincolo rigido sulle risorse trasferite (LEP e obiettivi di servizio)


Scaricare ppt "Consiglio italiano per le Scienze Sociali (CSS) per capire e rilanciare lItalia Sono soldi ben spesi? Perché e come valutare lefficacia delle politiche."

Presentazioni simili


Annunci Google