La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

1 Università degli Studi di Palermo Facoltà di Economia Corso di Laurea Magistrale in Scienze economiche e finanziarie (LM 56) CURRICULUM: Economia e valutazione.

Presentazioni simili


Presentazione sul tema: "1 Università degli Studi di Palermo Facoltà di Economia Corso di Laurea Magistrale in Scienze economiche e finanziarie (LM 56) CURRICULUM: Economia e valutazione."— Transcript della presentazione:

1 1 Università degli Studi di Palermo Facoltà di Economia Corso di Laurea Magistrale in Scienze economiche e finanziarie (LM 56) CURRICULUM: Economia e valutazione delle politiche pubbliche Corso di Metodi Statistici per la Valutazione delle Politiche Crediti complessivi: 4 (24 ore) Giuseppe Notarstefano

2 2 Valutazione INTERMEDIA o di MEDIO- TERMINE Valutazione In Itinere MONITORAGGIO Valutazione dei risultati e degli impatti ai fini della definizione di INTERVENTI DI CORREZIONE SULLATTUAZIONE La Valutazione In Itinere: questioni rilevanti

3 3 Monitoraggio finanziario e dellattivazione della Spesa Programmata (meccanismi e automatismi di Disimpegno) Monitoraggio legislativo e normativo. Monitoraggio organizzativo. Monitoraggio delle realizzazioni, dei risultati e degli impatti. Il Monitoraggio

4 4 Dati primari e secondari: Primari ossia generati direttamente nella fase di implementazione e attuazione degli interventi (es: attraverso tecniche di Consultazione) Secondari ossia preesistenti ma connessi alla valutazione da un opportuno sistema di METADATI Focus: basi di dati per la valutazione/1 I dati sono prodotti: Ruolo e significato della Meta-Informazione La Qualità dei dati (concetto multidimensionale che attiene al processo di produzione ed a quello di comunicazione)

5 5 Metadati e Meta-Informazione: Classificazioni, definizioni (Glossari) e Metodologie i metadati, secondo la nota definizione dellInternational Organization for Standardization, sono insiemi di definizioni e classificazioni che ci consentono di leggere il dato allinterno di un contesto di riferimento: ad esempio la classificazione delle professioni piuttosto che le branche di attività economica. Non possiamo pertanto trascurare mai di porre domande del tipo: come sono stati prodotti questi dati? Chi è il soggetto che li ha pubblicati? Per quale finalità è stata progettata la rilevazione che li ha generati? Così come è cruciale, nella fase di presentazione e interpretazione, collocare il dato dentro un sistema di informazioni interne che ne favoriscono la lettura: dallindicazione dellunità di misura, al periodo temporale di riferimento, al livello di elaborazione del dato stesso (dato grezzo, numero indice, variazione, etc…). Tabelle, Grafici, Rapporti e Indici non sono i dati ma loro ELABORAZIONI DATI INFORMAZIONE COMUNICAZIONE COMPRENSIONE Focus: basi di dati per la valutazione/2

6 6 La Qualità dei Dati: la rilevanza: è relativa al contesto di indagine in cui quel dato è utilizzato la trasparenza :si riferisce allaccessibilità ossia alla semplicità per lutilizzatore di trovare, acquisire e comprendere linformazione statistica disponibile la comparabilità:si riferisce alla possibilità di compiere confronti spazio-temporali dei dati statistici riguardanti un dato fenomeno la coerenza: si riferisce alle modalità di costruzione dei dati utilizzando standard metodologici e definizioni e classificazioni omogenee laccuratezza: il grado di corrispondenza fra i valori ottenuti ed i valori reali della caratteristiche nella popolazione di riferimento la tempestività: connessa allintervallo temporali che intercorrono tra il momento di rilevazione, quello di diffusione la completezza consiste nella sua capacità di fornire un quadro informativo esaustivo del dominio di interesse Focus: basi di dati per la valutazione/3

7 7 Le Fonti Statistiche: Focus: basi di dati per la valutazione/4 Fonti ufficiali Fonti parallele Enti e istituzioni preposti alla produzione di statistiche dalla normativa vigente Enti e istituzioni che producono statistiche con regolarità temporale, e li distribuiscono gratuitamente o a pagamento - a soci, abbonati, clienti. Istituti o enti che producono e/o diffondono dati statistici Funzione:rilevare elaborare e diffondere informazioni quantitative su fenomeni collettivi, in modo sistematico o periodico a fini conoscitivi e amministrativi

8 8 Il sistema della Statistica Ufficiale: il SISTAN e lISTAT, la statistica 2.0 e il nuovo portale Fonti statistiche e dati amministrativi: prospettive di integrazione Banche dati on line ed off line– Data Warehouse – Sistemi Informativi (SIT e GIS) Principali Banche Dati pubbliche La contabilità nazionale e territoriale secondo il SEC95 I Censimenti Il Sistema degli Indicatori Statistici Territoriali (SITIS) LAtlante dei Comuni e lAtlante provinciale delle Infrastrutture Il Sistema degli Indicatori per le politiche di sviluppo I Conti Pubblici Territoriali Focus: basi di dati per la valutazione/5

9 9 La Banca Dati dei Conti Pubblici Territoriali I Conti Pubblici Territoriali si riferiscono alluniverso del Settore Pubblico Allargato ma consentono una articolazione flessibile per svariati sub-aggregati relativi a: macro-aree e regioni amministrative, classificazioni settoriali, categorie economiche, definizioni di spesa pubblica e soggetti finali di spesa. I CPT

10 10 La verifica del Principio dellADDIZIONALITA Il principio di addizionalità stabilisce che, per assicurare un reale impatto economico, gli stanziamenti dei Fondi Strutturali non possono sostituirsi alle spese pubbliche dello Stato membro. La verifica dell'addizionalità ha luogo in tre momenti differenti di ciascun periodo di programmazione: ex ante, in itinere ed ex post. Nel ciclo : L'art. 15 del Regolamento CE n.1083/2006 prevede che le risorse dei Fondi che concorrono al conseguimento degli obiettivi della politica comunitaria abbiano carattere aggiuntivo rispetto alle risorse pubbliche nazionali destinate ai medesimi obiettivi. L'esperienza realizzata nel ciclo ha segnalato forti difficoltà nel garantire l'aggiuntività della politica regionale comunitaria e nazionale nel Mezzogiorno e, di conseguenza, nel realizzare gli obiettivi complessivi per la spesa in conto capitale lungo il profilo temporale di riferimento. Proprio per questo, l'Italia ha attribuito grande importanza al principio di addizionalità, trasformandolo da obbligo regolamentare a strumento di politica economica e stabilendo l'obiettivo di spesa ex ante da perseguire su basi sufficientemente solide. Fondamentale a tal fine è risultata la possibilità di avvalersi di un sistema informativo estremamente efficace che ha consentito una migliore capacità di ricostruzione dei flussi di spesa, soprattutto attraverso la Banca dati CPT, di previsione delle spese, derivanti anche dai sistemi di monitoraggio e di maggiore chiarezza e certezza alla programmazione delle risorse attraverso l'utilizzo del Quadro Finanziario Unico. I CPT

11 11 La VEP è la valutazione che conclude il Programma (e il Ciclo!) e che ha come obiettivo la misurazione dei risultati, delle evidenze e degli impatti. Risultati e evidenze: valutazione delle Performance ossia assegnare un valore (quantificare/misurare) obiettivi/indicatori stabiliti nella fase di programmazione (VEA) alla luce degli esiti del programma ImpattiEffettiImpatti o Effetti ?: il SUCCESSO di una PP. La Valutazione Ex-Post (VEP): fondamenti e obiettivi/1

12 12 Valutazione Ex Post

13 13

14 14 La nozione di effetto: cruciale definizione per la misurazione Effetto di che cosa su che cosa? Lindividuazione di un nesso di causalità tra ciò che si è verificato e la PP: occorre identificare termini da misurare! La metafora della Terapia (Martini e Sisti, 2009): Variabile TRATTAMENTO e Variabile RISULTATO Concetti chiave: Esperimenti, Causazione, Covariazionee Concausazione (effetti multipli e circolarità) La Valutazione Ex-Post (VEP): fondamenti e obiettivi/2

15 15 Valutare attraverso Logiche o disegni di tipo SPERIMENTALE e NON SPERIMENTALE (Quasi- Sperimentale). La nozione di CONTROFATTUALE Limpatto di una politica viene dunque definito come la differenza tra il valore della variabile-obiettivo, che rappresenta il risultato di interesse osservato dopo che è stata realizzata la policy ed il valore che la medesima variabile avrebbe assunto se non si fosse realizzato il programma. Questultimo scenario, ovvero di assenza di intervento, viene definito come il controfattuale, naturalmente non è direttamente osservabile. Il problema da un punto di vista valutativo è dunque quello di arrivare ad una buona stima di questultimo La Valutazione Ex-Post (VEP): fondamenti e obiettivi/3

16 16 Micropolitiche e macropolitiche: una distinzione utile (Martini e Trivellato, 2011) La Valutazione Ex-Post (VEP): fondamenti e obiettivi/4 Livello di AggregazioneCaratteristiche dellintervento Implicazioni per valutare gli effetti Macro-area di intervento pubblicoPopolazioni diverse, trattamenti eterogenei, tempistiche differenti Difficile definire leffetto della politica Pacchetto di Interventi Pacchetto di interventi Stessa popolazione, trattamenti eterogenei, tempistiche differenti Problematico interpretare leffetto della politica Singolo intervento Stessa popolazione, trattamento tendenzialmente uniforme, simile tempistica Possibile definire e interpretare leffetto, restano i problemi legati allidentificazione causale

17 17 Nascono sulla scia degli studi caso-controllo nellambito clinico-epidemiologico (ma anche agronomico); Il gruppo di controllo assicura il controfattuale e viene selezionato tramite scelta casuale (randomizzazione); Non-compliance with the assignment (non ottemperanza allassegnazione): È il problema metodologico principale consiste nellassicurare lintegrità dellesperimento, ossia la separazione netta tra gruppo dei trattati e gruppo dei non trattati (tre problemi: 1) non show; 2) drop out; 3) cross over. Leffetto – a parità di condizioni rispettate nel disegno – è la differenza tra osservato e controfattuale. Applicabilità limitata a politiche non universali (a copertura parziale). Minacce (esterne) alla validità: difficoltà di generalizzare i risultati. Problemi di carattere etico-legale o politico Esempi nella tradizione anglosassone (Pilots UK e Demonstration USA). La Valutazione Ex-Post (VEP): metodi sperimentali

18 18 Si basano sullidentificazione di una situazione CONTROFATTUALE come termine di paragone Si può scegliere una situazione non osservata riferita a ciò che dovrebbe essere : (Target quantitativi (quanto si è programmato di fare); Standard qualitativi (come dovrebbe essere fatto); Livelli osservati in passato (cosa si è fatto in passato); Livelli osservati altrove (cosa fanno gli altri). Si può scegliere una situazione non osservata che si basa su ciò che sarebbe successo in assenza della politica (es: Disegno a serie storiche interrotte) Alla base di tale logica vi è lo schema di Rubin o dei risultati potenziali tale modello consiste nella possibilità di osservare (e misurare) la differenza di una variabile-risultato Y su un individuo i-esimo che ha ricevuto un trattamento (politica) Y1i ed uno che non lha ricevutoY0i Tale differenza (che indichiamo con δ )si osserva però in media, tenendo conto che, se esiste, leffetto varia da individuo ad individuo Per una formalizzazione del modello si veda Martini e Sisti (2009) La Valutazione Ex-Post (VEP): I metodi non sperimentali

19 19 La Valutazione Ex-Post (VEP): Un approccio grafico

20 20 La stima delleffetto netto viene calcolata come DIFFERENZA NELLE DIFFERENZE tra lEFFETO TOTALE (calcolato come differenza della variabile risultato calcolata nel gruppo dei beneficiari e della stessa calcolata nel gruppo dei non beneficiari) e il CONTROFATTUALE calcolato ipotizzando che alla fine dellintervento si osservi sui beneficiari un intervento parallelo ai non beneficiari). Questo per due motivi che spieghiamo graficamente. La Valutazione Ex-Post (VEP): Differenza nelle differenze

21 21 Lapplicazione di tali metodi offre migliori risultati in termini di stime in presenza di una base di dati che contribuisca alla significatività e correttezza delle valori stimati. Vi sono tuttavia alcune tipologie di problemi che possiamo riassumere in due grandi categorie tipiche della teoria della specificazione nei modelli econometrici: MINACCE INTERNE ALLA VALIDITA Autoselezione e dinamica spontanea Fattori di confondimento (variabili omesse) Effetto fuoriuscita Effetti inerziali MINACCE ESTERNE ALLA VALIDITA Generalizzabilità dei risultati Strategie: analisi di robustezza, comparazione di più metodi, analisi di sensitività e.. Ovviamente incremento dei dati (sia come numerosità del campione che come gamma di variabili) La Valutazione Ex-Post (VEP): questioni metodologiche

22 22 Si tratta di modelli che operano una analisi empirica relativa al funzionamento di strutture ossia di sistemi di relazioni fondate sulla teoria economica e su precisi modelli che orientano e specificano tanto la complessità dei soggetti e la natura dei loro modelli di comportamento quanto larticolazione delle relazioni tra di essi a vario livello di aggregazione (tecnologico-settoriale piuttosto che geografico-territoriale). Limpatto, in tal senso, viene determinato (e misurato) come effetto della variazione di tale struttura e offre uninformazione di carattere generale e sistemica, tale specificità li rende particolarmente utili quali metodi più appropriati per le valutazioni ex ante, ma molti concordano sullopportunità che essi possano essere utili anche nelle altre fasi del ciclo della valutazione. Ci riferiamo principalmente ai modelli basati sullo schema Input-Output e a loro evoluzioni come le matrici di contabilità sociale (SAM, Social Accounting Matrix) e le matrici di contabilità ambientale: si tratta in genere di strumenti analitici ampiamente implementati dagli istituti nazionali di statistica a corredo della tradizionale contabilità nazionale VEP di Macro Politiche: brevi cenni

23 23 VEP di Macro Politiche: tipologie di Impatto Dal punto di vista della dimensione (sfera): impatto economico, ambientale, sociale, …; Dal punto di vista del livello si osservazione: impatto macro, meso o micro; Dal punto di vista della motivazione di misura: impatto come contributo settoriale o come effetto di politiche; Da un punto di vista oggettivo o soggettivo

24 24 VEP di Macro Politiche: schema logico/1

25 25 VEP di Macro Politiche: schema logico/2

26 26 Una MACRO distinzione (di tradizione USA): ANALISI DI IMPLEMENTAZIONE (competenze di ricerca sociale) ANALISI DI IMPATTO (competenze di tipo economico - statistico) Approcci non rivali nella prassi, ma complementari. La Valutazione Ex-Post: metodologie/1

27 27 Il performance budgeting si fonda sul principio che il bilancio pubblico possa essere costruito basandosi sulla performance delle policies; Ciò equivale a dire che esso si possa fondare sugli obiettivi e sui risultati riscontrabili in termini di risultati (output) e di Impatti (outcome) da esse in qualche modo causati. Un tale approccio mira a rendere consapevole e empiricamente fondata la scelta, sempre molto complessa sul piano tecnico e assai sensibile da un punto di vista politico, di sostenere le PP con adeguate e equilibrate risorse finanziarie da evidenziare nel budget del settore pubblico. Si tratta, pertanto, di analizzare e verificare in maniera più puntuale lefficacia delle singole politiche pubbliche – intese innanzitutto, in questo caso, come spese pubbliche. Focus: Il Performance Budgeting: cenni

28 28 Una sfida culturale prima di tutto. Dati e informazioni. Formare i valutatori, struttura le comunità scientifiche. Un approccio integrato: Analisi&Valutazione Il contributo che può venire dai territori nellambito delle politiche di sviluppo La sfida della misurazione degli effetti: ossia misurarsi con la valutazione del successo (o dellinsuccesso) con un approccio laico. Lesperienza della valutazione delle PP in Italia: questioni aperte e sfide


Scaricare ppt "1 Università degli Studi di Palermo Facoltà di Economia Corso di Laurea Magistrale in Scienze economiche e finanziarie (LM 56) CURRICULUM: Economia e valutazione."

Presentazioni simili


Annunci Google