Giuseppe Notarstefano

Presentazione sul tema: "Giuseppe Notarstefano"— Transcript della presentazione:

1 Giuseppe Notarstefano
Università degli Studi di Palermo Facoltà di Economia Corso di Laurea Magistrale in Scienze economiche e finanziarie (LM 56) CURRICULUM: Economia e valutazione delle politiche pubbliche Corso di Metodi Statistici per la Valutazione delle Politiche Crediti complessivi: 4 (24 ore) Giuseppe Notarstefano

2 Valutazione INTERMEDIA o di MEDIO-TERMINE
La Valutazione In Itinere: questioni rilevanti Valutazione INTERMEDIA o di MEDIO-TERMINE Valutazione In Itinere ≠ MONITORAGGIO Valutazione dei risultati e degli impatti ai fini della definizione di INTERVENTI DI CORREZIONE SULL’ATTUAZIONE

3 Il Monitoraggio Monitoraggio finanziario e dell’attivazione della Spesa Programmata (meccanismi e automatismi di Disimpegno) Monitoraggio legislativo e normativo. Monitoraggio organizzativo. Monitoraggio delle realizzazioni, dei risultati e degli impatti.

4 Focus: basi di dati per la valutazione/1
Dati primari e secondari: Primari ossia generati direttamente nella fase di implementazione e attuazione degli interventi (es: attraverso tecniche di Consultazione) Secondari ossia preesistenti ma connessi alla valutazione da un opportuno sistema di METADATI I dati sono “prodotti”: Ruolo e significato della Meta-Informazione La Qualità dei dati (concetto multidimensionale che attiene al processo di produzione ed a quello di comunicazione)

5 DATI  INFORMAZIONE  COMUNICAZIONE  COMPRENSIONE
Focus: basi di dati per la valutazione/2 Metadati e Meta-Informazione: Classificazioni, definizioni (Glossari) e Metodologie i metadati, secondo la nota definizione dell’International Organization for Standardization, sono insiemi di definizioni e classificazioni che ci consentono di leggere il dato all’interno di un contesto di riferimento: ad esempio la classificazione delle professioni piuttosto che le branche di attività economica. Non possiamo pertanto trascurare mai di porre domande del tipo: come sono stati prodotti questi dati? Chi è il soggetto che li ha pubblicati? Per quale finalità è stata progettata la rilevazione che li ha generati? Così come è cruciale, nella fase di presentazione e interpretazione, collocare il dato dentro un sistema di informazioni interne che ne favoriscono la lettura: dall’indicazione dell’unità di misura, al periodo temporale di riferimento, al livello di elaborazione del dato stesso (dato grezzo, numero indice, variazione, etc…). Tabelle, Grafici, Rapporti e Indici non sono i dati ma loro ELABORAZIONI DATI  INFORMAZIONE  COMUNICAZIONE  COMPRENSIONE

6 Focus: basi di dati per la valutazione/3
La Qualità dei Dati: la rilevanza: è relativa al contesto di indagine in cui quel dato è utilizzato la trasparenza :si riferisce all’accessibilità ossia alla semplicità per l’utilizzatore di trovare, acquisire e comprendere l’informazione statistica disponibile la comparabilità:si riferisce alla possibilità di compiere confronti spazio-temporali dei dati statistici riguardanti un dato fenomeno la coerenza: si riferisce alle modalità di costruzione dei dati utilizzando standard metodologici e definizioni e classificazioni omogenee l’accuratezza: il grado di corrispondenza fra i valori ottenuti ed i valori reali della caratteristiche nella popolazione di riferimento la tempestività: connessa all’intervallo temporali che intercorrono tra il momento di rilevazione, quello di diffusione la completezza consiste nella sua capacità di fornire un quadro informativo esaustivo del dominio di interesse

7 Focus: basi di dati per la valutazione/4
Fonti ufficiali Fonti parallele Enti e istituzioni preposti alla produzione di statistiche dalla normativa vigente Enti e istituzioni che producono statistiche con regolarità temporale, e li distribuiscono gratuitamente o a pagamento - a soci, abbonati, clienti. Le Fonti Statistiche: Istituti o enti che producono e/o diffondono dati statistici Funzione:rilevare elaborare e diffondere informazioni quantitative su fenomeni collettivi, in modo sistematico o periodico a fini conoscitivi e amministrativi

8 Focus: basi di dati per la valutazione/5
Il sistema della Statistica Ufficiale: il SISTAN e l’ISTAT, la statistica 2.0 e il nuovo portale Fonti statistiche e dati amministrativi: prospettive di integrazione Banche dati on line ed off line– Data Warehouse – Sistemi Informativi (SIT e GIS) Principali Banche Dati pubbliche La contabilità nazionale e territoriale secondo il SEC95 I Censimenti Il Sistema degli Indicatori Statistici Territoriali (SITIS) L’Atlante dei Comuni e l’Atlante provinciale delle Infrastrutture Il Sistema degli Indicatori per le politiche di sviluppo I Conti Pubblici Territoriali

9 I CPT La Banca Dati dei Conti Pubblici Territoriali
I Conti Pubblici Territoriali si riferiscono all’universo del Settore Pubblico Allargato ma consentono una articolazione flessibile per svariati sub-aggregati relativi a: macro-aree e regioni amministrative, classificazioni settoriali, categorie economiche, definizioni di spesa pubblica e soggetti finali di spesa.

10 I CPT La verifica del Principio dell’ADDIZIONALITA’
Il principio di addizionalità stabilisce che, per assicurare un reale impatto economico, gli stanziamenti dei Fondi Strutturali non possono sostituirsi alle spese pubbliche dello Stato membro. La verifica dell'addizionalità ha luogo in tre momenti differenti di ciascun periodo di programmazione: ex ante, in itinere ed ex post. Nel ciclo : L'art. 15 del Regolamento CE n.1083/2006 prevede che le risorse dei Fondi che concorrono al conseguimento degli obiettivi della politica comunitaria abbiano carattere aggiuntivo rispetto alle risorse pubbliche nazionali destinate ai medesimi obiettivi. L'esperienza realizzata nel ciclo ha segnalato forti difficoltà nel garantire l'aggiuntività della politica regionale comunitaria e nazionale nel Mezzogiorno e, di conseguenza, nel realizzare gli obiettivi complessivi per la spesa in conto capitale lungo il profilo temporale di riferimento. Proprio per questo, l'Italia ha attribuito grande importanza al principio di addizionalità, trasformandolo da obbligo regolamentare a strumento di politica economica e stabilendo l'obiettivo di spesa ex ante da perseguire su basi sufficientemente solide. Fondamentale a tal fine è risultata la possibilità di avvalersi di un sistema informativo estremamente efficace che ha consentito una migliore capacità di ricostruzione dei flussi di spesa, soprattutto attraverso la Banca dati CPT, di previsione delle spese, derivanti anche dai sistemi di monitoraggio e di maggiore chiarezza e certezza alla programmazione delle risorse attraverso l'utilizzo del Quadro Finanziario Unico.

11 La Valutazione Ex-Post (VEP): fondamenti e obiettivi/1
La VEP è la valutazione che conclude il Programma (e il Ciclo!) e che ha come obiettivo la misurazione dei risultati, delle evidenze e degli impatti. Risultati e evidenze: valutazione delle Performance ossia assegnare un valore (quantificare/misurare) obiettivi/indicatori stabiliti nella fase di programmazione (VEA) alla luce degli esiti del programma Impatti o Effetti ?: il SUCCESSO di una PP.

12 Valutazione Ex Post

13

14 La Valutazione Ex-Post (VEP): fondamenti e obiettivi/2
La nozione di effetto: cruciale definizione per la misurazione Effetto di che cosa su che cosa? L’individuazione di un nesso di causalità tra ciò che si è verificato e la PP: occorre identificare termini da misurare! La metafora della Terapia (Martini e Sisti, 2009): Variabile TRATTAMENTO e Variabile RISULTATO Concetti chiave: Esperimenti, Causazione, Covariazionee Concausazione (effetti multipli e circolarità)

15 La Valutazione Ex-Post (VEP): fondamenti e obiettivi/3
Valutare attraverso Logiche o disegni di tipo SPERIMENTALE e NON SPERIMENTALE (Quasi-Sperimentale). La nozione di CONTROFATTUALE L’impatto di una politica viene dunque definito come la differenza tra il valore della variabile-obiettivo, che rappresenta il risultato di interesse osservato dopo che è stata realizzata la policy ed il valore che la medesima variabile avrebbe assunto se non si fosse realizzato il programma. Quest’ultimo scenario, ovvero di assenza di intervento, viene definito come il “controfattuale”, naturalmente non è direttamente osservabile. Il problema da un punto di vista valutativo è dunque quello di arrivare ad una “buona” stima di quest’ultimo

16 La Valutazione Ex-Post (VEP): fondamenti e obiettivi/4
Micropolitiche e macropolitiche: una distinzione utile (Martini e Trivellato, 2011) Livello di Aggregazione Caratteristiche dell’intervento Implicazioni per valutare gli effetti Macro-area di intervento pubblico Popolazioni diverse, trattamenti eterogenei, tempistiche differenti Difficile definire l’effetto della politica Pacchetto di Interventi Pacchetto di interventi Stessa popolazione, trattamenti eterogenei, tempistiche differenti Problematico interpretare l’effetto della politica Singolo intervento Stessa popolazione, trattamento tendenzialmente uniforme, simile tempistica Possibile definire e interpretare l’effetto, restano i problemi legati all’identificazione causale

17 La Valutazione Ex-Post (VEP): metodi sperimentali
Nascono sulla scia degli studi caso-controllo nell’ambito clinico-epidemiologico (ma anche agronomico); Il gruppo di controllo assicura il “controfattuale” e viene selezionato tramite scelta casuale (randomizzazione); Non-compliance with the assignment (non ottemperanza all’assegnazione): È il problema metodologico principale consiste nell’assicurare l’integrità dell’esperimento, ossia la separazione netta tra gruppo dei trattati e gruppo dei non trattati (tre problemi: 1) non show; 2) drop out; 3) cross over. L’effetto – a parità di condizioni rispettate nel disegno – è la differenza tra osservato e controfattuale. Applicabilità limitata a politiche non universali (a copertura parziale). Minacce (esterne) alla validità: difficoltà di generalizzare i risultati. Problemi di carattere etico-legale o politico Esempi nella tradizione anglosassone (Pilots UK e Demonstration USA).

18 La Valutazione Ex-Post (VEP): I metodi non sperimentali
Si basano sull’identificazione di una situazione CONTROFATTUALE come termine di paragone Si può scegliere una situazione non osservata riferita a ciò che “dovrebbe essere” : (Target quantitativi (quanto si è programmato di fare); Standard qualitativi (come dovrebbe essere fatto); Livelli osservati in passato (cosa si è fatto in passato); Livelli osservati altrove (cosa fanno gli altri) . Si può scegliere una situazione non osservata che si basa su ciò “che sarebbe successo” in assenza della politica (es: Disegno a serie storiche interrotte) Alla base di tale logica vi è lo schema di Rubin o dei risultati potenziali tale modello consiste nella possibilità di osservare (e misurare) la differenza di una variabile-risultato Y su un individuo i-esimo che ha ricevuto un trattamento (politica) Y1i ed uno che non l’ha ricevutoY0i Tale differenza (che indichiamo con δ )si osserva però in media, tenendo conto che, se esiste, l’effetto varia da individuo ad individuo Per una formalizzazione del modello si veda Martini e Sisti (2009)

19 La Valutazione Ex-Post (VEP): Un approccio grafico

20 La Valutazione Ex-Post (VEP): Differenza nelle differenze
La stima dell’effetto netto viene calcolata come DIFFERENZA NELLE DIFFERENZE tra l’EFFETO TOTALE (calcolato come differenza della variabile risultato calcolata nel gruppo dei beneficiari e della stessa calcolata nel gruppo dei non beneficiari) e il CONTROFATTUALE calcolato ipotizzando che alla fine dell’intervento si osservi sui beneficiari un intervento parallelo ai non beneficiari). Questo per due motivi che spieghiamo graficamente.

21 La Valutazione Ex-Post (VEP): questioni metodologiche
L’applicazione di tali metodi offre migliori risultati in termini di stime in presenza di una base di dati che contribuisca alla significatività e correttezza delle valori stimati. Vi sono tuttavia alcune tipologie di problemi che possiamo riassumere in due grandi categorie tipiche della teoria della specificazione nei modelli econometrici: MINACCE INTERNE ALLA VALIDITA’ Autoselezione e dinamica spontanea Fattori di confondimento (variabili omesse) Effetto “fuoriuscita” Effetti inerziali MINACCE ESTERNE ALLA VALIDITA’ Generalizzabilità dei risultati Strategie: analisi di robustezza, comparazione di più metodi, analisi di sensitività e.. Ovviamente incremento dei dati (sia come numerosità del campione che come gamma di variabili)

22 VEP di Macro Politiche: brevi cenni
Si tratta di modelli che operano una analisi empirica relativa al funzionamento di strutture ossia di sistemi di relazioni fondate sulla teoria economica e su precisi modelli che orientano e specificano tanto la complessità dei soggetti e la natura dei loro modelli di comportamento quanto l’articolazione delle relazioni tra di essi a vario livello di aggregazione (tecnologico-settoriale piuttosto che geografico-territoriale). L’impatto, in tal senso, viene determinato (e misurato) come effetto della variazione di tale struttura e offre un’informazione di carattere generale e sistemica, tale specificità li rende particolarmente utili quali metodi più appropriati per le valutazioni ex ante, ma molti concordano sull’opportunità che essi possano essere utili anche nelle altre fasi del ciclo della valutazione. Ci riferiamo principalmente ai modelli basati sullo schema Input-Output e a loro evoluzioni come le matrici di contabilità sociale (SAM, Social Accounting Matrix) e le matrici di contabilità ambientale: si tratta in genere di strumenti analitici ampiamente implementati dagli istituti nazionali di statistica a corredo della tradizionale contabilità nazionale

23 VEP di Macro Politiche: tipologie di Impatto
Dal punto di vista della dimensione (sfera): impatto economico, ambientale, sociale, …; Dal punto di vista del livello si osservazione: impatto macro, meso o micro; Dal punto di vista della motivazione di misura: impatto come contributo settoriale o come effetto di politiche; Da un punto di vista oggettivo o soggettivo

24 VEP di Macro Politiche: schema logico/1

25 VEP di Macro Politiche: schema logico/2

26 La Valutazione Ex-Post: metodologie/1
Una MACRO distinzione (di tradizione USA): ANALISI DI IMPLEMENTAZIONE (competenze di ricerca sociale) ANALISI DI IMPATTO (competenze di tipo economico - statistico) Approcci non rivali nella prassi, ma complementari.

27 Focus: Il Performance Budgeting: cenni
Il performance budgeting si fonda sul principio che il bilancio pubblico possa essere costruito basandosi sulla “performance” delle policies; Ciò equivale a dire che esso si possa fondare sugli obiettivi e sui risultati riscontrabili in termini di risultati (output) e di Impatti (outcome) da esse in qualche modo causati. Un tale approccio mira a rendere consapevole e empiricamente fondata la scelta, sempre molto complessa sul piano tecnico e assai sensibile da un punto di vista politico, di sostenere le PP con adeguate e equilibrate risorse finanziarie da evidenziare nel budget del settore pubblico. Si tratta, pertanto, di analizzare e verificare in maniera più puntuale l’efficacia delle singole politiche pubbliche – intese innanzitutto, in questo caso, come spese pubbliche.

28 L’esperienza della valutazione delle PP in Italia: questioni aperte e sfide
Una sfida culturale prima di tutto. Dati e informazioni. Formare i valutatori, struttura le comunità scientifiche. Un approccio integrato: Analisi&Valutazione Il contributo che può venire dai territori nell’ambito delle politiche di sviluppo La sfida della misurazione degli effetti: ossia misurarsi con la valutazione del successo (o dell’insuccesso) con un approccio “laico”.