L’ANALISI E LA VALUTAZIONE DELL’ IMPATTO Metodologia per L’ANALISI E LA VALUTAZIONE DELL’ IMPATTO delle POLITICHE Paolo Roberti (Istat) Roma, RRT Meeting July 6, 2006

PIA: Stato dell’Arte Le discussioni sulla PIA stanno moltiplicandosi sempre più a livello UE: EU “Guidelines on Impact Assessment” pubblicate il 15 Giugno, 2005; L’utilizzazione di metodologie PIA è sempre più vista come una condizione necessaria per “buone politiche” (e buoni progetti) L’investimento in metodologie PIA occupa un posto centrale nel nuovo FP7

La PIA è forse una nuova moda? NO Le metodologie PIA hanno cominciato a svilupparsi in modo sistematico dagli anni 1950, come strumento “to tell the public what progress has been made” (US Office of Management and Budget) La PIA interessa tutte le policy areas; la prospettiva può essere macro, meso o micro La PIA può consistere di numeri, coefficienti, indicatori qualitativi e quantitativi (semplici e composti), fattuali e controfattuali derivati da modelli complessi

Che cosa vuol dire misurare l’impatto delle politiche per l’innovazione? Misurazione dell’impatto delle politiche: effettivo e/o potenziale; statico e/o dinamico, ecc.; Valutazione degli effetti e dei risultati conseguiti politiche : Sono stati raggiunti gli obiettivi attesi? L’impatto è stato proporzionale allo sforzo e alle risorse utilizzate per la loro implementazione?”, ecc.; Generalizzazione dei risultati: le politiche che si sono dimostrate costo-efficaci, possono essere replicate ed implementate in altri paesi/regioni con “garanzia di successo”.

Nell’effettuare le valutazioni è bene non dimenticare che La PIA può significare varie cose. I Criteri di Valutazione possono essere demand, use-oriented o expert-driven Nell’effettuare le valutazioni è bene non dimenticare che Ogni politica è il prodotto di un processo complesso e circolare che: Continua sin quando essa non viene abolita; Produce risultati che non necessariamente sono soddisfacenti; Vanno monitorati e valutati.

BOX 1: CICLO “ROAMEF” della POLICY ANALISIS In the policy analysis jargon ROAMEF stands for Rationale, Objectives, Appraisal, Monitoring, Evaluation and Feedback

Il Ciclo comincia con un…Problema Che a livello politico può/non può essere considerato un problema che Deve/non deve essere affrontato e risolto; E’ bene ricordarsi che anche una “non politica” è una scelta politica; Ogni Politica ha propri obiettivi e finalità: vale a dire risultati da raggiungere e situazioni su cui incidere

1° Principio della Policy Appraisal and Evaluation “L’Analisi di Impatto e Valutazione non può essere improvvisata ex post, deve essere prevista e programmata ex ante e deve essere connaturata nel processo amministrativo e di implementazione” Se le metodologie PIA non sono previste, sviluppate, strutturate e osservate, le valuatazioni diventano criticabili ed incerte

Quattro “Policy models”: Mod. 1: “Buttare i soldi” su programmi specifici, aspettandosi che gli obiettivi attesi, generali e/o specifici, vengano comunque conseguiti; Mod. 2: Finanziare programmi che prevedono sia il conseguimento di precisi obiettivi, sia lo svolgimento di attività statuite e circostanziate, aspettandosi che gli obiettivi attesi vengano comunque conseguiti; Mod. 3: Finanziare programmi che prevedono lo svolgimento di attività specifiche e definite rispetto ad obbiettivi precisi e misurabili. Mod. 4 = Mod (3) + Attività misurabili + Monitoraggio e valutazione ex-ante, in itinere ed ex-post (quindi, nel corso dell’intero ciclo) rispetto a risultati e obiettivi misurabili, specifici e di ordine generale

Figure 1 – Typical Programme with no defined objectives

Figure 4 – Typical evaluation with measurable programme objectives

Cosa si può voler valutare? Mod. 1: Il rispetto delle “regole e delle procedure” Mod.2: Il conseguimento degli obiettivi stabiliti: è stato fatto quello che si doveva fare? Conformemente alle norme e alle procedure? (ad es. Flussi di spesa, costi, tempestività) Mod. 3 Le attività svolte hanno permesso di raggiungere gli obiettivi non solo di ordine specifico, ma anche generali?

Mod. 4 La valutazione rispetto ai Risultati può essere “Buona/cattiva” ed “Efficace/inefficace” sulla base di criteri che possono comportare: VALUTAZIONE DEI PROCESSI (INDICATORI) VALUTAZIONE DEI RISULTATI (INDICATORI) VALUTAZIONE RISPETTO ad OBIETTIVI SPECIFICI (Le politiche per l’innovazione sono servite per incentivare gli investimenti R&S ? (INDICATORI & ANALISI) VALUTAZIONE RISPETTO ad OBIETTIVI DI ORDINE GENERALE (Le politiche per l’innovazione sono servite per incentivare gli investimenti R&S e hanno avuto un impatto sulla crescita economica? (ANALISI & MODELLI)

Ma quali Criteri e Quali Strumenti Esistono per le Valutazioni? In una parola, la risposta è : Tanti In pillole: Si valutano i fatti,con criteri sia qualitativi che quantitativi (ma quali fatti?); I criteri dipendono dalle finalità, dal momento, e dagli aspetti che si vogliono valutare; Si usano “indicatori” per fare rankings, scoreboards e per analisi di benchmarking; ma anche modelli (semplice,complessi, statici e dinamici) e, più in generale, la strumentazione che negli USA viene chiama “Systematic Analysis”