La valutazione ex-ante dei PSR in Italia: modelli a confronto Vincenzo Fucilli, Claudio Acciani, Ruggiero Sardaro Università di Bari XII Congresso AIV La Valutazione per una Pubblica Amministrazione responsabile e trasparente Cagliari marzo ’09 via Roma 253

Struttura della Presentazione Introduzione Approcci principali alla valutazione Meta-valutazione: definizioni, significato, funzioni Specificità della valutazione dei PSR Aspetti dei rapporti di valutazione ex ante: il modello valutativo UE le procedure Conclusioni

XII Congresso AIV La Valutazione per una Pubblica Amministrazione responsabile e trasparente Cagliari marzo ’09 via Roma 253 L’obiettivo del lavoro consiste nel verificare i contenuti metodologici dei rapporti di valutazione ex ante dei 21 PSR d’Italia in relazione a (meta) criteri. Attraverso l’analisi dei rapporti di valutazione si ricostruisce la “qualità” delle valutazioni con riferimento ai modelli e alle procedure adottati. La ricerca nasce dalla constatazione che, pur in presenza di una indubbia moltiplicazione delle valutazioni dei programmi di sviluppo rurale, non sembra ci sia una simile proliferazione di studi e analisi “delle valutazioni”.

XII Congresso AIV La Valutazione per una Pubblica Amministrazione responsabile e trasparente Cagliari marzo ’09 via Roma 253 Per poter stabilire i riferimenti generali, utili ad analizzare l’approccio adottato nelle valutazioni (ex ante) dei PSR, tra I numerosi contributi sono stati scelti quelli di Scriven (1991), Stufflebeam (2001), Weiss (1998) e Bustelo (2002). Significati: aumentare la (eventuale) credibilità dei risultati; generalizzare i risultati ottenuti da un programma ovvero di stimarne gli impatti globali; analizzare e ricostruire la “qualità” complessiva di più valutazioni. Investigare sulle specifiche caratteristiche del processo valutativo di un programma.

Nella letteratura scientifica in tema di valutazione di programmi esistono diversi approcci e numerose classificazioni degli approcci proposti. Per stabilire il riferimento generale utile ad analizzare l’impianto teorico dei rapporti di valutazione dei PSR, tra i numerosi contributi appaino particolarmente interessanti quelli di Guba e Lincoln (1989), Midmore (1997), Stame (2001). Stame classifica gli approcci in: 1) positivista sperimentale; 2) pragmatista; 3) costruttivista. XII Congresso AIV La Valutazione per una Pubblica Amministrazione responsabile e trasparente Cagliari marzo ’09 via Roma 253

Gli obiettivi della Politica di Sviluppo Rurale: migliorare la competitività del settore agro forestale; valorizzare l’ambiente e lo spazio rurale attraverso la gestione del territorio; migliorare la qualità della vita nelle zone rurali e diversificare le attività economiche

In continuità con l’approccio più marcatamente strategico attribuito alla politica di sviluppo rurale, il nuovo sistema di monitoraggio e valutazione ha introdotto delle variazioni. All’art. 80 del Reg. (CE) 1698/05 si introduce QCVM: “L'approccio … si basa sulle stesse modalità dei periodi precedenti, ma sarà attuato in maniera più sistematica” I principali cambiamenti introdotti: rafforzamento del legame tra monitoraggio e valutazione; rafforzamento del carattere strategico del monitoraggio e della valutazione; rafforzamento della possibilità di aggregare prodotti, risultati e impatti a livello comunitario; organizzazione della valutazione in itinere. XII Congresso AIV La Valutazione per una Pubblica Amministrazione responsabile e trasparente Cagliari marzo ’09 via Roma 253

Art. 85 Reg. (CE) 1698/05: La valutazione ex ante forma parte integrante dell'iter di elaborazione di ogni programma ed è intesa a ottimizzare la ripartizione delle risorse finanziarie e migliorare la qualità della programmazione. Essa identifica e valuta: i fabbisogni a medio e lungo termine; le mete da ottenere e i risultati da raggiungere; gli obiettivi quantificati, in termini di impatto rispetto alla situazione di partenza; il valore aggiunto comunitario; la misura in cui si è tenuto conto delle priorità comunitarie; le lezioni del passato; la qualità delle procedure di attuazione, sorveglianza, valutazione e gestione finanziaria.

XII Congresso AIV La Valutazione per una Pubblica Amministrazione responsabile e trasparente Cagliari marzo ’09 via Roma 253 Reho (2006) afferma che “Dalla lettura dei Regolamenti emergerebbe soprattutto l’importanza della funzione di accountability: la Commissione chiede agli Stati membri che sia reso conto del modo in cui i finanziamenti sono spesi”. Si può ascrivere l’approccio valutativo a quello definito da Stame (2001) “positivista sperimentale”. Esso è eminentemente “goal-oriented”, poiché si fonda sulla verifica del raggiungimento degli obiettivi posti dalla programmazione.

XII Congresso AIV La Valutazione per una Pubblica Amministrazione responsabile e trasparente Cagliari marzo ’09 via Roma 253 Procedure per pianificare e strutturare la valutazione nei rapporti di valutazione regionali OverallIn-depth DesignObtaini ng data Analysing data Judgement s Obtainin g data Analysin g data Judgement s Concept or issue mapping x Stakeholder consultation xxx Evaluability Assessment x Logic Models xx Formative/ developmental evaluation xxxxx

XII Congresso AIV La Valutazione per una Pubblica Amministrazione responsabile e trasparente Cagliari marzo ’09 via Roma 253 Procedure per rilevare dati e informazioni nei rapporti di valutazione regionali OverallIn-depth Desig n Obtainin g data Analysing data JudgementsObtaining data Analysing data Judgements Social surveys x x Beneficiary surveys Stakeholder interv. x x Priority evaluation x x Focus groups xx xx Case studies xx Local evaluation Participatory appr. & methods x x x Use of secondary source data x Use of administrative data x Observational techniques

XII Congresso AIV La Valutazione per una Pubblica Amministrazione responsabile e trasparente Cagliari marzo ’09 via Roma 253 Procedure per analizzare le informazioni nei rapporti di valutazione regionali OverallIn-depth Desig n Obtainin g data Analysing data JudgementsObtainin g data Analysin g data Judgements Input/output analysis x Econometric models x Regression analysis Experimental and quasi-experimental approaches Delphi survey xx SWOT x

XII Congresso AIV La Valutazione per una Pubblica Amministrazione responsabile e trasparente Cagliari marzo ’09 via Roma 253 Procedure per formulare giudizi nei rapporti di valutazione regionali OverallIn-depth Des ign Obtainin g data Analysing data JudgementsObtaining data Analysing data Judgements Cost-benefit analysis x Bench marking Cost effectiveness analysis xx Economic impact assessment x Gender impact assessment x Environmental impact assessment x Strategic environmental assessment xx xx Multi-criteria analysis x x Expert panels xx xx

XII Congresso AIV La Valutazione per una Pubblica Amministrazione responsabile e trasparente Cagliari marzo ’09 via Roma 253 Conclusioni: Un sistema comunitario di valutazione goal oriented: Accountability vs Learning. Il QCVM è al centro dei rapporti di valutazione. Indicare le procedure nei rapporti di valutazione.