A cura di Raffaella Di Napoli La valutazione di LEADER a livello locale. La pianificazione delle attività. Roma giugno 2018 Breve storia di Leader Il ruolo delle strategie locali Il ruolo dei GAL A cura di Raffaella Di Napoli

Riferimenti legali della valutazione delle SSL Potrebbero essere esperienze… Reg. 1303 Art. 34 (paragrafo 3, lettera g) Compiti dei Gruppi di Azione Locale CLLD: Verificare l'attuazione della strategia di sviluppo locale di tipo partecipativo e delle operazioni finanziate e condurre attività di valutazione specifiche legate a tale strategia Reg. 1303 Art. 35 Sostegno dei fondi SIE: I costi di esercizio connessi alla gestione dell'attuazione della SSL di tipo partecipativo consistenti in costi operativi, costi per il personale, costi di formazione, costi relativi alle pubbliche relazioni, costi finanziari nonché costi connessi alla sorveglianza e alla valutazione di detta strategia di cui all'articolo 34, paragrafo 3, lettera g);

Potrebbero essere esperienze… Cosa deve fare il GAL? Potrebbero essere esperienze… 1. Elaborazione del Piano di valutazione Il Piano di Valutazione viene approvato dal CdA. 2. Scelta del valutatore Definizione di un Metodo di individuazione/selezione del valutatore esterno e/o attribuzione di un Incarico Formale a personale già coinvolto nella SSL o personale esterno. Se a seguito di avviso pubblico l’attribuzione dell’incarico viene approvata dal CdA 3. Elaborazione del Disegno della Ricerca 4. Realizzazione dell’attività di valutazione (compresa Costruzione del sistema di raccolta e gestione di dati di monitoraggio e informazioni statistiche e sull'attuazione per la produzione di rapporti di avanzamento e analisi valutative) Eventuale redazione di rapporti intermedi 5. Redazione del rapporto di valutazione (eventuale redazione di rapporti intermedi) Il Rapporto di Valutazione viene approvato dal CdA. 6. Diffusione dei risultati GAL Valutatore (o GAL)

2. Disegno di valutazione 3. Rapporto di valutazione Le attività di supporto della ReteLeader per i GAL (giugno 2018 – gennaio 2019) 2. Disegno di valutazione 3. Rapporto di valutazione 1. Piano di Valutazione Laboratorio per i GAL «Elaborare il Piano di valutazione delle strategie di sviluppo locale» Giugno 2018 Laboratorio per i GAL «La valutazione delle strategie di sviluppo locale: tecniche e strumenti» Settembre 2018 Laboratorio per i GAL «La comunicazione efficace dei risultati della valutazione delle strategie di sviluppo locale» Gennaio 2019) 1. Laboratori 2. Repertorio (video) Metrologie per la valutazione del valore aggiunto di Leader Valutare il contributo di Leader nel rafforzare il capitale sociale (22 giugno) 3. Vademecum 1. Guida al monitoraggio di LEADER + tool excell 2. Vademecum «Elaborare il Piano di valutazione delle strategie di sviluppo locale» 4. Altre attività Peer Review Leader Valutazione e diffusione di buone pratiche per lo sviluppo locale

Cosa si intende per valutazione: alcuni concetti Potrebbero essere esperienze… La valutazione consente di giudicare gli aspetti essenziali del sostegno fornito (rilevanza, efficacia, efficienza, utilità e sostenibilità degli interventi, secondo la fase di attuazione del programma) E’ una raccolta sistematica di informazioni (non solo dati!) sulle attività pianificate nelle SSL e sulle relative modalità attuative e gestionali La valutazione non deve esaurirsi con il monitoraggio, la trasmissione di relazioni e la verifica di input e output e, a volte, i risultati, ma dovrebbe considerare anche gli impatti - positivi, negativi, attesi, inattesi - dell’intervento, compresi quelli che si manifestano soltanto nel lungo periodo o di cui beneficiano soggetti diversi dai destinatari diretti Dev’essere possibile esaminare la situazione controfattuale vale a dire quello che sarebbe avvenuto in assenza d’intervento (o almeno cosa è cambiato da grazie all’intervento/i realizzati) La valutazione richiederà sempre la raccolta ad hoc di un certo numero di dati quantitativi e di informazioni qualitative tramite interviste, campioni, casi studio, ecc.

Valutazione delle Strategie di Sviluppo Locale: questioni e miti Miti da sfatare Valutazione delle SSL vs valutazione dei PSR? Molti ritengono che la valutazione serva a comprovare il successo o il fallimento di progetti e programmi (la pagella) Quando si valuta: in fase di attuazione? Alla fine? Cosa si valuta (ovvero qual è l’oggetto della valutazione)? Molti pensavo che la validità della valutazione dipenda da quanto è ampio il campo di indagine e debba generare molti dati (valutazione cosmica) È opportuno valutare il valore aggiunto e cosa significa? Molti credono che tecniche qualitative non permettano di “misurare” i fenomeni attraverso l’uso di indicatori e generalizzare i risultati (l’opinionista) Quali sono gli step che il GAL deve seguire e cosa deve fare a dimostrazione dell’attività svolta? Molti credono il valore della valutazione sia proporzionale alla numerosità dei documenti prodotti e al volume del «rapporto di valutazione» (vale quanto pesa) GAL: valutazione o autovalutazione Molti credono che l’autovalutazione non sia attendibile (il bugiardino)

Valutazione delle SSL: due livelli in(ter)dipendenti? Valutazione delle SSL vs valutazione dei PSR? Molti ritengono che la valutazione serva a comprovare il successo o il fallimento di progetti e programmi (la pagella) Valutazione delle SSL: due livelli in(ter)dipendenti? Livello PSR Locale SSL Oggetto Misura 19 Strategia di Sviluppo Locale Responsabile Autorità di Gestione PSR (tramite il valutatore indipendente incaricato) GAL (tramite personale coinvolto nell’attuazione e/o valutatore indipendente incaricato) Focus della valutazione (elementi obbligatori) Valutazione di efficacia ed efficienza misura 19 e delle sue contribuzioni primarie e secondarie alle Focus Area e ad Europa 2020 Valutazione della strategia di sviluppo locale (cosa include?)

Apprendimento organizzativo Il mandato valutativo Potrebbero essere esperienze… A chi dovrà servire? Migliorare le SSL verificare (incrementare) i risultati della SSL Apprendimento organizzativo verificare se stai facendo quello che pensi di stare facendo In fase di attuazione Staff del GAL, partenariato, attori locali GAL - AdG Per fare cosa? A fine programmazione Verificare l’efficacia e l’utilità delle SSL verificare il conseguimento degli obiettivi (risultati finali - forse impatti) Rischio pagella

La valutazione di una SSL è soprattutto un’analisi di processo Oggetto della valutazione delle SSL: Cosa si valuta? Potrebbero essere esperienze… La valutazione di una SSL è soprattutto un’analisi di processo pone due «problemi» 1. pratico, cioè come valutare l’attuazione di una politica quando non sono in questione solamente i risultati ma il suo modo concreto di operare e il senso che gli danno i vari attori (Il Piano di valutazione) 2. metodologico - epistemologico, cioè come “fare valutazione” quando la situazione applicativa non consentono la produzione di giudizi quantitativamente fondati (Il disegno della valutazione - metodologie e tecniche) … 3) rapporto di valutazione

bisogna fare una scelta Oggetto della valutazione delle SSL: Cosa si valuta? Potrebbero essere esperienze… La validità della valutazione dipende da quanto è ampio il campo di indagine (valutazione cosmica)? L'utilità, la rilevanza e la praticabilità della valutazione devono essere almeno a pari livello con la validità scientifica della metodologia adottata La valutazione non è una relazione di monitoraggio finale: bisogna fare una scelta il mandato valutativo - con quali intenzioni e obiettivi si sta facendo la valutazione; la domanda/e valutativa/e - quale aspetto della SSL si vuole valutare (discende da un’analisi degli obiettivi e relative modalità di pianificazione, attuazione e gestione del programma); 

Oggetto della valutazione delle SSL: Cosa si valuta? Potrebbero essere esperienze… Regole di ammissibilità della spesa ecc. Tecnici Finanziari Investimenti previsti per le diverse tipologie di operazione Inputs Fisici Realizzazioni fisiche materiali ed immateriali Output Effetti diretti generati dagli investimenti Risultati Circa 75% Costi e modalità di realizzazione degli investimenti locali Regole e orient. su 7 principi di metodo Costi di gestione ed animazione Comportamenti Applicazione delle 7 car. specifiche tramite gest. e animazione Effetti generati dal metodo CLLD: risultati, capitale sociale e governance Circa 25% Costi e modalità di applicazione dell’approccio CLLD Oggetto della valutazione delle SSL: Cosa si valuta?

Rapporto speciale n.5/2010 della Corte dei Conti Europea Valutare il valore aggiunto del CLLD: perché? Rapporto speciale n.5/2010 della Corte dei Conti Europea I GAL hanno implementato l’approccio Leader in modi che limitano il potenziale valore aggiunto in termini di caratteristiche LEADER; La Commissione e gli Stati Membri non sono stati sufficientemente esigenti e condividono con I GAL la responsabilità di aver limitato il potenziale valore aggiunto; La Commissione e gli Stati Membri non possono dimostrare il valore aggiunto conseguito dall’implementazione di LEADER e non hanno valutato I costi ed i rischi aggiuntivi legati all’adozione dell’approccio

Oggetto della valutazione delle SSL: Cosa si valuta? La logica di intervento della Strategia di Sviluppo Locale Rilevanza rispetto alle esigenze ed al potenziale locale e coerenza con le politiche di riferimento. Obbligatorio L’efficacia delle operazioni realizzate ed il loro contributo al raggiungimento dei risultati (e degli impatti?) previsti dalla strategia In che misura/modo gli obiettivi sono stati raggiunti? La gestione delle risorse (umane, finanziarie e tecniche) e dei rapporti con fornitori e beneficiari Il sistema di delivery della Strategia Le modalità con cui le 7 caratteris-tiche specifiche dell’ approccio CLLD sono state applicate L’attuazione del metodo CLLD (applicazione combinata dei sette principi). Esternalità positive e benefici ottenuti grazie al metodo CLLD Il valore aggiunto prodotto Influenza di fattori interni ed esterni al progetto sui risultati I fattori di successo e di insuccesso

Valutare il valore aggiunto di LEADER: Cosa si valuta?

Valutare il valore aggiunto di LEADER: Tre tipologie di effetti?

L’articolo non si riferisce alle "strategie di sviluppo locale CLLD" Valutazione indipendente o autovalutazione? Reg. 1303 Art. 54 paragrafo 3: «Le valutazioni sono effettuate da esperti interni o esterni funzionalmente indipendenti dalle autorità responsabili dell'attuazione del programma.» L'obbligo giuridico di valutazioni da parte di esperti funzionalmente indipendenti di cui all'articolo 54, paragrafo 3, si applica ai Programmi Operativi e ai Programmi di Sviluppo Rurale. L’articolo non si riferisce alle "strategie di sviluppo locale CLLD"

Chi realizza la «ricerca valutativa» Valutazione indipendente o autovalutazione? Molte persone credono che l’autovalutazione non sia attendibile (il bugiardino) Chi realizza la «ricerca valutativa» determina la differenza fra valutazione e autovalutazione In ogni caso per realizzare una valutazione è necessario definire 1) identificare e comprendere gli obiettivi della valutazione (il suo mandato); 2) identificare e comprendere gli obiettivi dell’oggetto della valutazione (domanda valutativa, criteri di giudizio, indicatori); 3) analizzare il contesto decisionale e verificare le risorse; 4) definire l’approccio di ricerca e le tecniche valutative da impiegare - definire il campo semantico dell’oggetto della valutazione; - costruire il sistema valoriale dell’oggetto della valutazione; - definire gli indicatori; - costruire gli strumenti di rilevazione e gestione dei dati e delle informazioni; - stabilire delle conseguenti fasi operative; 5) Elaborare un rapporto di valutazione e diffonderne i risultati.

Grazie per l’attenzione

La domanda valutativa Definire lo scopo della valutazione significa rispondere alla domanda: cosa voglio valutare? Per specificare lo scopo bisogna: A) Definire l’ambito della valutazione che può essere settoriale (quale target o settore specifico) geografico istituzionale (relativo al contesto di programmazione) temporale (intervallo temporale considerato) B) Circoscrivere gli aspetti su cui l’analisi valutativa deve concentrarsi per rispondere a ciascuna domanda attraverso l’individuazione di specifici criteri di giudizio. Questi, sostanzialmente, definiscono le questioni valutative «chiave» che focalizzano il successo degli interventi. C) Definire il set di indicatori (di realizzazione, risultato, impatto)