IRS - Valutazione intermedia Obiettivo 3 VdA1 Servizio di valutazione intermedia del Programma Operativo Obiettivo 3 Regione Valle d'Aosta Manuela Samek Lodovici IRS – Istituto per la Ricerca Sociale

IRS - Valutazione intermedia Obiettivo 3 VdA2 Chi siamo Istituto per la ricerca sociale L’Irs, organizzazione nonprofit indipendente, è una cooperativa che, nel corso di più di 25 anni di attività, ha consolidato la sua presenza sul mercato della ricerca socio- economica su scala nazionale. E’ tra i primi Istituti in Italia specializzati nella valutazione delle politiche del lavoro locali, nazionali ed europee. Tra i lavori più recenti: progettazione di sistemi di monitoraggio delle politiche attive del lavoro, valutazione in itinere di programmi comunitari (Euroform, Horizon, Occupazione, Adapt, FSE Ob.3 nazionale e regione Marche), progettazione di sistemi di monitoraggio e benchmarking delle politiche di pari opportunità. Gruppo di lavoro: Responsabili della valutazione: Daniela Oliva, Manuela Samek Lodovici Ricercatori: Chiara De Stefano Flavia Pesce Nicoletta Poli

IRS - Valutazione intermedia Obiettivo 3 VdA3 Le domande di valutazione Rilevanza degli interventi: gli obiettivi della politica sono rilevanti rispetto ai problemi di contesto?; Efficienza nell’utilizzo delle risorse rispetto ai risultati; Efficacia nel raggiungere gli obiettivi; Utilità nel rispondere ai problemi di policy; Sostenibilità nel tempo dei risultati.

IRS - Valutazione intermedia Obiettivo 3 VdA4 Perché e per chi valutare Per migliorare la capacità di intervento (learning): policy makers, operatori, utenza; l’analisi dei risultati della valutazione consente il confronto e la riflessione sulle esperienze e orienta la scelta tra politiche e strumenti di intervento alternativi.

IRS - Valutazione intermedia Obiettivo 3 VdA5 Relazioni tra monitoraggio, valutazione e le fasi dei programmi VALUTAZIONE EX ANTE MONITORAGGIO VALUTAZIONE INTERMEDIA VALUTAZIONE EX POST FORMULAZIONE PROGRAMMI ATTUAZIONE PROGRAMMI MODIFICHE E REVISIONI IN ITINERE Raccolta informazioni/indicatori

IRS - Valutazione intermedia Obiettivo 3 VdA6 Le fasi del processo di valutazione Identificazione del problema di policy Valutazione ex-post ex-ante Valutazione in itinere Monitoraggio

IRS - Valutazione intermedia Obiettivo 3 VdA7 Finalità e obiettivi della valutazione intermedia (1) Formulare un giudizio sul ruolo strategico che il Programma si propone e che sembra effettivamente avere attraverso le azioni progettate e messe in opera. Si cerca quindi di evidenziare: l'effettivo valore aggiunto del Programma; il contenuto innovativo delle azioni promosse; il contributo al miglioramento del sistema di intervento nel campo delle politiche e del sistema di monitoraggio e valutazione.

IRS - Valutazione intermedia Obiettivo 3 VdA8 Finalità e obiettivi della valutazione intermedia (2) OBIETTIVI SPECIFICI: Produrre le informazioni necessarie ai fini dell’apprendimento istituzionale e di eventuali modifiche al POR per ottimizzarne efficacia ed efficienza; Identificare: - i meccanismi di interazione che accompagnano i processi decisionali; - risorse e capacità di gestione dei processi in atto; Analizzare e valutare i dati e le informazioni sullo stato di avanzamento, la qualità di attuazione e le modalità di gestione del POR; Evidenziare l’effettivo valore aggiunto del Programma in itinere.

IRS - Valutazione intermedia Obiettivo 3 VdA9 L’approccio metodologico Step di valutazione: Individuare obiettivi principali e variabili di risultato ad essi collegate; Individuare gli attori rilevanti per ogni variabile-obiettivo e la relazione tra sistema di implementazione del Programma/progetti e risultati (fase di selezione, fase di realizzazione, fase di diffusione e animazione); Individuare le variabili, altre rispetto al Programma, che possono influenzare tali relazioni; Definire la metodologia di valutazione (basi informative, referenti, situazione di controllo/controfattuale, tempi); Stimare l’impatto lordo e netto del Programma in relazione alle variabili risultato sopra definite. POLICY ANALYSIS: elemento centrale d’analisi è il concetto di “politica pubblica”, intesa come una pluralità di attori pubblici e privati che interagiscono tra di loro per la soluzione di un problema collettivo.

IRS - Valutazione intermedia Obiettivo 3 VdA10 I contenuti Analisi dell’evoluzione del contesto; Analisi dei processi decisionali e delle procedure(modalità di definizione degli obiettivi delle politiche, analisi degli attori coinvolti, analisi dei meccanismi procedurali); Analisi dei meccanismi di regolazione (criteri di allocazione risorse); Analisi dei soggetti gestori e del sistema di offerta; Analisi del processo di selezione ex-ante, dell’offerta non accolta e dell’offerta programmata; Monitoraggio (misurazione dello stato di avanzamento fisico e finanziario delle politiche); Analisi dei risultati (effetti dei processi decisionali e delle politiche di fatto attivate in relazione agli obiettivi del Programma); Analisi dell’impatto (impatto delle attività realizzate dal Programma sui sistemi, sugli attori e sugli utenti coinvolti direttamente e indirettamente).

IRS - Valutazione intermedia Obiettivo 3 VdA11 Le basi informative Sistema di monitoraggio e indicatori di realizzazione, risultato e impatto; Analisi documentali (POR, normative, verbali CDS…); Interviste a testimoni privilegiati; Specifiche indagini sul campo.

IRS - Valutazione intermedia Obiettivo 3 VdA12 Monitoraggio e Valutazione MONITORAGGIO VALUTAZIONE DEL PROCESSO DI GESTIONE E DEI RISULTATI DIRETTI DELL’INTERVENTO; APPROCCIO DESCRITTIVO; ELABORAZIONE DI INDICATORI QUANTITATIVI E QUALITATATIVI. VALUTAZIONE GIUDIZI SUI RISULTATI DI UNA POLITICA E/O SUI RELATIVI PROCESSI DI ELABORAZIONE E ATTUAZIONE; UTILIZZO DI METODOLOGIE STATISTICO-ECONOMETRICHE E COSTRUZIONE CONTROFATTUALE; MISURAZIONE DEI POSSIBILI EFFETTI DI DISPERSIONE.

IRS - Valutazione intermedia Obiettivo 3 VdA13 Il monitoraggio: strumenti Per monitoraggio si intende la raccolta continuativa delle informazioni necessarie alla costruzione di indicatori che descrivano: La popolazione coinvolta negli interventi; Le modalità di realizzazione e gestione degli interventi; I costi ed i risultati diretti degli interventi; Per rispondere alle seguenti domande: È stata raggiunta la popolazione che si voleva raggiungere? Quali sono stati i risultati diretti e indiretti dell’intervento? La gestione dell’intervento è efficiente?

IRS - Valutazione intermedia Obiettivo 3 VdA14 Indicatori di monitoraggio QUANTITATIVI INDICATORI DI REALIZZAZIONE (rendono conto dello stato di attuazione delle attività cofinanziate misurando l’avanzamento finanziario e fisico delle azioni/progetti); INDICATORI DI RISULTATO (misurano il raggiungimento di obiettivi specifici del Programma); INDICATORI DI IMPATTO (misurano il raggiungimento dell’obiettivo generale del Programma).QUALITATIVI GRADO DI SODDISFAZIONE DEGLI UTENTI; GRADO DI SODDISFAZIONE DEGLI OPERATORI; QUALITA’ DEL SERVIZIO EROGATO.

IRS - Valutazione intermedia Obiettivo 3 VdA15 I prodotti della valutazione: 1. Rapporto di Valutabilità (4/06/2002 ) 2. Valutazione in itinere riferita al 2001 (9/2002) 3. Valutazione in itinere riferita al 2002 (30/1/2003) 4. Valutazione intermedia (30/4/2003) 5. Aggiornamento della valutazione intermedia (30/4/2004) 6. Rapporto conclusivo di valutazione intermedia (30/4/2005)

IRS - Valutazione intermedia Obiettivo 3 VdA16 Gli approfondimenti tematici Nell'ambito dei rapporti di valutazione in itinere ed intermedi si prevede: L’analisi dei temi trasversali : Sviluppo locale; Pari opportunità; Società dell’informazione. Approfondimenti tematici: Le potenzialità del sistema regionale dell’offerta progettuale; La realizzazione di un sistema di SPI; La valutazione dell’impatto di genere delle azioni finanziate nell’ambito del POR.

17 Rapporto di Valutabilità: indice 1. IL QUADRO DI RIFERIMENTO 1.1 Evoluzione del contesto socio-economico 1.2 Evoluzione del quadro normativo 1.3 La passata programmazione 1.4 La struttura della nuova programmazione 1.5 I risultati della valutazione ex-ante 2. IL SISTEMA INFORMATIVO 2.1 La struttura del sistema informativo 2.2 Il sistema degli indicatori utilizzati 2.3 La progettazione di una batteria di indicatori per la valutazione del POR 3. UNA PRIMA ANALISI DEL PROCESSO DECISIONALE E DEL NETWORK DI ATTORI 3.1 La struttura organizzativa interna 3.2 Analisi di flusso procedurale 3.3 Il CDS: funzionamento e ruoli 4. PIANO OPERATIVO PER LA VALUTAZIONE IN ITINERE