Le esigenze conoscitive per fini valutativi: il ruolo del monitoraggio Programmazione FSE 2007-2013 Roma, 3 maggio 2011 Le esigenze conoscitive per fini valutativi: il ruolo del monitoraggio Paola Stocco Isfol – Valutazione dei programmi e delle politiche di sviluppo delle risorse umane Isfol – Valutazione dei programmi e delle politiche di sviluppo delle risorse umane Isfol - Struttura nazionale di valutazione Isfol - Struttura nazionale di valutazione 1

Il monitoraggio Il monitoraggio può essere definito come l’osservazione e la documentazione sistematica e continua di qualsiasi processo in un certo periodo di tempo Questo comporta diverse fasi: Impianto Implementazione Risultati Effetti Isfol – Valutazione dei programmi e delle politiche di sviluppo delle risorse umane

Monitoraggio e valutazione Il monitoraggio è una attività “servente”. Costituisce la base dati per quantificare indicatori significativi riguardo l’evoluzione del programma in termini di realizzazioni. La valutazione si avvale del supporto dei dati di monitoraggio per esprimere un giudizio di efficacia del programma che vada oltre gli output prodotti e consideri anche gli effetti attesi e inattesi (valutazione di processo e di realizzazione, valutazione di risultato e d’impatto). Isfol – Valutazione dei programmi e delle politiche di sviluppo delle risorse umane

Indicatori come strumenti per la valutazione Approccio quantitativo Gli indicatori sono lo strumento per aiutare a capire il contenuto degli interventi e le priorità Categorie di indicatori: Realizzazione o prodotto (output) Risultato (outcome) Impatto specifico (outreach) Impatto generale (impact) Approccio partecipativo La logica valutativa favorisce la cultura della trasparenza e della responsabilità coinvolgendo gli attori “decisori” e “attuatori” nella condivisione degli strumenti. Isfol – Valutazione dei programmi e delle politiche di sviluppo delle risorse umane

Gli indicatori e la valutazione La valutazione definisce a priori gli elementi sottoposti a giudizio attraverso l’individuazione del set di indicatori che devono essere quantificati. Un indicatore può essere definito come la misura delle realizzazioni, dei risultati e degli impatti collegati al programma. Un buon indicatore dovrebbe fornire informazioni semplici che sia i fornitori che gli utilizzatori possono facilmente comunicare e comprendere (C.E. Means, 1999). Isfol – Valutazione dei programmi e delle politiche di sviluppo delle risorse umane

Sistema di indicatori: fornitori e utilizzatori I potenziali utilizzatori delle informazioni (stakeholders) hanno specifiche aree di responsabilità e necessitano di specifiche informazioni. Autorità di gestone incaricata del sistema di indicatori Fornitori di informazione: Enti attuatori Utilizzatori dell’informazione: Committenti del Monitoraggio Autorità di gestione Autorità di implementazione Commissione Europea Valutatori Esterni Isfol – Valutazione dei programmi e delle politiche di sviluppo delle risorse umane

Gli attori coinvolti nello scambio di informazioni MLPS CIPE ISFOL MEF-IGRUE DPS - UVAL analisi dei dati di monitoraggio valutazione TECNOSTRUTTURA COORDINAMENTO REGIONI Isfol – Valutazione dei programmi e delle politiche di sviluppo delle risorse umane Isfol - Struttura nazionale di valutazione

Complessità delle informazioni ANALISI QUANTITATIVE letteratura studi di caso documentazione V A L U T Z I O N E ANALISI QUALITATIVE INDICATORI DI IMPATTO INDAGINI AD HOC INDICATORI DI CONTESTO E TARGET (statistiche ufficiali e microdati di indagini) INDICATORI DI RISULTATO DATI MONITORAGGIO INDICATORI DI OUTPUT Dati non coerenti Isfol – Valutazione dei programmi e delle politiche di sviluppo delle risorse umane

Le novità del nuovo sistema di monitoraggio Garantisce confrontabilità/integrazione con altri sistemi di monitoraggio che insistono sugli stessi contesti territoriali: Sistaf (Isfol - Sistema statistico della formazione professionale) Introduce per il FSE alcune novità derivanti da apprendimenti dalla programmazione FSE 00-06, ad esempio: voucher: strumento di accesso alla formazione a domanda individuale classificazione Cedefop Eurostat  “Fields of Training” in luogo della classificazione Orfeo Garantisce continuità con il passato rispetto alla classificazione delle tipologia di progetto FSE: Tabella di raccordo Classificazione CUP (CIPE - Monitoraggio degli investimenti pubblici) e Classificazione nazionale FSE Isfol – Valutazione dei programmi e delle politiche di sviluppo delle risorse umane Isfol - Struttura nazionale di valutazione

Indicatori di realizzazione Il monitoraggio dei progetti afferenti al FSE ’07-’13 richiede le informazioni necessarie e sufficienti per fornire ai vari decisori la quantificazione degli indicatori di realizzazione Destinatari (N.) (e loro caratteristiche) Durata (Ore) Imprese (N.) Giornate/uomo prestate (N.) necessari per restituire informazioni sullo stato di avanzamento del programma e sulle caratteristiche del target Documento di riferimento: “Protocollo di colloquio per il monitoraggio unitario dei progetti 2007/2013” Isfol – Valutazione dei programmi e delle politiche di sviluppo delle risorse umane

Livelli di dettaglio delle informazioni Gli indicatori di realizzazione possono essere dettagliati per le tipologie di progetto previste dalla classificazione FSE all’interno delle tre macrotipologie: azioni rivolte alle persone azioni di sistema azioni di accompagnamento I dettagli relativi alle caratteristiche dei partecipanti ai corsi di formazione sono: genere età titolo di studio condizione nel mercato del lavoro cittadinanza Isfol – Valutazione dei programmi e delle politiche di sviluppo delle risorse umane

Indicatori di risultato (1/2) Per ciascun obiettivo specifico è stata predisposta una scheda relativa all’indicatore di risultato, in cui vengono specificate: Descrizione dell’indicatore Unità di misura Fonte dei dati (distinta per numeratore e denominatore) Anno di riferimento del valore atteso Anno di riferimento del valore iniziale (base line) Declinazioni previste per la valorizzazione corrente dell’indicatore Formula per il calcolo del valore iniziale (base line) Formula per il calcolo del valore atteso Formula per il calcolo del valore corrente Documento di riferimento: “Schede tecniche per il calcolo degli indicatori comuni di risultato presenti nei PO di Fse ’07-’13” Isfol – Valutazione dei programmi e delle politiche di sviluppo delle risorse umane

Indicatori di risultato (2/2) Gruppo 1. Tassi di copertura ( n/N ) La popolazione di riferimento è costituita da individui o imprese. Gruppo 2. Rapporti di composizione ( nh /n ) In generale gli indicatori si calcolano rapportando il numero fisico dei progetti in alcuni casi si fa riferimento alla loro dimensione finanziaria (impegni). Gruppo 3. Tassi di inserimento occupazionale lordo La popolazione è costituita da individui. Documento di riferimento: “Schede tecniche per il calcolo degli indicatori comuni di risultato presenti nei PO di Fse ’07-’13” Isfol – Valutazione dei programmi e delle politiche di sviluppo delle risorse umane

Indicatori di impatto Aree tematiche di interesse della valutazione di efficacia: Adattabilità: effetto della partecipazione ad interventi di formazione continua sul binomio “lavoratori & imprese” Occupabilità: effetto della partecipazione ad interventi formativi sull’occupabilità individuale Il presupposto per quantificare l’impatto netto è la disponibilità di basi dati adeguate sui partecipanti (trattati) e sul gruppo di controllo (non trattati) Isfol – Valutazione dei programmi e delle politiche di sviluppo delle risorse umane

Diffusione delle informazioni Incontri del Gruppo nazionale di monitoraggio FSE per discutere di eventuali problematiche riscontrate in fase di trasferimento dati dai sistemi locali al sistema centrale e individuare possibili soluzioni Predisposizione di strumenti di lavoro a supporto della circolazione della conoscenza predisposizione di un ambiente web dedicato alle attività del GdL (MOODLE) (realizzato nel 2010) realizzazione di un bollettino statistico periodico (da realizzare nel 2011) Isfol – Valutazione dei programmi e delle politiche di sviluppo delle risorse umane Isfol - Struttura nazionale di valutazione

Supporto alla valutazione Utilizzo dei dati di monitoraggio per fini valutativi Occupabilità - effetto della partecipazione rispetto all’occupazione di persone in cerca di prima o di nuova occupazione Adattabilità - effetto della partecipazione rispetto all’adeguamento degli skills dei lavoratori Contrasto alla crisi occupazionale - effetto della partecipazione a tutela dell’occupazione di lavoratori sospesi o a rischio sospensione Sinergie tra i dati di monitoraggio ed altre fonti informative banca dati INPS dei soggetti beneficiari dei trattamenti di integrazione salariale banca dati bandi della programmazione attuativa Isfol – Valutazione dei programmi e delle politiche di sviluppo delle risorse umane Isfol - Struttura nazionale di valutazione

Monitoraggio e temi valutativi Indagine nazionale Placement Anagrafica progetti FSE & crisi occupazionale (codice norma 547) Caratteristiche del target Anagrafica allievi Collegamento a BD INPS Percettori (Codice fiscale destinatari diretti) Anagrafica procedure di attivazione Collegamento a BD BANDI (Codice della procedura di attivazione) Isfol – Valutazione dei programmi e delle politiche di sviluppo delle risorse umane Isfol - Struttura nazionale di valutazione