Lanalisi degli esiti occupazionali del FSE nel periodo di programmazione e le prospettive per il prossimo Paolo Severati STRUTTURA NAZIONALE DI VALUTAZIONE FSE - AREA VALUTAZIONE POLITICHE RISORSE UMANE 22 aprile 2008, Grand Hotel Baglioni, Firenze, Gli esiti occupazionali delle attività formative finanziate dal FSE

Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE Struttura della presentazione Le indagini placement delle Adg e le indagini di follow up degli enti: differenze Le indagini placement nellesperienza delle due passate programmazioni e Le indagini placement nella programmazione Lindagine centralizzata Isfol: caratteristiche e periodicità Le indagini decentralizzate: nuove opportunità di sviluppo Obiettivi comuni e usi a fini valutativi delle indagini placement Le indagini placement: i rapporti con altre attività dellIsfol

Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE Le indagini placement delle Adg e le indagini di follow up degli enti: differenze

Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE Cosa sono le indagini placement Indagini statistiche retrospettive (campionarie o censuali) costruite appositamente per fini valutativi, che hanno come obiettivo primario la rilevazione della condizione occupazionale dei destinatari a distanza di 12 (e facoltativamente anche di 6) mesi dalla chiusura degli interventi cofinanziati dal Fse e, più in generale, mirano ad analizzare i percorsi (di ricerca di lavoro, di lavoro, di formazione) intrapresi dai destinatari alla conclusione degli interventi

Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE Cosa sono le indagini di follow up Schede e questionari somministrati ai partecipanti direttamente dagli enti di formazione poco dopo il termine dei corsi: essenzialmente schede o questionari di gradimento dei corsi che rilevano anche la condizione occupazionale dei partecipanti (customer satisfaction)

Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE I limiti delle indagini di follow up realizzate dagli enti Scarsa attendibilità statistica (metodi e strumenti di rilevazione, selezione ed autoselezione degli intervistati, formazione degli intervistatori) Presenza di un forte conflitto dinteressi: realizza le indagini chi realizza gli interventi. Gli esiti occupazionali degli interventi costituiscono punteggio nei bandi di gara successivi. Deresponsabilizzazione dellAutorità di gestione del programma.

Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE Quali novità introducono le indagini di placement rispetto alle indagini di follow up degli enti Indagini costituite appositamente per lanalisi dimpatto (prima lordo poi netto) realizzate dalle Adg (o da Agenzie regionali del Lavoro, Istituti regionali di ricerca, Uffici di Statistica, Società di rilevazione private …) e non dagli enti di formazione, attraverso il coordinamento della Struttura Nazionale di Valutazione del Fse dellIsfol, secondo uno schema concordato allinterno del Gruppo di lavoro Le indagini (ovvero i questionari in uscita dagli interventi) sono arricchite e completate da un altro strumento di rilevazione: la domanda di pre-iscrizione che comprende lanagrafica vera e propria dei partecipanti agli interventi e un questionario che serve a raccogliere in ingresso agli interventi alcune informazioni essenziali su caratteristiche individuali (titolo di studio, condizione occupazionale, background famigliare, …)

Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE Le indagini placement nellesperienza delle due passate programmazioni e

Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE La programmazione FSE Poche indagini placement condotte a livello regionale (esclusivamente al Centro-nord); la domanda di partecipazione è confinata nellambito placement Sistema di monitoraggio centrale del Fse lacunoso (poche informazioni sullandamento finanziario dei programmi, limitatissime sul fisico) Gruppo di lavoro Placement: sede di scambio di esperienze e di confronto; condivisione metodologie realizzazione dindagine; centro dellattenzione: questionari dindagine Tra il 2000 e il 2001 prime esperienze di valutazione di efficacia condotte dallIsfol: valutazione degli impatti netti, gruppo di controllo forze di lavoro

Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE La programmazione : un primo collegamento tra monitoraggio, placement e valutazione degli esiti Realizzazione ed operatività del sistema di monitoraggio centrale dei fondi strutturali (Monit 2000 prima e Monitweb poi) parallelamente allo sviluppo e al miglioramento dei sistemi informativi regionali La domanda di pre-iscrizione (somministrata in ingresso agli interventi), alimenta lanagrafica destinatari di Monitweb; Le analisi di placement utilizzano, oltre allanagrafica destinatari, anche lanagrafica progetti di Monitweb, che contiene tutte le informazioni sulle caratteristiche degli interventi (programma operativo, asse, misura, tipologia di azione e progetto, annualità, ente attuatore, …) Si manifesta un interesse di ricerca non solo verso chi ha partecipato effettivamente agli interventi ma anche verso chi ha fatto domanda di partecipazione e poi non ha partecipato pur possedendo i requisiti richiesti (ammissibili non ammessi); queste persone costituiscono un potenziale gruppo di controllo utile ai fini della valutazione dimpatto degli interventi Continua lattività del Gruppo Placement e viene creato un Gruppo Placement Ob.1 ai fini della realizzazione di unindagine centralizzata curata dallIsfol sugli interventi finalizzati alloccupabilità finanziati attraverso i Por Ob.1 Aumenta il numero di Regioni e Province Autonome che realizzano Indagini Placement Le indagini vengono effettivamente utilizzate ai fini della valutazione di efficacia degli interventi

Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE La programmazione : decentralizzazione in Ob.3 e centralizzazione in Ob.1 Indagini decentralizzate in Ob.3 Valutazioni Por Valutazione Qcs Ob.3 (Val.Ind.Ob.3) (Nuova esperienza di valutazione impatti netti, Isfol val.int.e val. fin. Qcs Ob.3) Indagini centralizzate Isfol in Ob.1 (Placement Ob.1 e Alta formazione) per colmare il vuoto informativo esistente utilizzo a fini valutativi, Isfol

Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE Placement Ob.1: i vantaggi di unindagine centralizzata rispetto alla raccolta ex post di dati provenienti da singole indagini decentralizzate Definizione ed univocità delluniverso di riferimento Precisi e uniformi riferimenti temporali per la progettazione e la realizzazione dellindagine (12 mesi dalla conclusione dellintervento) Controllo sistematico e omogeneo delle liste progetti e destinatari Unico disegno campionario (e riporto alluniverso) Unico questionario Stessa tecnica di rilevazione (CATI) Certezza sui criteri di scelta della società di rilevazione Unica società di rilevazione Articolata fase di test del questionario (thinking aloud,pre-test, indagine pilota) Trattamento comune delle mancate risposte (totali e parziali) Analisi, controllo e validazione dei dati provenienti dallindagine Qualità della rilevazione (numerosità del campione, errori campionari e non campionari, significatività delle stime, uniformità e comparabilità) Corretta valutazione degli esiti (occupazionali); possibilità di definire correttamente gruppi di controllo interni ed esterni

Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE I limiti dellesperienza del Indagini regionali realizzate solo nellOb.3, ad eccezione della Regione Sardegna (Indagini sul finalizzato aziendale condotta dal valutatore indipendente del Por; Indagine sui voucher condotta dalla Regione) e di prime esperienze della Regione Sicilia Grandi problemi nellacquisizione (e prima ancora nella costruzione) delle anagrafiche destinatari. Chi ha realizzato le indagini, anche se interno alla Regione, spesso ha avuto difficoltà ad avere accesso a Monitweb o al sistema informativo regionale nella misura sufficiente a definire liste valide per avviare unindagine Cati. A volte il problema è a monte: gli enti attuatori non hanno fornito anagrafiche dettagliate. Mancata somministrazione delle domande di pre-iscrizione agli ammissibili non ammessi; mancata esplicitazione dei criteri di selezione allingresso; mancata fornitura delle graduatorie. Conseguenze: impossibilità di disporre gruppi di controllo interni (ammissibili non non ammessi; regression discontinuity design) o accedere a gruppi di controllo esterni (archivi centri per limpiego) Periodicità delle indagini variabile e non chiaramente predefinita. Concentrazione delle indagini in corrispondenza della riprogrammazione di metà periodo Non completo rispetto della classificazione Fse per tipologia di progetto e mancata indicazione della classificazione Orfeo sui contenuti delle attività formative. Conseguenza: imprecisa individuazione delle politiche e degli interventi cofinanziati dal Fse Poche valutazioni dimpatto netto, anche in conseguenza della mancanza di adeguati gruppi di controllo interni

Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE Le indagini placement nella programmazione

Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE Le sfide della nuova programmazione : costruire sistemi informativi statistici che consentano la valutazione di efficacia dei programmi operativi Obiettivo: realizzare attendibili valutazioni di efficacia dei programmi (come richiesto dalla Commissione Europea) Presupposti: Disponibilità di indagini placement ricorrenti sui formati; Disponibilità di gruppi di controllo idonei, definiti ex ante e non ricavati ex post

Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE Un cambiamento di cultura Monitoraggio, indagini sugli esiti occupazionali e valutazione di efficacia degli interventi: ununica filiera non dei compartimenti stagni

Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE Linee dindirizzo: integrazione, semplificazione e innalzamento della qualità Capitalizzare lesperienza della programmazione Fse per riuscire a trovare il giusto bilanciamento tra dati di fonte amministrativa e dati acquisiti attraverso indagini. Attualmente si caricano di oneri impropri le indagini retrospettive, lunghe e costose da realizzare e che riguardano solo una parte della popolazione. Si sottovaluta limportanza dei dati di fonte amministrativa a fini di analisi statistica

Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE Dati di fonte amministrativa Si riferiscono al totale della popolazione; non contengono quindi errori di campionamento ma solo errori non campionari; sono già disponibili, non richiedono indagini ad hoc; si tratta di renderli utilizzabili a fini statistici; permettono di ridurre i costi: non cè bisogno di realizzare piani di campionamento, non cè bisogno di Cati; contribuiscono a ridurre la molestia statistica (causata dalle tante indagini che incidono sullo stesso target)

Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE Indagini retrospettive Che cosa giustifica la realizzazione di unindagine retrospettiva? Cosè, in altri termini, che non può essere raccolto da dati di fonte amministrativa? 1. Informazioni (anche oggettive) non disponibili nei data set amministrativi in quanto relative a fatti od eventi successivi alla chiusura dellintervento e/o riferite al momento dellintervista; 2. Informazioni che sono disperse in data set non aggregabili; 3. Informazioni sulle motivazioni o sulle percezioni individuali (motivi della partecipazione, motivi dellabbandono, utilità percepita dallintervento ad una certa distanza dalla sua conclusione, …) non interessanti a fini amministrativo-gestionali e quindi non registrate nei data set amministrativi.

Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE Cosa fare Si tratta quindi di sfruttare al massimo le informazioni contenute in Monitweb o nei sistemi informativi regionali evitando di chiedere da questionario placement informazioni su variabili già disponibili da fonte amministrativa Si tratta di collegare tra loro, attraverso chiavi opportune, differenti archivi amministrativi (archivi fse, archivi accreditamento, archivi formazione a finanziamento regionale non cofinanziata dal Fse, archivi Centri per limpiego, …)

Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE Lindagine centralizzata Isfol: caratteristiche, periodicità

Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE Indagine retrospettiva nazionale Isfol (1) Indagine campionaria retrospettiva, condotta a livello nazionale ma con significatività regionale, su tutte le tipologie dintervento finalizzate alloccupabilità Periodicità: triennale Dimensione campionaria: – individui (Primo) Anno di rilevazione: 2009 Anno di riferimento: interventi conclusi nel 2008 Anno di avvio del progetto dindagine: 2008 Rilascio dati: fine 2009 Tecnica di rilevazione: CATI Lindagine sarà rivolta a destinatari conclusi e a componenti di differenti gruppi di controllo interni o esterni provenienti da archivi amministrativi di varia fonte (regionale diverso da Fse, Cpi, Inps, …), previa verifica dello stato degli archivi

Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE Indagine retrospettiva nazionale Isfol (2) Pieno rispetto delle specifiche di qualità richieste dal Sistan Collegamento con altre importanti indagini dellIsfol (Plus; indagine sulla qualità del lavoro in Italia)

Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE Le indagini decentralizzate: nuove opportunità di sviluppo

Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE Molteplici opzioni Indagini tradizionali facenti capo ad una singola Regione o Provincia autonoma sui principali interventi finalizzati alloccupabilità (effettuate con tecnica Cati); Indagini specializzate (effettuate con tecnica Capi) su singole tipologie di intervento o particolari target group (es. gruppi vulnerabili) Indagini realizzate da gruppi di regioni consorziate Indagini longitudinali su una stessa coorte di partecipanti (o di facenti domanda) Sfruttamento dei data set amministrativi (sistemi informativi regionali sulla formazione, Cpi, accreditamento, …) ai fini della produzione di statistiche ricorrenti sui partecipanti agli interventi e sullevoluzione della loro condizione occupazionale Uso intelligente delle indagini di follow up degli enti: servono a creare buone anagrafiche destinatari; sono previste dalle leggi sullaccreditamento

Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE Obiettivi comuni e usi a fini valutativi delle indagini placement

Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE Programmazione : obiettivi comuni delle indagini centralizzate e decentralizzate Non disperdere patrimonio accumulato nella passata programmazione Estendere la pratica delle indagini a tutto il territorio nazionale e a politiche finora poco considerate Migliorare lattendibilità statistica Rendere certi i tempi di rilevazione Migliorare la diffusione dei dati anche per un loro maggiore utilizzo a fini di valutazione

Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE La programmazione : uso delle indagini ai fini della valutazione Indagine centralizzata Isfol: 1) copertura dellintero territorio nazionale (Ob.1 e Ob.2); 2) copertura delle politiche risorse umane fuori Fse e quindi definizione di un quadro complessivo delle politiche che incidono sugli stessi obiettivi o hanno le stesse finalità indipendentemente dalla fonte di finanziamento; calcolo del valore aggiunto Fse e valutazione di efficacia relativa Valutazioni strategiche (politiche, Po e Qsn) Indagini decentralizzate (auspicabilmente, tutte le Adg Ob.1 e Ob.2) Valutazioni strategiche Po Valutazioni operative Po

Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE Le indagini placement: i rapporti con altre attività dellIsfol

Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE Collegamenti e sinergie con altri progetti Isfol Studio progettuale per la realizzazione di un sistema informativo statistico per lanalisi, il monitoraggio e la valutazione del Fse (banca dati bandi, monitweb, placement) Utilizzo e diffusione delle classificazioni internazionali riguardanti la formazione e le politiche attive del lavoro (Fields of training, Classification of learning activities, Labour market policies) Sistema statistico della formazione professionale (Sistaf) Banca dati nazionale dellaccreditamento Qualità dellofferta formativa Analisi dei fabbisogni formativi e professionali

Isfol – Struttura nazionale di valutazione Fse AREA VALUTAZIONE POLITICHE RISORSE UMANE Grazie Per contatti