Studio di fattibilità per la costruzione di un gruppo di controllo interno per lanalisi controfattuale Roma, 27 febbraio 2013 Gruppo Nazionale Placement Isfol, Sala Auditorium Roma, Corso dItalia, 33 Unione Europea Fondi Strutturali

Obiettivo generale – Verificare la fattibilità di realizzare una valutazione defficacia degli interventi formativi, con metodologia danalisi controfattuale basata su GRUPPO DI CONTROLLO INTERNO Idonei non ammessi agli interventi Non idonei Attività – I STRUTTORIA sulla raccolta, conservazione e disponibilità delle informazioni amministrative relative a questi individui ( da parte degli Enti Formativi o del Sistema informativo regionale ) La sperimentazione

Oggetto dindagine Progetti formativi conclusi tra il 2008 ed il 2011 che hanno avuto candidature eccedenti i posti disponibili Tipologie formative rivolte alloccupabilità Finanziamento Por FSE Lazio: assi A, C ed E assi II e IV Strumenti dindagine Questionari web compilati dagli Enti formativi per ciascun progetto selezionato nella sperimentazione Dimensioni indagate: presenza di candidature eccedenti; consistenza o stima (%) del loro ammontare; criteri di stesura graduatorie; presenza di verbali, gestione e conservazione delle informazioni sulle candidature eccedenti Attività Istruttoria

Dimensione significativa nellanalisi dei risultati dellIstruttoria Per la tipologia delle informazioni considerate: necessarie per la costruzione di gruppi di controllo interno; trattate in assenza di indicazioni univoche e tassative da parte dellAdg Per le indicazioni sulla fattibilità (metodologica e materiale) di unindagine valutativa controfattuale basata su GRUPPO DI CONTROLLO INTERNO Attività Istruttoria/2: gestione e conservazione delle informazioni

Gestione e conservazione delle informazioni sulle candidature eccedenti i posti disponibili

Gestione e conservazione delle informazioni sulle candidature eccedenti i posti disponibili/2

Gestione e conservazione delle informazioni sulle candidature eccedenti i posti disponibili/3

Tassi di risposta Universo dindagine: 783 progetti Tasso di risposta: 30,4% (238 progetti) Più elevato: i.presso gli Enti con un maggior numero di progetti selezionati; ii.nei Progetti della programmazione (35,9%) Dimensione Ente per n. questionari risposteuniverso Tasso di disposta , , , ,0 > ,2 Totale ,4 Anno di programmazione risposteuniverso Tasso di disposta , ,9 Totale ,4

Alcune evidenze/1 Circa il 27% dei progetti non ha candidature eccedenti La non obbligatorietà di caricare i dati per in non ammessi in SI.MON produce una caduta informativa: È inserito in SI.MON solo il 40% dei progetti con i dati sulle «candidature eccedenti» (32 su 82 progetti) Solo il 37,5% dei progetti con i dati in SI.MON (12 su 32) è altamente coerente con i dati riportati nei questionari daltra parte: Esiste una relazione interessante nel rapporto tra numero di non ammessi e iscritti: i.esso aumenta nei progetti (1,78) rispetto al valore totale (1,24), per effetto di una maggiore attenzione richiesta dalla Regione agli Enti formativi nella comunicazione di tali informazioni ii.diminuisce per effetto della dispersione delle informazioni sulle «candidature eccedenti» a causa dellassenza di indicazioni vincolanti sullinserimento di tali dati: nel caso di progetti coerentemente caricati in SI.MON è pari a 3,98; nei progetti caricati in SI.MON ma non coerenti scende a 2,11

Alcune evidenze/1 Circa il 27% dei progetti non ha candidature eccedenti La non obbligatorietà di caricare i dati per in non ammessi in SI.MON produce 2 effetti: Inseriti in SI.MON solo il 40% dei progetti con i dati sulle «candidature eccedenti» (32 su 82 progetti) Solo il 15% dei progetti con i dati in SI.MON (12 su 32) è altamente coerente con i dati riportati nei questionari daltra parte: Esiste una relazione interessante nel rapporto tra numero di non ammessi e iscritti: i.esso aumenta nei progetti (1,78) rispetto al valore totale (1,24), per effetto di una maggiore attenzione richiesta dalla Regione agli Enti formativi nella comunicazione di tali informazioni ii.diminuisce per effetto della dispersione delle informazioni sulle «candidature eccedenti» a causa dellassenza di indicazioni vincolanti sullinserimento di tali dati: nel caso di progetti coerentemente caricati in SI.MON è pari a 3,98; nei progetti caricati in SI.MON ma non coerenti scende a 2,11

Effetti della «non obbligatorietà» di inserimento delle informazioni sulle «candidature eccedenti»: Caduta informativa Popolamento dei sistemi informativi con informazioni eterogenee e/o parziali i.rischio di informazioni inattendibili ii.limiti nella possibilità di riuso delle informazioni (a fini statistici) Potenziali controlli QuestionariCorsi Destinatari Iscritti (a) Destinatari eccedenti (b) Rapporto b/a Risposte totali di cui: stimano in % i candidati eccedenti22206 con informazione puntuale sul numero di candidati eccedenti di cui: corsi totali ,24 corsi della progr ,78 corsi caricati su SI.MON ,11 corsi caricati su SI.MON coerenti con dati istruttoria ,98

Caduta informativa Universo corsi dal 2010: 298 Risposte istruttoria: 112 corsi Corsi con candidati esclusi: 82 Caricati su SI.MON: ,4% - 89,3% - 62,5% Caricati su SI.MON e coerenti con dati istruttoria

Potenzialità e limiti attuali del sistema informativo: unanalisi sui non ammessi per i 12 progetti coerenti Candidati non ammessi Ammessi a partecipare ad altri interventi allinterno di Si.mon Stima sperimentazione 20-25% Ammessi a partecipare ad altri interventi allinterno di Si.mon Stima sperimentazione 20-25% Candidati che non appaiono in ulteriori interventi nel sistema informativo Candidati che risultano non ammessi in altri interventi La non obbligatorietà di inserimento dei dati sulle candidature eccedenti (cioè di non monitorare tutta la domanda di formazione) non permette di stimare separatamente i 2 aggregati (che insieme contano per il 75-80%) Candidati che non appaiono in ulteriori interventi nel sistema informativo Candidati che risultano non ammessi in altri interventi La non obbligatorietà di inserimento dei dati sulle candidature eccedenti (cioè di non monitorare tutta la domanda di formazione) non permette di stimare separatamente i 2 aggregati (che insieme contano per il 75-80%)

Le soluzioni al problema 1.Strutturare gli archivi amministrativi della Formazione in modo tale da contenere le informazioni sulle candidature eccedenti i posti disponibili, cioè le anagrafiche degli «idonei non ammessi» e dei «non ammessi». 2.Coinvolgere gli Enti di formazione nella raccolta dati per il monitoraggio e la valutazione degli interventi, attraverso la previsione di: strumenti standard per la rilevazione in ingresso della domanda formativa (domanda discrizione); procedure (nei dispositivi di accreditamento, nei bandi attuativi, ecc.) che vincolino gli Enti a conferire nel sistema informativo regionale le informazioni sulle candidature eccedenti in concomitanza con lavvio delle attività.

I vantaggi per le regioni Dimensione economica Permette di verificare immediatamente se esiste la possibilità di implementare una valutazione di efficacia con metodo controfattuale utilizzando un gruppo di controllo interno, senza prevedere risorse aggiuntive e ulteriori attività istruttorie Dimensione pragmatica Consente di acquisire informazioni di cruciale importanza per i policy makers, ad esempio: 1.Presenza di target vulnerabili: ci sono individui che presentano domanda di iscrizione a più interventi, senza mai essere ammessi ad alcuno? 2.Quanti sono gli individui che partecipano a più selezioni (magari per tipologie di interventi tra loro completamente diverse) prima di essere ammessi ad un intervento? E utile studiare i comportamenti individuali ai fini di analizzare le dinamiche di reinserimento nei percorsi di istruzione e formazione, di inserimento occupazionale e di sviluppo delle carriere? 3.Quanti sono gli interventi nei quali le domande di ammissione risultano essere inferiori o uguali al numero dei posti disponibili? Che caratteristiche ricorrenti hanno questi interventi?

I possibili rischi In prospettiva futura, la presenza di archivi amministrativi scarsamente funzionali alle analisi valutative basate sulle informazioni pre- intervento espone le Amministrazioni ai seguenti rischi: tempi più lunghi e risorse finanziarie aggiuntive per realizzare la fase istruttoria, senza peraltro avere la minima certezza sul buon esito finale; focalizzazione delle attività sulle problematiche relative alla scelta del metodo, che rischiano di prevalere sullutilità della valutazione stessa e – nei casi peggiori – stravolgere il disegno valutativo iniziale; utilizzo parziale o poco pragmatico della valutazione defficacia, in mancanza di informazioni cruciali per analizzare e giudicare la bontà delle scelte fatte dai policy makers (per es. decidere di rifinanziare tipologie di intervento risultate particolarmente efficaci ai fini dellinserimento occupazionale, senza conoscere il rapporto tra lofferta formativa e la domanda territoriale)

GLI ENTI FORMATIVI ACQUISISCONO INFORMAZIONI ANCHE SUGLI IDONEI NON AMMESSI E SUGLI ESCLUSI E LE FORNISCONO ALLE REGIONI O ALMENO LE CONSERVANO LE INFORMAZIONI SONO INSERITE NELLE BANCHE DATI REGIONALI O SU M ONIT FASE ISTRUTTORIA PROPEDEUTICA ALL INDAGINE PER CONOSCERE IL NUMERO DEGLI ALLIEVI IDONEI, IDONEI NON AMMESSI, ESCLUSI gruppo di controllo interno INDAGINE

Conclusioni dellIstruttoria Indicazioni per la Regione Prosieguo dellindagine (q.nario regioni)