La valutazione delle politiche per l’impiego: gli incentivi alle imprese Pilot Projects to carry out ESF related Counterfactual Impact Evaluations Roma, 13 Maggio 2015 Evidenze, sfide e indicazioni per la nuova programmazione FSE

Tutto ciò che si cerca, si può raggiungere; mentre sfugge ciò che si trascura. SOFOCLE (da Plutarco. La vita felice. Einaudi)

E’ lo spirito al centro del progetto pilota, di cui presentiamo i primi risultati: – Cercare modalità operative da adottare «facilmente» – Accumulare esperienza ed evidenza, cioè risultati: la comparazione ci avvicina al vero Per rafforzare l’attività dei decisori e la rispondenza ai bisogni dei cittadini

Gli interventi oggetto di valutazione CALABRIA (2009): “Avviso pubblico per la concessione di aiuti alle imprese per l’assunzione di lavoratori svantaggiati e all’occupazione di lavoratori disabili, sotto forma di integrazione salariale - POR FSE Calabria , Piano d’Azione 2009/2010” Incentivi per l’assunzione di lavoratori svantaggiati e severamente svantaggiati (EU Reg. 800/2008) e lavoratori disabili (L. 68/1999) residenti in Calabria Allocazione finanziaria di € 30 mln Ammissibilità: l’impresa richiedente deve aumentare la base occupazionale Le domande ammissibili sono finanziate fino a esaurimento delle risorse, su base cronologica Ammontare dell’incentivo: a seconda della tipologia di lavoratore assunto, da 50% a 75% dei costi salariali complessivi per un periodo che varia dai 12 ai 36 mesi Le risorse disponibili non hanno coperto tutte le domande ammissibili

Misure oggetto di valutazione MARCHE (2011 e 2012): “Avviso pubblico per la concessione di contributi per la stabilizzazione dei contratti a termine ed atipici – Anno 2011 e Anno 2012” Allocazione finanziaria : €2,1 mln nel 2011 e €2,8 mln nel 2012 a valere sull’Asse II “Occupabilità” del POR FSE Regione Marche; la dotazione è stata successivamente aumentata di €2 mln per il 2011 (risorse FSE) e di €2,8 mln per il 2012 Le domande sono finanziate fino a esaurimento delle risorse su base cronologica Incentivo: €7.000 per lavoratori assunti a tempo pieno (ridotto proporzionalmente per lavoratori a tempo parziale) Tutte le domande ammissibili sono state finanziate

Misure oggetto della valutazione UMBRIA (2011): “Avviso Pubblico Precari 2011 – Intervento 1: Stabilizzazione dei lavoratori e delle lavoratrici precari/e” – POR Umbria FSE Allocazione finanziaria: €3,3 mln a valere sull’Asse II Occupabilità del POR FSE Umbria Incentivo: fino a €9.000 Selezione: le domande sono finanziate fino a esaurimento risorse, su base cronologica Le risorse disponibili non hanno permesso di coprire tutte le domande ammissibili

La domande valutative Quali gli effetti degli interventi? Se ci sono, sono attribuibili all’intervento? – In sostanza, dato che non è possibile sapere cosa sarebbe successo senza per i trattati, si cerca di confrontare il risultato medio con quello di un gruppo simile. – Il problema è : quanto simile? Garantire l’assenza di differenze tra i due gruppi prima dell’intervento è possibile solo con una selezione casuale – Poiché nemmeno questo è possibile si cerca di avvicinare il più possibile la realtà (inconoscibile)

L’approccio metodologico La Valutazione di Impatto Controfattuale comprende un insieme di tecniche che permettono di: isolare e quantificare l’impatto di una politica individuare se i risultati di una data misura possono essere direttamente attribuibili al’intervento oppure si sarebbero verificati anche in sua assenza Variabili risultato (a livello di impresa su base trimestrale): Calabria: numero di assunzioni di lavoratori svantaggiati e severamente svantaggiati Marche and Umbria: saldo nel numero di contratti a tempo indeterminato (permette di individuare l’impatto totale) e le sue componenti (assunzioni, trasformazioni e cessazioni a tempo indeterminato) (permette di individuare effetti di sostituzione) Saldo TI = Assunzioni TI + Trasformazioni TI – Cessazioni TI

L’approccio metodologico Metodo di stima: combinazione del metodo delle differenze nelle differenze (D-in-D) con quello detto Abbinamento Statistico (Propensity Score Matching - PSM); diversi stimatori PSM sono usati per testare la robustezza degli impatti trovati Dati: banche dati del monitoraggio FSE combinati con le banche dati delle Comunicazioni Obbligatorie (sul totale dei cambiamenti contrattuali verificatisi dal 2008 in poi) e ASIA (Archivio statiatistico delle Imprese Attive) Tutte le tecniche di valutazione controfattuale si basano sul confronto dei risultati osservati per i beneficiari (gruppo di trattamento) con quelli osservati per un gruppo di non-beneficiari (gruppo di controllo) composto da soggetti (imprese, lavoratori, …) che hanno caratteristiche simili ai trattati

L’approccio metodologico Due modalità (in base alle circostanze) che si differenziano nel modo in cui il gruppo di controllo è ricavato:  L’approccio “razionato”: le imprese ammesse ma non finanziate compongono il gruppo di controllo in Umbria e Calabria dove solo una parte delle imprese ammesse hanno ricevuto l’incentivo a causa dell’insufficienza delle risorse disponibili  L’approccio “non-razionato”: le imprese che non hanno fatto domanda compongono il gruppo di controllo - nelle Marche dove tutte le imprese ammesse sono state finanziate - in Umbria e Calabria per valutare eventuali differenze nelle stime di impatto

Risultati - Calabria Il numero di assunzioni (hirings) è maggiore per il gruppo dei beneficiari che per I 2 gruppi di controllo (razionato e non razionato); tra I 2 gruppi di controllo, è maggiore per il gruppo di controllo razionato che per quello non- razionato Non si individua una crescita particolare nel numero di assunzioni di lavoratori svantaggiati per le imprese trattate nel periodo successivo alla riforma (si noti tuttatavia che la serie storica a disposizione permette di osservare la variabile risultato solo per un limitato numero di trimestri antecedenti l’introduzione della riforma)

Risultati-Calabria Le stime di impatto riportate nel grafico mostrano che la riforma non ha avuto effetti statisticamente significativi sul numero di lavoratori svantaggiati, sia usando l’approccio “razionato” che quello “non razionato”

Risultati-Calabria Lievi effetti positivi (statisticamente) significativi sono individuati in alcuni dei tre trimestri successivi all’introduzione della misura sia usando l’approccio “razionato” che quello “non- razionato” La loro significatività non è robusta tra stimatori diversi L’evidenza complessiva suggerisce (non indica) che la misura non ha avuto un impatto netto statisticamente significativo sul comportamento reclutatorio delle imprese beneficiarie

Risultati-Calabria Tutti I risultati, siano positivi o nulli, vanno presi con cautela. In questo caso vanno ricordate le limitazioni nella disponibilità dei dati, in particolare: Il breve periodo per cui per cui le Comunicazioni Obbligatorie (CO) sono registrate prima dell’intervento Il numero relativamente piccolo di imprese trattate e razionate che possono essere identificate nelle banche dati CO e ASIA su cui l’analisi è effettuata; L’approssimazione con cui le variabili risultato sono effettuate, per via dell’impossibilità di rintracciare tutte le variabili necessarie a ricostruire lo stato di svantaggio nelle CO e in ASIA Un ulteriore approfondimento circa l’impatto della misura potrebbe venire dall’approfondimento (in corso) sulla durata dei rapporti di lavoro attivati attraverso l’incentivo

Risultati-Marche Le stime mostrano che la riforma ha avuto un impatto positivo sul saldo dei contratti a tempo indeterminato nei tre trimestri successivi all’introduzione della misura

Risultati -Marche L’impatto positivo sul saldo dei contratti a tempo indeterminato nei trimestri successivi all’introduzione della misura può essere attribuito interamente a un aumento delle stabilizzazioni La diminuzione delle assunzioni di lavoratori a tempo indeterminato osservata dal III trim 2013 al III trim per le imprese che hanno beneficiato degli aiuti non sono statisticamente significative (eliminando la possibilità di un effetto di sostituzione)

Risultati-Marche Le stime mostrano che la misura ha avuto un impatto statisticamente significativo sul numero dei lavoratori a tempo indeterminato. L’impresa media che ha beneficiato dell’incentivo ha stabilizzato più lavoratori atipici di quanti ne avrebbe stabilizzato in assenza della misura, nei trimestri successivi alla sua introduzione Nel complesso, le stime puntuali degli impatti indicano un effetto della misura che varia tra 817 e 1,042 nuovi contratti a tempo indeterminato che non si sarebbero realizzati in assenza dei due avvisi 2011 e 2012, pari al 60%- 77% delle stabilizzazioni finanziate Si può ipotizzare che questa stima, basata su un gruppo di controllo “non razionato” possa essere sovrastimata rispetto al risultato che si sarebbe raggiunto in presenza di un gruppo di controllo razionato

Risultati-Umbria Si osserva un aumento significativo nel saldo dei contratti a tempo indeterminato nell’anno successivo all’introduzione della misura per le imprese trattate (gruppo dei trattati), e – seppur in minor misura – per il gruppo di controllo razionato Il maggior allineamento tra i livelli delle variabili risultato osservati per i trattati e il gruppo di controllo “razionato” suggeriscono che le stime di impatto ottenute paragonando le imprese trattate con quelle del gruppo di controllo “non razionato” potrebbero portare a una sovrastima dell’impatto

Risultati-Umbria Le stime imostrano che la riforma ha avuto un impatto statisticamente significativo sul numero di contratti a tempo indeterminato in entrambi gli approcci (razionato e non) Gli effetti stimati utilizzando l’approccio “razionato” sono tuttavia minori di quelli trovati usando l’approccio “non razionato”

Risultati-Umbria L’impresa media che riceve gli incentivi ha stabilizzato più lavoratori di quanto avrebbe fatto in assenza della misura nei trimestri successivi alla sua introduzione Dalle stime di impatto si deduce che : -Tra 172 e 221 lavoratori a tempo indeterminato addizionali rispetto alla situazione “senza misura”. Cioè tra il 21% e il 27% delle 825 stabilizzazioni finanziate nel complesso (utilizzando approccio non razionato) -Tra 429 e 495 lavoratori a tempo indeterminato addizionali rispetto alla situazione “senza misura”, cioè tra il 52% e il 60% delle 825 stabilizzazioni finanziate nel complesso (utilizzando approccio non razionato)

Conclusioni I risultati dell’analisi mostrano che -gli interventi volti ad aumentare la quota di occupazione stabile in Umbria e Marche hanno avuto un impatto positivo “netto” -L’intervento volto a promuovere le assunzioni di lavoratori svantaggiati appare avere un minore impatto “netto”; questo risultato potrebbe essere tuttavia inficiato da alcune limitazioni sui dati e dal target diverso

Conclusioni Il confronto tra risultati ottenuti utilizzando l’approccio razionato e non razionato sottolinea l’importanza della strategia empirica adottata per valutare l’effetto della politica in particolare riguardo alla costruzione del gruppo di controllo. Poiché il problema è ridurre le differenze di partenza, poter disporre di due gruppi che hanno risposto alla politica (uno di trattati e l’altro no) garantisce una maggiore vicinanza al risultato vero. Un’implicazione è l’importanza di tenere conto delle strategie valutative ed relative esigenze informative già al momento della programmazione delle misure

la ricerca del controfattuale è il terreno dell’apprendimento, del miglioramento. non devono scoraggiare gli insuccessi parziali o le incertezze che circondano i risultati. Ciò che si può insegnare, imparo; ciò che si può trovare, cerco; ciò che si può invocare, chiedo agli dei. SOFOCLE