Strumenti per la valutazione: l’analisi controfattuale nell’esperienza della Regione Lombardia Andrea Naldini and Marco Pompili N ETWORK FOR THE B ETTER.

Presentazione sul tema: "Strumenti per la valutazione: l’analisi controfattuale nell’esperienza della Regione Lombardia Andrea Naldini and Marco Pompili N ETWORK FOR THE B ETTER."— Transcript della presentazione:

1 Strumenti per la valutazione: l’analisi controfattuale nell’esperienza della Regione Lombardia Andrea Naldini and Marco Pompili N ETWORK FOR THE B ETTER FUTURE OF THE SOCIAL ECONOMY Milano, 5 Dicembre 2011

2 Introduzione Intervento Ismeri Europa: spunti di riflessione sulla valutazione delle politiche sociali – 1) Esperienza della Dote FL Lombardia: metodologie di analisi  estendibili alla Dote lavoro disabili – 2) Brevi cenni e risultati preliminari sulla valutazione di Jeremie a supporto delle cooperative sociali (in corso) 2

3 3 L’esperienza della Dote in Lombardia

4 Background Dal 2008 la dote costituisce il principale strumento della Regione Lombardia di politiche attive del lavoro La Dote, finanziando la domanda, ha l’obiettivo di responsabilizzare gli individui beneficiari e migliorare la qualità dei servizi offerti loro (workfare approach) Gli operatori pubblici e privati sono “competitors” nel quasi-mercato della Dote 3.752 interventi di Dote formazione e lavoro conclusi a Febbraio 2010 Aspettative elevate tra gli attori sul funzionamento e gli effetti 4

5 Le domande di valutazione Funzionamento e qualità della Dote Impatto occupazionale - Si evidenziano differenze nei tassi di occupazione tra percettori Dote e non percettori dote?....ma anche: Impatto in termini di empowerment dei soggetti- Si riscontrano impatti sull’attivazione dei soggetti partecipanti alla dote rispetto ai non partecipanti? 5

6 Metodologia: composita ed integrata Analisi qualitative per comprendere il funzionamento e la qualità dei servizi erogati (Rapporto 2009) Rapporto 2010 (questa presentazione): – Survey presso i beneficiari e non della Dote per comprendere percorsi verso l’occupazione, contenuti attività realizzate, attivazione – Integrazione banche dati (vedi dopo) – Stima impatto controfattuale (tecniche di matching) sull’occupazione e l’empowerment dei destinatari 6

7 Integrazione tra fonti di informazioni Dati amministrativi Regione Lombardia (informazioni sui richiedenti la Dote)  utili per il campionamento Dati amministrativi dei CPI (informazioni su carriere lavorative dei trattati e non trattati con la Dote: ma 30% dei trattati non coperti)  utili per verificare i risultati della survey e per ricostruire i tempi di inserimento Indagine diretta (condizioni occupazionali di persone trattate e non trattate, soddisfazione, qualità del lavoro trovato...)  Le tre risorse sono state integrate in un dataset unico 7

8 Risultati generali 43,5% dei beneficiari della Dote hanno un lavoro dopo 8-10 mesi e il 60% hanno avuto almeno una esperienza dopo la Dote; Gli impatti netti sull’occupazione sono positivi solo per la Dote Lavoro (bassa significatività statistica) Gli impatti netti sull’attivazione dei soggetti è statisticamente significativa e positiva (7%-8%) L’82% dei beneficiari hanno cercato attivamente lavoro dopo la Dote (effetti di scoraggiamento limitati, intorno al 5%) Più che l’80% degli intervistati sono soddisfati e ripeterebbero l’esperienza. L’aspetto da migliorare è relativo all’assistenza post Dote nella ricerca del lavoro 8

9 Risultati dell’analisi di impatto: propensity score 9 Treated Not treated Differences in terms of probability to be employed Std.errt Methods of matching 865175-0.1040.048-2.154 Nearest neighbour 774188-0.0400.048-0.831Radius(0.05) 865191-0.0220.039-0.572 Kernel matching 865191-0.0190.043-0.439Stratification Probabilità di essere occupato Treated Not treated Differences in the probability to be inactive and not searching for a job Std.errt Methods of matching 865175-0.0770.039-1.963 Nearest neighbor 865188-0.0810.034-2.365Radius(0.05) 865191-0.0820.034-2.388 Kernel matching 865191-0.0810.037-2.213Stratification Probabilità di essere inattivo

10 Principali messaggi La performance della Dote è in linea conq uella di alri strumenti simili e conferma l’importanza e l’efficacia di promuovere servizi individualizzati Una metodologia simile può essere estesa alla dote lavoro disabili (la dote lavoro per persone con disabilità psichica è uno degli strumenti di valorizzazione dell’economia sociale lombarda)  maggiore enfasi sui percorsi di attivazione del soggetto  maggiore attenzione alla qualità dell’ambiente di lavoro 10

11 11 L’esperienza del Fondo Jeremie in Lombardia – brevi cenni (in fase di ultimazione) L’esperienza del Fondo Jeremie in Lombardia – brevi cenni (in fase di ultimazione)

12 Jeremie per le cooperative sociali Background Operativo dal 2009 (citato in un seminario Marzo 2011 del “The Network for the better future for social economy”) Jeremie è rivolto alle cooperative sociali di tipo A e B e alle cooperative di produzione e lavoro (con 30% minimo di lavoratori svantaggiati). Finanzia interventi di capitalizzazione, attraverso micro-crediti di 4.000 euro concessi a soci, o potenziali soci, (sino a un massimo 50 soci a cooperativa 200.000 Euro). 50% finanziato dal FSE e non deve essere restituita se il socio rimane per 5 anni nella cooperativa, l’altro 50% è concessa da intermediari finanziari si rimborsa in 60 mesi a tassi fisso. 12

13 Domande, metodologie e fonti Domande di valutazione finalizzate a comprendere il reale sostegno dato al consolidamento delle cooperative sociali e prime considerazioni su possibili effetti nelle relazioni tra soci e cooperativa Anche in questo caso impiego di analisi controfattuali –> metodo “Difference in Differences” (DID) Di nuovo integrazione di fonti di informazioni necessarie: – Dati di monitoraggio dell’intervento (cooperative e soci che hanno beneficiato) – Dati albo regionale cooperative sociali (cooperative non destinatarie) – Dati indagine diretta  questionario online presso 1.000 cooperative circa, di cui 244 aderenti a Jeremie (Tasso di risposta: 119 Jeremie e 170 non Jeremie) 13

14 Alcuni risultati...preliminari Buon tasso di copertura delle cooperative sociali Elevato tasso di mobilitazione dei soci delle cooperative Risorse Jeremie utilizzate in modo integrato con strategia di risposta alla crisi da parte delle cooperative  la flessibilità è uno degli elementi molto apprezzati dello strumento La maggioranza delle Cooperative non avrebbe capitalizzato in autonomia senza l’intervento Forte additività dell’intervento positiva  no deadweight. Impatto Positivo E Siginificativo Sulla Variazione Di Capitale Sociale  questo è uno degli indicatori importanti nella valutazione della valore sociale delle imprese sociali (presentazione Regione Lombardia a Cracovia Settembre 2011) 14

15 Lezioni dall’esperienza della Lombardia 1.Le valutazioni realizzate sono vicine al termine degli interventi  ripeterle per verificare sostenibilità (in letteratura spesso aumentano gli effetti positivi nel tempo) 2.l’integrazione delle fonti di informazioni è un fattore cruciale per la valutazione delle a sostegno dell’economia sociale 3.L’uso di metodi di analisi controfattuale rendono maggiormente robusti i risultati 4.Metodi controfattuali possono essere applicati anche su variabili non strettamene economiche e su indicatori sociali (p.e. empowerment dei destinatari) 15