Modelli, metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro Marco Centra ISFOL, Università La Sapienza Acción SOL - Encuentro de Trabajo internacional Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Roma - Italia Lavoro, 20 maggio 2013

1.Introduzione 2.Finalità e forme di valutazione 3.Valutazione d’impatto 4.Approccio controfattuale 5.Metodi sperimentali e non sperimentali 6.Tecniche di valutazione degli effetti Programma Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro

Politica: politics e policy Politics. la competizione esistente tra gruppi e/o tra individui per la conquista e il mantenimento delle risorse necessarie all’esercizio del potere Policy. l’insieme di azioni messe in atto da attori pubblici al fine di affrontare un problema collettivo L’oggetto di interesse dell’attività di valutazione sono le policy vale a le azioni messe in atto per la soluzione di un problema 1. Introduzione Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro

Definizione di valutazione “La valutazione è un’attività cognitiva rivolta a fornire un giudizio su di un’azione, intenzionalmente svolta o che si intende svolgere, destinata a produrre effetti esterni, che si fonda su un’attività di ricerca delle scienze sociali e che segue procedure rigorose e codificabili”. Mauro Palumbo “Valutare significa analizzare se un’azione intrapresa per uno scopo corrispondente ad un interesse collettivo abbia ottenuto gli effetti desiderati o altri, ed esprimere un giudizio sullo scostamento che normalmente si verifica”. Nicoletta Stame “La valutazione è principalmente (…) un’attività di ricerca sociale applicata (…) avente come scopo la riduzione della complessità decisionale, attraverso l’analisi degli effetti diretti e indiretti, attesi e non attesi, voluti e non voluti, dell’azione, compresi quelli non riconducibili ad aspetti materiali (...)”. Claudio Bezzi Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro 1. Introduzione

Definizione di valutazione. La valutazione è un’attività tesa alla produzione sistematica di informazioni per dare giudizi su azioni pubbliche, con l’intento di migliorarle ”. Alberto Martini, Marco Sisti Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro 1. Introduzione

Finalità della valutazione Ottimizzare l’allocazione delle risorse Controllo delle performance delle organizzazioni Comunicazione dell’azione pubblica Controllo dei processi di attuazione Stimare gli effetti delle politiche 1. Introduzione Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro

Forme di valutazione delle politiche 1. Valutazione ex-ante Verificare la corrispondenza teorica tra azione e risultato 2. Valutazione di implementazione Analizzare il processo di attuazione delle politiche 3. Valutazione di impatto Valutare gli effetti delle politiche 4. Valutazione di efficienza Misurare il rapporto costi-benefici 2. Finalità e forme di valutazione Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro

Definizione “Verifica della capacità dell’intervento adottato di trasformare la realtà nella direzione voluta” (Martini, Sisti) Ipotesi Assunzione del rapporto di dipendenza causale tra azione e risultato Possibilità di fondare il risultato della valutazione su robuste evidenze empiriche Azioni Stimare gli effetti dell’intervento e acquisire informazioni sulla misura del raggiungimento degli obiettivi posti 3. Valutazione d’impatto Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro

La misura degli effetti della politica Formulazione della domanda di valutazione 1. Definizione della variabile risultato : effetto su cosa 2. Definizione del trattamento : effetto di cosa Effetto su cosa : identificazione della variabile risultato Una quantità Y misurabile, osservabile e disponibile Effetto di cosa : riduzione dicotomica dell’applicazione della politica Una variabile binaria T che indica la presenza (T=1) o l’assenza (T=0) dell’applicazione della politica o trattamento 3. Valutazione d’impatto Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro

Formalizzazione analitica della stima degli effetti Modello di Rubin dei risultati potenziali Y =variabile risultato i =individuo T =applicazione del trattamento t =momento di applicazione del trattamento valore assunto dalla variabile risultato che avrebbe l’individuo i nel caso sia stato trattato valore assunto dalla variabile risultato che avrebbe l’individuo i nel caso non sia stato trattato 3. Valutazione d’impatto Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro

4. Approccio controfattuale Generalmente, per un generico individuo, solo uno dei due valori è osservabile: se l’individuo i è stato trattato se l’individuo i non è stato trattato Si definisce effetto del trattamento sul singolo individuo come differenza tra ciò che la politica ha prodotto sulla variabile obiettivo e ciò che sarebbe accaduto in assenza della politica: Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro

L’impatto della politica è quindi definito, in termini di medie, dalla differenza tra ciò che è accaduto ai trattati in seguito alla politica attuata e ciò che sarebbe accaduto ai medesimi soggetti se la politica non fosse stata attuata. Con altra notazione, specificando che la media è calcolata sui soli soggetti trattati (T = 1), si ottiene: L’effetto sul singolo individuo assume una scarsa importanza ai fini della valutazione. E’ necessaria una misura sintetica riferibile all’intera politica e non ai singoli individui: si ricorre generalmente alla media. L’effetto medio del trattamento è ottenuto calcolando la media della quantità sul totale dei trattati 4. Approccio controfattuale Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro

Realtà fattuale ciò che realmente è successo ed è stato osservato Controfattuale cosa sarebbe accaduto in assenza dell’intervento e non sarà mai osservabile L’obiettivo dell’operazione della valutazione d’impatto si riassume nel calcolo di una quantità e un parte non osservata e non osservabile: composta da un parte osservata: 4. Approccio controfattuale Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro

Realtà fattuale. E’ per definizione osservabile ma non necessariamente osservata o, quantomeno, non in maniera esaustiva rispetto a quanto sarebbe necessario Controfattuale. Non è osservabile per definizione. Rappresenta il problema maggiore per produrre una stima degli effetti netti della politica La maggior parte degli sforzi messi in campo nel corso dello sviluppo della valutazione riguarda l’affinamento di tecniche di ricostruzione del controfattuale 4. Approccio controfattuale Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro

Poichè ciò che sarebbe accaduto ai trattati in assenza della politica non è una realtà osservabile, le strategie di identificazione degli effetti si servono di un gruppo di controllo di individui non trattati dalla politica per stimare la quantità Utilizzando un gruppo di individui non trattati le sole quantità osservabili sono: 1. la misura del risultato potenziale sui trattati in caso di trattamento 2. la misura del risultato potenziale sui non trattati in caso di non trattamento Dalle due quantità si ottiene la differenza osservata quantità che non coincide con l’effetto del trattamento definito in precedenza 4. Approccio controfattuale Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro

La differenza osservata a meno che si adotti l’assunzione: non coincide con l’effetto medio del trattamento Ciò equivale a supporre che il risultato che si sarebbe avuto sul gruppo dei trattati in assenza di trattamento sarebbe uguale al risultato che si osserva, in assenza di trattamento, su un gruppo di non trattati. Tale assunzione non è testabile e, nel caso non sia verificata, genera una grave distorsione sulla misura dell’impatto, detta distorsione da selezione 4. Approccio controfattuale Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro

Calcolando la media degli effetti potenziali separatamente sul collettivo dei trattati e dei non trattati si ottiene una utile espressione dell’effetto osservato: L’effetto osservato si scompone cioè in due addendi, uno dei quali è la misura dell’effetto della politica, obiettivo dell’intera operazione di valutazione d’impatto, e l’altro misura la differenza dell’effetto medio in assenza di trattamento tra trattati e non trattati. Tale quantità è determinata dalle sole differenze tra i due gruppi, dal momento che l’applicazione della politica è assente nella quantità Tale quantità rappresenta la distorsione da selezione 4. Approccio controfattuale Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro

Le differenze nella composizione tra gruppo di trattati e gruppo di controllo genera distorsione nella misura dell’impatto delle politiche. La distorsione è tanto più elevata quanto le differenze incidono direttamente sulla variabile risultato, senza il tramite dell’applicazione della politica oggetto di valutazione. Una differenza tra i due gruppi che non influisce sulla variabile risultato non genera infatti alcuna distorsione. Una complicazione ulteriore attiene al fatto che la differenza nella composizione tra i due gruppi che genera distorsione può riguardare anche caratteristiche non osservabili e pertanto non controllabili. Una tecnica per eliminare le differenze di partenza tra i due gruppi deriva dalle procedure di sperimentazione clinica che si avvalgono di metodi sperimentali. e prevede l’attribuzione casuale degli individui al gruppo di trattati o al gruppo di controllo. In tal modo, grazie al processo di randomizzazione, la composizione attesa dei due gruppi rispetto a tutte le caratteristiche, sia osservabili che non osservabili, è uguale. 5. Metodi sperimentali e non sperimentali Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro

Tecnicamente il metodo non è utilizzabile in caso di valutazione di politiche universali, applicate cioè a tutta la popolazione, dal momento che in tali casi non è possibile definire un gruppo di non trattati Sul piano etico appare inaccettabile escludere dalla fruizione di un beneficio individui che teoricamente ne avrebbero diritto solo per valutare in modo più preciso gli effetti della politica. Sul piano politico sarebbe difficile motivare l’esclusione di una parte dei potenziali fruitori di un beneficio con la sola necessità di valutare la politica. Sul piano metodologico le tecniche sperimentale non garantiscono totalmente dall’assenza di selezione, dal momento che individui appartenenti al gruppo dei trattati potrebbero abbandonare volontariamente la fruizione del beneficio (non compliance) reintroducendo una quantità di selezione tra due gruppi. Sul piano della disponibilità dei dati necessari alla valutazione occorre constatare che le informazioni si rendono disponibili generalmente dopo l’applicazione della politica, rendendo impossibile la costruzione ex-ante dei due gruppi. E’ evidente la elevata potenza metodologica del metodo sperimentale. Tale metodo tuttavia non è generalmente applicabile alla valutazione delle politiche. 5. Metodi sperimentali e non sperimentali Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro

Per tali ragioni la valutazione delle politiche si serve di metodi non sperimentali. Tali metodi prevedono l’utilizzo di tecniche statistiche in grado di eliminare, o quanto meno ridurre, la distorsione da selezione e sono basate, in estrema sintesi, sul tentativo di spiegare il processo di selezione tra trattati e non trattati. I metodi non sperimentali sono fondati su dati osservazionali, prodotti dal naturale corso degli eventi, a differenza di quanto accade nei metodi sperimentali che presuppongo invece di poter controllare gli eventi. Le tecniche utilizzate impongono il ricorso ad assunti non verificabili, legati principalmente alla possibilità di spiegare totalmente il processo di selezione con i dati a disposizione., che rappresentano un sottoinsieme dei dati osservabili. Nei casi di studio, conoscenze pregresse sui fenomeni oggetti di valutazione indicano che la selezione tra trattati e non trattati è in gran parte spiegata da caratteristiche non osservate e spesso non osservabili. 5. Metodi sperimentali e non sperimentali Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro

Un’altra forma di distorsione: la dinamica spontanea t-1 Y t+1 T=1 T=0 Differenza pre-post Controfattuale Effetto 5. Metodi sperimentali e non sperimentali Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro

1.Metodo diff-in-diff 2.Modello di regressione lineare 3.Metodo dell’abbinamento (matching) 4.Discontinuità attorno ad una soglia (regression discontinuity design) 5.Analisi delle serie storiche interrotte 6.L’utilizzo delle variabili strumentali (IV estimator) 6. Metodi sperimentali e non sperimentali Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro

6.1 Metodo diff-in-diff Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro

6.2 Regressione lineare Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro Trattati: [T=1] => Controllo: [T=0] => Impatto = Y(trattati)-Y(controllo) = Indipendenza condizionale

L’abbinamento statistico. Presupposti fondamentali Il metodo dell’abbinamento rappresenta una tecnica in grado di spiegare il processo di selezione in funzione dell’informazione accessoria disponibile. Lo schema prevede un gruppo di trattamento e un gruppo di controllo e la disponibilità per entrambi di informazioni in grado di “spiegare” l’appartenenza all’uno a all’altro. Presupposto fondante del metodo è la CIA (Conditional Independence Assumption). Tale assunzione ipotizza che per individui simili rispetto alle caratteristiche considerate l’attribuzione al trattamento sia casuale, assimilabile cioè ad un disegno sperimentale dello schema di valutazione. Spiegare il processo di selezione 6.3 Abbinamento (matching) Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro

L’abbinamento statistico. Propensity score La traduzione operativa e computazionale della similitudine tra individui è impraticabile poichè comporterebbe la ripartizione dei dati secondo tutte le caratteristiche nidificate che concorrono a spiegare il processo di selezione. Un sintesi proposta da Rosenbaum e Rubin nel 1983 prevede la costruzione di una misura univariata, funzione delle caratteristiche osservate, in grado di assegnare a ciascun individuo la probabilità di essere trattato, indipendentemente dall’appartenenze al gruppo dei tratti o a quello dei non trattati. La costruzione del propensity score sfrutta tecniche statistiche come i modelli probit o logit. 6.3 Abbinamento (matching) Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro

L’abbinamento statistico. Tecniche di abbinamento Una volta disponibile il propensity score, il metodo prevede l’abbinamento di ciascuna unità trattata con una unità non trattata e il confronto tra i corrispondenti valori della variabile obiettivo. Le tecniche di abbinamento sono diverse e ciascuna presenta caratteristiche e proprietà specifiche. Nearest neighbor. Ad ogni unità trattata viene assegnata l’unità non trattata con il valore del propensity score più vicino. Radius. Ad ogni unità trattata vengono assegnate tutte le unità non trattate che ricadono all’interno di un raggio definito del propensity score. Stratificazione. Il campo di variazione del propensity score viene diviso in intervalli in modo che in ciascun intervallo le unità trattate e quelle non trattate abbiano lo stesso valore medio del propensity score. Kernel. A ciascuna unità trattata vengono assegnate tutte le unità non trattate ma con un peso inversamente proporzionale al valore del propensity score. 6.3 Abbinamento (matching) Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro

6.4 Discontinuità (regression discontinuity desing) Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro

6.5 Serie storiche interrotte Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro Si applica a politiche universalistiche dove non è identificabile un gruppo di controllo. Si utilizza la storia pre-intervento immediatamente precedente all’intervento per stimare il controfattuale. ATTENZIONE Stagionalità Implementazione graduale impatto

6.6 L’utilizzo delle variabili strumentali (IV estimator) Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro Si applica quando si identifica un fattore esterno (STRUMENTO)che influenza il processo di selezione (T=1, 0) ma tale fattore non ha alcun effetto sulla variabile risultato Y. Le tecnica consente di scomporre la propensione al trattamento (che genera selezione) in due parti: 1) dovuta alla decisione dell’individuo e ad altri fattori, che generano selezione 2) dovuta a fattori esterni non controllati dall’individuo, che NON generano selezione Si utilizza come trattamento solo la parte della che dipende da fattori non controllati dell’individuo La randomizzazione è un caso estremo di strumento

6.6 L’utilizzo delle variabili strumentali (IV estimator) Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro Stimatore di Wald Y laureati in città con ateneo – Y laureati in città senza ateneo Numero laureati in città con ateneo – numero laureati in città senza ateneo Un rapido esempio

Bibliografia di riferimento Alberto Martini, Ugo Trivellato, Sono soldi ben spesi? Perché e come valutare l'efficacia delle politiche pubbliche, Marsilio, (2011) Martini A. Sisti M., Valutare il successo delle politiche pubbliche, Il Mulino (2009) Bezzi C., Il disegno della ricerca valutativa, FrancoAngeli (2003) Rubin D.B., Estimating Casual Effect of Treatments in Randomized and Non-randomized Studies, Journal of Educational Psicology, n.66 (1974) Andrea Ichino, The Problem of Causality in the Analysis of Educational Choices and Labor Market Outcomes, Slides for Lectures (2006) Acción SOL - Encuentro de Trabajo internacional Roma - Italia Lavoro, 20 maggio 2013 Monitoreo y evaluación de las políticas de empleo Comparación de experiencias y metodologías Modelli metodologie e tecniche per il monitoraggio e la valutazione delle politiche del lavoro