La valutazione di impatto netto: alcune riflessioni a margine Gruppo Nazionale Placement Roma, 27 Febbraio 2013

Gli altri problemi La valutazione di impatto netto, oltre a presentare difficoltà metodologiche nel costruire esperimenti valutativi chiari e condivisibili deve confrontarsi con altri importanti ostacoli su cui poco si è dibattuto: 1.Lopacità degli esperimenti controfattuali dovuti alla forte tecnicalità; 2.La dipendenza da una chiara definizione della teoria del programma; 3.La mancata esplicitazione dei risultati attesi dalle specifiche attività e dalla politica pubblica nel suo complesso 4.La preoccupazione per la comunicazione di risultati problematici e/o non intuitivi

1. Tecnicalità / Opacità La complessità tecnica delle valutazioni controfattuali rende poco presidiabile e comprensibile tutto il processo valutativo ai non addetti ai lavori Banche dati apparentemente analoghe (COB, liste di esclusi dalla formazione….) possono essere, in realtà, molto diverse e non garantiscono la comparabilità delle valutazioni Il trattamento dei dati per la costruzione dei gruppi di controllo richiede micro scelte da parte del valutatore che difficilmente vengono esplicitate e, dunque, contribuiscono ulteriormente a ridurre la comprensione del percorso oltre che la comparabilità con altre situazioni apparentemente analoghe

2. La teoria del programma Se i due gruppi valutati non presentano differenze nel conseguimento di un successo occupazionale e i risultati lordi sono sostanzialmente simili e quelli netti, la lettura può essere ambigua (opposta) se non è stata definita chiaramente la teoria del programma. Esempio: se il gruppo dei Trattati ha maggiori difficoltà non osservabili nel posizionarsi sul mdl rispetto a chi non sente il bisogno di formazione, i finanziamenti FSE sono ben spesi in quanto il trattamento ha annullato/ridotto forme di svantaggio. Se, invece, si ritiene la ricerca di formazione come segnale di forza (e non di debolezza), allora il fatto che non si registri una differenza apprezzabile in termini di occupabilità, può essere letto come una mancanza di efficacia.

3. I risultati attesi Il dibattito si è concentrato molto sulla fattibilità metodologica piuttosto che sul significato dei risultati che ruota intorno ai due concetti di: – Contributo netto: ci dice/dovrebbe dire se il trattamento è servito a qualcosa – Valore aggiunto: ci dice/dovrebbe dire se il netto rilevato ha effettivamente un valore che giustifica la presenza del trattamento stesso.

I risultati attesi: il contributo netto Una valutazione dicotomica del contributo netto (cè/non cè), può essere riduttiva e approssimata per almeno per due ragioni: 1.Gli effetti del trattamento possono maturare in tempi del tutto differenti da quelli previsti per la valutazione 2.Alcuni di questi effetti possono non essere osservabili da parte del valutatore (vedi politiche orientamento nella diversa percezione degli utenti)

I risultati attesi: il valore aggiunto Lattribuzione di significato al valore aggiunto della politica valutata è molto difficile perché: 1.Non abbiamo quasi mai una definizione ex-ante dei risultati di impatto positivo attesi (RAP) dallattuazione della politica 2.Non abbiamo una sufficiente casistica empirica che ci supporti nella lettura del dato (quanto deve essere il valore aggiunto per risultare accettabile?)

4. La comunicazione pubblica La comunicazione (dal valutatore al Committente / dal Committente agli attori della politica/ dagli attori della politica ai cittadini) Sia il contributo netto, sia il valore aggiunto sono, per definizione, concetti dimensionalmente marginali, ovvero i numeri che li possono rappresentare sono necessariamente bassi e ciò rende la comunicazione complessa e non intuitiva, spesso anche oggetto di strumentalizzazione.

In sintesi (1) 1.Il valore aggiunto di una politica non si deve/può limitare solo alla misura di un contributo netto di natura quantitativa, ma dovrebbe essere identificato anche attraverso altre variabili misurabili (non necessariamente quantitative) E necessario che in fase di programmazione siano definiti i RAP, sia in termini di contributo netto, sia in termini di effetti di altra natura: se ci sono, bisogna trovare il modo di misurarli.

In sintesi (2) Le difficoltà di comunicazione determinate dalla complessità di realizzazione e interpretazione della valutazione di impatto netto potrebbero essere alleggerite da: – Maggiore trasparenza e pubblicità delle esperienze e dei dati per arrivare ad una solida base di comparazione dei dati tra le regioni – Unampia e approfondita riflessione circa laffidabilità delle valutazioni di impatto nette che si possono fare: o sono affidabili perché i limiti metodologici sono governabili, oppure è più corretto limitarle allambito accademico non sprecando risorse pubbliche per informazioni che non vengono utilizzate.

In sintesi (3) 1.I problemi metodologici non riguardano solo la tecnica di selezione del gruppo di controllo, ma la natura stessa dellattività formativa il cui contributo netto e il cui valore aggiunto non possono essere limitati al successo occupazionale in un tempo X, ma può esprimersi in forme non osservabili e in tempi diversi. E necessario chiedersi se ha senso aumentare la complessità (e i costi) della valutazione per avere risultati la cui affidabilità complessiva si può assimilare alla valutazione di impatto lordo, ben più facile e comparabile su larga scala. E opportuno limitare luso della valutazione controfattuale su attività delimitate, di particolare rilevanza strategica e per le quali è dirimente perseguire una scelta dicotomica (si continua a fare / non si fa più)