ALCUNI CASI DI STUDIO DI RICERCHE VALUTATIVE Lezione del 28 novembre 2014

[9] Sostegno all’uso della valutazione Redazione, sensibilizzazione, divulgazione [3] Accertamento delle risorse [2] Analisi obiettivi del programma e formulaz. domande valutative (norme, standards) [6] Stipulazione valori valutativi Definire il sistema di valori comuni di riferimento [5] Esplorazione spazio semantico Scomposizione valori, significati [5] Esplorazione spazio semantico Scomposizione valori, significati [7] Definizioni operative specifiche Scelta condivisa delle tecniche [4] Definizione disegno preliminare Come? (offerta tecnica al committente) [8] Raccolta e analisi dei dati Uso degli strumenti (non) standards [1] Definizione del mandato Perchè? Le nove fasi del disegno

1° CASO DI STUDIO La programmazione sociale regionale

La programmazione sociale regionale (1) OGGETTO DI VALUTAZIONE Valutazione ex ante di formulari e bandi per progetti finanziati dal Fondo sociale europeo – 2001 RISULTATI ATTESI Corrispondenza fra il dispositivo europeo di finanziamento, il formulario per proporre i progetti e la griglia di valutazione dei progetti presentati Coinvolgimento di tutti gli attori (UE, Regione, progettisti, aziende, associazioni, cittadini etc.) che contribuiscono al processo che parte dalla programmazione regionale all’emissione del bando, fino alla sua selezione, realizzazione e valutazione ex post

La programmazione sociale regionale (2) DISEGNO della RICERCA VALUTATIVA  Il mandato di valutazione non è ben definito, essendo contenuto di principio nella normativa europea e avendo un mandatario già sensibile sul tema  Il valutatore decide la strategia concordando con il mandatario la sola verifica della coerenza concettuale dalla programmazione alla valutazione dei progetti realizzati  Il valutatore ha operato sui documenti oggetto della verifica di coerenza, ossia dispositivo comunitario di progettazione, formulario per i bandi, griglia di valutazione dei progetti  Il valutatore evidenzia le unità programmatiche del dispositivo e la loro individuazione in formulari e griglia di valutazione  L’esito della valutazione è interessante sia per l’evidenza di alcuni salti logici nella filiera che per il metodo seguito dal valutatore, ma il mandatario non ha diffuso i dati se non tra i tecnici

2° CASO DI STUDIO Valutazione di performance di un Progetto Equal

Valutazione di performance Equal (1) OGGETTO DI VALUTAZIONE Valutazione di processo della realizzazione di un Progetto Equal 2004/2005 per favorire l’inserimento delle persone diversamente abili nel mercato del lavoro, condotto da un network con capofila l’Università di Campobasso RISULTATI ATTESI Verifica della realizzazione dei risultati attesi dal progetto con una definizione piuttosto libera della strategia migliore da applicare = massima corrispondenza fra obiettivi di progetto e risultati realizzati/evidenza delle eventuali criticità nel ruolo esercitato da uno o più partner del progetto

Valutazione di performance Equal (2) DISEGNO della RICERCA VALUTATIVA  Il mandato di valutazione è definito fin dal piano del progetto che ha un’apposita fase di valutazione, generalmente affidata ad uno dei partner che si confronta con il resto del team  Il valutatore decide la strategia operando un monitoraggio costante delle varie fasi del progetto per evidenziare quelle azioni meno visibili e più impegnative dal punto di vista gestionale  Per le fasi 5 e 6 il valutatore opera con le tecniche del Brainstorming e della Scala delle Priorità Obbligate per favorire la partecipazione di tutti i partner  Rilevato un progressivo calo di interesse e partecipazione di alcuni partner, il valutatore ha operato un’integrazione di tecniche di valutazione con l’analisi delle reti gli attori percepiscono la valutazione più come fase obbligatoria progettuale che come azione integrata alla produzione dei risultati attesi

3° CASO DI STUDIO Valutazione multimetodo di una Legge regionale sul lavoro

Valutazione multimetodo legge lavoro(1) OGGETTO DI VALUTAZIONE Valutazione complessiva di un progetto di Italia Lavoro (LaborLab) per l’assistenza tecnica alla Regione Lombardia dell’applicazione della Legge regionale 22/2006 sul riordino del mercato del lavoro in Lombardia RISULTATI ATTESI Verifica della efficacia e della efficienza del progetto LaborLab per l’applicazione della L.R. 22/2006 da realizzare con il prioritario coinvolgimento degli attori tecnici e politici della Regione, pertanto senza una dimensione partecipata estesa agli attori del mercato del lavoro

Valutazione multimetodo legge lavoro (2) DISEGNO della RICERCA VALUTATIVA  Il mandato di valutazione è ben definito e, inoltre, è arricchito, nel corso di successivi incontri fra stakeholders, di input per il valutatore che dispone di budget e di tempo  Il valutatore decide di operare un monitoraggio con ricerc-azione:  per superare le disconnessioni fra i sistemi informativi già utilizzati  per individuare un nuovo set di indicatori di programmazione che utilizzano come dato di partenza le relazioni fra gli attori dei processi valutati e i processi stessi  Fra le tecniche cui è ricorso il valutatore vi è un disposto combinato di numerose fra queste, come focus group e interviste focalizzate per verificare l’efficacia interna e il Metodo Delphi per l’efficacia esterna in termini di sostenibilità del progetto a medio- lungo termine  Verifica del progetto con interazione simulata di fattori esterni (altre leggi regionali, fattori di crisi perdurante etc.)

Efficacia ed efficienza come obiettivi Efficacia interna: confronto fra gli effetti della valutazione e gli obiettivi della ricerca (se si guarda all’organizzazione della ricerca, alla valutazione ex ante della programmazione, l’integrazione degli operatori della ricerca al programma, non esclusivamente dei beneficiari) Efficacia esterna: confronto fra gli effetti della valutazione/intervento e il contesto economico e sociale in cui la ricerca è condotta (miglior programmazione degli obiettivi, aggiornamento degli obiettivi con il decisore, prima valutazione dell’impatto sui beneficiari) Efficienza: confronto fra i risultati e gli impatti della valutazione/intervento e le risorse destinate alla ricerca