Introduzione alla valutazione Versione maggio 2014

Prima parte – I concetti di base DEFINIZIONE E CONCETTI DI BASE FIGURE UTILIZZATE PER ALCUNE PUBBLICAZIONI, FRA CUI IL NUOVO DISEGNO DELLA RICERCA VALUTATIVA, FRANCO ANGELI, MILANO 2010

Definizione di Valutazione la valutazione è un giudizio espresso per un fine: lo sguardo è puntato sugli obiettivi di questo giudizio e quindi sul suo uso, sulla sua utilità. Non si tratta di pareri estemporanei, d’impressioni volubili, ma di giudizi finalizzati ai quali conseguono delle azioni dirette. Argomentazione significa esplicita dichiarazione degli elementi a partire dai quali il giudizio è formulato, esplicita esibizione degli strumenti e dei percorsi tramite i quali quegli elementi sono stati utilizzati, comparati, analizzati ed evidenziazione delle connessioni logiche tra i diversi passaggi. con ‘valutazione’ s’intende l’insieme delle attività collegate utili per esprimere un giudizio per un fine pubblico, giudizio argomentato tramite processi di ricerca che ne costituiscono l’elemento essenziale e imprescindibile di affidabilità delle procedure e fedeltà delle informazioni utilizzate per esprimere quel giudizio. questo fine deve essere pubblico: giudizi necessari per risolvere questioni politiche, programmatorie, progettuali, organizzative e gestionali relative a interventi che coinvolgono la collettività nel suo insieme o specifici gruppi Claudio Bezzi, Il nuovo disegno della ricerca valutativa, Franco Angeli, Milano 2010

Decisione, gestione e ruolo della valutazione turbolenza evento decisione imple- ment. equilibrio gestione adattamento sollecita- zione (precedenti) valutazioni di varia natura valutazione ex ante di risultati e impatti val. in itinere monitoraggio valutazione in itinere e intermedia valutazione in itinere ed ex post di realizzazioni e risultati valutazione ex post di impatti ed ex ante

Valutazione e attività correlate in relazione a intervento e criticità Analisi, riflessione, critica Intervento sul processo Astensione dall’intervento Valutazione Certificazione Audit Registrazione, mera informazione Monitoraggio Ricerca di base Benchmarking Bilancio sociale

Valutazione e attività correlate in relazione a epistemologia e metodologia Ricerca di base Complessità epistemologico-metodologica Costruttivismo Realismo Certificazione Audit Monitoraggio Benchmarking Valutazione Semplicità epistemologico-metodologica Bilancio sociale

Efficacia ed efficienza in valutazione Contesto economico-sociale che esprime dei bisogni bisogni degli attori e del contesto a cui il prog. intende rispondere Contesto politico-istituzionale che esprime delle finalità dell’organizzazione che promuove il programma Obiettivi/Risultati attesi Attori implicati Procedure Strumenti Esiti Realizzazioni Efficacia esterna Efficacia interna Efficienza Decisione/ Programmazione Implementazione Valutazione Effetti Risultati Vincoli/Risorse Impatti agg. 13 giugno 2017

Tipi di effetti di programmi e interventi Programma o intervento programmato Conclusione, o t Conclusione dell’intervento esiti realizzazioni effetti risultati impatti Effetti attesi e desiderati Effetti auspicati esiti, effetti, realizzazioni, risultati, Fattori intervenienti Effetti inattesi Valutazione orientata agli obiettivi svincolata dagli obiettivi

Il problema dell’impatto netto (nel caso della formazione professionale)‏ Occupazione lorda creata ( Verificata attraverso l’analisi occupazionale dei partecipanti)‏ Deadweight [Peso morto] Si è creato un lavoro che si sarebbe comunque dato, anche senza l’intervento Inaccettabile spiazzamento effetto di (Un lavoro è creato e un altro viene distrutto nell’area)‏ sostituzione (un disoccupato trova lavoro ma un altro lavoratore perde il proprio)‏ netta creata

Gli attori sociali rilevanti per la valutazione (Bisogni) Decisione Implementazione Gestione Fruizione Attori che presentano istanze Soggetto che promuove l’intervento Soggetti deputati al controllo Parti sociali Eventuali soggetti convenzionati (utenti, clienti, beneficiari indiretti, ‘vittime’) Beneficiari dell’intervento Alta dirigenza Consulenti Operatori (Funzionari, quadri, consulenti) Valutatore Legenda Decisori Beneficiari

La valutazione fra competenza tecnica e conoscenza nel merito Competenza tecnico-scientifica della valutazione Conoscenza nel merito dell’evaluando Bassa Media Alta Pregiudizio Metodologia dogmatica Valutazione spontanea Specialismo dogmatico competente esperta

Come realizzare un sistema di valutazione? Facile da gestire (ma poco sensibile)‏ Autoritativo (solo l’Ente gestore)‏ Come (forse) lo vorremmo realizzare Come (forse) dovremo iniziare Dialogico (concertazione con gli altri attori rilevanti) Sensibile (ma più complesso da gestire)

Complessità valutativa COMPLESSITA’ VALUTATIVA Molteplicità degli attori coinvolti Ambiguità concettuale due tipi principali: Identificaz. diversi set di valori Identificaz. e selez. elementi di valutaz. Chiarificazione concettuale Monitoraggio Mappe Attori-Azioni e Dimens.-Indicatori Metodi Misti (nel disegno) RICERCA VALUTATIVA necessita di produce consente organizza indirizza coadiuva dà senso 1 9 8 7 6 5 4 3 2

Strategie di ricerca valutativa Manageriale Ricerca sociale Standard Non standard Multicriteri Multi metodo Criterio o metodo unico Non controfattuale Controfattuale versione 18 lug2017

Classificazione delle tecniche Procedure Standard Di secondo livello Di primo livello Procedure non Standard basate sull’interrogazione di individui basate sull’interrogazione di gruppi Gruppi reali Gruppi nominali Questionario Analisi Delphi Nominal Group Tech. Focus group Brainstorming Intervista biografica Valutaz. tassonomica Analisi costi benefici

Strategie e tecniche di ricerca valutativa Approccio manageriale Basata su testi Basata sull’interrogazione di individui Ricerca valutativa Esperimento Standard Basata sull’analisi di relazioni prevalentemente economici di primo e secondo livello Ricerca sociale Basata sull’analisi di indicatori socio- economici prevalentemente misti di secondo livello Non esperimento basata su testi Non standard basate sull’interrogazio ne di individui Gruppi reali basate sull’interrogazione di gruppi Gruppi nominali Strategie di ricerca Tipi di tecniche versione 14 giu 2017

Metodi misti

I flussi valutativi Valutazione Diffusione della conoscenza (i flussi sono relativi alla valutazione, per la programmazione) Programmazione (i flussi sono relativi alla decisione/programmazione) (accento sulla sistematicità, raccolta e gestione, affidabilità …) Organizzazione dei dati Diffusione della conoscenza (accento sull’accessibilità, condivisione, comprensione …) Monitoraggio tradizionale Monitoraggio basato sui risultati Sistema informativo Sintesi, Review Buone pratiche Comunità di pratiche Triangolazione Basato su Rist-Stame, From Studies to Streams , 2006

Seconda parte – Concetti avanzati PROVVISORIO Seconda parte – Concetti avanzati DEFINIZIONE E CONCETTI AVANZATI QUESTA SECONDA PARTE DEVE ESSERE CONSIDERATA NON COMPLETA E PROVVISORIA

La valutazione dal punto di vista delle cause Processo decisionale Gruppo di effetti Gruppo di cause 1 2 3a 3b 4 5 6 7 8 1 – Causa (evento, bisogno…) diretta e nota 2 – Causa diretta non nota 3 – Causa indiretta (causa che produce cause) 4 – Causa indiretta (provenienza ignota, fattore interveniente) 5 – Feedback diretto 6 – Feedback indiretto (agisce sulle cause – ricorsività) 7 – Feedback indiretto (agisce sui processi) 8 – Feedback indiretto (agisce sugli effetti)

La valutazione dal punto di vista degli effetti Processo decisionale Gruppo di effetti Gruppo di cause 1 2 3 5 6 4 7 1 – Decisione/effetto diretto e noto 2 – Decisione/effetto diretto e non noto 3 – Effetto indiretto (effetto che produce effetti) 4 – Effetto ‘spontaneo’ o non conseguenza della decisione 5 – Effetto causato da fattori ignoti 6 – Effetti inattesi 7 – Effetto causato dai processi

La valutazione nella complessità dei ‘meccanismi’ Processo decisionale Gruppo di effetti Gruppo di cause 1 2 3 5 6 4 7 Gruppo di2effetti 3a 3b 8 A n a l i s i G i u d i z i o 1 – Cause 2 – Effetti 3 – Contesti decisionali 4 – Processi implementati Influenzano direttamente la costruzione del processo di analisi e conseguente formulazione del giudizio valutativo

Trasformazione sociale realista Ray Pawson e Nick Tilley, Realistic Evaluation, Sage, London 1997