Introduzione alla valutazione

Presentazione sul tema: "Introduzione alla valutazione"— Transcript della presentazione:

1 Introduzione alla valutazione
Versione maggio 2014

2 Prima parte – I concetti di base
DEFINIZIONE E CONCETTI DI BASE FIGURE UTILIZZATE PER ALCUNE PUBBLICAZIONI, FRA CUI IL NUOVO DISEGNO DELLA RICERCA VALUTATIVA, FRANCO ANGELI, MILANO 2010

3 Definizione di Valutazione
la valutazione è un giudizio espresso per un fine: lo sguardo è puntato sugli obiettivi di questo giudizio e quindi sul suo uso, sulla sua utilità. Non si tratta di pareri estemporanei, d’impressioni volubili, ma di giudizi finalizzati ai quali conseguono delle azioni dirette. Argomentazione significa esplicita dichiarazione degli elementi a partire dai quali il giudizio è formulato, esplicita esibizione degli strumenti e dei percorsi tramite i quali quegli elementi sono stati utilizzati, comparati, analizzati ed evidenziazione delle connessioni logiche tra i diversi passaggi. con ‘valutazione’ s’intende l’insieme delle attività collegate utili per esprimere un giudizio per un fine pubblico, giudizio argomentato tramite processi di ricerca che ne costituiscono l’elemento essenziale e imprescindibile di affidabilità delle procedure e fedeltà delle informazioni utilizzate per esprimere quel giudizio. questo fine deve essere pubblico: giudizi necessari per risolvere questioni politiche, programmatorie, progettuali, organizzative e gestionali relative a interventi che coinvolgono la collettività nel suo insieme o specifici gruppi Claudio Bezzi, Il nuovo disegno della ricerca valutativa, Franco Angeli, Milano 2010

4 Decisione, gestione e ruolo della valutazione
turbolenza evento decisione imple- ment. equilibrio gestione adattamento sollecita- zione (precedenti) valutazioni di varia natura valutazione ex ante di risultati e impatti val. in itinere monitoraggio valutazione in itinere e intermedia valutazione in itinere ed ex post di realizzazioni e risultati valutazione ex post di impatti ed ex ante

5 Valutazione e attività correlate in relazione a intervento e criticità
Analisi, riflessione, critica Intervento sul processo Astensione dall’intervento Valutazione Certificazione Audit Registrazione, mera informazione Monitoraggio Ricerca di base Benchmarking Bilancio sociale

6 Valutazione e attività correlate in relazione a epistemologia e metodologia
Ricerca di base Complessità epistemologico-metodologica Costruttivismo Realismo Certificazione Audit Monitoraggio Benchmarking Valutazione Semplicità epistemologico-metodologica Bilancio sociale

7 Efficacia ed efficienza in valutazione
Contesto economico-sociale che esprime dei bisogni Contesto politico-istituzionale che esprime delle finalità Obiettivi/Risultati attesi Attori implicati Procedure Strumenti Esiti Realizzazioni Efficacia esterna Efficacia interna Efficienza Decisione/ Programmazione Implementazione Valutazione Effetti Risultati Vincoli/Risorse Impatti Basato su una figura di Mauro Palumbo, Il processo di valutazione, Franco Angeli, Milano 2001.

8 Tipi di effetti di programmi e interventi
Programma o intervento programmato Conclusione, o t Conclusione dell’intervento esiti realizzazioni effetti risultati impatti Effetti attesi e desiderati Effetti auspicati esiti, effetti, realizzazioni, risultati, Fattori intervenienti Effetti inattesi Valutazione orientata agli obiettivi svincolata dagli obiettivi

9 Il problema dell’impatto netto (nel caso della formazione professionale)‏
Occupazione lorda creata ( Verificata attraverso l’analisi occupazionale dei partecipanti)‏ Deadweight [Peso morto] Si è creato un lavoro che si sarebbe comunque dato, anche senza l’intervento Inaccettabile spiazzamento effetto di (Un lavoro è creato e un altro viene distrutto nell’area)‏ sostituzione (un disoccupato trova lavoro ma un altro lavoratore perde il proprio)‏ netta creata

10 Gli attori sociali rilevanti per la valutazione
(Bisogni) Decisione Implementazione Gestione Fruizione Attori che presentano istanze Soggetto che promuove l’intervento Soggetti deputati al controllo Parti sociali Eventuali soggetti convenzionati (utenti, clienti, beneficiari indiretti, ‘vittime’) Beneficiari dell’intervento Alta dirigenza Consulenti Operatori (Funzionari, quadri, consulenti) Valutatore Legenda Decisori Beneficiari

11 La valutazione fra competenza tecnica e conoscenza nel merito
Competenza tecnico-scientifica della valutazione Conoscenza nel merito dell’evaluando Bassa Media Alta Pregiudizio Metodologia dogmatica Valutazione spontanea Specialismo dogmatico competente esperta

12 Come realizzare un sistema di valutazione?
Facile da gestire (ma poco sensibile)‏ Autoritativo (solo l’Ente gestore)‏ Come (forse) lo vorremmo realizzare Come (forse) dovremo iniziare Dialogico (concertazione con gli altri attori rilevanti) Sensibile (ma più complesso da gestire)

13 Complessità valutativa
COMPLESSITA’ VALUTATIVA Molteplicità degli attori coinvolti Ambiguità concettuale due tipi principali: Identificaz. diversi set di valori Identificaz. e selez. elementi di valutaz. Chiarificazione concettuale Monitoraggio Mappe Attori-Azioni e Dimens.-Indicatori Metodi Misti (nel disegno) RICERCA VALUTATIVA necessita di produce consente organizza indirizza coadiuva dà senso 1 9 8 7 6 5 4 3 2

14 Albero di Porfirio delle strategie di ricerca valutativa
Esperimento Non esperimento Multicriteri Multi metodo Criterio unico Manageriale Ricerca sociale Standard Non standard Dati di primo livello Dati di secondo livello

15 Classificazione delle tecniche
Procedure Standard Di secondo livello Di primo livello Procedure non Standard basate sull’interrogazione di individui basate sull’interrogazione di gruppi Gruppi reali Gruppi nominali Questionario Analisi Delphi Nominal Group Tech. Focus group Brainstorming Intervista biografica Valutaz. tassonomica Analisi costi benefici

16 Strategie e tecniche di ricerca valutativa
Approccio manageriale Ricerca valutativa Esperimento Strategie miste Basata su testi Ricerca sociale Basata sull’interrogazione di individui Non esperimento Standard Basata sull’analisi di relazioni prevalentemente economici di primo e secondo livello Basata sull’analisi di indicatori socio- economici prevalentemente misti di secondo livello Criterio unico basata su testi Non standard basate sull’interrogazio ne di individui Gruppi reali basate sull’interrogazione di gruppi Gruppi nominali Strategie di ricerca Tipi di tecniche

17 Metodi misti

18 I flussi valutativi Valutazione Diffusione della conoscenza
(i flussi sono relativi alla valutazione, per la programmazione) Programmazione (i flussi sono relativi alla decisione/programmazione) (accento sulla sistematicità, raccolta e gestione, affidabilità …) Organizzazione dei dati Diffusione della conoscenza (accento sull’accessibilità, condivisione, comprensione …) Monitoraggio tradizionale Monitoraggio basato sui risultati Sistema informativo Sintesi, Review Buone pratiche Comunità di pratiche Triangolazione Basato su Rist-Stame, From Studies to Streams , 2006

19 Seconda parte – Concetti avanzati
PROVVISORIO Seconda parte – Concetti avanzati DEFINIZIONE E CONCETTI AVANZATI QUESTA SECONDA PARTE DEVE ESSERE CONSIDERATA NON COMPLETA E PROVVISORIA

20 La valutazione dal punto di vista delle cause
Processo decisionale Gruppo di effetti Gruppo di cause 1 2 3a 3b 4 5 6 7 8 1 – Causa (evento, bisogno…) diretta e nota 2 – Causa diretta non nota 3 – Causa indiretta (causa che produce cause) 4 – Causa indiretta (provenienza ignota, fattore interveniente) 5 – Feedback diretto 6 – Feedback indiretto (agisce sulle cause – ricorsività) 7 – Feedback indiretto (agisce sui processi) 8 – Feedback indiretto (agisce sugli effetti)

21 La valutazione dal punto di vista degli effetti
Processo decisionale Gruppo di effetti Gruppo di cause 1 2 3 5 6 4 7 1 – Decisione/effetto diretto e noto 2 – Decisione/effetto diretto e non noto 3 – Effetto indiretto (effetto che produce effetti) 4 – Effetto ‘spontaneo’ o non conseguenza della decisione 5 – Effetto causato da fattori ignoti 6 – Effetti inattesi 7 – Effetto causato dai processi

22 La valutazione nella complessità dei ‘meccanismi’
Processo decisionale Gruppo di effetti Gruppo di cause 1 2 3 5 6 4 7 Gruppo di2effetti 3a 3b 8 A n a l i s i G i u d i z i o 1 – Cause 2 – Effetti 3 – Contesti decisionali 4 – Processi implementati Influenzano direttamente la costruzione del processo di analisi e conseguente formulazione del giudizio valutativo

23 Trasformazione sociale realista
Ray Pawson e Nick Tilley, Realistic Evaluation, Sage, London 1997