La valutazione degli interventi di politica sociale: una introduzione A.Vergani Milano, 2010

La valutazione: che cosa è? “C’è valutazione ogni qualvolta qualcuno chiede (a se stesso o ad un esterno) di giudicare un’azione intenzionale (progettata, in corso di realizzazione o realizzata) a fronte di qualche criterio e sulla base di informazioni pertinenti” (Palumbo, 2001) LA QUESTIONE DEL VALORE RICERCA VALUTATIVA

Monitoraggio e valutazione (Stame, 1998 con modif.) Informazione Giudizio eccetera Attività di supporto diretto al management Attività svolta per un committente interno o esterno (“domanda”) Riguarda tendenzialmente tutti gli aspetti (misurabili) dell’azione Riguarda una selezione di aspetti dell’azione (mirata) Per ogni intervento/servizio Per una selezione di casi o a campione (mirata) Viene realizzato con rilevazione regolari, come un flusso Può essere fatta in diversi momenti o in uno solo Misura lo scostamento da uno standard “Giudica” in base a criteri espliciti e fornisce spiegazioni/interpretazioni a supporto dei giudizi espressi

In generale Perché si valuta Quando si valuta Che cosa si valuta (le specificità dei servizi alla persona) Chi fa la valutazione Il disegno della ricerca valutativa Le “tecniche come protesi” La restituzione e l’uso della valutazione

Caso 1: la valutazione dell’assistenza domiciliare di anziani (Bezzi, 2004) Il contesto I problemi del valutatore Il primo approccio: la “doppia committenza” Il disegno della valutazione Il processo di valutazione (brainstorming, SPO) Il prodotto del pdv: la mappa delle “priorità del servizio” (uno strumento di valutazione ma anche di programmazione)

Caso 2: la valutazione del funzionamento di una rete di soggetti che interviene sulle fasce deboli della popolazione Il contesto Definizione della domanda di valutazione Individuazione di “oggetti” specifici di indagine valutativa (“specifiche”, temi) Il disegno della valutazione (impostazione di metodo e definizione delle tecniche e degli strumenti; organizzazione della valutazione; output attesi) Realizzazione del processo di valutazione (visite, analisi di documenti, interviste, osservazione) Elaborazione di un documento di valutazione, presentazione alla Committenza e validazione

“Raccolta” della domanda di valutazione Caso 3: la valutazione in itinere dei piani territoriali per l’infanzia e l’adolescenza ex l.285/1997 (De Ambrogio, 2004) “Raccolta” della domanda di valutazione Costruzione partecipata dello strumento Somministrazione dello strumento Elaborazione dei risultati Restituzione dei risultati agli attori Valutazione partecipata e identificazione di iniziative di miglioramento

Caso 4: un possibile percorso di valutazione dei risultati di un intervento sociale Identificazione degli obiettivi (di ricaduta) dell'intervento (base-minima di partenza) Individuazione degli ambiti di valutazione (con la guida di approcci e disegni/modelli) Adozione di uno specifico disegno di valutazione (dal "classico disegno sperimentale" a disegni di altro tipo) Ricostruzione del cambiamento (a livello individuale, organizzativo, eccetera) attribuibile all'intervento – attraverso l'applicazione del disegno di valutazione scelto - Calcolo del beneficio economico (in termini di confronto tra costi e benefici) riconducibile alla realizzazione dell'intervento Adatt. da Quinones e Toninandel, 2005

La caratteristiche del valutare Comparazione (valore “in relazione a….”, incontro tra “domanda” e “offerta” valutativa, connessione con i “processi decisionali” e in generale di “cambiamento” (Lippi, 2007) Ricostruire, comparare, “spiegare” “Disciplina” empirica (variabili empiricamente osservabili: ricerca sociale applicata; paradigma lazarsfeldiano)

Efficacia ed efficienza in valutazione Contesto economico-sociale che esprime dei bisogni Contesto politico-istituzionale che esprime delle finalità Obiettivi/Risultati attesi Attori implicati Procedure Strumenti Esiti Realizzazioni Impatti Efficacia esterna Efficacia interna Efficienza manageriale Efficienza istituzionale Decisione/ Programmazione Implementazione Valutazione Effetti Risultati Vincoli/Risorse Rilevanza Coerenza Basato su una figura di Mauro Palumbo, Il processo di valutazione, Franco Angeli, Milano 2001.

Tipi di effetti di programmi e interventi Programma Fattori Programma Fattori o intervento programmato intervenienti o intervento programmato Conclusione, Conclusione, o t della valutazione intermedia o t realizzazioni esiti Effetti attesi e desiderati risultati effetti realizzazioni, esiti, risultati, effetti, Effetti inattesi impatti impatti impatti Effetti auspicati e desiderati Valutazione Valutazione Valutazione Valutazione orientata agli svincolata orientata agli svincolata obiettivi dagli obiettivi obiettivi dagli obiettivi

Effetti (risultati e impatti) EFFETTO RILEVATO = EFFETTI DELL’INTERVENTO (EFFETTO NETTO) + EFFETTI DI ALTRI PROCESSI/FATTORI (ESTERNI ALL’INTERVENTO: MODALITA’ DI SELEZIONE, MUTAMENTI NATURALI NEI GRUPPI-OBIETTIVO, MUTAMENTO DI CONDIZIONI DI CONTESTO) EFFETTI DEL PROCESSO VALUTATIVO (ERRORI DI MISURAZIONE O DI RILEVAZIONE, AFFIDABILITA’ DELLE METODOLOGIE E DEGLI STRUMENTI, VALIDITA’ DEGLI STRUMENTI, ERRORI NELLA SCELTA DELLE MISURE DI RISULTATO)

Il processo di valutazione Le nove tappe (Bezzi, 2001 con modifiche mie) Definizione del mandato Analisi dell’evaluando e formulazione delle domande valutative Accertamento delle risorse Individuazione di un possibile ‘modello valutativo’ di riferimento ‘Esplorazione’ dettagliata dell’evaluando e delle sue ‘componenti’ oggetto di valutazione specifica Stipulazione dei ‘valori valutativi’ (criteri) Individuazione dell’apparato metodologico da impiegare e dei relativi strumenti di supporto Raccolta e analisi dei dati ed informazioni Restituzione e utilizzo dei risultati della valutazione

Problemi etici e deontologici Orientamento epistemologico Definizione del mandato Mandato = Perché me lo chiedi? Chi chiede (quale ruolo esercita, che poteri, bisogni, interessi esprime…)? Chi altro è coinvolto (beneficiari, ‘vittime’, dipendenti, partner; clima generale, eventuali conflitti, …)? Quali gli obiettivi della valutazione (apprendere, negoziare, rendicontare, …)? Mandato Problemi etici e deontologici Orientamento epistemologico Contesto  Metodo

Impianto metodologico Analisi dell’evaluando e domande valutative Domande valutative = Cosa è importante analizzare? Quale valutazione (ex ante, in itinere, …; di processo, di esito…; di efficacia di efficienza…)? Quali obiettivi ha l’evaluando? Quale ruolo ha la valutazione nel sostegno al management? Cosa serve al gestore dell’intervento? Decisore Fonti informative Impianto metodologico Evaluando  Metodo

Reale disegno della ricerca Conferimento autorità Accertamento delle risorse Risorse = Cosa posso veramente fare? Quali risorse economiche, di tempo, di risorse umane? Quali risorse simboliche (conferimento di autorità, riconoscimento di autorevolezza)? Quali risorse mandatarie (reale accesso alle fonti, capacità di attesa del mandante, disponibilità a rispettare e utilizzare i risultati, anche inattesi)? Risorse Reale disegno della ricerca Conferimento autorità Risorse  Metodo

Condivisione concetti Attenzione epistemologica Esplorazione dell’evaluando Spazio semantico = Cosa valutiamo, esattamente? Cosa intendiamo quando parliamo di…? Cosa intendono loro quando voi dite…? Quali sono gli elementi strategici, costitutivi, di… (indicatori valutativi)? Attori sociali Condivisione concetti Attenzione epistemologica Comprensione  Metodo

Lo schema generale del paradigma lazarsfeldiano Concetto 1 Dimensione 1 Dimensione 2 Dimensione 3 Sottodimensione 1 Sottodimensione 2 Indicatore 2 Indicatore 1 Indicatore 3 Indicatore 4 Indicatore 5 Indicatore 7 Indicatore 6 Indicatore 8

Esplicitazione valori Negoziazione di ‘una’ logica Stipulazione dei valori valutativi Valori valutativi = Da quale punto di vista valutare (= giudicare)? Quali valori strategici, organizzativi, ecc. esprimono gli attori sociali? E l’utilizzatore? Cosa ‘vale’ di più? Da quale punto di vista? Quale ordine, quale logica, quali “regole”? Decisore Attori sociali Esplicitazione valori Negoziazione di ‘una’ logica Valori  Metodo

Definizioni operative Raccolta e analisi dei dati Raccolta e analisi dati = Dove cerchiamo, come lo raccogliamo, cosa ne facciamo? In quale ‘formato’ raccolgo le informazioni? Come le tratto (matrice dei dati, analisi ermeneutica)? Cosa ci faccio poi (restituzione ‘tecnica’; interpretazione negoziale; suggerimenti; …)? Bisogni, interessi, valori Definizioni operative Face validity Metodo  Utilizzo Dati

Responsabilità del valutatore Utilizzo dei risultati Utilizzo = A cosa è servita la valutazione? Il decisore (utilizzatore, sponsor) usa, userà, ha intenzione di far utilizzare i risultati della valutazione? Quale forma di restituzione è possibile/prevista a coloro che hanno contribuito anche indirettamente? E’ possibile una metavalutazione? I costi della valutazione sono giustificati? Decisore Contesto Responsabilità del valutatore Valore aggiunto Utilizzo  Mandato val.

Evaluando, modelli, regole e metodi: l’intreccio necessario per fare valutazione L’analisi del singolo evaluando sulla base di un certo approccio di valutazione e utilizzando una o più regole (confronto con obiettivi, standard, dati storici; opinione di ….., ….. ) consente di attribuire all’evaluando (per i servizi: attraverso l’impiego di metodi/tecniche di natura prevalentemente qualitativa) un valore (socialmente costruito e “riconosciuto”)

Le “regole” più comuni per fare valutazione (attribuire un valore) Confrontare gli effetti dell’intervento con i suoi obiettivi/finalità Confrontare l’intervento (effetti e processo) con i bisogni (domanda, …..) della popolazione-obiettivo “Assumere” la valutazione dell’intervento formulata dagli stakeholder oppure da esperti

Una lista di possibili “regole” (sono sottolineate quelle della diapositiva precedente) I bisogni o i desideri/domanda della popolazione-target Le finalità e gli obiettivi del programma/progetto/intervento Standard o requisiti di natura tecnico/professionale Pratiche consolidate (benchmarking) Altri programmi/progetti/interventi analoghi Requisiti/vincoli di natura legale o normativa Performance precedenti; dati storici Indicazioni definite dal responsabile del programma Opinione di esperti Opinione/punto di vista degli attori formativi Situazione esistente prima dell’intervento per la popolazione target Situazione in assenza del programma (controfattuale) Teoria del programma (teoria dell’impatto e del processo) Costo (assoluto o relativo)

Approccio/paradigma (assunzioni-base che guidano l’azione) “E’ dalla ricerca sociale che sono stati derivati i modelli di valutazione” (Alkin, 2004) Approccio/paradigma (assunzioni-base che guidano l’azione) Metodologia (disegno complessivo associato ad un particolare insieme di assunti paradigmatici usati per condurre una ricerca)

Le famiglie di tecniche della ricerca sociale utilizzabili in valutazione (Bezzi, 2001) Analisi di dati di secondo livello Interrogazione delle persone “comuni” Interrogazione di esperti Osservazione

Albero delle strategie di ricerca valutativa (Bezzi, 2008) Esperimento Non esperimento Multicriteri Criterio unico [Manageriale] Ricerca sociale Standard Non standard Dati di primo livello Dati di secondo livello 27

Strategie e tecniche di ricerca valutativa nella logica del non-esperimento (adatt. da Bezzi, 2008) Approccio manageriale Ricerca valutativa Esperimento Strategie miste Basata su fonti statistiche esistenti Ricerca sociale Basata sull’interrogazione standard di individui (survey) Non esperiment o Basata sull’analisi di relazioni tra variabili (bi-multi) Standard prevalentemente economici di primo e secondo livello Basata sull’analisi di indicatori socio- economici prevalentemente misti di secondo livello Criterio unico basata su documenti Non standard basate sull’interrogazione di individui (intervista) e sull’osservazione Gruppi reali basate sull’interrogazione di gruppi Gruppi nominali Strategie di ricerca Tipi di tecniche 28

Classificazione delle tecniche: non-esperimento (Bezzi, 2008) Strategia Standard Di secondo livello Di primo livello Strategia non Standard basate sull’interrogazione di individui basate sull’interrogazione di gruppi Gruppi reali Gruppi nominali Survey con questionario Analisi Delphi Nominal Group Tech. Focus group Brainstorming Intervista biografica o in profondità Valutaz. Tassonomica (testi scritti) Analisi costi benefici, ROI 29

Classificazione delle tecniche: “esperimento” Centratura sugli effetti (di che cosa su cosa) Metodo ‘sperimentale’ classico (randomizzato) Metodi non-sperimentali (‘differenza nelle differenze’, ‘analisi di regressione’, ‘abbinamento statistico’, ‘discontinuità attorno ad una soglia’, ‘analisi delle serie storiche interrotte’, ‘rilevazione degli effetti percepiti dai beneficiari’)

La valutazione comparativa “per eccellenza” (Owen e Rogers, 1999) “Richiede tradizionalmente l’uso di disegni di ricerca predefiniti con possibilmente l’impiego di un gruppo trattato e di uno di controllo, con il ricorso a test e ad altri dati quantitativi. … La determinazione di tutti gli impatti richiede l’uso di metodi di tipo più esplorativo e il ricorso a evidenze di tipo qualitativo”

Approccio quantitativo e qualitativo (Shaw, 1999) Approccio quantitativo (dati numerici, setting artificiale, centralità dei comportamenti, adozione del modello scienze naturali, logica deduttiva, ricerca di “leggi”, realismo) vs qualitativo (“parole” come dati, setting naturale, centralità del significato, rifiuto del modello delle scienze naturali, logica induttiva, ricerca di pattern, idealismo)

Tre approcci (da Stame, 2001) Positivista-sperimentale Pragmatista/ della qualità Costruttivista Riferimento (pietra di paragone) Gli obiettivi Gli standard Ciò che gli attori coinvolti definiscono come “successo” Domande I risultati corrispondono agli obiettivi? I risultati ed i processi corrispondono agli standard? Che cosa è successo? E’ “buono”? Teoria E’ possibile predefinire obiettivi e risultati che devono/possono essere perseguiti In ogni situazione esistono sempre degli standard con i quali confrontarsi La realtà è difficilmente prevedibile; gli effetti inattesi sono importanti Metodi Esperimenti e quasi esperimenti La “logica del valutare” di Scriven, analisi multicriteri Analisi comparativa, esplorazione, analisi partecipata Tecniche Indicatori, indici, analsii controfattuali Analisi soddisfazione utenti, giudizio di esperti Studi di caso, interviste, focus-group, osservazione Utilizzo Strumentale alla decisione politica Amministrazione e management del programma Conoscitivo, empowerment Problemi teorici “La scatola nera” del processo Che cosa la qualità? Come è costruito lo standard? Da dove cominciare? Autori Suchman, Campbell, Rossi e Freeman, Chen Scriven, Wholey, Donabedian, New Public Management Stake, Guba e Lincoln, Patton, Fetterman, Hirschman, Tendler

L’approccio della Realistic Evaluation (Pawson e Tilley, 1997) Effetti (regolarità)= meccanismo+contesto “I programmi non sono cose che funzionano o non funzionano: semmai essi contengono certe idee che funzionano per certi soggetti in certe situazioni” La RE è un approccio che può essere realizzato con metodi e tecniche di tipo sia quantitativo sia qualitativo

Per concludere Necessità di un sistema di monitoraggio Priorità alla valutazione in corso d’opera ovvero del processo di “traduzione in pratica di una ipotesi di intervento” Utilizzo combinato di metodi quantitativi e qualitativi Attenzione “al nuovo ed all’inatteso”

Inoltre …. Dedicare tempo alla progettazione della valutazione Ipotizzare operazioni valutative gestibili e sostenibili (livello organizzativo e delle risorse) Predisporre le condizioni necessarie all’utilizzo degli esiti (e del processo) di valutazione