TEORIA E TECNICHE DELLA VALUTAZIONE ELABORARE UN PROGETTO DI RICERCA VALUTATIVA Mario Castoldi

RICERCA VALUTATIVA “procedura rigorosa di raccolta di dati ed informazioni necessari all’espressione del giudizio” TAPPE ESSNZIALI 1. DEFINIRE IL MANDATO DELLA VALUTAZIONE 2. COMPRENDERE LA NATURA DELL’EVALUANDO 3. ANALIZZARE IL CONTESTO E VERIFICARE LE RISORSE 4. DEFINIRE APPROCCIO E TECNICHE VALUTATIVE 5. USARE LA VALUTAZIONE E DIFFONDERE I RISULTATI

Livelli del disegno della ricerca Livello epistemologico-metodologico metodologico-operativo Livello delle definizioni operative Disegno1 Disegno2 Tecniche Riflessione sulla conoscibilità dell’oggetto di ricerca/valutazione Precondizioni necessarie per l’avvio della valutazione Conseguenze operative ed etiche, oltre che cognitive, della valutazione Valutazione della valutabilità, metavalutazione, ecc. Traduzione del disegno1 in un determinato percorso adatto al caso specifico (opportunità, coerenza, plausibilità…) Definizione specifica delle precondizioni e delle conseguenze, e analisi delle ricadute tecniche nella ricerca (valutazione) specifica Scelta delle tecniche che soddisfano le precondizioni del disegno2 (validità, affidabilità, …) nel caso specifico, alla luce anche dei vincoli strutturali della ricerca Definizioni operative relative alla raccolta e analisi delle informazioni 

Il disegno della ricerca valutativa* - 1 [5 Sostegno all’uso della valutazione [3] Accertamento delle risorse [1] Definizione del mandato [2] Analisi obiettivi dell’evaluando e formul. domande valutative [4b] Stipulazione valori valutativi [4a] Esplorazione spazio semantico [4c] Definizioni operative specifiche [4] Definizione disegno2 specifico (offerta tecnica) [4d] Raccolta e analisi dei dati * Questa proposta a 9 fasi è diversa, e più aggiornata, di quella contenuta nel testo di Claudio Bezzi, Il disegno della ricerca valutativa, Franco Angeli, Milano 2003, anche se non ne stravolge la logica complessiva.

1. DEFINIRE IL MANDATO DELLA VALUTAZIONE COMPONENTI DEL MANDATO: QUESTIONI CHIAVE QUALI SOGGETTI COINVOLTI NEL PROCESSO VALUTATIVO? QUALI SCOPI DELLA VALUTAZIONE? QUALE RUOLO AFFIDATO AL VALUTATORE? QUALI INTERESSI DEL COMMITTENTE? QUALI BISOGNI FORMATIVI DEGLI UTILIZZATORI? COMPONENTI DEL MANDATO: ELEMENTI ESSENZIALI IDENTIFICAZIONE CHIARA DELL’EVALUANDO NATURA DELL’EVALUANDO (intervento nuovo, maturo, concluso) SPAZIO DI DISCREZIONALITA’ DEL VALUTATORE RUOLO DEL VALUTATORE (raccolta dati, raccomandazioni, proposte) MODALITA’ DI DIFFUSIONE DEI RISULTATI AUTORITA’ DEL VALUTATORE

1. DEFINIRE IL MANDATO DELLA VALUTAZIONE UNA RELAZIONE A QUATTRO POLI COMMITTENTE VALUTATORE VALUTATI UTILIZZATORI “Il mondo reale non opera come descritto nei manuali. I valutatori efficaci imparano ad adattarsi al mutamento delle condizioni. Ciò richiede sensibilità al contesto e riflessione strategica e contingente, ciò che io ho chiamato essere attivi-reattivi-adattivi nel lavoro con gli appropriati principali utilizzatori” (Patton, 1998)

1. DEFINIRE IL MANDATO DELLA VALUTAZIONE QUALE RICADUTA DELLA VALUTAZIONE SUL PROGRAMMA? FASE DECISIONALE FASE VALUTATIVA FUNZIONE PREVALENTE PROGETTA-ZIONE EX-ANTE DIAGNOSTICA DIAGNOSI PRELIMINARE IMPLEMENTA-ZIONE CONTESTUALE REGOLATIVA MONITORAGGIO IN ITINERE CONCLUSIONE/ REVISIONE EX-POST PROATTIVA VALUTAZIONE CONCLUSIVA

Convalida rapporti di potere Responsabilità contrattuale 1. DEFINIRE IL MANDATO DELLA VALUTAZIONE QUALE LOGICA VALUTATIVA DA PARTE DEL COMMITTENTE? CONTROLLO SVILUPPO Convalida rapporti di potere Responsabilità contrattuale Rendicontazione Sanzione Coinvolgimento soggetti Responsabilità professionale Orientamento Promozione

1. DEFINIRE IL MANDATO DELLA VALUTAZIONE UN ESEMPIO Il committente è un servizio sociale che ritiene di dover migliorare le performance del proprio interventi attraverso un’analisi valutativa: chi è che vuole veramente realizzare la valutazione come strumento di miglioramento? Gli operatori? Alcuni di loro? Il loro responsabile? Un dirigente? Un personaggio politico? quali utilizzi si vuole veramente fare della valutazione? la valutazione può essere realizzata in maniera condivisa e partecipata? I risultati saranno socializzati? quale atteggiamento c’è verso gli utenti e le loro eventuali rappresentanze? C’è disponibilità al loro pieno coinvolgimento? Ci sono invece ragioni per le quali è meglio non coinvolgerli? Perché? e’ sufficientemente chiaro che si intraprende un percorso formativo che potrebbe non dare, necessariamente, un risultato immediatamente spendibile sul piano decisionale? quali sono i rapporti interni che consentiranno di perseguire questo risultato?

Problemi etici e deontologici Conferimento autorità Il disegno della ricerca valutativa 1 – Definizione del mandato Mandato = Perché me lo chiedi? Chi chiede (quale ruolo esercita, che poteri, bisogni, interessi esprime…)? Chi altri sono coinvolti (beneficiari, ‘vittime’, dipendenti, partner; clima generale, eventuali conflitti, …)? Quali le finalità della valutazione (Controllare, negoziare, rendicontare, …)? Problemi implicati Livello gestionale Livello metodologico generale Connessioni Problemi etici e deontologici Conferimento autorità Contesto  Metodo

2. COMPRENDERE LA NATURA DELL’EVALUANDO QUALI OBIETTIVI PROGETTUALI? COME POTERLI RENDERE VERIFICABILI? QUALI PASSAGGI CHIAVE DEL SERVIZIO? QUALI NODI CRITICI DEL SERVIZIO? VALUTARE LA VALUTABILITA’ GLI OBIETTIVI SONO BEN DEFINITI? GLI OBIETTIVI SONO PLAUSIBILI? LE CARATTERISTICHE ESSENZIALI DEL SERVIZIO SONO STATE INDIVIDUATE? LE INFORMAZIONI PRINCIPALI POSSONO ESSERE OTTENUTE? I POTENZIALI UTILIZZATORI CONDIVIDONO IL PROCESSO VALUTATIVO?

2. COMPRENDERE LA NATURA DELL’EVALUANDO ASPETTI CHIAVE DELL’EVALUANDO A CHI SI RIVOLGE? PERCHE’ SI INTENDE AVVIARE/ E’ STATO AVVIATO? QUALI SOGGETTI SONO COINVOLTI E CON QUALE RUOLO? COME SI INTENDE GESTIRLO/E’ STATO GESTITO? QUANTO COSTA? INDIVIDUARE LE QUESTIONI CHIAVE PROBLEMATIZZARE L’EVALUANDO ASCOLTARE GLI STAKEHOLDER CONSIDERARE I CRITERI CHIAVE

2. COMPRENDERE LA NATURA DELL’EVALUANDO CRITERI DI QUALITA’ DI UN PROGETTO FORMATIVO CONTESTO SOCIALE BISOGNI/ PROBLEMI IMPATTI RISULTATI (outcome) RISORSE (input) REALIZZAZIONI (output) PRO-GRAMMA OBIETTIVI EFFICIENZA RILEVANZA EFFICACIA UTILITA’ EQUITA’

In che misura gli obiettivi del programma sono stati raggiunti? 2. COMPRENDERE LA NATURA DELL’EVALUANDO QUALI PARAMETRI VALUTATIVI PRIVILEGIARE? In che misura gli obiettivi del programma sono giustificati rispetto ai bisogni? RILEVANZA In che misura gli obiettivi del programma sono stati raggiunti? EFFICACIA EFFICIENZA Gli obiettivi sono stati raggiunti al minor costo? Gli esiti attesi e inattesi soddisfano i bisogni dei destinatari diretti o indiretti? UTILITA’ La distribuzione dei costi e dei benefici del programma produce discriminazioni? EQUITA’

2. COMPRENDERE LA NATURA DELL’EVALUANDO ARTICOLAZIONE DEGLI OBIETTIVI NECESSITA’ DI CHIARIRE LA GERARCHIA DEGLI OBIETTIVI (IMPLICITI ED ESPLICITI) ARTICOLAZIONE DEGLI OBIETTIVI LIVELLI DI RISULTATO OBIETTIVI GENERALI IMPATTI OBIETTIVI INTERMEDI EFFETTI OBIETTIVI SPECIFICI REALIZZAZIONI

Adeguate fonti informative Orientamento epistemologico Il disegno della ricerca valutativa 2 – Obiettivi dell’evaluando e domande valutative Domande valutative = Cosa è importante analizzare? Cosa serve a voi decisori, gestori, operatori per meglio decidere, gestire, operare? Quali obiettivi ha l’evaluando? Quale ‘teoria’ (logica) c’è dietro all’evaluando? Adeguate fonti informative Orientamento epistemologico Evaluando  Metodo Livello gestionale Livello metodologico generale Connessioni Problemi implicati

3. ANALIZZARE IL CONTESTO E VERIFICARE LE RISORSE QUALI CONDIZIONI DI ESERCIZIO DEL PROCESSO VALUTATIVO? ECONOMICHE UMANE POLITICHE STRATEGICHE “La valutazione sembra eternamente sospesa fra una tensione alla scientificità assoluta che richiama l’uso di strumenti complessi caratterizzata dalla necessità di pensare ad investimenti rilevanti e a tempi di lavoro medio-lunghi, e l’incalzare di un processo decisionale che non lascia al decisore il tempo necessario alla riflessione costringendolo a ripiegare sul suo intuito e sulla sua percezione” (Bertin, 1994)

3. ANALIZZARE IL CONTESTO E VERIFICARE LE RISORSE QUALI RISORSE/VINCOLI? FONDI TEMPO RISORSE UMANE CLIMA ORGANIZZATIVO DISPONIBILITA’ DEI DATI MODALITA’ VALUTATIVE GIA’ PREVISTE CARATTERISTICHE DEI DESTINATARI PREOCCUPAZIONI ETICHE CAPACITA’ TECNICA DEL VALUTATORE CHIAREZZA CON IL COMMITTENTE SULLE CONDIZIONI DI ESERCIZIO REALI DELLA RICERCA VALUTATIVA

Aspetti amministrativi Il disegno della ricerca valutativa 3 – Accertamento delle risorse Risorse = Cosa posso veramente fare? Quali risorse economiche, di tempo, di risorse umane? Quali risorse simboliche (conferimento di autorità, riconoscimento di autorevolezza)? Quali risorse mandatarie (reale accesso alle fonti, capacità di attesa del mandante, disponibilità a rispettare e utilizzare i risultati, anche inattesi)? Aspetti amministrativi Approcci possibili Risorse  Metodo Livello gestionale Livello metodologico generale Connessioni Problemi implicati

4. DEFINIRE APPROCCIO E TECNICHE VALUTATIVE RICERCA VALUTATIVA COME PROCESSO sequenza logica di azioni SISTEMA interazione tra le parti 4.a DEFINIRE LE PROPRIETA’ DELL’EVALUANDO scomposizione dell’oggetto in indicatori valutativi QUALE MODELLO DI ANALISI DEL SERVIZIO? chi definisce le proprietà? quale livello di declinazione? come selezionare le proprietà? FONTI ANALISI DOCUMENTI ASCOLTO STAKEHOLDER

4. DEFINIRE APPROCCIO E TECNICHE VALUTATIVE 4.b DARE UN VALORE ALLE PROPRIETA’ ordinamento gerarchico delle proprietà in rapporto ad un sistema di valori QUALE IDEA DI QUALITA’ DEL SERVIZIO? chi definisce il sistema di valori? in quali modi attribuire valore? UTILIZZO PREFERENZIALE DI GRUPPI DI ESPERTI 4.c STABILIRE LE DEFINIZIONI OPERATIVE traduzione delle proprietà in procedure operative e raccolta dei dati quali indicatori? quali strumenti di indagine?

1° impianto metodologico Approccio  Adeguatezza Il disegno della ricerca valutativa 4 – Definizione disegno specifico (offerta tecnica) Disegno2 specifico = Quali definizioni operative generali? Come penso – operativamente – di raggiungere il risultato valutativo (espressione di un giudizio)? Approcci e tecniche opportuni sono compatibili con le risorse disponibili? Approcci e tecniche compatibili sono adeguate agli obiettivi cognitivi e valutativi?? Offerta tecnica 1° impianto metodologico Approccio  Adeguatezza Livello gestionale Livello metodologico generale Connessioni Problemi implicati

Possibilità partecipazione Attenzione epistemologica Il disegno della ricerca valutativa 4a – Esplorazione campo semantico Spazio semantico = Cosa valutiamo, esattamente? Cosa intendiamo quando parliamo di…? Cosa intendono loro quando voi dite…? Quali sono gli elementi strategici, costitutivi, dell’evaluando (indicatori valutativi)? Possibilità partecipazione Attenzione epistemologica Senso  Metodo Livello gestionale Livello metodologico generale Connessioni Problemi implicati

Possibilità partecipazione Negoziazione di ‘una’ logica Il disegno della ricerca valutativa 4b – Stipulazione valori valutativi Valori valutativi = Da quale punto di vista valutare? Quali valori strategici, organizzativi, ecc. esprimono gli attori sociali? E l’utilizzatore? Cosa ‘vale’ di più? Da quale punto di vista? Quale ordine, quale priorità, quale logica? Possibilità partecipazione Negoziazione di ‘una’ logica Valori  Metodo Livello gestionale Livello metodologico generale Connessioni Problemi implicati

Adeguatezza al mandato Il disegno della ricerca valutativa 4c – Definizioni operative specifiche Definizioni operative = Come si giunge, in concreto, al giudizio valutativo? Come si trasformano l’esplorazione dello spazio semantico e i valori valutativi, alla luce di mandato e risorse disponibili, in procedimenti e tecniche di ricerca? Qual è l’approccio? Come si integrano le tecniche? Adeguatezza al mandato Face validity Metodo  Risultato Livello gestionale Livello metodologico generale Connessioni Problemi implicati

Gestione della ricerca Validità, affidabilità, … Il disegno della ricerca valutativa 4d – Raccolta e analisi dei dati Raccolta e analisi dati = Come organizziamo concretamente il lavoro? Come reclutiamo e gestiamo i collaboratori? Come organizziamo l’agenda, anche alla luce dell’eventuale partecipazione di attori locali? Quali strategie per la risoluzione dei problemi? Gestione della ricerca Validità, affidabilità, … Metodo  Uso Livello gestionale Livello metodologico generale Connessioni Problemi implicati

5. USARE LA VALUTAZIONE E DIFFONDERE I RISULTATI COME DOCUMENTARE GLI ESITI DELLA VALUTAZIONE? COME RENDERE PARTECIPATA L’INTERPRETAZIONE DEI RISULTATI? COME COMUNICARE I RISULTATI VALUTATIVI? COME VALUTARE LA VALUTAZIONE? COME USARE I RISULTATI VALUTATIVI?

5. USARE LA VALUTAZIONE E DIFFONDERE I RISULTATI ORGANIZZAZIONE DI ARENE VALUTATIVE IN CUI RESTITUIRE I DATI RACCOLTI E PROMUOVERE IL CONFRONTO CRITERI DI ELABORAZIONE DEL RAPPORTO ESSENZIALE CHIARO ESPLICITO AUTOCRITICO ARTICOLATO

5. USARE LA VALUTAZIONE E DIFFONDERE I RISULTATI METAVALUTAZIONE COME CONTROLLO DELLE PROCEDURE DI RICERCA VALUTATIVA UTILITÀ il processo valutativo è stato davvero utile per i bisogni informativi di miglioramento dei soggetti e dei gruppi coinvolti? FATTIBILITÀ il processo valutativo è risultato realizzabile dal punto di vista delle risorse a disposizione e delle caratteristiche particolari dell’ambiente e delle persone a cui si rivolge? CORRETTEZZA il processo valutativo realizzato è stato corretto in rapporto ai diritti delle persone coinvolte (privacy, diritto all’informazione, benessere dei soggetti, etc.) e alla imparzialità dei giudizi espressi? ACCURATEZZA il processo valutativo è stato realizzato in modo accurato in rapporto alle procedure di raccolta, analisi e interpretazione dei dati e al disegno valutativo nel suo insieme?

5. USARE LA VALUTAZIONE E DIFFONDERE I RISULTATI METAVALUTAZIONE COME CONTROLLO DELLE PROCEDURE DI RICERCA VALUTATIVA UTILITÀ IDENTIFICAZIONE DEI DESTINATARI CREDIBILITA’ DEL VALUTATORE AMBITO E SELEZIONE DELLE INFORMAZIONI INTERPRETAZIONE DEI RISULTATI CHIAREZZA DEL RAPPORTO DIFFUSIONE DEL RAPPORTO TEMPESTIVITA’ DEL RAPPORTO IMPATTO DELLA VALUTAZIONE FATTIBILITÀ PROCEDURE PRATICABILI COMPATIBILITA’ POLITICA PRODUTTIVITA’ IN RAPPORTO AI COSTI

5. USARE LA VALUTAZIONE E DIFFONDERE I RISULTATI METAVALUTAZIONE COME CONTROLLO DELLE PROCEDURE DI RICERCA VALUTATIVA CORRETTEZZA DEFIIZIONE DEGLI IMPEGNI CONFLITTO DI INTERESSI RAPPORTI COMPLETI E SINCERI DIRITTO DI SAPERE DIRITTI DEI SOGGETTI INTERAZIONI UMANE RAPPORTO EQUILIBRATO RESPONSABILITA’ FISCALE

5. USARE LA VALUTAZIONE E DIFFONDERE I RISULTATI METAVALUTAZIONE COME CONTROLLO DELLE PROCEDURE DI RICERCA VALUTATIVA ACCURATEZZA IDENTIFICAZIONE DELL’OGGETTO ANALISI DEL CONTESTO DESCRIZIONE DEGLI SCOPI E DELLE PROCEDURE LEGITTIMITA’ DELLE FONTI DI INFORMAZIONI VALIDITA’ DELLE MISURAZIONI CONTROLLO SISTEMATICO DEI DATI ANALISI DELLE INFORMAZIONI QUANTITATIVE ANALISI DELLE INFORMAZIONI QUALITATVE CONCLUSIONI GIUSTIFICATE OBIETTIVITA’ DEL RAPPORTO

Comunicaz. e sensibilizzaz. Il disegno della ricerca valutativa 5– Sostegno e uso della valutazione Uso = La valutazione è servita? Il decisore (utilizzatore, sponsor) usa, userà, ha intenzione di far utilizzare i risultati della valutazione? Quale forma di restituzione è possibile/prevista a coloro che hanno contribuito anche indirettamente? E’ possibile una metavalutazione? I costi della valutazione sono giustificati? Comunicaz. e sensibilizzaz. Uso  Mandato val. Livello gestionale Livello metodologico generale Connessioni Problemi implicati Sintesi

Il disegno della ricerca valutativa* - 1 [5 Sostegno all’uso della valutazione [3] Accertamento delle risorse [1] Definizione del mandato [2] Analisi obiettivi dell’evaluando e formul. domande valutative [4b] Stipulazione valori valutativi [4a] Esplorazione spazio semantico [4c] Definizioni operative specifiche [4] Definizione disegno2 specifico (offerta tecnica) [4d] Raccolta e analisi dei dati * Questa proposta a 9 fasi è diversa, e più aggiornata, di quella contenuta nel testo di Claudio Bezzi, Il disegno della ricerca valutativa, Franco Angeli, Milano 2003, anche se non ne stravolge la logica complessiva.