La ricerca valutativa Stefania Chimenti

Cos’è La ricerca valutativa? Un’attività di ricerca che consente di poter argomentare il giudizio valutativo tramite procedure affidabili che permettono di raccogliere informazioni condivisibili e verificabili. È opportuno dare un giudizio che non sia espressione dei propri pregiudizi e che aiuti i decisori e ogni altro soggetto coinvolto a ragionare sui problemi.

Valutazione vs. ricerca valutativa Competenza tecnico-scientifica della valutazione Conoscenza nel merito dell’evaluando Bassa Media Alta Pregiudizio Metodologia dogmatica Valutazione spontanea Specialismo dogmatico competente esperta

Valutazione vs. ricerca valutativa La valutazione è un’attività che può essere svolta anche da persone non specialiste, ma interessate a esprimere giudizi informati, efficaci e utili. La ricerca valutativa è un’attività svolta dal Valutatore come professionista e come studioso, rigorosa nelle procedure, affidabile nei risultati, ed efficace nei suoi intenti.

Il Va della ricerca valutativa Il rigore con il quale vengono raccolte ed elaborate le informazioni che supportano il giudizio, ossia le procedure di raccolta e analisi dei dati, concorrono a rendere scientificamente fondato il processo di valutazione, a differenza della quotidiana attività di produzione di giudizi. L’attività di ricerca è fondamentale per reperibilità delle informazioni necessarie per la formulazione di un giudizio, che non sempre sono disponibili e facilmente reperibili.

Gli obiettivi della ricerca valutativa Si fa ricerca valutativa per: 1. individuare le responsabilità; 2. analizzare e imparare; 3. facilitare e orientare la redistribuzione delle risorse; 4. promuovere le pratiche valutative.

Come si fa ricerca valutativa? La valutazione di una politica pubblica è come comporre un puzzle (Marco Sisti). Non basta individuare all’inizio un problema e passare direttamente alla scelta delle tecniche valutative da adottare per dichiarare poi i risultati conseguiti.

Come si fa ricerca valutativa? È necessario un progetto che tenga conto: 1. del contesto che ha prodotto la politica, 2. degli stakeholders, 3. degli scopi della valutazione. Al fine di poter decidere la migliore strategia per valutare. Disegno di ricerca valutativa

Il disegno della ricerca valutativa È un insieme di procedure, tecniche e riflessioni che aiutano il valutatore a: - Ricomporre la ratio dell’intervento, - Condurre la successiva attività di raccolta delle informazioni in maniera mirata. È un percorso formato da nove fasi.

Fase 1: definizione del mandato valutativo Chi chiede la valutazione? - Quale ruolo esercita? - Quale potere, bisogno, interesse esprime? Chi altro è coinvolto? Quali sono le finalità della valutazione? - Controllo? - Negoziazione? - Rendicontazione?

Fase 2: analisi degli obiettivi e formulazione delle domande valutative Cosa è importante studiare e analizzare? Cosa serve ai decisori, gestori, operatori per meglio decidere, gestire, operare? Quali sono gli obiettivi della politica? Qual è la logica che sta dietro la politica?

Fase 3: accertamento delle risorse Quali e quante sono le risorse economiche, di tempo e di risorse umane a disposizione del valutatore? Quali sono le risorse simboliche conferite al valutatore, in termini di autorevolezza? Quali sono le risorse mandatarie? - il valutatore ha un reale accesso alle fonti? - il mandante è disponibile a rispettare e utilizzare i risultati valutativi, anche quelli inattesi?

Fase 4: definizione disegno preliminare di ricerca Il valutatore come pensa di raggiungere il risultato valutativo? Gli approcci e le tecniche opportune di ricerca sono compatibili con le risorse disponibili? E con gli obiettivi cognitivi e valutativi prefigurati?

Fase 5: esplorazione del campo semantico Cosa si valuta esattamente? Cosa intendiamo quando parliamo di quel determinato aspetto della politica? Cosa intendono dire gli operatori quando dicono …? Quali sono gli elementi strategici, costitutivi della politica?

Fase 6: costruzione di un sistema di valori Quale punto di vista considerare nella valutazione? Quali sono i valori strategici, organizzativi, etc. che esprimono gli attori coinvolti? Cosa vale di più? Da quale punto di vista? Quale ordine, quale priorità, quale logica si dà a certi valori?

Fase 7: definizioni operative Come giunge il valutatore al giudizio valutativo? Come si trasformano l’esplorazione semantica e i valori valutativi, alla luce del mandato e delle risorse disponibili, in procedimenti e tecniche di ricerca? Qual è l’approccio di ricerca migliore da adottare? Come si integrano le tecniche?

Fase 8: raccolta e analisi dei dati Il valutatore come organizza in concreto il lavoro? Come recluta e gestisce i collaboratori? Come organizza l’agenda, anche alla luce dell’eventuale partecipazione di attori locali? Quali strategie adotta per la risoluzione dei problemi?

Fase 9: sostegno all’uso della valutazione La valutazione serve? Il decisore usa, userà, ha intenzione di far utilizzare i risultati della valutazione? Quale forma di restituzione è possibile ed è prevista a coloro che hanno contribuito anche indirettamente? I costi della valutazione sono giustificati?

Le fasi della ricerca valutativa

Impostazione della valutazione Si avvia un vero e proprio studio di fattibilità della valutazione. 1. Capire cosa valutare, 2. Ottenere una fotografia chiara degli attori coinvolti, specialmente del committente, 3. Individuare le finalità della valutazione, 4. Progettare il disegno di ricerca in base alle risorse disponibili.

Comprensione del contesto e del programma Farsi un’idea di cosa si valuta. Cosa significa per quel contesto e per quei attori Definire le priorità della valutazione. efficienza e/o efficacia? Al fine di raccogliere informazioni che siano pertinenti ai bisogni valutativi.

fasi operative della ricerca Si definiscono le procedure tecniche per la raccolta e l’analisi dati. Quali tecniche scegliamo? Il questionario? Il focus group? L’intervista in profondità? Si crea la base empirica per formulare, argomentare e sostenere il giudizio valutativo.

La regola del 3 Per la riuscita della ricerca valutativa è importante concentrarsi sui tre gruppi di fasi. Spesso il valutatore però incontra delle difficoltà. - Il committente non collabora oppure non può farlo, quindi non si riesce a definire un chiaro mandato valutativo. - Gli attori sociali coinvolti nell’intervento non sono disponibili a partecipare o a contribuire alla valutazione, quindi non si riesce a costruire un buon quadro semantico dell’evaluando.

Due su tre Si ha una valutazione partecipata nelle fasi esplorative. Definizioni operative Esplorazione semantica Mandato valutativo Si ha una valutazione partecipata nelle fasi esplorative. - Si alimenta lo scambio di idee e di informazioni più chiare sul programma, Si favorisce un apprendimento per la sua organizzazione. Il giudizio valutativo però è debole.

Due su tre Si ha invece una valutazione più tecnica con Definizioni operative Esplorazione semantica Mandato valutativo Si ha invece una valutazione più tecnica con chiara impostazione, buona esecuzione tecnica. I risultati potrebbe essere interessanti e concretamente utilizzati dal decisore, ma in parte estranei agli altri attori sociali.

Due su tre Si ha una valutazione partecipata e più tecnica. condivisione dei linguaggi e dei risultati operativi, apprendimento organizzativo fra i tecnici e gli altri attori coinvolti, anche degli strumenti operativi per la conduzione del programma Senza il sostegno e un chiaro coinvolgimento del committente la valutazione difficilmente sarà “usata” da parte del decisore. Definizioni operative Esplorazione semantica Mandato valutativo

UNA su tre La valutazione si basa su un buon accordo con il committente sul “da farsi”. Non si avanti però. Non c’è reale comprensione del contesto, Non si raccolgono informazioni rilevanti. L’utilità e l’uso della valutazione sono compromessi. Definizioni operative Esplorazione semantica Mandato valutativo

UNA su tre Si ha una valutazione che esplora e coinvolge il contesto, conosce i linguaggi e i meccanismi dell’evaluando. Tutto ciò che concerne la relazione col committente e la capacità di dare contenuti informativi a questa azione però è privo solide fondamenta. Definizioni operative Esplorazione semantica Mandato valutativo

UNA su tre Definizioni operative Esplorazione semantica Mandato valutativo Si tratta di un mero esercizio tecnico di raccolta dati, del tutto indifferente al contesto del committente e a quello degli altri attori.

Le strategie di ricerca valutativa Non sperimentale Multicriterio Criterio unico Standard Non standard Sperimentale Esperimento

Le strategie di ricerca valutativa Le sole tecniche non riescono ad analizzare le informazioni e i dati raccolti. «scatole vuote, di per sé incapaci di fornire quel valore aggiunto, proprio della valutazione, rappresentato dalla riflessione, dall’analisi, dal giudizio ponderato, elementi che solo il valutatore può dare» (Bezzi 2003:42). È necessario un processo di interpretazione che si ha solo attraverso meccanismi cognitivi complessi propri della mente umana, e in questo caso del valutatore. STRATEGIE DI RICERCA VALUTATIVA

La strategia sperimentale Obiettivo: ricostruire la situazione controfattuale per produrre una ragionevole e credibile stima dell’effetto della politica pubblica. Partendo da una completa equivalenza pre-trattamento tra i due gruppi, solo il trattamento, quindi l’intervento ricevuto dal gruppo sperimentale e non dal gruppo di controllo può spiegare le differenze che eventualmente si osservano dopo il trattamento.

La strategia sperimentale: i limiti 1. Mantenimento dell’integrità. 2. Riduzione del campo applicativo dell’esperimento. 3. Ostacoli di natura etica e giuridica. 4. Scarsa generalizzabilità delle stime. 5. Problemi di consenso dell’opinione pubblica.

La strategia NON sperimentale L’obiettivo è sempre lo stesso: ricostruire la situazione controfattuale per produrre una ragionevole e credibile stima dell’effetto della politica pubblica. La situazione controfattuale non si può più approssimare con un gruppo di controllo scelto con una procedura casuale. Il valutatore non può manipolare il processo di selezione, ma si limita a osservare quello che succede: i dati sono generati dalla osservazione del corso naturale dell’attuazione della politica valutata.

La strategia NON sperimentale Approccio Standard Approccio Non Standard - dati oggettivi e standardizzati, - dati ricchi e profondi: “parole” come dati, - osservazione scientifica, distaccata e neutrale, - osservazione naturale, immedesimazione nella prospettiva del soggetto, - centralità dei comportamenti: spiegare le - centralità del significato: comprendere i soggetti e i loro punti di vista, loro variazioni individuando causa-effetto, - adozione del modello scienze naturali, - rifiuto del modello delle scienze naturali, - logica deduttiva: la teoria precede - logica induttiva, l’osservazione, - ricerca di generalizzazioni: leggi, - ricerca di specificità: modelli, - più strutturata e precede i processi di ricerca. - meno strutturato e più aperto: costruito nel corso della ricerca.

Riferimenti bibliografici Bezzi C. (2006), Cos’è la valutazione. Un’introduzione ai concetti, le parole chiave e i problemi metodologici, Franco Angeli, Milano. Palumbo M. (2002), Il processo di valutazione. Decidere, programmare, valutare, Franco Angeli, Milano. Guthrie S. et al. (2013), Measuring research. A guide to research evaluation frameworks and tools, RAND Corporation, Santa Monica CA.