IL DISEGNO DELLA RICERCA VALUTATIVA Lezioni del 9-10, 23 ottobre, 7 novembre 2014

Il disegno della ricerca valutativa Discipline di riferimento Contesto Decisore Conflitti Vincoli Opportunità Mandato Bisogni, interessi, valori Dati Valutazione Competenze Metodologia ricerca Risorse Etica, Deontologia Attori sociali Problemi Insieme di processi cognitivi e procedure operative che consentono al valutatore di realizzare concretamente una ricerca valutativa partendo dall’oggetto del mandato

epistemologico-metodologico metodologico-operativo Livelli del disegno Livello epistemologico-metodologico metodologico-operativo Livello delle definizioni operative Disegno1 Disegno2 Tecniche Riflessione sulla conoscibilità dell’oggetto di ricerca/valutazione Precondizioni necessarie per l’avvio della valutazione Conseguenze operative ed etiche, oltre che cognitive, della valutazione Valutazione della valutabilità, metavalutazione ecc. (non monitoraggio e non audit) Traduzione del disegno1 in un determinato percorso adatto al caso specifico (opportunità, coerenza, plausibilità…) Definizione specifica delle precondizioni e delle conseguenze, e analisi delle ricadute tecniche nella ricerca (valutazione) specifica, valutazione ex ante Scelta delle tecniche che soddisfano le precondizioni del disegno2 (validità, affidabilità, …) nel caso specifico, alla luce anche dei vincoli strutturali della ricerca Definizioni operative relative alla raccolta e analisi delle informazioni 

MONITORAGGIO Analisi di un fenomeno, di una parte di realtà, di un oggetto di valutazione AUDIT Analisi di un fenomeno, di una parte di realtà, di un oggetto di valutazione con confronto rispetto ad uno standard, ad una norma ecc. VALUTAZIONE Analisi di un fenomeno, di una parte di realtà, di un oggetto di valutazione con confronto rispetto ad uno standard, ad una norma ecc. per proporre interpretazioni delle differenze e indicare possibili soluzioni

Le nove fasi del disegno [9] Sostegno all’uso della valutazione Redazione, sensibilizzazione, divulgazione [3] Accertamento delle risorse [2] Analisi obiettivi del programma e formulaz. domande valutative (norme, standards) [6] Stipulazione valori valutativi Definire il sistema di valori comuni di riferimento [5] Esplorazione spazio semantico Scomposizione valori, significati [7] Definizioni operative specifiche Scelta condivisa delle tecniche [4] Definizione disegno preliminare Come? (offerta tecnica al committente) [8] Raccolta e analisi dei dati Uso degli strumenti (non) standards [1] Definizione del mandato Perchè?

Nove fasi in tre gruppi

La regola del 3 ottenere almeno la maggioranza!

Due su tre

Una su tre

1 – Definizione del mandato [9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [1] Definizione del mandato [2] Analisi obiettivi dell’evaluando e formul. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [7] Definizioni operative specifiche [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati

1 – Definizione del mandato Mandato = Perché me lo chiedi? Chi chiede, che poteri, bisogni, interessi esprime…)? Non solo finanziatore Chi altri sono coinvolti (beneficiari, ‘vittime’, dipendenti, partner; clima generale, eventuali conflitti, …)? Stakeholders Quali le finalità della valutazione (controllare, negoziare, rendicontare, …) quale ruolo esercita (assertivo, argomentativo)? Problemi etici e deontologici Conferimento autorità Contesto  Metodo Implica zioni Livello gestionale Livello metodologico generale Connessioni ATTIVITA’, REATTIVITA’, ADATTIVITA’

Cosa deve contenere un mandato il programma della ricerca definito in modo chiaro e condiviso (accertamento delle precondizioni e del contesto, verifica della natura del programma del mandatario ecc.) determinazione della storicità della ricerca (se inedita sarà necessaria una valutazione in itinere; se reiterata valutazione degli effetti di routine; se chiusa quali nuovi elementi di valutazione facoltà del valutatore: grado di autonomia dal committente e dal mandato, libertà di azione nell’ambito sociale e/o organizzativo dell’oggetto valutato finalità del mandatario: connesse ad una precisa imposizione o effettivamente esplorative ed operative; tipologia di diffusione dei risultati

2 – Obiettivi programma e domande valutative [9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [1] Definizione del mandato [2] Analisi obiettivi e formul. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [7] Definizioni operative specifiche [8] Raccolta e analisi dei dati [4] Definizione disegno preliminare

2 – Obiettivi programma e domande valutative Domande valutative = Cosa è importante analizzare? Cosa serve a voi decisori, gestori, operatori per meglio decidere, gestire, operare? Quali obiettivi ha il committente? Quale ‘teoria’ (logica) c’è dietro il programma? Adeguate fonti informative Orientamento epistemologico Evaluando  Metodo Livello gestionale Livello metodologico generale Connessioni Problemi implicati La valutazione consiste nel dare risposte il più possibile precise ed empiricamente fondate a quesiti precisi e traducibili in procedure di ricerca (Palumbo, 2000) (a questo punto della ricerca???)

Come definire i possibili obiettivi di programma non porre obiettivi perché restringe il campo di osservazione e dare maggiore libertà di esplorazione al valutatore (goal free evaluation) spesso i problemi rilevanti dell’oggetto di valutazione non coincidono con gli obiettivi ma ragionare su possibili (non immodificabili) obiettivi con tutti gli stakeholders fa emergere anche obiettivi secondari e inattesi = non è un processo autoreferenziale proporre prime ipotesi di obiettivo al mandatario per avviare un confronto (brainstorming) esplorare le necessità cognitive, operative, organizzative di tutti gli attori = valutazione partecipata

Come definire i possibili obiettivi di programma (2) Elementi che determinano gli obiettivi di programma: A chi si rivolge il programma (il ruolo dei beneficiari e gli effetti sui beneficiari; rilevanza del loro giudizio sugli sviluppi del programma) Perchè si intende attivare un processo valutativo (è già previsto negli obiettivi dell’istituzione che si valuta?Si tratta di un programma inedito o reiterato?) Come organizzare il programma (definizione dei ruoli partecipativi e organizzativi di tutti i soggetti coinvolti, budget delle risorse impiegate) Legge generale dell’opacità degli obiettivi di programma la complessità di attori, processi, risorse impiegati nella definizione degli obiettivi favorisce la definizione dei soli obiettivi generali, lasciando in itinere quelli intermedi e specifici

ESEMPIO: Obiettivi di valutazione di un progetto finanziato per favorire l’occupazione femminile (1)

ESEMPIO: Obiettivi di valutazione di un progetto finanziato per favorire l’occupazione femminile (2) Identificazione ambiti di intervento

ESEMPIO: Obiettivi di valutazione di un progetto finanziato per favorire l’occupazione femminile (3)

Dagli obiettivi all’analisi delle questioni cruciali Dopo e oltre la definizione degli obiettivi il valutatore deve: chiedersi definitivamente come condurre la ricerca quali problemi mettere al centro della riflessione valutando complessivamente fra le istanze quelle che possono essere maggiormente cruciali nella individuazione dei risultati Ascolto continuo del committente (feedback e circolarità) Stimolazione del committente (che ha esperienza ma anche un punto di vista interno all’oggetto della valutazione)

Efficacia ed efficienza come obiettivi Efficacia interna: confronto fra gli effetti della valutazione e gli obiettivi della ricerca (se si guarda all’organizzazione della ricerca, alla valutazione ex ante della programmazione, l’integrazione degli operatori della ricerca al programma, non esclusivamente dei beneficiari) Efficacia esterna: confronto fra gli effetti della valutazione/intervento e il contesto economico e sociale in cui la ricerca è condotta (miglior programmazione degli obiettivi, aggiornamento degli obiettivi con il decisore, prima valutazione dell’impatto sui beneficiari) Efficienza: confronto fra i risultati e gli impatti della valutazione/intervento e le risorse destinate alla ricerca (e rilevanza, equità, qualità, appropriatezza...)

Efficacia ed efficienza nel disegno della ricerca valutativa

La valutazione della valutabilità (evaluation assessment) Chiarire la struttura del programmma Esplorarne la realtà Processo di riformulazione degli obiettivi Verifica se il programma può essere valutato e se, soprattutto, la valutazione può portare ad un improvement dell’oggetto della valutazione (verifica, circolarità, avalutatività)

3 – Accertamento delle risorse [9] Sostegno all’uso della valutazione [1] Definizione del mandato [2] Analisi obiettivi dell’evaluando e formul. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [7] Definizioni operative specifiche [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati [3] Accertamento delle risorse

3 – Accertamento delle risorse Risorse = Cosa posso veramente fare? Quali risorse economiche, di tempo, di risorse umane? Quali risorse simboliche (conferimento di autorità, riconoscimento di autorevolezza)? Quali risorse mandatarie (reale accesso alle fonti, capacità di attesa del mandante, disponibilità a rispettare e utilizzare i risultati, anche inattesi)? Aspetti amministrativi Approcci possibili Risorse  Metodo Livello gestionale Livello metodologico generale Connessioni Implica zioni

Come e Quali risorse accertare (1) MANAGEMENT Verifica delle risorse e dei vincoli dalla combinazione di risorse e vincoli viene la miglior ricerca possibile chiara definizione degli obiettivi costante condivisione fra gli stakeholders delle risorse e dei limiti Fondi Tempo Risorse umane Clima organizzativo Disponibilità di dati Capacità del valutatore e fattibilità Vincoli interni al programma Verifiche etiche

Come e Quali risorse accertare (2) Gestione della ricerca La questione delle risorse umane Partners Collaboratori Fornitori Tutti gli stakeholders Promozione del lavoro «Nessun lavoro valutativo può sperare in una qualche fortuna se committenti e futuri utilizzatori non sono coinvolti e costantemente informati»

4 – Disegno specifico (offerta tecnica) [9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [1] Definizione del mandato [2] Analisi obiettivi dell’evaluando e formul. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [7] Definizioni operative specifiche [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati

4 – Disegno specifico (offerta tecnica) Disegno2 specifico = Quali definizioni operative generali? Come penso – operativamente – di raggiungere il risultato valutativo (espressione di un giudizio)? Approcci e tecniche opportuni sono compatibili con le risorse disponibili? Approcci e tecniche compatibili sono adeguati agli obiettivi cognitivi e valutativi? Offerta tecnica 1° impianto metodologico Approccio  Adeguatezza Livello gestionale Livello metodologico generale Connessioni Problemi implicati

epistemologico-metodologico metodologico-operativo Livelli del disegno Livello epistemologico-metodologico metodologico-operativo Livello delle definizioni operative Disegno1 Disegno2 Tecniche Riflessione sulla conoscibilità dell’oggetto di ricerca/valutazione Precondizioni necessarie per l’avvio della valutazione Conseguenze operative ed etiche, oltre che cognitive, della valutazione Valutazione della valutabilità, metavalutazione ecc. (non monitoraggio e non audit) Scelta delle tecniche che soddisfano le precondizioni del disegno2 (validità, affidabilità, …) nel caso specifico, alla luce anche dei vincoli strutturali della ricerca Definizioni operative relative alla raccolta e analisi delle informazioni  Traduzione del disegno1 in un determinato percorso adatto al caso specifico (opportunità, coerenza, plausibilità…) Definizione specifica delle precondizioni e delle conseguenze, e analisi delle ricadute tecniche nella ricerca (valutazione) specifica, valutazione ex ante

Disegno preliminare del progetto Il Disegno2 PROCESSO Successione logica di azioni per la ricerca che definiscono un percorso cognitivo Logica # linearità SISTEMA Le fasi sono fra loro connesse da una logica di tipo sistemico per cui le relazioni fra fasi possono modificarsi, invertirsi, ri-definirisi

Disegno preliminare del progetto Il Disegno2 Definizione generale dell’impianto metodologico FASE 2 Determinazione natura del progetto FASE 1 I termini del mandato FASE 3 Verifica delle risorse necessarie OFFERTA TECNICA o “Termini di riferimento” FASE 5 Definizione del campo semantico FASE 6 Determinazione dei valori di riferimento

5 – Esplorazione campo semantico [9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [1] Definizione del mandato [2] Analisi obiettivi dell’evaluando e formul. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [7] Definizioni operative specifiche [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati

5 – Esplorazione campo semantico Spazio semantico = Cosa valutiamo, esattamente? Cosa intendiamo quando parliamo di…? Cosa intendono loro quando voi dite…? Quali sono gli elementi strategici, costitutivi, dell’oggetto valutato (indicatori valutativi)? Possibilità partecipazione Attenzione epistemologica Senso  Metodo Livello gestionale Livello metodologico generale Connessioni Problemi implicati

Cosa si intende per campo semantico La semantica è una parte della linguistica che studia il significato delle parole, degli insiemi delle singole lettere e delle frasi, quindi dei testi Il significato si trova nella lingua e si può definire all'interno di essa perchè: - il carattere arbitrario del significato; il fatto che ciascun significato viene definito solo in rapporto ad altri significati e pertanto nell'ambito di un sistema Campo associativo (Charles Bally) In una lingua si formano degli insiemi di parole e di espressioni collegati fra loro sia per i significati sia per le forme e determinano una sfera concettuale che si forma con vari rapporti associativi che collegano i vari segni linguistici. (Dizionario Treccani)

Esplorazione semantica e costruzione degli indicatori (esempi) Approcci induttivi: Brainstorming Valutazione tassonomica Approccio analitico - induttivo Approcci deduttivi: Paradigma lazarsfeldiano Costruzione di ‘domande valutative’ in forma dialogica

Lo schema generale del paradigma lazarsfeldiano Concetto 1 Dimensione 1 Dimensione 2 Dimensione 3 Sottodimensione 1 Sottodimensione 2 Indicatore 2 Indicatore 1 Indicatore 3 Indicatore 4 Indicatore 5 Indicatore 7 Indicatore 6 Indicatore 8

Approcci deduttivi vs. approcci induttivi (1) L’evaluando non è concepibile come intero (almeno provvisoriamente) Le parti non sono con certezza riconducibili all’intero La coerenza fra intero e parti è da verificare Deduttivi: L’evaluando è concepibile come intero (raro) L’evaluando è concepibile come insieme di parti L’intero e le parti sono concepite come coerenti

Approcci deduttivi vs. approcci induttivi (2) Il ricercatore non può decidere da solo e c’è un gruppo collaborativo Il gruppo deve capire (processo autoriflessivo) La comprensione è l’obiettivo Deduttivi: Il ricercatore (valutatore) decide da solo Il gruppo deve trovare una logica organizzativa (processo di problem solving) La logica è l’obiettivo

Approcci deduttivi vs. approcci induttivi (3) Razionalità Esaustività (con rif. al concetto di validità degli indicatori) “Standard” Induttivi: Cultura locale Limitato interesse all’esaustività e accettazione dell’inevitabile autoreferenzialità “Non standard”

La creazione di campo semantico e di indicatori valutativi Il campo semantico: scomposizione dei concetti chiave dell’oggetto di valutazione e determinazione di un significato condiviso che si determina in modo convenzionale, negoziale, contestuale (metodo costruttivistico) Indicatori valutativi = sono individuati attraverso processo di significazione che restituisce dati operativizzabili, con cui eseguire misurazioni nel processo di valutazione

Come si determinano gli indicatori valutativi Analisi in profondità del contesto della valutazione (esplorazione del campo semantico) da cui posso derivare: Indicatori come “livelli osservabili del concetto esplorato” di carattere induttivo ad es. da libertà a condanne di direttori di giornale ecc.) Indicatori come “quantità di ciò che descrive/misura l’oggetto esplorato grazie alla definizione del criterio di valutazione (attributo della qualità dell’oggetto) e degli standards (livello di qualità dell’attributo che ne rende possibile un giudizio di valore) Elemento negoziato in un determinato contesto per il suo apporto di senso a seguito di confronto fra gli stakeholders che li costruiscono in quel determinato contesto

Come si costruiscono gli indicatori valutativi Definizione del concetto-indicatore Esplorazione semantica del concetto (criteri linguistici, significati attribuiti dalle teorie, di precedenti indagini, inseriti nel mandato valutativo Esplorazione pragmatica del concetto (significati in uso fra gli stakeholders, derivanti dal contesto, tacitamente negoziati, adattati dal valutatore) Misurazione numerica o testuale degli indicatori (con il confronto con gli stakeholders, lo studio dei materiali documentali etc.) Definizione del set degli indicatori, determinando pregi e limiti delle scelte operate e anche esplicitando cosa non è stato considerato e perché

6 – Stipulazione valori valutativi [9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [1] Definizione del mandato [2] Analisi obiettivi dell’evaluando e formul. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [7] Definizioni operative specifiche [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati

6 – Stipulazione valori valutativi Valori valutativi = Da quale punto di vista valutare? Quali valori strategici, organizzativi, ecc. esprimono gli attori sociali? E l’utilizzatore? Cosa ‘vale’ di più? Da quale punto di vista? Quale ordine, quale priorità, quale logica? Possibilità partecipazione Negoziazione di ‘una’ logica Valori  Metodo Livello gestionale Livello metodologico generale Connessioni Problemi implicati

Il valore dell’indicatore Come attribuire un valore Quantitativo (numerico, gerarchico, ordinale….) Cognitivo (definito all’interno del processo logico della ricerca) Etico (determinato nel contesto del processo valutativo e dei suoi valori) Contestuale (politico, organizzativo, culturale) conseguenze operative Come attribuire un valore Non attribuire valori ma farli determinare dagli stakeholders Attribuire valori differenti a seconda dell’attore interessato Riferirsi alle teorie, a precedenti ricerche, agli esperti

7 – Definizioni operative specifiche [9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [1] Definizione del mandato [2] Analisi obiettivi dell’evaluando e formul. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati [7] Definizioni operative specifiche

7 – Definizioni operative specifiche Definizioni operative = Come si giunge, in concreto, al giudizio valutativo? Come si trasformano l’esplorazione dello spazio semantico e i valori valutativi, alla luce di mandato e risorse disponibili, in procedimenti e tecniche di ricerca? Qual è l’approccio? Lazarsfeldiano o partecipato? Come si integrano le tecniche? Adeguatezza al mandato Face validity Metodo  Risultato Livello gestionale Livello metodologico generale Connessioni Problemi implicati

8 – Raccolta e analisi dei dati [9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [1] Definizione del mandato [2] Analisi obiettivi dell’evaluando e formul. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati [7] Definizioni operative specifiche

8 – Raccolta e analisi dei dati Raccolta e analisi dati = Come organizziamo concretamente il lavoro? Come reclutiamo e gestiamo i collaboratori? Come organizziamo l’agenda, anche alla luce dell’eventuale partecipazione di attori locali? Quali strategie per la risoluzione dei problemi? Gestione della ricerca Validità, affidabilità, … Metodo  Uso Livello gestionale Livello metodologico generale Connessioni Problemi implicati

9 – Sostegno e uso della valutazione [9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [1] Definizione del mandato [2] Analisi obiettivi dell’evaluando e formul. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [7] Definizioni operative specifiche [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati

9 – Sostegno e uso della valutazione Uso = La valutazione è servita? Il decisore (utilizzatore, sponsor) usa, userà, ha intenzione di far utilizzare i risultati della valutazione? Quale forma di restituzione è possibile/prevista a coloro che hanno contribuito anche indirettamente? Restituzione o Disseminazione fra esperti o pubblica? E’ possibile una metavalutazione? I costi della valutazione sono giustificati? Comunicaz. e sensibilizzaz. Uso  Mandato val. Livello gestionale Livello metodologico generale Connessioni Problemi implicati Sintesi

Un metodo per la meta valutazione

Il Rapporto valutativo Il lettore riceve una sintesi nel linguaggio con cui può utilizzare la valutazione Il valutatore fa analisi mirata all’azione e all’intervento descrizione metodologica utilizzata nel disegno operativo individuazione degli elementi criticabili nelle scelte operative focalizzazione sugli esiti principali e successivo dettaglio specie con supporto grafico inserimento delle raccomandazioni da applicare e dei possibili approfondimenti di eventuali aspetti non adeguatamente non esplorati