Il disegno della ricerca valutativa * Progettazione e valutazione delle politiche sociali Università di Genova Scienze della Formazione Filippo Ciucci Il disegno della ricerca valutativa * * Fonte: Claudio Bezzi

I tre livelli del disegno

Le nove fasi del disegno1 [9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [2] Analisi obiettivi del programma e formulaz. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [7] Definizioni operative specifiche [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati [1] Definizione del mandato

1 – Definizione del mandato [9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [2] Analisi obiettivi del programma e formulaz. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [7] Definizioni operative specifiche [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati [1] Definizione del mandato

1 – Definizione del mandato Mandato = Perché me lo chiedi? Chi chiede (quale ruolo esercita, che poteri, bisogni, interessi esprime…)? Chi altri sono coinvolti (beneficiari, ‘vittime’, dipendenti, partner; clima generale, eventuali conflitti, …)? Quali le finalità della valutazione (controllare, negoziare, rendicontare, …)? Problemi etici e deontologici Conferimento autorità Contesto  Metodo Problemi implicati Livello gestionale Livello metodologico generale Connessioni

2 – Obiettivi programma e domande valutative [9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [2] Analisi obiettivi del programma e formulaz. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [7] Definizioni operative specifiche [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati [1] Definizione del mandato

2 – Obiettivi programma e domande valutative Domande valutative = Cosa è importante analizzare? Cosa serve a voi decisori, gestori, operatori per meglio decidere, gestire, operare? Quali obiettivi ha l’evaluando? Quale ‘teoria’ (logica) c’è dietro il programma? Adeguate fonti informative Orientamento epistemologico Evaluando  Metodo Livello gestionale Livello metodologico generale Connessioni Problemi implicati

3 – Accertamento delle risorse [9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [2] Analisi obiettivi del programma e formulaz. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [7] Definizioni operative specifiche [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati [1] Definizione del mandato

3 – Accertamento delle risorse Risorse = Cosa posso veramente fare? Quali risorse economiche, di tempo, di risorse umane? Quali risorse simboliche (conferimento di autorità, riconoscimento di autorevolezza)? Quali risorse mandatarie (reale accesso alle fonti, capacità di attesa del mandante, disponibilità a rispettare e utilizzare i risultati, anche inattesi)? Aspetti amministrativi Approcci possibili Risorse  Metodo Livello gestionale Livello metodologico generale Connessioni Problemi implicati

4 – Disegno specifico (offerta tecnica) [9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [2] Analisi obiettivi del programma e formulaz. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [7] Definizioni operative specifiche [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati [1] Definizione del mandato

4 – Disegno specifico (offerta tecnica) Disegno2 specifico = Quali definizioni operative generali? Come penso – operativamente – di raggiungere il risultato valutativo (espressione di un giudizio)? Approcci e tecniche opportuni sono compatibili con le risorse disponibili? Approcci e tecniche compatibili sono adeguati agli obiettivi cognitivi e valutativi? Offerta tecnica 1° impianto metodologico Approccio  Adeguatezza Livello gestionale Livello metodologico generale Connessioni Problemi implicati

5 – Esplorazione campo semantico [9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [2] Analisi obiettivi del programma e formulaz. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [7] Definizioni operative specifiche [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati [1] Definizione del mandato

5 – Esplorazione campo semantico Spazio semantico = Cosa valutiamo, esattamente? Cosa intendiamo quando parliamo di…? Cosa intendono loro quando voi dite…? Quali sono gli elementi strategici, costitutivi, dell’evaluando (indicatori valutativi)? Possibilità partecipazione Attenzione epistemologica Senso  Metodo Livello gestionale Livello metodologico generale Connessioni Problemi implicati

6 – Stipulazione valori valutativi [9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [1] Definizione del mandato [2] Analisi obiettivi dell’evaluando e formul. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [7] Definizioni operative specifiche [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati

6 – Stipulazione valori valutativi Valori valutativi = Da quale punto di vista valutare? Quali valori strategici, organizzativi, ecc. esprimono gli attori sociali? E l’utilizzatore? Cosa ‘vale’ di più? Da quale punto di vista? Quale ordine, quale priorità, quale logica? Possibilità partecipazione Negoziazione di ‘una’ logica Valori  Metodo Livello gestionale Livello metodologico generale Connessioni Problemi implicati

7 – Definizioni operative specifiche [9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [1] Definizione del mandato [2] Analisi obiettivi dell’evaluando e formul. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati [7] Definizioni operative specifiche

7 – Definizioni operative specifiche Definizioni operative = Come si giunge, in concreto, al giudizio valutativo? Come si trasformano l’esplorazione dello spazio semantico e i valori valutativi, alla luce di mandato e risorse disponibili, in procedimenti e tecniche di ricerca? Qual è l’approccio? Come si integrano le tecniche? Adeguatezza al mandato Face validity Metodo  Risultato Livello gestionale Livello metodologico generale Connessioni Problemi implicati

8 – Raccolta e analisi dei dati [9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [1] Definizione del mandato [2] Analisi obiettivi dell’evaluando e formul. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati [7] Definizioni operative specifiche

8 – Raccolta e analisi dei dati Raccolta e analisi dati = Come organizziamo concretamente il lavoro? Come reclutiamo e gestiamo i collaboratori? Come organizziamo l’agenda, anche alla luce dell’eventuale partecipazione di attori locali? Quali strategie per la risoluzione dei problemi? Gestione della ricerca Validità, affidabilità, … Metodo  Uso Livello gestionale Livello metodologico generale Connessioni Problemi implicati

9 – Sostegno e uso della valutazione [9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [1] Definizione del mandato [2] Analisi obiettivi dell’evaluando e formul. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [7] Definizioni operative specifiche [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati

9 – Sostegno e uso della valutazione Uso = La valutazione è servita? Il decisore (utilizzatore, sponsor) usa, userà, ha intenzione di far utilizzare i risultati della valutazione? Quale forma di restituzione è possibile/prevista a coloro che hanno contribuito anche indirettamente? E’ possibile una metavalutazione? I costi della valutazione sono giustificati? Comunicaz. e sensibilizzaz. Uso  Mandato val. Livello gestionale Livello metodologico generale Connessioni Problemi implicati Sintesi