Il disegno della ricerca valutativa *

Presentazione sul tema: "Il disegno della ricerca valutativa *"— Transcript della presentazione:

1 Il disegno della ricerca valutativa *
Progettazione e valutazione delle politiche sociali Università di Genova Scienze della Formazione Filippo Ciucci Il disegno della ricerca valutativa * * Fonte: Claudio Bezzi

2 I tre livelli del disegno

3 Le nove fasi del disegno1
[9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [2] Analisi obiettivi del programma e formulaz. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [7] Definizioni operative specifiche [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati [1] Definizione del mandato

4 1 – Definizione del mandato
[9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [2] Analisi obiettivi del programma e formulaz. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [7] Definizioni operative specifiche [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati [1] Definizione del mandato

5 1 – Definizione del mandato
Mandato = Perché me lo chiedi? Chi chiede (quale ruolo esercita, che poteri, bisogni, interessi esprime…)? Chi altri sono coinvolti (beneficiari, ‘vittime’, dipendenti, partner; clima generale, eventuali conflitti, …)? Quali le finalità della valutazione (controllare, negoziare, rendicontare, …)? Problemi etici e deontologici Conferimento autorità Contesto  Metodo Problemi implicati Livello gestionale Livello metodologico generale Connessioni

6 2 – Obiettivi programma e domande valutative
[9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [2] Analisi obiettivi del programma e formulaz. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [7] Definizioni operative specifiche [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati [1] Definizione del mandato

7 2 – Obiettivi programma e domande valutative
Domande valutative = Cosa è importante analizzare? Cosa serve a voi decisori, gestori, operatori per meglio decidere, gestire, operare? Quali obiettivi ha l’evaluando? Quale ‘teoria’ (logica) c’è dietro il programma? Adeguate fonti informative Orientamento epistemologico Evaluando  Metodo Livello gestionale Livello metodologico generale Connessioni Problemi implicati

8 3 – Accertamento delle risorse
[9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [2] Analisi obiettivi del programma e formulaz. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [7] Definizioni operative specifiche [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati [1] Definizione del mandato

9 3 – Accertamento delle risorse
Risorse = Cosa posso veramente fare? Quali risorse economiche, di tempo, di risorse umane? Quali risorse simboliche (conferimento di autorità, riconoscimento di autorevolezza)? Quali risorse mandatarie (reale accesso alle fonti, capacità di attesa del mandante, disponibilità a rispettare e utilizzare i risultati, anche inattesi)? Aspetti amministrativi Approcci possibili Risorse  Metodo Livello gestionale Livello metodologico generale Connessioni Problemi implicati

10 4 – Disegno specifico (offerta tecnica)
[9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [2] Analisi obiettivi del programma e formulaz. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [7] Definizioni operative specifiche [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati [1] Definizione del mandato

11 4 – Disegno specifico (offerta tecnica)
Disegno2 specifico = Quali definizioni operative generali? Come penso – operativamente – di raggiungere il risultato valutativo (espressione di un giudizio)? Approcci e tecniche opportuni sono compatibili con le risorse disponibili? Approcci e tecniche compatibili sono adeguati agli obiettivi cognitivi e valutativi? Offerta tecnica 1° impianto metodologico Approccio  Adeguatezza Livello gestionale Livello metodologico generale Connessioni Problemi implicati

12 5 – Esplorazione campo semantico
[9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [2] Analisi obiettivi del programma e formulaz. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [7] Definizioni operative specifiche [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati [1] Definizione del mandato

13 5 – Esplorazione campo semantico
Spazio semantico = Cosa valutiamo, esattamente? Cosa intendiamo quando parliamo di…? Cosa intendono loro quando voi dite…? Quali sono gli elementi strategici, costitutivi, dell’evaluando (indicatori valutativi)? Possibilità partecipazione Attenzione epistemologica Senso  Metodo Livello gestionale Livello metodologico generale Connessioni Problemi implicati

14 6 – Stipulazione valori valutativi
[9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [1] Definizione del mandato [2] Analisi obiettivi dell’evaluando e formul. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [7] Definizioni operative specifiche [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati

15 6 – Stipulazione valori valutativi
Valori valutativi = Da quale punto di vista valutare? Quali valori strategici, organizzativi, ecc. esprimono gli attori sociali? E l’utilizzatore? Cosa ‘vale’ di più? Da quale punto di vista? Quale ordine, quale priorità, quale logica? Possibilità partecipazione Negoziazione di ‘una’ logica Valori  Metodo Livello gestionale Livello metodologico generale Connessioni Problemi implicati

16 7 – Definizioni operative specifiche
[9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [1] Definizione del mandato [2] Analisi obiettivi dell’evaluando e formul. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati [7] Definizioni operative specifiche

17 7 – Definizioni operative specifiche
Definizioni operative = Come si giunge, in concreto, al giudizio valutativo? Come si trasformano l’esplorazione dello spazio semantico e i valori valutativi, alla luce di mandato e risorse disponibili, in procedimenti e tecniche di ricerca? Qual è l’approccio? Come si integrano le tecniche? Adeguatezza al mandato Face validity Metodo  Risultato Livello gestionale Livello metodologico generale Connessioni Problemi implicati

18 8 – Raccolta e analisi dei dati
[9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [1] Definizione del mandato [2] Analisi obiettivi dell’evaluando e formul. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati [7] Definizioni operative specifiche

19 8 – Raccolta e analisi dei dati
Raccolta e analisi dati = Come organizziamo concretamente il lavoro? Come reclutiamo e gestiamo i collaboratori? Come organizziamo l’agenda, anche alla luce dell’eventuale partecipazione di attori locali? Quali strategie per la risoluzione dei problemi? Gestione della ricerca Validità, affidabilità, … Metodo  Uso Livello gestionale Livello metodologico generale Connessioni Problemi implicati

20 9 – Sostegno e uso della valutazione
[9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [1] Definizione del mandato [2] Analisi obiettivi dell’evaluando e formul. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [7] Definizioni operative specifiche [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati

21 9 – Sostegno e uso della valutazione
Uso = La valutazione è servita? Il decisore (utilizzatore, sponsor) usa, userà, ha intenzione di far utilizzare i risultati della valutazione? Quale forma di restituzione è possibile/prevista a coloro che hanno contribuito anche indirettamente? E’ possibile una metavalutazione? I costi della valutazione sono giustificati? Comunicaz. e sensibilizzaz. Uso  Mandato val. Livello gestionale Livello metodologico generale Connessioni Problemi implicati Sintesi