Disegno della ricerca valutativa

Presentazione sul tema: "Disegno della ricerca valutativa"— Transcript della presentazione:

1 Disegno della ricerca valutativa
Versione maggio 2014

2 Prima parte: Le nove fasi del disegno

3 I tre livelli del disegno

4 Le nove fasi del disegno1
[9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [2] Analisi obiettivi del programma e formulaz. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [7] Definizioni operative specifiche [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati [1] Definizione del mandato

5 La regola del 3 ottenere almeno la maggioranza!

6 Nove fasi in tre gruppi

7 Due su tre

8 Una su tre

9 1 – Definizione del mandato
[9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [1] Definizione del mandato [2] Analisi obiettivi dell’evaluando e formul. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [7] Definizioni operative specifiche [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati

10 1 – Definizione del mandato
Mandato = Perché me lo chiedi? Chi chiede (quale ruolo esercita, che poteri, bisogni, interessi esprime…)? Chi altri sono coinvolti (beneficiari, ‘vittime’, dipendenti, partner; clima generale, eventuali conflitti, …)? Quali le finalità della valutazione (controllare, negoziare, rendicontare, …)? Problemi etici e deontologici Conferimento autorità Contesto  Metodo Problemi implicati Livello gestionale Livello metodologico generale Connessioni

11 2 – Obiettivi programma e domande valutative
[9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [1] Definizione del mandato [2] Analisi obiettivi e formul. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [7] Definizioni operative specifiche [8] Raccolta e analisi dei dati [4] Definizione disegno preliminare

12 2 – Obiettivi programma e domande valutative
Domande valutative = Cosa è importante analizzare? Cosa serve a voi decisori, gestori, operatori per meglio decidere, gestire, operare? Quali obiettivi ha l’evaluando? Quale ‘teoria’ (logica) c’è dietro il programma? Adeguate fonti informative Orientamento epistemologico Evaluando  Metodo Livello gestionale Livello metodologico generale Connessioni Problemi implicati

13 3 – Accertamento delle risorse
[9] Sostegno all’uso della valutazione [1] Definizione del mandato [2] Analisi obiettivi dell’evaluando e formul. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [7] Definizioni operative specifiche [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati [3] Accertamento delle risorse

14 3 – Accertamento delle risorse
Risorse = Cosa posso veramente fare? Quali risorse economiche, di tempo, di risorse umane? Quali risorse simboliche (conferimento di autorità, riconoscimento di autorevolezza)? Quali risorse mandatarie (reale accesso alle fonti, capacità di attesa del mandante, disponibilità a rispettare e utilizzare i risultati, anche inattesi)? Aspetti amministrativi Approcci possibili Risorse  Metodo Livello gestionale Livello metodologico generale Connessioni Problemi implicati

15 4 – Disegno specifico (offerta tecnica)
[9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [1] Definizione del mandato [2] Analisi obiettivi dell’evaluando e formul. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [7] Definizioni operative specifiche [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati

16 4 – Disegno specifico (offerta tecnica)
Disegno2 specifico = Quali definizioni operative generali? Come penso – operativamente – di raggiungere il risultato valutativo (espressione di un giudizio)? Approcci e tecniche opportuni sono compatibili con le risorse disponibili? Approcci e tecniche compatibili sono adeguati agli obiettivi cognitivi e valutativi? Offerta tecnica 1° impianto metodologico Approccio  Adeguatezza Livello gestionale Livello metodologico generale Connessioni Problemi implicati

17 5 – Esplorazione campo semantico
[9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [1] Definizione del mandato [2] Analisi obiettivi dell’evaluando e formul. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [7] Definizioni operative specifiche [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati

18 5 – Esplorazione campo semantico
Spazio semantico = Cosa valutiamo, esattamente? Cosa intendiamo quando parliamo di…? Cosa intendono loro quando voi dite…? Quali sono gli elementi strategici, costitutivi, dell’evaluando (indicatori valutativi)? Possibilità partecipazione Attenzione epistemologica Senso  Metodo Livello gestionale Livello metodologico generale Connessioni Problemi implicati

19 6 – Stipulazione valori valutativi
[9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [1] Definizione del mandato [2] Analisi obiettivi dell’evaluando e formul. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [7] Definizioni operative specifiche [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati

20 6 – Stipulazione valori valutativi
Valori valutativi = Da quale punto di vista valutare? Quali valori strategici, organizzativi, ecc. esprimono gli attori sociali? E l’utilizzatore? Cosa ‘vale’ di più? Da quale punto di vista? Quale ordine, quale priorità, quale logica? Possibilità partecipazione Negoziazione di ‘una’ logica Valori  Metodo Livello gestionale Livello metodologico generale Connessioni Problemi implicati

21 7 – Definizioni operative specifiche
[9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [1] Definizione del mandato [2] Analisi obiettivi dell’evaluando e formul. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati [7] Definizioni operative specifiche

22 7 – Definizioni operative specifiche
Definizioni operative = Come si giunge, in concreto, al giudizio valutativo? Come si trasformano l’esplorazione dello spazio semantico e i valori valutativi, alla luce di mandato e risorse disponibili, in procedimenti e tecniche di ricerca? Qual è l’approccio? Come si integrano le tecniche? Adeguatezza al mandato Face validity Metodo  Risultato Livello gestionale Livello metodologico generale Connessioni Problemi implicati

23 8 – Raccolta e analisi dei dati
[9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [1] Definizione del mandato [2] Analisi obiettivi dell’evaluando e formul. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati [7] Definizioni operative specifiche

24 8 – Raccolta e analisi dei dati
Raccolta e analisi dati = Come organizziamo concretamente il lavoro? Come reclutiamo e gestiamo i collaboratori? Come organizziamo l’agenda, anche alla luce dell’eventuale partecipazione di attori locali? Quali strategie per la risoluzione dei problemi? Gestione della ricerca Validità, affidabilità, … Metodo  Uso Livello gestionale Livello metodologico generale Connessioni Problemi implicati

25 9 – Sostegno e uso della valutazione
[9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [1] Definizione del mandato [2] Analisi obiettivi dell’evaluando e formul. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [7] Definizioni operative specifiche [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati

26 9 – Sostegno e uso della valutazione
Uso = La valutazione è servita? Il decisore (utilizzatore, sponsor) usa, userà, ha intenzione di far utilizzare i risultati della valutazione? Quale forma di restituzione è possibile/prevista a coloro che hanno contribuito anche indirettamente? E’ possibile una metavalutazione? I costi della valutazione sono giustificati? Comunicaz. e sensibilizzaz. Uso  Mandato val. Livello gestionale Livello metodologico generale Connessioni Problemi implicati Sintesi

27 Seconda parte: L’esplorazione semantica fra approccio deduttivo e induttivo

28 Esplorazione semantica e costruzione degli indicatori (esempi)
Approcci deduttivi: Paradigma lazarsfeldiano Costruzione di ‘domande valutative’ in forma dialogica Approcci induttivi: Brainstorming Valutazione tassonomica Approccio analitico - induttivo

29 Approcci deduttivi vs. approcci induttivi (1)
L’evaluando è concepibile come intero (raro) L’evaluando è concepibile come insieme di parti L’intero e le parti sono concepite come coerenti Induttivi: L’evaluando non è concepibile come intero (almeno provvisoriamente) Le parti non sono con certezza riconducibili all’intero La coerenza fra intero e parti è da verificare

30 Approcci deduttivi vs. approcci induttivi (2)
Il ricercatore (valutatore) decide da solo Il gruppo deve trovare una logica organizzativa (processo di problem solving) La logica è l’obiettivo Induttivi: Il ricercatore non può decidere da solo e c’è un gruppo collaborativo Il gruppo deve capire (processo autoriflessivo) La comprensione è l’obiettivo

31 Approcci deduttivi vs. approcci induttivi (3)
Razionalità Esaustività (con rif. al concetto di validità degli indicatori) “Standard” Induttivi: Cultura locale Limitato interesse all’esaustività e accettazione dell’inevitabile autoreferenzialità “Non standard”