Disegno della ricerca valutativa Versione maggio 2014

Prima parte: Le nove fasi del disegno

I tre livelli del disegno

Le nove fasi del disegno1 [9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [2] Analisi obiettivi del programma e formulaz. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [7] Definizioni operative specifiche [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati [1] Definizione del mandato

La regola del 3 ottenere almeno la maggioranza!

Nove fasi in tre gruppi

Due su tre

Una su tre

1 – Definizione del mandato [9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [1] Definizione del mandato [2] Analisi obiettivi dell’evaluando e formul. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [7] Definizioni operative specifiche [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati

1 – Definizione del mandato Mandato = Perché me lo chiedi? Chi chiede (quale ruolo esercita, che poteri, bisogni, interessi esprime…)? Chi altri sono coinvolti (beneficiari, ‘vittime’, dipendenti, partner; clima generale, eventuali conflitti, …)? Quali le finalità della valutazione (controllare, negoziare, rendicontare, …)? Problemi etici e deontologici Conferimento autorità Contesto  Metodo Problemi implicati Livello gestionale Livello metodologico generale Connessioni

2 – Obiettivi programma e domande valutative [9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [1] Definizione del mandato [2] Analisi obiettivi e formul. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [7] Definizioni operative specifiche [8] Raccolta e analisi dei dati [4] Definizione disegno preliminare

2 – Obiettivi programma e domande valutative Domande valutative = Cosa è importante analizzare? Cosa serve a voi decisori, gestori, operatori per meglio decidere, gestire, operare? Quali obiettivi ha l’evaluando? Quale ‘teoria’ (logica) c’è dietro il programma? Adeguate fonti informative Orientamento epistemologico Evaluando  Metodo Livello gestionale Livello metodologico generale Connessioni Problemi implicati

3 – Accertamento delle risorse [9] Sostegno all’uso della valutazione [1] Definizione del mandato [2] Analisi obiettivi dell’evaluando e formul. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [7] Definizioni operative specifiche [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati [3] Accertamento delle risorse

3 – Accertamento delle risorse Risorse = Cosa posso veramente fare? Quali risorse economiche, di tempo, di risorse umane? Quali risorse simboliche (conferimento di autorità, riconoscimento di autorevolezza)? Quali risorse mandatarie (reale accesso alle fonti, capacità di attesa del mandante, disponibilità a rispettare e utilizzare i risultati, anche inattesi)? Aspetti amministrativi Approcci possibili Risorse  Metodo Livello gestionale Livello metodologico generale Connessioni Problemi implicati

4 – Disegno specifico (offerta tecnica) [9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [1] Definizione del mandato [2] Analisi obiettivi dell’evaluando e formul. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [7] Definizioni operative specifiche [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati

4 – Disegno specifico (offerta tecnica) Disegno2 specifico = Quali definizioni operative generali? Come penso – operativamente – di raggiungere il risultato valutativo (espressione di un giudizio)? Approcci e tecniche opportuni sono compatibili con le risorse disponibili? Approcci e tecniche compatibili sono adeguati agli obiettivi cognitivi e valutativi? Offerta tecnica 1° impianto metodologico Approccio  Adeguatezza Livello gestionale Livello metodologico generale Connessioni Problemi implicati

5 – Esplorazione campo semantico [9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [1] Definizione del mandato [2] Analisi obiettivi dell’evaluando e formul. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [7] Definizioni operative specifiche [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati

5 – Esplorazione campo semantico Spazio semantico = Cosa valutiamo, esattamente? Cosa intendiamo quando parliamo di…? Cosa intendono loro quando voi dite…? Quali sono gli elementi strategici, costitutivi, dell’evaluando (indicatori valutativi)? Possibilità partecipazione Attenzione epistemologica Senso  Metodo Livello gestionale Livello metodologico generale Connessioni Problemi implicati

6 – Stipulazione valori valutativi [9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [1] Definizione del mandato [2] Analisi obiettivi dell’evaluando e formul. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [7] Definizioni operative specifiche [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati

6 – Stipulazione valori valutativi Valori valutativi = Da quale punto di vista valutare? Quali valori strategici, organizzativi, ecc. esprimono gli attori sociali? E l’utilizzatore? Cosa ‘vale’ di più? Da quale punto di vista? Quale ordine, quale priorità, quale logica? Possibilità partecipazione Negoziazione di ‘una’ logica Valori  Metodo Livello gestionale Livello metodologico generale Connessioni Problemi implicati

7 – Definizioni operative specifiche [9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [1] Definizione del mandato [2] Analisi obiettivi dell’evaluando e formul. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati [7] Definizioni operative specifiche

7 – Definizioni operative specifiche Definizioni operative = Come si giunge, in concreto, al giudizio valutativo? Come si trasformano l’esplorazione dello spazio semantico e i valori valutativi, alla luce di mandato e risorse disponibili, in procedimenti e tecniche di ricerca? Qual è l’approccio? Come si integrano le tecniche? Adeguatezza al mandato Face validity Metodo  Risultato Livello gestionale Livello metodologico generale Connessioni Problemi implicati

8 – Raccolta e analisi dei dati [9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [1] Definizione del mandato [2] Analisi obiettivi dell’evaluando e formul. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati [7] Definizioni operative specifiche

8 – Raccolta e analisi dei dati Raccolta e analisi dati = Come organizziamo concretamente il lavoro? Come reclutiamo e gestiamo i collaboratori? Come organizziamo l’agenda, anche alla luce dell’eventuale partecipazione di attori locali? Quali strategie per la risoluzione dei problemi? Gestione della ricerca Validità, affidabilità, … Metodo  Uso Livello gestionale Livello metodologico generale Connessioni Problemi implicati

9 – Sostegno e uso della valutazione [9] Sostegno all’uso della valutazione [3] Accertamento delle risorse [1] Definizione del mandato [2] Analisi obiettivi dell’evaluando e formul. domande valutative [6] Stipulazione valori valutativi [5] Esplorazione spazio semantico [7] Definizioni operative specifiche [4] Definizione disegno preliminare [8] Raccolta e analisi dei dati

9 – Sostegno e uso della valutazione Uso = La valutazione è servita? Il decisore (utilizzatore, sponsor) usa, userà, ha intenzione di far utilizzare i risultati della valutazione? Quale forma di restituzione è possibile/prevista a coloro che hanno contribuito anche indirettamente? E’ possibile una metavalutazione? I costi della valutazione sono giustificati? Comunicaz. e sensibilizzaz. Uso  Mandato val. Livello gestionale Livello metodologico generale Connessioni Problemi implicati Sintesi

Seconda parte: L’esplorazione semantica fra approccio deduttivo e induttivo

Esplorazione semantica e costruzione degli indicatori (esempi) Approcci deduttivi: Paradigma lazarsfeldiano Costruzione di ‘domande valutative’ in forma dialogica Approcci induttivi: Brainstorming Valutazione tassonomica Approccio analitico - induttivo

Approcci deduttivi vs. approcci induttivi (1) L’evaluando è concepibile come intero (raro) L’evaluando è concepibile come insieme di parti L’intero e le parti sono concepite come coerenti Induttivi: L’evaluando non è concepibile come intero (almeno provvisoriamente) Le parti non sono con certezza riconducibili all’intero La coerenza fra intero e parti è da verificare

Approcci deduttivi vs. approcci induttivi (2) Il ricercatore (valutatore) decide da solo Il gruppo deve trovare una logica organizzativa (processo di problem solving) La logica è l’obiettivo Induttivi: Il ricercatore non può decidere da solo e c’è un gruppo collaborativo Il gruppo deve capire (processo autoriflessivo) La comprensione è l’obiettivo

Approcci deduttivi vs. approcci induttivi (3) Razionalità Esaustività (con rif. al concetto di validità degli indicatori) “Standard” Induttivi: Cultura locale Limitato interesse all’esaustività e accettazione dell’inevitabile autoreferenzialità “Non standard”