Approcci principali alla valutazione Nicoletta Stame Università di Roma “Sapienza”
Un po’ di storia. diversi approcci anni ’60-80 - guerra dei paradigmi: approccio sperimentale, pragmatista, costruttivista Metodi quantitativi e qualitativi anni ’90-2000 - fine della guerra tra paradigmi? evidence based policy e valutazione basata sulla teoria Metodi misti Le sintesi anni 2000- una nuova guerra di paradigmi? La valutazione d’impatto, RCT e analisi controfattuale Approcci alternativi alla valutazione d’impatto
perché diversi approcci riguardano: la pietra di paragone: obiettivi, criteri, successo accertato il punto di vista: unico del committente, diversi degli stakeholders lo scopo: accountability, learning, empowerment i metodi di ricerca: quantitativi-sperimentali, qualitativi-partecipativi
Approcci principali Positivista-sperimentale Pragmatista – qualità Costruttivista – processo
Approccio positivista sperimentale Pietra di paragone: obiettivi Logica : sperimentale Metodo: quantitativo, variabili e indicatori Disegno: - ex post - esterno (minacce alla validità interna) Uso: strumentale
Approccio pragmatista della qualità Pietra di paragone: i criteri di qualità, merit e worth Logica: la logica del valutare: criteri, standard, punteggi, graduatorie Metodi: qualitativi e quantitativi Disegno: Libero dagli obiettivi Formative/summative
Approccio costruttivista del processo sociale Pietra di paragone: un successo riconosciuto Logica : non dà giudizi, negoziare Metodi : qualitativi, partecipati Disegno: Studi di caso metodi misti
Positivista Pragmatista Costruttivista domande I risultati corrispondono agli obiettivi? I risultati corrispondono a un criterio di qualità Cosa è accaduto? Quanto accaduto è buono? Pietra di paragone obiettivi Criteri Un successo riconosciuto teoria Spiegazione causale Prevedere implementazione Esiste un criterio di qualità cui aspirare Realtà più ricca del previsto Effetti inattesi metodo Sperimentale quantitativo Logica del valutare Analisi multicriteri Qualitativi misti uso Strumentale per la decisione Strumentale per il funzionamento Conoscitiva empowerment
La situazione attuale. 1 Combinazione tra approcci: Valutazione basata sulla teoria / la valutazione realista Approcci misti (qualitativi e quantitativi) Situational responsiveness: l’approccio adatto all’evaluando e alle domande di valutazione
La situazione attuale. 2 La valutazione di impatto: L’analisi controfattuale Approcci alternativi: Theory of change Studi di caso comparativi, QCA Valutazione partecipata La “developmental evaluation” Approcci positivi, valutazione elogiativa La valutazione dell’innovazione