Valutazione basata sulla teoria e valutazione di impatto Nicoletta Stame Università di Roma “Sapienza”

Il rapporto tra teoria e metodo in valutazione - 1 Prevalenza del metodo (anni ‘60-’80) si presume che il programma sia razionale: obiettivi-mezzi-risultati, che sia già di per sé “una teoria del cambiamento” occorre solo scoprire se il programma ha avuto successo, e per questo occorre un metodo il metodo sperimentale scopre se c’è stato cambiamento (ma non spiega perché)

Il rapporto tra teoria e metodo in valutazione - 2 Prevalenza della teoria (anni ‘90 in poi): non sappiamo perché i programmi dovrebbero produrre quei risultati (incertezza sui programmi) i programmi sono attuati in modi diversi nei vari contesti (incertezza sulla implementazione) Aprire la scatola nera: cercare la spiegazione

La valutazione basata sulla teoria La teoria è una “sequenza di ipotesi che mostrano come gli input del programma (personale, risorse, attività) si trasformano attraverso una serie di fasi intermedie nei risultati desiderati (miglioramenti per le persone, per le organizzazioni o per le comunità)” (Weiss)

Teoria dell’implementazione la teoria dell’implementazione si concentra su come viene condotto il programma (secondo quanto programmato ?)

Teoria del programma La teoria del programma ha a che fare con i meccanismi che intervengono tra l’erogazione del servizio previsto dal programma e il verificarsi dei risultati di interesse. Si concentra sulla risposta dei partecipanti al servizio previsto dal programma. Il meccanismo del cambiamento non è costituito dalle attività del programma in sé quanto dalla risposta che le attività generano

Quali teorie quelle della letteratura (meta-analisi) quella dei documenti ufficiali del programma (quando c’è) quelle degli stakeholders: farsi narrare le storie L’esempio del programma di visite domiciliari da parte degli insegnanti

La teoria come guida nella definizione del disegno di valutazione il quadro logico: effetti diretti e indiretti, variabili intervenienti i passaggi vanno misurati per vedere se la teoria tiene o dove i programmi vanno fuori binario

la spiegazione poter dimostrare che un passaggio ha portato ad un altro verificando le teorie che si sono individuate escludendo le teorie rivali

Una variante: la valutazione realista Pawson e Tilley : Valutare significa capire “cosa funziona meglio dove, per chi, in quali circostanze e perché” La combinazione CMO contesto + meccanismo = outcome

Cosa sono le teorie Non sono leggi sociali, ma semi-regolarità, teorie di medio raggio, che vanno continuamente testate e ridefinite (ad es. Merton e i gruppi di appartenenza) spiegazioni che forniscono una causalità genetica (come e perché qualcosa si trasforma in qualcos’altro, processi: ad es. empowerment, rassicurazione), e non causalità sequenziale (c’è stata causa perché dopo il l’intervento si è prodotto l’effetto).

Cosa sono i programmi sistemi sociali Stratificazione, embeddedness Interazione tra individuo e istituzione opportunità che un attore situato in un contesto può cogliere (scelta vincolata)

Contesto il complesso precedente di regole sociali, relazioni e sistemi culturali che esistono in quei luoghi o istituzioni come reagiscono tali regole alle nuove idee o risorse introdotte dal programma? Agevolano o fanno da ostacolo?

Meccanismi rendono conto di come i processi costituiscono il programma mostrano che i risultati derivano dalle scelte degli stakeholders l’esempio della teoria dei gruppi di riferimento

Risultato: Il programma funziona se Gli attori scelgono di farli funzionare (scelta vincolata) si trovano nelle condizioni di contesto appropriate (condizionalità) si trovano nel momento buono e gli interventi non si sono ancora routinizzati (contingenza)

Il metodo di ricerca Non esiste un metodo preferito L’intervista realista La sintesi realista

Il rapporto tra teoria e metodo in valutazione. 3 Nuova prevalenza del metodo? Anni 2000- - la debolezza del metodo: selection bias - La gerarchia dei metodi: gold standard: - gli esperimenti randomizzati - i quasi-esperimenti

La valutazione di impatto Due definizioni di impatto: - Una definizione ampia (DAC/OECD): Effetti di lungo periodo positivi e negativi, primari e secondari, prodotti da un intervento di sviluppo, direttamente o indirettamente, intenzionalmente o meno - Una definizione limitata (White: 3IE -International Initiative for Impact Evaluation):La differenza nell’indicatore di interesse (Y) tra la situazione con intervento (Y1) e la situazione senza intervento (Y2)

Due modi di concepire la politica Def. DAC : la politica è un insieme di azioni e un sistema di relazioni, volte ad affrontare un problema Processo (implementazione) e risultato Effetti attesi e inattesi Def. 3IE : la politica è un “trattamento” Implementazione come “protocollo” Effetto netto

Quali approcci per la valutazione di impatto? 1 Dipende da: Le caratteristiche dei programmi: Semplici, complicati, complessi Diretti, indiretti Immediati o a lungo termine

Quali approcci per la valutazione di impatto? 2 Dipende da: Le domande di valutazione: Causalità: L’intervento ha fatto la differenza? Spiegazione: come e perché si è prodotto quel risultato? Quali conseguenze ha il risultato per i diversi stakeholders?

Quali approcci per la valutazione di impatto? 3 Una pluralità di approcci: Esperimenti randomizzati Quasi-esperimenti Valutazione basata sulla teoria Studi di caso Valutazione partecipata

Bibliografia Campbell, D. , “Riforme come esperimenti”, in N. Stame, a cura di, Classici della valutazione, Angeli, Milano, 2007 Pawson R. e Tilley, N., “Un’introduzione alla valutazione scientifica realista”, in Classici della valutazione, a cura di N. Stame, Franco Angeli, 2007 Rogers, P. “Using program theories to evaluate complicated and complex aspects of intervention”, in Evaluation, vol. 14, n. 1, 2008 Stame, N. , “What doesn’t Work? Three Failures, Many Answers”, in Evaluation, vol. 16, n. 4, 2010 Weiss, C., “La valutazione basata sulla teoria: passato, presente e futuro”, in Classici della valutazione, a cura di N. Stame, Franco Angeli, 2007 White , H. “A contribution to current debates in impact evaluation”, in Evaluation, vol. 16, n. 2, 2010