La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

Valutazione basata sulla teoria e valutazione di impatto Nicoletta Stame Università di Roma Sapienza.

Presentazioni simili


Presentazione sul tema: "Valutazione basata sulla teoria e valutazione di impatto Nicoletta Stame Università di Roma Sapienza."— Transcript della presentazione:

1 Valutazione basata sulla teoria e valutazione di impatto Nicoletta Stame Università di Roma Sapienza

2 Il rapporto tra teoria e metodo in valutazione - 1 Prevalenza del metodo (anni 60-80) si presume che il programma sia razionale: obiettivi-mezzi-risultati, che sia già di per sé una teoria del cambiamento occorre solo scoprire se il programma ha avuto successo, e per questo occorre un metodo il metodo sperimentale scopre se cè stato cambiamento (ma non spiega perché) 2

3 Il rapporto tra teoria e metodo in valutazione - 2 Prevalenza della teoria (anni 90 in poi): non sappiamo perché i programmi dovrebbero produrre quei risultati (incertezza sui programmi) i programmi sono attuati in modi diversi nei vari contesti (incertezza sulla implementazione) Aprire la scatola nera: cercare la spiegazione 3

4 La valutazione basata sulla teoria La teoria è una sequenza di ipotesi che mostrano come gli input del programma (personale, risorse, attività) si trasformano attraverso una serie di fasi intermedie nei risultati desiderati (miglioramenti per le persone, per le organizzazioni o per le comunità) (Weiss) 4

5 Teoria dellimplementazione la teoria dellimplementazione si concentra su come viene condotto il programma (secondo quanto programmato ?) 5

6 Teoria del programma La teoria del programma ha a che fare con i meccanismi che intervengono tra lerogazione del servizio previsto dal programma e il verificarsi dei risultati di interesse. Si concentra sulla risposta dei partecipanti al servizio previsto dal programma. Il meccanismo del cambiamento non è costituito dalle attività del programma in sé quanto dalla risposta che le attività generano 6

7 Quali teorie quelle della letteratura (meta-analisi) quella dei documenti ufficiali del programma (quando cè) quelle degli stakeholders: farsi narrare le storie Lesempio del programma di visite domiciliari da parte degli insegnanti 7

8 La teoria come guida nella definizione del disegno di valutazione il quadro logico: effetti diretti e indiretti, variabili intervenienti i passaggi vanno misurati per vedere se la teoria tiene o dove i programmi vanno fuori binario 8

9 la spiegazione poter dimostrare che un passaggio ha portato ad un altro verificando le teorie che si sono individuate escludendo le teorie rivali 9

10 Una variante: la valutazione realista Pawson e Tilley : Valutare significa capire cosa funziona meglio dove, per chi, in quali circostanze e perché La combinazione CMO contesto + meccanismo = outcome 10

11 Cosa sono le teorie Non sono leggi sociali, ma semi-regolarità, teorie di medio raggio, che vanno continuamente testate e ridefinite (ad es. Merton e i gruppi di appartenenza) spiegazioni che forniscono una causalità genetica (come e perché qualcosa si trasforma in qualcosaltro, processi: ad es. empowerment, rassicurazione), e non causalità sequenziale (cè stata causa perché dopo il lintervento si è prodotto leffetto). 11

12 Cosa sono i programmi sistemi sociali – Stratificazione, embeddedness – Interazione tra individuo e istituzione opportunità che un attore situato in un contesto può cogliere (scelta vincolata) 12

13 Contesto il complesso precedente di regole sociali, relazioni e sistemi culturali che esistono in quei luoghi o istituzioni come reagiscono tali regole alle nuove idee o risorse introdotte dal programma? Agevolano o fanno da ostacolo? 13

14 Meccanismi rendono conto di come i processi costituiscono il programma mostrano che i risultati derivano dalle scelte degli stakeholders lesempio della teoria dei gruppi di riferimento 14

15 Risultato: Il programma funziona se Gli attori scelgono di farli funzionare (scelta vincolata) si trovano nelle condizioni di contesto appropriate (condizionalità) si trovano nel momento buono e gli interventi non si sono ancora routinizzati (contingenza) 15

16 Il metodo di ricerca Non esiste un metodo preferito Lintervista realista La sintesi realista 16

17 Il rapporto tra teoria e metodo in valutazione. 3 Nuova prevalenza del metodo? Anni la debolezza del metodo: selection bias - La gerarchia dei metodi: gold standard: - gli esperimenti randomizzati - i quasi-esperimenti 17

18 La valutazione di impatto Due definizioni di impatto: - Una definizione ampia (DAC/OECD): Effetti di lungo periodo positivi e negativi, primari e secondari, prodotti da un intervento di sviluppo, direttamente o indirettamente, intenzionalmente o meno - Una definizione limitata ( White: 3IE -International Initiative for Impact Evaluation):La differenza nellindicatore di interesse (Y) tra la situazione con intervento (Y1) e la situazione senza intervento (Y2) 18

19 Due modi di concepire la politica Def. DAC : la politica è un insieme di azioni e un sistema di relazioni, volte ad affrontare un problema – Processo (implementazione) e risultato – Effetti attesi e inattesi Def. 3IE : la politica è un trattamento – Implementazione come protocollo – Effetto netto 19

20 Quali approcci per la valutazione di impatto? 1 Dipende da: Le caratteristiche dei programmi: -Semplici, complicati, complessi -Diretti, indiretti -Immediati o a lungo termine 20

21 Quali approcci per la valutazione di impatto? 2 Dipende da: Le domande di valutazione: Causalità: Lintervento ha fatto la differenza? Spiegazione: come e perché si è prodotto quel risultato? Quali conseguenze ha il risultato per i diversi stakeholders? 21

22 Quali approcci per la valutazione di impatto? 3 Una pluralità di approcci: -Esperimenti randomizzati -Quasi-esperimenti -Valutazione basata sulla teoria -Studi di caso -Valutazione partecipata 22

23 Bibliografia Campbell, D., Riforme come esperimenti, in N. Stame, a cura di, Classici della valutazione, Angeli, Milano, 2007 Pawson R. e Tilley, N., Unintroduzione alla valutazione scientifica realista, in Classici della valutazione, a cura di N. Stame, Franco Angeli, 2007 Rogers, P. Using program theories to evaluate complicated and complex aspects of intervention, in Evaluation, vol. 14, n. 1, 2008 Stame, N., What doesnt Work? Three Failures, Many Answers, in Evaluation, vol. 16, n. 4, 2010 Weiss, C., La valutazione basata sulla teoria: passato, presente e futuro, in Classici della valutazione, a cura di N. Stame, Franco Angeli, 2007 White, H. A contribution to current debates in impact evaluation, in Evaluation, vol. 16, n. 2,


Scaricare ppt "Valutazione basata sulla teoria e valutazione di impatto Nicoletta Stame Università di Roma Sapienza."

Presentazioni simili


Annunci Google