La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

La valutazione degli interventi di politica sociale: una introduzione A.Vergani Milano, 2010.

Presentazioni simili


Presentazione sul tema: "La valutazione degli interventi di politica sociale: una introduzione A.Vergani Milano, 2010."— Transcript della presentazione:

1 La valutazione degli interventi di politica sociale: una introduzione A.Vergani Milano, 2010

2 La valutazione: che cosa è? Cè valutazione ogni qualvolta qualcuno chiede (a se stesso o ad un esterno) di giudicare unazione intenzionale (progettata, in corso di realizzazione o realizzata) a fronte di qualche criterio e sulla base di informazioni pertinenti (Palumbo, 2001) a) LA QUESTIONE DEL VALORE b) RICERCA VALUTATIVA

3 Monitoraggio e valutazione (Stame, 1998 con modif.) MonitoraggioValutazione InformazioneGiudizio eccetera Attività di supporto diretto al management Attività svolta per un committente interno o esterno (domanda) Riguarda tendenzialmente tutti gli aspetti (misurabili) dellazione Riguarda una selezione di aspetti dellazione (mirata) Per ogni intervento/servizioPer una selezione di casi o a campione (mirata) Viene realizzato con rilevazione regolari, come un flusso Può essere fatta in diversi momenti o in uno solo Misura lo scostamento da uno standard Giudica in base a criteri espliciti e fornisce spiegazioni/interpretazioni a supporto dei giudizi espressi

4 In generale Perché si valuta Quando si valuta Che cosa si valuta (le specificità dei servizi alla persona) Chi fa la valutazione Il disegno della ricerca valutativa Le tecniche come protesi La restituzione e luso della valutazione

5 Caso 1: la valutazione dellassistenza domiciliare di anziani (Bezzi, 2004) Il contesto I problemi del valutatore Il primo approccio: la doppia committenza Il disegno della valutazione Il processo di valutazione (brainstorming, SPO) Il prodotto del pdv: la mappa delle priorità del servizio (uno strumento di valutazione ma anche di programmazione)

6 Caso 2: la valutazione del funzionamento di una rete di soggetti che interviene sulle fasce deboli della popolazione Il contesto Definizione della domanda di valutazione Individuazione di oggetti specifici di indagine valutativa (specifiche, temi) Il disegno della valutazione (impostazione di metodo e definizione delle tecniche e degli strumenti; organizzazione della valutazione; output attesi) Realizzazione del processo di valutazione (visite, analisi di documenti, interviste, osservazione) Elaborazione di un documento di valutazione, presentazione alla Committenza e validazione

7 Caso 3: la valutazione in itinere dei piani territoriali per linfanzia e ladolescenza ex l.285/1997 (De Ambrogio, 2004) Raccolta della domanda di valutazione Costruzione partecipata dello strumento Somministrazione dello strumento Elaborazione dei risultati Restituzione dei risultati agli attori Valutazione partecipata e identificazione di iniziative di miglioramento

8 Caso 4: un possibile percorso di valutazione dei risultati di un intervento sociale 1. Identificazione degli obiettivi (di ricaduta) dell'intervento (base-minima di partenza) 2. Individuazione degli ambiti di valutazione (con la guida di approcci e disegni/modelli) 3. Adozione di uno specifico disegno di valutazione (dal "classico disegno sperimentale" a disegni di altro tipo) 4. Ricostruzione del cambiamento (a livello individuale, organizzativo, eccetera) attribuibile all'intervento – attraverso l'applicazione del disegno di valutazione scelto - 5. Calcolo del beneficio economico (in termini di confronto tra costi e benefici) riconducibile alla realizzazione dell'intervento Adatt. da Quinones e Toninandel, 2005

9 La caratteristiche del valutare Comparazione (valore in relazione a…., incontro tra domanda e offerta valutativa, connessione con i processi decisionali e in generale di cambiamento (Lippi, 2007) Ricostruire, comparare, spiegare Disciplina empirica (variabili empiricamente osservabili: ricerca sociale applicata; paradigma lazarsfeldiano)

10 Contesto economico-sociale che esprime dei bisogni Contesto economico-sociale che esprime dei bisogni Contesto politico-istituzionale che esprime delle finalità Contesto politico-istituzionale che esprime delle finalità Obiettivi/Risultati attesi Attori implicati Procedure Strumenti Attori implicati Procedure Strumenti Esiti Realizzazioni Impatti Efficacia esterna Efficacia interna Efficienza manageriale Efficienza istituzionale Decisione/ Programmazione Implementazione Valutazione Effetti Risultati Vincoli/Risorse Rilevanza Coerenza Efficacia ed efficienza in valutazione Basato su una figura di Mauro Palumbo, Il processo di valutazione, Franco Angeli, Milano 2001.

11 Programma o intervento programmato Programma o intervento programmato Conclusione, o t 0 Conclusione, o t 0 della valutazione intermedia esiti realizzazioni effetti risultati impatti Effetti attesi e desiderati Effetti auspicati e desiderati esiti, effetti, impatti realizzazioni, risultati, impatti Fattori intervenienti Effetti inattesi Valutazione orientata agli obiettivi Valutazione orientata agli obiettivi Valutazione svincolata dagli obiettivi Valutazione svincolata dagli obiettivi Tipi di effetti di programmi e interventi

12 Effetti (risultati e impatti) EFFETTO RILEVATO = EFFETTI DELLINTERVENTO (EFFETTO NETTO) + EFFETTI DI ALTRI PROCESSI/FATTORI (ESTERNI ALLINTERVENTO: MODALITA DI SELEZIONE, MUTAMENTI NATURALI NEI GRUPPI-OBIETTIVO, MUTAMENTO DI CONDIZIONI DI CONTESTO) + EFFETTI DEL PROCESSO VALUTATIVO (ERRORI DI MISURAZIONE O DI RILEVAZIONE, AFFIDABILITA DELLE METODOLOGIE E DEGLI STRUMENTI, VALIDITA DEGLI STRUMENTI, ERRORI NELLA SCELTA DELLE MISURE DI RISULTATO)

13 Il processo di valutazione Le nove tappe (Bezzi, 2001 con modifiche mie) 1.Definizione del mandato 2.Analisi dellevaluando e formulazione delle domande valutative 3.Accertamento delle risorse 4.Individuazione di un possibile modello valutativo di riferimento 5.Esplorazione dettagliata dellevaluando e delle sue componenti oggetto di valutazione specifica 6.Stipulazione dei valori valutativi (criteri) 7.Individuazione dellapparato metodologico da impiegare e dei relativi strumenti di supporto 8.Raccolta e analisi dei dati ed informazioni 9.Restituzione e utilizzo dei risultati della valutazione

14 Definizione del mandato Mandato Mandato = Perché me lo chiedi? Chi chiede (quale ruolo esercita, che poteri, bisogni, interessi esprime…)? Chi altro è coinvolto (beneficiari, vittime, dipendenti, partner; clima generale, eventuali conflitti, …)? Quali gli obiettivi della valutazione (apprendere, negoziare, rendicontare, …)? Problemi etici e deontologici Orientamento epistemologico Contesto Metodo

15 Analisi dellevaluando e domande valutative Decisore Domande valutative = Cosa è importante analizzare? Quale valutazione (ex ante, in itinere, …; di processo, di esito…; di efficacia di efficienza…)? Quali obiettivi ha levaluando? Quale ruolo ha la valutazione nel sostegno al management? Cosa serve al gestore dellintervento? Fonti informative Impianto metodologico Evaluando Metodo

16 Accertamento delle risorse Risorse Risorse = Cosa posso veramente fare? Quali risorse economiche, di tempo, di risorse umane? Quali risorse simboliche (conferimento di autorità, riconoscimento di autorevolezza)? Quali risorse mandatarie (reale accesso alle fonti, capacità di attesa del mandante, disponibilità a rispettare e utilizzare i risultati, anche inattesi)? Reale disegno della ricerca Conferimento autorità Risorse Metodo

17 Esplorazione dellevaluando Attori sociali Spazio semantico = Cosa valutiamo, esattamente? Cosa intendiamo quando parliamo di…? Cosa intendono loro quando voi dite…? Quali sono gli elementi strategici, costitutivi, di… (indicatori valutativi)? Condivisione concetti Attenzione epistemologica Comprensione Metodo

18 Concetto 1 Dimensione 1Dimensione 2Dimensione 3 Sottodimensione 1Sottodimensione 2 Indicatore 2 Indicatore 1 Indicatore 3 Indicatore 4 Indicatore 5 Indicatore 7Indicatore 6Indicatore 8 Lo schema generale del paradigma lazarsfeldiano

19 Stipulazione dei valori valutativi Decisore Attori sociali Valori valutativi = Da quale punto di vista valutare (= giudicare)? Quali valori strategici, organizzativi, ecc. esprimono gli attori sociali? E lutilizzatore? Cosa vale di più? Da quale punto di vista? Quale ordine, quale logica, quali regole? Esplicitazione valori Negoziazione di una logica Valori Metodo

20 Dati Raccolta e analisi dei dati Bisogni, interessi, valori Raccolta e analisi dati = Dove cerchiamo, come lo raccogliamo, cosa ne facciamo? In quale formato raccolgo le informazioni? Come le tratto (matrice dei dati, analisi ermeneutica)? Cosa ci faccio poi (restituzione tecnica; interpretazione negoziale; suggerimenti; …)? Definizioni operative Face validity Metodo Utilizzo

21 Utilizzo dei risultati Decisore Contesto Utilizzo = A cosa è servita la valutazione? Il decisore (utilizzatore, sponsor) usa, userà, ha intenzione di far utilizzare i risultati della valutazione? Quale forma di restituzione è possibile/prevista a coloro che hanno contribuito anche indirettamente? E possibile una metavalutazione? I costi della valutazione sono giustificati? Responsabilità del valutatore Valore aggiunto Utilizzo Mandato val.

22 Evaluando, modelli, regole e metodi: lintreccio necessario per fare valutazione Lanalisi del singolo evaluando sulla base di un certo approccio di valutazione e utilizzando una o più regole (confronto con obiettivi, standard, dati storici; opinione di ….., ….. ) consente di attribuire allevaluando (per i servizi: attraverso limpiego di metodi/tecniche di natura prevalentemente qualitativa) un valore (socialmente costruito e riconosciuto)

23 Le regole più comuni per fare valutazione (attribuire un valore) 1. Confrontare gli effetti dellintervento con i suoi obiettivi/finalità 2. Confrontare lintervento (effetti e processo) con i bisogni (domanda, …..) della popolazione- obiettivo 3. Assumere la valutazione dellintervento formulata dagli stakeholder oppure da esperti

24 Una lista di possibili regole (sono sottolineate quelle della diapositiva precedente) I bisogni o i desideri/domanda della popolazione-target Le finalità e gli obiettivi del programma/progetto/intervento Standard o requisiti di natura tecnico/professionale Pratiche consolidate (benchmarking) Altri programmi/progetti/interventi analoghi Requisiti/vincoli di natura legale o normativa Performance precedenti; dati storici Indicazioni definite dal responsabile del programma Opinione di esperti Opinione/punto di vista degli attori formativi Situazione esistente prima dellintervento per la popolazione target Situazione in assenza del programma (controfattuale) Teoria del programma (teoria dellimpatto e del processo) Costo (assoluto o relativo)

25 E dalla ricerca sociale che sono stati derivati i modelli di valutazione (Alkin, 2004) Approccio/paradigma (assunzioni-base che guidano lazione) Metodologia (disegno complessivo associato ad un particolare insieme di assunti paradigmatici usati per condurre una ricerca)

26 Le famiglie di tecniche della ricerca sociale utilizzabili in valutazione (Bezzi, 2001) Analisi di dati di secondo livello Interrogazione delle persone comuni Interrogazione di esperti Osservazione

27 Ricerca valutativa Esperimento Non esperimento Multicriteri Criterio unico [Manageriale] Ricerca sociale Standard Non standard Dati di primo livello Dati di secondo livello Albero delle strategie di ricerca valutativa (Bezzi, 2008)

28 Ricerca valutativa Esperimento Non esperiment o Strategie miste Criterio unico Approccio manageriale Ricerca sociale Standard Non standard basate sullinterrogazione di individui (intervista) e sullosservazione basate sullinterrogazione di gruppi Gruppi reali Gruppi nominali Basata sullinterrogazione standard di individui (survey) Basata sullanalisi di relazioni tra variabili (bi-multi) basata su documenti Basata su fonti statistiche esistenti Basata sullanalisi di indicatori socio- economici prevalentemente economici di primo e secondo livello prevalentemente misti di secondo livello Strategie di ricerca Tipi di tecniche Strategie e tecniche di ricerca valutativa nella logica del non-esperimento (adatt. da Bezzi, 2008)

29 Strategia Standard Di secondo livello Di primo livello Strategia non Standard Di secondo livello Di primo livello basate sullinterrogazione di individui basate sullinterrogazione di gruppi Gruppi reali Gruppi nominali Survey con questionario Analisi Delphi Nominal Group Tech. Focus group Brainstorming Intervista biografica o in profondità Valutaz. Tassonomica (testi scritti) Analisi costi benefici, ROI Classificazione delle tecniche: non-esperimento (Bezzi, 2008)

30 Classificazione delle tecniche: esperimento Centratura sugli effetti (di che cosa su cosa) Metodo sperimentale classico (randomizzato) Metodi non-sperimentali (differenza nelle differenze, analisi di regressione, abbinamento statistico, discontinuità attorno ad una soglia, analisi delle serie storiche interrotte, rilevazione degli effetti percepiti dai beneficiari)

31 La valutazione comparativa per eccellenza (Owen e Rogers, 1999) Richiede tradizionalmente luso di disegni di ricerca predefiniti con possibilmente limpiego di un gruppo trattato e di uno di controllo, con il ricorso a test e ad altri dati quantitativi. … La determinazione di tutti gli impatti richiede luso di metodi di tipo più esplorativo e il ricorso a evidenze di tipo qualitativo

32 Approccio quantitativo e qualitativo (Shaw, 1999) Approccio quantitativo (dati numerici, setting artificiale, centralità dei comportamenti, adozione del modello scienze naturali, logica deduttiva, ricerca di leggi, realismo) vs qualitativo (parole come dati, setting naturale, centralità del significato, rifiuto del modello delle scienze naturali, logica induttiva, ricerca di pattern, idealismo)

33 Tre approcci (da Stame, 2001) Positivista-sperimentalePragmatista/ della qualità Costruttivista Riferimento (pietra di paragone) Gli obiettivi Gli standardCiò che gli attori coinvolti definiscono come successo Domande I risultati corrispondono agli obiettivi? I risultati ed i processi corrispondono agli standard? Che cosa è successo? E buono? Teoria E possibile predefinire obiettivi e risultati che devono/possono essere perseguiti In ogni situazione esistono sempre degli standard con i quali confrontarsi La realtà è difficilmente prevedibile; gli effetti inattesi sono importanti Metodi Esperimenti e quasi esperimenti La logica del valutare di Scriven, analisi multicriteri Analisi comparativa, esplorazione, analisi partecipata Tecniche Indicatori, indici, analsii controfattuali Analisi soddisfazione utenti, giudizio di esperti Studi di caso, interviste, focus- group, osservazione Utilizzo Strumentale alla decisione politica Amministrazione e management del programma Conoscitivo, empowerment Problemi teorici La scatola nera del processoChe cosa la qualità? Come è costruito lo standard? Da dove cominciare? Autori Suchman, Campbell, Rossi e Freeman, Chen Scriven, Wholey, Donabedian, New Public Management Stake, Guba e Lincoln, Patton, Fetterman, Hirschman, Tendler

34 Lapproccio della Realistic Evaluation (Pawson e Tilley, 1997) Effetti (regolarità)= meccanismo+contesto I programmi non sono cose che funzionano o non funzionano: semmai essi contengono certe idee che funzionano per certi soggetti in certe situazioni La RE è un approccio che può essere realizzato con metodi e tecniche di tipo sia quantitativo sia qualitativo

35 Per concludere Necessità di un sistema di monitoraggio Priorità alla valutazione in corso dopera ovvero del processo di traduzione in pratica di una ipotesi di intervento Utilizzo combinato di metodi quantitativi e qualitativi Attenzione al nuovo ed allinatteso

36 Inoltre …. Dedicare tempo alla progettazione della valutazione Ipotizzare operazioni valutative gestibili e sostenibili (livello organizzativo e delle risorse) Predisporre le condizioni necessarie allutilizzo degli esiti (e del processo) di valutazione


Scaricare ppt "La valutazione degli interventi di politica sociale: una introduzione A.Vergani Milano, 2010."

Presentazioni simili


Annunci Google