La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

Introduzione alla valutazione.

Presentazioni simili


Presentazione sul tema: "Introduzione alla valutazione."— Transcript della presentazione:

1 Introduzione alla valutazione

2 DEFINIZIONE E CONCETTI DI BASE FIGURE UTILIZZATE PER ALCUNE PUBBLICAZIONI, FRA CUI IL NUOVO DISEGNO DELLA RICERCA VALUTATIVA, FRANCO ANGELI, MILANO 2010 Prima parte – I concetti di base

3 Definizione di Valutazione con ‘valutazione’ s’intende l’insieme delle attività collegate utili per esprimere un giudizio per un fine pubblico, giudizio argomentato tramite processi di ricerca che ne costituiscono l’elemento essenziale e imprescindibile di affidabilità delle procedure e fedeltà delle informazioni utilizzate per esprimere quel giudizio. Claudio Bezzi, Il nuovo disegno della ricerca valutativa, Franco Angeli, Milano 2010 la valutazione è un giudizio espresso per un fine: lo sguardo è puntato sugli obiettivi di questo giudizio e quindi sul suo uso, sulla sua utilità. Non si tratta di pareri estemporanei, d’impressioni volubili, ma di giudizi finalizzati ai quali conseguono delle azioni dirette. questo fine deve essere pubblico: giudizi necessari per risolvere questioni politiche, programmatorie, progettuali, organizzative e gestionali relative a interventi che coinvolgono la collettività nel suo insieme o specifici gruppi Argomentazione significa esplicita dichiarazione degli elementi a partire dai quali il giudizio è formulato, esplicita esibizione degli strumenti e dei percorsi tramite i quali quegli elementi sono stati utilizzati, comparati, analizzati ed evidenziazione delle connessioni logiche tra i diversi passaggi.

4 turbolenza evento decisione imple- ment. equilibrio gestioneadattamento sollecita- zione (precedenti) valutazioni di varia natura valutazione ex ante di risultati e impatti val. in itinere monitoraggio valutazione in itinere e intermedia valutazione in itinere ed ex post di realizzazioni e risultati valutazione ex post di impatti ed ex ante Decisione, gestione e ruolo della valutazione

5 Analisi, riflessione, critica Intervento sul processo Astensione dall’intervento Valutazione Certificazione Audit Registrazione, mera informazione Monitoraggio Ricerca di base Benchmarking Bilancio sociale Valutazione e attività correlate in relazione a intervento e criticità

6 Ricerca di base Complessità epistemologico-metodologica Costruttivismo Realismo Certificazione Audit Monitoraggio Benchmarking Valutazione Semplicità epistemologico-metodologica Bilancio sociale Valutazione e attività correlate in relazione a epistemologia e metodologia

7 Basato su una figura di Mauro Palumbo, Il processo di valutazione, Franco Angeli, Milano Contesto economico-sociale che esprime dei bisogni Contesto economico-sociale che esprime dei bisogni Contesto politico-istituzionale che esprime delle finalità Contesto politico-istituzionale che esprime delle finalità Obiettivi/Risultati attesi Attori implicati Procedure Strumenti Attori implicati Procedure Strumenti Esiti Realizzazioni Efficacia esterna Efficacia interna Efficienza Decisione/ Programmazione Implementazione Valutazione Effetti Risultati Vincoli/Risorse Impatti Efficacia ed efficienza in valutazione

8 Programma o intervento programmato Programma o intervento programmato Conclusione, o t 0 Conclusione dell’intervento esiti realizzazioni effetti risultati impatti Effetti attesi e desiderati Effetti auspicati e desiderati esiti, effetti, impatti realizzazioni, risultati, impatti Fattori intervenienti Effetti inattesi Valutazione orientata agli obiettivi Valutazione orientata agli obiettivi Valutazione svincolata dagli obiettivi Valutazione svincolata dagli obiettivi Tipi di effetti di programmi e interventi

9 Occupazione lorda creata ( Verificata attraverso l’analisi occupazionale dei partecipanti)‏ Deadweight [Peso morto] Si è creato un lavoro che si sarebbe comunque dato, anche senza l’intervento Inaccettabile spiazzamento effetto di (Un lavoro è creato e un altro viene distrutto nell’area)‏ Inaccettabile sostituzione effetto di (un disoccupato trova lavoro ma un altro lavoratore perde il proprio)‏ Occupazione netta creata Il problema dell’impatto netto (nel caso della formazione professionale) ‏

10 (Bisogni)DecisioneImplementazioneGestioneFruizione Attori che presentano istanze Soggetto che promuove l’intervento Soggetti deputati al controllo Parti sociali Eventuali soggetti convenzionati Beneficiari dell’intervento (utenti, clienti, beneficiari indiretti, ‘vittime’) Alta dirigenza Consulenti Operatori (Funzionari, quadri, consulenti) Valutatore Legenda Decisori Operatori Beneficiari Gli attori sociali rilevanti per la valutazione

11 Competenza tecnico-scientifica della valutazione Conoscenza nel merito dell’evaluando BassaMediaAlta BassaPregiudizio Metodologia dogmatica Media Valutazione spontanea Alta Specialismo dogmatico Valutazione competente Valutazione esperta La valutazione fra competenza tecnica e conoscenza nel merito

12 Come realizzare un sistema di valutazione? Facile da gestire (ma poco sensibile)‏ Autoritativo (solo l’Ente gestore)‏ Come (forse) lo vorremmo realizzare Come (forse) dovremo iniziare Dialogico (concertazione con gli altri attori rilevanti) Sensibile (ma più complesso da gestire)

13 Complessità valutativa COMPLESSITA’ VALUTATIVA Molteplicità degli attori coinvolti Ambiguità concettuale due tipi principali: Identificaz. diversi set di valori Identificaz. e selez. elementi di valutaz. Chiarificazione concettuale Monitoraggio Mappe Attori-Azioni e Dimens.-Indicatori Metodi Misti (nel disegno) RICERCA VALUTATIVA necessita di produce consente necessita di consente organizza indirizzacoadiuva dà senso consente

14 Ricerca valutativa Esperimento Non esperimento Multicriteri Multi metodo Criterio unico Manageriale Ricerca sociale Standard Non standard Dati di primo livello Dati di secondo livello Albero di Porfirio delle strategie di ricerca valutativa

15 Procedure Standard Di secondo livello Di primo livello Procedure non Standard Di secondo livello Di primo livello basate sull’interrogazione di individui basate sull’interrogazione di gruppi Gruppi reali Gruppi nominali Questionario Analisi Delphi Nominal Group Tech. Focus group Brainstorming Intervista biografica Valutaz. tassonomica Analisi costi benefici Classificazione delle tecniche

16 Strategie e tecniche di ricerca valutativa Ricerca valutativa Esperimento Non esperimento Strategie miste Criterio unico Approccio manageriale Ricerca sociale Standard Non standard basate sull’interrogazio ne di individui basate sull’interrogazione di gruppi Gruppi reali Gruppi nominali Basata sull’interrogazione di individui Basata sull’analisi di relazioni basata su testi Basata su testi Basata sull’analisi di indicatori socio- economici prevalentemente economici di primo e secondo livello prevalentemente misti di secondo livello Strategie di ricerca Tipi di tecniche

17 Metodi misti

18 Valutazione (i flussi sono relativi alla valutazione, per la programmazione) Programmazione (i flussi sono relativi alla decisione/programmazione) Organizzazione dei dati (accento sulla sistematicità, raccolta e gestione, affidabilità …) Diffusione della conoscenza (accento sull’accessibilità, condivisione, comprensione …) Monitoraggio tradizionale Monitoraggio basato sui risultati Sistema informativo Sintesi, Review Buone pratiche Comunità di pratiche Triangolazione Basato su Rist-Stame, From Studies to Streams, 2006 I flussi valutativi

19 DEFINIZIONE E CONCETTI AVANZATI QUESTA SECONDA PARTE DEVE ESSERE CONSIDERATA NON COMPLETA E PROVVISORIA Seconda parte – Concetti avanzati PROVVISORIO

20 La valutazione dal punto di vista delle cause Processo decisionale Gruppo di effetti Gruppo di cause 1 2 3a 3b – Causa (evento, bisogno…) diretta e nota 2 – Causa diretta non nota 3 – Causa indiretta (causa che produce cause) 4 – Causa indiretta (provenienza ignota, fattore interveniente) 5 – Feedback diretto 6 – Feedback indiretto (agisce sulle cause – ricorsività) 7 – Feedback indiretto (agisce sui processi) 8 – Feedback indiretto (agisce sugli effetti)

21 La valutazione dal punto di vista degli effetti Processo decisionale Gruppo di effetti Gruppo di cause – Decisione/effetto diretto e noto 2 – Decisione/effetto diretto e non noto 3 – Effetto indiretto (effetto che produce effetti) 4 – Effetto ‘spontaneo’ o non conseguenza della decisione 5 – Effetto causato da fattori ignoti 6 – Effetti inattesi 7 – Effetto causato dai processi

22 La valutazione nella complessità dei ‘meccanismi’ Processo decisionale Gruppo di effetti Gruppo di cause Processo decisionale Gruppo di effetti Gruppo di2effet ti Gruppo di cause 1 2 3a 3b A n a l i s i G i u d i z i o – Cause 2 – Effetti Influenzano direttamente la costruzione del processo di analisi e conseguente formulazione del giudizio valutativo 3 – Contesti decisionali 4 – Processi implementati

23 Trasformazione sociale realista M1M1 R1R1 C1C1 T1T1 M2M2 R2R2 C2C2 T2T2 Ray Pawson e Nick Tilley, Realistic Evaluation, Sage, London 1997


Scaricare ppt "Introduzione alla valutazione."

Presentazioni simili


Annunci Google