La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

V° Corso per progettisti per il volontariato Sabato 16 giugno 2007 MODULO NON RESIDENZIALE- CENTRO STUDI CISL FIESOLE (6 ore) ore 10,30 – 13,30 14,30 -

Presentazioni simili


Presentazione sul tema: "V° Corso per progettisti per il volontariato Sabato 16 giugno 2007 MODULO NON RESIDENZIALE- CENTRO STUDI CISL FIESOLE (6 ore) ore 10,30 – 13,30 14,30 -"— Transcript della presentazione:

1 V° Corso per progettisti per il volontariato Sabato 16 giugno 2007 MODULO NON RESIDENZIALE- CENTRO STUDI CISL FIESOLE (6 ore) ore 10,30 – 13,30 14, ,30 Monitoraggio e valutazione di un progetto Le principali teorie di riferimento della valutazione. La valutazione come processo. La valutazione e il monitoraggio come risorsa per orientare la progettazione. Cinzia Migani – Istituto G.F. Minguzzi, Bologna, esperta in valutazione e formatrice

2 Alcune domande Perché parlare di valutazione? Perché parlare di valutazione? Valutazione o valutazioni? Valutazione o valutazioni? Quali sono i punti cruciali per impostare unattività di valutazione? Quali sono i punti cruciali per impostare unattività di valutazione? Perché si valuta? Perché si valuta? A che cosa serve valutare? A che cosa serve valutare? Come si valuta? Come si valuta? Che cosa significa monitoraggio? Che cosa significa monitoraggio?

3 Perche parlare di valutazione? Alcune note di cornice Diverse le ragioni, fra queste le più ricorrenti sono: Si tratta di unoperazione che fa parte della nostra quotidianità anche se si tratta di unoperazione tacita spesso non esplicitata Si tratta di unoperazione che fa parte della nostra quotidianità anche se si tratta di unoperazione tacita spesso non esplicitata E una dimensione necessaria per la definizione e limplementazione delle politiche, dei sistemi di servizi e degli interventi specifici (sui singoli casi, progetti) E una dimensione necessaria per la definizione e limplementazione delle politiche, dei sistemi di servizi e degli interventi specifici (sui singoli casi, progetti) Permette di assumere un punto di vista progettuale negli interventi Permette di assumere un punto di vista progettuale negli interventi Rientra fra le richieste normative Rientra fra le richieste normative E posta come vincolo nellaccesso alle linee di finanziamento della comunità europea E posta come vincolo nellaccesso alle linee di finanziamento della comunità europea E il mezzo delezione per intraprendere scelte là dove diminuiscono le risorse e aumentano i problemi da risolvere E il mezzo delezione per intraprendere scelte là dove diminuiscono le risorse e aumentano i problemi da risolvere

4 Valutazione o valutazioni? Non è possibile parlare di valutazione al singolare. La letteratura sullargomento sottolinea che diversi sono gli approcci, diverse le modalità di fare valutazione, diverse le modalità di implicazione degli attori in gioco, diversi i soggetti che se ne fanno carico, diverse le competenze professionali necessarie relazione allapproccio valutativo scelto o in modo autonomo o subordinatamente a input dati da soggetti terzi.

5 Quali sono i punti cruciali per impostare unattività di valutazione? la prospettiva in cui si pone la valutazione (servizio, progetto) la prospettiva in cui si pone la valutazione (servizio, progetto) cosa interessa sapere (output, outcome, impatto) cosa interessa sapere (output, outcome, impatto) a chi interessa sapere (politico, finanziatore, destinatario, agenti dellintervento) a chi interessa sapere (politico, finanziatore, destinatario, agenti dellintervento) come si intersecano/entrano in relazione i diversi bisogni di conoscenza come si intersecano/entrano in relazione i diversi bisogni di conoscenza i termini di confronto (dati, periodo temporale, comparazione con altri interventi, dichiarazioni di intenti) i termini di confronto (dati, periodo temporale, comparazione con altri interventi, dichiarazioni di intenti)

6 Perché si valuta? Per capire se lattività svolta ottiene i risultati attesi e/o produce i cambiamenti ipotizzati Per capire se lattività svolta ottiene i risultati attesi e/o produce i cambiamenti ipotizzati Per rendere conto del buon impiego delle risorse assegnate/utilizzate Per rendere conto del buon impiego delle risorse assegnate/utilizzate Per riflettere, co-riflettere ed auto-riflettere sulle azioni svolte Per riflettere, co-riflettere ed auto-riflettere sulle azioni svolte Per accrescere la consapevolezza degli attori coinvolti nelle attività (fruitori/erogatori) Per accrescere la consapevolezza degli attori coinvolti nelle attività (fruitori/erogatori) Per assegnare un valore allattività svolta Per assegnare un valore allattività svolta Per produrre giudizi su attività pubbliche, con lintento di migliorarle Per produrre giudizi su attività pubbliche, con lintento di migliorarle

7 A che cosa serve valutare? Per realizzare un miglioramento continuo degli interventi Per realizzare un miglioramento continuo degli interventi Per analizzare se lazione intrapresa corrisponde ad un interesse collettivo Per analizzare se lazione intrapresa corrisponde ad un interesse collettivo Per assegnare un valore e produrre informazioni sulle attività svolte facilitandone la comunicazione Per assegnare un valore e produrre informazioni sulle attività svolte facilitandone la comunicazione Per pensare nuovi percorsi progettuali che ripartono dal know-how acquisito Per pensare nuovi percorsi progettuali che ripartono dal know-how acquisito Per ricercare e valorizzare gli aspetti contraddittori ed inattesi Per ricercare e valorizzare gli aspetti contraddittori ed inattesi Per facilitare le fasi decisionali Per facilitare le fasi decisionali

8 Che cosa significa monitoraggio? Il monitoraggio consiste nellaccertamento e nella descrizione puntuale e metodica dellavanzamento di un progetto e nella segnalazione (spesso in tempo reale) di manifeste discrepanze rispetto a quanto prestabilito. Comprende le seguenti operazioni: Rilevazione dellandamento Rilevazione dellandamento Annotazione sufficientemente descrittiva dellandamento Annotazione sufficientemente descrittiva dellandamento Determinazione dellesistenza di uno scarto fra andamento previsto e andamento effettivo Determinazione dellesistenza di uno scarto fra andamento previsto e andamento effettivo Segnalazione (automatica o ragionata) al centro di comando di tutti gli scarti che eventualmente eccedono le tolleranza (feedback) Segnalazione (automatica o ragionata) al centro di comando di tutti gli scarti che eventualmente eccedono le tolleranza (feedback) Cfr V.Masoni, Monitoraggio e valutazione

9 Come si valuta? Premesso che non esiste- lo abbiamo visto- una ricetta unica perché ciascun intervento può essere valutato a partire da punti di vista diversi; può essere visto in relazioni alle fasi del suo sviluppo, può essere valutato a partire da sistemi di riferimento diversi ecco alcuno punti fermi: La valutazione deve essere guidata da un piano o disegno di valutazione La valutazione deve essere guidata da un piano o disegno di valutazione Deve accompagnare come parte integrante lintero iter di sviluppo dellintervento Deve accompagnare come parte integrante lintero iter di sviluppo dellintervento Deve permettere interpretazioni, giudizi, punti fermi a partire dallanalisi di dati ed informazioni Deve permettere interpretazioni, giudizi, punti fermi a partire dallanalisi di dati ed informazioni Deve essere comunicabile e comparabile Deve essere comunicabile e comparabile Deve sapere e potere utilizzare strumenti e tecniche che permettano di raccogliere informazioni e dati a più livelli Deve sapere e potere utilizzare strumenti e tecniche che permettano di raccogliere informazioni e dati a più livelli

10 Alcuni approcci alla valutazione delle politiche e dei servizi del welfare De Ambrogio, riprendendo uno scritto di Stame del 2001, ne identifica tre: Quello positivista sperimentale, in cui lelemento di confronto è rappresentato dagli obiettivi del programma e la valutazione consiste nel vedere se e in che modo essi siano stati raggiunti Quello positivista sperimentale, in cui lelemento di confronto è rappresentato dagli obiettivi del programma e la valutazione consiste nel vedere se e in che modo essi siano stati raggiunti Quello pragmatista della qualità in cui ci si confronta con degli standard di qualità e la valutazione consiste nel dare un parere su quanto si avvicini agli standard Quello pragmatista della qualità in cui ci si confronta con degli standard di qualità e la valutazione consiste nel dare un parere su quanto si avvicini agli standard Quello costruttivista del processo sociale in cui ci si confronta con ciò con ciò che viene considerato un successo dagli stakeholders e la valutazione consiste nello spiegare perché in quella situazione quel risultato venga considerato tale Quello costruttivista del processo sociale in cui ci si confronta con ciò con ciò che viene considerato un successo dagli stakeholders e la valutazione consiste nello spiegare perché in quella situazione quel risultato venga considerato tale

11 Quali sono le unità di misura della valutazione? Allinterno del campo sociale lunità di misura,in relazione agli obiettivi, può essere individuata nei: singoli casi singoli casi gruppi di utenti (servizi) gruppi di utenti (servizi) politiche che si rivolgono a specifici settori e fasce di popolazione politiche che si rivolgono a specifici settori e fasce di popolazione

12 Su che cosa puntiamo lattenzione? Sulle attività di valutazione che concernono un progetto nel suo iter processuale (prima,durante, dopo)

13 Che cosa non trattiamo? Non saranno oggetto del nostro lavoro odierno: Valutazione dei servizi Valutazione dei servizi Valutazione dei programmi, intesi come linee guida che possono generare un insieme di progetti più o meno coordinati che perseguono gli scopi fissati dal programma Valutazione dei programmi, intesi come linee guida che possono generare un insieme di progetti più o meno coordinati che perseguono gli scopi fissati dal programma

14 Quali tipologie di problemi si incontrano nella valutazione di un progetto Tecnici Tecnici Economici Economici Resistenze pregiudiziali Resistenze pregiudiziali Temporali Temporali

15 Quando non è utile proporre la valutazione? 1. Avversione staff 2. I risultati non saranno utilizzati per promuovere processi di miglioramento 3. Non ci sono risorse

16 Quali sono gli attori interessati alla valutazione Legislatore, politico Legislatore, politico Amministratori Amministratori Finanziatori Finanziatori Utenti Utenti Operatori Operatori Studiosi Studiosi Specialisti Specialisti Cittadini Cittadini

17 Le tappe della valutazione di un progetto Come vi è stato anticipato nelle precedenti lezioni e come avete appreso dalla pratica, un progetto si snoda attraverso diverse tappe che si sovrappongono in una logica consequenziale in alcuni casi sovrapposta (vedi le attività così come vengono descritte diagramma nel diagramma di Gantt). La valutazione le accompagna tutte e può utilizzare sistemi di valutazione nonché tecniche diverse ma certamente complementari o funzionali alla comprensione delle diverse fasi in cui si è con il progetto

18 Le fasi della valutazione: Valutazione ex- ante La valutazione ex-ante concerne il passaggio dalle idee progettuali alla definizione del progetto. In questa fase si raccolgono informazioni descrittive sui soggetti coinvolti, sulle modalità di coinvolgimento, sulle risorse umane e finanziarie impiegate, sulla coerenza del progetto in relazione alle mission delle organizzazioni proponenti, sulle teorie implicite ed esplicite di riferimento, sulla negoziazione degli obiettivi

19 Le fasi della valutazione: valutazione in itinere Questa fase della valutazione si attiva nel corso della realizzazione o implementazione del progetto attraverso il: Monitoraggio delle azioni (vedi lucido precedente) inteso come sorveglianza di processo nei suoi punti di eccellenza e di criticità e di soluzioni adottate per superare gli scarti esistenti fra la fase di progettazione e la fase di realizzazione Monitoraggio delle azioni (vedi lucido precedente) inteso come sorveglianza di processo nei suoi punti di eccellenza e di criticità e di soluzioni adottate per superare gli scarti esistenti fra la fase di progettazione e la fase di realizzazione Coinvolgimento dei partecipanti verso i processi attivati in unottica costruttivista Coinvolgimento dei partecipanti verso i processi attivati in unottica costruttivista

20 Le fasi della valutazione: valutazione ex-post Nelle fasi conclusive degli interventi si attiva la fase di valutazione concernente gli esisti/ risultati, focalizzando lattenzione sui seguenti punti: Nelle fasi conclusive degli interventi si attiva la fase di valutazione concernente gli esisti/ risultati, focalizzando lattenzione sui seguenti punti: Efficacia Efficacia Impatto Impatto Rilevanza Rilevanza Efficienza Efficienza Produttività Produttività Trasferibilità e riproducibilità Trasferibilità e riproducibilità

21 Per costruire informazioni nelle diverse fasi cosè utile definire? Definire, condividere con i diversi portatori di interesse indicatori che rispondano a requisiti di natura: Concettuale (pertinenza, rilevanza, specificità, sensibilità) Concettuale (pertinenza, rilevanza, specificità, sensibilità) Metodologici (validità, attendibilità) Metodologici (validità, attendibilità) Praticità (per misurarli servono risorse, tempo, competenze) Praticità (per misurarli servono risorse, tempo, competenze)

22 Chi valuta? Chi precisa le funzioni del valutatore ed in base a quale criteri? Esistono anche in questo caso posizionamenti di natura diversa. 1. Cè chi sostiene che il valutatore deve essere esterno al processo, cè chi sostiene il contrario. 2. Indipendentemente dai singoli posizionamenti teorici, nella pratica può accadere che le funzioni del valutatore vengano definite a monte dal politico/finanziatore o condivise dai promotori del progetto o richieste dai fruitori diretti o indiretti del progetto 3. In virtù di questo chi elabora il progetto, nel momento in cui definisce lazione di valutazione, deve tenere conto dei vincoli posti da bando nonché delle indicazioni dei promotori e dei portatori di interesse. Per realizzare lattività di valutazione si deve, così come per ogni altra attività progettuale, prevedere un budget, definire con precisione il profilo del valutatore/i e i compiti che dovrà/nno svolgere 4. Nel budget vanno contemplate anche, là dove non esiste una voce di costo specifica, le spese dei prodotti di documentazione 5. Il/i valutatore/i deve/vono possedere pertanto competenze specifiche in merito alla costruzione o applicazione di strumenti/tecniche di valutazione coerenti e capaci di cogliere i processi di cambiamento auspicati e promossi attraverso il progetto

23 Alcune tecniche/metodiche per raccogliere informazioni utili per valutare Premesso che, come ha sottolineato in più di una circostanza Bezzi, le tecniche sono protesi che ci aiutano a ragionare. Guai a esaltarne il significato, tanto da delegare a processi meramente meccanici e tecnicismi la soluzione dei nostri la soluzione dei nostri problemi valutativi. Tuttavia si può fare uso di: Focus group Focus group Brainstorming Brainstorming Tecnica delphi Tecnica delphi Scala delle priorità obbligate Scala delle priorità obbligate Casi di studio Casi di studio analisi SWOT analisi SWOT

24 Alcuni strumenti utili Interviste singole a portatori di interesse Interviste singole a portatori di interesse Interviste collettive Interviste collettive Schede socio-anagrafiche fruitori dei servizi/attività Schede socio-anagrafiche fruitori dei servizi/attività Questionari Questionari Analisi di dati già esistenti (verbali, brochure, progetto etc) Analisi di dati già esistenti (verbali, brochure, progetto etc)

25 In assenza di vincoli progettuali sulla valutazione… e di pressioni sul contenimento dei costi, quali scelte fare come progettisti? Proporre certamente la fase della valutazione perché: svolge una funzione di apprendimento utile agli attori coinvolti nel progetto svolge una funzione di apprendimento utile agli attori coinvolti nel progetto permette di ricomprendere la globalità del contesto nel quale si colloca unazione permette di ricomprendere la globalità del contesto nel quale si colloca unazione permette di sviluppare nuove ipotesi progettuali permette di sviluppare nuove ipotesi progettuali

26 In sintesi proporre un piano di valutazione è funzionale a conoscere, collocare e riconoscere la globalità di un intervento Un elefante arrivato dallIndia era stato sistemato in una stanza buia. La popolazione curiosa di conoscere un animale simile si precipitò nella stanza. Poiché non si vedeva nulla a causa della mancanza di luce, la gente si mise a toccare lanimale. Uno di questi toccò la proboscide e disse: Un elefante arrivato dallIndia era stato sistemato in una stanza buia. La popolazione curiosa di conoscere un animale simile si precipitò nella stanza. Poiché non si vedeva nulla a causa della mancanza di luce, la gente si mise a toccare lanimale. Uno di questi toccò la proboscide e disse: questo animale assomiglia a un enorme tubo. Un altro toccò le orecchie e disse: Si direbbe piuttosto un grande ventaglio. Un altro toccando le zampe disse: No, ciò che si chiama elefante è senza dubbio una specie di colonna. Così ciascuno di loro si mise a descriverlo a proprio modo. E veramente un peccato che non avessero una candela per mettersi daccordo. questo animale assomiglia a un enorme tubo. Un altro toccò le orecchie e disse: Si direbbe piuttosto un grande ventaglio. Un altro toccando le zampe disse: No, ciò che si chiama elefante è senza dubbio una specie di colonna. Così ciascuno di loro si mise a descriverlo a proprio modo. E veramente un peccato che non avessero una candela per mettersi daccordo. (di Rumì, poeta e mistico sufi del 1200 in Graziella Civenti, La valutazione del lavoro sociale in Prospettive Sociali e Sanitarie, n°1 del 2004)

27 Ecco le principali fonti di riferimento De Ambrogio U., Valutare gli interventi e le politiche sociali, Carocci Faber, 2003 De Ambrogio U., Valutare gli interventi e le politiche sociali, Carocci Faber, 2003 Bezzi C, Glossario della ricerca sociale e valutativa, in Rassegna Italiana di valutazione, II 1998; Il disegno della ricerca valutativa, Franco Angeli,2001 Bezzi C, Glossario della ricerca sociale e valutativa, in Rassegna Italiana di valutazione, II 1998; Il disegno della ricerca valutativa, Franco Angeli,2001 Leone L, Prezza M., Costruire e valutare i progetti nel sociale, Franco Angeli, 1999 Leone L, Prezza M., Costruire e valutare i progetti nel sociale, Franco Angeli, 1999 Martini, Torti, Fare lavoro di comunità, Carocci Faber, 2003 Martini, Torti, Fare lavoro di comunità, Carocci Faber, 2003 V.Masoni, M&V, Monitoraggio e valutazione dei progetti nelle organizzazioni pubbliche e private, F.Angeli, 1997 V.Masoni, M&V, Monitoraggio e valutazione dei progetti nelle organizzazioni pubbliche e private, F.Angeli, 1997 C.Migani et altri, Ricerca sugli indicatori di efficacia/qualità degli interventi attivati sul tema del benessere a scuola, 2004 C.Migani et altri, Ricerca sugli indicatori di efficacia/qualità degli interventi attivati sul tema del benessere a scuola, 2004


Scaricare ppt "V° Corso per progettisti per il volontariato Sabato 16 giugno 2007 MODULO NON RESIDENZIALE- CENTRO STUDI CISL FIESOLE (6 ore) ore 10,30 – 13,30 14,30 -"

Presentazioni simili


Annunci Google