V° Corso per progettisti per il volontariato Sabato 16 giugno 2007 MODULO NON RESIDENZIALE- CENTRO STUDI CISL FIESOLE (6 ore) ore 10,30 – 13,30 14,30 - 17,30 Monitoraggio e valutazione di un progetto Le principali teorie di riferimento della valutazione. La valutazione come processo. La valutazione e il monitoraggio come risorsa per orientare la progettazione. Cinzia Migani – Istituto G.F. Minguzzi, Bologna, esperta in valutazione e formatrice

Alcune domande Perché parlare di valutazione? Valutazione o valutazioni? Quali sono i punti cruciali per impostare un’attività di valutazione? Perché si valuta? A che cosa serve valutare? Come si valuta? Che cosa significa monitoraggio?

Perche’ parlare di valutazione? Alcune note di cornice Diverse le ragioni, fra queste le più ricorrenti sono: Si tratta di un’operazione che fa parte della nostra quotidianità anche se si tratta di un’operazione tacita spesso non esplicitata E’ una dimensione necessaria per la definizione e l’’implementazione delle politiche, dei sistemi di servizi e degli interventi specifici (sui singoli casi, progetti) Permette di assumere un punto di vista progettuale negli interventi Rientra fra le richieste normative E’ posta come vincolo nell’accesso alle linee di finanziamento della comunità europea E’ il mezzo d’elezione per intraprendere scelte là dove diminuiscono le risorse e aumentano i problemi da risolvere

Valutazione o valutazioni? Non è possibile parlare di valutazione al singolare. La letteratura sull’argomento sottolinea che diversi sono gli approcci, diverse le modalità di fare valutazione, diverse le modalità di implicazione degli attori in gioco, diversi i soggetti che se ne fanno carico, diverse le competenze professionali necessarie relazione all’approccio valutativo scelto o in modo autonomo o subordinatamente a input dati da soggetti terzi.

Quali sono i punti cruciali per impostare un’attività di valutazione? la prospettiva in cui si pone la valutazione (servizio, progetto) cosa interessa sapere (output, outcome, impatto) a chi interessa sapere (politico, finanziatore, destinatario, agenti dell’intervento) come si intersecano/entrano in relazione i diversi bisogni di conoscenza i termini di confronto (dati, periodo temporale, comparazione con altri interventi, dichiarazioni di intenti)

Perché si valuta? Per capire se l’attività svolta ottiene i risultati attesi e/o produce i cambiamenti ipotizzati Per rendere conto del buon impiego delle risorse assegnate/utilizzate Per riflettere, co-riflettere ed auto-riflettere sulle azioni svolte Per accrescere la consapevolezza degli attori coinvolti nelle attività (fruitori/erogatori) Per assegnare un valore all’attività svolta Per produrre giudizi su attività pubbliche, con l’intento di migliorarle

A che cosa serve valutare? Per realizzare un miglioramento continuo degli interventi Per analizzare se l’azione intrapresa corrisponde ad un interesse collettivo Per assegnare un valore e produrre informazioni sulle attività svolte facilitandone la comunicazione Per pensare nuovi percorsi progettuali che ripartono dal know-how acquisito Per ricercare e valorizzare gli aspetti contraddittori ed inattesi Per facilitare le fasi decisionali

Che cosa significa monitoraggio? Il monitoraggio consiste nell’accertamento e nella descrizione puntuale e metodica dell’avanzamento di un progetto e nella segnalazione (spesso in tempo reale) di manifeste discrepanze rispetto a quanto prestabilito. Comprende le seguenti operazioni: Rilevazione dell’andamento Annotazione sufficientemente descrittiva dell’andamento Determinazione dell’esistenza di uno scarto fra andamento previsto e andamento effettivo Segnalazione (automatica o ragionata) al centro di comando di tutti gli scarti che eventualmente eccedono le tolleranza (feedback) Cfr V.Masoni, Monitoraggio e valutazione

Come si valuta? Premesso che non esiste- lo abbiamo visto- una ricetta unica perché ciascun intervento può essere valutato a partire da punti di vista diversi; può essere visto in relazioni alle fasi del suo sviluppo, può essere valutato a partire da sistemi di riferimento diversi ecco alcuno punti fermi: La valutazione deve essere guidata da un piano o disegno di valutazione Deve accompagnare come parte integrante l’intero iter di sviluppo dell’intervento Deve permettere interpretazioni, giudizi, punti fermi a partire dall’analisi di dati ed informazioni Deve essere comunicabile e comparabile Deve sapere e potere utilizzare strumenti e tecniche che permettano di raccogliere informazioni e dati a più livelli

Alcuni approcci alla valutazione delle politiche e dei servizi del welfare De Ambrogio, riprendendo uno scritto di Stame del 2001, ne identifica tre: Quello positivista sperimentale, in cui l’elemento di confronto è rappresentato dagli obiettivi del programma e la valutazione consiste nel vedere se e in che modo essi siano stati raggiunti Quello pragmatista della qualità in cui ci si confronta con degli standard di qualità e la valutazione consiste nel dare un parere su quanto si avvicini agli standard Quello costruttivista del processo sociale in cui ci si confronta con ciò con ciò che viene considerato un successo dagli stakeholders e la valutazione consiste nello spiegare perché in quella situazione quel risultato venga considerato tale

Quali sono le unità di misura della valutazione? All’interno del campo sociale l’unità di misura ,in relazione agli obiettivi, può essere individuata nei: singoli casi gruppi di utenti (servizi) politiche che si rivolgono a specifici settori e fasce di popolazione

Su che cosa puntiamo l’attenzione? Sulle attività di valutazione che concernono un progetto nel suo iter processuale (prima,durante, dopo)

Che cosa non trattiamo? Non saranno oggetto del nostro lavoro odierno: Valutazione dei servizi Valutazione dei programmi, intesi come “linee guida” che possono generare un insieme di progetti più o meno coordinati che perseguono gli scopi fissati dal programma

Quali tipologie di problemi si incontrano nella valutazione di un progetto Tecnici Economici Resistenze pregiudiziali Temporali

Quando non è utile proporre la valutazione? Avversione staff I risultati non saranno utilizzati per promuovere processi di miglioramento Non ci sono risorse

Quali sono gli attori interessati alla valutazione Legislatore, politico Amministratori Finanziatori Utenti Operatori Studiosi Specialisti Cittadini

Le tappe della valutazione di un progetto Come vi è stato anticipato nelle precedenti lezioni e come avete appreso dalla pratica, un progetto si snoda attraverso diverse tappe che si sovrappongono in una logica consequenziale in alcuni casi sovrapposta (vedi le attività così come vengono descritte diagramma nel diagramma di Gantt). La valutazione le accompagna tutte e può utilizzare sistemi di valutazione nonché tecniche diverse ma certamente complementari o funzionali alla comprensione delle diverse fasi in cui si è con il progetto

Le fasi della valutazione: Valutazione ex- ante La valutazione ex-ante concerne il passaggio dalle idee progettuali alla definizione del progetto. In questa fase si raccolgono informazioni descrittive sui soggetti coinvolti, sulle modalità di coinvolgimento, sulle risorse umane e finanziarie impiegate, sulla coerenza del progetto in relazione alle mission delle organizzazioni proponenti, sulle teorie implicite ed esplicite di riferimento, sulla negoziazione degli obiettivi

Le fasi della valutazione: valutazione in itinere Questa fase della valutazione si attiva nel corso della realizzazione o implementazione del progetto attraverso il: Monitoraggio delle azioni (vedi lucido precedente) inteso come “sorveglianza di processo” nei suoi punti di eccellenza e di criticità e di soluzioni adottate per superare gli scarti esistenti fra la fase di progettazione e la fase di realizzazione Coinvolgimento dei partecipanti verso i processi attivati in un’ottica costruttivista

Le fasi della valutazione: valutazione ex-post Nelle fasi conclusive degli interventi si attiva la fase di valutazione concernente gli esisti/ risultati, focalizzando l’attenzione sui seguenti punti: Efficacia Impatto Rilevanza Efficienza Produttività Trasferibilità e riproducibilità

Per costruire informazioni nelle diverse fasi cos’è utile definire? Definire, condividere con i diversi portatori di interesse indicatori che rispondano a requisiti di natura: Concettuale (pertinenza, rilevanza, specificità, sensibilità) Metodologici (validità, attendibilità) Praticità (per misurarli servono risorse, tempo, competenze)

Chi valuta? Chi precisa le funzioni del valutatore ed in base a quale criteri? Esistono anche in questo caso posizionamenti di natura diversa. C’è chi sostiene che il valutatore deve essere esterno al processo, c’è chi sostiene il contrario. Indipendentemente dai singoli posizionamenti teorici, nella pratica può accadere che le funzioni del valutatore vengano definite a monte dal politico/finanziatore o condivise dai promotori del progetto o richieste dai fruitori diretti o indiretti del progetto In virtù di questo chi elabora il progetto, nel momento in cui definisce l’azione di valutazione, deve tenere conto dei vincoli posti da bando nonché delle indicazioni dei promotori e dei portatori di interesse. Per realizzare l’attività di valutazione si deve, così come per ogni altra attività progettuale, prevedere un budget, definire con precisione il profilo del valutatore/i e i compiti che dovrà/nno svolgere Nel budget vanno contemplate anche, là dove non esiste una voce di costo specifica, le spese dei prodotti di documentazione Il/i valutatore/i deve/vono possedere pertanto competenze specifiche in merito alla costruzione o applicazione di strumenti/tecniche di valutazione coerenti e capaci di cogliere i processi di cambiamento auspicati e promossi attraverso il progetto

Alcune tecniche/metodiche per raccogliere informazioni utili per valutare Premesso che, come ha sottolineato in più di una circostanza Bezzi, le tecniche sono protesi che ci aiutano a ragionare. “Guai a esaltarne il significato, tanto da delegare a processi meramente meccanici e tecnicismi la soluzione dei nostri la soluzione dei nostri problemi valutativi. Tuttavia si può fare uso di: Focus group Brainstorming Tecnica delphi Scala delle priorità obbligate Casi di studio analisi SWOT

Alcuni strumenti utili Interviste singole a portatori di interesse Interviste collettive Schede socio-anagrafiche fruitori dei servizi/attività Questionari Analisi di dati già esistenti (verbali, brochure, progetto etc)

Proporre certamente la fase della valutazione perché: In assenza di vincoli progettuali sulla valutazione… e di pressioni sul contenimento dei costi, quali scelte fare come progettisti? Proporre certamente la fase della valutazione perché: svolge una funzione di apprendimento utile agli attori coinvolti nel progetto permette di ricomprendere la globalità del contesto nel quale si colloca un’azione permette di sviluppare nuove ipotesi progettuali

In sintesi proporre un piano di valutazione è funzionale a conoscere, collocare e riconoscere la globalità di un intervento “ Un elefante arrivato dall’India era stato sistemato in una stanza buia. La popolazione curiosa di conoscere un animale simile si precipitò nella stanza. Poiché non si vedeva nulla a causa della mancanza di luce, la gente si mise a toccare l’animale. Uno di questi toccò la proboscide e disse: “ questo animale assomiglia a un enorme tubo”. Un altro toccò le orecchie e disse: “ Si direbbe piuttosto un grande ventaglio”. Un altro toccando le zampe disse: “No, ciò che si chiama elefante è senza dubbio una specie di colonna”. Così ciascuno di loro si mise a descriverlo a proprio modo. E’ veramente un peccato che non avessero una candela per mettersi d’accordo”. (di Rumì, poeta e mistico sufi del 1200 in Graziella Civenti, La valutazione del lavoro sociale in Prospettive Sociali e Sanitarie, n°1 del 2004)

Ecco le principali fonti di riferimento De Ambrogio U., Valutare gli interventi e le politiche sociali, Carocci Faber, 2003 Bezzi C, Glossario della ricerca sociale e valutativa, in Rassegna Italiana di valutazione, II 1998; Il disegno della ricerca valutativa, Franco Angeli,2001 Leone L, Prezza M., Costruire e valutare i progetti nel sociale, Franco Angeli, 1999 Martini, Torti, Fare lavoro di comunità, Carocci Faber, 2003 V.Masoni, M&V, Monitoraggio e valutazione dei progetti nelle organizzazioni pubbliche e private, F.Angeli, 1997 C.Migani et altri, Ricerca sugli indicatori di efficacia/qualità degli interventi attivati sul tema del benessere a scuola, 2004