Milano, 13 – 14 febbraio 2008 Monitoraggio e valutazione ATTENTI A QUEI DUE!

The term evaluation carries so much baggage that one is in danger of dealing not so much with methodology than with incantation (Ray Pawson and Nick Tilley, Realistic Evaluation, 1997, p. 2) Il termine valutazione è carico di un tale fardello di significati che si corre il rischio di avere a che fare più con un incantesimo che con una metodologia

Carol Weiss nel 1972 già notava che valutazione è un termine elastico che può essere esteso a comprendere molteplici attività di giudizio

Valutazione è diventata una calamita semantica, capace di attrarre significati del tutto eterogenei e di offrire agli interlocutori le suggestioni più diverse

Ipertrofia terminologica Nei documenti metodologici comunitari vengono utilizzati termini quali output, che assume il significato di realizzazione, ossia di ciò che è stato ottenuto in termini di trasformazione diretta dellinput previsto nel programma; loutcome è stato sostituito dal termine result, risultato, utilizzato in ambito comunitario per riferirsi ai soli effetti diretti e immediati dellazione sui destinatari (quindi in unaccezione un poco più ristretta rispetto a quella di outcome), mentre gli effetti a breve-medio termine e indiretti sui destinatari vengono denominati impatti specifici. Impatti globali sono infine, sempre nel lessico comunitario, gli effetti del programma su popolazioni che non erano destinatarie dirette dello stesso. A questo punto il termine esito può essere utilizzato per riferirsi genericamente agli effetti di una politica. (Mauro Palumbo, Valutazione di processo e dimpatto: luso degli indicatori tra meccanismi ed effetti)

Esiti, risultati, outcome, output, realizzazioni, impatti specifici, impatti globali, effetti diretti e immediati, effetti a breve-medio termine, effetti indiretti, effetti su popolazioni non destinatarie Basterebbero due termini: realizzazioni ed effetti

Megalomania cognitiva È ora di precisare meglio cosa cerca la valutazione; qual è il suo prodotto. In estrema sintesi, la valutazione esprime un giudizio sullefficacia e lefficienza delle realizzazioni, dei risultati e degli impatti di politiche, programmi e progetti, di servizi e di organizzazioni, con riferimento sia ai processi che agli esiti. (Claudio Bezzi, Cosè la valutazione, Franco Angeli, 2007, pagina 41)

Proponiamo una definizione minimalista Valutare: esprimere giudizi empiricamente fondati sul successo di unazione diretta a uno scopo

In primo luogo, i giudizi devono essere empiricamente fondati basati cioè su osservazioni della realtà e non su idee precostituite (pre-giudizi)

In secondo luogo, il successo dellazione da valutare coincide con la sua capacità di realizzare quanto si proponeva e di produrre gli effetti desiderati

La motivazione per la valutazione di una azione sta nellincertezza che essa sia effettivamente in grado di produrre gli effetti desiderati

Una parentesi sugli effetti Leffetto è (nellaccezione rigorosa): La differenza tra ciò che si osserva dopo la realizzazione dellintervento e ciò che si sarebbe osservato in assenza dellintervento

È quindi una questione di attribuzione causale Osservo dei cambiamenti. Quanta parte di questi è attribuibile al mio intervento?

Esiste un complesso apparato di tecniche che sono nate per questo e solo quando le si utilizza si può parlare correttamente di analisi di effetti quindi a. Nei casi in cui lattribuzione causale è scontata, non ci poniamo il problema e descriviamo il cambiamento b. Nei casi in cui lattribuzione causale NON è scontata o utilizziamo lapparato metodologico di cui sopra (e allora possiamo parlare di analisi di effetti o di impatto), oppure descriviamo il cambiamento osservato

La valutazione nel nostro caso assolve ad almeno tre funzioni che sono determinate da: - La domanda che ci stiamo ponendo - Il motivo per cui ce la stiamo ponendo

Le funzioni sono 2. Rendicontazione delle realizzazioni 3. Diffusione della conoscenza 1. Apprendimento su cosa funziona

1. Apprendimento su cosa funziona RiCReAzione – Riflessione Critica sulla Realizzazione dellAzione Domanda: Cosa non sta funzionando? Perché? Motivo: Migliorare lazione

2. Rendicontazione delle realizzazioni Ren.de.Re Domanda: Cosa abbiamo realizzato? (eventualmente …fino ad ora) Motivo: Rendere conto a consiglio di classe, dirigente scolastico, finanziatori (es. Fondazione Cariplo) Promuovere allesterno le iniziative realizzate (es. inserire informazioni nel POF)

3. Condivisione della conoscenza Domanda: Motivo: Far crescere la comunità di pratica, utilizzare lesperienza per la fase di diffusione del progetto LAIV Cosa abbiamo imparato nel realizzare lazione?

La valutazione non è una scienza esatta e non è nemmeno unarte magica. La credibilità dei giudizi cui perviene dipendono dalla capacità di: 1. Individuare correttamente le fonti di informazione 2. Costruire adeguati strumenti di raccolta delle informazioni 3. Argomentare in maniera plausibile i risultati ottenuti

Fine…prima parte