1 Corso di formazione sul monitoraggio e la valutazione dei Piani di zona della Provincia di Torino I modulo – prima giornata 30 marzo 2006 Katja Avanzini Ugo De Ambrogio

2 Che cosa si valuta e i diversi tipi di valutazione

3 DEFINIZIONE è unespressione di giudizio rispetto ad azioni di interesse collettivo, con lintento di migliorare le azioni pubbliche, viene svolta attraverso attività di ricerca realizzate con metodi rigorosi e codificabili, valorizzando gli aspetti inattesi e contraddittori, deve essere comunicata a terzi in modo esplicito e trasparente, allinterno di un processo nel quale valutazione e progettazione sono percorsi integrati. VALUTA- ZIONE VALUTA- ZIONE

4 CHE COSA SI VALUTA NEI SERVIZI SOCIALI

5 Una valutazione frattale

6 Valutazione del singolo intervento Valutazione zonale della politica di uno specifi- co settore (anziani) Valutazione del piano di zona Valutazione degli interventi provinciali di coordinamento e sostegno Valutazione della politica regionale

7 TIPI DI VALUTAZIONE La valutazione realizzata prima dell'approvazione e della successiva implementazione di un progetto; l In questo caso la valutazione aiuta i decisori a scegliere fra scenari alter- nativi (derivati da probabili diversi impatti dell'azione da avviare), o fra progetti alternativi, o fra modalità di esecuzione alternative dello stesso progetto. l Nel caso in cui non ci sia una reale possibilità di scelta, aiuta a stimare i diversi effetti, positivi e negativi, del progettoin via di implementazione, al fine di elaborare correzioni o sostegni VALUTA ZIONE EX ANTE- VALUTA ZIONE EX ANTE-

8 TIPI DI VALUTAZIONE VALUTA ZIONE IN ITINERE VALUTA ZIONE IN ITINERE E' quella valutazione che si realizza mentre il processo valutato è ancora in corso, al fine di conseguire l'adattamento e la correzione di eventuali deviazioni dal progetto originario, a causa di errori di progettazioni o di modificazioni del contesto;

9 TIPI DI VALUTAZIONE VALUTAZIO NE EX POST VALUTAZIO NE EX POST Valutazione di un intervento dopo che è stato completato. L'obbiettivo della valutazione ex post è quello di studiare se e come il progetto abbia raggiunto gli obbiettivi prefissati nonché immaginare soluzioni adeguate per interventi simili in futuro l in genere si considerano tre momenti distinti della valutazione ex post: l dell'output (è stato fatto?) l dell'outcome (è stato fatto bene?) l di impatto (è servito?)

10 TIPI DI VALUTAZIONE Affronta di norma l'aspetto procedurale e mira ad analizzare i seguenti aspetti: l il grado di cooperazione fra i soggetti coinvolti l il modo in cui vengono raggiunti i destinatari degli interventi l le procedure di partecipazione adottate VALUTA ZIONE DI PROCESSO VALUTA ZIONE DI PROCESSO

11 TIPI DI VALUTAZIONE Valutazione che considera gli esiti di un determinato intervento, la sua efficacia. Viene usualmente distinta in due categorie fondamentali: l l'efficacia interna, intesa come la capacità di raggiungere gli obiettivi e i risultati attesi, definiti a priori l l'efficacia esterna, intesa come la capacità del servizio di soddisfare i bisogni degli utenti VALUTAZIONE DI RISULTATO VALUTAZIONE DI RISULTATO

12 TIPI DI VALUTAZIONE E' una valutazione attraverso la quale la qualità degli interventi forniti viene analizzata e sottoposta a giudizi finalizzati al suo miglioramento l Fare valutazione della qualità per chi si occupa di servizio sociale significa tenere conto di valori ed obbiettivi dei soggetti coinvolti in un determinato intervento (destinatari, operatori, attori della comunità locale) e delle relazioni tra tali attori VALUTAZIO NE DELLA QUALITA' VALUTAZIO NE DELLA QUALITA'

13 TIPI DI VALUTAZIONE La valutazione realizzata coinvolgendo un n. significativo di attori implicati nella realizzazione di un servizio, che contribuiscono alla formulazione di giudizi e se ne assumono la responsabilità rispetto alla realizzazione degli interventi successivi VALUTA ZIONE PAR TECIPATA VALUTA ZIONE PAR TECIPATA

14 Art. 9 della l.285/97 Valutazione dellefficacia della spesa: l ogni anno le regioni devono presentare una relazione sullo stato di attuazione degli interventi, sulla loro efficacia, sullimpatto sui minori e sulla società, sugli obiettivi conseguiti e sulle misure da adottare per migliorare le condizioni di vita dei minori nel rispettivo territorio.

15 La valutazione nella 328/2000 l Art. 3 comma 1: Per la realizzazione degli interventi e dei servizi sociali, in forma unitaria e integrata, è adottato il metodo della programmazione degli interventi e delle risorse, delloperatività per progetti, della verifica sistematica dei risultati in termini di qualità e di efficacia delle prestazioni, nonché della valutazione di impatto di genere.

16 CONSIDERAZIONI DI SINTESI 1. La Valutazione pervade in modo crescente la normativa nazionale di settore: Ci viene pertanto sempre più frequentemente detto che: la valutazione si deve fare. 2. Si tratta di valutazione di casi, interventi e di politiche, anche se, come è logico, la normativa insiste soprattutto su interventi e politiche, lasciando al livello professionale la valutazione dei casi.

17 CONSIDERAZIONI DI SINTESI 3. Le finalità valutative proposte sono sia nella logica della valutazione \ appren- dimento per migliorare (learning) che in quella della valutazione \ rendicon- tazione (accountability). Tuttavia la normativa non è sempre chiara sul "perché si valuta" l 4. Ci viene per tanto detto che valuta- zione si deve fare ma dalla lettura della normativa la valutazione "non si vede", non si capisce cioè come si può fare la valutazione

18 CARATTERISTICHE RELAZIONALI DELLA VALUTAZIONE

19 l Un processo di valutazione può essere inteso anche come un sistema relazionale allinterno del quale vengono agite una pluralità di interazioni l Lefficacia della valutazione dipende pertanto anche dalla relazione che si instaura fra i soggetti in campo

20 CARATTERISTICHE RELAZIONALI DELLA VALUTAZIONE l presenza di soggetti valutatori e di soggetti valutati l rischio di asimmetria nella relazione fra i soggetti.

21 CARATTERISTICHE RELAZIONALI DELLA VALUTAZIONE. lSlSentirsi intrusivo in casa daltri lSlSentirsi preso per un giudice sanzionatore lTlTrovarsi di fronte a qualcuno che vuole nascondere qualcosa lSlSentirsi un controllore lslsentirsi un operatore o nel posto e nel luogo sbagliato possibili vissuti di- fensivi del valutatore

22 CARATTERISTICHE RELAZIONALI DELLA VALUTAZIONE l Sentirsi giudicato come professionista l Sentirsi giudicato come persona l Trovarsi di fronte a un giudice sanzionatore l Sentirsi controllato possibili vissuti difensivi del valutato

23 RISCHI RELAZIONALI NEL CASO CHE PREVALGANO VISSUTI DIFENSIVI Si farà strada per entrambi la convinzione che se lui vince io perdo oppure se io vinco, lui perde In questo caso la comunicazione diverrà difficile e provocherà disagi

24 RISCHI RELAZIONALI NEL CASO CHE PREVALGANO VISSUTI DIFENSIVI Non ci sarà apertura né disponibilità ad intraprendere insieme percorsi di ricerca, bensì ci sarà chiusura, occultamento delle informazioni, diffidenza, boicottaggio dellaltro ecc

25 RISCHI RELAZIONALI NEL CASO CHE PREVALGANO VISSUTI DIFENSIVI In questi casi il processo di valutazione appare destinato a divenire semplice controllo, percepito in modo simile al voto scolastico, e, paradossalmente sia il valutatore che il valutato finiranno per svalutarsi luno laltro e svalutare il processo valutativo generale.

26 La svalutazione un processo mentale inconsapevole che consiste nellignorare o sminuire delle informazioni pertinenti alla soluzione di un problema. A. W. Shiff e J.L. Shiff

27 La svalutazione svalutare, nellaccezione proposta, significa non considerare e stravolgere i dati di realtà, non riconoscere le risorse personali e materiali, far prevalere i propri pregiudizi, non prendere sul serio sé, laltro e il problema, non vedere e boicottare le possibilità di cambiamento.

28 La svalutazione E effettivamente lopposto di ciò che gli esperti valutatori considerano come Valutazione con la V maiuscola,

29 la misura del successo della valutazione può essere rappresentata dallampiezza dei cambiamenti intervenuti nel comportamento degli attori dellintervento, servizio o politica valutata (Dente 2000).

30 Valutazione e svalutazione Appare pertanto evidente rilevare che una buona valutazione non può essere realizzata da soggetti svalutanti, perché non si possono promuovere cambiamenti con chi disconferma la rilevanza, le possibilità e le capacità stesse di cambiamento.

31 La svalutazione Però, in molte delle esperienze di valutazione alle quali ho partecipato molto spesso sono incappato in svalutatori, che, difendendosi da qualcuno o qualcosa tendevano a boicottare il processo valutativo e a minacciarne seriamente lefficacia.

32 Alcune volte però è capitato che nel corso del processo valutativo gli svalutatori si siano trasformati in co-valutatori (ovvero in risorse per la valutazione) e ciò è avvenuto quando hanno progressivamente visto scemare le preoccupazioni e diffidenze che li mantenevano in un atteggiamento difensivo.

33 STRATEGIE PER EVITARE CHE LA VALUTAZIONE DIVENGA SVALUTAIONE E opportuno che la componente di contenuto della comunicazione (siamo qui a valutarci per migliorare) sia in accordo con la componente di relazione (il nostro è un incontro fra professionisti, è un incontro fra pari che si riconoscono in un obiettivo comune, in un quadro di fiducia e stima reciproci )

34 Ne consegue che durante la ricerca valutativa è opportuno che non si instauri una relazione nella quale uno vince e laltro perde, bensì una relazione generativa, in cui possono vincere entrambi, perchè entrambi perseguono il medesimo obbiettivo

35 ALLINTERNO DI UNA RELAZIONE GENERATIVA AVREMO: l accoglienza l apertura l atteggiamento ricercante l atteggiamento collaborativo ALLINTERNO DI UNA RELAZIONE COMPETITIVA AVREMO: l rifiuto l chiusura l atteggiamento giudicante l atteggiamento difensivo

36 Non basta però mettere le persone attorno a un tavolo, con un comune obiettivo valutativo, perché magicamente si producano le condizioni per una buona valutazione. E necessario che chi si assume la responsabilità di conduzione di tali processi svolga unattenta ed equilibrata funzione di regia che, accanto alle competenze tecniche affianchi anche le capacità di gestione dei gruppi, le sensibilità contrattuali, le capacità di integrare punti di vista e competenze diverse.

37 E infatti necessario che, nel corso di un processo di valutazione, i partecipanti progressivamente divengano consapevoli che il gioco della svalutazione non è particolarmente divertente, perché alla fine non porta vantaggi a nessuno e produce soltanto incomprensioni e frustrazioni,

38 Invece la riflessione sui significati, lorientamento allinatteso, la assunzione di responsabilità di giudizio, la capacità di costruzione collettiva di strategie di miglioramento sono esperienze complesse ma gratificanti, che emergono solo in gruppi integrati, formati da individui che si riconoscono reciprocamente come capaci e competenti.

39 Attenzioni metodologiche

40 ATTENZIONI METODOLOGICHE Principio di autovalutazione ogni soggetto interessato dalla valutazione è responsabile e primo utilizzatore della propria valutazione

41 ATTENZIONI METODOLOGICHE Principio dei diversi livelli di valutazione il processo di valutazione interessa tutti i livelli istitu- zionali coinvolti nell erogazione di un intervento

42 ATTENZIONI METODOLOGICHE Principio di non autoreferenzialita' per quanto possibile la valutazione deve essere basata su riscontri oggettivi e comunque esterni al soggetto valutatore

43 ATTENZIONI METODOLOGICHE Principio di confrontabilità: le valutazioni devono essere condotte sulla base di criteri di giudizio e metodi omogenei e permettere confronti nel corso del tempo, anche fra più esperienze.

44 ATTENZIONI METODOLOGICHE Principio di trasparenza: le valutazioni devono essere condotte sulla base di criteri di trasparenza ovvero attraverso attività chiare, esplicite e documentate per i diversi livelli e soggetti coinvolti (chi ha diritto di sapere)

45 A B V E C D SCHEMA dei "tasselli" Tratto da uno spunto di G. Mazzoli - Studio APS Milano

46 SCHEMA DELLA "TENSIONE DEL VALUTATORE " tratto da Francis Alfoldi "l'evaluation en protection de l'enfance - Théorie et méthode" Dunod 1999 paris - pg 113 Oggettività Soggettività

47 IL SUCCESSO DELLA VALUTAZIONE

48 IL SUCCESSO DELLA VALUTAZIONE l La probabilità di successo della valutazione è più alta in un ambiente turbolento (quadranti BCD schema di Thompson Tuden) l Infatti quando non si riesce a pianificare e prevedere, gli sguardi si rivolgono al passato, e pertanto la valutazione acquista un ruolo più importante

49 IL SUCCESSO DELLA VALUTAZIONE La misura del successo della valutazione può essere rappresentata dallampiezza dei cambiamenti intervenuti nel comportamento degli attori dellintervento, servizio o politica

50 IL SUCCESSO DELLA VALUTAZIONE La probabilità di successo della valutazione è alta se questa svolge una funzione di apprendimento per gli attori coinvolti

51 quanto fin qui esposto mi porta ad essere totalmente daccordo con Bezzi quando afferma che una valutazione efficace non può essere ridotta a mero tecnicismo e che il valore della valutazione non è – solo – in ciò che produce (il giudizio valutativo) ma nel processo partecipativo che compie per produrlo (Bezzi 2003).

52 non importa solo quello che trovi alla fine della corsa ma anche quello che provi quando corri (notte prima degli esami)

53 bibliografia Testi. l C. Bezzi – Il disegno della ricerca valutativa- F.Angeli 2003 (edizione aggiornata) l G. Bertin – Valutazione e sapere sociologico – Il Mulino – 1996 (?) l U. De Ambrogio – Valutare gli interventi e le politiche sociali – Carocci Faber 2003 l M. Palumbo – Il Processo di valutazione, F. Angeli 2001 l E. Ranci Ortigosa (a cura di) La valutazione di qualità dellintervento sanitario – F. Angeli 2000 l U. De Ambrogio La valutazione partecipata della qualità come processo relazionale generativo, su Prospettive Sociali e Sanitarie n. 14, l Siti. l l