La valutazione: cos’è, per chi, perché e come si fa Progettazione e valutazione delle politiche sociali Università degli Studi di Genova a.a

2 a) Definizione di valutazione un complesso di attività coordinate, di carattere comparativo, basate sulla metodologia della ricerca delle scienze sociali e ispirate ai suoi metodi, che ha per oggetto interventi intenzionali (svolti o che si intende svolgere) e in quanto tali razionalmente intelligibili, con l’obiettivo di produrre un giudizio su di essi in relazione al loro svolgersi o ai loro effetti.

3 a) I punti chiave della definizione:

4 1. attività di carattere comparativo: si compara rispetto a:  bisogni  obiettivi  standard  (controfattuale)

5 Organizzazione (obiettivi) Operatori Cittadini/utenti (standard)(bisogni)

6 2. attività basate sui principi e sui metodi della ricerca scientifica nelle scienze umane:  pubblicità  ripetibilità  controllabilità  utilizzo di metodi e tecniche derivanti da economia, sociologia, politologia, ecc.

7 3. che ha per oggetto: attività intenzionali (la cui razionalità è ricostruibile in qualche modo, quando non esplicitamente argomentata) e come tali intelligibili intersoggettivamente. Senza questa caratteristica alcuni tipi di valutazione sono impossibili

8 4. che ha per obiettivo: la formulazione di un giudizio – sul processo di attuazione o – sugli esiti ottenuti dagli interventi.

9 Cosa non è: differenze rispetto ad audit e monitoraggio (da MEANS)

10 Punti di vistaCriteri di giudizio Professionalità richieste Audit Legittimità e regolarità (conformità a norme e regolamenti) Chiari e conosciuti in anticipo (budget, regola­menti, standard professionali) Conoscenza in profondità dei criteri prestabiliti (es., giuridici o finanziari) Monit oraggi o Solidità della gestione; produce analisi regolari dello sviluppo del programma Obiettivi operativi da raggiungere Competenze in materia organizzativa, gestionale, di costruzione di sistemi informativi Valuta zione Risultati e impatti prodotti sulla società Obiettivi da defi­ni­re con precisione (raramente sono chiari, quantificati, verificabili, immediatamente utilizzabili) Capacità di ottenere la collaborazione degli interlocutori. Capacità di ricerca sul campo.

11 a) finalità e usi (da Martini e Cais; Stame; Weiss)

12 a) complianceper far rispettare le regole b) management controlper tenere sotto controllo l’organizzazione c) accountabilityper rendere conto dei risultati ottenuti d) learningper capire se e come gli interventi funzionano e) policy and program designper orientare le scelte tra alternative di policy

13 a) Compliance: per controllare la regolarità degli adempimenti e degli atti compiuti dai singoli, per prevenire o individuare comportamenti illegittimi, negligenti o comunque non regolamentari. Si tratta in sostanza del controllo di legittimità ed è assimilabile all’ auditing.

14 b) Management control: riguarda “l’informazione che si raccoglie all’interno di un’organizzazione per consentire a chi è al vertice di tenerne sotto controllo il funzionamento” corrisponde al concetto italiano di controllo di gestione (manageriale, direzionale). Le informazioni raccolte “servono a tenere sotto controllo gli aspetti cruciali dell’attività di un’organizzazione”

15 c) Accountability: dovere che un soggetto responsabile di un’organizzazione (o di una politica, di un progetto) ha di “render conto” a particolari interlocutori esterni delle scelte fatte, delle attività e dei risultati di cui è autore o responsabile il rapporto di accountability, di norma costituisce la contropartita di un rapporto di delega di responsabilità

16 d) Learning è una finalità che riguarda “l’insieme dei soggetti che hanno interesse ad un certo intervento pubblico” l’obiettivo della raccolta (ed analisi) delle informazioni non è l’attribuzione di responsabilità, ma “una soluzione migliore ad un problema comune”.

17 e) Policy and program design riguarda il caso in cui la finalità dell’informazione raccolta è di permettere la scelta tra alternative; è quindi interna all’attività di costruzione dei programmi e corrisponde alla valutazione intesa in termini di selezione di progetti

18 In letteratura si distingue generalmente tra tre diversi tipi di usi:

19 a) uso diretto o strumentale assimilabile alla valutazione formative e alla finalità di sviluppo o miglioramento dei programmi, concerne l’effettivo mutamento prodotto sui programmi dalla valutazione;

20 b) uso concettuale influenza in modo indiretto i decisori modificando i quadri di riferimento concettuali, le teorie e le ipotesi correnti sui fenomeni oggetto della policy, assimilabile dunque alla funzione di knowledge generation (Celimsky);

21 c) utilizzazione persuasiva concerne l’uso “retorico” o “simbolico”, definito anche “pseudo-valutazione” (Stufflebeam: public relation-inspired studies e Politically Controlled studies)

22 Learning: connessa al principio del miglioramento continuo Non imparano solo gli attuatori o i decisori Anche le teorie (scientifiche o di senso comune) sottostanti alla programmazione possono essere cambiate grazie alla valutazione (vedi Evidence based politics di Pawson)

23 Accountability: è la prima funzione della valutazione ad essere sottolineata rischia lo sconfinamento nella concezione di “controllo” ha funzione anche di garanzia per il valutato tipica dell’approccio obiettivi-risultati, non sempre è compatibile con la funzione di learning

24 Tre buone ragioni per valutare (da MEANS) a)Verificare se l’azione pubblica risponde a bisogni non soddisfatti o inadeguatamente soddisfatti b)Migliorare gli interventi c)Accountability

25 a) Verificare se azione corrisponde a bisogni Un intervento pubblico può essere giustificato solo se intende soddisfare bisogni o risolvere problemi socio-economici. La valutazione serve a chiarificare questi bisogni o a verificare la reale esistenza di questi problemi, specialmente se è ex ante. Quando è ex post serve ad esaminare se i bisogni o i problemi sussistono ancora.

26 b) Migliorare gli interventi Osservando la realtà dei risultati e degli impatti, l’esercizio valutativo fornisce un’opportunità di apprendimento. Alcune lezioni tratte dall’esperienza portano a miglioramenti nella realizzazione della valutazione senza necessariamente modificare le assunzioni di base dell’intervento stesso (single loop learning). La valutazione può anche proporre riorientamenti alla strategia, ad esempio mediante una riorganizzazione delle modalità attuative (double loop learning). La valutazione fornisce un contributo strumentale alla soluzione di problemi d’intervento in un ambiente instabile (formative evaluation); aiuta i decisori o gestori del programma a migliorarlo.

27 c) accountability Il terzo obiettivo della valutazione consiste nel produrre rapporti per le autorità politiche e per i cittadini sui risultati ottenuti e sul buon uso delle risorse allocate. I doveri della pubblica amministrazione costituiscono la contropartita dei loro diritti d’imposta e del loro potere coercitivo. La valutazione contribuisce in modo decisivo al processo democratico spiegando in termini semplici dove è stato speso il denaro pubblico, quali effetti ha prodotto e come la spesa è stata giustificata. Destinatari della valutazione sono in questo caso i dirigenti pubblici e, attraverso i mezzi di comunicazione di massa, i cittadini.

e) La valutazione secondo gli schemi MEANS (il ciclo del programma) I tipi di valutazione sono definiti in base allo stadio del ciclo del programma (valutazione delle realizzazioni, dei risultati, degli impatti)

29

30 TermineDefinizione MEANS (Da C.E. 1999, I: 106/7) Output Realizzazione, prodotto Il prodotto dell’attività degli operatori, ottenuto in contropartita del finanziamento erogato Risultato/i, outcome I vantaggi immediati che hanno tratto i destinatari dal programma, ossia i mutamenti che riguardano direttamente gli interessati Outreach, impatti specifici conseguenze che si manifestano nel breve medio periodo tra i destinatari diretti Impatti globaliconseguenze che si manifestano, nel breve medio periodo, nelle persone e organizzazioni che non sono state interessate dal programma

31 Riflessioni critiche: a) non tutte le attività sono “missili a tre stadi” b) non sempre opera la causalità lineare c) il sistema d’implementazione è penalizzato

32

33 TIPI DI VALUTAZIONE a)Relevance (rilevanza): in che misura gli obiettivi del programma sono giustificati rispetto ai bisogni. Può essere motivata la loro ragion d’essere? Corrispondono alle priorità locali, nazionali, comunitarie? b)Effectiveness (efficacia): in quale misura gli obiettivi sono stati raggiunti? Hanno gli strumenti usati prodotto gli effetti attesi? Migliori o maggiori effetti avrebbero potuto essere ottenuti usando altri strumenti? c)Efficiency (efficienza): gli obiettivi sono stati raggiunti al minor costo? Migliori risultati avrebbero potuto essere ottenuti con gli stessi costi? d)Utility (utilità): gli effetti attesi e inattesi sono nel loro complesso soddisfacenti dal punto di vista dei destinatari diretti o indiretti?

34 Il disegno della valutazione 1. Definizione degli obiettivi e degli usi della valutazione 2. Definizione delle strategie (tipi di valutazione, oggetti specifici della valutazione) 3. Definizione degli approcci e degli strumenti 4. Valutazione preliminare costo-efficacia delle strategie proposte e delle strategie alternative possibili 5. Influenza delle scelte sulla qualità della valutazione

35 I nodi critici A) ci sono nessi tra oggetti, approcci, strumenti, tecniche. Es., accountability, survey, questionario B) ci sono vincoli nell’impiego di ogni strumento o tecnica C) e nelle elaborazioni che questi permettono D) ci sono costi congruenti con l’utilizzo di tali strumenti o tecniche E) tutto quanto deve essere giustificabile in modo razionale

36 Osservazioni di buon senso A) il disegno va condiviso perché altrimenti rischia di non essere utile-utilizzato B) strumenti e strategie vanno giustificati in ragione dei loro punti di forza e di debolezza (in rapporto agli obiettivi della valutazione) C) il passaggio dai dati ai giudizi dev’essere coerente con le premesse (gli obiettivi della valutazione, le finalità dell’intervento) e logico nelle argomentazioni D) Ancor più il passaggio dal giudizio alle recommendations (che possono richiedere competenze diverse da quelle del valutatore)

37 Who assesses the quality of evaluations? Quality assessment can be done by.... with a view to.... ¨ the steering group with the help, when necessary, of a specialist ¨ validating the final report and verifying its robustness ¨ the co-decision-makers of the programme ¨ gauging the reliability of conclusions and recommendations ¨ national and European authorities ¨ gauging the reliability of conclusions and recommend. ¨ improving the evaluation system currently in use ¨ independent experts¨ guaranteeing the genuineness of the conclusions disseminated to the public ¨ developing professional standards (meta-evaluation)

38