E soprattutto: a cosa dovrebbe servirci? Cos’è la valutazione E soprattutto: a cosa dovrebbe servirci? Claudio Bezzi Presidente Associazione Italiana di Valutazione

La valutazione nasce in un contesto decisionale complesso, rispetto al quale il decisore (decisore politico, programmatore, gestore…) necessita di maggiori informazioni rispetto agli esiti delle sue scelte

Risorse sempre più ridotte; La valutazione nasce in un contesto decisionale complesso, rispetto al quale il decisore (decisore politico, programmatore, gestore…) necessita di maggiori informazioni rispetto agli esiti delle sue scelte Risorse sempre più ridotte; Cittadini (e beneficiari in genere) sempre più attenti e consapevoli; Sempre più attori coinvolti nelle decisioni (parti sociali, comitati, portatori di interessi); Impossibilità di sintesi semplici.

La valutazione nasce in un contesto decisionale complesso, rispetto al quale il decisore (decisore politico, programmatore, gestore…) necessita di maggiori informazioni rispetto agli esiti delle sue scelte

Quali i diversi bisogni espressi? Quali gli elementi di ostacolo? La valutazione nasce in un contesto decisionale complesso, rispetto al quale il decisore (decisore politico, programmatore, gestore…) necessita di maggiori informazioni rispetto agli esiti delle sue scelte Quali i diversi bisogni espressi? Quali gli elementi di ostacolo? Cosa posso imparare di utile? Il progetto (o servizio) ha effettivamente raggiunto gli obiettivi? Perché?

Alcuni punti da chiarire la valutazione è analisi specifica, adattata al contesto specifico, che mira alla comprensione dei meccanismi che facilitano il successo o l’insuccesso dei nostri programmi, progetti e servizi La valutazione NON dà certezze NON è un semplice insieme di procedure Non è una scorciatoia per eludere i problemi Non è mai delegabile interamente a professionisti esterni La valutazione NON dà certezze NON è un semplice insieme di procedure Non è una scorciatoia per eludere i problemi Non è mai delegabile interamente a professionisti esterni La valutazione aiuta a vedere i problemi E’ ricerca e analisi “cucita su misura” E’ un modo per capire la natura dei problemi E’ un percorso da fare assieme, tecnici e amministratori La valutazione aiuta a vedere i problemi E’ ricerca e analisi “cucita su misura” E’ un modo per capire la natura dei problemi E’ un percorso da fare assieme, tecnici e amministratori

Decisione, gestione e cambiamento, e il ruolo della valutazione Versione MAGGIO 2007 turbolenza equilibrio Ciò cui ogni Amministrazione tende: Servizi efficienti e cittadini contenti Bilancio senza problemi Sviluppo del territorio…

Decisione, gestione e cambiamento, e il ruolo della valutazione Versione MAGGIO 2007 Quello che accade in realtà: Il bilancio è sempre insufficiente Ci sono sempre eventi esterni imprevisti cui rispondere Le risposte date sembrano sempre non bastare turbolenza equilibrio

Decisione, gestione e cambiamento, e il ruolo della valutazione Versione MAGGIO 2007 evento turbolenza equilibrio Un decreto, una legge, un nuovo adempimento, … Una richiesta politica, un impellente bisogno espresso dal territorio, … Un evento imprevisto (il terremoto in Umbria, l’arrivo di immigrati clandestini in Sicilia, …)

Decisione, gestione e cambiamento, e il ruolo della valutazione Versione MAGGIO 2007 evento turbolenza equilibrio imple- ment. sollecita-zione evento decisione gestione adattamento (precedenti) valutazioni di varia natura valutazione ex ante di risultati e impatti val. in itinere monitoraggio valutazione in itinere e intermedia valutazione in itinere ed ex post di realizzazioni e risultati valutazione ex post di impatti ed ex ante

Valutazione e attività correlate in relazione a intervento e criticità Analisi, riflessione, critica Intervento sul processo Astensione dall’intervento Valutazione Certificazione Audit Registrazione, informazione Monitoraggio Ricerca di base Benchmarking Bilancio sociale

Gli attori sociali rilevanti per la valutazione (Bisogni) Decisione Implementazione Gestione Fruizione Attori che presentano istanze Soggetto che promuove l’intervento Soggetti deputati al controllo Parti sociali Eventuali soggetti convenzionati (utenti, clienti, beneficiari indiretti, ‘vittime’) Beneficiari dell’intervento Alta dirigenza Consulenti Operatori (Funzionari, quadri, consulenti) Valutatore Legenda: Decisori Beneficiari

La valutazione fra competenza tecnica e conoscenza nel merito Competenza tecnico-scientifica della valutazione Conoscenza nel merito dell’evaluando Bassa Media Alta Pregiudizio Metodologia dogmatica Valutazione spontanea Specialismo dogmatico competente esperta

Come realizzare un sistema di valutazione? Facile da gestire (ma poco sensibile) Sensibile (ma più complesso da gestire) Autoritario (solo l’Ente gestore) Dialogico (concertazione con gli altri stakeholder rilevanti) Come (forse) lo vorremmo realizzare Come (forse) dovremo iniziare

Come individuare il bravo valutatore Non ha fretta, e si informa in più modi sui vostri bisogni, sul contesto, sul programma da valutare Non usa mai, o raramente, parole rassicuranti come “ho un MODELLO…”, “questo strumento è stato VALIDATO…” etc.

Come individuare il bravo valutatore Vi chiede di partecipare alla valutazione, mirando più alla vostra comprensione dei problemi, che alla fattura che gli dovete saldare E’ disponibile a cambiare la strategia valutativa in corso d’opera, se scoprite elementi nuovi e inattesi

Come individuare il bravo valutatore Dopo avere ricevuto l’incarico non vi manda, per eseguire il lavoro, solo bravi giovanotti/e che non sono in grado di decidere, assieme a voi, cosa si deve fare Vi parla degli aspetti etici e deontologici del lavoro di valutazione

Valutate solo se: Siete interessati a processi di apprendimento organizzativo Avete chiaro che una valutazione negativa vale quanto una positiva, perché si impara dagli errori quanto dai successi Avete voglia di faticare un po’, per un risultato concreto

Evitate la valutazione se: Sappiamo già da noi cosa si deve fare, e poche chiacchiere! Una valutazione negativa? E cosa ti abbiamo pagato a fare? Ma una ricettina semplice di facile applicazione per la valutazione degli impatti non ce l’avete?

Alcuni esempi applicativi Seconda parte Alcuni esempi applicativi

La valutazione di risultato nei Ser.T di Modena (2006) Sanità La valutazione di risultato nei Ser.T di Modena (2006)

Il problema: difficile condivisione della valutazione di risultato Difficile condivisione di valori e linguaggi data la complessità e le diversità delle varie professionalità (Assistenti Sociali, Educatori, Infermieri, Medici, Psicologi, Sociologi) Implicazione di valori extra-professionali, non negoziabili, su cosa sia ‘bene’ (‘giusto’, ‘opportuno’, ‘corretto’, …) Implicazioni extra-organizzative (norme nazionali, protocolli internazionali, altre organizzazioni coinvolte con diversa mission, …) Fonti di autorità diverse: leggi, codici deontologici, vertici aziendali, coscienza personale, …

Il programma realizzato Comprendere i criteri generali del nostro lavoro e condividere un lessico di base minimo; Avviare una discussione sulle dimensioni del ‘risultato’; Ciascuna dimensione (sottodimensione, indicatore specifico) viene argomentato e discusso per verificarne una qualche validità; Dimensioni (e indicatori) non argomentabili sono scartati; quelli argomentabili sono accettati anche se relativi a dimensioni valoriali, culturali e professionali non da tutti condivise; Tutte le dimensioni (e gli indicatori) accettati sono operativizzati (tradotti in strumenti di valutazione), implementando come routine quelli traducibili nel Sistema Informativo ed utilizzando per ricerche ad hoc gli altri.

Risorse/Strumenti/Modalità Personale Strumenti Il “set” Sistema valoriale individuale Tratti personologici Istituzionali/ Organizzativi Di supporto Formazione Leadership Diagnostici Terapeutici Tempi Luoghi Protocolli/Procedure (come per “Diagnostici”) Farmaci Psicoterapia Colloqui Monitoraggio terapeutico Affiancamento/Orientamento Atteggiamento pedagogico Ricoveri ospedalieri Invio ad altre strutture Colloquio e osservazione Testistici: Farmaci Protocolli/Procedure: Educativi Psicologici Medici A livello professionale Di servizio Formazione pregressa individuale Aggiornamento e formazione continua Formazione nell’équipe Formazione nell’Azienda (comprensione degli obiettivi Rete (i concreti ‘nodi’ della rete: Asl, Comuni, Provincia, …) Accordi inter-istituzionali di ogni tipo Afeguata quantità delle R.U. Adeguata composizione delle R.U. Rete informatica Infrastruttura informatica Altri strumenti di base (telefono, fotocopiatrice, …) Altri strumenti specialistici (e di controllo) Capacità di lavorare in gruppo Disagio, burn-out, Turn over Motivazione Spostamenti (da struttura a struttura, per sedi diverse, …) Relazioni (terapeutiche, di programmazione, …) Accesso alle prestazioni (da parte degli utenti) La rete Il SerT: Il Front Office, l’accoglienza Progettazione e organizzazione degli spazi interni Formale (autorità) Informale (autorevolezza) (Economia) E’ un pre-requisito, e agisce trasversalmente su tutti gli altri

Mandato/Richieste (o: Contesto socio-sanitario) Utente Norme E suo contesto sociale Norme (Leggi, Regolamenti, procedure e consuetudini) Modalità accesso al servizio Approccio al servizio e alle cure Adeguamento e conformità alle norme sociali Uso e comportamento Dipendenze patologiche Caratteristiche sociografiche Patol. Organ. Psico -pat. Modalità Correlate Non correlate Correlate Non correlate Coattivo Volontario Mediato Frequenza Via di assunzione durata Dannoso per gli altri: Dannoso per sé: Comportamenti: Senza conseguenze legali Con conseguenze legali Verso il Sert Lavorativi Affettivi Applicazione (delle leggi) Efficacia (delle procedure) Vuoto di norme e procedure Chiarezza degli obiettivi Superfetazione degli obiettivi Polidipendenza (come forma di cambiamento) Viraggio: Dipendenza: Abuso (danneggia sé e gli altri) Non problematico ma sanzionato Migliorativo Peggiorativo Psichica Fisica Sostanze illegali: Sostanze legali (alcol, caffè, nicotina) Comportamentali (p.es. alimentari) Poli-dipendenze Cannabis Cocaina Eroina Tempo in carico Adesione/Motivazione Altri programmi precedenti e loro esito Altri servizi che hanno in carico Età, Sesso, Stato Civile, Titolo studio Presenza di figli Convivenza Alloggio (possiede una dimora/non ha fissa dimora) Situazione professionale (ha un lavoro/non ce l’ha) Provenienza geografica (rinvia a modelli culturali e comport.) Religione Invalidanti Non invalidanti Invalidanti Non invalidanti Correlate/Non correlate

Progetto Equal “Artemis”, 2004-2005 Politiche sociali Progetto Equal “Artemis”, 2004-2005

1^ valutazione 2^ valutazione e 3^ valutazione