Dr. Carmelo Bruni1 Valutazione (a) [Valutare significa] analizzare se un'azione intrapresa per uno scopo corrispondente ad un interesse collettivo abbia.

Presentazione sul tema: "Dr. Carmelo Bruni1 Valutazione (a) [Valutare significa] analizzare se un'azione intrapresa per uno scopo corrispondente ad un interesse collettivo abbia."— Transcript della presentazione:

1 Dr. Carmelo Bruni1 Valutazione (a) [Valutare significa] analizzare se un'azione intrapresa per uno scopo corrispondente ad un interesse collettivo abbia ottenuto gli effetti desiderati o altri, ed esprimere un giudizio sullo scostamento che normalmente si verifica, per proporre eventuali modifiche che tengano conto delle potenzialità manifestatesi [...] si valuta per sapere non solo se un'azione è stata conforme ad un programma esistente, ma anche se il programma è buono (Stame, 1998, p. 91).

2 Dr. Carmelo Bruni2 Valutazione (b) [La valutazione è una] produzione di informazione (per dare giudizi) su attività pubbliche, con l'intento di migliorarle (Martini).

3 Dr. Carmelo Bruni3 Valutazione (c) [La valutazione è una] attività cognitiva rivolta a fornire un giudizio su di un'azione intenzionalmente svolta o che si intende svolgere, destinata a produrre effetti esterni, che si fonda su un'attività di ricerca delle scienze sociali e che segue procedure rigorose e codificabili (Palumbo, 2001, p. 59).

4 Dr. Carmelo Bruni4 Valutazione (d) [La valutazione è un] processo che ricerca e valorizza gli aspetti contraddittori e inattesi che mettono fortemente in crisi il modello dato e li considera tracce di un ordine diverso la cui rivelazione costituisce oggetto di specifiche attenzioni (Setti Bassanini, 1991, p. 239)

5 Dr. Carmelo Bruni5 Valutazione (e) [...] la valutazione ha lo scopo di assegnare un valore all'azione svolta e di riuscire a comunicarlo agli altri. Questa duplice anima di giudizio e di comunicazione determina la natura del processo valutativo, la complessità che deve essere affrontata (Bertin, Porchia, 2ooo, p. 81).

6 Dr. Carmelo Bruni6 Valutazione (f) La valutazione è principalmente (ma non esclusivamente) un'attività di ricerca sociale applicata, realizzata nell'ambito di un processo decisionale, in maniera integrata con le fasi di programmazione, progettazione e intervento, avente come scopo la riduzione della complessità decisionale, attraverso l'analisi degli effetti diretti e indiretti, attesi e non attesi, voluti non voluti, dell'azione, compresi quelli non riconducibili ad aspetti materiali (Bezzi, 2001, p. 29).

7 Dr. Carmelo Bruni7 Valutazione (sintesi) è un'espressione di giudizio rispetto ad azioni di interesse collettivo (Stame); ha l'intento di migliorare gli interventi e le politiche pubbliche (Martini); è svolta attraverso attività di ricerca realizzate con metodi rigorosi e codificabili (Palumbo); valorizza gli aspetti inattesi e contraddittori (S. Bassanini); deve essere comunicata a terzi in modo esplicito e trasparente (Bertin, Porchia); avviene all'interno di un processo nel quale valutazione e progettazione sono percorsi integrati (Bezzi).

8 Dr. Carmelo Bruni8 Valutazione è intesa come… Apprendimento (learning); Controllo/Rendicontazione (accountability).

9 Dr. Carmelo Bruni9 Valutazione come apprendimento La valutazione come apprendimento ha lo scopo di rispondere a domande su aspetti fondamentali di un’attività pubblica. Esiste una lacuna nella conoscenza di chi è chiamato a decidere sul disegno di una politica o a giudicare della sua realizzazione complessiva: tale mancanza può riguardare la fattibilità dell’intervento, le caratteristiche della sua messa in opera e gli effetti desiderati o indesiderati che esso ottiene.

10 Dr. Carmelo Bruni10 Valutazione come controllo la valutazione come controllo ha l’obiettivo di produrre giudizi sulla gestione di una attività pubblica. La valutazione è uno strumento per controllare l’operato di chi gestisce un intervento o un servizio. Lo scopo ultimo è identificare disfunzioni, imporre sanzioni, spostare risorse, migliorare la performance delle unità operative che gestiscono l’intervento in questione.

11 Dr. Carmelo Bruni11 Approcci della valutazione 1 «quello positivista sperimentale, in cui l'elemento di confronto è rappresentato dagli obiettivi del programma, e la valutazione consiste nel vedere se e in che modo essi siano stati raggiunti grazie al programma». ;

12 Dr. Carmelo Bruni12 Approcci della valutazione 2 «quello pragmatista ‑ della qualità, in cui ci si confronta con degli standard di qualità, e la valutazione consiste nel dare un parere su quanto ci si avvicini agli standard» (che è adottato per esempio nella costruzione di carte dei servizi). Scriven;

13 Dr. Carmelo Bruni13 Approcci della valutazione 3 «quello costruttivista ‑ del processo sociale, in cui ci si confronta con ciò che viene considerato un successo dagli stakeholders, e la valutazione consiste nello spiegare perché in quella situazione quel risultato sia considerato tale» (che comprende molte esperienze di valutazione partecipata).

14 Dr. Carmelo Bruni14 Tipi di valutazione Ex ante; In itinere; Ex-post

15 Dr. Carmelo Bruni15 Valutazione ex-ante È la valutazione su attività progettate ma non realizzate, svolta prima dell'approvazione e/o della successiva implementazione di un progetto; Si fa soprattutto per aiutare i decisori a scegliere fra scenari alternativi, o per scegliere fra progetti alternativi, o fra modalità di esecuzione alternative dello stesso progetto (Scelte nelle LL. 285 o 309)

16 Dr. Carmelo Bruni16 Valutazione in itinere Si realizza mentre il processo valutato è ancora in corso, al fine di conseguire l'adattamento e la correzione di eventuali deviazioni dal progetto originario, a causa di errori di progettazioni o di modificazioni del contesto (richiesta dalle LL. 309 e 285);

17 Dr. Carmelo Bruni17 Valutazione in itinere Si fa durante la realizzazione di un intervento per raccogliere elementi utili alla conferma o modifica delle scelte operative ipotizzate a priori, in modo da poter "assestare il tiro" in corso di azione, riorientando l'intervento o modificandolo al meglio;

18 Dr. Carmelo Bruni18 Valutazione in itinere Monitoraggio = rilevamento dei valori dei parametri indicativo dello stato di funzionamento dell’intervento; Valutazione in itinere = è più ampia del monitoraggio, prevede infatti l'espressione di giudizi per il cambiamento.

19 Dr. Carmelo Bruni19 Valutazione ex-post Si realizza al termine di un intervento, dopo cioè che è stato completato. L'obiettivo delta valutazione ex post è di studiare se e come il progetto abbia raggiunto gli obiettivi prefissati ed eventuali risultati ulteriori nonché immaginare soluzioni adeguate per analoghi interventi in futuro.

20 Dr. Carmelo Bruni20 Valutazione ex-post Si distingue tra: Output (esito) = gli interventi progettati sono stati attivati? (Efficacia Interna); Outcome (risultato) = gli interventi progettati sono stati soddisfacenti (Efficacia Esterna)? Impatto = l’intervento è stato efficace?

21 Dr. Carmelo Bruni21 Valutazione e Qualità La Qualità nasce caratterizzata da una cultura tecnica, in un contesto prettamente aziendalistico (produzione di beni), è realizzata da "ingegneri“ Orientamento all’utente = minimo costo e massima soddisfazione (customer satisfaction) in un contesto competitivo;

22 Dr. Carmelo Bruni22 Valutazione e Qualità La valutazione nasce da una cultura di scienza sociale, si sviluppa nel mondo dei programmi di intervento pubblico e gli attori protagonisti sono scienziati sociali alla ricerca del valore dell'azione pubblica; Orientamento all’utente = equità e giustizia

23 Dr. Carmelo Bruni23 Qualità di un servizio “Relazione positiva tra bisogni dell'utenza e prestazioni del servizio”, cioè la capacità del servizio di soddisfare i bisogni dell’utente

24 Dr. Carmelo Bruni24 Valutazione della Qualità Significa assumere il punto di vista dell'utente e rivedere criticamente ed analiticamente il complesso rapporto fra struttura, operatore, utente, cogliendone, ai vari livelli, gli elementi critici determinati dal processo di interazione sociale che possono a volte impedire all'utente di costruirsi come soggetto e di ricevere risposte adeguate e per lui significative;

25 Dr. Carmelo Bruni25 Valutazione e normativa L. 285/97 agli artt. 8 e 9; D. Lgs. 229/99 (riforma ter) all’art. 12bis; L. 328/00 agli art. 3, 6, 7, 8, 10 e 18.

26 Dr. Carmelo Bruni26 Valutazione partecipata Favorisce l’innovazione attraverso l’interazione tra diverse competenze; Sfida il professionismo specialistico rigido che separa valutante e valutato; Sviluppa senso positivo nei confronti della valutazione;

27 Dr. Carmelo Bruni27 “Per chi” e “Perché” valutare? Soggetti Prospettiva Obiettivo Policy-makers Macrodecisionale Impatto sociale Amministratori Organizzativo- Efficienza gestionale OperatoriTecnico-professionale Qualità Utenti Particolaristica Soddisfazione Cittadini Universalistica Equità

28 Dr. Carmelo Bruni28 “Cosa” valutare? Struttura Processo Esiti, Risultati, Impatti

29 Dr. Carmelo Bruni29 “Cosa” valutare? Struttura 1. disponibilità strutturale 2. accessibilità 3. sistema comunicativo 4. sistema informativo 5. criteri gestionali

30 Dr. Carmelo Bruni30 “Cosa” Valutare? Disponibilità strutturale Risorse Finanziarie; Risorse Tecnologiche; Risorse Materiali (locali, attrezzature, etc.); Risorse Umane (Capitale Umano e Sociale).

31 Dr. Carmelo Bruni31 “Cosa” Valutare? Accessibilità Raggiungibilità; Barriere architettoniche; Segnaletica; Privacy.

32 Dr. Carmelo Bruni32 “Cosa” Valutare? Sistema Comunicativo Carte dei Servizi; Vademecum dei Servizi; Avvisi pubblici; Presenza in “Pagine Utili” e “Tutto Città”; Sito web; Servizi Telefonici.

33 Dr. Carmelo Bruni33 “Cosa” Valutare? Sistema Informativo Schede utente; Informatizzazione delle schede utente; Sistema di rete; Sistemi di monitoraggio.

34 Dr. Carmelo Bruni34 “Cosa” Valutare? Criteri gestionali Modalità di funzionamento dei Servizi (rete organizzativa); Regolamento dei servizi; Processi e stili decisionali.

35 Dr. Carmelo Bruni35 “Cosa” Valutare? Processi Livelli di Attività; Output (Obiettivi intermedi); Sistema Professionale; Qualità del lavoro (soddisfazione degli operatori).

36 Dr. Carmelo Bruni36 “Cosa” Valutare? Livelli di Attività Monte orario settimanale Straordinari Personale coinvolto Volontari coinvolti

37 Dr. Carmelo Bruni37 “Cosa” Valutare? Sistema professionale Appropriatezza del sistema delle professionalità; Qualificazione professionale; Formazione; Aggiornamento professionale.

38 Dr. Carmelo Bruni38 Cosa” valutare? Esiti 1. Il progetto è stato attivato? 2. Se no, quale parte ne è rimasta fuori e perché? 3. Sono stati raggiunti gli utenti target? 4. Le risorse si sono dimostrate sufficienti?

39 Dr. Carmelo Bruni39 Cosa” valutare? Risultati Il progetto ha raggiunto gli obiettivi prefissati? Quali obiettivi non sono stati raggiunti e perché? Gli utenti sono rimasti soddisfatti? E il personale?

40 Dr. Carmelo Bruni40 Cosa” valutare? Impatti Si sta avendo una riduzione del bisogno? Gli utenti continuano a stare bene? Si è avuta una ricaduta in termini di Capitale Umano e Sociale?

41 Dr. Carmelo Bruni41 Il lavoro della valutazione ”(…) Il lavoro del valutatore, che ha una propria expertise metodologica e sa come poter formulare le domande, consiste nell’aiutare l’utilizzatore a formulare le proprie domande, con le sfumature locali (...) l’azione del valutatore mette in moto un delicato processo interattivo con gli utilizzatori: se ad ogni passaggio le cose non sono chiare, il valutatore deve aiutare gli utilizzatori ad identificare quali sono le domande cruciali prima di decidere come procedere (…)” (Stame N., 1998b).

42 Dr. Carmelo Bruni42 Linee guida di valutazione 1 La valutazione deve essere guidata da un piano, o disegno di valutazione, che è opportuno costruire assieme al progetto di intervento perché deve costituirne parte integrante e accompagnarlo per tutta la sua durata. La valutazione è una "bussola" di cui dotarsi prima di intraprendere il cammino per essere sicuri che durante il percorso sia sempre possibile orientarsi, capire dove ci si trovi, verificare la rotta, decidere di cambiarla.

43 Dr. Carmelo Bruni43 Linee guida di valutazione 2 Valutare non significa unicamente misurare. Troppo spesso, infatti, la preoccupazione principale è quella di raccogliere dati, talvolta in una logica autoreferenziale o di semplice rendiconto. Ciò che è veramente importante sono le interpretazioni, i giudizi, le riflessioni che si compiono su dati e informazioni.

44 Dr. Carmelo Bruni44 Linee guida di valutazione 3 Di conseguenza sin dall'inizio, dovrebbero essere coinvolti nel disegno e nella gestione della valutazione gli attori cruciali. Infatti, la valutazione sarà maggiormente efficace se coinvolgerà a titolo partecipativo o consultivo molti e diversi stakeholders, poiché aumenterà la comprensione e la conoscenza reciproca, renderà maggiormente efficace il processo e restituirà il senso del proprio agire.

45 Dr. Carmelo Bruni45 Linee guida di valutazione 4 Il percorso di valutazione accompagna e sostiene i progetti durante tutto il loro ciclo vitale, dalla fase di ideazione (valutazione ex ante), a quella di attuazione (valutazione in itinere), a quella finale, e di eventuale riprogettazione (valutazione ex posto di risultato).

46 Dr. Carmelo Bruni46 Il percorso di costruzione di un disegno di valutazione 1 1)Individuazione della finalità della valutazione. 2)Esplicitazione dello scopo del progetto/intervento o politica che si intende valutare. 3)Identificazione dei criteri di valutazione e/o da valutare. 4)Identificazione degli indicatori.

47 Dr. Carmelo Bruni47 Il percorso di costruzione di un disegno di valutazione 2 5)Identificazione degli strumenti per rilevare gli indicatori e delle fonti per raccogliere i dati e le informazioni. 6)Rilevazione sul campo. 7)Valutazione vera e propria (espressione di un giudizio) e identificazione degli obiettivi di miglioramento. 8)Individuazione delle strategie di miglioramento.

48 Dr. Carmelo Bruni48 Finalità della valutazione Per finalità della valutazione si intende la buona ragione che induce a valutare quel caso, intervento o politica. Esempi: Si intende valutare il fabbisogno dell'anziano per definire il tipo di intervento più adatto a lui oggi (domiciliare, residenziale ecc.). Si intende valutare l'intervento di assistenza domiciliare anziani per meglio allocare le risorse disponibili.

49 Dr. Carmelo Bruni49 Scopo della valutazione Per scopo si intende la buona ragione per la quale un intervento è realizzato; Esempi: Il progetto si propone di mantenere X al suo domicilio favorendo il mantenimento della autosufficienza e garantendo sicurezza, dignità e compagnia nella sua vita quotidiana. Il SAD garantisce degli interventi limitati nel corso della giornata, per prestazioni assistenziali, per la cura e l'igiene della persona e dell'abitazione.

50 Dr. Carmelo Bruni50 Criteri e dimensioni di valutazione Si intendono gli elementi intorno ai quali focalizzare la ricerca valutativa; essi discendono direttamente dallo scopo; Esempi Si indagherà il fabbisogno dell'anziano in relazione al suo grado di autosufficienza (capacità motorie, cognitive ecc.). Si indagheranno le dimensioni di: continuità assistenziale, tempestività dell'intervento, integrazione con altri servizi, ecc.

51 Dr. Carmelo Bruni51 Indicatori di valutazione Una proprietà che – in toto o in una sua parte - rappresenta un concetto rilevante nella ricerca e che tradotto in variabile mi consente di “misurarlo”. Esempi: n° di ore di A.D. come indicatore di Efficacia; n° di pratiche avviate come indicatore di Efficienza.

52 Dr. Carmelo Bruni52 Indicatori Il rapporto tra indicatore e concetto non è esclusivo né esaustivo; Indicatore e diverso da Indice, che è una combinazione di indicatori; Il paradigma di Lazarsfeld.

53 Dr. Carmelo Bruni53 Strumenti e fonti informative Uno strumento è ciò che usiamo per rilevare informazioni. Si distinguono tra standard e non-standard (dalle storie di vita alla survey); Una fonte è un’entità che ci fornisce le informazioni (un soggetto, un Ente, una Istituzione, ecc.)

54 Dr. Carmelo Bruni54 Raccolta delle informazioni La rilevazione si distingue per livello di intrusività (dal questionario postale all’intervista in profondità); La rilevazione richiede delle accortezze che vanno dalla interpretazione del dato alle modalità con cui si conducono le interviste.

55 Dr. Carmelo Bruni55 Valutazione Si analizzano, con gli attori interessati, i dati e le informazioni raccolte e si esprimono giudizi finalizzati ad individuare le aree di miglioramento; Esempio: L'assistente sociale convoca l'operatore di riferimento per valutare i risultati dell'analisi del fabbisogno del Sig. x e insieme esprimono giudizi sul grado di soddisfazione del fabbisogno del Sig. x in relazione alle possibilità del servizio.

56 Dr. Carmelo Bruni56 Strategie di miglioramento Si decidono le azioni che si intendono implementare per realizzare i miglioramenti ipotizzati; Esempi: Vengono aumentate o diminuite le ore di assistenza al Sig. x. Vengono cambiate le funzioni assistenziali richieste (igiene personale, pulizia casa ecc.). Viene rivisto il sistema delle sostituzioni/turni di lavoro per mantenere la continuità assistenziale.