La valutazione e il monitoraggio per la progettazione sociale Caserta 16 novembre 2006 a cura del dr. Nazario Festeggiato.

Presentazione sul tema: "La valutazione e il monitoraggio per la progettazione sociale Caserta 16 novembre 2006 a cura del dr. Nazario Festeggiato."— Transcript della presentazione:

1 La valutazione e il monitoraggio per la progettazione sociale Caserta 16 novembre 2006 a cura del dr. Nazario Festeggiato

2 Nazario Festeggiato www.volinforma.org sportello@volinforma.org nazariof@hotmail.it

3 La valutazione… ….prende in esame la nostra efficacia e ci aiuta a migliorarla; facilita la crescita della nostra responsabilità rispetto agli utenti, aumenta le nostre conoscenze e ci aiuta a sviluppare nuovi modi di lavorare e di erogare servizi. (Lishman, 1998) ….non si limita a determinare l’efficacia del lavoro sociale, ma deve diventare essa stessa uno strumento di intervento, capace di generare empowerment e mutamento sociale…La pratica della valutazione rappresenta una sfida per il lavoro sociale, affinchèp rinnovi le proprie metodologie e categorie interpretative (Shaw, 1996)

4 La valutazione nel lavoro sociale Che cosa valutiamo? Qualunque azione che tende a produrre intenzionalmente degli effetti. In che modo valutiamo? Creando delle correlazioni, individuando l’incidenza delle stesse, ovvero la capacità di una azione di avere effetti in una determinata situazione. Perché valutiamo? Per scoprire il percorso di senso delle azioni che sono state Per scoprire il percorso di senso delle azioni che sono state progettate; progettate; per capire se l’attività svolta ottiene i risultati attesi o produce per capire se l’attività svolta ottiene i risultati attesi o produce comunque cambiamenti ritenuti soddisfacenti dai destinatari comunque cambiamenti ritenuti soddisfacenti dai destinatari delle prestazioni; delle prestazioni; per rendere conto del buon impiego delle risorse assegnate. per rendere conto del buon impiego delle risorse assegnate.

5 Società Economia Contesto Programma Valutazione Bisogni Problemi Obiettivi Inputs (risorse) Outputs (prodotti) Risultati Impatti RILEVANZA EFFICIENZA EFFICACIA INTERNA COERENZA EFFICACIA ESTERNA PRINCIPALI CRITERI DI VALUTAZIONE

6 Le tappe di un progetto e la valutazione Quando si valuta Tappe del progetto Tipo di valutazione Prima (ex ante) Durante (in itinere) Dopo (ex post) 1) Ideazione 2) Attivazione 3) Progettazione Operativa • rilevanza • contatti • fattibilità • rilevanza logico - formale • sforzo Implementazione Avvio - Contatto Attività primarie • monitoraggio • processo Valut. esiti • Esiti o risultati

7 La valutazione ex ante: l’ideazione In questa fase il progetto è solo un’idea, un desiderio. E’ difficile immaginare che in questa tappa un percorso di valutazione formalizzato. La valutazione in questa fase si basa su una serie di giudizi in merito alla rilevanza, all’opportunità, alla novità…

8 La valutazione ex ante: l’attivazione E’ la fase della creazione del consenso, alleanze e collaborazioni. E’ la tappa “precondizione” per attivare il progetto. Valutazione non formale, ma è utile valutare i seguenti aspetti: La quantità e la qualità dei contatti attivati La quantità e la qualità dei contatti attivati La rilevanza percepita del problema La rilevanza percepita del problema La condivisione rispetto al problema La condivisione rispetto al problema La qualità e la quantità delle informazioni raccolte La qualità e la quantità delle informazioni raccolte La possibilità di attivare risorse per realizzare il progetto La possibilità di attivare risorse per realizzare il progetto

9 La valutazione ex ante: la progettazione E’ la fase che comprende la stesura del progetto e della progettazione operativa. Le componenti da considerare nel processo di valutazione sono le seguenti: rilevanza: attinenza del progetto a problematiche ritenute rilevanti: rilevanza: attinenza del progetto a problematiche ritenute rilevanti: l’ adeguatezza della formulazione del progetto in modo che possa funzionare da guida per la progettazione operativa l’ adeguatezza della formulazione del progetto in modo che possa funzionare da guida per la progettazione operativa congruenza interna fra le diverse parti del progetto congruenza interna fra le diverse parti del progetto sforzo inteso come risorse (tempo, energie,…) impiegate per questa fase sforzo inteso come risorse (tempo, energie,…) impiegate per questa fase

10 La valutazione in itinere Nella tappa della realizzazione del progetto si rivolge da una parte alla raccolta delle informazioni di tipo descrittivo sull’andamento del progetto e dall’altra ai processi messi in atto. Questa fase della valutazione (monitoraggio) deve seguire passo passo la realizzazione dell’intervento per avere un quadro complessivo del suo funzionamento.

11 La valutazione ex post E’ la tappa della verifica e della valutazione degli esiti e dei risultati. Risultati possono essere verificati stimando: l’efficacia, ossia la capacità del progetto di raggiungere gli obiettivi fissati l’efficacia, ossia la capacità del progetto di raggiungere gli obiettivi fissati l’impatto, cioè tutti i cambiamenti indotti dal progetto, esclusi quelli direttamente connessi agli obiettivi l’impatto, cioè tutti i cambiamenti indotti dal progetto, esclusi quelli direttamente connessi agli obiettivi la rilevanza, cioè la capacità del progetto di incidere sui problemi di rilevanza sociale la rilevanza, cioè la capacità del progetto di incidere sui problemi di rilevanza sociale l’efficienza, intesa classicamente come rapporti tra costi e ricavi. Per il sociale viene intesa come la possibilità di raggiungere gli stessi obiettivi con un minor impiego di risorse, o viceversa, risultati maggiori con minori risorse. l’efficienza, intesa classicamente come rapporti tra costi e ricavi. Per il sociale viene intesa come la possibilità di raggiungere gli stessi obiettivi con un minor impiego di risorse, o viceversa, risultati maggiori con minori risorse. trasferibilità e riproducibilità trasferibilità e riproducibilità

12 Il monitoraggio e la valutazione di processo La valutazione di processo, che coincide con il monitoraggio, accompagna in itinere l’implementazione del progetto e si interessa principalmente ai processi messi in atto. Il monitoraggio risponde principalmente ai seguenti quesiti: se l’intervento sta raggiungendo la popolazione bersaglio se l’intervento sta raggiungendo la popolazione bersaglio se le attività realizzate sono conformi a quelle progettate se le attività realizzate sono conformi a quelle progettate se le risorse materiali e finanziarie impiegate sono conformi alle attività progettate se le risorse materiali e finanziarie impiegate sono conformi alle attività progettate

13 Il monitoraggio L’attività di monitoraggio consiste nell’accertamento e nella descrizione puntuale e metodica dell’avanzamento di un progetto, così come nella segnalazione tempestiva delle discrepanze manifeste rispetto a quanto prestabilito L’attività di monitoraggio consiste nell’accertamento e nella descrizione puntuale e metodica dell’avanzamento di un progetto, così come nella segnalazione tempestiva delle discrepanze manifeste rispetto a quanto prestabilito Necessario a qualsiasi sistema organizzato, esso è volto alla realizzazione di un obiettivo predeterminato Necessario a qualsiasi sistema organizzato, esso è volto alla realizzazione di un obiettivo predeterminato Un processo di monitoraggio può essere sintetizzato nelle seguenti operazioni: Un processo di monitoraggio può essere sintetizzato nelle seguenti operazioni:  rilevazione di un andamento  annotazione sufficientemente descrittiva dell’andamento rilevato  determinazione dell’esistenza di uno scarto tra andamento previsto e andamento effettivo  segnalazione (automatica o ragionata) al centro di comando di tutti gli scarti eventualmente eccedano le toleranze (feedback)

14 Le fasi del monitoraggio Una efficace azione di monitoraggio dei servizi e degli interventi dovrà adottare una metodologia utile al passaggio dal dato al prodotto informativo articolata nelle fasi di seguito individuate: Una efficace azione di monitoraggio dei servizi e degli interventi dovrà adottare una metodologia utile al passaggio dal dato al prodotto informativo articolata nelle fasi di seguito individuate: Identificazione dei bisogni informativi Selezione degli indicatori e rilevazione dei dati Strutturazione di un sistema informativo Trattamento dei dati (analisi ed elaborazione) Interpretazione Circolazione delle informazioni

15 Il monitoraggio e la valutazione dei progetti rivolti alla persona L’obiettivo principale è quello di ridurre la complessità di ciò che si deve analizzare che, nell’ambito dei progetti legati alle politiche sociali, è ancora più difficile, in quanto la loro complessità è legata alla complessità insita nei fatti sociali. L’obiettivo principale è quello di ridurre la complessità di ciò che si deve analizzare che, nell’ambito dei progetti legati alle politiche sociali, è ancora più difficile, in quanto la loro complessità è legata alla complessità insita nei fatti sociali. Deve imporsi una necessaria capacità di selezionare unicamente gli aspetti rilevanti del progetto da valutare Deve imporsi una necessaria capacità di selezionare unicamente gli aspetti rilevanti del progetto da valutare La selettività di un impianto valutativo, rispetto a ciò che si ritiene osservare e confrontare, fa sempre riferimento ad un sistema di presupposti e di assunti che dovrebbe essere negli obiettivi dichiarati del progetto. La selettività di un impianto valutativo, rispetto a ciò che si ritiene osservare e confrontare, fa sempre riferimento ad un sistema di presupposti e di assunti che dovrebbe essere negli obiettivi dichiarati del progetto.

16 Gli strumenti per l’analisi conoscitiva Analisi dei documenti: la valutazione tassonomica Analisi dei documenti: la valutazione tassonomica Interviste a informatori privilegiati Interviste a informatori privilegiati Schede informative sugli utenti del servizio Schede informative sugli utenti del servizio L’attività concreta: “il fare ultimo della valutazione” Analisi del campo semantico: indicatori valutativi Misurazione degli indicatori Misurazione degli indicatori

17 INDICATORI DI REALIZZAZIONE INDICATORI DI RISULTATO INDICATORI DI IMPATTO Le famiglie di indicatori OUTPUT PROGRAMMI Con riferimento a: • destinatari • beneficiari finali Conseguimento degli OBIETTIVI SPECIFICI Conseguimento degli OBIETTIVI GLOBALI

18 Analisi di fattibilità Attività preliminare di ricognizione delle fonti di informazione disponibili DOVE SI PRODUCE IL DATO CHI GESTISCE IL DATO COME SI ELABORA IL DATO Interno Esterno Flussi Informativi Qualità dell’informazione

19 Indicatori di realizzazione -1: a cosa servono Gli indicatori di realizzazione misurano l’output dei programmi con le modalità ritenute interessanti/utili/efficaci già per il monitoraggio dei programmi stessi e fondamentalmente, nel rispetto degli obiettivi esplicitati in fase di programmazione. Possono e devono rilevare informazioni sull’attuazione dei programmi e sulle caratteristiche dell’attuazione che non sono state esplicitate in fase di programmazione

20 Indicatori di realizzazione -2: quale rilevazione presuppongono informazioni sui progetti informazioni sui progetti informazioni sui destinatari (persone, ma anche enti, organizzazioni…) informazioni sui destinatari (persone, ma anche enti, organizzazioni…) informazioni sui soggetti correlati al progetto – stakeholders/aspettative (soggetti attuatori, soggetti destinatari indiretti) informazioni sui soggetti correlati al progetto – stakeholders/aspettative (soggetti attuatori, soggetti destinatari indiretti)

21 Indicatori di realizzazione - 3: a cosa servono Gli indicatori di risultato misurano, a livello di programma, il raggiungimento degli obiettivi specifici del programma. Essi esprimono una misura dell’efficacia nel raggiungimento degli obiettivi specifici Policy effort (aumento dell’offerta) Miglioramento della qualità del servizio Efficacia degli interventi

22 Aumento dell’offerta Al primo tipo di indicatori appartengono i tassi di copertura, ovvero la quota di popolazione servita sulla popolazione totale potenzialmente destinataria In questo senso essi forniscono la misura di un primo risultato di una politica, vale a dire il grado di consistenza della policy

23 Miglioramento della qualità dell’offerta Al secondo tipo di indicatori appartengono quelli che mirano a focalizzare sulle caratteristiche qualitative dei servizi erogati, in base alle trasformazioni auspicate dalla programmazione

24 Efficacia degli interventi Definizione di efficacia Interrogativi valutativi Criteri di confronto (necessario alla valutazione) Raffronto tra risultati ottenuti e attesi Il servizio raggiunge gli obiettivi prefissati in partenza? Obiettivo da raggiungere Raffronto con uno standard qualitativo Il servizio è di buona qualità, in relazione alle procedure utilizzate ed ai risultati ottenuti? Standard a cui uniformarsi Impatto Cosa succederebbe se non ci fosse questo servizio? Scenario situazionale in assenza di servizio Rapporto tra domanda e offerta E’ soddisfatto? Il servizio raggiunge gli utenti per i quali è stato predisposto? Domanda di servizio da soddisfare (scarto)

25 Indicatori di impatto: a cosa servono Gli indicatori di impatto dovrebbero fornire indicazioni circa gli effetti strutturali e permanenti prodotti dagli interventi realizzati Gli indicatori di impatto dovrebbero fornire indicazioni circa gli effetti strutturali e permanenti prodotti dagli interventi realizzati Gli indicatori di impatto pur essendo in qualche caso proposti in relazione ad un obiettivo specifico non sono univocamente legati ad esso Gli indicatori di impatto pur essendo in qualche caso proposti in relazione ad un obiettivo specifico non sono univocamente legati ad esso

26 La qualità

27 La qualità nei servizi sociali - 1 Nel settore dei servizi sociali, l’interesse nei confronti della qualità è maturato di recente. Nel settore dei servizi sociali, l’interesse nei confronti della qualità è maturato di recente. La mancanza di una legislazione unitaria nazionale ha rallentato la possibilità di mettere a punto quadri di riferimento unitari e condivisi, ma la situazione sta rapidamente evolvendo. Indicativo dell’impegno e degli sforzi volti a ritagliare all’”oggetto” qualità un ruolo centrale anche nel campo dei servizi alla persona è il documento realizzato del Gruppo Qualità Sociale del Ministero della Solidarietà Sociale (1999). Indicativo dell’impegno e degli sforzi volti a ritagliare all’”oggetto” qualità un ruolo centrale anche nel campo dei servizi alla persona è il documento realizzato del Gruppo Qualità Sociale del Ministero della Solidarietà Sociale (1999).

28 La qualità nei servizi sociali - 2 I criteri evidenziati dagli esperti per definire la qualità di un servizio in generale, sono i seguenti: il servizio viene erogato sulla base di procedure formalizzate appropriate il servizio viene erogato sulla base di procedure formalizzate appropriate esiste un regolamento del servizio esiste un regolamento del servizio fornisce all’utente una guida per l’uso fornisce all’utente una guida per l’uso promuove forme associative di utenti promuove forme associative di utenti ha strumenti consolidati di veirifica dei risultati ha strumenti consolidati di veirifica dei risultati coinvolge gli utenti nella valutazione periodica del processo e dei risultati coinvolge gli utenti nella valutazione periodica del processo e dei risultati ha strumenti deicati per il dialogo interattivo con gli utenti ha strumenti deicati per il dialogo interattivo con gli utenti ha strumenti per la raccolta di suggerimenti e reclami ha strumenti per la raccolta di suggerimenti e reclami ha la figura del “facilitatore di qualità” ha la figura del “facilitatore di qualità”

29 La qualità nei servizi sociali - 3 L’attenzione del gruppo è rivolta anche all’intervento nei confronti di un singolo utente: la qualità dell’intervento per singolo utente viene commisurata: la qualità dell’intervento per singolo utente viene commisurata:  in relazione al fatto che l’intervento corrisponda al programma d’intervento individuale concordato con l’utente stesso e con gli operatori co – responsabili  in relazione ai risultati conseguiti in termini di risoluzione del problema, miglioramento della condizione, benessere complessivo, riduzione del danno. Centralità dell’utente Punto focale verso cui orientare l’intero sistema dei servizi

30 Analisi dei bisogni e la ricerca sociale

31 Il rompicapo dei bisogni A monte della programmazione e degli indicatori, c’è il sistema di offerta, a monte di questo la domanda sociale, più in cima ancora i bisogni A monte della programmazione e degli indicatori, c’è il sistema di offerta, a monte di questo la domanda sociale, più in cima ancora i bisogni E’ un termine denso, plastico, col quale si rischia di indicare cose diverse E’ un termine denso, plastico, col quale si rischia di indicare cose diverse Tante le teorie che hanno dato una definizione di bisogno: Marx, Durkheim, Merton, Maslow, Baudrillard, Lewin Tante le teorie che hanno dato una definizione di bisogno: Marx, Durkheim, Merton, Maslow, Baudrillard, Lewin

32 I fattori che determinano i bisogni • Situazione economica • Situazione relazionale • Situazione sociale • Situazione culturale • Valori • Identità di gruppo • Modelli culturali • Dominanti Situazione del singolo Aspettative BISOGNO Individuazione di un elemento capace di annullare o ridurre la situazione di carenza Insieme di valori codificati dal sistema Modello di organizzazione dei servizi

33 La ricerca sociale metodologie e tecniche RICERCA SOCIALE Tecniche quantitative Tecniche qualitative  Alto livello di formalizzazione  Tecniche ampiamente sperimentate  80 anni di continuità  Basso livello di formalizzazione  Difficoltà di tradurle in procedure schematizzate  fase di latenza dagli anni ’30 agli anni ’70

34 La ricerca quantitativa La ricerca scientifica è un processo creativo di scoperta che si sviluppa secondo un itinerario prefissato e secondo procedure prestabilite che si sono consolidate all’interno della comunità scientifica.

35 La struttura tipo della ricerca quantitativa FASI Teoria Risultati Analisi dei dati Ipotesi Rilevazione dei dati PROCESSI Deduzione Operativizzazione (disegno della ricerca) Organizzazione dei dati (matrice dei dati) Interpretazione Induzione

36 Le tecniche della ricerca quantitativa: l’inchiesta campionaria Si intende per inchiesta campionaria un modo di rilevare informazioni: a) interrogando, b) gli stessi individui oggetto della ricerca, c) appartenenti ad un campione rappresentativo, d) mediante una procedura standardizzata di interrogazione, e) allo scopo di studiare le relazioni esistenti tra le variabili

37 Le tecniche della ricerca quantitativa: la tecnica delle scale La tecnica delle scale è l’insieme di procedure messe a punto dalla ricerca sociale per “misurare” l’uomo e la società. Es. di scala In politica di solito si parla di sinistra e destra. Lei dove collocherebbe la sua posizione politica? Non saprei

38 Le tecniche della ricerca quantitativa: le fonti statistiche ufficiali Le società moderne producono una vasta quantità di dati su se stesse. Questi dati rappresentano una fonte ineguagliabile di conoscenza sociale e possono costituire il materiale empirico della ricerca sociale.

39 Le fonti dei dati Osservare E’ la via più immediata e diretta per studiare i fenomeni/comportamenti manifesti Esperimenti Banche dati Fonti ufficiali Domandare E’ la via obbligata per esplorare motivazioni, atteggiamenti, credenza, sentimenti, percezioni, aspettative……… Le indagini campionarie

40 La ricerca qualitativa L’osservazione partecipante L’intervista qualitativa L’uso dei documenti

41 L’osservazione partecipante E’ una strategia di ricerca nella quale il ricercatore si inserisce a) in maniera diretta e b) per un periodo di tempo relativamente lungo in un determinato gruppo sociale, c) preso nel suo ambiente naturale, d) instaurando un rapporto di interazione personale con i suoi membri e) allo scopo di descriverne le azioni e di comprenderne, mediante un processo di immedesimazione, le motivazioni

42 L’osservazione partecipante: quando si usa? Quando si sa poco di un certo fenomeno Quando si sa poco di un certo fenomeno (es. ribellione nelle periferie di Parigi) Quando esistono delle forti differenze fra il punto di visto dall’interno e quello dall’esterno Quando esistono delle forti differenze fra il punto di visto dall’interno e quello dall’esterno (es. gruppi etnici, organizzazioni sindacali,…) Quando il fenomeno si svolge al riparo da sguardi estranei (es. vita familiare,…) Quando il fenomeno si svolge al riparo da sguardi estranei (es. vita familiare,…) Quando il fenomeno è deliberatamente occultato agli sguardi degli estranei (es. comportamenti illegali, associazioni segrete) Quando il fenomeno è deliberatamente occultato agli sguardi degli estranei (es. comportamenti illegali, associazioni segrete)

43 L’intervista qualitativa E’ una conversazione a) provocata dall’intervistatore, b) rivolta a soggetti scelti sulla base di un piano di rilevazione e c) in numero consistente, d) avente finalità di tipo conoscitivo, e) guidata dall’intervistatore, f) su una base di uno schema flessibile e non standardizzato di interrogazione

44 L’uso dei documenti I documenti che producono gli uomini e le istituzioni. Per documenti si intendono i materiali informativi su un dato fenomeno sociale, che esistono indipendentemente dall’azione del ricercatore.