Leone L. 01/2007 www.cevas.it1 Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone, Maggio 2007 CEVAS –Consulenza e Valutazione.

Presentazione sul tema: "Leone L. 01/2007 www.cevas.it1 Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone, Maggio 2007 CEVAS –Consulenza e Valutazione."— Transcript della presentazione:

1 Leone L. 01/2007 www.cevas.it1 Elementi di monitoraggio e valutazione del Servizio Civile in Caritas Liliana Leone, Maggio 2007 CEVAS –Consulenza e Valutazione nel Sociale V.Calpurnio Fiamma 9 - 00175 Roma Tel/fax 06/9422505 www.cevas.itwww.cevas.it E mail leone@cevas.itleone@cevas.it Professore a contratto Università di Roma La Sapienza- Facoltà Sociologia Corso di Laurea Programmazione Politiche Sociali- La valutazione dei piani sociali

2 Leone L. 01/2007 www.cevas.it 2 Obiettivi del seminario Oggetto di studio del seminario è il sistema di monitoraggio e valutazione del servizio civile in Caritas con un focus posto sulle pratiche sviluppate a livello locale. Scopo del seminario è avviare una maggiore sistematizzazione e formalizzazione dellimpianto di M&V. Obiettivi Identificazione delle principali funzioni e caratteristiche dei sistemi di monitoraggio e degli approcci di valutazione Ricostruzione dellattuale sistema di M&V: attori, dimensioni (es. input nazionali trasversali), criteri, tempi processi e tipo di utilizzi delle informazioni e dei risultati (v. Livello di utilizzazione e genere di restituzione) Quesiti a cui risponde lattuale sistema di M&V Esplicitazione del modello implicito ed esplicito della Teoria del Programma sottesa al Servizio Civile Ipotesi sviluppo e miglioramento a partire da ridefinizione dei quesiti valutativi: le nostre pratiche di M&V in che modo rispondono e interrogano gli obiettivi dichiarati del SC Caritas?

3 Leone L. 01/2007 www.cevas.it 3 Cosè la valutazione Lapprezzamento sistematico e oggettivo su formulazione, realizzazione ed esiti di un progetto, programma o politica …. Essa si propone di esprimere un giudizio sulla rilevanza e il raggiungimento degli obiettivi, su efficienza, efficacia, impatto e sostenibilità. Trattasi della formulazione di un giudizio, argomentato tramite procedure di ricerca valutativa nel modo più sistematico possibile, su un intervento di sviluppo pianificato, in fase di realizzazione o già completato. Una V.dovrebbe fornire informazioni credibili e utili e consentire ai beneficiari e ai donatori lintegrazione degli insegnamenti appresi nei loro processi decisionali. In alcuni casi la V. comporta la definizione di standard appropriati, un esame delle prestazioni rese in rapporto a detti standard, un giudizio sui risultati ottenuti rispetto a quelli originariamente attesi.. (Tratto da sito DPS)

4 Leone L. 01/2007 www.cevas.it 4 Le due anime della valutazione Le due principali esigenze a cui risponde la valutazione: esigenza di render conto rendicontazione valutativa (accountability); esigenza di render conto della realizzazione e del raggiungimento di risultati da parte di unorganizzazione per consentire ai soggetti esterni di dare un giudizio sulla performance dellorganizzazione. Linsieme di strumenti utilizzabili per far ciò è definito rendicontazione valutativa (accountability); esigenza di apprendere ricerca valutativa (learning). esigenza di apprendere dallattuazione di unattività quali effetti essa abbia ottenuto e come e perché questi effetti siano stati prodotti (o non) al fine di decidere. Linsieme di strumenti utilizzabili per capire effetti e processi è definito ricerca valutativa (learning).

5 Leone L. 01/2007 www.cevas.it 5 Scopi e usi della valutazione La V può servire ad aiutare il management a migliorare il programma e (formative evaluation Scriven 1991). I risultati sono diretti ad amministratori e pianificatori; per la rendicontabilità e giustificazione della spesa di risorse pubbliche in interventi sociali. Per la valutazione riepilogativa (o summative evaluation). I risultati sono normalmente diretti ai decisori può influenzare prosecuzione dei programmi e richiede alti standard scientifici e ruolo indipendente del V. a dare un supporto a critici o sostenitori (bi-partisan) ad aggiungere conoscenze sui suoi effetti e descriverne la natura a prescindere dal singolo programma. Rivolta a platee più ampie e varie, pubbliche relazioni o stratagemmi politici (es: fornire un contesto pubblico e decisioni già assunte..). Il v riorienta gli sforzi verso V più appropriate.

6 Leone L. 01/2007 www.cevas.it 6 Forme diverse di accountability (accountability verso il basso). Nei confronti degli utenti lorganizzazione dovrebbe essere indotta a rendere conto della propria performance in modo da consentire una scelta più informata relativamente ai servizi offerti, altrimenti gli utenti si trovano in una posizione di inferiorità e sono indotti ad accettare le prestazioni offerte in modo passivo, senza stimolare lorganizzazione a fare meglio (accountability verso il basso). accountability verso lalto) Nei confronti dei soggetti che hanno la responsabilità dindirizzo e di controllo (assemblee elettive e livelli di governo sovraordinati) lorganizzazione dovrebbe fornire informazioni sulle proprie attività e sui risultati raggiunti per verificare che le decisioni assunte siano state portate a compimento (accountability verso lalto)

7 Leone L. 01/2007 www.cevas.it7 Accountability verso lalto Accountability verso lalto cittadini/contribuenti Livelli di governo superiori Assemblee elettive Utenti/clienti Accountability verso il basso Organizzazioni che utilizzano risorse pubbliche

8 Leone L. 01/2007 www.cevas.it 8 Principali criteri di valutazione

9 Leone L. 01/2007 www.cevas.it 9 Criteri di valutazione rilevanza rilevanza del programma- Fino a quale punto sono giustificabili gli obiettivi in relazione ai bisogni? Si può provare ciò? A quali priorità (micro-macro) corrispondono? efficacia efficacia - In quale grado gli obiettivi sono stati raggiunti? Gli strumenti utilizzati hanno prodotto gli effetti desiderati? Si potrebbero ottenere maggiori risultati utilizzando altri strumenti? efficienza efficienza- Gli obiettivi sono stati raggiunti ai costi più bassi? Potrebbero risultati migliori essere ottenuti agli stessi costi? utilità utilità - Giudica limpatto ottenuto in relazione ai bisogni complessivi della società ed alle issues economiche.(v.goal free). Gli effetti attesi o inattesi del programma sono globalmente soddisfacenti dal punto di vista dei destinatari diretti e indiretti?

10 Leone L. 01/2007 www.cevas.it 10 COSA VALUTARE Programmi (PAN, APQ, RMI, Voucher Regione, Servizio Civile…) singole misure legislative (es: la l.488 Piani (L.285/97, L.45/99, L.328/00…), Progetti Singoli servizi alla persona Singoli servizi alla persona

11 Leone L. 01/2007 www.cevas.it 11 Criteri di valutazione e vertici del triangolo I parametri su cui si basa il giudizio: congruenza con obiettivi previsti (efficacia interna), adeguatezza processi (Standard ), soddisfacimento bisogni (utilità- equità- efficacia esterna)

12 Leone L. 01/2007 www.cevas.it 12 Approcci di valutazione e vertici del triangolo Gli approcci di valutazione possono essere codificati (N.Stame 2001) in relazione alla pietra di paragone utilizzata per esprimere giudizi: congruenza con obiettivi Approccio positivista-sperimentale adeguatezza processi Approccio della qualità, Approccio vasato sulRiconoscimento sociale del successo.

13 Leone L. 01/2007 www.cevas.it13 Perché esistono diversi approcci di valutazione Da quando la valutazione delle politiche e dei programmi è diventata una pratica istituzionalizzata sono stati elaborati diversi approcci che nascono per rispondere ad esigenze di programmi pubblici ed evolvono sia per il differenziarsi di questi ultimi, sia per una logica interna di verifica dei presupposti e di validità dei propri risultati N.Stame, Approcci e problemi nella valutazione di politiche e di programmi nella realtà del nuovo millennio, giu. 2001

14 Leone L. 01/2007 www.cevas.it 14 Monitoraggio Valutazione e ricerca valutativa non devono essere confuse con Monitoraggio e Audit. Il monitoraggio è: Il complesso di procedure, tecniche e attività volte alla rilevazione e al trattamento dei dati relativi allo stato di attuazione finanziaria, fisica e procedurale di un investimento. [cfr. Glossario www.oecd.org/dataoecd/14/31/17484948.pdf; Glossary of 300 concepts and technical terms – Collezione MEANS Vol.6 – Eurpean Commission]www.oecd.org/dataoecd/14/31/17484948.pdf

15 Leone L. 01/2007 www.cevas.it 15 Componenti di un Sistema di monitoraggio Flussi informativi e periodicità dei dati, procedure per la raccolta, lelaborazione e lanalisi dei dati Attori e ruoli Si tratta di una pratica che interessa il management interno del progetto/servizio gestita quasi sempre da operatori interni (i monitori) Sistema di indicatori e strumenti ……quale tipo di utilizzo delle informazioni?

16 Leone L. 01/2007 www.cevas.it 16 Tipi di Monitoraggio monitoraggio finanziario E' il controllo dei dati finanziari della spesa effettivamente sostenuta dai beneficiari finali. I dati sono rilevati per singolo progetto e poi aggregati per tipo di intervento, ambito di intervento etc… monitoraggio fisico E' il controllo dei dati fisici di ogni progetto, aggregati in base a una griglia di indicatori comuni. Il monitoraggio è effettuato sugli indicatori di realizzazione, di risultato e di impatto monitoraggio procedurale E' il controllo previsto ad esempio nei fondi strutturali a livello dei PON e i POR, fino alla fase di attivazione dei progetti.

17 Leone L. 01/2007 www.cevas.it 17 Distinzioni tra Monitoraggio e Valutazione M&V Tratto da D.Patassini Master PDS IUAV Università Venezia 2005

18 Leone L. 01/2007 www.cevas.it 18 Livelli di Monitoraggio Il Monitoraggio fornisce input alla valutazione, descrive attività, processi ed effetti, segnala occorrenze e problemi con laiuto di indicatori di processo, performance e impatto, senza spiegare le relazioni causa-effetto

19 Leone L. 01/2007 www.cevas.it 19 impattoeffetti su standard di vita, condizioni abitative (mortalità infantile, condizioni abitative, propensione allinvestimento a seguito di garanzie e diritti)impatto risultato (outcome) accesso a servizi, loro utilizzo, soddisfazione del beneficiario del progetto (miglioramento offerta idrica e variazione consumi, tariffe…) Realizzazione (output) realizzazione di servizi, infrastrutture (numero abitazioni a basso costo, ml di acquedotto …) inputfinanziarie, tecnico-organizzative, conoscenze

20 Leone L. 01/2007 www.cevas.it 20 Esempi di monitoraggio Tabella 1 – Numero di progetti, per priorità e per distretto socio sanitario Grafico 1.1 Distribuzione Progetti-Sottoprogetti per distretto socio-sanitario Grafico 1.2 Distribuzione progetti-sottoprogetti per distretto e per priorità Tabella 2 Numero Partner per tipologia Grafico 2.1 Numero Partner per tipologia Tabella 3 Distribuzione dei Partner per distretto, aggregati per tipologia Grafico 3.1 Distribuzione percentuale dei Partner per distretto, aggregati per tipologia Grafico 3.1 Distribuzione percentuale dei Partner per distretto, aggregati per tipologia Tabella 4 Tipologia di istituzioni pubbliche coinvolte Grafico 4.1 Distribuzione percentuale delle diverse tipologie di istituzioni pubbliche coinvolte Grafico 4.1 Distribuzione percentuale delle diverse tipologie di istituzioni pubbliche coinvolte Tabella 5 Operatori coinvolti per qualifica e tipologia di ente di appartenenza Tabella 5 Operatori coinvolti per qualifica e tipologia di ente di appartenenza Grafico 5.1 Distribuzione dei profili professionali coinvolti nel Privato sociale, in Istituzioni Pubbliche e in Imprese Grafico 5.1 Distribuzione dei profili professionali coinvolti nel Privato sociale, in Istituzioni Pubbliche e in Imprese Tabella 7 Partner coinvolti suddivisi per Priorità programmatiche Grafico 7.1 Distribuzione percentuale dei Partner per linea di intervento Tabella 8 Operatori coinvolti, per qualifica e genere Grafico 8.1 Percentuale femminile e maschile sul totale degli operatori Grafico 8.2 Operatori coinvolti per qualifica

21 Leone L. 01/2007 www.cevas.it 21 Grafico 8.3 Incidenza percentuale del genere per ogni raggruppamento – per qualifica – degli operatori Grafico 8.3 Incidenza percentuale del genere per ogni raggruppamento – per qualifica – degli operatori Tabella 9 Operatori coinvolti per rapporto di lavoro e ente di provenienza Grafico 9.1 Distribuzione percentuale degli operatori per rapporto di lavoro Tabella 10 Operatori per rapporto di lavoro ripartiti per enti di provenienza aggregati Tabella 10 Operatori per rapporto di lavoro ripartiti per enti di provenienza aggregati Grafico 10.1 Operatori per rapporto di lavoro e enti di provenienza aggregati Tabella 11 Distribuzione percentuale degli operatori per ente Grafico 11.1 Distribuzione percentuale degli operatori per ente Tabella 12 Giornate lavorate in media dagli operatori, divisi per rapporto di lavoro e ente di provenienza Tabella 12 Giornate lavorate in media dagli operatori, divisi per rapporto di lavoro e ente di provenienza Grafico 12.1 Numero di giornate/mese lavorate in media dagli operatori, divisi per rapporto di lavoro Grafico 12.1 Numero di giornate/mese lavorate in media dagli operatori, divisi per rapporto di lavoro Tabella 13 Totale delle giornate di lavoro lavorate dagli operatori, suddivisi per qualifica e per rapporto di lavoro Tabella 13 Totale delle giornate di lavoro lavorate dagli operatori, suddivisi per qualifica e per rapporto di lavoro Grafico13.1 Incidenza percentuale delle ore lavorate dagli operatori, suddivisi per rapporto di lavoro Grafico13.1 Incidenza percentuale delle ore lavorate dagli operatori, suddivisi per rapporto di lavoro Grafico 13.2 Incidenza percentuale delle ore lavorate dagli operatori, suddivisi per qualifica Grafico 13.2 Incidenza percentuale delle ore lavorate dagli operatori, suddivisi per qualifica Tabella 14 Operatori volontari per distretto Grafico 14.1 Percentuale di operatori volontari per distretto

22 Leone L. 01/2007 www.cevas.it 22 Grafico 14.2 Percentuale di operatori volontari per ente di provenienza Tabella 15 Numero di eventi formativi avviati suddivisi per tipologia Tabella 16 Numero di eventi formativi conclusi suddivisi per tipologia Tabella 17 Numero di operatori partecipanti agli eventi formativi, suddivisi per tipologia di ente di provenienza Tabella 17 Numero di operatori partecipanti agli eventi formativi, suddivisi per tipologia di ente di provenienza Grafico 17.1 Partecipanti agli eventi formativi avviati suddivisi per tipologia di ente Tabella 18 Utenti suddivisi per classi di età e per genere (IN ENTRATA) Grafico 18.2 Incidenza percentuale delle classi di età sul totale degli utenti (IN ENTRATA) Tabella 19 Utenti suddivisi per classi di età e per genere (IN USCITA) Tabelle 20 Incidenza percentuale delle classi di età sul totale delle femmine (IN USCITA) Tabelle 20 Incidenza percentuale delle classi di età sul totale delle femmine (IN USCITA) Tabella 21 Incidenza percentuale delle classi di età sul totale dei maschi (IN USCITA) Tabella 22 Utenti classificati per titolo di studio e classi di età (IN ENTRATA) Tabella 26 Utenti suddivisi per tipologia di disagio e per condizione lavorativa (IN ENTRATA) Tabella 26 Utenti suddivisi per tipologia di disagio e per condizione lavorativa (IN ENTRATA) Grafico 26.1 Incidenza percentuale delle tipologie di disagio sul totale degli utenti (IN ENTRATA) Grafico 26.1 Incidenza percentuale delle tipologie di disagio sul totale degli utenti (IN ENTRATA) Tabella 28 Numero di utenti partecipanti alle attività, suddivise per azioni (Linea A) Grafico 28.1 Numero di utenti partecipanti alle attività, suddivisi per azioni (Linea A) Tabella 29 Numero di utenti partecipanti alle attività, suddivise per azioni (Linea C, CR) Tabella 29 Numero di utenti partecipanti alle attività, suddivise per azioni (Linea C, CR) Grafico 29.1 Numero di utenti partecipanti alle attività, suddivisi per azioni (Linea C, CR)

23 Leone L. 01/2007 www.cevas.it 23 Tabella 29 Numero di utenti partecipanti alle attività, suddivise per azioni (Linea C, CR) Azioni Ani mazi one terri toria le Acco mpa gam ento educ ativo Ca se rif ugi o Ce ntri acc ogl ien za Co m un ità all og gi o Contra tti di Work Experi ence, borse lavoro, vouch er Gr up pi ap par ta me nto La bo rat ori for ma tivi Me dia zio ne cult ural e Ori ent am ent o Spor telli di orie nta men to Sp ort elli inf or ma tivi Tu to ra gg io ALTROALTRO Total e Accompagnamento educativo personalizzato di adolescenti e giovani entrati nel circuito penale287435 24158824 34 22932 10 1361361422 Progetti di inserimento socio– lavorativo1262 34962 99 44 3232354 Servizio filtro offerto a minori o donne in difficoltà 37 2522 12 251 6188 Supporto per donne vittime di violenza e/o tratta 2113696 1 1549 21 285285768 Totale2995551 41 84312234 41 644 20 512154 5195192732

24 Leone L. 01/2007 www.cevas.it 24 Grafico 29.1 Numero di utenti partecipanti alle attività, suddivisi per azioni (Linea C, CR)

25 Leone L. 01/2007 www.cevas.it 25 Criticità del Monitoraggio Monitori _ crescita quantitativa/qualitativa delle competenze dei monitori interni _chiara attribuzione di ruoli (inserimento dati, trasmissione..) _ turn over delle persone _ carichi di lavoro eccessivi e/o funzione considerata marginale Procedure attuazione _ software inadeguato (Es: Access) _ tempestività dellazione di monitoraggio _ confusione tra contatti e target _ disomogeneità nel cosa fare e nel come fare Utilizzo _ monitoraggio visto come mero adempimento burocratico _ assenza elaborazione e/o assenza restituzione-utilizzo (V.Anche: http://www2.cnipa.gov.it/site/_files/monitoraggioppt.pdf)

26 Leone L. 01/2007 www.cevas.it 26 Griglia per descrivere il Sistema di Monitoraggio del SC in Caritas SoggettiDimensioniStrumentiTempiModalità elaboraz Inf Tipi di utilizzo Volontari Tutor Operatori locali di p. Responsabili locali EEAcc/ Resp SC Diocesani

27 Leone L. 01/2007 www.cevas.it 27 AREE DELLATTUALE QUESTIONARIO di M&V Di seguito trovare raggruppate le Aree indagate dallo strumento di monitoraggio del SC utilizzato dalla Caritas. Secondo voi quali sono le Dimensioni sottese alle domande? Ne mancano alcune? Come potrebbero essere meglio precisate? …Proseguire con lEsercitazione di gruppo

28 Leone L. 01/2007 www.cevas.it 28 1) Cosè secondo te la Caritas e come è cambiata la tua opinione su di essa? Ottima-pessima 2) Quali sono le tue responsabilità verso Caritas Italiana e Caritas diocesana? 2.a.) E verso lUfficio Nazionale del Servizio Civile? 3) E le loro (Caritas e UNSC) responsabilità nei tuoi confronti quali sono, secondo te? 4) Cè identità di vedute o disaccordo tra quello che hai compreso e il progetto della tua Caritas Diocesana? (Accordo/dis) 5) Ti sembra che le tue capacità possano essere valorizzate dal progetto? Sono effettivamente valorizzate nel progetto? Come? 6) Descrivi quanto ti senti idoneo/a a svolgere le mansioni che ti sono richieste dal progetto? Spiega in che senso ti senti idoneo/a. (niente- Pienamente) 8) Se hai già riflettuto su questo, puoi dire verso quali prospettive della tua vita si colloca lesperienza del servizio civile? A 9) Hai già scoperto ambiti del progetto da cui potresti ricavare nuove abilità o professionalità, utili per la tua vita futura? Quali nuovi ambiti hai scoperto nel corso del servizio civile? PER LA FINE DEL SERVIZIO 10) Dovendo utilizzare un termine per definire la tua esperienza complessiva di servizio civile, quale utilizzeresti? (Ottimo..)

29 Leone L. 01/2007 www.cevas.it29 Come costruire valutazioni su misura… e sviluppare disegni di valutazione appropriati? Riferimento Bibliografico: P.Rossi, In: Stame N. (a cura di) (2007), I classici della valutazione, Franco Angeli

30 Leone L. 01/2007 www.cevas.it 30 Disegno di valutazione Ogni valutazione va tagliata su misura e sebbene il disegno di valutazione possa variare in complessità (es: apprendimento lingua tramite PC) il lavoro di valutazione viene sempre influenzato da: scopi della valutazione struttura concettuale e organizzativa del programma/ progetto/servizio risorse disponibili Quali aspetti del piano di valutazione devono essere costruiti su misura? Quali considerazioni dovrebbero guidare il valutatore nella fase di pianificazione di una valutazione? Ogni disegno di valutazione si struttura attorno ai seguenti tre punti: La natura della relazione fra il valutatore e gli stakeholder Le domande di valutazione I metodi di valutazione

31 Leone L. 01/2007 www.cevas.it 31 Nessi tra elementi del piano e risultati della valutazione Risorse tempi qualità v. approfondimento rigore e standard scientifici Metodi e procedure

32 Leone L. 01/2007 www.cevas.it 32 Elementi base di Auto-valutazione 1. Descrizione del disegno di progetto e suo sviluppo Cosa prevedeva di fare il progetto. - Cosa prevedeva di fare? (scopi e obiettivi) - Per chi? Per quali situazioni? - Come doveva essere fatto? - Come erano stati pianificati aspetti relativi a struttura, organizzazione e management? Cosa fa attualmente il progetto In questa parte occorrerebbe includere tabelle e grafici per mostrare: - una lista cronologica delle principali azioni, decisioni e cambiamenti; - una tabella con i contatti effettuati (es: con CHI, tipo di gruppo istituzione natura dei contatti e scopi);

33 Leone L. 01/2007 www.cevas.it 33 -una descrizione di quali beni/servizi sono stati prodotti e per chi; - semplici statistiche/frequenze di: - n° servizi/beni prodotti - quanti sono stati utilizzati da che tipo di gruppi, in quale periodo di tempo, per quali scopi…; N.B. esempi di documentazione dei progetti come corsi formativi, brochure, potrebbero essere annessi al rapporto di valutazione. - Quali sono stati i maggiori problemi incontrati (es: eventi imprevisti) e come questi sono stati affrontati e risolti? - Comè attualmente strutturato, organizzato e gestito il progetto e con quali gruppi/organizzazioni lavora? Quali risorse umane e finanziarie sono attualmente disponibili?

34 Leone L. 01/2007 www.cevas.it 34 2. Discussione risultati, lezioni apprese e indicazioni Il progetto ha raggiunto ciò che si prefiggeva di raggiungere? Come? Perché o perché no? Cosa lha favorito e cosa no? Quali sono i punti forti e quelli deboli del progetto? Sommario delle principali lezioni apprese 3. Raccomandazioni - Quali indicazioni e raccomandazione vorreste dare e a quali gruppi e persone (stakeholder)? - Rifareste un simile progetto con le stesse caratteristiche? Rifareste un progetto simile con setting e caratteristiche diverse? Cosa vi sembra di dover raccomandare ai vostri dirigenti e committenti interni ?

35 Leone L. 01/2007 www.cevas.it 35 Comunicazione e diffusione dei risultati Perché un V sia utile occorre comunicare i risultati a coloro che sono interessati al programma. Occorre risolvere: Incertezza nel decidere informazioni rilevanti per i diversi stakeholder Incertezza circa il grado di dettaglio e approfondimento Occorre discutere con committenti un piano organizzativo per la disseminazione e comunicazione: Cosa comunicare A chi In quale forma In che tempi (es: in formative evaluation incontri informali durante raccolta dati) Modalità di pubblicizazione e grado di formalità (v. accuratezza e verifica delle informazioni se la posta in gioco è alta o ci si aspetta di suscitare controversie). Si può sollecitare un dibattito con potenziali critici e importanti stakeholder anche a seguito di una prima bozza di rapporto inserendo il feedback nel rapporto finale.

36 Leone L. 01/2007 www.cevas.it 36 Il disegno di ricerca valutativa e il processo di valutazione Definire qual è il problema, cosa deve essere valutato; su questa base individuare quali fenomeni è opportuno misurare e quali tecniche sono appropriate per rispondere alle domande chiave: definire gli obiettivi della ricerca (le necessità informative) e le domande di valutazione, e cioè individuare le domande chiave che lo studio deve affrontare; ricostruire la logica del programma/progetto (tramite documentazione, interviste a stakeholder,altri studi) pianificare la ricerca valutativa: 1. declinazione delle ipotesi e degli obiettivi specifici e individuazione dei possibili dati pertinenti, 2. individuazione di documentazione da fonti secondarie da rilevare, 3. individuazione di diverse tecniche di rilevazione (griglia di monitoraggio, indagine, interviste semistrutturate, interviste telefoniche, focus group..), 4. scelta delle tecniche, dei soggetti e modalità di campionamento eventuale

37 Leone L. 01/2007 www.cevas.it 37 1. Scelta dei tempi per la scansione delle diverse attività di ricerca e dei tempi di somministrazione degli strumenti, 2. individuazione tecniche di elaborazione dei dati (es analisi monovariata e bivariata: tabelle contingenze, test Chi Quadro, correlazioni…), 3. previsione di tipi di comparazione confronti tra dati che si effettueranno, 4. bozza di piano operativo in cui si prevedono tempi, scadenze da rispettare, tappe di lavoro e attività, responsabilità e carichi di lavoro delle diverse risorse, previsione budget ecc.; raccogliere e analizzare i dati; elaborare il/i rapporto/i di ricerca, sviluppare confronti sulle interpretazioni e diffonderne i risultati; promuovere un appropriato utilizzo dei risultati

38 Leone L. 01/2007 www.cevas.it 38 Come determinare le domande di valutazione Gli scopi della V sono inizialmente degli enunciati generici e il v. farà come un giornalista che intende fare un articolo (v.metodo indiziario e inchiesta): Esamina documenti; Intervista informatori chiave delloggetto di valutazione A volte si fa in modo superficiale ma è un passo che merita grande attenzione: è la base di una V su misura! Una serie di domande ponderate costituiscono la struttura per la V, favoriscono una pianificazione appropriata e sono la base per la discussione con i committenti/decisori

39 Leone L. 01/2007 www.cevas.it 39 Le dichirazioni iniziali del committente poste o meno nel bando sono il punto di partenza ma sono spesso generiche e vanno esplorate e rifinite è necessario cogliere utilizzi e questioni rilevanti per committenti in modo da garantire il loro coinvolgimento. Occorre selezionare un n° praticabile di domande valutative Devono essere specifiche per il p. e non astratte Sul bisogno dei servizi forniti dal progetto o programma Su concettualizazione o disegno del programma sulle modalità di funzionamento del p. e il modo di fornire servizi Sugli esiti Su costi ed efficienza Tipologia Domande

40 Leone L. 01/2007 www.cevas.it 40 Riferimenti bibliografici Leone L., Prezza M. (1999), Costruire e valutare i progetti nel sociale, Franco Angeli, Milano (Presentazione tramite lucidi sul sito www.cevas.it )www.cevas.it Valutazione Intermedia del Programma Comunitario Gioventù anni 2000- 2002 (Commissione Europea - Direzione Generale Istruzione e Cultura) per conto del Ministero del lavoro e delle politiche sociali - Direzione generale per il volontariato, l'associazionismo sociale e le politiche giovanili Down load: http://www.gioventu.it/doc_gioventu.htmCommissione Europea - Direzione Generale Istruzione e CulturaMinistero del lavoro e delle politiche socialihttp://www.gioventu.it/doc_gioventu.htm Leone L.(a cura di), ( con contributi di Stame N., Tagle L., Marino T.), Valutare le politiche di inclusione sociale, 2001, stampa Vides internazionale –Roma www.cevas.itwww.cevas.it Leone L. (2001 b), Valutare piani e progetti L.285/97. Il caso delleducativa territoriale a Roma, Prospettive Sociali e Sanitarie, IRS, Milano, nov-dic 2001, Abstract su e www.valutazioneitaliana.itwww.valutazioneitaliana.it MEANS Collection (1999), Evaluating socio-economic programmes, EUR OP, Luxembourg 1999 ISBN 92-828-6626-2 (informazioni addizionali sul sito http://inforegio.cec.eu.int)http://inforegio.cec.eu.int Stame N. (1998), Lesperienza della valutazione, Edizioni SEAM Community Tool Box, Evaluating Comprehensive Community Initiatives, University of Kansas, Work Group on Health Promotion and Community Development Rev. 3/12/99, Edited by Nagy J., B. Fawcett S. B.