Valutazione: Attesi di cambiamento Laboratorio Valutazione Torino, 19 febbraio 2004 41° INCONTRO PROGETTO “v i d e o i n d i p e n d e n t i (piano con le parole . . .)” Pillola Formativa Valutazione: Attesi di cambiamento

CHE COSA VI ASPETTATE DA QUESTO INTERVENTO? credenze - preferenze scelte con senso critico disponibilità e costo cibi coinvolgimento attivo ogni giorno… 5 porzioni frutta e verdura 30’ attività fisica unità di tempo % obiettivi raggiunti Nutbeam, 2003 1 2 3 4 5 Consapevolezza e partecipazione Impatto sui determinanti PAR Cambiamenti nei comportamenti a rischio e di protezione Cambiamenti stato di salute e malattia MCV - K Infezioni

PROGETTO INTERVENTO MCV – K Infezioni Scuola Contesti in/formali Scelte con senso critico DIAGNOSI EDUCATIVA DIAGNOSI DI COMUNITA’ ogni giorno… 5 porzioni frutta e verdura 30’ attività fisica credenze preferenze accesso costo alimenti MCV – K Infezioni Scuola Contesti in/formali coinvolgimento attivo

organizzazioni (stili di vita) Determinanti Predisponenti conoscenze credenze valori atteggiamenti auto-efficacia percezione Comportamento specifico individui o organizzazioni (stili di vita) Determinanti Abilitanti disponibilità di risorse per la salute accessibilità risorse leggi impegno istituzioni skill correlati alla salute salute Determinanti Rinforzanti famiglia gruppo dei pari insegnanti datori di lavoro operatori sanitari politici governanti ambiente (condizioni del vivere) PRECEDE diagnosi educativa ed organizzativa (Green, 1992)

Valutazione Quantitativa Valutazione Qualitativa Bisogna ricercare un buon equilibrio, triangolando tra valutazione quantitativa e qualitativa, alla luce della tipologia degli obiettivi…

STRUMENTI VALUTAZIONE alcuni esempi… QUALITATIVA focus group intervista in profondità interviste-questionari con domande aperte diario tecniche di consenso (Delphi, Nominal group…) forum-gruppo di discussione QUANTITATIVA sondaggi telefonici, postali, “opportunistici” moduli-registri di programmi di lavoro utilizzazione di servizi analisi di banche dati indicatori di salute e di comportamenti indicatori di malattia (tassi) significati immagini

processo outcome output impatto su fattori impatto su comp.-amb. Il doppio arco evidenzia che il progettista di deve concentrare sulla valutazione di impatto (risultati - cambiamenti individuali, sociali ed organizzativi) piuttosto che sui risultati di salute (sovrappeso, obesità…) che sono fuori dalla portata temporale del progetto. È importate che la struttura progettuale tenga conto delle prove di efficacia disponibili e la concatenazione delle attività programmate trovino fondamento anche in esempi di buona pratica. impatto sui fattori impatto sui comp. e amb outcome output esiti intermedi impatto su fattori impatto su comp.-amb.

Det. predisponenti comportamenti Det. abilitanti ambiente alcuni esempi di risultato Aumentato senso critico (ob. educativo) Attività fisica regolare (ob. educativo) Det. predisponenti Supervisionareprog. educativi degli insegnanti programmare e condurre riunioni commissione mensa Organizzare corso genitori (Ob. attività) comportamenti Det. abilitanti Ambiente mensa più favorevole (ob. organizzativo) ambiente Det. rinforzanti Alcuni esempi di obiettivi (o meglio di risultati attesi) educativi, organizzativi, strategici, di attività… Protocollo d’intesa inter-istituzionale funzionante (ob. strategico) Genitori più assertivi ed empatici (ob. educativo)

PENSIERO PER CATEGORIE NEL GIUDIZIO VALUTATIVO (Amerio, 2003) AIDS uso contraccettivi sessualità consapevole programma attività prestazioni Analisi bisogno e contesto/i crescita personale life skill – press. Pari contesti F/inF efficacia plausibilità riproducibilità completezza trasferibilità (generalizzabilità) Risultato (comportamenti di salute) Esiti intermedi (impatto sui determinanti) Processo (intervento) Problema (determinanti) Contesto/i

Formative Evaluation (analisi bisogni –istruttoria documentale) Process Evaluation (programma – attività – strumenti) Tre grandi aree di valutazione ricollocate sul modello PRECEDE/PROCEED. Outcome Evaluation (risultati: prestazioni – determinanti – salute)

SELEZIONE DELLE STRATEGIE EFFICACI Raggruppamenti in tre domini dei 10 criteri generali per implementare interventi di prevenzione delle dipendenze efficaci in Orlandini D. at al., Programmi e modelli di prevenzione primaria delle dipendenze: i diversi aspetti della valutazione, Regione Veneto, 2001, pp. 29 - tradotto e adattato da: Center of Substance Abuse Prevention del S.A.H.M.S.A., Guidelines and benchmarks for prevention programming, 1997 SELEZIONE DELLE STRATEGIE EFFICACI Conoscenza della popolazione target Obiettivi chiari e realistici Evidenza empirica dell’efficacia Coerenza concettuale IMPLEMENTAZIONE INTERRELAZIONI Definizione di tempi intensità e durata Attenzione alla qualità Valutazione del processo e dei risultati Partecipazione attiva Integrazione del sistema Utilizzazione delle risorse in modo sinergico ed adeguato

PIRAMIDE DELLE MODALITÀ DI RACCOLTA DEI DATI in Orlandini D. at al., Programmi e modelli di prevenzione primaria delle dipendenze: i diversi aspetti della valutazione, Regione Veneto, 2001, pp. 35 - tradotto e adattato da: C.S.A.P. – S.AH.M.S.A Sciences –based substance abuse prevention: a guide, 2001 c Replicazione e studi multicentrici Valutazione di processo Unico contesto per studi sperimentali o quasi sperimentali Focus group, Expert panels, Attività con testimoni chiave Osservazioni dello staff

…Alcune raccomandazioni… Sintesi delle Raccomandazioni Europee della II Conferenza Europea “Valutazione nella prevenzione delle dipendenze di droghe” in Orlandini D., at al., 2002, pp. 22 IMPORTANZA DELL’ASSESSMENT DEI BISOGNI STABILIRE CRITERI QUALITATIVI BASATI SU QUANTO DEFINITO DALLE LINEE GUIDA DELL’E.M.C.D.D.A. LO SVILUPPO DI COOPERAZIONI COINVOLGERE GLI ATTORI E GLI UTENTI DELLA VALUTAZIONE RUOLO DELLA VALUTAZIONE INTERNA RUOLO DELLA VALUTAZIONE ESTERNA INSEGNARE LA VALUTAZIONE, A DIFFERENTI LIVELLI DI FIGURE

…ancora una RACCOMANDAZIONE…. METODI INNOVATIVI INTEGRATI Assessment dei bisogni fra i gruppi target ed i processi di valutazione, centrati su questi ultimi, richiedono metodi innovativi e qualitativi che si aggiungono ai tradizionali questionari utilizzati. Mappare è un esempio dinamico e proattivo.