L’uso della evidence per la progettazione degli interventi Alberto Perra e Angela Giusti Perugia, maggio 2012

ideazione verifica ideazione programmazione Comprendere l’ambiente, i sistemi e l’azione umana Identificare i gruppi di interesse e la comunità ideazione Effettuare l’analisi di contesto Costruire l’albero dei problemi Costruire il modello logico Cercare le prove di efficacia Costruire l’albero degli obiettivi verifica ideazione Centrare i beneficiari Effettuare l’analisi delle alternative Costruire il quadro logico e verificare la fattibilità Identificare i pacchetti di attività, responsabilità e risorse programmazione Comporre il cronogramma Elaborare il piano di valutazione Redigere il testo del progetto e effettuare la valutazione ex-ante

memo… Evidence: “insieme disponibile di fatti o informazioni indicanti che una convinzione o proposta sia giusta o valida” 3 3

L’efficacia degli interventi Efficacia teorica: capacità intrinseca o potenziale di un intervento di migliorare un problema di salute Studi clinici o di lab Efficacia reale: capacità di un intervento di migliorare un problema in un certo contesto Studi valutativi di popolazione Teorica: risultati che valgono dovunque Pratica: risultati hic et nunc Esempi: Vaccini, fluorazione acqua, allattamento al seno

Trattamento anti-ipertensivo >40 Riduzione del rischio relativo di eventi cardio-vascolari: 33% Efficacia teorica Accuratezza diagnostica 80% Copertura della popolazione 50% Popolazione da sottoporre a trattamento 75% Aderenza del paziente al trattamento Competenza professionale 100% Le 8 tappe del monitoraggio: Definire la struttura del management Chiarire gli obiettivi Analizzare il processo Formulare delle domande per il monitoraggio Identificare gli indicatori Definire il flusso d’informazione Mezzi e costi Rischi Spiegare: Cosa sono i determinanti Gli indicatori sono stati scelti a livello locale Situazione a cascata Obiettivo: individuare i restringimenti ad imbuto del sistema Riduzione del rischio relativo di eventi cardio-vascolari: 8% Efficacia pratica

Per cercare la evidence per il progetto da dove partiamo? 6 6

Approccio basato sulle evidenze Strutturare le domande Reperire le evidenze Valutare i risultati Valutare le evidenze Domande: è utile l’aspirina nella prevenzione terziaria degli eventi CV Quanto è efficace la mammografia nelle 40enni? Quanto è efficace il counselling contro il fumo fatto dai MMG? Metterle in atto 7 7

Formulare il quesito di ricerca Partire dal modello logico (quale intervento mi aspetto che produca quale risultato?) Strutturare la domanda usando il modello PICOC o SPICE Vale la pena investire qualche ora/giorno: un quesito ben impostato e che rifletta il punto di vista degli stakeholders é un investimento a lungo termine (tempo, risorse, stress!)

Modello logico per la vaccinazione popolazione, input, attività, esiti Componenti di intervento Trattamento malattie vaccino-prevenibili Aumento domanda comunità Aumento accessibilità Interventi sui servizi Efficacia vaccino Cambiamenti attesi Malattie vaccino prevenibili Popolazione Utilizzazione servizio Copertura vaccinale Morbidità e mortalità Esposizione a a malattia vaccino-prevenibile Ambiente Riduzione esposizione

Il modello PICOC P I C O Popolazione Intervento Confronto Outcome Contesto

Il modello SPICE S P I C E Setting – Where? In what context? Formulazione del quesito di ricerca per la sintesi delle evidenze qualitative S Setting – Where? In what context? P Perspective – For who? I Intervention (Phenomenon of Interest) – What? C Comparison – What else? E Evaluation – How well? What result? The Cochrane Qualitative Research Methods Group

Esempi di PICOC Popolazione Intervento Confronto Outcome Contesto Donne di età >= 45 Invito scritto per il pap test Invito scritto + richiamo Partecipazione allo screening Rurale, semi-urbano, urbano Lavoratori del comparto edile Formazione alla sicurezza Informazione con opuscolo Conoscenza Uso di DPI Mortalità -- Adolescenti scolarizzati 15-18 anni Formazione su sicurezza stradale Uso del casco Scuole delle periferie urbane Donne in gravidanza Informazione allattamento da peer counsellor Assistenza standard AS iniziale e a 6 mesi

Modello logico per la vaccinazione Aumento domanda comunità Trattamento malattie vaccino-prevenibili Aumento accessibilità Interventi sui servizi Efficacia vaccino Malattie vaccino prevenibili Popolazione Utilizzazione servizio Copertura vaccinale Morbidità e mortalità RICONOSCERE NEL MODELLO POPOLAZIONE, INPUT, ATTIVITA’,OUTPUT, OUTCOME BML/T Qui, modello CDC, non mi piace perchè manca per esempio una FORTE COMUNICAZIONE con gli anziani o GI Esposizione a a malattia vaccino-prevenibile Ambiente Riduzione esposizione 13

Strutturare le domande Approccio basato sulle evidenze Strutturare le domande Reperire le evidenze Valutare i risultati Valutare le evidenze Domande: è utile l’aspirina nella prevenzione terziaria degli eventi CV Quanto è efficace la mammografia nelle 40enni? Quanto è efficace il counselling contro il fumo fatto dai MMG? Metterle in atto 14 14

Fate prima un brainstorming… Obiettivo di questo brainstorming è produrre un elenco di fonti informative, di strumenti e strategie di ricerca utili a trovare la migliore evidence per i propri programmi/progetti/componenti di salute. Quali sono le fonti che abitualmente utilizziamo nel nostro contesto lavorativo e quali le strategie di ricerca? Fonti – primarie, secondarie, terziarie Risorse - banche dati, e-books, periodici, sistemi di catalogazione e ricerca di bibliografie (Bibliosan, RefWork) Strumenti di ricerca- cataloghi, motori di ricerca, repertori, portali web Strategie di ricerca – booleani, parole chiave, tag

Reperire la evidence Risorse più comuni Peer review (revisione tra pari) Parere di esperti Best practices Linee Guida Letteratura grigia Fonti primarie, secondarie o terziarie

UTILITA’ PER I PROFESSIONISTI Fonti Fonti primarie Fonti secondarie Fonti terziarie UTILITA’ PER I PROFESSIONISTI Fonti terziarie Fonti secondarie Fonti primarie 17 17

Fonti terziarie Riassumono/rielaborano una serie di fonti secondarie L’eventuale rielaborazione non prevede criteri di qualità predefiniti La lingua prevalente è l’italiano Esempi: enciclopedie, libri di testo, siti CAT (Critically Appraised Topic), revisioni narrative, linee guida non EB, stampa e siti web specializzati e non, portali web www.epicentro.iss.it  www.dors.it  www.saperidoc.it  Salute-UE

Fonti secondarie Sintetizzano una o più fonti primarie o secondarie Forniscono una panoramica delle attuali conoscenze mediche di un argomento La ricerca sui database risulta più semplice grazie ad alcune parole chiave (es revisione sistematica, metanalisi) Sono pre-filtrate e valutate nella qualità (qualità metodologica, conflitto di interessi, ecc) La lingua prevalente rimane l’inglese, ma esistono fonti tradotte o di produzione italiana Esempi: meta-analisi, revisioni sistematiche e non sistematiche, linee guida EB, testi specialistici, “position statements” e revisioni delle organizzazioni sanitarie e società scientifiche.

Fonti primarie Articoli i cui autori hanno partecipato direttamente alla ricerca Lo sono la maggior parte degli articoli pubblicati nella letteratura scientifica sanitaria Accessibili attraverso database molto ampi e di difficile consultazione Sono solo parzialmente filtrate e valutate nella qualità (qualità metodologica, conflitto di interessi, ecc) La lingua prevalente è l’inglese Esempi: RCT, studi di cohorte, studi caso- controllo, studi di prevalenza, ecc.

Fonti primarie: “Mission impossible” Per essere aggiornato con “fai da te”ciascuno di voi dovrebbe leggere in media 8 nuovi articoli ogni giorno 21 21

Alcuni esempi Inclusione dei riferimenti bibliografici Inclusione di link alle fonti Identificazione del target Navigabilità (usabilità) Autorevolezza autore Chiara identificazione delle sponsorizzazioni

“TROVARE” la letteratura via web Portali e siti specializzati Cochrane Epicentro SNLG (Istituto Sup Sanità) Ceveas, Emilia-Romagna Dors, Piemonte Regione Lombardia, Knowledge Centre NICE, Regno Unito Motori di ricerca Google Google Scholar Google books Database di interesse per la salute pubblica Pubmed Embase Psichynfo

Qualità dei siti di informazione sulla salute (1) Alcuni criteri: Autorevolezza dell’autore Autorevolezza dell’istituzione di appartenenza Identificazione dello scopo e del target Chiara identificazione delle sponsorizzazioni Inclusione dei riferimenti bibliografici Inclusione di link alle fonti

Qualità dei siti di informazione sulla salute (2) Periodicità dell’aggiornamento (data pubblicazione, data ultima modifica) Eventuali certificazioni di qualità Valutazione dell’accesso (uso di server dedicato, velocità di collegamento, necessità di registrazione, accesso abilitato a specifici utenti) Assistenza online (help autoesplicativo, e-mail dell’autore, mailing-list per aggiornamento o ulteriori informazioni, motore di ricerca interno)

Strutturare le domande Approccio basato sulle evidenze Strutturare le domande Reperire le evidenze Valutare i risultati Valutare le evidenze Domande: è utile l’aspirina nella prevenzione terziaria degli eventi CV Quanto è efficace la mammografia nelle 40enni? Quanto è efficace il counselling contro il fumo fatto dai MMG? Metterle in atto 26 26

di qualità utile per l’azione? Valutare la evidence Quali criteri utilizzare per definire l’informazione di qualità utile per l’azione?

La piramide della evidence Revisioni Sistematiche LG basate su RS Sintesi critiche dell’evidence Valutazione critica di singoli articoli Trial clinici controllati Studi quasi sperimentali Studi di coorte, descrittivi, qualitativi Studi caso-controllo, serie di casi, reports Background informativi, parere esperti

Valutare la qualità descrittiva di una pubblicazione scientifica PRISMA: Preferred Reporting Items for Systematic reviews and Meta-Analyses CONSORT : CONsolidated Standards Of Reporting Trials STROBE : STrengthening the Reporting of Observational Studies in Epidemiology COREQ : COnsolidated criteria for Reporting Qualitative research AGREE: Appraisal of Guidelines for REsearch & Evaluation 29

Tipi di revisione della letteratura Revisione Narrativa è una operazione di sintesi di un certo numero di articoli pubblicati nella letteratura scientifica su di uno specifico argomento di ricerca Revisione Sistematica è preparata utilizzando un approccio sistematico e dei metodi espliciti (cioè descritti in un protocollo) per identificare, selezionare e valutare criticamente gli studi rilevanti e raccogliere ed analizzare i dati dagli studi inclusi nella revisione. Una Revisione Sistematica non necessariamente utilizza metodi statistici (meta-analisi) per sintetizzare i dati dai diversi studi Meta-analisi è l’uso di tecniche statistiche all’interno di una Revisione Sistematica per combinare dati che derivano da studi indipendenti in modo da ottenere una stima numerica dell’effetto complessivo di una particolare procedura/variabile rispetto ad uno specifico esito TIPI DI REVISIONE DELLA LETTERATURA Revisione narrativa Revisione sistematica qualitativa Revisione sistematica quantitativa REVISIONE NARRATIVA E’ un’indagine narrativa che riassume le conoscenze su un certo tema della letteratura Punti forti Permette un’ampia prospettiva su un tema e lo sviluppo storico dei suoi aspetti principali Discutono aspetti contestuali e teorie a fini educativi Stimolano la riflessione e sono relativamente facili da leggere Orientati a promuovere un’azione Punti deboli Non esiste un metodo standard Possibili bias legati all’autore Orientati a spiegare teorie quindi poco orientati a riassumere l’efficacia dell’azione Non fanno spesso una preliminare revisione della qualità degli articoli presi in considerazione incompleta, usa criteri impliciti, sintesi soggettiva basata su valori impliciti, raccomandazioni soggettive, influenzate dal punto di vista del revisore spesso non verificabili REVISIONI SISTEMATICHE Scopi Specificare le domande, trovare la letteratura pertinente, valutare la qualità degli studi, e sintetizzare i risultati Limitare le distorsioni Identificare le lacune nella conoscenza Fornire informazioni se gli interventi sono efficaci, e se si, in quali popolazioni e situazioni sono stati efficaci LA REVISIONE SISTEMATICA QUALITATIVA Si realizza su TUTTI gli studi originali su un certo tema su diverse base di dati, utilizzando per ogni articolo uno schema metodologico standard. Per ogni articolo si usa una sintesi quantitativa dei risultati ma senza analisi statistiche con gli altri articoli (qualitativa). sistematica e usa criteri espliciti di individuazione e selezione delle informazioni, sintesi che usa tecniche di analisi scientifiche analoghe a quelle della ricerca primaria, raccomandazioni oggettive e graduate in rapporto alla forza e alla qualità delle evidenze disponibili verificabili. Utilizza un metodo rigoroso e metodi espliciti Mette a fuoco un quesito molto preciso, stabilendo dei criteri rigidi per cui un articolo viene incluso o no nella revisione I metodi sono scritti e riproducibili (migliore credibilità dei dati) E’ più adatto per RCT e studi osservazionali Poco spazio per le discussioni sulla teoria La mancanza di un’analisi statistica preclude la possibilità di verificare la validità relativa dei singoli studi analizzati LA REVISIONE SISTEMATICA QUANTITATIVA E’ un’indagine che riassume le prove scientifiche con un determinato disegno metodologico in cui gli individui in studi sono i singoli studi (per dati aggregati) per i quali si verifica un’analisi statistica (o meta-analisi). Stesso approccio sistematico delle revisioni qualitative. Sistematica e usa criteri espliciti di individuazione e selezione delle informazioni, sintesi che usa tecniche di analisi scientifiche analoghe a quelle della ricerca primaria, raccomandazioni oggettive e graduate in rapporto alla forza e alla qualità delle evidenze disponibili verificabili. Mette assieme una base di dati più ampia che permette di evidenziare meglio eventuali effetti Più forte quanto più gli studi si assomigliano (pooled analysis) Difficile talvolta trovare studi da mettere assieme per la meta-analisi Non sempre c’è l’accordo degli esperti su come mettere assieme studi che hanno variabili differenti Poco spazio alla teoria e alla sua applicazione Fonte: Maggini, Raschetti, Giusti. Progetto IGEA. Gestione integrata del diabete mellito di tipo 2 nell’adulto. Manuale di formazione per gli operatori sanitari. Il Pensiero Scientifico Editore, 2009.

LINEE GUIDA: a cosa servono? Migliorare efficacia e appropriatezza nella gestione degli interventi Limitare la variabilità dei comportamenti Aggiornare e informare i professionisti e i cittadini/utenti Fornire indicatori per la valutazione degli interventi. Variabilità della pratica clinica e promozione di interventi di efficacia Disponibilità, immediata fruibilità e interpretabilità delle evidenze Contenimento costi Credibilità della classe medica/servizi Bisogno di qualità Variabilità: non legata a modelli strutturali o operativi ma alla difformità di opinioni in seno alla classe medica DUE MILIONI DI ARTICOLI ALL’ANNO, 19 ARTICOLI PER 365 GIORNI PER l’aGGIORNAMENTO IN MEDICINA GENERALE NECESSITA’ DI INDIVIDUARE, SCEGLIERE LE INFORMAZIONI CLINICAMENTE RILEVANTI, SINTETIZZARE Dimunuire l’incertezza professionale Contenimento:LG MS per follow-up gravidanza AGREE della UE: progetto per valutare qualità LG

Ma eravamo partiti DA QUI…

Modello logico per la vaccinazione Aumento domanda comunità Trattamento malattie vaccino-prevenibili Aumento accessibilità Interventi sui servizi Efficacia vaccino Malattie vaccino prevenibili Popolazione Utilizzazione servizio Copertura vaccinale Morbidità e mortalità RICONOSCERE NEL MODELLO POPOLAZIONE, INPUT, ATTIVITA’,OUTPUT, OUTCOME BML/T Qui, modello CDC, non mi piace perchè manca per esempio una FORTE COMUNICAZIONE con gli anziani o GI Esposizione a a malattia vaccino-prevenibile Ambiente Riduzione esposizione 34

Ricerca e catalogazione evidence (vaccino antinfluenzale) Sistemi di promemoria o sollecito per gli utenti (telefonate, lettere, cartoline postali) 42 studi effettuati 42 1 Diminuzione incidenza di influenza Aumento copertura vaccinale Aumento conoscenze Diminuzione mortalità Che tipo di studi sono questi? Come spiegare questa situazione? Si applica un peso ai singoli contributi trovati in letteratura, il che è più facile che farlo per l’intero PSP The Community Guide, 2000 35

Raccomandazione forte Evidence per: Promemoria vaccini Raccomandazione forte 36

Dalla Community Guide http://www.epicentro.iss.it/ebp/vaccini.asp 37

Strutturare le domande Approccio basato sulle evidenze Strutturare le domande Reperire le evidenze Valutare i risultati Valutare le evidenze Domande: è utile l’aspirina nella prevenzione terziaria degli eventi CV Quanto è efficace la mammografia nelle 40enni? Quanto è efficace il counselling contro il fumo fatto dai MMG? Metterle in atto 38 38

Lo stiamo facendo, no?

La questione delle prove in promozione della salute

Il sistema sanitario finisce per farsi carico dei problemi che derivano dall'epidemia di MCNT e deve fare i conti con queste, senza purtroppo possedere gli strumenti per affrontare le loro cause, in quanto le risposte necessarie non sono di ordine sanitario o clinico, ma sociale e ambientale" Kickbusch I, Buckett K (Ed.). Implement health in all policies, Adelaide 2010

Quale efficacia? 'efficacia' : una gamma di opinioni su il 'successo' nella promozione della salute un programma che realizza un impatto significativo sui cambiamenti delle conoscenze, sulla base di una relazione causale ipotizzata tra conoscenza e cambiamenti nel comportamento, giudicato 'inefficace' da chi cerca prove concrete dei cambiamenti dei fattori di rischio biologici, o anche la mortalità un programma che realizza il cambiamento nel livello organizzativo nel management di una mensa scolastica giudicato 'inefficace' in base ai criteri di cambiamento di comportamenti nei singoli lavoratori.

Quali criteri per agire efficacemente in promozione della salute? Azioni integrate (i 5 di Ottawa) Identificare gli ambienti giusti per le azione integrate Grandi e piccole città, isole, comuni e comunità locali, mercati, scuole, luoghi di lavoro e strutture sanitarie La partecipazione è essenziale per sostenere gli sforzi di integrazione Le persone devono essere al centro dell'azione di promozione della salute e dei processi decisionali Apprendimento in «salute» favorisce la partecipazione L'accesso all'istruzione e all'informazione è essenziale per ottenere una partecipazione efficace e l'empowerment delle persone e delle comunità

5 indirizzi da Ottawa Mettere a punto e varare una politica di salute pubblica Creare ambienti favorevoli Rafforzare azione comunitaria Sviluppare le competenze personali Riorientare i servizi sanitari

Ma l’applicazione dei criteri non porta sempre e necessariamente agli stessi risultati! fumo e obesità

Fare uno studio o analisi di contesto significa identificare tutti gli aspetti di quel contesto che hanno una qualche relazione con il problema/aspetto di salute per il quale prevediamo mettere in atto un intervento o un progetto. Intuitivamente pensiamo che se abbiamo intenzione di promuovere per esempio la copertura con una vaccinazione dei bambini dobbiamo avere un idea di quale sia la copertura attuale, ma anche, risalendo via via più a monte nella comprensione delle ragioni che determinano una copertura insufficiente, come i fattori legati al servizio sanitario o alle convinzioni/opinioni/percezioni dei genitori e alle caratteristiche culturali e ambientali della collettività. Non sempre è facile descrivere la “ragnatela” che collega fra loro tutti gli elementi che hanno a che fare con gli aspetti di salute che ci interessano. Nel campo delle malattie croniche non trasmissibili tale ragnatela è particolarmente complessa. A titolo di esempio consideriamo l’analisi realizzata sull’intreccio di fattori che fanno ormai del sovrappeso e dell’obesità un’epidemia globale La logica che giustifica la realizzazione di una buona analisi di contesto è che tanto più spieghiamo le modalità con cui un aspetto/problema di salute si manifesta nella collettività tanto più siamo capaci di identificare soluzioni potenziali. Al contrario, progettare interventi senza aver disegnato un buon quadro di riferimento attraverso l’analisi di contesto, significa esporsi a successi incompleti o a fallimenti degli stessi, come nell’esempio che segue. Alcuni studi effettuati in Gran Bretagna hanno mostrato che fino al 60% degli introiti dei negozi di alimentari, bar e simili attorno alle scuole provenivano dalle spese fatte dagli studenti, in genere per alimenti ad alto tenore di grassi e calorie . Per promuovere sane abitudini alimentari nelle scuole non basta fare al loro interno distribuzioni di alimenti sani e l’educazione nutrizionale strutturata, ma è necessario anche ottenere il coinvolgimento dei commercianti della zona, riuscendo a sostituire, per esempio, alimenti grassi e ipercalorici con altri più adatti alla nutrizione degli alunni senza compromettere i loro guadagni. Il non aver considerato tale elemento di contesto può mettere a repentaglio la riuscita del progetto di promozione della salute nutrizionale nelle scuole di tali collettività.

Qualche strategia….. Fare uso, nella pianificazione degli interventi di PS, delle teorie Appoggiarsi a una sistematica valutazione dei bisogni (condivisa) Usare modelli di pianificazione validati Costruire opportunità di sostegno sociale Creare partnership e alleanze oltrepassando le frontiere tradizionali (di settore o di aobienti)

ideazione verifica ideazione programmazione Comprendere l’ambiente, i sistemi e l’azione umana Identificare i gruppi di interesse e la comunità ideazione Effettuare l’analisi di contesto Costruire l’albero dei problemi Costruire il modello logico Cercare le prove di efficacia Costruire l’albero degli obiettivi verifica ideazione Centrare i beneficiari Effettuare l’analisi delle alternative Costruire il quadro logico e verificare la fattibilità Identificare i pacchetti di attività, responsabilità e risorse programmazione Comporre il cronogramma Elaborare il piano di valutazione Redigere il testo del progetto e effettuare la valutazione ex-ante

Risposta individuale (comportamento, biologia) Ambiente sociale Ambiente fisico Base genetica Risposta individuale (comportamento, biologia) Malattia o Fattore di Rischio Sistema sanitario Salute e capacità Benessere Prosperità Modello di sintesi di determinanti di salute, stato di salute e servizi di salute Evans R G, 1990, modificato

Modello precede-proceed La diapositiva presenta gli ambiti caratterizzanti la spirale della progettazione ricollocati sul modello di progettazione PRECEDE-PROCEED : l’analisi dei bisogni (fase di diagnosi di comunità o dei problemi/bisogni di salute e fase della diagnosi educativa che descrive i determinanti dei comportamenti di salute) e il progetto di intervento. Il modello PRECEDE-PROCEED in questa fase non deve essere presentato nella sua complettezza, ma solamente descritto nella sua struttura essenziale sottolineando che in un buon progetto si parte dal fondo con la descrizione del fenomeno comportamentale e dei suoi determinati facilitando così la identificazione dei risultati attesi (analisi dello scarto osservato-atteso) .

Il Modello dei domini interattivi delle buone pratiche in promozione della salute e in salute pubblica (Kahan e Goodstadt, 2005)

Coloro che bevono sono tutti uguali? Il cambiamento ALCOL Pre-contemplazione Contemplazione Determinazione Azione Mantenimento vitale mortale Coloro che bevono sono tutti uguali?

Cambiamento stile di vita stabile Il cambiamento negli stili di vita Pre-contemplazione Contemplazione Determinazione Azione Mantenimento Cambiamento stile di vita stabile Ricaduta

Limiti nella EBHP Ricercabilità delle prove Standard di efficacia I motori di ricerca non sono pensati per produrre i risultati in PS (es MESH) Standard di efficacia Derivano dall’EBM e non sono immediatamente adattabili all’EBHP PS si tende a riportarla nei termini «individuali» Variazioni nella qualità dell’intervento (risorse e capacità degli operatori) Valutazione non corretta Non pubblicazione dei risultati

Su quale evidence è basato il nostro intervento? Trial Altri studi Opinioni di esperti Iniziativa individuale Da dove viene questa evidence? UK/USA/Australia Trasferibilità?

2 Gruppi (62 partecipanti) La ricerca dei risultati dei progetti partecipati: cosa misurare e dove; utilità, limiti dei sistemi di informazione attualmente in funzione Coordinatore Marco Cristofori

La valutazione dei progetti di PS partecipati I progetti di promozione della salute, elaborati e realizzati localmente hanno alcune caratteristiche di cui è necessario tener conto e che li differenziano da altri interventi richiesti al sistema sanitario, sociale e scolastico Il progetto è costruito su una visione condivisa che parte da una «rappresentazione sociale» di una certa realtà così come la percepiscono i GI partecipanti Fine precipuo della valutazione è quindi la descrizione di una «nuova» rappresentazione sociale di una condizione condivisa con i GI

Caratteristiche - 1 La valutazione: difficile quanto necessaria DIFFICILE: Perché il risultato di salute e il processo hanno ampie zone di sovrapposizione (la partecipazione che cosa è?) Il risultato di salute non è sempre condiviso con i gruppi di interesse che si aspettano risultati diversi La valutazione deve dare «risposte» specifiche alle «domande» specifiche di ogni GI I risultati di salute (oltre che di processo) possono essere modificati lungo la realizzazione del progetto Trovare «prove di efficacia» convincenti per dare forza al progetto

Caratteristiche - 2 DIFFICILE: I progetti di promozione della salute devono produrre empowerment, concetto non facilmente traducibile in indicatori misurabili e condivisi A differenza di altri interventi socio-sanitari, non sono facilmente reperibili informazioni sul costo- efficacia o costo-beneficio degli interventi partecipati di promozione della salute Come misurare in una comunità l’effetto di un progetto che contribuisce a «mantenere» il livello di salute? Misurare il cambiamento con la chiave prima-dopo e stimarne la plausibilità rispetto all’azione di progetto

Caratteristiche - 3 La valutazione: difficile quanto necessaria NECESSARIA: La partecipazione dei GI non si può considerare completa senza un’attività condivisa di valutazione La rimodulazione del progetto, frequente, deve essere fatta sulla scorta delle indicazione della valutazione E’ lo strumento necessario per seguire la partecipazione e evitare l’esclusione di gruppi di popolazione «vulnerabili» durante l’esecuzione del progetto Non è possibile comprendere il valore di un progetto senza (in ordine) 1 chiarire gli obiettivi 2 definire criteri, indicatori e standard

Caratteristiche - 4 NECESSARIA: Spesso necessario un sistema di misura ad hoc del progetto (per processo e risultati) Il ricorso a strumenti di indagine qualitativa è essenziale per la partecipazione in generale e per la valutazione in particolare, anche se il personale ha competenze limitate in entrambi i campi Senza una valutazione ex-ante, volta a verificare la qualità della proposta progettuale, il progetto non dovrebbe essere varato; fra i vari criteri è essenziale la sostenibilità senza la quale non è opportuno far partire il progetto Destabilizzante l’approccio necessario a GS in quanto si fissa solo un campo (4 stili) e un criterio metodologico (partecipazione) Monitoraggio più impegnativo (metodo) e faticoso (tempo e risorse) per i progetti ps

I sistemi di informazione esistenti Utili o utilissimi per la preparazione dello studio di contesto del progetto Potenzialmente utili per alcuni indicatori di processo, ma: la scala di misura dei vari Okkio, PASSI è maggiore di quella necessaria per misurare indicatori spesso a carattere più locale la tempestività (il tempo necessario per avere l’info) può non essere sufficiente per cogliere i cambiamenti locali richiesti dal progetto

Buon viaggio nel mondo della evidence! 64