METODOLOGIA L’APPROCCIO BASATO SULLE EVIDENZE F.N. Lauria, E. Nicastri Coordinamento Generale: Istituto Nazionale Malattie Infettive Lazzaro Spallanzani IRCCS, Roma

Metodologia di lavoro Gruppi di lavoro Definizione della lista dei quesiti Identificazione dei documenti per la revisione sistematica Valutazione dei documenti identificati con la revisione sistematica

Identificazione dei documenti per la revisione sistematica Strategie di ricerca concordata con il coordinatore operativo di ogni gruppo, la segreteria scientifica, e l’esperto utilizzando stringhe specifiche con diverse parole chiavi interrogare: banche dati PUBMED, EMBASE e COCHRANE LIBRARY, selezionando documenti pubblicati a partire dal 2000 (incluso) e fino al 30 giugno 2008 e relativamente alle pubblicazioni in italiano, inglese, francese, spagnolo, tedesco siti web Società di Malattie Respiratorie (ATS, ERS), Malattie Infettive (IDSA, ISID), Infezioni Ospedaliere (APIC) organizzazioni internazionali (WHO, EU) e nazionali (CDC; HTA; National Clearinghouse)

Metodologia di lavoro Gruppi di lavoro Definizione della lista dei quesiti Identificazione dei documenti per la revisione sistematica Selezione e valutazione dei documenti identificati con la revisione sistematica

Selezione dei documenti per la revisione sistematica: FASE 1 1. Documenti di sintesi: sulla base della lettura del titolo e del riassunto, verranno selezionati i documenti che rispondano alle seguenti caratteristiche: a. Avere una infezione/malattia da Gram+ o aspetti correlati alla sua gestione come argomento centrale b. Rispondere alla definizione di documento di sintesi 2. Documenti di indirizzo: sulla base della lettura del testo verranno selezionati i documenti che rispondano alle seguenti caratteristiche: b. Rispondere alla definizione di documento di indirizzo riportata in allegato

Selezione dei documenti per la revisione sistematica: FASE 2 Documenti di sintesi: sulla base della lettura del testo verranno selezionati i documenti che contengano una sezione di metodi, che includa i seguenti aspetti: criteri di inclusione degli studi (intervento considerato, popolazione in studio, tipologia dello studio); metodologia utilizzata per identificare gli studi; valutazione di qualità degli studi inclusi;

Selezione dei documenti per la revisione sistematica: FASE 2 Documenti di indirizzo: sulla base della lettura del testo verranno selezionati i documenti che rispondano alle seguenti caratteristiche: - per le Linee guida: a. la presenza di una sezione metodi che includa i seguenti aspetti: come sono stati definiti i quesiti, come sono state identificate valutate e sintetizzate le evidenze che rispondono ai quesiti, come e da chi è stato composto il panel di esperti, come gli esperti hanno formulato la raccomandazione, ovvero b. la presenza di una sezione metodi anche se non rispondente ai criteri sopra definiti;

Selezione dei documenti per la revisione sistematica: FASE 2 Per le Conferenze di consenso: a.  la presenza di una sezione metodi che includa i seguenti aspetti: come sono stati definiti i quesiti, come sono state identificate valutate e sintetizzate le evidenze che rispondono ai quesiti, come e da chi è stato composto il panel di esperti, definizione delle fasi iterative, descrizione della giuria e del metodo decisionale, ovvero b.  la presenza di una sezione metodi anche se non rispondente ai criteri sopra definiti;

Selezione dei documenti per la revisione sistematica: FASE 3 Analisi delle prove scientifiche provenienti da singoli studi Se non disponibili documenti di indirizzo o di sintesi, sono stati selezionati documenti che forniscono prove scientifiche originali o indirizzi provenienti da opinioni di esperti. Per ogni singolo quesito è stata definita la strategia di ricerca ed i criteri di inclusione degli studi, adottando la seguente strategia: Population, Intervention, Comparator, Outcome e Design PICOD per la parte dei quesiti non coperti da evidenze di qualità, si è deciso di far ricorso al parere degli esperti facenti parte della Faculty di GISIG, chiedendo però che la formulazione dei pareri fosse basata e confortata da dati provenienti da casistiche, utilizzando una specifica metodologia per rendere omogenei e comparabili i dati.

Valutazione delle evidenze - 1 Documenti di sintesi Documenti che contengono una sezione di metodi, che includa i seguenti aspetti: criteri di inclusione degli studi (intervento considerato, popolazione in studio, tipologia dello studio); metodologia utilizzata per identificare gli studi; valutazione di qualità degli studi inclusi; Se presenti tutti gli aspetti è assegnato il livello “1”; se presenti gli aspetti 1 e 2 è assegnato il livello “2”. Il livello “1” è distinto in “a” o “b” secondo Valutazione della Qualità a/b Valutazione della qualità Elementi C’è un obiettivo? L’obiettivo è chiaro? Le ricerche bibliografiche sono descritte? Le ricerche sono state condotte perlomeno su 3 fonti? Le ricerche sembrano esaustive? Sono state fatte ricerche a mano? Criteri di inclusione espliciti? Criteri inclusione coerenti con obiettivo? Criteri di inclusione comprendono qualità studi primario? L’estrazione dati è stata fatta in doppio? La descrizione degli studi primari c’è? Se vi è meta-analisi gli interventi sono omogenei? Se vi è meta-analisi gli esiti sono omogenei? Se vi è meta-analisi i disegni di studio sono omogenei? Le analisi statistiche sono appropriate? Le conclusioni derivano logicamente dai risultati? Vi è dichiarazione di conflitti di interesse degli autori? Se presenti tutti gli elementi è classificato “a”, altrimenti ”b”.

Valutazione delle evidenze - 2 Documenti di indirizzo Linee Guida la presenza di una sezione metodi che includa i seguenti aspetti: come sono state identificate valutate e sintetizzate le evidenze che rispondono ai quesiti, come sono stati definiti i quesiti, come e da chi è stato composto il panel di esperti, come gli esperti hanno formulato la raccomandazione, Ovvero la presenza di una sezione metodi anche se non rispondente ai criteri sopra definiti; Se presenti 3/4 elementi sono classificate come LIVELLO “1”, altrimenti “2”. Conferenze di consenso: la presenza di una sezione metodi che includa i seguenti aspetti: come sono stati definiti i quesiti, come sono state identificate valutate e sintetizzate le evidenze che rispondono ai quesiti, come e da chi è stato composto il panel di esperti, definizione delle fasi iterative, descrizione della giuria e del metodo decisionale, Ovvero la presenza di una sezione metodi anche se non rispondente ai criteri sopra definiti; Se presenti 3/5 elementi sono classificate come LIVELLO “1”, altrimenti “2”

Valutazione delle evidenze Criteri Criteri per valutare la qualità delle evidenze ed assegnare il grado di forza delle raccomandazioni Applicati ai documenti di indirizzo e di sintesi presi in considerazione: Applicazione della metodologia del GRADE Working Group (Grading quality of evidence and strength of recommendations BMJ 2004;328;1490-9) 1 - disegno degli studi 2 - qualità degli studi 3 - riproducibilità/consistenza degli studi (consistency) 4 - chiarezza degli obiettivi/applicabilità (directness)

Livelli di qualità delle evidenze e grado di forza della raccomandazione Livello alto Conclusioni e indicazioni derivate da documenti di indirizzo di Liv 1 e in documenti di sintesi di Liv. 1a di buona qualità che È’ MOLTO IMPROBABILE risultino influenzate dai risultati di ulteriori ricerche Grado di forza della raccomandazione: A   Livello intermedio Conclusioni e indicazioni riportate in documenti di sintesi di Liv. 1b che È PROBABILE che possano essere modificate/influenzate dai risultati di ulteriori ricerche Grado di forza della raccomandazione: B Livello basso Conclusioni e indicazioni riportate in documenti di sintesi e di indirizzo di Liv. 2 che È MOLTO PROBABILE che possano essere modificate/influenzate dai risultati di ulteriori ricerche Grado di forza della raccomandazione: C Livello molto basso Conclusioni e indicazioni riportate come di esperti la cui stima dell’effetto È MOLTO INCERTA Grado di forza della raccomandazione: D

Attribuzione del grado di forza delle raccomandazioni: A: Raccomandazioni derivate da Revisioni Sistematiche di buona qualità metodologica (liv. 1a) Raccomandazioni sostanziate da evidenze di Buona qualità derivate da Linee-guida di liv.1 B: Raccomandazioni derivate da Revisioni Sistematiche di bassa qualità metodologica (Liv. 1b) o da Linee-Guida di Livello 1 ma basate su evidenze di bassa qualità C: Indicazioni basate su evidenze o raccomandazioni provenienti da Revisioni Sistematiche di livello 2 o Linee- Guida di livello 2 D: Parere di esperti o indicazioni derivate da raccomandazioni basate su parere di esperti

Valutazione della qualità metodologica di fonti primarie In analogia della metodologia adottata dal GRADE Working Group (Grading quality of evidence and strength of recommendations BMJ 2004;328;1490-9), per valutare la qualità delle prove è necessario considerare: 1. Disegno dello studio (e.g. RCT, studi di coorte) 2. Qualità e difetti dello studio (e.g. modalità di assegnazione, cecità, follow-up) 4. Riproducibilità (consistency) dei risultati 5. Diretta applicabilità (indirectness) dei risultati in termini di: – popolazione (es. pts. più anziani, più malati, ecc.) – interventi (es. farmaci della stessa classe) – outcome (clinicamente rilevanti vs. surrogati) – confronti (testa a testa: A-C rispetto ad A-B & C-B)

Tabella delle evidenze Livelli di qualità delle evidenze e grado di forza della raccomandazione Tabella delle evidenze Disegno studio (RCT= 4; studi oss= 2;...) Totale score qualità (*) Limiti qualità studio (-1 o -2) Grado riproducibilità (inconsistency) (-1) Applicabilità Precisione Probabilità bias Grado associazione (+1 o +2) % dose/risposta (+1) Riduzione Confendenti (*) > 4: alto; =3: intermedio; =2: basso; =1: molto basso

Livelli di qualità delle evidenze e grado di forza della raccomandazione Livello qualità delle evidenze Score finale e grado di incertezza delle evidenze Grado di forza della raccomandazione ALTO > 4 MOLTO IMPROBABILE risultino influenzate dai risultati di ulteriori ricerche A INTERMEDIO = 3 PROBABILE che possano essere modificate/influenzate dai risultati di ulteriori ricerche B BASSO = 2 MOLTO C MOLTO BASSO = 1 stima dell’effetto MOLTO INCERTA D