Meta-analisi Giorgia De Berardis Lab. Epidemiologia Clinica del Diabete e delle Malattia Croniche

La meta-analisi: Perché? L’efficacia di molti trattamenti viene valutata da più trial cosa che ne rende indispensabile un resoconto sintetico. Sono, insieme ai trial ben disegnati, le prove più valide dell’efficacia (o della non efficacia) dei trattamenti.

La meta-analisi: quando? Nei casi di incertezza nella valutazione di efficacia di un trattamento Quando i risultati dei singoli studi non sono univoci Quando i singoli studi sono effettuati su un campione di pazienti numericamente scarso (poco affidabili)

La meta-analisi: definizione META-ANALISI Metodologia statistica necessaria a combinare in modo esaustivo, obiettivo, quantitativo e sistematico i risultati di studi diversi condotti su argomenti analoghi La combinazione dei dati diminuisce l’imprecisione dei risultati dei singoli studi

Meta-analisi Systematic reviews Meta-analyses

Revisioni sistematiche Ricerche scientifiche vere e proprie con un protocollo che definisce un preciso obiettivo e descrive fonti e metodi utilizzati per ricercare, selezionare sintetizzare quantitativamente gli studi primari su un determinato argomento minimizzando i numerosi bias

Revisioni tradizionali sistematiche Quesito Fonti di informazione e loro ricerca Selezione Valutazione qualità degli studi Sintesi Inferenze Di solito su problematiche ampie Generalmente non pecificate, potenzialmente soggette a bias Generalmente non pecificata, potenzialmente soggetta a bias Variabile Di solito sintesi qualitativa A volte evidence based Di solito focalizzato su uno specifico problema Ricerca esaustiva, utilizzando strategie di ricerca esplicite Basata su criteri specifici, uniformemente applicati Valutazione critica rigorosa Sintesi quantitativa Abitualmente evidence based Ann Intern Med 1997; 126:376-380

The Cochrane Collaboration Network internazionale che ha l’obiettivo di: preparare aggiornare disseminare revisioni sistematiche degli studi controllati sugli effetti dell’assistenza sanitaria e, laddove non sono disponibili studi clinici controllati, revisioni sistematiche delle evidenze comunque disponibili www.cochrane.org www.thecochranelibrary.com www.cochrane

The Cochrane Collaboration Il lavoro della Cochrane Collaboration viene distribuito con la Cochrane Library che contiene diversi database: Database Total Records The Cochrane Database of Systematic Reviews (Cochrane Reviews) 6909 Database of Abstracts of Reviews of Effects (DARE) 15950 The Cochrane Central Register of Controlled Trials (CENTRAL) 661393 The Cochrane Methodology Register (Methodology Register) 14985 Health Technology Assessment Database (HTA) 10532 NHS Economic Evaluation Database (NHS EED) 11441 About The Cochrane 80

Le fasi di una revisione sistematica Formulazione del quesito clinico Ricerca degli studi relativi al quesito clinico Selezione sistematica in base a specifici criteri di inclusione degli studi rilevanti eleggibili Estrazione dei dati Valutazione della qualità metodologica degli studi Sintesi quantitativa (meta-analisi) o qualitativa Sensitivity analysis e subgroup analysis, se appropriati Report della revisione

Formulazione del quesito Obiettivo dello studio Per validare i risultati in un’ampia popolazione Per dare il via a nuovi studi Porre il quesito sia in termini biologici, sia clinici specificando con definizioni operative Popolazione Intervento/Esposizione Confronti Outcomes (sia in termini di benefici sia di rischi) Tipo di studio

Ricerca degli studi Ricerca mediante l’aiuto di un esperto in ricerche bibliografiche Specifica delle restrizioni della lingua Possibili fonti includono: Database bibliografici (PubMed, EMBASE, CENTRAL, …) Revisioni Abstracts, Atti di congressi Registri dei trial Industrie Ricerca manuale …

Selezione ed estrazione degli studi Gli studi eleggibili identificati sono selezionati in base ai criteri di inclusione ed esclusione predefiniti I dati necessari all’analisi sono estratti da più revisori mediante l’utilizzo di form predeterminati e confrontati La qualità metodologica degli studi viene valutata e discussa tra i revisori Si possono applicare strumenti di valutazione pubblicati Criteri elaborati ed esplicitati dai revisori Valutazione della qualità

La qualità dei trials Popolazione bersaglio Assegnazione del trattamento Selection bias Gruppo sperimentale Gruppo di controllo Performance bias Esposto all’intervento Non esposto all’intervento Attrition bias Follow up Follow up Detection bias Risultato Risultato

La qualità dei trials Riduzione del selection bias: Randomizzazione Mascheramento della sequenza di randomizzazione Riduzione del performance bias: Blinding del paziente e del medico

La qualità dei trials Riduzione dell’attrition bias: Gestione dei dropout: adeguata se gli studi forniscono una descrizione completa di tutti i pazienti che escono dallo studio e se i dati sono stati analizzati secondo il metodo dell’intention-to-treat (ITT) Entità dei dropout: una perdita al follow-up minore del 15% è considerata adeguata Dropout selettivo: una differenza nel tasso di dropout tra i gruppi principali di trattamento minore del 10% è ritenuta adeguata Riduzione del detection bias: Blinding sulla valutazione dell’outcome.

La qualità dei trials Does quality of reports of randomised trials affect estimates of intervention efficacy reported in meta-analyses? D. Moher, B. Pam, A. Jones et al Lancet 1998; 352:609-613. Evaluation of 11 meta-analyses involving 127 RCTs Main findings Low-quality trials , compared with high-quality trials, were associated with an increased estimate of benefit of 34%. Trials that used inadequate allocation concealment, compared with those that used adequate methods, were also associated with a 37% increased estimate of benefit. The average treatment benefit was 39% for all trials, 52% for low-quality trials, and 29% for high-quality trials.

La qualità dei trials Empirical evidence of bias. Dimensions of methodological quality associated with estimates of treatment effects in controlled trials KF Schultz, I Chalmers, RJ Hayes, DG Altman JAMA 1995; 273:408-412. Evaluation of 33 meta-analyses involving 250 RCTs Main findings Odds ratios were exaggerated by 41% for trials that used inadequate allocation concealment, and by 30% for unclearly concealed trials. Trials that were not double-blinded also yielded larger estimate effects, with odds ratios being exaggerated by 17%.

Come si utilizzano i dati dei vari studi in una meta-analisi? I risultati dei vari studi vengono combinati in modo quantitativo e pesato Combinazione quantitativa non equivale a somma aritmetica; I risultati osservati nei pazienti inclusi in uno studio non vengono mai sommati con quelli di un altro studio; L’effetto del trattamento viene misurato all’interno dei singoli studi e “impiegato” in funzione della precisione (o meglio della variabilità) dell’effetto osservato, espresso come funzione inversa del numero di pazienti studiati. Si attribuisce ai diversi studi un peso differente a seconda della numerosità del campione studiato. Più è grande uno studio e più esso influenzerà il risultato globale della meta-analisi.

Forest plot Stima dell’effetto I.C. 95% Stima cumulativa 0.0 0.5 1.0 1.5 2.0 Treatment better Treatment worse Deaths/Patients Treatment Control O-E variance 52/97 69/101 -11.3 27.6 693/927 720/915 -35.0 315.6 Stima cumulativa

Tamoxifen for early breast cancer: an overview of the randomised trials Lancet 1998; 351:1451-67

Misure Outcome Dicotomico Continuo Odds Ratio (OR) Relative Risk (RR) Difference (RD) Mean Difference (MD) Standardized Mean Difference (SMD)

Misure Quando usare MD o SMD Mean Difference Quando gli studi hanno outcome con misure confrontabili (es. stessa scala) Una meta-analisi che usa le MD è conosciuta come weighted mean difference (WMD) Standardized Mean Difference Quando gli studi utilizzano outcome con misure diverse (es. scale differenti) Converte le diverse scale in una scala comune: numero di deviazioni standard

Eterogeneità L’eterogeneità si verifica quando c’è variabilità tra gli studi inclusi. Può essere dovuta a diversi fattori: CLINICA Caratteristiche della popolazione Disegno dello studio (tipo di disegno, procedure di selezione, fonti di informazioni, modalità di raccolta dati) Metodi statistici differenti, e differente utilizzo delle variabili di aggiustamento (se rilevante) METODOLOGICA STATISTICA

Eterogeneità In presenza di eterogeneità potrebbe non essere appropriato combinare i risultati. Per verificare la presenza di eterogeneità è necessario esaminare statisticamente il grado di similitudine degli outcome dei diversi studi. Il test misura se le differenze tra i risultati dei singoli studi sono più grandi di quelli che ci si aspetterebbe se tutti gli studi avessero misurato lo stesso effetto e se le differenze osservate fossero dovute solamente al caso. Più è significativo il test di eterogeneità, minore è la probabilità che le differenze osservate siano dovute solamente al caso, indicando che altri fattori (per esempio il disegno dello studio, i pazienti, l’intervento o l’esito) siano responsabili delle differenze, negli effetti del trattamento, tra gli studi. Omogeneità Eterogeneità Fixed effects model Random effects model

Eterogeneità Fixed effects model Modello che si basa sull’assunzione che ci sia omogeneità di effetto tra gli studi (le differenze osservate tra gli studi sono dovute al caso). Random effects model Modello che tiene in considerazione della eterogeneità tra gli studi. Assume che ciascuno studio abbia una propria stima dell’effetto e che ci sia una distribuzione casuale delle stime dell’effetto dei diversi studi intorno al valore centrale.

Test statistici di eterogeneità chi quadro p value: la differenza tra le popolazioni di riferimento è reale o casuale? Se p > 0,05 non c’è eterogeneità (differenza casuale), se < 0,05 c’è eterogeneità (differenza reale) Inconsistenza: I² descrive la percentuale della variabilità dell’effetto della stima che è riferibile alla eterogeneità piuttosto che al caso (variabilità campionaria). I2 <25%  bassa eterogeneità I2 <50%  eterogeneità moderata I2 >50%  elevata eterogeneità (Higgins JPT et al. BMJ 2003;327:557-60)

Eterogeneità non presente

Eterogeneità presente

Eterogeneità non presente Q=0.94; P=0.92; I2=0% Eterogeneità presente 12 Q=13.21; P=0.02; I2=62.2% De Berardis et al. BMJ 2009;339:b4531

Come trattare l’eterogeneità 1. Non effettuare la meta-analisi 2. Ignorare l’eterogeneità: usare i fixed effects model Difficoltà nell’interpretazione delle stime 3. Incorporare l’eterogeneità: usare i random effects model 4. Esplorare l’eterogeneità Analisi di sottogruppi Meta-regression Stratificazione Sensitivity analysis Identificazione degli outliers

Analisi di sottogruppi Analisi ripetuta tenendo conto che gli studi differivano principalmente per le età dei pazienti

Limiti della meta-analisi Qualità degli studi Mancanza di tutte le informazioni necessarie nei singoli RCT Eterogeneità Publication bias

Limiti della meta-analisi Qualità degli studi Mancanza di tutte le informazioni necessarie nei singoli RCT Eterogeneità Publication bias

Limiti della meta-analisi Qualità degli studi Mancanza di tutte le informazioni necessarie nei singoli RCT Eterogeneità Publication bias

Identificazione mediante funnel-plot Publication bias Diversa probabilità di pubblicazione di risultati positivi rispetto a quelli negativi Determina la presenza di un bias (di solito un incremento nel RR) nelle medie stimate dei risultati Identificazione mediante funnel-plot

Funnel plot N° pazienti arruolati Rischio relativo Stima cumulativa dell’effetto 10 100 1000 10000 100000 N° pazienti arruolati 0,1 1 10 A favore del trattamento A favore del controllo Rischio relativo

Funnel plot N° pazienti arruolati Rischio relativo Rischio relativo Stima cumulativa dell’effetto 10 100 1000 10000 100000 N° pazienti arruolati 0,1 1 10 A favore del trattamento A favore del controllo Rischio relativo Rischio relativo

I diversi approcci alla meta-analisi I risultati sono combinati in un’unica analisi MA Standard I risultati dei singoli studi vengono combinati sequenzialmente. Può evidenziare trend emergenti. MA cumulativa

Risk of cardiovascular events and rofecoxib: cumulative meta-analysis “Our findings indicate that rofecoxib should have been withdrawn several years” earlier. Lancet. 2004;364:2021-9.

I diversi approcci alla meta-analisi Dipende dalla qualità delle informazioni disponibili, dalla omogeneità negli end-points utilizzati, delle modalità di analisi dell’efficacia, ecc. MA dati letteratura Possibilità di verificare e correggere i dati, di aggiungere nuove informazioni, di eseguire altre analisi, su sottogruppi diversi, ecc. MA dati individuali Accordo preliminare su disegno studio, popolazioni, end-points, analisi per sottogruppi, ecc. MA prospettica

Vantaggi < Consente un riassunto quantitativo dell’evidenza scientifica < Minor peso delle valutazioni soggettive rispetto alle revisioni tradizionali Aumento della potenza del risultato in caso di studi con campioni piccoli Consentono analisi sui sottogruppi Aumento della generalizzabilità mediante aumento del campione (purchè omogeneo) Sono relativamente rapide e poco costose

Svantaggi L’elevata numerosità delle meta-analisi fa sì che differenze anche modeste tra trattamento sperimentale e controlli raggiungano la significatività statistica La minor probabilità di pubblicazione di trials con risultati negativi amplifica il peso dei trial con esito positivo La qualità delle meta-analisi dipende dalla qualità degli studi Una meta-analisi può individuare ma non correggere bias di pubblicazione (bias di selezione) o errori metodologici di conduzione degli studi (bias di informazione/selezione) Richiedono lo stesso rigore metodologico degli studi “primari” e possono essere egualmente affette da errori sistematici

Quando non è opportuna Se gli studi sono clinicamente molto diversi (interventi o outcome diversi) Se gli studi sono di scarsa qualità metodologica Se la revisione della letteratura non ha eliminato il pubblication bias.

PRISMA: Preferred Reporting Items for Systematic reviews and Meta-Analyses