Analisi critica della letteratura e dei lavori scientifici Metodologia per il medico di famiglia Scuola Toscana di Formazione

Elementi di validità di un lavoro di ricerca. Validità metodologica. Rilevanza clinica. Trasferibilità.

Analisi critica dei lavori scientifici Quale ipotesi gli autori volevano provare? Quale tipo di studio è stato effettuato? La metodologia è corretta?

Classificare un articolo Studi osservazionali Studi sperimentali Ricerche quantitative Ricerche qualitative

La ricerca qualitativa Se le ricerche quantitative studiano la diversità quantitativa dei fenomeni, esprimendola in forma numerica e probabilistica, le ricerche qualitative ne cercano i motivi e postulano spiegazioni o pongono interrogativi    

La ricerca qualitativa Metodi q       Documentazione (atti dei convegni e comportamento dei medici) q       Osservazione passiva (descrizione) q       Osservazione partecipativa q       Intervista (di solito strutturata) q Focus groups

Classificare un articolo Studi primari q       Studi sperimentali q       RCT q       Studi di coorte q       Studi caso controllo q       Studi osservazionali trasversali

Classificare un articolo Studi secondari q       Revisioni Sistematiche q       Non sistematiche q       Metaanalisi q Linee Guida

Classificare un articolo Studi secondari Revisioni non sistematiche: riassumono un gruppo di studi primari Revisioni sistematiche: riassumono studi primari esaminati e valutati secondo una metodica precisa e rigorosa Metanalisi: integrano i risultati numerici di più studi primari Linee guida: si basano sugli studi primari per trarre conclusioni su come si dovrebbe svolgere la pratica clinica Analisi decisionali/ analisi economiche

Classificare un articolo In ordine di importanza 1.  RCT definitivi Metaanalisi  2.   RCT non definitivi 3.   Studi di coorte o caso controllo 4.   Studi osservazionali 5.   Casi clinici 6.   Studi ecologici

Gerarchia dei tipi di studio in funzione del livello di prove Metanalisi Revisioni Sistematiche RCTs (Studi Controllati Random) Studi di Coorte Studi Caso-Controllo Studi Osservaz. Trasversali Casi Clinici Letteratura di sintesi Studi individuali

Metaanalisi( over review) Revisione globale, sistematica ed organizzata e sintesi statistica retrospettiva dei risultati di più studi clinici che affrontano il medesimo argomento. Si basa su criteri di valutazione espliciti.

Revisioni di studi clinici (pubblicati) Non sistematiche Sistematiche

Metanalisi: i metodi. NARRATIVO ( il più classico),tipico della revisione tradizionale in cui chi analizza i dati ne riassume i risultati ed esprime la sua opinione. IL METODO DEI VOTI, in cui si suddividono gli studi disponibili in positivi, negativi, incerti ( posta troppa enfasi sulla sugnificatività statistica).

Metanalisi. Come i trials randomizzati anche le MA possono essere condotte in modo inappropriato e concludersi con risultati inattendibili. Con le MA non si possono avere informazioni che non erano presenti nei singoli studi.

Criteri di validità che gli AA devono documentare. 1. Modalità di selezione degli studi. 2. Definizioni adeguate di pazienti, trattamenti e razionale dell’analisi. 3. Modalità di estrazione dei dati. 4. Qualità dell’analisi statistica ( test utilizzati, misurazione della variabilità dei risultati, presentazione grafica e interpretazione dei risultati.

Metanalisi: criteri di validità. 1. Obiettivo della MA è ben definito e clinicamente rilevante? 2. E’ verosimile che la ricerca degli studi abbia mancato l’identificazione di studi importanti? 3. I criteri di inclusione ed esclusione erano ragionevoli e coerenti con l’obiettivo?

Metanalisi : criteri di validità. 4. Esiste un numero di studi sufficiente per la MA ed il numero dei pazienti è ragionevolmente elevato? 5. Sono studi simili per caratteristiche dei pazienti inclusi,modalità di trattamento, end points? 6. Sono i risultati degli studi non eterogenei, cioè tendono a dimostrare un chiaro beneficio?

Metanalisi

Metanalisi Vantaggi   q    Metodi di inclusione precisi (selezione di lavori validi) q      Grande quantità di informazioni q  Riduzione del ritardo fra ricerca e applicazione q Generalizzabilità dei risultati (popolazione diversificata)

Metanalisi : i limiti. I trials sono assai diversi per numerosità dei pazienti. I pazienti sono diversi da studio a studio anche se reclutati con analoga diagnosi. Condizioni di setting differenti. Validità scientifica e attendibilità dei risultati diversi ( carenze metodologiche).

Metanalisi : i limiti. Quando si fa una MA si finisce invariabilmente per dimostrare una qualche efficacia del trattamento studiato.

Analisi critica dei lavori scientifici. La valutazione va fatta soprattutto sui singoli lavori. Elementi da valutare: Originalità Disegno sperimentale adeguato al quesito di ricerca. Metodo, validato e accuratamente descritto. Analisi.

L’ABSTRACT Importante quando si vuole effettuare su internet una ricerca. Convenzionale, descrive: problema,metodi,risultati,conclusioni Strutturato , descrive : obiettivo,disegno,setting,caratteristiche dei pazienti,intervento,misure di outcome, risultati, conclusioni.

Articolo scientifico: IMRAD. Introduzione. Metodi Risultati ( And) Discussione

INTRODUZIONE Riassume le informazioni più importanti. Aiuta a comprendere le ragioni dello studio. Descrive lo scopo (non le conclusioni) della ricerca. Cita altri lavori analoghi o correlati allo studio.

METODI Disegno dello studio. Selezione dei pazienti. Definizione della malattia. Intervento,metodi e trattamenti. Misure di outcome Potenza ed analisi statistiche. Aspetti etici.

RISULTATI Descrizione dei partecipanti allo studio (rifiuto e perdita nel follow-up). Risposta alle ipotesi formulate.

DISCUSSIONE Sintesi dei risultati principali. Conseguenze “pratiche” dei risultati. Vantaggi e limiti dei metodi utilizzati. Studi futuri.

Articoli clinici: caratteristiche generali Importanza/prestigio della rivista Peer review ( lavori accuratamente valutati da revisori esperti) Impact factor ( parametro che pesa le riviste sul numero di citazioni ricevute normalizzato per il numero di lavori pubblicati) Conflitti di interesse

La caccia agli errori della ricerca. ERRORI METODOLOGICI: nella impostazione ed interpretazione dello studio. DISTORSIONI : diversità fra ciò che esce dai laboratori di ricerca e ciò che arriva al medico ( risultati diversi da quelli realmente riscontrati).

ERRORI METODOLOGICI. Gli errori nell’analisi e nell’interpretazione dei risultati possono essere corretti, se identificati in tempo, gli errori nella impostazione sono sempre irrimediabili e spesso condizionano il destino della ricerca.

ERRORI METODOLOGICI. 1. Mancanza di un confronto : fra i più comuni errori l’organizzazione di una ricerca di tipo NON COMPARATIVO (modo migliore per ottenere un risultato positivo). 2. Errata scelta del confronto: non validi i confronti retrospettivi o storici né quelli contemporanei ma non randomizzati.

ERRORI METODOLOGICI. 3. Mancata o errata randomizzazione : non è sufficiente prevedere un gruppo di confronto, occorre che ciò avvenga per randomizzazione. Molto spesso previsti sistemi alternativi ( assegnazione in successione alternata oppure in base al giorno di ricovero o data di nascita). Errata perché si può prevedere o anticipare il trattamento da assegnare.

ERRORI METODOLOGICI. 4. Non adozione delle condizioni di CECITA’ singola o doppia. Essenziale non solo in fase di assegnazione dei trattamenti ma anche , e soprattutto, nella fase di conduzione della ricerca e della valutazione dei risultati.

ERRORI METODOLOGICI. 5. Non adeguata scelta del disegno sperimentale. Anche se organizzate secondo i principi della sperimentazione controllata e randomizzata molte ricerche non sono in grado di fornire tutta l’informazione che dovrebbero perché pianificate secondo un disegno non appropriato.

ERRORI METODOLOGICI. 6. Mancata stima delle dimensioni del campione : errore estremamente frequente. Nella maggioranza degli studi non c’è accenno alla stima del campione che è necessario studiare per avere una buona probabilità di mettere in evidenza, se esiste, una determinata differenza fra i trattamenti in studio.

ERRORI METODOLOGICI. 6. Mancata stima delle dimensioni del campione : in uno studio ben organizzato si deve stabilire a priori la numerosità del campione sapendo quale sia la “ potenza” dello studio ( cioè la differenza minima che si può svelare come statisticamente significativa).

ERRORI METODOLOGICI. 7. Mediocre livello dello standard statistico: è quella che potremmo definire la frenesia del p>0,05 , valore che in troppi lavori assume un’alea magica di significatività dimostrativa. “p” non è la probabilità di fare un errore ritenendo l’effetto osservato come vero ma semplicemente la probabilità dell’ “ipotesi nulla”.

ERRORI METODOLOGICI. 7. Mediocre livello dello standard statistico: nell’applicazione del Test di significatività un errore nel quale è facile imbattersi è l’uso improprio del test “ T di Student” (parametrico) per esempio per effettuare confronti multipli a coppia, creando confusione fra inferenza ed estrapolazione dei dati.

DISTORSIONI : 5 MECCANISMI FONDAMENTALI. 1. Vizio del risultato positivo : più facile la pubblicazione di ricerche con risultato positivo. 2.Parzialità dell’arbitro : più facile la pubblicazione di un articolo recante un messaggio che concorda con quello dei revisori.

DISTORSIONI. 3. Dilemma del rischio relativo ed assoluto: più facile che venga prescritto un trattamento se i risultati della sperimentazione vengono rappresentati in termini di rischio relativo piuttosto che di rischio assoluto. 4. Tono del linguaggio : più facile venga prescritto un trattamento se i risultati vengono enfatizzati.

DISTORSIONI. 5. Informazione pilotata : più facile che venga prescritto un trattamento se l’informazione è parziale o si omettono dati importanti o vengono rappresentati in modo fallace.

DUE errori da non commettere. 1- Printed word bias: “ mi fido dello studio perché è stato pubblicato”. 2- Omission bias: “ Ho fretta, quindi passo subito alle conclusioni”.

CONCLUSIONI: gli 11 item. 1. Se sono stabiliti i criteri di eligibilità. 2. Se questi sono stati applicati prima della allocazione del trattamento. 3. Se l’allocazione è stata fatta con randomizzazione. 4. Quale metodo di randomizzazione. 5. Le condizioni di cecità.

CONCLUSIONI : gli 11 item. 6. Se la valutazione dei risultati è fatta in cieco. 7. Quali sono state le complicanze del trattamento. 8. Quanti pazienti persi nel follow-up e perché e se sono stati considerati ( Intention to treatment)

CONCLUSIONI : gli 11 item. 9. Il tipo di analisi statistica utilizzato. 10. I metodi statistici utilizzati. 11. In che modo è stata calcolata l’entità del campione o l’entità della differenza attesa.