Come leggere un lavoro scientifico Aldo Rosano Istituto Italiano di Medicina Sociale

Sei domande fondamentali A quale domanda il lavoro tenta di dare una risposta ? A quali conclusioni giunge ? Quali sono le evidenze che suffragano le conclusioni ? I dati e le informazioni raccolte suffragano veramente le conclusioni ? Qual è la qualità delle evidenze riportate ? Perché le conclusioni sono importanti ?

Tipi di ricerca Studi “primari” Studi “secondari” Sperimentali Clinical trials Surveys Studi “secondari” Revisioni Linee guida Analisi decisionale Analisi costo/beneficio o costo/efficacia Secondary research is made up of: Overviews, which may be divided into: [Non-systematic] reviews, which summarise primary studies; Systematic reviews, which do this according to a rigorous and predefined methodology; and Meta-analyses, which integrate the numerical data from more than one study. Guidelines, which draw conclusions from primary studies about how clinicians should be behaving. Decision analyses, which use the results of primary studies to generate probability trees to be used by health professionals and patients in making choices about clinical management. Economic analyses, which use the results of primary studies to say whether a particular course of action is a good use of resources.

Studi e indagini Questioni che hanno a che vedere con trattamenti farmacologici o altri trattamenti medici dovrebbero essere affrontati attraverso studi controllati randomizzati condotti in doppio cieco Questioni su fattori prognostici richiedono studi coorte, Quelli sui fattori causali richiedono o studi di coorte o di tipo caso-controllo Ricerche in ambito diagnostico e gli screening vanno condotte con studi cross-sectional Case reports, anche se metodologicamente deboli, possono essere prodotti rapidamente e hanno importanza nel mettere sull’avviso la comunità medica e scientifica su fenomeni quali le reazioni avverse ai farmaci

La gerarchia della evidenza scientifica Revisioni sistematiche e meta-analisi RCT Studi di coorte Studi caso-controllo Indagini cross-sectional Case reports

Lavori che riguardano test diagnostici o di screening Test nuovi dovrebbero essere validati confrontandoli con un gold standard in un gruppo appropriato di soggetti I test diagnostici raramente sono accurati al 100% (falsi positivi e falsi negativi sono spesso inevitabili) Un test è valido se si individuano più persone con malattia (alta sensibilità) e esclude più persone senza la malattia (alta specificità), e se il valore del test positivo indica che la malattia è presente (alto valore predittivo positivo) La migliore misura dell’utilità di un test è probabilmente il likelihood ratio - che indica che quanto è verosimile che il test sia positivo in chi ha la malattia in confronto con chi non la ha Does the paper validate the test? The 10 questions below can be asked about a paper that claims to validate a diagnostic or screening test. In preparing these tips, I have drawn on several sources. Question 1: Is this test potentially relevant to my practice? Question 2: Has the test been compared with a true gold standard? Question 3: Did this validation study include an appropriate spectrum of subjects? Sensibility, specificity, VPN, VPP Question 4: Has workup bias been avoided? Question 5: Has expectation bias been avoided? = Blindness Question 6: Was the test shown to be reproducible? Question 7: What are the features of the test as derived from this validation study? Question 8: Were confidence intervals given? Question 9: Has a sensible "normal range" been derived? Question 10: Has this test been placed in the context of other potential tests in the diagnostic sequence?

Valutazione metodologica di uno studio Lo studio è originale ? Di cosa tratta ? Il disegno dello studio è corretto ? I bias sistematici sono stati evitati o minimizzati ? Lo studio è sufficientemente ampio, o/e è durato per un tempo sufficiente, perché lo possa essere credibile ? "Has anyone ever done a similar study?" but "Does this new research add to the literature in any way?" For example: 1. Is this study bigger, continued for longer, or otherwise more substantial than the previous one(s)? 2. Is the methodology of this study any more rigorous (in particular, does it address any specific methodological criticisms of previous studies)? 3. Will the numerical results of this study add significantly to a meta-analysis of previous studies? 4. Is the population that was studied different in any way (has the study looked at different ages, sex, or ethnic groups than previous studies)? 5. Is the clinical issue addressed of sufficient importance, and is there sufficient doubt in the minds of the public or key decision makers, to make new evidence "politically" desirable even when it is not strictly scientifically necessary? Question 2: Whom is the study about? Before assuming that the results of a paper are applicable to your own practice, ask yourself the following questions: How were the subjects recruited? Who was included in the study? Who was excluded from the study? Were the subjects studied in "real life" circumstances? Question 4: Was systematic bias avoided or minimised? Systematic bias is defined as anything that erroneously influences the conclusions about groups and distorts comparisons Whether the design of a study is, the aim should be for the groups being compared to be as similar as possible except for the particular difference being examined. They should, as far as possible, receive the same explanations, have the same contacts with health professionals, and be assessed the same number of times by using the same outcome measures.

Alcuni punti critici Molti degli articoli pubblicati su riviste mediche presentano problemi metodologici Nel decidere se un articolo è valido e rilevante va stabilito a quale specifica questione intende dare un contributo scientifico Gli studi presenti in letteratura sono quelle che forniscono risultati “positivi”, quelli negativi raramente vengono pubblicati

Sui metodi statistici È stata analizzata la comparabilità dei gruppi in studio con il gruppo scelto come baseline ? I test scelti riflettono il tipo di dati analizzati (parametrici or non parametrici, appaiati o non appaiati) ? È stato adottato un test a due code nel caso l’effetto dell’intervento possa essere concepito come negativo? I dati sono stati analizzati secondo quanto previsto dal protocollo originale dello studio? Se sono stati utilizzati test poco noti , ne è stato giustificato l’uso e sono stati descritti (o citati precisi riferimenti) da parte degli autori ?

Ancora sui metodi statistici Un’associazione tra due variabili è causale se è forte, coerente specifica, plausibile, segue la sequenza temporale e mostra un una relazione di tipo dose-risposta. Un P- value di 0.05 significa che i risultati osservati sono dovuti semplicemente al caso in meno di un occasione su 20. L’intervallo di confidenza attorno al risultato indica i limiti entro i quali è verosimile si trovi la “vera" differenza tra i trattamenti, e quindi la forza dell’inerenza che può essere desunta dai risultati Un risultato statisticamente significativo può non essere clinicamente rilevante. I risultati dovrebbero essere espressi in termini di verosimiglianza del benefici che uno si potrebbe aspettare (per esempio, riduzione del rischio assoluto) Ten ways to cheat on statistical tests when writing up results 1.Throw all your data into a computer and report as significant any relation where P0.05 2. If baseline differences between the groups favour the intervention group, remember not to adjust for them 3.Do not test your data to see if they are normally distributed. If you do, you might get stuck with non-parametric tests, which aren't as much fun 4. Ignore all withdrawals (drop outs) and non-responders, so the analysis only concerns subjects who fully complied with treatment 5. Always assume that you can plot one set of data against another and calculate an "r value" (Pearson correlation coefficient), and assume that a "significant" r value proves causation 6. If outliers (points which lie a long way from the others on your graph) are messing up your calculations, just rub them out. But if outliers are helping your case, even if they seem to be spurious results, leave them in 7. If the confidence intervals of your result overlap zero difference between the groups, leave them out of your report. Better still, mention them briefly in the text but don't draw them in on the graph - and ignore them when drawing your conclusions 8. If the difference between two groups becomes significant four and a half months into a six month trial, stop the trial and start writing up. Alternatively, if at six months the results are "nearly significant," extend the trial for another three weeks 9. If your results prove uninteresting, ask the computer to go back and see if any particular subgroups behaved differently. You might find that your intervention worked after all in Chinese women aged 10. If analysing your data the way you plan to does not give the result you wanted, run the figures through a selection of other tests

10 ragioni per cestinare un lavoro scientifico 1. Lo studio non affronta un tema scientificamente rilevante 2. Lo studio non è originale 3. Lo studio non verifica le ipotesi introdotte dagli autori 4. Difficoltà pratiche hanno condotto gli autori a gravi compromessi rispetto allo protocollo originale dello studio 5. La dimensione campionaria è troppo piccola 6. Lo studio non è controllato, o lo è in maniera inadeguata 7. L’analisi statistica non è corretta o è inadeguata 8. L’autore trae conclusioni che non sono suffragate dai dati esposti 9. Esiste un conflitto di interessi tra authorship e argomento affrontato 10. Il lavoro è mal scritto e mal strutturato, tanto da essere incomprensibile

Come affrontare la lettura critica di un articolo scientifico Come affrontare la lettura critica di un articolo scientifico. Lettura di un articolo su uno studio controllato randomizzato

Randomised controlled trial of novel, simple , and well supervised weight reducing diets in outpatients Summarbell CD et al. British Medical Journal, Vol.317 pp.1487-1489, 1998 Abstract Objectives: To investigate the contribution of novelty and simplicity to compliance with a low energy diet among obese outpatients. Design: Three arm randomised trial for 16 weeks. Setting: NHS hospital obesity clinic. Subjects: 45 patients aged over 17 years with a body mass index >27 who were not diabetic, pregnant, or lactating. Interventions: Conventional 3.4 MJ diet (control), isoenergetic novel diet of milk only, or milk plus one designated food daily. Follow up visit every 4 weeks. Main outcome measure: Weight loss. Results: Mean weight loss (kg) after 16 weeks on control, milk only, and milk plus diets was 1.7 (95% confidence interval 0.3 to 3.7), 9.4 (5.9 to 12.9), and 7.0 (2.7 to 11.3) respectively. Weight loss on the novel diets was significantly greater than on the control diet. Conclusions: Dietary treatment can achieve as much weight loss in obese outpatients over 16 weeks as has been reported for the most successful drug treatment, but compliance with the prescribed diet is poor unless the diet is novel and simple.

Sull’introduzione Quali sono gli obiettivi dello studio La conduzione di un nuovo studio è giustificata, sulla base dell’analisi e delle evidenze precedentemente note e/o di altri elementi? Objectives: To investigate the contribution of novelty and simplicity to compliance with a low energy diet among obese outpatients.

Sui metodi Qual è il disegno dello studio Quali sono i criteri di selezione dei soggetti Quali sono i gruppi di trattamento in studio Come sono stati assegnati i soggetti ai trattamenti E’ stato utilizzato tutto il potenziale grado di cecità Three- arm randomised trial for 16 weeks. Setting: NHS hospital obesity clinic. Subjects: 45 patients aged over 17 years with a body mass index >27 who were not diabetic, pregnant, or lactating. Random assegnation to group Simple blind

Sui risultati Quali sono le principali variabili risposta analizzate e come sono state misurate Quali sono i principali risultati statistici sui quali si basano le conclusioni Nel disegno dello studio vi sono distorsioni tali da poter inficiare la validità dei risultati ? Quale è il grado di generalizzabilità dei risultati ? A) Weight and difference of weight at 4 and 16 weeks B) Weight mean difference tested through t test and Mann-Whitney test, which compare two samples for equality through a the sum of ranks of each group of the merged distribution C) 1. This is an insult to common sense. How many different diets do they keep in reserve ? Do they really believe patients will be fooled that long ? Who can? 2. Is there a danger that such extreme diets, if publicised as effective, may be used for longer periods or by less obese individuals, and may then cause harm to health? 3 It would be most interesting to compare the weights of Summerbell's experimental groups after a year to see if they have maintained statistically significant weight loss with longer follow-up. 4. If the authors wish to make a meaningful contribution to the literature, their time may be better spent examining the factors related to long-term compliance 5. This means that the power of this study is seriously deficient. If the study had produced negative results it would (or should) have been almost impossible to publish, as its power is less than the recommended 0.8 [2]. 6. In a study of this type where researchers are dealing with patients, any possibility of bias, however unconscious, has to be carefully ruled out D) We note that the subjects on trial were highly obese (BMI>40kg/m2). Could the results be generalised to a more moderately obese

Sulla discussione Sono presenti gli elementi di commento e/o critica identificabili nei punti precedenti ? Come hanno risposto gli autori a tali punti ? Vi sono in questa sezione altri spunti che erano sfuggiti ? A. Viene citata la limitazione riguardante il fatto che il trial è durato solo 16 settimane B. Nessun altro commento

Conclusioni Possiamo sempre (o quasi) trarre delle informazioni utili da un lavoro scientifico ben scritto Per tradurre le evidenze della letteratura nella pratica medica è necessario una “metabolizzazione” delle evidenze, per tradurle in conoscenza scientifica