Linee guida per la valutazione dei test diagnostici Pasquale Urbano 22 gennaio 2009

P. Urbano per Myco09 Scaletta Richiami di biometria Stima dei caratteri intrinseci dei test LEBM e la fallacia dei valori predittivi Rapporti di verosimiglianza, nomogramma di Fagan e impostazione bayesiana delle diagnosi La validazione dei test diagnostici

P. Urbano per Myco09 Test Gold standard PosNeg Pos veri positivi falsi positivi test positivi Neg falsi negativi veri negativi test negativi p.con malattia p.senza malattia Totali LACCURATEZZA DI UN TEST VALUTATA CON UNA TABELLA 2X2 PARAMETRI DERIVATI sensibilità, specificità, valori predittivi, LR La Tabella 2x2

P. Urbano per Myco09 Test Gold standard PosNegTotali Pos 440 VP 35 FP 475 test positivi Neg 60 FN465 VN 525 test negativi Totali 500 p.con malattia 500 p.senza malattia 1000 Parametri intrinseci derivati (accuratezza del test) Specificità (465/500) x 100 = 93% Sensibilità(440/500) x 100 = 88% STIMA DELLACCURATEZZA DI UN TEST La Tabella 2x2

P. Urbano per Myco09 Per le stime di sensibilità e di specificità, laffidabilità dipende dalla dimensione del campione di collaudo. Le stime devono essere accompagnate dagli intervalli di confidenza Affidabilità delle stime di accuratezza

P. Urbano per Myco09 Di solito il collaudo dei test viene fatto su casistiche di casi seri [ospedalieri], e la stima delle sue caratteristiche induce in errori, se le si vogliono considerare per i casi lievi [ambulatoriali] Sensibilità e specificità sono caratteristiche intrinseche dei test, ma la loro stima dipende dal tipo di popolazione studiata, che spesso non è omogenea con quella cui si vuole applicare Viziatura da spectrum composition

P. Urbano per Myco09 Il seme dellEBM

P. Urbano per Myco09 Criteri di validità dellevidenza scientifica LEBM ha posto lenfasi sulla valutazione di efficacia delle terapie Più recente lattenzione sullefficacia della diagnostica FDA[FDA]

P. Urbano per Myco09 Caratterizza un test l ACCURATEZZA DIAGNOSTICA, espressa da sensibilità e da specificità, rispettivamente la capacità di discriminare i malati e i sani di una popolazione. Di un test, la tradizione privilegia qualità anonime Di un test, lEBM privilegia lutilità per il singolo paziente Caratterizza un test l UTILITÀ DIAGNOSTICA, espressa dai valori predittivi, le probabilità che un risultato corrisponda realmente alla presenza o allassenza della malattia nel paziente che interessa.

P. Urbano per Myco09 Test Gold standard PosNegTotali Pos 440 VP 35 FP 475 test positivi Neg 60 FN465 VN525 test negativi Totali 500 p.con malattia 500 p.senza malattia 1000 Parametri derivati (utilità del test) Valore predittivo negativo(465/525) x 100 = 89% Valore predittivo positivo(440/475) x 100 = 93% La Tabella 2x2 STIMA DELLUTILITÀ DI UN TEST

P. Urbano per Myco09 Suscettibilità allisoniazide MGIT960 su M. tuberculosis Caratteri intrinseci del test SENSIBILITA96,64% SPECIFICITA97,14% Caratteri estrinseci Valori predittivi ?? I valori predittivi dipendono dalla prevalenza della resistenza, che può essere diversa da regione a regione, da casistica a casistica, … Un esempio 33,79 RV[LR]

P. Urbano per Myco09 Gli effetti della prevalenza sui parametri derivati V P 35 FP FN 465 VN VP 67 FP FN 883 VN Val.Pred.Pos. = 0.93 Val.Pred.Neg.= 0.89 Val.Pred.Pos. = 0.40 Val.Pred.Neg.= 0.99 Prevalenza = 0.50 Prevalenza = 0.05 Sensibilità = 0.88 Specificità = 0.93 Sensibilità = 0.88 Specificità = 0.93

P. Urbano per Myco09 LR (+) = 0.88/0.07 = 12.6 Indici indipendenti dalla prevalenza I Rapporti di Verosimiglianza [Likelihood ratio] LR (-) = 0.12/0.93 = 0.13 LR(+) = sensibilità / (1- specificità) LR(-) = (1-sensibilità) / specificità LR(+) = %Veri positivi / % Falsi positivi LR(-) = %Falsi negativi / % Veri negativi % VP 7% FP - 12% FN93% VN % VP 7% FP - 12% FN93% VN 50950

P. Urbano per Myco09 La formula analitica è: Il nomogramma di Fagan usa la formula equivalente: Coi rapporti di verosimiglianza si calcola o si trova la probabilità a posteriori

P. Urbano per Myco09 Il rapporto di verosimiglianza (Likelihood ratio) LR+ = __Sensibilità__ (1 - Specificità) LR - = (1 - Sensibilità) Specificità

P. Urbano per Myco09 I Rapporti di Verosimiglianza [Likelihood ratio (LR)] servono a calcolare o a trovare i valori predittivi a qualsiasi prevalenza o probabilità a priori

P. Urbano per Myco09 la prevalenza di malattia (prob. pre-test) Il valore predittivo di un test deriva dallinterreazione di due variabili... laccuratezza diagnostica del test (likelihood ratio) le previsioni del clinico, modificate dai risultati di un test, divengono probabilità post-test o valori predittivi LEBM utilizza per la diagnosi la logica bayesiana

P. Urbano per Myco09 Il nomogramma di Fagan permette di risalire dalle probabilità pre-test della malattia alle probabilità post- test (valore predittivo del risultato) è RV fa da fulcro della linea che dalle probabilità pre-test porta a quelle post-test Il rapporto di verosimiglianza (RV)

P. Urbano per Myco09 Ø La probabilità post-test è in effetti il VPP, dato lesito positivo di un test con LR nota, per la probabilità pre-test [la prevalenza locale: 12% = 0,12]. Diagnosi di resistenza allINI

P. Urbano per Myco09 sensitivity, specificity, and positive and negative predictive values The overall sensitivity, specificity, and positive and negative predictive values for the BDProbeTec ET assay were 90.3, 96.9, 78.3, and 98.9%, respectively. Rusch, Diagn Microb Inf Dis 2004 Based on a 36% prevalence of infection, the sensitivity, specificity, and positive and negative predictive values Based on a 36% prevalence of infection, the sensitivity, specificity, and positive and negative predictive values of multiplex PCR analyses were 87, 96, 94, and 93%, respectively. Stellrecht, JCM 2004 (sensitivity, 96% [95% CI, 92% to 100%]; specificity, 89% [CI, 82% to 95%]; positive likelihood ratio, 8.6 [CI, 3.8 to 21.5]; negative likelihood ratio, 0.04 [CI, 0.01 to 0.2]). A plasma soluble TREM-1 level higher than 60 ng/mL was more accurate than any other clinical or laboratory finding for indicating infection (sensitivity, 96% [95% CI, 92% to 100%]; specificity, 89% [CI, 82% to 95%]; positive likelihood ratio, 8.6 [CI, 3.8 to 21.5]; negative likelihood ratio, 0.04 [CI, 0.01 to 0.2]). Gibot, AIM 2004 Evoluzione nel modo di esprimere laccuratezza

P. Urbano per Myco09 Calcoli on line Tutti i calcoli per ricavare i parametri dei test diagnostici possono essere fatti utilizzando lo strumento a: Oppure: alansz/testcalc.pl, che include il nomogramma di Fagan alansz/testcalc.pl Outcome +- Test + - Prevalence Number/Size

P. Urbano per Myco09 Altri links a calcolatori on line Welcome to the UBC Clinical Significance Calculator html Calcolatori Bayesiani Welcome to the UBC Bayesian Calculator tml

P. Urbano per Myco09 Gorelick, et al Riconoscimento di bambine a rischio di IVU 1151 bambine febbrili; 56 IVU; prevalenza 5% N. fattori Prob.% di IVU Fattori di rischio Razza bianca Età < 12 m. Temp. > 39° Febbre no altre cause Febbre > 2 gg

P. Urbano per Myco09 Prev %VPP% 538 Dalle probabilità pre-test alle probabilità post-test VPN% >99% Test a striscia per le urine: sensibilità 88% specificità 93% LR(+) 12.6 LR(-) 0.13 LR(-) 0.13 LR(+) 12.5

P. Urbano per Myco09 Striscetta: nitriti O LE (sens 0.88 spec 0.93) LR(-) 0.13 LR(+) 12.5 no test no treat test (culture) & treat no test, get on with treatment Con il nomogramma di Fagan è possibile valutare le prestazioni di un test applicando il teorema di Bayes. Qui sono calcolati i valori predittivi che corrispondono a diverse probabilità a priori. Ne risulta lindicazione di quando è possibile prendere una decisione senza fare lurocoltura e quando invece lurocoltura è indispensabile.

P. Urbano per Myco09 Conducono una rigorosa lettura di centinaia di pubblicazioni sulla performance di vari test di laboratorio – e le bocciano quasi tutte, in base a una serie di criteri standard MC Read, MS Lachs, AR Feinstein. Use of methodological standards in diagnostic test research: getting better but still not good. Journal of the American Medical Association :

P. Urbano per Myco09 The STARD Initiative -- Towards Complete and Accurate Reporting of Studies on Diagnostic Accuracy Objective The objective of the Standards for Reporting of Diagnostic Accuracy (STARD) initiative is to improve the quality of reporting of studies on diagnostic accuracy by using a checklist and flow diagram. Complete and accurate reporting allows the reader to detect the potential for bias in the study and to evaluate the generalisability of the results.

P. Urbano per Myco09 YHEC Training Event: Identifying Diagnostic Test Accuracy Studies: Challenges and Strategies University of York, 2 December 2008 Diagnostic test studies are receiving increasing attention, but are challenging to identify efficiently and reliably. As well as health care professionals seeking information on best evidence on test accuracy, there is also a growing requirement for systematic study identification to inform systematic reviews and technology assessments of diagnostic tests and techniques. The growing number of diagnostic test accuracy reviews is an important resource for the practice of evidence-based health care. This study day will provide an introduction to the key features of diagnostic test accuracy studies to provide insight into retrieval challenges. This will be followed by an overview of the research evidence on search approaches to identify diagnostic studies and the key current resources available to find studies and reviews. In this fast- moving research area we will also look at products in development. The study day will explore current searching guidance and highlight key critical appraisal tools for assessing diagnostic test accuracy studies. There will be time to explore and test strategies and resources.

P. Urbano per Myco09 Section and topic Ite mDescribe Reported on page # TITLE/ABSTRA CT/ KEYWORDS 1 The article as a study on diagnostic accuracy (recommend MeSH heading 'sensitivity and specificity') INTRODUCTIO N 2 The research question(s), such as estimating diagnostic accuracy or comparing accuracy between tests or across participant groups METHODS Participants3 The study population: the inclusion and exclusion criteria, setting(s) and location(s) where the data were collected 4 Participant recruitment: was this based on presenting symptoms, results from previous tests, or the fact that the participants had received the index test(s) or the reference standard? 5 Participant sampling: was this a consecutive series of patients defined by selection criteria in (3) and (4)? If not specify how patients were further selected. 6 Data collection: were the participants identified and data collected before the index test(s) and reference standards were performed (prospective study) or after (retrospective study)? Reference standard 7 The reference standard and its rationale Test methods8 Technical specification of material and methods involved including how and when measurements were taken, and/or cite references for index test(s) and reference standard 9 Definition and rationale for the units, cutoffs and/or categories of the results of the index test(s) and the reference standard

P. Urbano per Myco09

Punti chiave Evitare i vizi [bias] Documentare e archiviare tutto Evitare i valori predittivi Calcolare i Rapporti di Verosimiglianza [LR] Diffondere i risultati in modo efficace e chiaro [seguendo gli STARD]

P. Urbano per Myco09 Avoidance of workup bias Si verificano quando il confronto coi test di riferimento [gold standard] o coi criteri di approfondimento non è applicato in modo bilanciato ai casi con risultati positivi e a quelli con risultati negativi Vizi di impostazione: workup bias

P. Urbano per Myco09 Per le stime di sensibilità e di specificità, laffidabilità dipende dalla dimensione del campione di collaudo. Le stime devono essere accompagnate dagli intervalli di confidenza Affidabilità delle stime di accuratezza

P. Urbano per Myco09 Lunico modo per evitare lo spectrum bias è di arruolare pazienti consecutivi, come si presentano nella pratica reale farli policentrici Gli studi devono essere estesi, per avere stime affidabili -> farli policentrici Correlare sempre i dati clinici con quelli di laboratorio Focalizzarsi sulle situazioni di maggiore utilità clinica Migliorare la comunicazione bidirezionale coi clinici Pubblicizzare bene i risultati

P. Urbano per Myco09

Linea Guida CLSI CLSI EP12A2 User Protocol for Evaluation of Qualitative Test Performance; Approved Guideline, Second Edition, EP12-2A Larry W. Clark, M.S. Edition: 2nd Clinical and Laboratory Standards Institute / 01-Jan-2008 / 64 pages ISBN:

P. Urbano per Myco09 Protocollo CLSI Clinical and Laboratory Standards Institute / 01- Jan-2008 / 64 pages ISBN: Link

P. Urbano per Myco09 Grazie dellattenzione Domande? Alcuni riquadri sono ripresi da una bella presentazione di Giocolibella presentazione di Giocoli