4° Confronto interistituzionale in citologia mammaria da screening ANALISI DELLE CONCORDANZE Padova, 23 Novembre 2011 Giovanni Capitanio U.O.C. di Anatomia Patologica Ospedale Civile di Venezia Azienda ULSS 12 Veneziana

“Primi in Italia, terzi in Europa” Rovigo 19 maggio 2009

Partecipazione di 20 Centri regionali (18 A.P./21 Ulss + 2 Lab Privati)

Centri che hanno partecipato Adria Arzignano Bassano Castelfranco Cittadella Conegliano Dolo Este Feltre Mestre Rovigo San Bonifacio San Donà Thiene Treviso Venezia Verona Borgo Tn Vicenza “Datamedica” “Laboratorio Pennelli”

Sestri Ponente Chiavari

1° Round 19/5/09 RO 25 casi citologici inviati da 12 centri letti da 11 centri 2° Round 14/12/09 PD 20 casi citologici inviati da 8 centri letti da 16 centri 4° Round 23/11/11 PD 25 casi citologici Inviati da 1 centro Letti da 20 centri + 3 3° Round 23/11/10 VR 27 casi citologici inviati da 15 centri letti da 21 centri

Analisi delle concordanze ….

DIAGNOSI DI RIFERIMENTO N° Caso Diagnosi di riferimento 1 C2 2 3 C3 4 C5 5 6 7 8 9 10 11 12 13 C4 14 15 16 17 18 19 20 21 22 23 24 25 DIAGNOSI DI RIFERIMENTO 52 24 12 12 6 3 3 13

4° Round

4° Confronto interistituzionale in citologia mammaria: analisi delle concordanze 25 casi citologici inviati da un centro 20 anatomie patologiche 5 Categorie diagnostiche (C1 – C5) 1 categoria diagnosticata in 4 casi 2 categorie diagnosticate in 9 casi 3 categorie diagnosticate in 8 casi 4 categorie diagnosticate in 3 casi 5 categorie diagnosticate in 1 caso

Confronto interistituzionale in citologia mammaria 2° Round 1 categoria in 1 caso 2 categorie in 4 casi 3 categorie in 8 casi 4 categorie in 6 casi 5 categorie in 1 caso 1° Round 1 categoria in 4 casi 2 categorie in 6 casi 3 categorie in 9 casi 4 categorie in 6 casi 3° Round 1 categoria in 0 casi 2 categorie in 2 casi 3 categorie in 10 casi 4 categorie in 13 casi 5 categorie in 2 casi 4° Round 1 categoria in 4 casi 2 categorie in 9 casi 3 categorie in 8 casi 4 categorie in 3 casi 5 categorie in 1 caso

Concordanza maggiore in 9 casi + 1 (C4-C5) (C2) Concordanza minore in 6 casi (C3-C4-C5) Discordanza minore in 4 casi (C1-C2-C3) Discordanza maggiore in 5 casi (C1-C5)

1° Round Concordanza maggiore in 4 casi (C5) Concordanza minore in 6 casi (C4-C5) Discordanza minore in 5 casi (C3-C5) Discordanza maggiore in 10 casi (C1-5) 2° Round Concordanza maggiore in 1 caso (C5) Concordanza minore in 4 casi (C4-C5) Discordanza minore in 6 casi (C3-C5) Discordanza maggiore in 9 casi (C1-C5) 3° Round Concordanza maggiore in 3 casi (C4-C5) Concordanza minore in 6 casi (C3-C4-C5) Discordanza minore in 1 caso (C1-C2-C3) Discordanza maggiore in 17 casi (C1-C5) 4° Round Concordanza maggiore in 10 casi (C2)(C4-C5) Concordanza minore in 6 casi (C3-C4-C5) Discordanza minore in 4 casi (C1-C2-C3) Discordanza maggiore in 5 casi (C1 – C5)

Diagnosi di maggioranza uguale al gold standard in 19 casi Diagnosi di maggioranza diversa dal gold standard in 5 casi 1 caso di parità diagnostica

C1 C2 C3 C4 C5 1 5 9 2 17 3 7 4 20 6 8 16 19 Diagnosi di Diagnosi GS maggioranza ≠ GS Diagnosi GS N° caso C1 C2 C3 C4 C5 1 5 9 2 17 3 7 4 20 6 8 16 19

N° caso C1 C2 C3 C4 C5 10 1 2 17 11 9 12 19 13 7 14 20 15 8 16 5 4 18 3

N° caso C1 C2 C3 C4 C5 19 1 20 2 18 21 4 15 22 23 24 12 5 25

Grado di accordo … Valori di K < 0.40 sono indicativi di una concordanza debole Valori di K compresi tra 0.40 e 0.75 sono indicativi di una concordanza buona Valori di K > 0.75 sono indicativi di una concordanza eccellente.

Indici di concordanza K statistics for nominal response (K): valuta la concordanza indipendentemente dal significato della categoria K pesato (Kw): valuta la concordanza secondo pesi convenzionali prestabiliti delle categorie. Coefficiente di Kendall: valuta il coefficiente di concordanza fra 2 o più categorie.

Buongiorno,   invio l’analisi della concordanza per la citologia mammaria: Foglio diagnosi: distribuzioni di frequenza dei “raters” (lettori/ASL) Foglio kappa complessivo: analisi della concordanza tra Raters senza considerare la diagnosi di riferimento Foglio kappa x raters: concordanza tra raters e gold standard (diagnosi di riferimento)  considerare il kappa pesato se le 5 categorie possono essere assunte su scala ordinale (dal meno grave al più grave)   saluti Stefano Guzzinati

4° Round Accordo complessivo tra raters senza considerare la diagnosi di riferimento    5 categorie Kappa Standard Error Z Prob>Z C1 0,52204 0,036054 14,4796 C2 0,54739 0,050916 10,751 C3 0,21173 0,044524 4,7555 C4 0,31391 0,047716 6,5787 2,37E-11 C5 0,68854 0,087822 7,8401 2,22E-15 Overall 0,49550 0,021077 23,5087

Kappa complessivo 2° round: 0,24555 Kappa statistics for nominal response (3° ROUND)   Kappa Standard Error Z Prob>Z C1 0,03164 0,029996 1,055 0,14572 C2 0,31944 0,047965 6,66 C3 0,11648 0,052721 2,2094 0,01357 C4 0,10226 0,055233 1,8513 0,03206 C5 0,38409 0,061445 6,2511 Overall 0,22689 0,009504 23,873 Kendall's Coefficient of Concordance for ordinal response Coeff of Num Denom Concordance F DF Prob>F 0,55859 25,31 25,9048 518,095 <.0001 Kappa complessivo 2° round: 0,24555 Coefficiente di Kendall 2° round:: 0,50

4° Round ACCORPANDO C4 CON C5 (4 categorie) Kappa Standard Error z   Kappa Standard Error z Prob>Z C1 0,52204 0,036054 14,4796 C2 0,54739 0,050916 10,751 C3 0,21173 0,044524 4,7555 C4-C5 0,75792 0,11901 6,3684 9,55E-11 Overall 0,56394 0,03766 14,9759

Kappa complessivo 2° round: 0,32866 ACCORPANDO C4 CON C5 (4 livelli) 3° Round   Kappa statistics for nominal response Kappa Standard Error z Prob>Z C1 0,03164 0,029996 1,055 0,14572 C2 0,31944 0,047965 6,66 C3 0,11648 0,052721 2,2094 0,01357 C4-C5 0,405 0,099026 4,0898 0,00002 Overall 0,28388 0,026535 10,6984 Kendall's Coefficient of Concordance for ordinal response Coeff of Num Denom Concordance F DF Prob>F 0,48818 19,08 25,9048 518,095 <.0001 Kappa complessivo 2° round: 0,32866

4° Round ACCORPANDO C3 CON C4 (4 categorie) Kappa Standard Error z   Kappa Standard Error z Prob>Z C1 0,52204 0,036054 14,4796 C2 0,54739 0,050916 10,751 C3-C4 0,35036 0,064537 5,4288 2,84E-08 C5 0,68854 0,087822 7,8401 2,22E-15 Overall 0,53629 0,019434 27,595

Kappa complessivo 2° round: 0,26503 ACCORPANDO C3 CON C4 (4 livelli) (3° Round)   Kappa statistics for nominal response Kappa Standard Error z Prob>Z C1 0,03164 0,029996 1,055 0,14572 C2 0,31944 0,047965 6,66 C3-C4 0,17368 0,086451 2,0089 0,02227 C5 0,38409 0,061445 6,2511 Overall 0,27367 0,019244 14,2211 Kendall's Coefficient of Concordance for ordinal response Coeff of Num Denom Concordance F DF Prob>F 0,5039 20,31 25,9048 518,095 <.0001 Kappa complessivo 2° round: 0,26503 Coefficiente di Kendall 2° round: 0,45

Concordanza tra raters e gold standard K pesato K simple  A 0,8514 0,7031 C 0,5726 0,3187 D 0,9392 0,8765 E 0,6347 0,478 F 0,7271  0,5921 G 0,6689 0,4136 H 0,9102 0,8166  I 0,7073 0,4141 L 0,7387 0,4617 M 0,6228 0,3193 O 0,5843 0,3929 Q 0,5198 0,1972 R 0,5307 0,3857 T 0,6622 0,4369 U 0,748 0,536 V 0,6208 0,4731 W 1 Y 0,7972 0,6575 Z 0,6495 0,42 AA Concordanza tra raters e gold standard

Concordanza tra Raters e gold standard K 4° Round K 3° Round K 2° Round  A 0,8514 0,5070  0,7386 C 0,5726 0,5601   D 0,9392 0,6343  0,3333 E 0,6347 0,5263  0,3023 F 0,7271 0,3800 G 0,6689 0,5214 H 0,9102 0,6538  0,5425 I 0,7073 0,2146  0,0972 L 0,7387 0,4057  0,3882 M 0,6228 0,1925 O 0,5843 0,4639  0,2949 Q 0,5198 R 0,5307 0,3963 0,2262 T 0,6622 U 0,7480 0,6172  0,4093 V 0,6208 0,6113 W 1 0,3551 0,2308 Y 0,7972 0,3490 Z 0,6495 0,4369 AA 0,4617 0,6226  Concordanza tra Raters e gold standard

K > 0,7

Motivazioni ….. Casistica di “routine” (2008), non selezionata, inviata da un solo centro Allestimento unico Colorazione unica Presenza di notizie (età, clinica, es. radiologici) > esperienza in telecitopatologia

Mencarelli Capitanio Bianchini Rizzo Briani

Grazie a tutti i partecipanti e al dott. Guzzinati

Grazie per l'attenzione

Casistica 4° Round

Casi con diagnosi di maggioranza ≠ da gold standard

Caso n°2 61 a, non palpabile, U3 17 C1 3 C2 (ectasia duttale)

Caso n° 7 67 a, cisti palpabile, R2, U2 9 C3 9 C4 2 C5

CDIS

Caso n° 11 69 a, non palpabile, R3, U3 9 C2 11 C3

Fillode

Caso n° 16 60 a, sospetta 5 C3 11 C4 4 C5

Caso n° 18 60 a, non palpabile, R3, U3 3 C3 12 C4 5 C5

B5

Casi discordanti

Caso n° 1 C1 C2 C3 C4 C5 5 9 1 54 Palpabile R3 U3 Età Tecnica di localizzazione Tipologia campione Dati clinici RX ECO 54 Palpabile R3 U3 C1 C2 C3 C4 C5 5 9 1

Caso n° 1 C1 C2 C3 C4 C5 5 9 1 54 Non Palpabile R3 U3 Età Tecnica di localizzazione Tipologia campione Dati clinici RX ECO 54 Non Palpabile R3 U3 C1 C2 C3 C4 C5 5 9 1

Caso n° 15 C1 C2 C3 C4 C5 1 8 9 60 Non Sospetta Età Tecnica di localizzazione Tipologia campione Dati clinici RX ECO 60 Non Sospetta C1 C2 C3 C4 C5 1 8 9

Caso n° 15 C1 C2 C3 C4 C5 1 8 9 60 Non Sospetta Età Tecnica di localizzazione Tipologia campione Dati clinici RX ECO 60 Non Sospetta C1 C2 C3 C4 C5 1 8 9

Lesione benigna

Caso n° 17 Età Tecnica di localizzazione Tipologia campione Dati clinici RX ECO 51 R1 U3 C1 C2 C3 C4 C5 4 10 5 1

Caso n° 17 Età Tecnica di localizzazione Tipologia campione Dati clinici RX ECO 51 R1 U3 C1 C2 C3 C4 C5 4 10 5 1

Caso n° 22 C1 C2 C3 C4 C5 15 4 1 50 Non palpabile U3 Età Tecnica di localizzazione Tipologia campione Dati clinici RX ECO 50 Non palpabile U3 C1 C2 C3 C4 C5 15 4 1

Caso n° 22 C1 C2 C3 C4 C5 15 4 1 Fibroadenoma 50 Non palpabile U3 Età Tecnica di localizzazione Tipologia campione Dati clinici RX ECO 50 Non palpabile U3 C1 C2 C3 C4 C5 15 4 1 Fibroadenoma

Caso n° 24 C1 C2 C3 C4 C5 2 1 12 5 63 Palpabile R5 U5 Età Tecnica di localizzazione Tipologia campione Dati clinici RX ECO 63 Palpabile R5 U5 C1 C2 C3 C4 C5 2 1 12 5

Caso n° 24 C1 C2 C3 C4 C5 2 1 12 5 63 Palpabile R5 U5 Età Tecnica di localizzazione Tipologia campione Dati clinici RX ECO 63 Palpabile R5 U5 C1 C2 C3 C4 C5 2 1 12 5

Ancora grazie!