4° Confronto interistituzionale in citologia mammaria da screening

102
Giovanni Capitanio U.O.C. di Anatomia Patologica Ospedale Civile di Venezia Azienda ULSS 12 Veneziana ANALISI DELLE CONCORDANZE 4° Confronto interistituzionale in citologia mammaria da screening Padova, 23 Novembre 2011

description

4° Confronto interistituzionale in citologia mammaria da screening. ANALISI DELLE CONCORDANZE. Padova, 23 Novembre 2011. Giovanni Capitanio U.O.C. di Anatomia Patologica Ospedale Civile di Venezia Azienda ULSS 12 Veneziana. “Primi in Italia, terzi in Europa”. Rovigo 19 maggio 2009. - PowerPoint PPT Presentation

Transcript of 4° Confronto interistituzionale in citologia mammaria da screening

Page 1: 4° Confronto interistituzionale in  citologia mammaria da screening

Giovanni Capitanio U.O.C. di Anatomia Patologica Ospedale Civile di VeneziaAzienda ULSS 12 Veneziana

ANALISI DELLE CONCORDANZE

4° Confronto interistituzionale in citologia mammaria da screening

Padova, 23 Novembre 2011

Page 2: 4° Confronto interistituzionale in  citologia mammaria da screening

“Primi in Italia, terzi in Europa”

Rovigo 19 maggio 2009

Page 3: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 4: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 5: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 6: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 7: 4° Confronto interistituzionale in  citologia mammaria da screening

Partecipazione di 20 Centri regionali(18 A.P./21 Ulss + 2 Lab Privati)

Page 8: 4° Confronto interistituzionale in  citologia mammaria da screening

Centri che hanno partecipato

• Adria• Arzignano• Bassano• Castelfranco• Cittadella• Conegliano• Dolo• Este• Feltre• Mestre

• Rovigo• San Bonifacio• San Donà• Thiene • Treviso• Venezia• Verona Borgo Tn • Vicenza• “Datamedica”• “Laboratorio

Pennelli”

Page 9: 4° Confronto interistituzionale in  citologia mammaria da screening

Sestri Ponente Chiavari

Page 10: 4° Confronto interistituzionale in  citologia mammaria da screening

2° Round 14/12/09 PD

• 20 casi citologici• inviati da 8 centri• letti da 16 centri

1° Round 19/5/09 RO

• 25 casi citologici• inviati da 12 centri• letti da 11 centri

3° Round 23/11/10 VR

• 27 casi citologici

• inviati da 15 centri

• letti da 21 centri

Page 11: 4° Confronto interistituzionale in  citologia mammaria da screening

Analisi delle concordanze ….

Page 12: 4° Confronto interistituzionale in  citologia mammaria da screening

N° Caso Diagnosi di riferimento

1 C2

2 C2

3 C3

4 C5

5 C2

6 C5

7 C3

8 C5

9 C5

10 C5

11 C2

12 C5

13 C4

14 C5

15 C3

16 C5

17 C4

18 C5

19 C5

20 C5

21 C5

22 C2

23 C2

24 C4

25 C5

DIAGNOSI DI RIFERIMENTO

24

12 12

52

6 3 3 13

Page 13: 4° Confronto interistituzionale in  citologia mammaria da screening

4° Round

Page 14: 4° Confronto interistituzionale in  citologia mammaria da screening

4° Confronto interistituzionale in citologia mammaria: analisi delle

concordanze• 25 casi citologici inviati da un centro• 20 anatomie patologiche • 5 Categorie diagnostiche (C1 – C5)• 1 categoria diagnosticata in 4 casi• 2 categorie diagnosticate in 9 casi• 3 categorie diagnosticate in 8 casi• 4 categorie diagnosticate in 3 casi• 5 categorie diagnosticate in 1 caso

Page 15: 4° Confronto interistituzionale in  citologia mammaria da screening

Confronto interistituzionale in citologia mammaria

2° Round 1 categoria in 1 caso 2 categorie in 4 casi 3 categorie in 8 casi 4 categorie in 6 casi 5 categorie in 1 caso

1° Round1° Round 1 categoria in 4 casi1 categoria in 4 casi 2 categorie in 6 casi2 categorie in 6 casi 3 categorie in 9 casi3 categorie in 9 casi 4 categorie in 6 casi4 categorie in 6 casi

3° Round 1 categoria in 0 casi 2 categorie in 2 casi 3 categorie in 10 casi 4 categorie in 13 casi 5 categorie in 2 casi

4° Round1 categoria in 4 casi2 categorie in 9 casi3 categorie in 8 casi4 categorie in 3 casi5 categorie in 1 caso

Page 16: 4° Confronto interistituzionale in  citologia mammaria da screening

Concordanza maggiore in 9 casi + 1 (C4-C5) (C2)

Concordanza minore in 6 casi (C3-C4-C5)

Discordanza minore in 4 casi (C1-C2-C3)

Discordanza maggiore in 5 casi (C1-C5)

Page 17: 4° Confronto interistituzionale in  citologia mammaria da screening

2° Round Concordanza maggiore in 1 caso (C5)

Concordanza minore in 4 casi (C4-C5)

Discordanza minore in 6 casi (C3-C5)

Discordanza maggiore in 9 casi (C1-C5)

1° Round1° Round Concordanza maggiore in 4 casi Concordanza maggiore in 4 casi (C5)(C5)

Concordanza minore in 6 casi (C4-Concordanza minore in 6 casi (C4-C5)C5)

Discordanza minore in 5 casi (C3-Discordanza minore in 5 casi (C3-C5)C5)

Discordanza maggiore in 10 casi Discordanza maggiore in 10 casi (C1-5)(C1-5) 3° RoundConcordanza maggiore in 3 casi (C4-C5)

Concordanza minore in 6 casi (C3-C4-C5)

Discordanza minore in 1 caso (C1-C2-C3)

Discordanza maggiore in 17 casi (C1-C5)

4° RoundConcordanza maggiore in 10 casi (C2)(C4-C5)

Concordanza minore in 6 casi (C3-C4-C5)

Discordanza minore in 4 casi (C1-C2-C3)

Discordanza maggiore in 5 casi (C1 – C5)

Page 18: 4° Confronto interistituzionale in  citologia mammaria da screening

• Diagnosi di maggioranza uguale al gold standard in 19 casi

• Diagnosi di maggioranza diversa dal gold standard in 5 casi

• 1 caso di parità diagnostica

Page 19: 4° Confronto interistituzionale in  citologia mammaria da screening

N° caso

C1 C2 C3 C4 C5

1 5 9 5 1

2 17 3

3 7 4 9

4 20

5 17 3

6 20

7 9 9 2

8 1 3 16

9 1 19

Diagnosi GS Diagnosi dimaggioranza ≠ GS

Page 20: 4° Confronto interistituzionale in  citologia mammaria da screening

N° caso

C1 C2 C3 C4 C5

10 1 2 17

11 9 11

12 1 19

13 13 7

14 20

15 1 8 9 1 1

16 5 11 4

17 4 10 5 1

18 3 12 5

Page 21: 4° Confronto interistituzionale in  citologia mammaria da screening

N° caso

C1 C2 C3 C4 C5

19 1 19

20 2 18

21 1 4 15

22 15 4 1

23 20

24 2 1 12 5

25 1 19

Page 22: 4° Confronto interistituzionale in  citologia mammaria da screening

Grado di accordo …

• Valori di K < 0.40 sono indicativi di una concordanza debole

• Valori di K compresi tra 0.40 e 0.75 sono indicativi di una concordanza buona

• Valori di K > 0.75 sono indicativi di una concordanza eccellente.

Page 23: 4° Confronto interistituzionale in  citologia mammaria da screening

Indici di concordanza

• K statistics for nominal response (K): valuta la concordanza indipendentemente dal significato della categoria

• K pesato (Kw): valuta la concordanza secondo pesi convenzionali prestabiliti delle categorie.

• Coefficiente di Kendall: valuta il coefficiente di concordanza fra 2 o più categorie.

Page 24: 4° Confronto interistituzionale in  citologia mammaria da screening

Buongiorno,  invio l’analisi della concordanza per la citologia mammaria:

•Foglio diagnosi: distribuzioni di frequenza dei “raters” (lettori/ASL)•Foglio kappa complessivo: analisi della concordanza tra Raters senza considerare la diagnosi di riferimento•Foglio kappa x raters: concordanza tra raters e gold standard (diagnosi di riferimento) considerare il kappa pesato se le 5 categorie possono essere assunte su scala ordinale (dal meno grave al più grave)  saluti Stefano Guzzinati

Page 25: 4° Confronto interistituzionale in  citologia mammaria da screening

Accordo complessivo tra raters senza considerare la diagnosi di riferimento        

 5 categorie        

  Kappa Standard Error Z Prob>Z

         

C1 0,52204 0,036054 14,4796 0

C2 0,54739 0,050916 10,751 0

C3 0,21173 0,044524 4,7555 0

C4 0,31391 0,047716 6,5787 2,37E-11

C5 0,68854 0,087822 7,8401 2,22E-15

Overall 0,49550 0,021077 23,5087 0

         

4° Round

Page 26: 4° Confronto interistituzionale in  citologia mammaria da screening

Kappa statistics for nominal response (3° ROUND)        

         

  Kappa Standard Error Z Prob>Z

         

C1 0,03164 0,029996 1,055 0,14572

C2 0,31944 0,047965 6,66 0

C3 0,11648 0,052721 2,2094 0,01357

C4 0,10226 0,055233 1,8513 0,03206

C5 0,38409 0,061445 6,2511 0

Overall 0,22689 0,009504 23,873 0

         

Kendall's Coefficient of Concordance for ordinal response        

Coeff of   Num Denom  

Concordance       F DF DF Prob>F

         

0,55859 25,31 25,9048 518,095 <.0001

Page 27: 4° Confronto interistituzionale in  citologia mammaria da screening

ACCORPANDO C4 CON C5 (4 categorie)        

  Kappa Standard Error z Prob>Z

         

C1 0,52204 0,036054 14,4796 0

C2 0,54739 0,050916 10,751 0

C3 0,21173 0,044524 4,7555 0

C4-C5 0,75792 0,11901 6,3684 9,55E-11

Overall 0,56394 0,03766 14,9759 0

         

4° Round

Page 28: 4° Confronto interistituzionale in  citologia mammaria da screening

ACCORPANDO C4 CON C5 (4 livelli) 3° Round        

Kappa statistics for nominal response        

         

  Kappa Standard Error z Prob>Z

         

C1 0,03164 0,029996 1,055 0,14572

C2 0,31944 0,047965 6,66 0

C3 0,11648 0,052721 2,2094 0,01357

C4-C5 0,405 0,099026 4,0898 0,00002

Overall 0,28388 0,026535 10,6984 0

         

Kendall's Coefficient of Concordance for ordinal response        

Coeff of   Num Denom  

Concordance       F DF DF Prob>F

         

0,48818 19,08 25,9048 518,095 <.0001

Kappa complessivo 2° round: 0,32866

Page 29: 4° Confronto interistituzionale in  citologia mammaria da screening

ACCORPANDO C3 CON C4 (4 categorie)        

  Kappa Standard Error z Prob>Z

         

C1 0,52204 0,036054 14,4796 0

C2 0,54739 0,050916 10,751 0

C3-C4 0,35036 0,064537 5,4288 2,84E-08

C5 0,68854 0,087822 7,8401 2,22E-15

Overall 0,53629 0,019434 27,595 0

         

4° Round

Page 30: 4° Confronto interistituzionale in  citologia mammaria da screening

ACCORPANDO C3 CON C4 (4 livelli) (3° Round)        

Kappa statistics for nominal response        

         

  Kappa Standard Error z Prob>Z

         

C1 0,03164 0,029996 1,055 0,14572

C2 0,31944 0,047965 6,66 0

C3-C4 0,17368 0,086451 2,0089 0,02227

C5 0,38409 0,061445 6,2511 0

Overall 0,27367 0,019244 14,2211 0

         

Kendall's Coefficient of Concordance for ordinal response        

Coeff of   Num Denom  

Concordance       F DF DF Prob>F

0,5039 20,31 25,9048 518,095 <.0001

Page 31: 4° Confronto interistituzionale in  citologia mammaria da screening

Concordanza tra raters e gold standard

Raters K pesato K simple 

A 0,8514 0,7031

C 0,5726 0,3187

D 0,9392 0,8765

E 0,6347 0,478

F 0,7271  0,5921

G 0,6689 0,4136

H 0,9102 0,8166 

I 0,7073 0,4141

L 0,7387 0,4617

M 0,6228 0,3193

O 0,5843 0,3929

Q 0,5198 0,1972

R 0,5307 0,3857

T 0,6622 0,4369

U 0,748 0,536

V 0,6208 0,4731

W 1 1

Y 0,7972 0,6575

Z 0,6495 0,42

AA 0,8514 0,7031

Page 32: 4° Confronto interistituzionale in  citologia mammaria da screening

Concordanza tra Raters e gold standard

RatersK 4°

RoundK 3° 

Round K 2° Round 

A 0,8514 0,5070  0,7386

C 0,5726 0,5601  

D 0,9392 0,6343  0,3333

E 0,6347 0,5263  0,3023

F 0,7271 0,3800  

G 0,6689 0,5214  0,3333

H 0,9102 0,6538  0,5425

I 0,7073 0,2146  0,0972

L 0,7387 0,4057  0,3882

M 0,6228 0,1925  

O 0,5843 0,4639  0,2949

Q 0,5198  

R 0,5307 0,3963 0,2262

T 0,6622 0,5601

U 0,7480 0,6172  0,4093

V 0,6208 0,6113

W 1 0,3551 0,2308

Y 0,7972 0,3490

Z 0,6495 0,4369

AA 0,8514 0,4617 0,6226 

Page 33: 4° Confronto interistituzionale in  citologia mammaria da screening

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

2°Round

3°Round

4°Round

K nominaleK pesato

Page 34: 4° Confronto interistituzionale in  citologia mammaria da screening

K > 0,7

Page 35: 4° Confronto interistituzionale in  citologia mammaria da screening

Motivazioni …..• Casistica di “routine” (2008), non

selezionata, inviata da un solo centro• Allestimento unico • Colorazione unica • Presenza di notizie (età, clinica, es.

radiologici)• > esperienza in telecitopatologia

Page 36: 4° Confronto interistituzionale in  citologia mammaria da screening

Rizzo

Capitanio

Mencarelli

Bianchini

Briani

Page 37: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 38: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 39: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 40: 4° Confronto interistituzionale in  citologia mammaria da screening

Casi con diagnosi di maggioranza ≠ da gold standard

Page 41: 4° Confronto interistituzionale in  citologia mammaria da screening

Caso n°2

• 61 a, non palpabile, U3

• 17 C1• 3 C2 (ectasia

duttale)

Page 42: 4° Confronto interistituzionale in  citologia mammaria da screening

Caso n° 7

• 67 a, cisti palpabile, R2, U2

• 9 C3• 9 C4• 2 C5

Page 43: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 44: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 45: 4° Confronto interistituzionale in  citologia mammaria da screening

CDIS

Page 46: 4° Confronto interistituzionale in  citologia mammaria da screening

Caso n° 11

• 69 a, non palpabile, R3, U3

• 9 C2• 11 C3

Page 47: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 48: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 49: 4° Confronto interistituzionale in  citologia mammaria da screening

Fillode

Page 50: 4° Confronto interistituzionale in  citologia mammaria da screening

Caso n° 16

• 60 a, sospetta• 5 C3• 11 C4• 4 C5

Page 51: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 52: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 53: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 54: 4° Confronto interistituzionale in  citologia mammaria da screening

Caso n° 18

• 60 a, non palpabile, R3, U3

• 3 C3• 12 C4• 5 C5

Page 55: 4° Confronto interistituzionale in  citologia mammaria da screening

B5

Page 56: 4° Confronto interistituzionale in  citologia mammaria da screening

Casi discordanti

Page 57: 4° Confronto interistituzionale in  citologia mammaria da screening

Caso n° 1

C1 C2 C3 C4 C5

5 9 5 1

Età Tecnica di localizzazione

Tipologia campione

Dati clinici RX ECO

54 Palpabile

R3 U3

Page 58: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 59: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 60: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 61: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 62: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 63: 4° Confronto interistituzionale in  citologia mammaria da screening

Caso n° 1

C1 C2 C3 C4 C5

5 9 5 1

Età Tecnica di localizzazione

Tipologia campione

Dati clinici RX ECO

54 Non Palpabile

R3 U3

Page 64: 4° Confronto interistituzionale in  citologia mammaria da screening

Caso n° 15

C1 C2 C3 C4 C5

1 8 9 1 1

Età Tecnica di localizzazione

Tipologia campione

Dati clinici RX ECO

60 Non Sospett

a

Page 65: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 66: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 67: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 68: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 69: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 70: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 71: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 72: 4° Confronto interistituzionale in  citologia mammaria da screening

Caso n° 15

C1 C2 C3 C4 C5

1 8 9 1 1

Età Tecnica di localizzazione

Tipologia campione

Dati clinici RX ECO

60 Non Sospett

a

Page 73: 4° Confronto interistituzionale in  citologia mammaria da screening

Lesione benigna

Page 74: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 75: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 76: 4° Confronto interistituzionale in  citologia mammaria da screening

Caso n° 17

C1 C2 C3 C4 C5

4 10 5 1

Età Tecnica di localizzazione

Tipologia campione

Dati clinici RX ECO

51 R1 U3

Page 77: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 78: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 79: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 80: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 81: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 82: 4° Confronto interistituzionale in  citologia mammaria da screening

Caso n° 17

C1 C2 C3 C4 C5

4 10 5 1

Età Tecnica di localizzazione

Tipologia campione

Dati clinici RX ECO

51 R1 U3

Page 83: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 84: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 85: 4° Confronto interistituzionale in  citologia mammaria da screening

Caso n° 22

C1 C2 C3 C4 C5

15 4 1

Età Tecnica di localizzazione

Tipologia campione

Dati clinici RX ECO

50 Non palpabil

e

U3

Page 86: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 87: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 88: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 89: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 90: 4° Confronto interistituzionale in  citologia mammaria da screening

Caso n° 22

C1 C2 C3 C4 C5

15 4 1

Età Tecnica di localizzazione

Tipologia campione

Dati clinici RX ECO

50 Non palpabil

e

U3

Fibroadenoma

Page 91: 4° Confronto interistituzionale in  citologia mammaria da screening

Caso n° 24

C1 C2 C3 C4 C5

2 1 12 5

Età Tecnica di localizzazione

Tipologia campione

Dati clinici RX ECO

63 Palpabile

R5 U5

Page 92: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 93: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 94: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 95: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 96: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 97: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 98: 4° Confronto interistituzionale in  citologia mammaria da screening

Caso n° 24

C1 C2 C3 C4 C5

2 1 12 5

Età Tecnica di localizzazione

Tipologia campione

Dati clinici RX ECO

63 Palpabile

R5 U5

Page 99: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 100: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 101: 4° Confronto interistituzionale in  citologia mammaria da screening
Page 102: 4° Confronto interistituzionale in  citologia mammaria da screening