Giovanni Capitanio U.O.C. di Anatomia Patologica Ospedale Civile di VeneziaAzienda ULSS 12 Veneziana

ANALISI DELLE CONCORDANZE

4° Confronto interistituzionale in citologia mammaria da screening

Padova, 23 Novembre 2011

“Primi in Italia, terzi in Europa”

Rovigo 19 maggio 2009

Partecipazione di 20 Centri regionali(18 A.P./21 Ulss + 2 Lab Privati)

Centri che hanno partecipato

• Adria• Arzignano• Bassano• Castelfranco• Cittadella• Conegliano• Dolo• Este• Feltre• Mestre

• Rovigo• San Bonifacio• San Donà• Thiene • Treviso• Venezia• Verona Borgo Tn • Vicenza• “Datamedica”• “Laboratorio

Pennelli”

Sestri Ponente Chiavari

2° Round 14/12/09 PD

• 20 casi citologici• inviati da 8 centri• letti da 16 centri

1° Round 19/5/09 RO

• 25 casi citologici• inviati da 12 centri• letti da 11 centri

3° Round 23/11/10 VR

• 27 casi citologici

• inviati da 15 centri

• letti da 21 centri

Analisi delle concordanze ….

N° Caso Diagnosi di riferimento

1 C2

2 C2

3 C3

4 C5

5 C2

6 C5

7 C3

8 C5

9 C5

10 C5

11 C2

12 C5

13 C4

14 C5

15 C3

16 C5

17 C4

18 C5

19 C5

20 C5

21 C5

22 C2

23 C2

24 C4

25 C5

DIAGNOSI DI RIFERIMENTO

24

12 12

52

6 3 3 13

4° Round

4° Confronto interistituzionale in citologia mammaria: analisi delle

concordanze• 25 casi citologici inviati da un centro• 20 anatomie patologiche • 5 Categorie diagnostiche (C1 – C5)• 1 categoria diagnosticata in 4 casi• 2 categorie diagnosticate in 9 casi• 3 categorie diagnosticate in 8 casi• 4 categorie diagnosticate in 3 casi• 5 categorie diagnosticate in 1 caso

Confronto interistituzionale in citologia mammaria

2° Round 1 categoria in 1 caso 2 categorie in 4 casi 3 categorie in 8 casi 4 categorie in 6 casi 5 categorie in 1 caso

1° Round1° Round 1 categoria in 4 casi1 categoria in 4 casi 2 categorie in 6 casi2 categorie in 6 casi 3 categorie in 9 casi3 categorie in 9 casi 4 categorie in 6 casi4 categorie in 6 casi

3° Round 1 categoria in 0 casi 2 categorie in 2 casi 3 categorie in 10 casi 4 categorie in 13 casi 5 categorie in 2 casi

4° Round1 categoria in 4 casi2 categorie in 9 casi3 categorie in 8 casi4 categorie in 3 casi5 categorie in 1 caso

Concordanza maggiore in 9 casi + 1 (C4-C5) (C2)

Concordanza minore in 6 casi (C3-C4-C5)

Discordanza minore in 4 casi (C1-C2-C3)

Discordanza maggiore in 5 casi (C1-C5)

2° Round Concordanza maggiore in 1 caso (C5)

Concordanza minore in 4 casi (C4-C5)

Discordanza minore in 6 casi (C3-C5)

Discordanza maggiore in 9 casi (C1-C5)

1° Round1° Round Concordanza maggiore in 4 casi Concordanza maggiore in 4 casi (C5)(C5)

Concordanza minore in 6 casi (C4-Concordanza minore in 6 casi (C4-C5)C5)

Discordanza minore in 5 casi (C3-Discordanza minore in 5 casi (C3-C5)C5)

Discordanza maggiore in 10 casi Discordanza maggiore in 10 casi (C1-5)(C1-5) 3° RoundConcordanza maggiore in 3 casi (C4-C5)

Concordanza minore in 6 casi (C3-C4-C5)

Discordanza minore in 1 caso (C1-C2-C3)

Discordanza maggiore in 17 casi (C1-C5)

4° RoundConcordanza maggiore in 10 casi (C2)(C4-C5)

Concordanza minore in 6 casi (C3-C4-C5)

Discordanza minore in 4 casi (C1-C2-C3)

Discordanza maggiore in 5 casi (C1 – C5)

• Diagnosi di maggioranza uguale al gold standard in 19 casi

• Diagnosi di maggioranza diversa dal gold standard in 5 casi

• 1 caso di parità diagnostica

N° caso

C1 C2 C3 C4 C5

1 5 9 5 1

2 17 3

3 7 4 9

4 20

5 17 3

6 20

7 9 9 2

8 1 3 16

9 1 19

Diagnosi GS Diagnosi dimaggioranza ≠ GS

N° caso

C1 C2 C3 C4 C5

10 1 2 17

11 9 11

12 1 19

13 13 7

14 20

15 1 8 9 1 1

16 5 11 4

17 4 10 5 1

18 3 12 5

N° caso

C1 C2 C3 C4 C5

19 1 19

20 2 18

21 1 4 15

22 15 4 1

23 20

24 2 1 12 5

25 1 19

Grado di accordo …

• Valori di K < 0.40 sono indicativi di una concordanza debole

• Valori di K compresi tra 0.40 e 0.75 sono indicativi di una concordanza buona

• Valori di K > 0.75 sono indicativi di una concordanza eccellente.

Indici di concordanza

• K statistics for nominal response (K): valuta la concordanza indipendentemente dal significato della categoria

• K pesato (Kw): valuta la concordanza secondo pesi convenzionali prestabiliti delle categorie.

• Coefficiente di Kendall: valuta il coefficiente di concordanza fra 2 o più categorie.

Buongiorno,  invio l’analisi della concordanza per la citologia mammaria:

•Foglio diagnosi: distribuzioni di frequenza dei “raters” (lettori/ASL)•Foglio kappa complessivo: analisi della concordanza tra Raters senza considerare la diagnosi di riferimento•Foglio kappa x raters: concordanza tra raters e gold standard (diagnosi di riferimento) considerare il kappa pesato se le 5 categorie possono essere assunte su scala ordinale (dal meno grave al più grave)  saluti Stefano Guzzinati

Accordo complessivo tra raters senza considerare la diagnosi di riferimento        

 5 categorie        

  Kappa Standard Error Z Prob>Z

         

C1 0,52204 0,036054 14,4796 0

C2 0,54739 0,050916 10,751 0

C3 0,21173 0,044524 4,7555 0

C4 0,31391 0,047716 6,5787 2,37E-11

C5 0,68854 0,087822 7,8401 2,22E-15

Overall 0,49550 0,021077 23,5087 0

         

4° Round

Kappa statistics for nominal response (3° ROUND)        

         

  Kappa Standard Error Z Prob>Z

         

C1 0,03164 0,029996 1,055 0,14572

C2 0,31944 0,047965 6,66 0

C3 0,11648 0,052721 2,2094 0,01357

C4 0,10226 0,055233 1,8513 0,03206

C5 0,38409 0,061445 6,2511 0

Overall 0,22689 0,009504 23,873 0

         

Kendall's Coefficient of Concordance for ordinal response        

Coeff of   Num Denom  

Concordance       F DF DF Prob>F

         

0,55859 25,31 25,9048 518,095 <.0001

ACCORPANDO C4 CON C5 (4 categorie)        

  Kappa Standard Error z Prob>Z

         

C1 0,52204 0,036054 14,4796 0

C2 0,54739 0,050916 10,751 0

C3 0,21173 0,044524 4,7555 0

C4-C5 0,75792 0,11901 6,3684 9,55E-11

Overall 0,56394 0,03766 14,9759 0

         

4° Round

ACCORPANDO C4 CON C5 (4 livelli) 3° Round        

Kappa statistics for nominal response        

         

  Kappa Standard Error z Prob>Z

         

C1 0,03164 0,029996 1,055 0,14572

C2 0,31944 0,047965 6,66 0

C3 0,11648 0,052721 2,2094 0,01357

C4-C5 0,405 0,099026 4,0898 0,00002

Overall 0,28388 0,026535 10,6984 0

         

Kendall's Coefficient of Concordance for ordinal response        

Coeff of   Num Denom  

Concordance       F DF DF Prob>F

         

0,48818 19,08 25,9048 518,095 <.0001

Kappa complessivo 2° round: 0,32866

ACCORPANDO C3 CON C4 (4 categorie)        

  Kappa Standard Error z Prob>Z

         

C1 0,52204 0,036054 14,4796 0

C2 0,54739 0,050916 10,751 0

C3-C4 0,35036 0,064537 5,4288 2,84E-08

C5 0,68854 0,087822 7,8401 2,22E-15

Overall 0,53629 0,019434 27,595 0

         

4° Round

ACCORPANDO C3 CON C4 (4 livelli) (3° Round)        

Kappa statistics for nominal response        

         

  Kappa Standard Error z Prob>Z

         

C1 0,03164 0,029996 1,055 0,14572

C2 0,31944 0,047965 6,66 0

C3-C4 0,17368 0,086451 2,0089 0,02227

C5 0,38409 0,061445 6,2511 0

Overall 0,27367 0,019244 14,2211 0

         

Kendall's Coefficient of Concordance for ordinal response        

Coeff of   Num Denom  

Concordance       F DF DF Prob>F

0,5039 20,31 25,9048 518,095 <.0001

Concordanza tra raters e gold standard

Raters K pesato K simple 

A 0,8514 0,7031

C 0,5726 0,3187

D 0,9392 0,8765

E 0,6347 0,478

F 0,7271  0,5921

G 0,6689 0,4136

H 0,9102 0,8166 

I 0,7073 0,4141

L 0,7387 0,4617

M 0,6228 0,3193

O 0,5843 0,3929

Q 0,5198 0,1972

R 0,5307 0,3857

T 0,6622 0,4369

U 0,748 0,536

V 0,6208 0,4731

W 1 1

Y 0,7972 0,6575

Z 0,6495 0,42

AA 0,8514 0,7031

Concordanza tra Raters e gold standard

RatersK 4°

RoundK 3° 

Round K 2° Round 

A 0,8514 0,5070  0,7386

C 0,5726 0,5601  

D 0,9392 0,6343  0,3333

E 0,6347 0,5263  0,3023

F 0,7271 0,3800  

G 0,6689 0,5214  0,3333

H 0,9102 0,6538  0,5425

I 0,7073 0,2146  0,0972

L 0,7387 0,4057  0,3882

M 0,6228 0,1925  

O 0,5843 0,4639  0,2949

Q 0,5198  

R 0,5307 0,3963 0,2262

T 0,6622 0,5601

U 0,7480 0,6172  0,4093

V 0,6208 0,6113

W 1 0,3551 0,2308

Y 0,7972 0,3490

Z 0,6495 0,4369

AA 0,8514 0,4617 0,6226 

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

2°Round

3°Round

4°Round

K nominaleK pesato

K > 0,7

Motivazioni …..• Casistica di “routine” (2008), non

selezionata, inviata da un solo centro• Allestimento unico • Colorazione unica • Presenza di notizie (età, clinica, es.

radiologici)• > esperienza in telecitopatologia

Rizzo

Capitanio

Mencarelli

Bianchini

Briani

Casi con diagnosi di maggioranza ≠ da gold standard

Caso n°2

• 61 a, non palpabile, U3

• 17 C1• 3 C2 (ectasia

duttale)

Caso n° 7

• 67 a, cisti palpabile, R2, U2

• 9 C3• 9 C4• 2 C5

CDIS

Caso n° 11

• 69 a, non palpabile, R3, U3

• 9 C2• 11 C3

Fillode

Caso n° 16

• 60 a, sospetta• 5 C3• 11 C4• 4 C5

Caso n° 18

• 60 a, non palpabile, R3, U3

• 3 C3• 12 C4• 5 C5

B5

Casi discordanti

Caso n° 1

C1 C2 C3 C4 C5

5 9 5 1

Età Tecnica di localizzazione

Tipologia campione

Dati clinici RX ECO

54 Palpabile

R3 U3

Caso n° 1

C1 C2 C3 C4 C5

5 9 5 1

Età Tecnica di localizzazione

Tipologia campione

Dati clinici RX ECO

54 Non Palpabile

R3 U3

Caso n° 15

C1 C2 C3 C4 C5

1 8 9 1 1

Età Tecnica di localizzazione

Tipologia campione

Dati clinici RX ECO

60 Non Sospett

a

Caso n° 15

C1 C2 C3 C4 C5

1 8 9 1 1

Età Tecnica di localizzazione

Tipologia campione

Dati clinici RX ECO

60 Non Sospett

a

Lesione benigna

Caso n° 17

C1 C2 C3 C4 C5

4 10 5 1

Età Tecnica di localizzazione

Tipologia campione

Dati clinici RX ECO

51 R1 U3

Caso n° 17

C1 C2 C3 C4 C5

4 10 5 1

Età Tecnica di localizzazione

Tipologia campione

Dati clinici RX ECO

51 R1 U3

Caso n° 22

C1 C2 C3 C4 C5

15 4 1

Età Tecnica di localizzazione

Tipologia campione

Dati clinici RX ECO

50 Non palpabil

e

U3

Caso n° 22

C1 C2 C3 C4 C5

15 4 1

Età Tecnica di localizzazione

Tipologia campione

Dati clinici RX ECO

50 Non palpabil

e

U3

Fibroadenoma

Caso n° 24

C1 C2 C3 C4 C5

2 1 12 5

Età Tecnica di localizzazione

Tipologia campione

Dati clinici RX ECO

63 Palpabile

R5 U5

Caso n° 24

C1 C2 C3 C4 C5

2 1 12 5

Età Tecnica di localizzazione

Tipologia campione

Dati clinici RX ECO

63 Palpabile

R5 U5