Giovanni Capitanio U.O.C. di Anatomia Patologica Ospedale Civile di Venezia Azienda ULSS 12...

Giovanni Capitanio U.O.C. di Anatomia Patologica Ospedale Civile di VeneziaAzienda ULSS 12 Veneziana

ANALISI DELLE CONCORDANZE

4° Confronto interistituzionale in citologia mammaria da screening

Padova, 23 Novembre 2011

“Primi in Italia, terzi in Europa”

Rovigo 19 maggio 2009

Partecipazione di 20 Centri regionali(18 A.P./21 Ulss + 2 Lab Privati)

Centri che hanno partecipato

• Adria• Arzignano• Bassano• Castelfranco• Cittadella• Conegliano• Dolo• Este• Feltre• Mestre

• Rovigo• San Bonifacio• San Donà• Thiene • Treviso• Venezia• Verona Borgo Tn • Vicenza• “Datamedica”• “Laboratorio

Pennelli”

Sestri Ponente Chiavari

2° Round 14/12/09 PD

• 20 casi citologici• inviati da 8 centri• letti da 16 centri

1° Round 19/5/09 RO

• 25 casi citologici• inviati da 12 centri• letti da 11 centri

3° Round 23/11/10 VR

• 27 casi citologici

• inviati da 15 centri

• letti da 21 centri

Analisi delle concordanze ….

N° Caso Diagnosi di riferimento

1 C2

2 C2

3 C3

4 C5

5 C2

6 C5

7 C3

8 C5

9 C5

10 C5

11 C2

12 C5

13 C4

14 C5

15 C3

16 C5

17 C4

18 C5

19 C5

20 C5

21 C5

22 C2

23 C2

24 C4

25 C5

DIAGNOSI DI RIFERIMENTO

24

12 12

52

6 3 3 13

4° Round

4° Confronto interistituzionale in citologia mammaria: analisi delle

concordanze• 25 casi citologici inviati da un centro• 20 anatomie patologiche • 5 Categorie diagnostiche (C1 – C5)• 1 categoria diagnosticata in 4 casi• 2 categorie diagnosticate in 9 casi• 3 categorie diagnosticate in 8 casi• 4 categorie diagnosticate in 3 casi• 5 categorie diagnosticate in 1 caso

Confronto interistituzionale in citologia mammaria

2° Round 1 categoria in 1 caso 2 categorie in 4 casi 3 categorie in 8 casi 4 categorie in 6 casi 5 categorie in 1 caso

1° Round1° Round 1 categoria in 4 casi1 categoria in 4 casi 2 categorie in 6 casi2 categorie in 6 casi 3 categorie in 9 casi3 categorie in 9 casi 4 categorie in 6 casi4 categorie in 6 casi

3° Round 1 categoria in 0 casi 2 categorie in 2 casi 3 categorie in 10 casi 4 categorie in 13 casi 5 categorie in 2 casi

4° Round1 categoria in 4 casi2 categorie in 9 casi3 categorie in 8 casi4 categorie in 3 casi5 categorie in 1 caso

Concordanza maggiore in 9 casi + 1 (C4-C5) (C2)

Concordanza minore in 6 casi (C3-C4-C5)

Discordanza minore in 4 casi (C1-C2-C3)

Discordanza maggiore in 5 casi (C1-C5)

2° Round Concordanza maggiore in 1 caso (C5)

Concordanza minore in 4 casi (C4-C5)

Discordanza minore in 6 casi (C3-C5)


1° Round1° Round Concordanza maggiore in 4 casi Concordanza maggiore in 4 casi (C5)(C5)

Concordanza minore in 6 casi (C4-Concordanza minore in 6 casi (C4-C5)C5)

Discordanza minore in 5 casi (C3-Discordanza minore in 5 casi (C3-C5)C5)

Discordanza maggiore in 10 casi Discordanza maggiore in 10 casi (C1-5)(C1-5) 3° RoundConcordanza maggiore in 3 casi (C4-C5)


Discordanza minore in 1 caso (C1-C2-C3)


4° RoundConcordanza maggiore in 10 casi (C2)(C4-C5)


Discordanza minore in 4 casi (C1-C2-C3)

Discordanza maggiore in 5 casi (C1 – C5)

• Diagnosi di maggioranza uguale al gold standard in 19 casi

• Diagnosi di maggioranza diversa dal gold standard in 5 casi

• 1 caso di parità diagnostica

N° caso

C1 C2 C3 C4 C5

1 5 9 5 1

2 17 3

3 7 4 9

4 20

5 17 3

6 20

7 9 9 2

8 1 3 16

9 1 19

Diagnosi GS Diagnosi dimaggioranza ≠ GS

N° caso

C1 C2 C3 C4 C5

10 1 2 17

11 9 11

12 1 19

13 13 7

14 20

15 1 8 9 1 1

16 5 11 4

17 4 10 5 1

18 3 12 5

N° caso

C1 C2 C3 C4 C5

19 1 19

20 2 18

21 1 4 15

22 15 4 1

23 20

24 2 1 12 5

25 1 19

Grado di accordo …

• Valori di K < 0.40 sono indicativi di una concordanza debole

• Valori di K compresi tra 0.40 e 0.75 sono indicativi di una concordanza buona

• Valori di K > 0.75 sono indicativi di una concordanza eccellente.

Indici di concordanza

• K statistics for nominal response (K): valuta la concordanza indipendentemente dal significato della categoria

• K pesato (Kw): valuta la concordanza secondo pesi convenzionali prestabiliti delle categorie.

• Coefficiente di Kendall: valuta il coefficiente di concordanza fra 2 o più categorie.

Buongiorno, invio l’analisi della concordanza per la citologia mammaria:

•Foglio diagnosi: distribuzioni di frequenza dei “raters” (lettori/ASL)•Foglio kappa complessivo: analisi della concordanza tra Raters senza considerare la diagnosi di riferimento•Foglio kappa x raters: concordanza tra raters e gold standard (diagnosi di riferimento) considerare il kappa pesato se le 5 categorie possono essere assunte su scala ordinale (dal meno grave al più grave) saluti Stefano Guzzinati

Accordo complessivo tra raters senza considerare la diagnosi di riferimento

5 categorie

Kappa Standard Error Z Prob>Z

C1 0,52204 0,036054 14,4796 0

C2 0,54739 0,050916 10,751 0

C3 0,21173 0,044524 4,7555 0

C4 0,31391 0,047716 6,5787 2,37E-11

C5 0,68854 0,087822 7,8401 2,22E-15

Overall 0,49550 0,021077 23,5087 0

4° Round

Kappa statistics for nominal response (3° ROUND)

Kappa Standard Error Z Prob>Z

C1 0,03164 0,029996 1,055 0,14572

C2 0,31944 0,047965 6,66 0

C3 0,11648 0,052721 2,2094 0,01357

C4 0,10226 0,055233 1,8513 0,03206

C5 0,38409 0,061445 6,2511 0

Overall 0,22689 0,009504 23,873 0

Kendall's Coefficient of Concordance for ordinal response

Coeff of Num Denom

Concordance F DF DF Prob>F

0,55859 25,31 25,9048 518,095 <.0001

ACCORPANDO C4 CON C5 (4 categorie)

Kappa Standard Error z Prob>Z

C1 0,52204 0,036054 14,4796 0

C2 0,54739 0,050916 10,751 0

C3 0,21173 0,044524 4,7555 0

C4-C5 0,75792 0,11901 6,3684 9,55E-11

Overall 0,56394 0,03766 14,9759 0

4° Round

ACCORPANDO C4 CON C5 (4 livelli) 3° Round

Kappa statistics for nominal response


C1 0,03164 0,029996 1,055 0,14572

C2 0,31944 0,047965 6,66 0

C3 0,11648 0,052721 2,2094 0,01357

C4-C5 0,405 0,099026 4,0898 0,00002

Overall 0,28388 0,026535 10,6984 0


Coeff of Num Denom


0,48818 19,08 25,9048 518,095 <.0001

Kappa complessivo 2° round: 0,32866

ACCORPANDO C3 CON C4 (4 categorie)


C1 0,52204 0,036054 14,4796 0

C2 0,54739 0,050916 10,751 0

C3-C4 0,35036 0,064537 5,4288 2,84E-08

C5 0,68854 0,087822 7,8401 2,22E-15

Overall 0,53629 0,019434 27,595 0

4° Round

ACCORPANDO C3 CON C4 (4 livelli) (3° Round)

Kappa statistics for nominal response


C1 0,03164 0,029996 1,055 0,14572

C2 0,31944 0,047965 6,66 0

C3-C4 0,17368 0,086451 2,0089 0,02227

C5 0,38409 0,061445 6,2511 0

Overall 0,27367 0,019244 14,2211 0


Coeff of Num Denom


0,5039 20,31 25,9048 518,095 <.0001

Concordanza tra raters e gold standard

Raters K pesato K simple

A 0,8514 0,7031

C 0,5726 0,3187

D 0,9392 0,8765

E 0,6347 0,478

F 0,7271 0,5921

G 0,6689 0,4136

H 0,9102 0,8166

I 0,7073 0,4141

L 0,7387 0,4617

M 0,6228 0,3193

O 0,5843 0,3929

Q 0,5198 0,1972

R 0,5307 0,3857

T 0,6622 0,4369

U 0,748 0,536

V 0,6208 0,4731

W 1 1

Y 0,7972 0,6575

Z 0,6495 0,42

AA 0,8514 0,7031

Concordanza tra Raters e gold standard

RatersK 4°

RoundK 3°

Round K 2° Round

A 0,8514 0,5070 0,7386

C 0,5726 0,5601

D 0,9392 0,6343 0,3333

E 0,6347 0,5263 0,3023

F 0,7271 0,3800

G 0,6689 0,5214 0,3333

H 0,9102 0,6538 0,5425

I 0,7073 0,2146 0,0972

L 0,7387 0,4057 0,3882

M 0,6228 0,1925

O 0,5843 0,4639 0,2949

Q 0,5198

R 0,5307 0,3963 0,2262

T 0,6622 0,5601

U 0,7480 0,6172 0,4093

V 0,6208 0,6113

W 1 0,3551 0,2308

Y 0,7972 0,3490

Z 0,6495 0,4369

AA 0,8514 0,4617 0,6226

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

2°Round

3°Round

4°Round

K nominaleK pesato

K > 0,7

Motivazioni …..• Casistica di “routine” (2008), non

selezionata, inviata da un solo centro• Allestimento unico • Colorazione unica • Presenza di notizie (età, clinica, es.

radiologici)• > esperienza in telecitopatologia

Rizzo

Capitanio

Mencarelli

Bianchini

Briani

Casi con diagnosi di maggioranza ≠ da gold standard

Caso n°2

• 61 a, non palpabile, U3

• 17 C1• 3 C2 (ectasia

duttale)

Caso n° 7

• 67 a, cisti palpabile, R2, U2

• 9 C3• 9 C4• 2 C5

Caso n° 11

• 69 a, non palpabile, R3, U3

• 9 C2• 11 C3

Fillode

Caso n° 16

• 60 a, sospetta• 5 C3• 11 C4• 4 C5

Caso n° 18

• 60 a, non palpabile, R3, U3

• 3 C3• 12 C4• 5 C5

Casi discordanti

Caso n° 1

C1 C2 C3 C4 C5

5 9 5 1

Età Tecnica di localizzazione

Tipologia campione

Dati clinici RX ECO

54 Palpabile

R3 U3

Caso n° 1

C1 C2 C3 C4 C5

5 9 5 1


Tipologia campione

Dati clinici RX ECO

54 Non Palpabile

R3 U3

Caso n° 15

C1 C2 C3 C4 C5

1 8 9 1 1


Tipologia campione

Dati clinici RX ECO

60 Non Sospett

a

Lesione benigna

Caso n° 17

C1 C2 C3 C4 C5

4 10 5 1


Tipologia campione

Dati clinici RX ECO

51 R1 U3

Caso n° 22

C1 C2 C3 C4 C5

15 4 1


Tipologia campione

Dati clinici RX ECO

50 Non palpabil

e

U3

Caso n° 22

C1 C2 C3 C4 C5

15 4 1


Tipologia campione

Dati clinici RX ECO

50 Non palpabil

e

U3

Fibroadenoma

Caso n° 24

C1 C2 C3 C4 C5

2 1 12 5


Tipologia campione

Dati clinici RX ECO

63 Palpabile

R5 U5

Giovanni Capitanio U.O.C. di Anatomia Patologica Ospedale Civile di Venezia Azienda ULSS 12...

Documents

Transcript of Giovanni Capitanio U.O.C. di Anatomia Patologica Ospedale Civile di Venezia Azienda ULSS 12...