Giovanni Capitanio U.O.C. di Anatomia Patologica Ospedale Civile di VeneziaAzienda ULSS 12 Veneziana

ANALISI DELLE CONCORDANZE

3° Confronto interistituzionale in citologia mammaria da screening

Partecipazione di 21 Centri(19 A.P. Ulss + 2 Lab Privati)

Centri che hanno partecipato

• Adria• Arzignano• Bassano• Bussolengo• Castelfranco• Cittadella• Conegliano• Dolo• Este• Mestre

• Padova• Rovigo• San Bonifacio• San Donà• Thiene • Treviso• Venezia• Verona Borgo Tn • Vicenza• “Datamedica”• “Laboratorio

Pennelli”

2° Round 14/12/09 PD

• 20 casi citologici• inviati da 8 centri• letti da 16 centri

1° Round 19/5/09 RO• 25 casi citologici• inviati da 12 centri• letti da 11 centri

3° Round 23/11/10 VR

• 27 casi citologici

• inviati da 15 centri

• letti da 21 centri

Concordanza ….

N° Caso Diagnosi di riferimento

1 C3

2 C4

3 C5

4 C2

5 C3

6 C2

7 C5

8 C3

9 C4

10 C2

11 C2

12 C3

13 C2

14 C2

15 C2

16 C3

17 C3

18 C3

19 C5

20 C5

21 C2

22 C2

23 C4

24 C5

25 C2

26 C3

27 C4

0

5

10

15

20

25

30

35

C2 C3 C4 C5

%

DIAGNOSI DI RIFERIMENTO

34

29

15

22

0

5

10

15

20

25

30

35

C1 C2 C3 C4 C5

Formulate

Riferimento

3° Round

3° Confronto interistituzionale in citologia mammaria

• 27 casi citologici• 21 anatomie patologiche• 5 Categorie diagnostiche (C1 – C5)• 1 categoria diagnostica in 0 casi• 2 categorie diagnostiche in 2 casi• 3 categorie diagnostiche in 10 casi• 4 categorie diagnostiche in 13 casi• 5 categorie diagnostiche in 2 casi

Confronto interistituzionale in citologia mammaria

2° Round• 1 categoria in 1 caso• 2 categorie in 4 casi• 3 categorie in 8 casi• 4 categorie in 6 casi• 5 categorie in 1 caso

1° Round1° Round•1 categoria in 4 casi1 categoria in 4 casi• 2 categorie in 6 casi2 categorie in 6 casi• 3 categorie in 9 casi3 categorie in 9 casi• 4 categorie in 6 casi4 categorie in 6 casi

3° Round 1 categoria in 0 casi 2 categorie in 2 casi 3 categorie in 10 casi 4 categorie in 13 casi 5 categorie in 2 casi

Concordanza maggiore in 3 casi (C4-C5)

Concordanza minore in 6 casi (C3-C4-C5)

Discordanza minore in 1 caso (C1-C2-C3)

Discordanza maggiore in 17 casi (C1-C5)

2° Round • Concordanza maggiore in 1

caso (C5)

• Concordanza minore in 4 casi (C4-C5)

• Discordanza minore in 6 casi (C3-C5)

• Discordanza maggiore in 9 casi (C1-C5)

1° Round1° Round• Concordanza maggiore in 4 casi Concordanza maggiore in 4 casi (C5) (C5)

• Concordanza minore in 6 casi Concordanza minore in 6 casi (C4-C5)(C4-C5)

• Discordanza minore in 5 casi Discordanza minore in 5 casi (C3-C5)(C3-C5)

• Discordanza maggiore in 10 Discordanza maggiore in 10 casi (C1-C5)casi (C1-C5)

Concordanza maggiore in 3 casi (C4-C5)

Concordanza minore in 6 casi (C3-C4-C5)

Discordanza minore in 1 caso (C1-C2-C3)

Discordanza maggiore in 17 casi (C1-C5)

3° Round

N° caso

C1 C2 C3 C4 C5

1 2 4 7 6 2

2 5 14 2

3 2 5 14

4 3 15 3

5 1 4 12 4

6 1 5 7 8

7 1 2 7 11

8 2 5 11 3

9 2 4 15

N° caso

C1 C2 C3 C4 C5

10 13 6 1 1

11 8 5 5 3

12 1 11 6 3

13 1 13 4 3

14 5 8 5 3

15 7 3 5 6

16 1 1 9 8 2

17 4 4 13

18 3 5 9 4

N° caso

C1 C2 C3 C4 C5

19 7 14

20 1 2 18

21 14 6 1

22 3 2 13 3

23 2 19

24 1 2 6 12

25 12 8 1

26 4 13 4

27 1 5 15

Indici di concordanza

• K statistics for nominal response (K): valuta la concordanza indipendentemente dal significato della categoria

• K pesato (Kw): valuta la concordanza secondo pesi convenzionali prestabiliti delle categorie.

• Coefficiente di Kendall: valuta il coefficiente di concordanza fra 2 o più categorie.

Grado di accordo …

• Valori di K < 0.40 sono indicativi di una concordanza debole

• Valori di K compresi tra 0.40 e 0.75 sono indicativi di una concordanza buona

• Valori di K > 0.75 sono indicativi di una concordanza eccellente.

Buongiorno,  invio i Kappa relativi ai casi citologici: il K complessivo tra 21 centri per le citologie considerate su scala nominale è 0.23 (concordanza debole)

anche accorpando 2 categorie non otteniamo un gran miglioramento della concordanza: accorpando C4 con C5 --> K=0.28accorpando C3 con C4 --> K=0.27 considerando le diagnosi su scala ordinale il coefficiente di Kendall è  0.56 per ogni centro c'e' inoltre la tabella della concordanza con il gold standard (uso il K pesato che considera le categorie su scala ordinale) cordiali saluti Stefano Guzzinati

Kappa statistics for nominal response        

         

  Kappa Standard Error Z Prob>Z

         

C1 0,03164 0,029996 1,055 0,14572

C2 0,31944 0,047965 6,66 0

C3 0,11648 0,052721 2,2094 0,01357

C4 0,10226 0,055233 1,8513 0,03206

C5 0,38409 0,061445 6,2511 0

Overall 0,22689 0,009504 23,873 0

         

Kendall's Coefficient of Concordance for ordinal response        

Coeff of   Num Denom  

Concordance       F DF DF Prob>F

         

0,55859 25,31 25,9048 518,095 <.0001

Kappa complessivo 2° round: 0,24555

Coefficiente di Kendall 2° round: 0,50

ACCORPANDO C4 CON C5 (4 livelli)        

Kappa statistics for nominal response        

         

  Kappa Standard Error z Prob>Z

         

C1 0,03164 0,029996 1,055 0,14572

C2 0,31944 0,047965 6,66 0

C3 0,11648 0,052721 2,2094 0,01357

C4-C5 0,405 0,099026 4,0898 0,00002

Overall 0,28388 0,026535 10,6984 0

         

Kendall's Coefficient of Concordance for ordinal response        

Coeff of   Num Denom  

Concordance       F DF DF Prob>F

         

0,48818 19,08 25,9048 518,095 <.0001

Kappa complessivo 2° round: 0,32866

ACCORPANDO C3 CON C4 (4 livelli)        

Kappa statistics for nominal response        

         

  Kappa Standard Error z Prob>Z

         

C1 0,03164 0,029996 1,055 0,14572

C2 0,31944 0,047965 6,66 0

C3-C4 0,17368 0,086451 2,0089 0,02227

C5 0,38409 0,061445 6,2511 0

Overall 0,27367 0,019244 14,2211 0

         

Kendall's Coefficient of Concordance for ordinal response        

Coeff of   Num Denom  

Concordance       F DF DF Prob>F

0,5039 20,31 25,9048 518,095 <.0001

Kappa complessivo 2° round: 0,26503

Coefficiente di Kendall 2° round: 0,45

Concordanza tra ASL e gold standard

ASL K pesato   IC al 95%

A 0,4369   0,1887 0,6852

B 0,3490   0,1342 0,5638

C 0,5781   0,3604 0,7958

D 0,4057   0,1909 0,6206

E 0,3800   0,1566 0,6034

F 0,4617   0,2725 0,6509

G 0,5070   0,3123 0,7017

H 0,3963   0,1433 0,6494

I 0,2052   -0,0132 0,4236

L 0,5214   0,3013 0,7414

M 0,4639   0,2320 0,6959

N 0,6113   0,4338 0,7888

O 0,6343   0,4587 0,8099

P 0,2146   -0,0137 0,4430

Q 0,3551   0,1097 0,6006

R 0,6538   0,4768 0,8309

S 0,6172   0,4263 0,8081

T 0,5253   0,2909 0,7598

U 0,1925   -0,0836 0,4686

V 0,5601   0,3306 0,7896

Z 0,5263   0,2883 0,7643

Concordanza tra ASL e gold standard

ASL K 2010 K 2009 

A 0,4369  

B 0,3490  

C 0,5781  0,2045

D 0,4057   0,3082 

E 0,3800  

F 0,4617  0,6226

G 0,5070  0,7386

H 0,3963  0,2262

I 0,2052  0,0323

L 0,5214  0,3333

M 0,4639  0,2949

N 0,6113  

O 0,6343  0,3333

P 0,2146  0,0972

Q 0,3551  0,2308

R 0,6538  0,5425

S 0,6172  0,4093

T 0,5253  0,1667

U 0,1925  

V 0,5601  

Z 0,5263  0,3023

2010 (3° round)

K 0,22689

Coefficiente di Kendall

0,55

2009 (2° round)

K 0,24555

Coefficiente di Kendall

0,50

Motivazioni …..• Assenza di notizie (età, clinica, es. radiologici)?

“ Il patologo deve dire al clinico cosa c’è nel prelievo …. Il patologo non è interessato (e non deve farsi influenzare) da ciò che sospetta il clinico e deve esaminare il preparato in modo “cieco”, essendo a conoscenza solo dell’età …

E il patologo, non me ne voglia, ci faccia il santo piacere di non chiedere vita, morte e miracoli del caso in questione, compresa la nostra ipotesi diagnostica, ma si limiti a chiedere l’età della paziente e a dirci cosa vede al microscopio.

Sarà poi il clinico a valutare se gli esiti clinico-strumentali e del prelievo sono compatibili…

Discutere con il patologo, salvo casi particolari, è solo una perdita di tempo…

Le riunioni collegiali multispecialistiche con impiego ridondante dei patologi, sono confronti inutili”. (Stefano Ciatto)

Motivazioni …..• esperienza in telecitopatologia ?

Telecytologic Diagnosis of Breast Fine Needle Aspiration Biopsies: Intraobserver Concordance

Donald Briscoe, M.D., P.M.I.A.C., Carol F. Adair, M.D., Lester D. Thompson, M.D., Miguel V. Tellado, M.D., Sally-Beth Buckner, S.C.T.(ASCP), C.T.(IAC), Dorothy L. Rosenthal, M.D., F.I.A.C., and Timothy J. O#Leary, M.D., Ph.D.

  OBJECTIVE: To determine the intraobserver concordance between telecytologic and

glass slide diagnosis of breast fine needle aspirates. STUDY DESIGN: Twenty-five cases, originally received in consultation, were each

examined by three cytopathologists. An average of seven compressed digital images per case were presented, together with a brief clinical history, using the http protocol and an internet browser.

RESULTS: Agreement between the telecytologic and glass slide diagnosis ranged from 80% to 96%. Nevertheless, two cases that had been unequivocally diagnosed as malignant based upon video images were considered to be benign by the same pathologist when reviewing the glass slides. Both diagnostic confidence and self-concordance were higher for one pathologist having significant previous video microscopy experience.

CONCLUSION: Although intraobserver concordance between telecytologic and glass slide diagnoses of breast fine needle aspirates is high, refinement of existing criteria for diagnosis of malignancy, taking account of the particular limitations associated with telecytologic diagnosis, may be prudent prior to widespread use of telecytology for fine needle aspiration evaluation. (Acta Cytol 2000;44:175#180)

Diagnostic Parameters Used

• Cellularity• Background• Fragment characteristics• Individual cytologic features• Entity specific patterns• Other

(Acta Cytol 2000;44:175#180)

• Concordanza tra “glass slides / digital images ”

• Sistema statico / sistema dinamico• il livello di concordanza è minore per

la citologia (80%) che non per l’istologia (90%) a causa della selezione dei campi, qualità delle immagini e difficoltà diagnostiche.

• basata solo su digitale dinamico e su 5 classi (???)

Dalla letteratura:Dalla letteratura:

Telecytology: Intraobserver and interobserver reproducibility in the diagnosis of cervical-vaginal smears.Hum Pathol 32: 1318-1322, 2001

• “pathologists are more likely to disagree on the interpretation of digital images (digital image interobserver k = 0.32 – 0.58) than on the interpretation of glass slides.

• “overall, diagnostic reproducibility is slightly higher for glass slides than for digital images”

Motivazioni …..

• > tempo per esaminare tutto il caso?• Ipocellularità, eccessiva quota ematica, strati

spessi ?• tradizionale / strato sottile ?• Pap / EE / MGG?• linee e macchine ?• ……….

Conclusioni ... per essere la terza volta …

•

•

• .

K > 0,75

Terapia IntensivaCardiochirurgica

Cardiochirurcic Intensive Care

K 0,40 – 0,75

K < 0,40

Grazie per l’attenzione …

… e grazie soprattutto a:

RINGRAZIAMENTI• CRISTINA ANTONINI• ELENA ASTOLFI • FRANCESCA BECHERINI• LAURA BORGHI • STEFANIA DANTE• PIERPAOLA GASPARIN• LICIA LAURINO • GIGLIOLA LODOVICHETTI• LORELLA MARCHIORO• TIZIANA OLIVA • IDA PAVON• ANTONELLA PINARELLO• ANNALISA RASI

• GIUSEPPE BRIANI • ANDREA CANEVA • GIOVANNI CAPITANIO • ORFEO DEL MASCHIO • GENESIO LEO • MARCELLO LO MELE• SALVATORE PAOLINO • QUIRINO PIUBELLO • VITTORIO RUCCO• MARCELLO VOLPE