Presentazione di PowerPoint · Dove si posiziona il nostro risultato, anche in confronto alla...

La Valutazione Esterna di Qualità

(VEQ) in Medicina di Laboratorio

Aggiornamento su alcuni aspetti riguardanti i laboratori di Chimica Clinica

maurizio piu Gualdo Tadino (PG) 10 ottobre 2015

Componenti che concorrono alla qualità e alla sua espressione

come Accuratezza del Risultato

Esterne

• Permanenti

• Variabili

Interne

• Permanenti

• Variabili

Componenti permanenti

Componenti della qualità

V.E.Q.

Componenti variabili

C.Q.I.

Controllo di Qualità

Componenti che concorrono alla qualità e alla sua espressione come Accuratezza del Risultato

Esterne Permanenti Metodo

Principio analitico

Dotazione strumentale

Reagenti (caratteristiche)



V.E.Q.

Interne Permanenti Condizioni di lavoro

Spazi di lavoro

Microclima

Sicurezza



V.E.Q.

Esattezza (±)

Valutazione Esterna di Qualità

Commutabilità (?)

Commutabilità

• Livello di concordanza fra la relazione matematica dei risultati analitici ottenuti da due sistemi di misura per una data grandezza in un dato materiale, e la relazione matematica ottenuta per la grandezza nei sieri umani.

[UNI EN ISO 17511: 2004, 3.9]

• Capacità di un materiale di comportarsi, in un confronto tra metodi, esattamente come i sieri umani freschi.

Obiettivo del laboratorista …e del paziente

Che queste condizioni differenti non influenzino e quindi rendano “diversi”

anche i suoi referti

Uniformando le condizioni: improbabile riuscirci !

Standardizzando il più possibile: sicuramente utile !

Differenze ne rimarranno comunque

Come ?

Obiettivo della Valutazione Esterna di Qualità

Evidenziando la differenza fra la misura ottenuta in un laboratorio

rispetto al “valore vero” dell’analita sotto indagine, si può capire se il sistema è o non è allineato con i

sistemi di altri laboratori

Ci indica se esiste uno “scostamento” tra noi e la “maggioranza”

Queste differenze sono significative oppure no?

Il valore determinato è veramente il valore della grandezza in misura ???

NO! MAI!

La Valutazione della Prestazione Analitica

L’Errore

Specialmente in Immunometria

Errore = Sbaglio


L’Errore

NO

1. To move clumsily or blindly. 2. To make a usually serious mistake.

Sbaglio (Blunder)


L’Errore

Sbaglio o svarione (Blunder)

Diluizione 1:100

aggiungo 100 uL

a 900 uL

• La misura dà una stima del valore “vero” (dipende dal grado di Accuratezza della misura stessa)

• La differenza fra la stima ed il valore vero è l’Errore Totale di una (singola) misura


L’Errore

Non possiamo essere certi della nostra misura

• Accuratezza della misura: Il grado di concordanza tra il valore misurato e il valore vero del misurando


L’Errore

Non possiamo essere certi della nostra misura

Accuratezza

della misura

Precisione

Esattezza

Errore totale

Errore sistematico

Errore casuale

Bias

(Scostamento)

SD, CV% ...


L’Errore

Incertezza

del risultato

DEFINIZIONE METROLOGICA TIPO DI ERRORE MISURA

L‘Accuratezza è il grado di

corrispondenza del dato teorico,

ricavato da una serie di misurazioni

(campione di dati), con il dato reale

o di riferimento, ovvero la differenza

tra il valore medio campionario e il

valore vero o di riferimento. Indica

di quanto il valore trovato si

avvicina quello reale. È un concetto

qualitativo che dipende sia dagli

errori casuali che da quelli

sistematici.

Alta Esattezza

Alta

Precisione

Alta Esattezza

Bassa

Precisione

Bassa Esattezza

Alta

Precisione

Bassa Esattezza

Bassa

Precisione

minore CV

minore Bias

Minore

Accuratezza

Maggiore

Accuratezza

L’elevata incertezza

del risultato avrebbe dovuto scoraggiare

l’incauto e inaccurato arciere…

Come valutiamo la Prestazione Analitica del laboratorio partecipante allo Schema DicoCARE VEQ

• Un indice di deviazione nel singolo Invio

• L’andamento di tale indice nel corso di un Ciclo Annuale (classificazione di “merito”)

Valutazione dell’esattezza (relativa) delle prestazioni analitiche del laboratorio

Indici di Posizione

Indici di Dispersione

La Valutazione della Prestazione Analitica di un Esercizio VEQ come analisi del

Valore Stimato rispetto a un Valore di Consenso

Valore di “Consenso”

Valore “Stimato”

vs.

Scostamento z-score

bias

Il valore di “consenso” sostituisce nella VEQ il valore “vero” della

grandezza, quindi deve rappresentarlo al meglio

? Valore Vero…

Indici di Posizione

Indici di Dispersione

Definire il bersaglio e i “tiri” mediante parametri

Quale punto della serie di misurazioni è più

rappresentativo della grandezza in esame?

Come si posizionano le diverse misurazioni intorno al “centro” ?

Dov’è il centro del bersaglio ?

Come “tirano” i laboratori ?

es: 2 serie di misurazioni molto diverse

Una distribuzione “stretta”

Range/intervallo = 5

Una distribuzione “più larga”


Data

Fre

qu

en

cy

201612840

14

12

10

8

6

4

2

0

Mean StDev N

9,926 1,225 20

10,43 5,239 20

Variable

C1

C2

Histogram of C1; C2Normal

= “centro” ≠ distribuzione ≠ min

≠ MAX



Quale punto della serie di misure è più rappresentativo della grandezza in misura?

- La Media

- La Mediana

- La Moda

Misure di tendenza centrale

INDICI DI POSIZIONE

La media di un insieme di osservazioni

é la somma dei valori osservati divisi per

il numero delle osservazioni.

Gli Indici di Posizione: la media

la mediana è quel valore che lascia alla sua sinistra e alla sua destra un numero uguale di dati

Per calcolarla:

Gli Indici di Posizione: la mediana

divide quindi la distribuzione in due parti uguali

Si ordinano i dati

Se n= dispari, la mediana è il valore centrale

Se n= pari, la mediana è la media dei due valori in posizione centrale

9

6

12

10

12

6

9

6

6

9

9

10

12

12

9

6

12

10

12

6

9

15

6

6

9

9

10

12

12

15

9,5

numero dati pari numero dati dispari

Gli Indici di Posizione: la mediana

La mediana é il valore centrale dei dati ordinati

3 dati

3 dati

3 dati

3 dati

Perchè la mediana in una VEQ ?

La mediana è un indice “robusto”

9

6

12

10

12

6

9

6

6

9

9

10

12

12

6

6

9

9

10

12

La “robustezza” della mediana

m=9.14 m= 24,52 media

mediana

120

Il Valore di “Consenso” è quindi espresso dalla mediana dei valori dei

ottenuti da tutti i Partecipanti da tutti i Partecipanti... (peer-group)

Come si posizionano le diverse misure intorno al “centro” ?

Indici di Dispersione per la stima dell’IMPRECISIONE

Range

Differenza fra i valori massimo e minimo.

Varianza

Media del quadrato della differenza fra i valori e la media.

Deviazione Standard (SD)

Radice quadrata della varianza.

Coefficiente di Variazione (CV)

SD/media

Varianza e scarto quadratico medio della variabile X della popolazione (Deviazione Standard)

La stima dell’IMPRECISIONE: dalla misura degli SCARTI al CV%

A

5 5 5 5 5 5

m=5

B

1 2 3 5 9

10

m=5

scarti

-5 = -4 -5 = -3 -5 = -2 -5 = 0 -5 = 4 -5 = 5

scarti

-5 = 0 -5 = 0 -5 = 0 -5 = 0 -5 = 0 -5 = 0

quadrato degli scarti

16 9 4 0

16 25


+ + + + + =

somma del quadrato

degli scarti 16 9 4 0

16 25

70

70:6 = 11.66 11.66 = 3.42


3.42 è la Deviazione Standard di questa serie di misure


A

5 5 5 5 5 5

m=5

B

1 2 3 5 9

10

m=5

sd = 0 sd = 3.42


sd = 3 m = 10

sd = 3 m = 100

Se due popolazioni hanno la stessa deviazione standard ma medie differenti, il CV sara’ diverso e permetterà di CONFRONTARE i dati di una variabile relativa a popolazioni diverse


espresso in percentuale


sd = 3 m = 10 CV = 30 %

sd = 3 m = 100 CV = 3 %

Quantifica l’errore casuale

50 % percentile = mediana

25% percentile

6

6

9

12

12

12

13

14

14

15

15

75% percentile

Gli Indici di Dispersione: i percentili

Il P -esimo percentile nell’insieme ordinato é quel valore sotto il quale c’é il P % (P percento) delle osservazioni.

Q1

Q3

Q2

I Quartili sono i punti che dividono i dati ordinati in quarti

IQR

50%

dei

dati

0 5 10 15 20 25 30

I Box-plot

50 % dei dati

IQR

MIN Q1 MEDIANA Q3 MAX

6 10,5 12 14 15

1 2 3 4 5 6 7 8 9 10 11

6 6 9 12 12 12 13 14 14 15 15

media=11,6

Q3 + 1.5 (Q3 – Q1) Q1 – 1.5 (Q3 – Q1)

per descrivere dati a distribuzione normale, conviene utilizzare media e SD (o meglio CV%)

per descrivere dati a distribuzione deformata, conviene utilizzare mediana e percentili

Riassumiamo gli Indici di Posizione e gli Indici di Dispersione

Le due distribuzioni

Normale o Gaussiana Deformata o Asimmetrica

Dove si posiziona il nostro risultato ?

Bias = Scostamento percentuale della misura

rispetto all’Indice di Posizione (media o

mediana)

Esprime quindi l’Esattezza (±) della misura

E’ lo scostamento del risultato ottenuto rispetto al valore di consenso del

campione misurando

Bias % = Xi

M

-1 ( ) X 100

Dove si posiziona il nostro risultato ?

Bias % = Xi

M

-1 ( ) X 100

Bias % = 4,5

5

-1 ( ) X 100

Esempio: nostro risultato = 4,5

Mediana = 5

Bias % = 0,9 -1 ( ) X 100

Bias % = - 0,1 X 100 = - 10 %

Esempio di Bias su risultato VEQ

Il segno indica la direzione dello scostamento

Dove si posiziona il nostro risultato, anche in confronto alla distribuzione di tutti i risultati

Z-score = è una misura statistica del bias del

laboratorio che consente di trasformare il valore

del singolo risultato di una serie di misurazioni

nel suo equivalente valore “standardizzato”

Z-score = (x – μ) ÷ SD

dove

x = risultato

μ = Mediana (robusta)

SD = SD (robusta)

Dove si posiziona il nostro risultato, anche in confronto alla distribuzione di tutti gli

altri

Z-score = dipende dalla distribuzione

Bias % = NON dipende dalla distribuzione

Valutazione dello z-score

-3 < z < -2 2 < z < 3

-2 < z < 2

z < -3 z > 3

0 5 10 15 20 25 30

I Box-plot

50 % dei dati

IQR


6 10,5 12 14 15

1 2 3 4 5 6 7 8 9 10 11

6 6 9 12 12 12 13 14 14 15 15

media=11,6

Q3 + 1.5 (Q3 – Q1) Q1 – 1.5 (Q3 – Q1)

BOX-PLOT per distribuzioni non parametriche

= Q3 – Q1 - INTERQUARTILE RANGE (IQR)

Racchiude il 50 % dei dati


6 12,75 16 18 22

MEDIA

15,25

-5 0 5 10 15 20 25 30 35 40

IQR

OUTLIERS OUTLIERS

Un esempio di Report Statistico VEQ

Il Rapporto Periodico

Analisi statistica

dei risultati

Diagramma di Youden

Carta di Shewart

Il Riepilogo Cumulativo di fine Ciclo

Risultati elaborati con 2 modalità differenti

Analisi statistica dei risultati

Risultati relativi alla partecipazione complessiva

Risultati relativi al Risultato del Laboratorio

Ma…siamo sempre sicuri dei Controlli?

Progettazione dei Controlli

Produzione dei Controlli

Dal Produttore all’Utilizzatore

Trasporto e conservazione

Esame di alcuni rapporti statistici VEQ con

commento…

…e analisi interattiva ?

Problemi relativi ai campioni

Ci possono essere!

Anomalie di interazione Analita/Strumento

Tiroide 2° Invio 2009

FT3 con Abbott Axsym

TSH con Siemens Advia Centaur

Tiroide: anomalie 2° Invio 2009

Nessuna spiegazione…

???

Cause:

Tiroide: anomalie 2° Invio 2009

Insulina

Ciclo 2009

Insulina

0

50

100

150

200

250

300

Ab

bott

Arch

itect

Ab

bott

Axsy

m

Beck

ma

n A

ccess

/DxI

Dia

Sorin

Lia

ison

EL

ISA

RIA

Roch

e M

od

ula

r A

na

lyti

cs "

E"

Sie

men

s A

dv

ia C

en

tau

r

Sie

men

s Im

mu

lite

Sie

men

s Im

mu

lite

20

00

/25

00

Toso

h A

IA

uIU/mL

108

135

43

123

165

205

184

89

43

65

108

Noti problemi di Commutabilità

Cause:

Insulina

Qualcosa funziona…

Qualcos’altro meno…

Lattato deidrogenasi


Elaborazione per Metodo


Elaborazione per Strumento-Metodo

Cause:

• Diverso comportamento analitico di strumenti (anche stesso Metodo)


• Errata comunicazione del Metodo utilizzato

PAPP-A

3° Invio 2010

1° elaborazione standard

PAPP-A

PAPP-A

3° Invio 2010

2° elaborazione con suddivisione per lotto di kit

IMMULITE 2000

Eterogeneità dei kit utilizzati per i test

(riformulazioni ecc..)

Cause:

PAPP-A

Profilo TIROIDE

Esempi di analiti

Anti-TG

3° Invio 2010

Rappresentazione grafica di una popolazione

Box-Whisker plot

Statistica parametrica

Statistica non parametrica

Anti-TG 3° Invio 2010 campione A

0

20

40

60

80

100

120

140

0 50 100150200250300350400450500550600650700750800850

Fre

qu

en

cy

anti TG-A

Normal Fit

(Mean=162.58, SD=151.17)

0 50 100150200250300350400450500550600650700750800850

0 50 100150200250300350400450500550600650700750800850

a

Anti-TG 3° Invio 2010 campione A

635.7 17.3

812

95.9

118

14.7

0 50 100150200250300350400450500550600650700750800850

a

2 SD 162.6 3 SD

TSH 3° Invio 2010 campione B

0

20

40

60

80

100

120

140

160

180

200

0 1 2 3 4 5 6 7 8 9 10 11 12 13

Fre

qu

en

cy

b

TSH-B

Normal Fit

(Mean=6.93, SD=1.19)

0 1 2 3 4 5 6 7 8 9 10 11 12 13

b

95% CI Notched Outlier Boxplot

Median (6.85)

95% CI Mean Diamond

Mean (6.93)

± 2 SD

Outliers > 1.5 and < 3 IQR

Outliers > 3 IQR

• Il Laboratorio che riceve un rapporto di VEQ indicante un’insuccesso dovrebbe attivare (e documentare) opportune azioni correttive, e magari preventive es:

– Rivedere il modulo di risposta inviato al Provider dello

schema di VEQ, per escludere errori di trascrizione nell’inserimento dei risultati

– Se non ci sono stati errori di trascrizione, rivedere le registrazioni di CQI nel periodo in cui sono state eseguite le determinazioni VEQ

– ecc…

E se qualche risultato si discosta un po’ troppo…

Un suggerimento di procedura di trattamento non conformità relativa a prestazione non soddisfacente in programma di VEQ

Flow-chart operativo

Da: Guida Eurachem alla Selezione di Schemi VEQ

Stop

Controllare se

i campioni di controllo sono

trattati diversamente dai campioni

della routine (H2O, strumenti, pipette, ecc.).

Ripetere, se possibile, il dosaggio con camp.

di controllo interni, così come fatto

con i campioni esterni.

Problema risolto?

Controllare

calibratori e campioni

di riferimento, loro preparazione e

conservazione. Confrontare, se possibile,

con calib. precedenti. Controllare i valori

ottenuti e le diluizioni.

Problema risolto?

Controllare i calcoli,

le diluizioni, eventuali errori

di trascrizione o i fogli di calcolo elettronici.

Se ci sono problemi controllare con valori noti

la validazione dei calcoli.

Problema risolto?

Cercare di ottenere altri campioni

di controllo o e/o di riferimento e

ripetere tutti i passi per determinare se i

problemi possano essere causati da effetto-matrice.

Gli altri campioni forniscono

buoni risultati?

Questo è un problema reale.

La presente checklist non è adatta

per risolvere il problema.

Segue da A1

SI

SI

SI

SI

NO

NO

NO

NO

Segue da A3 Segue da B1

A4

A5

A6

A7

Correggere

il problema

e ripetere

il dosaggio

INIZIO

I campioni CQI sono "in controllo"?

Se si utilizzano

2 campioni CQI,

mostrano entrambi lo

stesso scostamento?Controllare trattamento,

conservazione e manipolazione

dei campioni di controllo.

Ripetere, se possibile, il dosaggio.

Problema risolto?

Analizzare i report degli

strumenti. Altri parametri dosati

mostrano lo stesso

scostamento?

Controllare

l'ambiente

del lab: temperatura di

conservazione, reagenti e

campioni, apparati accessori

(centrifughe, frigoriferi ecc.)

Ci sono non

conformità?

Controllare preparazione

e conservazione dei campioni

di controllo. Preparare nuovi

campioni e ripetere i dosaggi.

Problema risolto?

Controllare gli

strumenti come previsto dai manuali

d'uso e da procedure interne.

Problema risolto?

Contattare

il fornitore

Va a STOP Va a STOP

SI

SI

SI

SI

NO

NO

NO

NO

NO

NO

NO

Segue a A4

SI

SISI

A

B

A1

A2

A3

B1

C

Stop

Controllare se




Ripetere, se possibile, il dosaggio con camp.

di controllo interni, così come fatto

con i campioni esterni.

Problema risolto?

Controllare






Problema risolto?






Problema risolto?






buoni risultati?




Segue da A1

SI

SI

SI

SI

NO

NO

NO

NO


A4

A5

A6

A7

Stop

Controllare se




Ripetere, se possibile, il dosaggio con campioni

CQI come fatto per campioni VEQ.

Problema risolto?

Controllare






Problema risolto?






Problema risolto?






buoni risultati?




Segue da A1

SI

SI

SI

SI

NO

NO

NO

NO


A4

A5

A6

A7

Grazie e BUON LAVORO

1998-2015

di QUALITA’

17 anni

1998-2015

di QUALITA’

17 anni

1998-2015

di QUALITA’

17 anni

Presentazione di PowerPoint · Dove si posiziona il nostro risultato, anche in confronto alla...

Documents

Transcript of Presentazione di PowerPoint · Dove si posiziona il nostro risultato, anche in confronto alla...