Post on 13-Oct-2020
La Valutazione Esterna di Qualità
(VEQ) in Medicina di Laboratorio
Aggiornamento su alcuni aspetti riguardanti i laboratori di Chimica Clinica
maurizio piu Gualdo Tadino (PG) 10 ottobre 2015
Componenti che concorrono alla qualità e alla sua espressione
come Accuratezza del Risultato
Esterne
• Permanenti
• Variabili
Interne
• Permanenti
• Variabili
Componenti permanenti
Componenti della qualità
V.E.Q.
Componenti variabili
C.Q.I.
Controllo di Qualità
Componenti che concorrono alla qualità e alla sua espressione come Accuratezza del Risultato
Esterne Permanenti Metodo
Principio analitico
Dotazione strumentale
Reagenti (caratteristiche)
Componenti che concorrono alla qualità e alla sua espressione
come Accuratezza del Risultato
V.E.Q.
Interne Permanenti Condizioni di lavoro
Spazi di lavoro
Microclima
Sicurezza
Componenti che concorrono alla qualità e alla sua espressione
come Accuratezza del Risultato
V.E.Q.
Esattezza (±)
Valutazione Esterna di Qualità
Commutabilità (?)
Commutabilità
• Livello di concordanza fra la relazione matematica dei risultati analitici ottenuti da due sistemi di misura per una data grandezza in un dato materiale, e la relazione matematica ottenuta per la grandezza nei sieri umani.
[UNI EN ISO 17511: 2004, 3.9]
• Capacità di un materiale di comportarsi, in un confronto tra metodi, esattamente come i sieri umani freschi.
Obiettivo del laboratorista …e del paziente
Che queste condizioni differenti non influenzino e quindi rendano “diversi”
anche i suoi referti
Uniformando le condizioni: improbabile riuscirci !
Standardizzando il più possibile: sicuramente utile !
Differenze ne rimarranno comunque
Come ?
Obiettivo della Valutazione Esterna di Qualità
Evidenziando la differenza fra la misura ottenuta in un laboratorio
rispetto al “valore vero” dell’analita sotto indagine, si può capire se il sistema è o non è allineato con i
sistemi di altri laboratori
Ci indica se esiste uno “scostamento” tra noi e la “maggioranza”
Queste differenze sono significative oppure no?
Il valore determinato è veramente il valore della grandezza in misura ???
NO! MAI!
La Valutazione della Prestazione Analitica
L’Errore
Specialmente in Immunometria
Errore = Sbaglio
La Valutazione della Prestazione Analitica
L’Errore
NO
1. To move clumsily or blindly. 2. To make a usually serious mistake.
Sbaglio (Blunder)
La Valutazione della Prestazione Analitica
L’Errore
Sbaglio o svarione (Blunder)
Diluizione 1:100
aggiungo 100 uL
a 900 uL
• La misura dà una stima del valore “vero” (dipende dal grado di Accuratezza della misura stessa)
• La differenza fra la stima ed il valore vero è l’Errore Totale di una (singola) misura
La Valutazione della Prestazione Analitica
L’Errore
Non possiamo essere certi della nostra misura
• Accuratezza della misura: Il grado di concordanza tra il valore misurato e il valore vero del misurando
La Valutazione della Prestazione Analitica
L’Errore
Non possiamo essere certi della nostra misura
Accuratezza
della misura
Precisione
Esattezza
Errore totale
Errore sistematico
Errore casuale
Bias
(Scostamento)
SD, CV% ...
La Valutazione della Prestazione Analitica
L’Errore
Incertezza
del risultato
DEFINIZIONE METROLOGICA TIPO DI ERRORE MISURA
L‘Accuratezza è il grado di
corrispondenza del dato teorico,
ricavato da una serie di misurazioni
(campione di dati), con il dato reale
o di riferimento, ovvero la differenza
tra il valore medio campionario e il
valore vero o di riferimento. Indica
di quanto il valore trovato si
avvicina quello reale. È un concetto
qualitativo che dipende sia dagli
errori casuali che da quelli
sistematici.
Alta Esattezza
Alta
Precisione
Alta Esattezza
Bassa
Precisione
Bassa Esattezza
Alta
Precisione
Bassa Esattezza
Bassa
Precisione
minore CV
minore Bias
Minore
Accuratezza
Maggiore
Accuratezza
L’elevata incertezza
del risultato avrebbe dovuto scoraggiare
l’incauto e inaccurato arciere…
Come valutiamo la Prestazione Analitica del laboratorio partecipante allo Schema DicoCARE VEQ
• Un indice di deviazione nel singolo Invio
• L’andamento di tale indice nel corso di un Ciclo Annuale (classificazione di “merito”)
Valutazione dell’esattezza (relativa) delle prestazioni analitiche del laboratorio
Indici di Posizione
Indici di Dispersione
La Valutazione della Prestazione Analitica di un Esercizio VEQ come analisi del
Valore Stimato rispetto a un Valore di Consenso
Valore di “Consenso”
Valore “Stimato”
vs.
Scostamento z-score
bias
Il valore di “consenso” sostituisce nella VEQ il valore “vero” della
grandezza, quindi deve rappresentarlo al meglio
? Valore Vero…
Indici di Posizione
Indici di Dispersione
Definire il bersaglio e i “tiri” mediante parametri
Quale punto della serie di misurazioni è più
rappresentativo della grandezza in esame?
Come si posizionano le diverse misurazioni intorno al “centro” ?
Dov’è il centro del bersaglio ?
Come “tirano” i laboratori ?
es: 2 serie di misurazioni molto diverse
Una distribuzione “stretta”
Range/intervallo = 5
Una distribuzione “più larga”
Range/intervallo = 16
Data
Fre
qu
en
cy
201612840
14
12
10
8
6
4
2
0
Mean StDev N
9,926 1,225 20
10,43 5,239 20
Variable
C1
C2
Histogram of C1; C2Normal
= “centro” ≠ distribuzione ≠ min
≠ MAX
Range/intervallo = 16
Range/intervallo = 5
Quale punto della serie di misure è più rappresentativo della grandezza in misura?
- La Media
- La Mediana
- La Moda
Misure di tendenza centrale
INDICI DI POSIZIONE
La media di un insieme di osservazioni
é la somma dei valori osservati divisi per
il numero delle osservazioni.
Gli Indici di Posizione: la media
la mediana è quel valore che lascia alla sua sinistra e alla sua destra un numero uguale di dati
Per calcolarla:
Gli Indici di Posizione: la mediana
divide quindi la distribuzione in due parti uguali
Si ordinano i dati
Se n= dispari, la mediana è il valore centrale
Se n= pari, la mediana è la media dei due valori in posizione centrale
9
6
12
10
12
6
9
6
6
9
9
10
12
12
9
6
12
10
12
6
9
15
6
6
9
9
10
12
12
15
9,5
numero dati pari numero dati dispari
Gli Indici di Posizione: la mediana
La mediana é il valore centrale dei dati ordinati
3 dati
3 dati
3 dati
3 dati
Perchè la mediana in una VEQ ?
La mediana è un indice “robusto”
9
6
12
10
12
6
9
6
6
9
9
10
12
12
6
6
9
9
10
12
La “robustezza” della mediana
m=9.14 m= 24,52 media
mediana
120
Il Valore di “Consenso” è quindi espresso dalla mediana dei valori dei
ottenuti da tutti i Partecipanti da tutti i Partecipanti... (peer-group)
Come si posizionano le diverse misure intorno al “centro” ?
Indici di Dispersione per la stima dell’IMPRECISIONE
Range
Differenza fra i valori massimo e minimo.
Varianza
Media del quadrato della differenza fra i valori e la media.
Deviazione Standard (SD)
Radice quadrata della varianza.
Coefficiente di Variazione (CV)
SD/media
Varianza e scarto quadratico medio della variabile X della popolazione (Deviazione Standard)
La stima dell’IMPRECISIONE: dalla misura degli SCARTI al CV%
A
5 5 5 5 5 5
m=5
B
1 2 3 5 9
10
m=5
scarti
-5 = -4 -5 = -3 -5 = -2 -5 = 0 -5 = 4 -5 = 5
scarti
-5 = 0 -5 = 0 -5 = 0 -5 = 0 -5 = 0 -5 = 0
quadrato degli scarti
16 9 4 0
16 25
La stima dell’IMPRECISIONE: dalla misura degli SCARTI al CV%
+ + + + + =
somma del quadrato
degli scarti 16 9 4 0
16 25
70
70:6 = 11.66 11.66 = 3.42
La stima dell’IMPRECISIONE: dalla misura degli SCARTI al CV%
3.42 è la Deviazione Standard di questa serie di misure
La stima dell’IMPRECISIONE: dalla misura degli SCARTI al CV%
A
5 5 5 5 5 5
m=5
B
1 2 3 5 9
10
m=5
sd = 0 sd = 3.42
La stima dell’IMPRECISIONE: dalla misura degli SCARTI al CV%
sd = 3 m = 10
sd = 3 m = 100
Se due popolazioni hanno la stessa deviazione standard ma medie differenti, il CV sara’ diverso e permetterà di CONFRONTARE i dati di una variabile relativa a popolazioni diverse
La stima dell’IMPRECISIONE: dalla misura degli SCARTI al CV%
espresso in percentuale
La stima dell’IMPRECISIONE: dalla misura degli SCARTI al CV%
sd = 3 m = 10 CV = 30 %
sd = 3 m = 100 CV = 3 %
Quantifica l’errore casuale
50 % percentile = mediana
25% percentile
6
6
9
12
12
12
13
14
14
15
15
75% percentile
Gli Indici di Dispersione: i percentili
Il P -esimo percentile nell’insieme ordinato é quel valore sotto il quale c’é il P % (P percento) delle osservazioni.
Q1
Q3
Q2
I Quartili sono i punti che dividono i dati ordinati in quarti
IQR
50%
dei
dati
0 5 10 15 20 25 30
I Box-plot
50 % dei dati
IQR
MIN Q1 MEDIANA Q3 MAX
6 10,5 12 14 15
1 2 3 4 5 6 7 8 9 10 11
6 6 9 12 12 12 13 14 14 15 15
media=11,6
Q3 + 1.5 (Q3 – Q1) Q1 – 1.5 (Q3 – Q1)
per descrivere dati a distribuzione normale, conviene utilizzare media e SD (o meglio CV%)
per descrivere dati a distribuzione deformata, conviene utilizzare mediana e percentili
Riassumiamo gli Indici di Posizione e gli Indici di Dispersione
Le due distribuzioni
Normale o Gaussiana Deformata o Asimmetrica
Dove si posiziona il nostro risultato ?
Bias = Scostamento percentuale della misura
rispetto all’Indice di Posizione (media o
mediana)
Esprime quindi l’Esattezza (±) della misura
E’ lo scostamento del risultato ottenuto rispetto al valore di consenso del
campione misurando
Bias % = Xi
M
-1 ( ) X 100
Dove si posiziona il nostro risultato ?
Bias % = Xi
M
-1 ( ) X 100
Bias % = 4,5
5
-1 ( ) X 100
Esempio: nostro risultato = 4,5
Mediana = 5
Bias % = 0,9 -1 ( ) X 100
Bias % = - 0,1 X 100 = - 10 %
Esempio di Bias su risultato VEQ
Il segno indica la direzione dello scostamento
Dove si posiziona il nostro risultato, anche in confronto alla distribuzione di tutti i risultati
Z-score = è una misura statistica del bias del
laboratorio che consente di trasformare il valore
del singolo risultato di una serie di misurazioni
nel suo equivalente valore “standardizzato”
Z-score = (x – μ) ÷ SD
dove
x = risultato
μ = Mediana (robusta)
SD = SD (robusta)
Dove si posiziona il nostro risultato, anche in confronto alla distribuzione di tutti gli
altri
Z-score = dipende dalla distribuzione
Bias % = NON dipende dalla distribuzione
Valutazione dello z-score
-3 < z < -2 2 < z < 3
-2 < z < 2
z < -3 z > 3
0 5 10 15 20 25 30
I Box-plot
50 % dei dati
IQR
MIN Q1 MEDIANA Q3 MAX
6 10,5 12 14 15
1 2 3 4 5 6 7 8 9 10 11
6 6 9 12 12 12 13 14 14 15 15
media=11,6
Q3 + 1.5 (Q3 – Q1) Q1 – 1.5 (Q3 – Q1)
BOX-PLOT per distribuzioni non parametriche
= Q3 – Q1 - INTERQUARTILE RANGE (IQR)
Racchiude il 50 % dei dati
MIN Q1 MEDIANA Q3 MAX
6 12,75 16 18 22
MEDIA
15,25
-5 0 5 10 15 20 25 30 35 40
IQR
OUTLIERS OUTLIERS
Un esempio di Report Statistico VEQ
Il Rapporto Periodico
Analisi statistica
dei risultati
Diagramma di Youden
Carta di Shewart
Il Riepilogo Cumulativo di fine Ciclo
Risultati elaborati con 2 modalità differenti
Analisi statistica dei risultati
Risultati relativi alla partecipazione complessiva
Risultati relativi al Risultato del Laboratorio
Ma…siamo sempre sicuri dei Controlli?
Progettazione dei Controlli
Produzione dei Controlli
Dal Produttore all’Utilizzatore
Trasporto e conservazione
Esame di alcuni rapporti statistici VEQ con
commento…
…e analisi interattiva ?
Problemi relativi ai campioni
Ci possono essere!
Anomalie di interazione Analita/Strumento
Tiroide 2° Invio 2009
FT3 con Abbott Axsym
TSH con Siemens Advia Centaur
Tiroide: anomalie 2° Invio 2009
Tiroide: anomalie 2° Invio 2009
Nessuna spiegazione…
???
Cause:
Tiroide: anomalie 2° Invio 2009
Insulina
Ciclo 2009
Insulina
0
50
100
150
200
250
300
Ab
bott
Arch
itect
Ab
bott
Axsy
m
Beck
ma
n A
ccess
/DxI
Dia
Sorin
Lia
ison
EL
ISA
RIA
Roch
e M
od
ula
r A
na
lyti
cs "
E"
Sie
men
s A
dv
ia C
en
tau
r
Sie
men
s Im
mu
lite
Sie
men
s Im
mu
lite
20
00
/25
00
Toso
h A
IA
uIU/mL
108
135
43
123
165
205
184
89
43
65
108
Noti problemi di Commutabilità
Cause:
Insulina
Qualcosa funziona…
Qualcos’altro meno…
Lattato deidrogenasi
Lattato deidrogenasi
Elaborazione per Metodo
Lattato deidrogenasi
Elaborazione per Strumento-Metodo
Cause:
• Diverso comportamento analitico di strumenti (anche stesso Metodo)
Lattato deidrogenasi
• Errata comunicazione del Metodo utilizzato
PAPP-A
3° Invio 2010
1° elaborazione standard
PAPP-A
PAPP-A
3° Invio 2010
2° elaborazione con suddivisione per lotto di kit
IMMULITE 2000
Eterogeneità dei kit utilizzati per i test
(riformulazioni ecc..)
Cause:
PAPP-A
Profilo TIROIDE
Esempi di analiti
Anti-TG
3° Invio 2010
Rappresentazione grafica di una popolazione
Box-Whisker plot
Statistica parametrica
Statistica non parametrica
Anti-TG 3° Invio 2010 campione A
0
20
40
60
80
100
120
140
0 50 100150200250300350400450500550600650700750800850
Fre
qu
en
cy
anti TG-A
Normal Fit
(Mean=162.58, SD=151.17)
0 50 100150200250300350400450500550600650700750800850
0 50 100150200250300350400450500550600650700750800850
a
Anti-TG 3° Invio 2010 campione A
635.7 17.3
812
95.9
118
14.7
0 50 100150200250300350400450500550600650700750800850
a
2 SD 162.6 3 SD
TSH 3° Invio 2010 campione B
0
20
40
60
80
100
120
140
160
180
200
0 1 2 3 4 5 6 7 8 9 10 11 12 13
Fre
qu
en
cy
b
TSH-B
Normal Fit
(Mean=6.93, SD=1.19)
0 1 2 3 4 5 6 7 8 9 10 11 12 13
b
95% CI Notched Outlier Boxplot
Median (6.85)
95% CI Mean Diamond
Mean (6.93)
± 2 SD
Outliers > 1.5 and < 3 IQR
Outliers > 3 IQR
• Il Laboratorio che riceve un rapporto di VEQ indicante un’insuccesso dovrebbe attivare (e documentare) opportune azioni correttive, e magari preventive es:
– Rivedere il modulo di risposta inviato al Provider dello
schema di VEQ, per escludere errori di trascrizione nell’inserimento dei risultati
– Se non ci sono stati errori di trascrizione, rivedere le registrazioni di CQI nel periodo in cui sono state eseguite le determinazioni VEQ
– ecc…
E se qualche risultato si discosta un po’ troppo…
Un suggerimento di procedura di trattamento non conformità relativa a prestazione non soddisfacente in programma di VEQ
Flow-chart operativo
Da: Guida Eurachem alla Selezione di Schemi VEQ
Stop
Controllare se
i campioni di controllo sono
trattati diversamente dai campioni
della routine (H2O, strumenti, pipette, ecc.).
Ripetere, se possibile, il dosaggio con camp.
di controllo interni, così come fatto
con i campioni esterni.
Problema risolto?
Controllare
calibratori e campioni
di riferimento, loro preparazione e
conservazione. Confrontare, se possibile,
con calib. precedenti. Controllare i valori
ottenuti e le diluizioni.
Problema risolto?
Controllare i calcoli,
le diluizioni, eventuali errori
di trascrizione o i fogli di calcolo elettronici.
Se ci sono problemi controllare con valori noti
la validazione dei calcoli.
Problema risolto?
Cercare di ottenere altri campioni
di controllo o e/o di riferimento e
ripetere tutti i passi per determinare se i
problemi possano essere causati da effetto-matrice.
Gli altri campioni forniscono
buoni risultati?
Questo è un problema reale.
La presente checklist non è adatta
per risolvere il problema.
Segue da A1
SI
SI
SI
SI
NO
NO
NO
NO
Segue da A3 Segue da B1
A4
A5
A6
A7
Correggere
il problema
e ripetere
il dosaggio
INIZIO
I campioni CQI sono "in controllo"?
Se si utilizzano
2 campioni CQI,
mostrano entrambi lo
stesso scostamento?Controllare trattamento,
conservazione e manipolazione
dei campioni di controllo.
Ripetere, se possibile, il dosaggio.
Problema risolto?
Analizzare i report degli
strumenti. Altri parametri dosati
mostrano lo stesso
scostamento?
Controllare
l'ambiente
del lab: temperatura di
conservazione, reagenti e
campioni, apparati accessori
(centrifughe, frigoriferi ecc.)
Ci sono non
conformità?
Controllare preparazione
e conservazione dei campioni
di controllo. Preparare nuovi
campioni e ripetere i dosaggi.
Problema risolto?
Controllare gli
strumenti come previsto dai manuali
d'uso e da procedure interne.
Problema risolto?
Contattare
il fornitore
Va a STOP Va a STOP
SI
SI
SI
SI
NO
NO
NO
NO
NO
NO
NO
Segue a A4
SI
SISI
A
B
A1
A2
A3
B1
C
Correggere
il problema
e ripetere
il dosaggio
INIZIO
I campioni CQI sono "in controllo"?
Se si utilizzano
2 campioni CQI,
mostrano entrambi lo
stesso scostamento?Controllare trattamento,
conservazione e manipolazione
dei campioni di controllo.
Ripetere, se possibile, il dosaggio.
Problema risolto?
Analizzare i report degli
strumenti. Altri parametri dosati
mostrano lo stesso
scostamento?
Controllare
l'ambiente
del lab: temperatura di
conservazione, reagenti e
campioni, apparati accessori
(centrifughe, frigoriferi ecc.)
Ci sono non
conformità?
Controllare preparazione
e conservazione dei campioni
di controllo. Preparare nuovi
campioni e ripetere i dosaggi.
Problema risolto?
Controllare gli
strumenti come previsto dai manuali
d'uso e da procedure interne.
Problema risolto?
Contattare
il fornitore
Va a STOP Va a STOP
SI
SI
SI
SI
NO
NO
NO
NO
NO
NO
NO
Segue a A4
SI
SISI
A
B
A1
A2
A3
B1
C
Stop
Controllare se
i campioni di controllo sono
trattati diversamente dai campioni
della routine (H2O, strumenti, pipette, ecc.).
Ripetere, se possibile, il dosaggio con camp.
di controllo interni, così come fatto
con i campioni esterni.
Problema risolto?
Controllare
calibratori e campioni
di riferimento, loro preparazione e
conservazione. Confrontare, se possibile,
con calib. precedenti. Controllare i valori
ottenuti e le diluizioni.
Problema risolto?
Controllare i calcoli,
le diluizioni, eventuali errori
di trascrizione o i fogli di calcolo elettronici.
Se ci sono problemi controllare con valori noti
la validazione dei calcoli.
Problema risolto?
Cercare di ottenere altri campioni
di controllo o e/o di riferimento e
ripetere tutti i passi per determinare se i
problemi possano essere causati da effetto-matrice.
Gli altri campioni forniscono
buoni risultati?
Questo è un problema reale.
La presente checklist non è adatta
per risolvere il problema.
Segue da A1
SI
SI
SI
SI
NO
NO
NO
NO
Segue da A3 Segue da B1
A4
A5
A6
A7
Stop
Controllare se
i campioni di controllo sono
trattati diversamente dai campioni
della routine (H2O, strumenti, pipette, ecc.).
Ripetere, se possibile, il dosaggio con campioni
CQI come fatto per campioni VEQ.
Problema risolto?
Controllare
calibratori e campioni
di riferimento, loro preparazione e
conservazione. Confrontare, se possibile,
con calib. precedenti. Controllare i valori
ottenuti e le diluizioni.
Problema risolto?
Controllare i calcoli,
le diluizioni, eventuali errori
di trascrizione o i fogli di calcolo elettronici.
Se ci sono problemi controllare con valori noti
la validazione dei calcoli.
Problema risolto?
Cercare di ottenere altri campioni
di controllo o e/o di riferimento e
ripetere tutti i passi per determinare se i
problemi possano essere causati da effetto-matrice.
Gli altri campioni forniscono
buoni risultati?
Questo è un problema reale.
La presente checklist non è adatta
per risolvere il problema.
Segue da A1
SI
SI
SI
SI
NO
NO
NO
NO
Segue da A3 Segue da B1
A4
A5
A6
A7
Grazie e BUON LAVORO
1998-2015
di QUALITA’
17 anni
1998-2015
di QUALITA’
17 anni
1998-2015
di QUALITA’
17 anni