IL CONTROLLO DI QUALITÀ: TEORIA E PRATICA NEL LABORATORIO DI ANALISI CLINICHE

Parte 1Teoria del controllo di qualità interno

Dott. Gianluca Monti, phDgianlucamonti@chimici.it

ALMENO IL 70% DELLE DECISIONI DIAGNOSTICHE SONO INFLUENZATE DA

TEST DI LABORATORIO.

• Una stima “prudente” del tasso d’errore di laboratorio in Italia è pari a circa lo 0,30%

• In Italia ogni anno ~1000 milioni di prestazioni

~ 3 milioni di referti affetti da errore all’anno!

Il costo di questi errori è difficilmente stimabile (probabilmente prossimo al miliardo di €).

Plebani M, Carraro P. Mistakes in a stat laboratory: types and frequency. Clin Chem 1997;43,8:1348-51.

Governance

Validazione

Organizzazione

Metodica

Test

Paziente

• Test analiticamente errato• Test non discriminante• Test male interpretato/refertato• Test gestionalmente errato• Test non necessario• Test non eseguito

Controllo di qualità

Assicurazione della qualità

Sistema di qualità

STATISTICHEQuesta presentazione contiene:

• 234 numeri• 27 formule matematiche• Moltissimi grafici• 14 riferimenti a normative ISO• 21 fotografie di luoghi belli del mondo• Tre storielle divertenti• Qualche consiglio che vi aiuterà a capire

quando state sbagliando

ISO 15189:2007

ISO 15189:2007

ISO 15189:2007

IL DATO È SICURO?

IL DATO È AL SICURO?

INTERCETTARE GLI ERRORI

(CONTROLLO DI)QUALITÀ:ERRORE O SBAGLIO?

Ottenere esiti positivi per il paziente attraverso una gestione integrata del processo analitico

Il CQI dell’ammonio è nel range………….

………ma il campione è rimasto 6 ore a temperatura ambiente!!

ERRORE O SBAGLIO?

ERRORE CASUALE

• La fonte più frequente dell’errore

• E’ naturalmente presente in tutti i processi

• La sua origine è complessa e articolata

• In condizioni stabili può essere descritto in termini statistici e quindi «confinato»

SBAGLIO

• In un sistema correttamente gestito è un evento sporadico

• La sua origine è generalmente semplice («Mario si è scordato»)

• Gli effetti possono essere molto importanti e poco prevedibili

• Difficile da «confinare»

A COSA SERVE?

• L’obbiettivo delle procedure di controllo di qualità è di fornire al paziente un risultato analiticamente corretto.

• Quanto è vicino, mediamente, il risultato ottenuto al valore vero?

• Quanto è incerto il valore ottenuto, in termini di ripetibilità della misura?

• Quanto è discriminante per la decisione clinica?

ANALISI DELL’ERRORE

Distribuzione delle frequenze

Statistica parametrica

TIPI DI VARIABILI

Quantitative

• Altezza

• Peso

• Indice di massa corporea

• Glucosio sierico

• Copie HCV RNA/ml

• Leucociti/ml

• Numero di prelievi

Qualitative

• Colore dei capelli

• Normopeso/sovrappeso

• Sesso

• Iperglicemico

• HCV Ab +/-

• Sangue -/±/+/++/+++

• Soddisfazione del cliente

VARIABILI QUANTITATIVE

Quantitative

• Altezza

• Peso

• Indice di massa corporea

• Glucosio sierico

• Copie HCV RNA/ml

• Leucociti/ml

• Numero di prelievi

• Continue

• Discrete

TIPI DI VARIABILI

• Nominali

• Ordinali

Qualitative

• Colore dei capelli

• Normopeso/sovrappeso

• Sesso

• Iperglicemico

• HCV Ab +/-

• Sangue -/±/+/++/+++

• Soddisfazione del cliente

TIPI DI VARIABILI

Quantitative

• Altezza

• Peso

• Indice di massa corporea

• Glucosio sierico

• Copie HCV RNA/ml

• Leucociti/ml

• Numero di prelievi

Qualitative

• Colore dei capelli

• Normopeso/sovrappeso

• Sesso

• Iperglicemico

• HCV Ab +/-

• Sangue -/±/+/++/+++

• Soddisfazione del paziente

MISURA

• Lo scopo della maggioranza dei test di laboratorio è misurare, attraverso opportuni strumenti, la concentrazione di determinati analiti nei campioni

• Il risultato della misura è una «stima» del valore «vero»

• La differenza fra la stima e il valore vero rappresenta l’errore di misura, che è sempre presente

Scopo del QC è garantire, attraverso la caratterizzazione dell’errore, che l’errore si

mantenga contenuto entro limiti prefissati che preservino l’utilità clinica del dato.

ESEMPIO DI MISURA

100,0100,8101,299,8,

QUAL È IL VALORE?

?

ESEMPIO DI MISURA

Dati ottenuti in 60 misurazioni:

99,4 99,0 99,1 100,0 100,6 100,099,6 100,6 100,4 101,4 100,8 100,1100,6 100,1 100,0 99,7 100,5 101,099,0 101,1 101,4 99,9 98,8 100,7100,9 101,5 102,4 99,7 99,2 98,999,2 100,7 100,0 99,9 100,5 99,4100,0 100,0 99,5 99,2 99,3 100,698,6 98,5 99,9 99,8 99,3 101,398,8 100,9 99,5 100,5 99,8 99,897,6 100,1 98,7 101,2 100,0 99,0

VARIABILITÀ

• Le condizioni ambientali cambiano• Le condizioni strumentali cambiano• I tecnici cambiano• I reagenti cambiano• I calibratori cambiano• I controlli cambiano• Le matrici cambiano• Mario si distrae

E’ legittimo pensare sia possibile ottenereuna stima “corretta”?

VARIABILITÀ

Come definire“corretta”?

PRECISIONE

ESEMPIO DI MISURA

Dati ottenuti in 60 misurazioni:

99,4 99,0 99,1 100,0 100,6 100,099,6 100,6 100,4 101,4 100,8 100,1100,6 100,1 100,0 99,7 100,5 101,099,0 101,1 101,4 99,9 98,8 100,7100,9 101,5 102,4 99,7 99,2 98,999,2 100,7 100,0 99,9 100,5 99,4100,0 100,0 99,5 99,2 99,3 100,698,6 98,5 99,9 99,8 99,3 101,398,8 100,9 99,5 100,5 99,8 99,897,6 100,1 98,7 101,2 100,0 99,0

ORDINARE I DATI

96,6 96,6 96,8 97,0 97,2 97,397,3 97,3 97,5 97,6 97,6 97,797,9 98,2 98,2 98,2 98,3 98,498,6 98,6 98,6 98,6 98,7 98,999,0 99,0 99,1 99,2 99,2 99,399,3 99,3 99,3 99,3 99,4 99,499,4 99,5 99,5 99,6 99,6 99,799,8 99,9 99,9 100,1 100,2 100,2100,2 100,4 100,4 100,7 100,7 100,7100,8 101,1 101,1 101,5 101,7 102,2

DIVIDERE IN CLASSI

96,6 96,6 96,8 97,0 97,2 97,397,3 97,3 97,5 97,6 97,6 97,797,9 98,2 98,2 98,2 98,3 98,498,6 98,6 98,6 98,6 98,7 98,999,0 99,0 99,1 99,2 99,2 99,399,3 99,3 99,3 99,3 99,4 99,499,4 99,5 99,5 99,6 99,6 99,799,8 99,9 99,9 100,1 100,2 100,2100,2 100,4 100,4 100,7 100,7 100,7100,8 101,1 101,1 101,5 101,7 102,2

Regola di Sturges: N. classi = 1 + 3,3 * log(N)

DIVIDERE IN CLASSI

96 3

97 7

98 11

99 21

100 10

101 4

102 2

ISTOGRAMMI DI FREQUENZA

Grafici Risultato (x) Vs Frequenza (y)

• La scala x è determinata dalle classi in cui è stato diviso il campione di dati

• L’ampiezza delle classi può essere ricavata i numerosi modi empirici (Es. regola di Sturges)

• L’altezza y delle barre è proporzionale alla frequenza (numero di occorrenze in quella classe)

• Rappresentano graficamente la distribuzione dei valori.• Utile per verificare se i dati si aggregano intorno ad un

valore centrale

ISTOGRAMMA

0

5

10

15

20

25

30

90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110

ISTOGRAMMA

0

5

10

15

20

25

30

90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110

ISTOGRAMMA

0

5

10

15

20

25

30

90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110

ISTOGRAMMA

0

5

10

15

20

25

30

90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110

ISTOGRAMMA

0

5

10

15

20

25

30

90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110

ISTOGRAMMA

0

5

10

15

20

25

30

90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110

ISTOGRAMMA

0

5

10

15

20

25

30

90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110

ISTOGRAMMA

0

5

10

15

20

25

30

90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110

QUAL È IL VALORE?

?

1

MODA

Valore più frequente

Può non essere unica

Può non essere determinabile

Utile per i dati qualitativi

Poco affetta dalla distribuzione

ISTOGRAMMA

0

5

10

15

20

25

30

90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110

ISTOGRAMMA

0

5

10

15

20

25

30

90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110

ISTOGRAMMA

0

5

10

15

20

25

30

90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110

MEDIANA

Fra i dati ordinati è il valore centrale

(o la media dei due valori centrali):

96,6 96,6 96,8 97,0 97,2 97,397,3 97,3 97,5 97,6 97,6 97,797,9 98,2 98,2 98,2 98,3 98,498,6 98,6 98,6 98,6 98,7 98,999,0 99,0 99,1 99,2 99,2 99,399,3 99,3 99,3 99,3 99,4 99,499,4 99,5 99,5 99,6 99,6 99,799,8 99,9 99,9 100,1 100,2 100,2100,2 100,4 100,4 100,7 100,7 100,7100,8 101,1 101,1 101,5 101,7 102,2

ISTOGRAMMA

0

5

10

15

20

25

30

90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110

ISTOGRAMMA

0

5

10

15

20

25

30

90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110

ISTOGRAMMA

0

5

10

15

20

25

30

90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110

MEDIA

�T L��̂Ü�@�5�Æ

�T�Ü

�J

(Somma dei valori diviso il numero di valori)

C’è una sola media per ogni distribuzioneE’ affetta dagli outliers

ISTOGRAMMA

0

5

10

15

20

25

30

90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110

ISTOGRAMMA

0

5

10

15

20

25

30

90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110

ISTOGRAMMA

0

5

10

15

20

25

30

90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110

ISTOGRAMMA

0

5

10

15

20

25

30

90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110

MISURA

• La misura media è 99,1

MINIMO-MASSIMO

Quanto si discostano i dati dalla media?

97,6 98,5 98,6 98,7 98,8 98,898,9 99,0 99,0 99,0 99,1 99,299,2 99,2 99,3 99,3 99,4 99,499,5 99,5 99,6 99,7 99,7 99,899,8 99,8 99,9 99,9 99,9 100,0100,0 100,0 100,0 100,0 100,0 100,0100,1 100,1 100,1 100,4 100,5 100,5100,5 100,6 100,6 100,6 100,6 100,7100,7 100,8 100,9 100,9 101,0 101,1101,2 101,3 101,4 101,4 101,5 102,4

MISURA (2)

• La misura è compresa fra 97,6 e 102,4

ISTOGRAMMA

0

5

10

15

20

25

30

90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110

MISURA (3)

• Come posso misurare correttamente la mia variabile?

• Che errore commetto?

• La distanza è 100,0 ± incertezza

MINIMO-MASSIMO

Quanto si discostano i dati dalla media?

96,6 96,6 96,8 97,0 97,2 97,397,3 97,3 97,5 97,6 97,6 97,797,9 98,2 98,2 98,2 98,3 98,498,6 98,6 98,6 98,6 98,7 98,999,0 99,0 99,1 99,2 99,2 99,399,3 99,3 99,3 99,3 99,4 99,499,4 99,5 99,5 99,6 99,6 99,799,8 99,9 99,9 100,1 100,2 100,2100,2 100,4 100,4 100,7 100,7 100,7100,8 101,1 101,1 101,5 101,7 102,2

STUDIARE LA DISTRIBUZIONE

Quanto si discostano i dati dalla media?

96,6 96,6 96,8 97,0 97,2 97,397,3 97,3 97,5 97,6 97,6 97,797,9 98,2 98,2 98,2 98,3 98,498,6 98,6 98,6 98,6 98,7 98,999,0 99,0 99,1 99,2 99,2 99,399,3 99,3 99,3 99,3 99,4 99,499,4 99,5 99,5 99,6 99,6 99,799,8 99,9 99,9 100,1 100,2 100,2100,2 100,4 100,4 100,7 100,7 100,7100,8 101,1 101,1 101,5 101,7 102,2

DISTRIBUZIONE

0

5

10

15

20

25

30

90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110

DISTRIBUZIONE GAUSSIANA

•

•

• Simmetrica

• Media = Moda = Mediana

• s rappresenta la «larghezza» della campana

DEVIAZIONE STANDARD

Scarto quadratico medio

COEFFICIENTE DI VARIAZIONE

CV���ª

�§�º

Scarto quadratico medio

DISTRIBUZIONE

0

5

10

15

20

25

30

90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110

IMPRECISIONE

• La ripetizione di una misura affetta da errore casuale tende a fornire stime i cui valori si aggregano attorno ad un valore medio, con distribuzione gaussiana (campanulare)

• La distribuzione gaussiana è simmetrica intorno alla media, che coincide con la mediana e con la moda

IL 68,3% DEI DATI RICADE ENTRO ± s

0

5

10

15

20

25

30

90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110

IL 95,5% DEI DATI RICADE ENTRO ± 2s

0

5

10

15

20

25

30

90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110

IL 99,7% DEI DATI RICADE ENTRO ± 3s

0

5

10

15

20

25

30

90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110

QUAL È IL VALORE?

IMPRECISIONE DI MISURA

• La misura in 60 misurazioni è compresa fra 96,6 e 102,2

• La misura media in 60 misurazioni è 99,1

• La misura è 99,1 ± 3,9 nel 99,7 % dei casi

INCERTEZZA

0

5

10

15

20

25

30

90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110

INCERTEZZA

0

5

10

15

20

25

30

90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110

ERRORE DI MISURA

• La misura in 60 misurazioni è compresa fra 96,6 e 102,2

• La misura media in 60 misurazioni è 99,1

• La misura è 99,1 ± 1,3 nel 68,3 % dei casi• La misura è 99,1 ± 2,6 nel 95,5 % dei casi• La misura è 99,1 ± 3,9 nel 99,7 % dei casi

In condizioni analoghe potrò ritenere la misura avrà un’incertezza pari a ± 3,9 nel 99,7% dei casi.

(IN)CERTEZZA

0

5

10

15

20

25

30

90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110

(IN)CERTEZZA

0

5

10

15

20

25

30

90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110

(IN)CERTEZZA

0

5

10

15

20

25

30

90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110

ISTOGRAMMA

0

10

20

30

40

50

60

70

90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110

ISTOGRAMMA

0

10

20

30

40

50

60

70

90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110

ESEMPIO DI MISURA

100,0

?!?

QUAL È IL VALORE?

?

2

MISURA DI CONTROLLO

La misura a progetto è 44 metri

Supponiamo una incertezza pari al 3,1%

Misura dello strumento: 122,1

LA MISURA E’ SBAGLIATA!!

LO STRUMENTO E’ GUASTO?

Lo strumento di fabbricazione anglosassone era impostato per misurare in piedi anziché in metri.

Lo strumento utilizza quindi una calibrazione «sbagliata», perché riferita a uno standard

metrologico differente.

ISO 15189:2007

ISO 15189

IMPRECISIONE

• Indica quanto è ripetibile la misura, e cioè quando concordanti sono le misure fra di loro

• Può essere stimata, in caso di errori casuali con s

• Conoscere s consente di fare valutazioni statistiche sull’attendibilità della misura

INACCURATEZZA

• Esprime la concordanza fra le misure ottenute ed il valore «vero».

• Può essere stimata attraverso la misura di un campione «noto».

ESEMPIO DI MISURA

???,?

CV 3,1%

ISTOGRAMMA

3233

34

35

36

3738

35,7

0

10

20

30

40

50

60

70

25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46

BIAS

Differenza assoluta

BIAS

�:�¤�; L�T�Ø�Ø�å�â F �§�T

�T�Ø�Ø�å�â

Differenza percentuale

Z SCORE

Differenza in rapporto alla s

DEVIAZIONE %

= 1,96 %

Differenza percentuale

ISTOGRAMMA

3233

34

35

36

3738

35,7

0

10

20

30

40

50

60

70

25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46

CIFRE SIGNIFICATIVE

Il risultato ricavato dallo strumento deve avere un

numero di cifre significative compatibile con il CV

ATTENZIONE ALLE CIFRE SIGNIFICATIVE(IN GENERE 3 O 4 SONO SUFFICIENTI)

IMPRECISIONE

• Si determina con misure ripetute

• Si descrive con la�º

(deviazione standard)

INACCURATEZZA

• Si determina con una misura nota

• Si descrive con ilBIAS(ˈbaɪəs)

32

33

34

35

36

37

38

42

-1

4

9

14

19

24

29

34

39

44

25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46

s BIAS

MISURA IMPRECISA E INACCURATA

39

40

41

42

43

44

45

42

-1

4

9

14

19

24

29

34

39

44

25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46

s BIAS

MISURA IMPRECISA MA ACCURATA

34

35

36

42

-1

4

9

14

19

24

29

34

39

44

25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46

s BIAS

MISURA PRECISA MA INACCURATA

41

42

43

42

-1

4

9

14

19

24

29

34

39

44

25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46

s BIAS

MISURA PRECISA E ACCURATA

?ERRORE DI MISURA?

Al 95,5% di probabilità

Al 99,7% di probabilità

ATTENZIONE AGLI SBAGLI!Mario tende a distrarsi

IMPRECISIONE

Si descrive con la

(deviazione standard)

INACCURATEZZA

Si descrive con ilBIAS(ˈbaɪəs)

INESATTEZZA

Si descrive con�’�Ô

(Errore analitico)

NON SONO BRAVO IN MATEMATICA

• Il laboratorio dovrebbe dotarsi di uno o più software specifici per il controllo di qualità

• Alcuni calcoli di base possono essere eseguiti con numerosi software commerciali

• Il foglio di calcolo Excel può essere utilizzato in maniera semplice e veloce

IL CONTROLLO DI QUALITÀ: TEORIA E PRATICA NEL LABORATORIO DI ANALISI CLINICHE

Parte 2

Pratica del controllo di qualità interno

Dott. Gianluca Monti, phD

CONTENUTI

Chi controlla?

Con cosa controlla?

Quando controlla?

Dove controlla?

Il mio CQ è accettabile?!?

LO SCOPO DEL CQI

Assicurare che le performance

analitiche del test siano consistenti con l’esigenza

clinica del paziente

LO SCOPO DEL CQI(RELOADED)

AVVISAMI QUANDO C’E’

QUALCOSA CHE NON VA

ERRORE ANALITICO

• Deterioramento del reagente

• Deterioramento del calibratore

• Condizioni ambientali inadeguate

• Condizioni di alimentazione inadeguate

• Impostazioni strumentali errate

• Guasto strumentale

• Errore dell’operatore

ERRORE

SBAGLIO

IMPLEMENTAZIONE CQI

• Stabilire politiche di qualità e procedure

• Dividere le responsabilità

• Educare il personale

• Selezionare il materiale di controllo

• Stabilire il range di accettabilità

• Stabilire le procedure di validazione e intervento

• Monitorare il risultato del CQI ad ogni esecuzione

• Registrare tutte le azioni e gli interventi.

CALIBRATOREMateriale che contiene una concentrazione riferibile dell’analita che copra il range del test

E’ necessario per ottenere risultati su scale non arbitrarie

I calibratori si utilizzano ad ogni variazione del contesto analitico (strumento/reagente/…)

CONTROLLOMateriale che contiene l’analita a concentrazione pre-determinata o non prossima ai valori clinici

E’ necessario per assicurarsi che i risultati siano affetti da un errore accettabile

I controlli si utilizzano durante la procedura analitica per monitorarla

CONTROLLI

Il più simili possibile al campione (idealmente umano)

Concentrazioni simili a quelle dei campioni

Disponibili in grandi quantità (sufficienti per 1 anno o più)

Stabili per un tempo lungo (> 2 anni)

Soggetti a modeste manipolazioni (pronti all’uso)

Commerciali o preparati in lab

• Dosati con range di riferimento• Non dosati• Pool normali

QUANTO CONTROLLARE

0

5

10

15

20

25

30

35

Costo dell'errore Costo dei controlli Costo totale

QUANDO CONTROLLARE

• Frequenza del QC• Il CQ deve essere eseguito ad ogni seduta analitica• La definizione di seduta analitica è inevitabilmente vaga• Condizioni che interrompono la seduta

• Cambio di reagenti, anche se dello stesso lotto• Cambio di consumabili (anche se dello stesso lotto)• Operazioni che normalmente non si eseguono fra due test• Alterazioni delle condizioni chimico-fisico-ambientali• Fermo macchina superiore al tempo di dosaggio• Interventi tecnici di qualsiasi natura• Modifiche metologiche

QUANDO CONTROLLARE (2)

• Programmazione del CQI

• Evitate di controllare subito dopo l’avvio

• Evitate di controllare subito dopo una calibrazione

• Idealmente controllate fra i campioni

• Controllate PRIMA di refertare

Critico

Alto

Normale

Normale

Normale

QUALE VALORE

• Il CQI ideale dovrebbe coprire il range dinamico del test

• In pratica è sufficiente coprire l’intervallo decisionale clinico

• Possono essere necessari 2 o 3 controlli

• Controllo Basso/Patologico se rilevante

• Controllo normale• Controllo Alto/Patologico se

rilevante

QUALE VALORE

• Il CQI ideale dovrebbe coprire il range dinamico del test

• In pratica è sufficiente coprire l’intervallo decisionale clinico

• Possono essere necessari 2 o 3 controlli

• Controllo Basso/Patologico se rilevante

• Controllo normale• Controllo Alto/Patologico se

rilevante

Critico

Alto

Normale

Basso

Critico

CQI PRIMA IMPLEMENTAZIONE• Preparare il materiale secondo le indicazioni del

produttore.

• Aliquotare il materiale e stoccarlo• Determinare le performance target in un pre-periodo

• Es. Eseguire 20 determinazioni in 20 sessioni (1 mese)

• Raccogliere i dati• Disegnare istogramma

• Gaussiana? (Moda = Media = Mediana)• Gaussiana? (68,3% in , 95,5% in , 99,7% in )• Calcolare , BIAS (se disponibile riferimento)

?Sufficientemente preciso e accurato?

ERRORE ACCETTABILE

• Stato dell’arte

• Intervallo di riferimento

• Linee guida e/o opinioni di clinici esperti

• Analisi dell’errore clinico derivante

• Variabilità biologica (Ea < ½ CVi)

3

GLUCOSIO

• Stato dell’arte (intra-lab): CV 2,0 %, BIAS 1,0% TE 5%

• Intervallo di riferimento (70 – 104 – 125): TE 10 %

• Linee guida: CV 3,3% BIAS 2,5% TE 7,9%

• Analisi dell’errore clinico TE 8% (4%)

• Variabilità biologica: TE 5,9%

Sacks et al Diabetes Care June 2011vol. 34 no. 6 e61-e99Boyd, et al Clin Chem 2001;47:209

Ricos et al Scand J Clin Lab Invest 1999;59:491-500http://www.westgard.com/biodatabase1.htm

ANALIZZATORI AUTOMATICI

• Ampiamente disponibili fin dagli anni ‘80

• Metodiche consolidate

• Identificazione positiva del campione

• Ampio range di produttività 100-2000 test/ora

• Buona precisione (?) e accuratezza (?)

• E’ possibile ottenere test “analiticamente corretti”?...in alcuni casi bisogna saper scegliere

GLUCOSIO

LDH

SODIO

MCV

PTH

CEA

Governance

Validazione

Organizzazione

Metodica

Test

Paziente

IL DATO È SICURO? (2)

• Un analizzatore automatico performante, di per se, non è garanzia di qualità della prestazione

• La marcatura CE attesta la conformità a requisiti minimi di sicurezza (in molti casi esprime una autocertificazione)

ERRORE ACCETTABILE

• Il laboratorio deve stabilire obbiettivi di qualità in termini di CV e BIAS• Es. Glucosio CV 2,5% BIAS 2,5% TE 7,5%

• E’ necessario verificare l’andamento delle performance in un pre-periodo di 20 controlli (controllo dosato per il BIAS)

• E’ necessario monitorare il mantenimento di queste performance nel tempo attraverso l’esecuzione del QC

MONITORARE LE PERFORMANCE

• Dopo il pre-periodo di 20 misurazioni si ottiene:

101,1 99,9 100,0 99,7 98,3 97,7 99,199,6 98,8 99,0 99,8 100,5 102,3 101,7100,5 98,2 99,4 100,2 100,2 100,8

Analita Cloro Media -3s 96,2 > 3 IDS 0,0%

Decimali 1 Media -2s 97,4 > 2 IDS 5,0%

N. Dati 20 Media -1s 98,6 > 1 IDS 25,0%

Media 99,8 < 1 IDS 70,0%

Riferimento 98,5 Media +1s 101,0

Media +2s 102,2 Minimo 97,7

Media 99,8 Media +3s 103,4 Massimo 102,3

Mediana 99,9 Range 4,568

s 1,200 BIAS 1,3% N. Sturges 5

CV 1,20% z Score 1,08 D Sturges 0,91

ISTOG

RA

MM

A P

RE-P

ERIO

DO

0 1 2 3 4 5 6 7 8 9 10

93,9

94,7

95,5

96,3

97,1

97,8

98,7

99,6

100,5

101,4

102,3

102,6

103,4

104,2

105,0

105,8

106,6

107,4

108,2

ISTOG

RA

MM

A P

RE-P

ERIO

DO

0 1 2 3 4 5 6 7 8 9 10

93,9

94,7

95,5

96,3

97,1

97,8

98,7

99,6

100,5

101,4

102,3

102,6

103,4

104,2

105,0

105,8

106,6

107,4

108,2

sB

IAS

ISTOG

RA

MM

A P

RE-P

ERIO

DO

0 1 2 3 4 5 6 7 8 9 10

93,9

94,7

95,5

96,3

97,1

97,8

98,7

99,6

100,5

101,4

102,3

102,6

103,4

104,2

105,0

105,8

106,6

107,4

108,2

sB

IAS

ISTOG

RA

MM

A P

RE-P

ERIO

DO

0 1 2 3 4 5 6 7 8 9 10

93,9

94,7

95,5

96,3

97,1

97,8

98,7

99,6

100,5

101,4

102,3

102,6

103,4

104,2

105,0

105,8

106,6

107,4

108,2

sB

IAS

ISTOG

RA

MM

A P

RE-P

ERIO

DO

0 1 2 3 4 5 6 7 8 9 10

93,9

94,7

95,5

96,3

97,1

97,8

98,7

99,6

100,5

101,4

102,3

102,6

103,4

104,2

105,0

105,8

106,6

107,4

108,2

sB

IAS

MONITORARE LE PERFORMANCE

PERFORMANCE STORICA ACCETTABILE

Può essere mantenuta?

Il CQI di oggi è accettabile?!?!Analita Cloro Media -3s 96,2 > 3 IDS 0,0%

Decimali 1 Media -2s 97,4 > 2 IDS 5,0%

N. Dati 20 Media -1s 98,6 > 1 IDS 25,0%

Media 99,8 < 1 IDS 70,0%

Riferimento 98,5 Media +1s 101,0

Media +2s 102,2 Minimo 97,7

Media 99,8 Media +3s 103,4 Massimo 102,3

Mediana 99,9 Range 4,568

s 1,200 BIAS 1,3% N. Sturges 5

CV 1,20% z Score 1,08 D Sturges 0,91

GRAFICI DI SHEWHART

• Grafici tempo (x) Vs Risultato (y)

• Il grafico è centrato intorno alla media (media mobile)

• La scala y è determinata dalla s

Rappresentano graficamente l’andamento della misura nel tempo

Shewhart WA. Economic Control of Quality of Manufactured Product. New York; D. Van Hostrand Company, Inc., 1931

Levey S, Jennings ER. The use of control charts in the clinical laboratory. Am J Clin Pathol 1950;20:1059-66

95

96

97

98

99

100

101

102

103

104

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21

GRAFICI DI SHEWHART

+ 3 s

+ 2 s

+ 1 s

Media

- 1 s

- 2 s

+ 3

- 3 s

Rif.

ERRORE PROGRESSIVO

95

96

97

98

99

100

101

102

103

104

105

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32

ERRORE CICLICO

95

96

97

98

99

100

101

102

103

104

105

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

PERDITA DI PRECISIONE

95

96

97

98

99

100

101

102

103

104

105

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32

PERDITA DI ACCURATEZZA

95

96

97

98

99

100

101

102

103

104

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32

CAMBIO DI LOTTO

95

97

99

101

103

105

107

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

CIFRE SIGNIFICATIVE

95

96

97

98

99

100

101

102

103

104

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32

GRAFICI DI SHEWHART

• Alcuni software NON utilizzano la media di pre-periodo• Il grafico è centrato sul riferimento del produttore

• In alcuni casi neanche la DS è del pre-periodo• Il grafico ha una ampiezza dipendente dal riferimento

• Il alcuni casi la media e la DS sono «mobili»

Verificate il comportamento del vostro software

GRAFICI DI SHEWHART

• Il grafico di Shewhart consente di identificare rapidamente i comportamenti «sospetti» e cioè molto differenti rispetto all’esperienza storica

• Es. La probabilità di ottenere un risultato oltre la terza DS è pari allo 0,3% dei casi

4

RISULTATO OLTRE 3DS

95

96

97

98

99

100

101

102

103

104

105

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22

REGOLA 13S

• I risultati oltre 3s sono altamente improbabili (3 su mille)

• Nel gergo cd QC l’occorrenza di 1 risultato oltre 3sviene definito 13s

• Regola di validazione del QC:• I risultati oltre 3s indicano una situazione fortemente

sospetta che deve essere indagata

Westgard JO, Groth T, Aronsson T, Falk H, deVerdier C-H. Performance characteristics of rules for internal quality control: probabilities for false rejection and error detection. Clin Chem 1977;23:1857-67

• La regola 13s è molto specifica ma poco sensibile

• Rileva errori macroscopici di accuratezza (calibrazione non valida, reagente deteriorato etc) che comportano uno spostamento elevato della misura

• Può rilevare errori dovuti alla perdita di precisione solo se questa è molto rilevante.

REGOLA 13S

RISULTATO OLTRE 2DS

95

96

97

98

99

100

101

102

103

104

105

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22

REGOLA 12S

• I risultati oltre 2s sono poco probabili (circa 1 su 20)Non rarissimi!

• Nel gergo cd QC l’occorrenza di 1 risultato oltre 2s viene definito 12s

• La regola 12s è poco specifica ma molto sensibile• Se applicata la regola produrra un elevato numero di

interventi non necessari

Non utilizzarla per rigettare la seduta analitica ma di utilizzarla come «avviso»

2 RISULTATI OLTRE 2DS

95

96

97

98

99

100

101

102

103

104

105

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

REGOLA 22S

• I risultati oltre 2s sono poco probabili (circa 1 su 20)2 risultati di seguito oltre 2s sono estremamente improbabili

• Nel gergo cd QC l’occorrenza di 2 risultato oltre 2s viene definito 22s

• La regola 22s è specifica e sensibile• richiede 2 controlli per rilevare il problema

REGOLA 22S

• La regola rileva la perdita di accuratezza• (Es. calibrazione non più valida, problemi con il

calibrarore, bianco reagente non valido etc)

• Può essere utilizzata con i controlli a livello singolo confrontando due sedute analitiche

Può essere utilizzata con maggiore efficacia con i controlli multilivello

REGOLA 22S

Livello 1 +2s Livello 2 +2s

95

96

97

98

99

100

101

102

103

104

105

1 2 3 4 5 6 7 8 9 10111213141516171819202122

104

105

106

107

108

109

110

111

112

113

1 2 3 4 5 6 7 8 9 10111213141516171819202122

SALTO DI 4DS (-)

95

96

97

98

99

100

101

102

103

104

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

95

96

97

98

99

100

101

102

103

104

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

SALTO DI 4DS (+)

REGOLA R4S

• La regola rileva la perdita di precisione• Es. guasto strumentale

• Può attivarsi anche per la perdita di linearità• Es. reagente deteriorato

• Può essere utilizzata con i controlli a livello singolo confrontando due sedute analitiche

• Può essere utilizzata con maggiore efficacia con i controlli multilivello

REGOLA R4S

Livello 1 + 2s Livello 2 -2s

95

96

97

98

99

100

101

102

103

104

105

1 2 3 4 5 6 7 8 9 10111213141516171819202122

104

105

106

107

108

109

110

111

112

113

1 2 3 4 5 6 7 8 9 10111213141516171819202122

DEVIAZIONE PERSISTENTE 4 OLTRE 1DS

95

96

97

98

99

100

101

102

103

104

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25

REGOLA 41S

• La regola rileva la perdita di accuratezza • Es. calibratore deteriorato

• Può attivarsi anche per la perdita di linearità • Es. reagente deteriorato

• Può essere utilizzata con i controlli a livello singolo confrontando quattro risultati

• Può essere utilizzata con maggiore efficacia con i controlli multilivello

DEVIAZIONE PERSISTENTE

95

96

97

98

99

100

101

102

103

104

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31

REGOLA 10X

• La regola rileva la perdita di accuratezza• Es. calibratore deteriorato

• Può attivarsi anche per la perdita di linearità• Es. reagente deteriorato

• Può essere utilizzata con i controlli a livello singolo confrontando 10 risultati

• Può essere utilizzata con maggiore efficacia con i controlli multilivello

DEVIAZIONE NON COSTANTE

104

105

106

107

108

109

110

111

112

113

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

REGOLA 2di32S

• La regola rileva la perdita di precisione

• Può essere utilizzata con i controlli a livello singolo confrontando due risultati di tre esecuzioni successive

• Può essere utilizzata con maggiore efficacia con i controlli su tre livelli

TREND NEGATIVO

104

105

106

107

108

109

110

111

112

113

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26

REGOLA 7T

• La regola rileva la deriva di una calibrazione a causa di un costante deterioramento

• Per numeri inferiori a 7 può dare un elevato tasso di falsi positivi

• I trend possono essere difficili da rilevare con sensibilità e specificità a causa della imprecisione del metodo che spesso è confrontabile con questi fenomeni

LO SCOPO DEL CQI(RELOADED)

AVVISAMI QUANDO C’E’

QUALCOSA CHE NON VA

LO SCOPO DEL CQI(RELOADED)

C’E’ QUALCOSA

CHE NON VA

«RIMANDO IL CONTROLLO?»

• Ottenere un risultato accettabile non cancella il precedente

• Alla violazione di una regola la refertazione deve essere sospesa fino a risoluzione

• Il re-run dei controlli può essere utile per stabilire la tipologia di problema

«RICALIBRO?»

• Il controllo di qualità dopo una calibrazione «riparatrice» potrebbe essere accettabile «per caso»

• Calibrare uno strumento con problemi di imprecisione può peggiorare le cose

• Gli esiti di una nuova calibrazione debbono essere attentamente valutati (storico)

«ACCENDI L’ARIA CONDIZONATAE VEDRAI CHE ANDRÀ BENE»

• L’efficacia di un intervento correttivo deve essere attentamente valutata

• Nessun problema si risolve da solo

• Può essere utile avere un mezzo di controllo indipendente su più livelli (campioni del giorno prima?)

DOV’È IL PROBLEMA

INACCURATEZZA IMPRECISIONE

95

96

97

98

99

100

101

102

103

104

1 2 3 4 5 6 7 8 91011121314151617181920212223242526272829303132

95

96

97

98

99

100

101

102

103

104

105

1 2 3 4 5 6 7 8 91011121314151617181920212223242526272829303132

INACCURATEZZA

Un aumento del bias può essere dovuto a:

•Calibrazione vecchia• Calibratore deteriorato· Sottrazione del bianco non corretta· Reagenti deteriorati· Perdita di linearità della metodica· Malfunzionamento costante· Termostatazione non corretta

IMPRECISIONE

Un aumento del CV può essere dovuto a:

• Reagenti o campioni non omogenei• Liquido di sistema non omogeneo• Malfunzionamento del diluitore• Posizioni di lettura usurate•Malfunzionamento del sistema di lettura

QUALCHE DOMANDA

• C’è un solo CQI che viola le regole?

• Sono apparse condizioni di avviso per un altro reagente?

• Metodiche simili sono performanti in maniera analoga?

• Stamattina Mario toccato qualcosa?• Cambio calibratore, controllo, reagente, consumabile

• Ripetendo il controllo si ottiene un CV adeguato?

• Inaccuratezza o imprecisione?

• E i pazienti analizzati finora?

VERIFICARE, ANCORA E ANCORA

• La bontà dei risultati ripetuti deve essere valutata statisticamente

• 60% ripetizioni entro 1 CV• 95% ripetizioni entro 2 CV

• La distribuzione dei risultati deve essere compatibile con lo storico e il riferimento

• I risultati debbono essere compatibili con le condizioni cliniche

TIPOLOGIE DI REGOLE

• Regole per intercettare l’imprecisione• 12,5S, 13S, R4S, 2di32S, , 3di92S

• Regole per intercettare l’inaccuratezza• 22S, 41S, 10x, 7T

QUALE SET DI REGOLE?

• E’ possibile stimare l’efficacia di un set di regole in maniera quantitativa. Alcuni suggerimenti:

• Controllo a uno o due livelli:• 13s, 22s, R4s, 41s,10x

• Controllo a tre livelli:• 13s, 2di32s, R4s, 31s, 9x

Westgard JO et al. Performance characteristics of rules for internal quality control: Probabilities for false rejection and errordetection. Clin Chem 1977;23:1857-67.

CQ

Ripeti

CQI

Deviazioni

tutte dello

stesso segno?

Ricalibra.

Ripeti CQI due volte.

Ripeti i campioni

quando il CQI è OK.

12S

Risultati non validi

Metodica imprecisa. Dosa i campioni urgenti in triplo.

Campioni OK se ripetizioni entro 1CV. Apri NC.

Contatta responsabile

2su32S

SI SI SI

SI

Risultati non validi.

Apri NC.

Contatta responsabile

NO

NO NO

R4S 41S

SI

7T

Apri NC per instabilità reagente.

Rivaluta frequenza calibrazione.

21S

SISI

CQI OK

NO NO NO NO

SI

SI

Ripeti

CQI

Ri

CQ

NO

13S 10x

NO

SISI

Ripeti CQI

RIVALUTARE LE PERFORMACE

• Le performance analitiche debbono essere periodicamente rivalutate sulla base degli obbiettivi analitici prefissati

• Il CV è entro i limiti previsti?• Il BIAS rispetto è entro i limiti previsti• L’errore totale è entro i limiti previsti?

• Le performance possono essere erroneamente influenzate da CQ inaccettabili per i quali è stata efficacemente posta una azione correttiva

«LO CANCELLO?»

• I risultati del CQI andrebbero esclusi dalla statistica solo se:

• non rappresentano i risultati dei pazienti (nessun campione è stato refertato in quelle condizioni)

• sono relativi ad eventi straordinari e non ripetibili (Es. guasto del diluitore dello strumento)

COSA FARE

• Definire i traguardi di qualità

• Pianificare il QC

• Standardizzare il QC

• Stabilire le regole

• Assegnare le responsabilità

• Utilizzare regole che minimizzino i falsi allarmi

• Utilizzare procedure che prevengano l’errore clinico

• Utilizzare i propri dati per definire l’accettabilità

• Utilizzare procedure informatizzate

• Interrompere la refertazione in presenza di violazioni delle regole, risolvere il problema

• Annotare OGNI intervento

• Ricavare le statistiche per i pazienti

COSA NON FARE

• Non usare regole poco specifiche (Es. 12s)

• Non ignorare le violazioni

• Non risolvere il problema ripetendo il controllo

• Non utilizzare i limiti del produttore

• Non utilizzare risultati privi di controllo valido

• Non fidarsi ciecamente del software dello strumento

• Non abbandonarsi a soluzioni banali in assenza di una analisi del problema

Governance

Validazione

Organizzazione

Metodica

Test

Paziente

IL CONTROLLO DI QUALITÀ: TEORIA E PRATICA NEL LABORATORIO DI ANALISI CLINICHE

Modulo 2

Teoria e pratica del controllo di qualità esterno

Dott. Gianluca Monti, phD

ALMENO IL 70% DELLE DECISIONI DIAGNOSTICHE SONO INFLUENZATE DA

TEST DI LABORATORIO.

QUAL È IL VALORE?

?

5

IL CQI

• Analisi statistica dei risultati ottenuti da uno stesso sistema analitico

• Valuta le performance del vostro sistema nel tempo

• Performance buona• Sistema preciso• Sistema stabile• Buona corrispondenza con il riferimento

VEQ

• Analisi statistica dei risultati ottenuti da sistemi «simili» su un campione «stabili»

• Valuta la comparabilità del vostro sistema con altri

• Performance buona• Sistema preciso• Sistema indipendente dal contesto• Buona confrontabilità dei risultati

VALUTAZIONE ESTERNA DI QUALITÀ

• Valutazione delle performance di parte terza

• Identificazione dei problemi metodologici• Identificazione dei problemi di standard• Stabilire la comparabilità dei risultati• Valutazione metodologica• Proficiency testing

COME FUNZIONA?

• Invio di campioni con cadenza regolare (mensile)

• I partecipanti eseguono i dosaggi nel contesto analitico dei pazienti

• Invio dei risultati e delle informazioni metodologiche

• Confronto dei risultati del laboratorio con quelli di altri laboratori che usano stesso metodo/stesso sistema/tutti

COME FUNZIONA? (2)

• Valutazione statistica della inaccuratezza e della imprecisione dei singoli laboratori

• Valutazione statistica della inaccuratezza e della imprecisione delle metodiche

• Invio dei report ai partecipanti con i riepiloghi delle performace per ogni gruppo

CON CHI MI CONFRONTO

• Gli erogatori di programmi VEQ raccolgono informazioni sui vostri sistemi analitici e metodologici

• In caso di numero sufficiente di risultati validi sarete confrontati con chi ha il vostro stesso sistema (analizzatore/reagente)

• In caso di statistiche ridotte la vostra performance sarà valutata per omogeneità di metodo

• Se il numero è ancora troppo ridotto sarete confrontati con tutti i metodi

• Valutate sempre i vostri sistemi/metodi in riferimento agli altri, anche attraverso gli istogrammi

PERCHÉ PARTECIPARE (1)

• Fornisce un mezzo per migliorare la qualità globale

• Identifica le problematiche tecnico/metodologiche

• Può rappresentare una leva sulle amministrazioni

• Migliora la confidenza sui risultati

• Migliora l’immagine del laboratorio

• E’ un obbligo di legge (?)

PERCHÉ PARTECIPARE (2)

• Fornisce campioni di controllo stabili e dosati che possono essere utilizzati come controlli indipendenti

• Fornisce dati quantitativi e quantitativi sugli strumenti attualmente sul mercato (tendenze metodologiche)

• Aggiornamento sullo stato dell’arte

• Nei grandi laboratori può verificare la performance di linee analitiche multiple

PERCHÉ PARTECIPARE (3)

• I dati statistici di validazione possono essere utilizzati per rivalutare gli obbiettivi di performance del CQI

• Responsabilizza il personale (attenzione alle tentazioni)• I campioni debbono essere trattati come quelli dei

pazienti• A quando una VEQ in provetta?

PUNTI DA FOCALIZZARE (1)

• I fattori che influenzano le performance possono non essere dovuti al laboratorio

• Non sempre le indicazioni fornite sono tradotte in un reale miglioramento per il laboratorio

• Relativamente costoso, soprattutto se esteso a molti pannelli

• Costo di iscrizione• Costo di dosaggio

PUNTI DA FOCALIZZARE (2)

• Le statistiche richiedono grandi numeri. Per il glucosio è semplice ma per l’androstenedione?

• Nonostante l’impegno dei fornitori i report risultano di difficile lettura (SDI RMSDI %DEV RM %DEV Target IP Range FLAG LA ABR REF MISA) e spesso si guarda solo alle flag in formato grafico (triangoli, mine, stelle…)

• Le procedure di invio dei risultati sono spesso poco pratiche da utilizzare (Mario si è distratto)

PUNTI DA FOCALIZZARE (3)

• E’ necessario elaborare protocolli interni per la valutazione dei risultati e le relative azioni correttive

• Per alcuni parametri la standardizzazione delle metodologie è praticamente inesistente (Es. PTH). «Vince la maggioranza»

• ATTENZIONE -> Non sostituisce il CQI, lo integra

ISO 15189:2007

ISO 15189:2007

RIFERIMENTI

• ISO13528: Statistical Methods for Use in Proficiency Testing by Inter-laboratory Comparisons

• IUPAC: International Harmonised Protocol for the Proficiency Testing of Analytical Chemistry Laboratories;

OPERATORI CERTIFICATI

• RIQAS

• Bio-Rad

• WEQAS

• LGC

• Labquality (36 programmi)

• RCPA QAP (Solo alcuni programmi)

• NRL EQAS (solo sierologia)

• API

• ………………

ISO 17043

• Design statistico del programma

• Valori di riferimento utili allo scopo della valutazione• Intervalli di valutazione utili allo scopo della valutazione• Valutazione della stabilità del campione

• Qualità del campione• Matrice• Concentrazioni

ISO 17043

• Comunicazione con i partecipanti• Chiarezza nelle scadenze• Chiarezza nei criteri di elaborazione > Documentazione• Chiarezza nei report

• Fornitori esterni

• Etica del programma

CARATTERISTICHE DEI CAMPIONI

Omogeneità e stabilità

• Tutti i partecipanti dovrebbero ricevere campioni «identici»

• Stabilità• Omogeneità

IL VALORE DI RIFERIMENTO

• Adeguata allo scopo: confrontabilità dei risultati

• Stabilita sulla base di un principio di «consenso»

• Errori grossolani («Mario ha analizzato il 3 al posto del 4»)

• Outlier statistici: occasionali deviazioni di grossa entità

• Calcolo della media di riferimento con sistemi statistici robusti

STATISTICA ROBUSTA

• La statistica classica fa delle assunzioni difficili da soddisfare nella realtà

• errore non gaussiano• Presenza di più mode• Distribuzioni anomale

• Statistica robusta• Scartare gli outliers• Ricalcolare la statistica e rivalutare• Stabilire il valore consenso• Stabilire l’incertezza della media consenso

«CONSENSO»

• Alcuni dosaggi, per via delle intriseche caratteristiche, sono soggetti a distribuzioni «esotiche»

• I fornitore del programma VEQ deve fornirvi informazioni qualitative e quantitative

• Metodologia di selezione• Numero di outliers• Errore statistico nel calcolo del valore consenso• Istogramma di tutti i risultati

«CONSENSO»

• Per stabilire un valore consenso è necessario un numero minimo di partecipanti

• I programmi «diffusi» sono avvantaggiati

• In ogni caso saranno calcolati valori consenso• Per lo stesso sistema/metodica• Per la stessa metodica• Per tutti i metodi

OBBIETTIVI DI QUALITÀ

• Il fornitore della VEQ stabilisce degli obbiettivi di qualità sulla base delle performances desiderabili

• Variabilità biologica• Stato dell’arte• Significato clinico

INDICATORI DI PERFORMANCE

Deviazione (%)

• Rappresenta la deviazione rispetto alla media consenso

• E’ l’equivalente del BIAS nel CQI

• Può essere riportata in grafico in funzione del tempo o della concentrazione

BIAS VS CONCENTRAZIONE

BIAS VS TEMPO

LA DEVIAZIONE STANDARD

• Supponendo una distribuzione di tipo gaussiano è il principale indice statistico per valutare la dispersione dei risultati

• Valutando la DS del vostro gruppo di riferimento, a meno di problemi di stabilità, è possibile valutare la precisione del vostro gruppo di appartenenza

• Consente di ricavare gli intervalli di accettabilità dei singoli risultati

DEVIAZIONE STANDARD

Target

• Standard deviation for performance assessment

• Rappresenta la DS desiderabile o raccomandata

• Può non essere soddisfatta dallo stato dell’arte

Rilevata

• Rappresenta la DS effettivamente misurata nella statistica di consenso

• Include la variabilità di misura e quella del campione

INDICATORI DI PERFORMANCE

IDS

Rappresenta il vostro scostamento dalla media consenso rapportato alla deviazione standard del gruppo consenso

Utile perché può essere riportato in un grafico di lettura simile a quello di Shewhart utilizzato per il CQI

IDSSi riporta in grafico la IDS di ogni campione

I punti nella zona ± 1 IDS sono «frequenti» e cioè ottenuti da circa il 68% dei partecipanti

I punti entro ± 1-2 IDS sono meno «frequenti» e cioè ottenuti da circa il 27% dei partecipanti

Al crescere della IDS i risultati non sempre meno probabili (3 IDS < 5 %, 4 IDS < 0,3%)

PERFORMANCE INDEX/SCORE

• Un «voto» calcolato sulla base della performace desiderabile

• Un sistema di scoring adeguato è un compromesso tra sensibilità e specificità

• Il fornitore rapporta la vostra deviazione (IDS) con una deviazione standard «desiderabile» assegnata ad ogni analita

• Utile obbiettivo per il miglioramento della qualità su indicazione di parte terza

INSEGNAMENTI DAL PASSATO

PERCHÉ PARTECIPARE (4)

Nel 1974, ventinove anni dopo la fine della guerra, una notizia sensazionale fece il giro del mondo.

A 54 anni suonati, l'ultimo difensore nipponico delle Filippine decise di deporre le armi.

Si trattava del tenente di fanteria Hiroo Onoda.

PERCHÉ PARTECIPARE (4)

Il soldato, ormai ridotto a vivere nella giungla come un animale e a nutrirsi di bacche e di serpenti, decise di consegnarsi ad una pattuglia della polizia incrociata ai limiti della foresta.

Il soldato risultava ancora in possesso del suo fucile d'ordinanza con baionetta, di alcuni caricatori e di una decina di bombe a mano arrugginite.

NON SIATE COME HIROO

Io ho i «miei» valori di riferimento

Hiroo Onoda