Dottor Tarcisio Niglio, M.D.Servizio Elaborazione Dati

Istituto Superiore Sanità

Valutazione dell’affidabilitàdei metodi di analisi:

riproducibilità e ripetibilitàdei risultati di prove microbiologiche.

Roma 26 novembre 2003 – Aula Bovet - ISS

La RIPETIBILITA’ “r”rappresenta il grado di concordanzatra risultati di misure indipendenti

condotte a breve distanza di tempo con lo stesso metodo, sullo stesso materiale, nello stesso laboratorio, con lo stesso operatore

che usa la stessa apparecchiatura.

La RIPRODUCIBILITA’ “R”rappresenta il grado di concordanza

tra risultati di misure condotte

con lo stesso metodo, sullo stesso materiale, in laboratori diversi,

con differenti operatori che usano differenti apparecchiature.

I valori di “r” e di “R” possono essere impiegati anche per

verificare il corretto funzionamento del procedimento di prova di un laboratorio

che non ha partecipato al confronto interlaboratorio.

E’ anzi auspicabile che ogni laboratorio verifichi periodicamente i propri valori

di ripetibilità e di riproducibilità.

Però diffidate dei “Maghi” esperti della statistica

Una cosa sono i numeri della Cabala …

… ed un’altra cosa sonoi risultati

di un lavoro scientifico

Gioco del Golf

Ogni giocatore DEVEimbucare una pallina

in 18 bucheusando un numero prefissato di colpi

(di solito 72)più altri colpi extra detti

handicap in relazionealla sua capacità di gioco.

VINCE chi usa meno colpiper finire di imbucare le

18 buche della gara.

Il Golf NON è un gioco rilassante,ma è un gioco di precisione.

Questo giocatore dimostra di avere una ripetibilità “r” elevata …

… ma NON vincerà mai una gara !!!Sicuramente esegue con regolarità

lo stesso errore durante tutti i tiri.

Se questo invece è il risultato del gioco di più giocatori allora potremo dire che

la riproducibilità “R” è discreta.

… ma forse è meglio cambiare circolo !!!

Ricapitolando:Bisogna imbucarequella maledetta buca …

… andarci vicino non serve a niente.

Si perde un colpo … e la faccia con gli altri giocatori …

6° ciclo UNICHIM-ISS

CBT22 = 0 UFC/1 mLCBT37 = 0 UFC/1 mL

Buca n.1 e n.2

Buca n.3, n.4 e n.5

CT = 0 UFC/100 mLEC = 0 UFC/100 mLPSA = 0 UFC/250 mL

Buca n.6 e n.7

ENT = 31 UFC/100 mLCLOP = 35 UFC/100 mL

Metodi utilizzati nel 3° ciclo

ISS – Unichim - Milano 18.06.2002

C.M. n.17 DL 31 DM 13.01.93 DM 23300 DPR 236 DPR 237 EN 12780 EPA 1600 MOD EPA 570-9 IRSA IRSA 6040+7010 B1 IRSA 6040+7020 B IRSA 6040+7050 IRSA 7010 IRSA 7010 A1 IRSA 7010 B IRSA 7010 B1 IRSA 7010 B2 IRSA 7010-B IRSA 7020 IRSA 7020 B IRSA 7020 B1 IRSA 7030 IRSA 7030 C IRSA 7040

IRSA 7040 B IRSA 7040 B1 IRSA 7050 IRSA 7051 IRSA F ISO 12780 ISO 6222 ISO 7899 ISO 9308 ISO 9308 RAP ISO 9308 STD ISTISAN ISTISAN 00-14 ISTISAN 00-14 PARTE 2 ISTISAN 97-8 ISTISAN 97-8 B ISTISAN 97-8 B1 ISTISAN 97-8 B2 ISTISAN 97-8 C1 MI MI (cromogeno) MI PdP 64-Micr MI PdP 68-Micr ML MU

MU 1006 MU 1185 MU 1185-1 MU 952-1 MU 953 MU 953-1 MU 954 MU 954-1 MU 956 MU 956-1 MU 958 MU 958-1 MU 959 NF V08-060 SM 19th Ed SM 9212 B SM 9222 B SM 9230 C

Non noti (2)

70 tra metodi e loro varianti !!!

30%30%

12%10%

18%

AltroDL31/01IRSAISSMU955

Clostridium

10%

33%

26%

7%

24%

AltroISOIRSAISSMU954

Enterococco

Il metodo MU954-1prevede la tecnica MF

Il metodo MU954-2prevede la tecnica MPN

Perché TRE laboratori del circuitohanno usato le MF

con il metodo MU954-2?!?!?

Nel gioco del Golf,a livello dilettantistico,

NON ci sono regole molto rigidesulla scelta dell’attrezzatura …

… però …

… è meglio fare gli acquisti in un negozio specializzato

ed attrezzato !!!

“tutti i requisiti che devono essere soddisfatti dai laboratori

di prova e di taratura se intendono dimostrare

che attuano un sistema qualità, che sono tecnicamente competenti e

che possono produrre risultati validi tecnicamente.”

Ma quali sono

UNI CEI EN ISO/IEC 17025del novembre 2000

(sostituisce la norma UNI CEI EN 45001)

Versione ufficiale in lingua italianadella norma europea EN ISO/IEC 17025

(maggio 2000)

INTRODUZIONE.

… omissis …

Le certificazioni ISO 9001 e ISO 9002NON dimostrano da sé la competenza

del laboratorio a produrre dati e risultati

tecnicamente validi.

SCELTA DEI METODI.

… omissis …

Si devono utilizzare preferibilmentei metodi pubblicati

nelle normeinternazionali, regionali o nazionali.

METODI NON NORMALIZZATI.

… omissis …

Il metodo sviluppatoDEVE essere validatoin modo appropriatoPRIMA dell’utilizzo.

La validazione è la confermaattraverso esame e l’apporto di

evidenza OGGETTIVA che i requisiti particolari

per l’utilizzazione previstasiano soddisfatti.

… omissis …

VALIDAZIONE DEI METODI

… omissis …

Il laboratorio DEVE registrarei risultati ottenuti,

le procedure utilizzate per la validazione,così pure una DICHIARAZIONE

circa l’idoneità del metodoper l’utilizzo previsto.

VALIDAZIONE DEI METODI

… ma torniamo alla nostra partita di golf …

Dove sono finite le nostre palline ?

6° ciclo UNICHIM-ISS

CBT22 = 0 UFC/1 mL

Buca n.1 e n.2

0

5

10

15

20

25

1--2 3--5 13 137 300

CBT37 = 0 UFC/1 mL

0

5

10

15

20

25

1--2 5 8 25 200

6° ciclo UNICHIM-ISS

Buca n.3, n.4 e n.5

EC = 0 UFC/100 mL18 in triplo

PSA = 0 UFC/250 mLhole-in-one !!!

CT = 0 UFC/100 mL3 – 33 – 35 – 41 - 44

6° ciclo UNICHIM-ISS

Buca n.6 e n.7

ENT = 31 UFC/100 mL CLOP = 35 UFC/100 mL

IRSA 7040 B ISO 7899 2

MU 954 1

= 0 x 1 Lab = 0 x 1 Lab= 0 x 1 Lab

IRSA 7020 BISS Rapp 00 14

IRSA 7060 DL 31/01 MU 955ALTRO

= 0 x 1 Lab= 0 x 4 Lab= 0 x 7 Lab = 0 x 14 Lab= 0 x 12 Lab= 0 x 14 Lab

!!! 52 LAB su 87 !!!

3 LAB su 107

Come risolvere il problema ?

Selezionando i metodi validati,scartando gli altri.

IN MICROBIOLOGIAinvece i risultati e la qualità

si ottengono …

Partecipando a circuiti interlaboratorio,per valutare la

RIPRODUCIBILITA’ <R>.

Per diventareun buon giocatoredi Golf

NON basta“tirare” palline …

IN CONCLUSIONE

Bisogna impegnarsi

e “crescere”sportivamente

cercandodi correggere

gli erroridello stile.

Dott. Tarcisio Niglio

etrusco@iss.it

http://www.tarcisio.net/20031126/niglio.pdf