ROMA, 10 ottobre 2011

Perché validare i metodi?

Per lavorare in qualità.La norma di riferimento per i

laboratori è la UNI CEI EN ISO/IEC 17025:2005.

“ Requisiti generali per la competenza dei laboratori di prova e di taratura ”,

Garanzia della qualitàLa garanzia della qualità si riferisce alla

capacità del laboratorio di dimostrare che la qualità del dato è quella dichiarata (il controllo di qualità è quindi condizione necessaria ma non sufficiente per la garanzia della qualità).

Essa non si ferma alla gestione del metodo di analisi né a quella del campione (dal campionamento al trasporto, dalla accettazione alla conservazione, dal foglio di lavoro al referto) ma anche delle attività connesse quali: approvvigionamenti, contratti di manutenzione, rapporti con il cliente, aggiornamento, ecc.

Attività del CdQ relative ai metodi di prova:

Uso di metodi adeguatiTaratura e/o controllo delle

apparecchiatureAddestramento e formazione del

personaleUso di reagenti di adeguata purezzaUso di materiali di riferimento

adeguatiUso di carte di controlloAdesione a circuiti interlaboratorio

Definizione di validazione• UNI CEI EN ISO/IEC 17025:2005 punto

5.4.5.1: • La validazione è la conferma attraverso

l’esame e l’apporto di evidenza oggettiva che i requisiti particolari per l’utilizzazione prevista sono soddisfatti.

• UNI EN ISO 9000:2005 punto 3.8.5: • La validazione è la conferma, sostenuta

da evidenze oggettive, che i requisiti relativi ad una specifica utilizzazione o applicazione prevista sono stati soddisfatti.

Definizione di validazione 2 Validare significa verificare con criteri statistici che il metodo analitico è adatto alla misura (“fit for purpose”).

Per le prove chimiche l’elaborazione statistica è basata sulla distribuzione normale dei dati.

UNI CEI EN ISO/IEC 17025:2005 punto 5.4.5.2

“Il laboratorio deve validare :i metodi non normalizzati, i metodi progettati/sviluppati dal laboratorio, i metodi normalizzati utilizzati al di fuori del proprio

scopo e campo di applicazione prefissato,così come estensioni di metodi e modifiche di metodi

normalizzati, per confermare che i metodi siano adatti all’utilizzazione prevista.

La validazione deve essere estesa in modo da soddisfare le esigenze di una data applicazione o campo di applicazione. Il laboratorio deve registrare i risultati ottenuti, le procedure utilizzate per la validazione, così come una dichiarazione circa l’idoneità del metodo per l’utilizzo previsto”.

Quindi si valida un metodo nei seguenti casi:

sviluppo di un nuovo metodo;revisione di metodi già validati in seguito a

modifiche sostanziali (quindi non necessitano una validazione, ad es. cambi di colonna di uno stesso tipo, modifiche della rampa di temperatura, ecc.);

le carte di controllo indicano variazioni del rendimento del metodo;

il metodo è utilizzato da un laboratorio diverso;

si deve dimostrare l’equivalenza di due metodi, ad es. quello nuovo con un metodo normato di riferimento;

il metodo, pur emesso da un Ente riconosciuto, non viene dichiarato da questo validato .

La norma dice anche, al punto 5.4.3, che:

La loro introduzione nell’uso “deve essere un’attività pianificata e deve essere affidata a personale qualificato con risorse adeguate”;

“i piani devono essere aggiornati in relazione allo sviluppo eseguito e deve essere garantita un’efficace comunicazione fra tutto il personale coinvolto”.

Progettazione della validazione 1Ricognizione delle esigenze del cliente o

della norma di legge.Pianificazione della progettazione (analisi

della letteratura, verifica dei requisiti professionali, tecnici, economici, ambientali, dei tempi, delle procedure).

Esame di fattibilità (previsione di spesa, addestramento, adeguamento locali e delle apparecchiature, programmazione dei tempi) o, viceversa, necessità di esternalizzare il metodo.

Circolare del Ministero della Salute prot. N. 2322 P del 10/05/2010

…”In particolare, qualora un laboratorio, non sia in possesso dell’accreditamento di una prova, il campione …. deve essere trasferito dal laboratorio ricevente al laboratorio in possesso di tale prova accreditata”.

Progettazione della validazione 2

Realizzazione del progetto, che comprende: • stesura della bozza del metodo (v. punto

5.4.4. della UNI CEI EN ISO/IEC 17025 :2005),

• stesura del protocollo di validazione, • acquisto dei materiali, • verifica delle apparecchiature impiegate

(taratura e manutenzione), • fase operativa

Riesame della progettazione (collegiale): in corrispondenza delle varie fasi di avanzamento vanno eseguiti e documentati riesami formali dell’adeguatezza del personale, delle apparecchiature e delle specifiche tecniche.

Stesura del rapporto finale (Responsabile della prova).

Verifica della progettazione (Responsabile della prova): ogni requisito di base deve risultare soddisfatto, o in caso contrario, devono essere adottati (e registrati) gli opportuni provvedimenti.

Eventuale rivalidazione del metodo.Validazione finale ed emissione del metodo. Fino alla

validazione finale (approvazione da parte del Responsabile del Laboratorio e autorizzazione del Responsabile del Dipartimento) si possono apportare tutte le modifiche ritenute necessarie.

Progettazione della validazione 3

Riesame della prova

• Una volta l’anno si esegue il riesame della prova, ovvero si valuta, attraverso i controlli di qualità interni ed esterni, se il metodo ha mantenuto le sue “performances” iniziali.

• Se così non è si deve ricercarne e correggerne le cause o, in alternativa, riemettere il metodo con le nuove caratteristiche.

Revisione del metodo

• Il tutto poi rientra, sempre annualmente, nel riesame della qualità, che assume una rilevanza fondamentale di verifica del raggiungimento degli obiettivi: tale verifica si interconnette anche con il Controllo di Gestione, con i programmi di investimenti, con la formazione quindi dei bilanci di previsione.

Rivalidazione delle prove Anche prima del riesame annuale si possono

presentare dei casi in cui si dovrà procedere a una rivalidazione :

• Esame dei controlli di qualità• Introduzione di nuove apparecchiature• Variazione di reagenti . • Modifica nella preparazione dei campioni • Il metodo non è più stato adoperato per lungo

tempo. Non sempre è necessaria una rivalidazione

completa: è sufficiente che essa riguardi le parti influenzate dal cambiamento introdotto.

.

Documentazione 1Procedura di progettazione e sviluppo dei metodi,

con indicate le responsabilità e le modalità di progettazione.

Procedura di validazione (e/o rivalidazione), con indicate le responsabilità, le modalità di effettuazione, i parametri da determinare, le modalità di elaborazione dei dati.

Modulo di registrazione delle prove di validazione, che riporti i dati grezzi e i relativi calcoli ed al quale siano allegati eventuali reports strumentali.

Procedura tecnica o metodo interno che contenga tutte le informazioni previste al punto 5.4.4 della UNI CEI EN ISO/IEC 17025:2005 e, preferibilmente, anche i risultati della validazione.

Documentazione 2

Definizione dei criteri di accettabilità della validazione in funzione della normativa o dell’ accordo con il cliente

Registrazione della qualifica degli operatori tramite l’apposita modulistica.

Rapporti di manutenzione e taratura delle apparecchiature.

Certificati relativi ai materiali di riferimento.Elaborazione statistica dei dati.

Priorità nella scelta di un metodo1. metodi di legge, italiana o comunitaria;2. metodi normati da Enti di normazione

(ISO, CEN, UNI, DIN, UKAS, ecc.);3. metodi ufficiali di organizzazioni tecnico-

scientifiche (EPA, IRSA, UNICHIM, ISTISAN, NIH, ISPRA, ecc.);

4. metodi di letteratura di chiara fama.

I primi due sono i metodi normati, i primi tre sono i metodi normalizzati.

Parametri della validazioneLOD, LOQ;sensibilità;campo di applicazione (matrice);campo di misura (linearità);specificità/selettività;precisione (scarto tipo di ripetibilità

stretta /intermedia – riproducibilità);esattezza (bias);incertezza di misura;robustezza

Limite di rilevabilità (LOD)Occorre distinguere fra:limite di rilevabilità strumentale: la più

piccola concentrazione del materiale di riferimento per cui lo strumento fornisce un segnale distinguibile dal bianco (es.: rapporto segnale rumore pari a 3);

limite di rilevabilità del metodo: la più piccola concentrazione di analita aggiunto al campione, trattato come previsto dal metodo, che fornisce un segnale significativamente distinguibile dal bianco. E’ questo che interessa ai fini della validazione.

Limite di rilevabilità 2

Esistono tre modalità da cui può essere calcolato:

mediante analisi del bianco;mediante analisi dei campioni contenenti

concentrazioni via via più basse di analita;mediante retta di taratura.

Limite di rilevabilità 3 1. Nel primo caso si effettuano 10 prove (in questo

caso, e in tutti i successivi si indica un numero minimo di 10 ripetizioni affinché, dopo l’analisi e lo scarto dei dati aberranti, ne rimangano almeno 6 utilizzabili) su una matrice reale non con-tenente l’analita. Si calcola quindi la media Xb e lo scarto tipo sb del segnale. Il segnale analitico minimo rilevabile è SLdR = Xb + k ∙ sb con k generalmente pari a 3.

Si tenga presente che in tutti i casi in cui non si riesce a reperire una matrice certificata è possibile costruirsela in laboratorio, ma in questo caso si deve dichiarare come stata ottenuta e si deve documentare, con metodi oggettivi statistici, che è stata valutata la sua omogeneità e stabilità nel tempo.

Limite di rilevabilità 4 2. Dove è difficile identificare un segnale del

bianco (croma-tografia, titolazioni, ecc.) si analizzano campioni derivanti da una matrice di riferimento a concentrazione CMR sempre più bassa sino a non avere più una risposta misurabile affidabile (media circa uguale alla deviazione standard). Si ripete 10 volte l’analisi di quella concentrazione (alternandola con prove su matrici esenti per escludere la presenza di effetto memoria) ottenendo una media X ed uno scarto tipo s. Il Limite di Rilevabilità è dato allora dalla formula:

LdR = [(2s)/X] ∙ CMR (2 fattore di copertura per il livello di fiducia del

95%). Si noti che la presenza di interferenti in matrice

può variare la soglia minima di individuazione dell’analita.

(Limite di rilevabilità 5) 3. Dalla retta di taratura il limite si ottiene

da: LdR = 3 ∙ sy/x∙fd / b dove sy/x è lo scarto

tipo dei residui, b la pendenza della retta e fd il fattore che riporta la concentrazione analitica a quella del campione iniziale. Da notare che questo metodo è adatto se si può escludere l’effetto matrice, di cui la retta di taratura non tiene conto, a meno che essa non sia stata costruita con matrice esente dall’analita di interesse.

Limite di quantificazione (LOQ)Il limite di quantificazione si ricava dalle stesse

formule ma con un fattore 10 al posto del fattore 3. In conclusione si può dire che le concentrazioni al di sotto del LOD sono quelle per cui non possiamo dire che c’è l’analita, quella fra LOD e LOQ è la regione in cui possiamo dire che c’è ma non quanto ce ne sia. E’ possibile accontentarci di un limite che è al di sopra del LOQ ma comunque ben al di sotto di quanto è previsto essere corrispondente agli scopi del metodo: in questo caso possiamo definire tale concentrazione come “limite di certificazione”, nel senso che il laboratorio è in grado di certificare ogni valore al di sopra di esso.

Limite di quantificazione 2

Quando la norma dice che qualsiasi concentrazione della sostanza in esame è da considerare sanzionabile, il laboratorio non deve necessariamente dotarsi della migliore tecnica analitica disponibile (BAT), ma dovrà dichiarare il suo limite di quantificazione come concentrazione al di sotto della quale non è possibile dare un valore numerico al risultato della prova.

Campo di misura E’ l’intervallo di concentrazione entro il quale

i parametri di validazione sono ritenuti accettabili e quindi il metodo è applicabile. L’estremo inferiore coincide con il LOQ quello superiore con il valore massimo della curva di taratura o la portata massima dello strumento (ad es. linearità del rivelatore).

Linearità 1 E’ l’intervallo di concentrazione all’interno

del campo di misura in cui sussiste una relazione lineare tra il segnale misurato e la concentrazione dell’analita.

L’analisi della regressione consente di stabilire quale relazione esiste fra le due variabili, l’analisi della correlazione esprime la bontà di tale relazione.

L’adeguatezza del modello lineare deve

essere dimostrata.

Linearità 2 Ciò si ottiene tramite l’analisi dei residui

(differenze fra i valori sperimentali e i corrispondenti valori sulla curva di calibrazione). Si esegue inoltre un test F per verificare che l’incertezza sull’asse delle ascisse (concentrazione) sia trascurabile rispetto a quella delle ordinate (segnale).

Il coefficiente di determinazione R2 = ESS / TSS è ritenuto accettabile se è almeno pari a 0,97. Questo valore deve essere deciso a priori insieme all’intervallo di tolleranza della pendenza (iperboli fiduciarie della retta di calibrazione).

(Test ANOVA:)

Per la relazione y = a + bx l’ipotesi H0 è che il coefficiente della x sia uguale a zero

i(yi – ym)2 = i(yi – yi’ )2 + i(yi

’ – ym)2

totale(TSS) residua(RSS) spiegata(ESS)

F = (ESS/p) / [RSS / (N-p-1)]

H0 si deve rifiutare al livello di significatività prescelto se F è maggiore del valore tabulato per p e N-p-1 g.d.l.

Linearità 3 L’intervallo di linearità può essere determinato

con prove su almeno 5 livelli di concentrazione, incluso lo zero di cui uno coincidente (a meno di praticabilità operativa) con il LOQ, uno prossimo al limite di legge ed uno prossimo all’estremo superiore del campo di misura. Tali prove devono essere ripetute almeno in triplo e devono essere indipendenti tra loro (non quelle all’interno di uno stesso livello).

Ogni volta che si esegue una curva di taratura, nei casi in cui essa è ripetuta per ogni seduta analitica, si deve verificare che essa non sia significativamente diversa (test statistici della pendenza e dell’intercetta) da quella ottenuta in fase di validazione (iperboli fiduciarie).

Linearità 4

Linearità 5E’ di capitale importanza che la composizione dei materiali di riferimento sia il più vicino possibile a quella del campione incognito.

Non si devono mai mettere nel rapporto di prova valori al di fuori della retta di taratura.

Sensibilità

Coincide con la pendenza della curva di taratura.

 

Specificità/Selettività 11. Metodi aspecifici senza retta di taratura con

interferenti noti: si verifica l’eventuale influenza sulla determinazione dell’analita mediante aggiunta di potenziali interferenti noti nella matrice. Si effettuano almeno 10 prove ripetute in tali condizioni, al fine di individuare quale componente chimico ed a quale livello può interferire nell’ analisi.

Specificità/Selettività 1Poi però occorre:• quantificare la influenza

dell’interferente• eliminarlo (filtrazione,

precipitazione, complessazione, ecc.),

• adottare un metodo alternativo.

Specificità/Selettività 2 2. Metodi aspecifici senza retta di taratura

con interferenti sconosciuti: se non si dispone di alcuna informazione relativa agli interferenti, si possono sottoporre a prova matrici reali non contenenti l’analita. In tal caso però è difficile attribuire a un composto specifico l’effetto interferente. E’ quindi opportuno restringere il campo di applicazione e adottare un metodo alternativo.

Specificità/Selettività 3 3. Metodi aspecifici con retta di taratura:

si verifica se c’è effetto matrice costruendo la retta di taratura nel solvente puro e la stessa retta sul campione tal quale col metodo delle aggiunte. Se le due rette sono parallele si può concludere che la matrice non influenza il risultato analitico. Altrimenti la retta di taratura andrà sempre fatta sul campione col metodo delle aggiunte (sempre che il metodo delle aggiunte dia luogo ad un andamento lineare).

Specificità/Selettività 4 4. Metodi specifici: per questi

metodi la specificità è legata alla capacità di ottimizzare la risoluzione del segnale (capacità di separare due sostanze consimili o di distinguere fra due sostanze che coeluiscono in base alla diversità delle loro caratteristiche chimico-fisiche), ed è in questa direzione che si deve operare.

Precisione 1 Si eseguono le prove di precisione su almeno 10 aliquote di almeno tre livelli di concentrazione, di cui – anche in questo caso – uno vicino al LOQ, uno vicino all’eventuale limite di legge ed uno prossimo all’estremo superiore del campo di misura.

Precisione 2

Per ogni livello si valuta se la distribuzione di dati sia o meno di tipo gaussiano mediante il test di Shapiro-Wilk (p=95%), e si eliminano eventuali dati aberranti con il test di Dixon (p=95%) e/o di Grubbs (il primo ha l’handicap che un dato anomalo basso può essere mascherato da un dato anomalo alto).

Precisione 3

Se le prove sono state eseguite da operatori diversi si sottopongono anche all’analisi della varianza (ANOVA) per verificare che provengano tutti da una stessa popolazione statistica. Quando si dispone di un metodo normato si esegue il test F per confrontare lo scarto tipo del laboratorio con quello del metodo normato, se questo lo riporta.

Precisione 2 Ancora si può confrontare lo scarto tipo del

laboratorio con quello ricavato dall’equazione di Horvitz (H= 0,02 ∙ C0,85) e tale rapporto deve stare tra 0,5 e 0,66. Il valore di CV% rica-vato dalla formula di Horvitz è comunque un indicazione del target di ripetibilità a cui ci si deve attenere.

La ripetibilità si valuta anche dal limite di ripetibilità, la cui espressione matematica è r = t∙sr∙√2 ; t è ovviamente la t di Student al 95% per un numero di gradi di libertà (n -1). La differenza fra due repliche di una certa prova deve stare al di sotto del limite di ripetibilità perché il metodo sia giudicato sotto controllo. Allo stesso modo il limite di riproducibilità R = t∙sR∙√2 permette di stabilire se la differenza fra due risultati ottenuti da due laboratori diversi sia accet-tabile o meno.

Precisione 3

Lo scarto tipo di riproducibilità entra nel calcolo dello z-score (e da esso si può ricavare) quando si partecipa ad un circuito interlaboratorio, essendo

z-score = (x - ) / sR

dove x è il dato (medio) del laboratorio e il valore target ricavato dal circuito.

Esattezza 1 E’ il grado di accordo fra il valor medio di

una serie di determinazioni ( xm) ed il valore accettato come vero (). Può essere espressa come recupero percentuale R% = (xm /) ∙ 100 oppure come errore relativo percentuale e% = ( | xm - | / ) ∙ 100.

Si effettuano le solite 10 prove su un matrice certificata per l’analita di interesse o su un campione reale addizionato con una quantità nota di materiale di riferimento e si confronta il valor medio ottenuto col valore atteso.

Esattezza 2 Si calcola quindi lo scarto tipo delle 10 prove e

si sottopone il risultato al test t, calcolato con la seguente equazione: t = [ 1 - Rm] / u(Rm), dove Rm è il recupero medio ottenuto e u(Rm) è l’incertezza composta associata al recupero medio, oppure t = [ - xm] / u(Rm). Se t è inferiore al t tabulato per un test a due code con significatività al 95% il metodo si considera esatto. In caso contrario deve essere definito il fattore di recupero e dovrà essere dichiarato nel metodo se il risultato finale delle prove deve essere corretto o meno per tale fattore. Un fattore di recupero è considerato accettabile se ≥ 75%.

Esattezza 3 Quando si impiega lo standard interno non c’è

bisogno di calcolare il fattore di recupero. Lo standard interno potrebbe (dovrebbe?, ndr) essere aggiunto addirittura in fase di campionamento, così da rendere conto delle perdite dovute a trasporto e conservazione.

In caso non si possa reperire il materiale di riferimento si può ricorrere al confronto con un metodo considerato di riferimento. In questo caso i parametri della retta di correlazione fra i due metodi vanno sottoposti a test statistico; in particolare l’intercetta non deve essere significativamente diversa da zero e la pendenza non deve essere significativamente diversa da uno.

Robustezza 1 E’ la capacità di un metodo di non essere influenzato significativamente da fattori esterni e/o da sensibilità incrociata nei confronti di interferenze provenienti dalla matrice del campione. La robustezza rappresenta l’efficienza di un metodo e la sua stabilità nel tempo.

Robustezza 2 Per determinare la robustezza occorre

individuare, nella fase di sviluppo del metodo, le variabili che possono influenzare nel tempo il deterioramento delle sue prestazioni, suddividendo il procedimento analitico nelle parti che lo compongono. Tra le variabili si possono considerare reattivi o materiali di riferimento di lotti o produttori diversi, strumenti diversi, condizioni ambientali (temperatura, illuminazione), operatori diversi.

Robustezza 3 Introducendo deliberatamente tali

variazioni si possono confrontare i dati ottenuti nei vari casi. Se le varianze reggono a un test ANOVA il metodo si può considerare robusto. Alcune variabili possono essere individuate solamente con l’applicazione del metodo su matrici reali diverse. Per valutare la robustezza occorre in ogni caso definire una frequenza di riesame della validazione. Di solito si considera sufficiente un periodo di tre anni.

Definizione di incertezza di misura

E’ il parametro associato al risultato di una misura che caratterizza la dispersione dei valori che possono ragionevolmente essere attribuiti al misurando.

(Si misura col metodo olistico o con l’approccio metrologico o, in catodi matrici alimentari, con l’equazione di Horvitz.)

Considerazioni sull’incertezza

LINEE GUIDA PER I LABORATORI DI ANALISI DELLE DROGHE D’ABUSO CON FINALITÀ MEDICO-LEGALI

Commissione Qualità del Gruppo Tossicologi Forensi Italiani (GTFI)

Qualora si debba dare un risultato di positività al di sopra di un cut-off, il metodo di conferma deve inoltre garantire l’attendibilità del dato quantitativo tramite la stima dell’incertezza di misura associata alla determinazione analitica.

Il risultato di positività dovrebbe essere fornito solo se il dato quantitativo ottenuto, sottratto (1 o due volte) dell’incertezza di misura ad esso associata, risulta comunque superiore al cut-off.