Statistical Process Control:utilizzo dei funnel plot per il

confronto tra istituzioniElena Nannipieri

Analisi Statistica dei Dati Socio-Sanitari

AA. 2013/2014

Università degli Studi di Firenze

Corso di Laurea Magistrale in

Statistica, Scienze Attuariali e Finanziarie

Sommario

1) Origini e metodi di Statistical Process Control

2) Le carte di controllo: tipologie e caratteristiche

3) I funnel plot come strumento di confronto tra istituzioni

Componenti di un funnel plot

Limiti di controllo

Aggiustamento per il rischio

Dati di variazione

Relazione con il volume

Il problema della sovradispersione

Statistical Process Control

Lo Statistical Process Control (SPC) è una metodologia che fa ricorso a tecniche statistiche al

fine di definire, analizzare e verificare le condizioni che determinano la variabilità di un

processo produttivo.

La qualità di un processo è inversamente proporzionale alla sua variabilità.

SCOPO DELLO STATISTICAL PROCESS CONTROL:migliorare la qualità di un processo, minimizzando le cause di variabilità.

Origine del SPC

Primi anni Venti

Walter ShewartLa variazione nei processi produttivi può essere compresa e controllata con l’utilizzo di metodi statistici.

1924: Shewart sviluppa il concetto statistico di «carta di controllo»

Inizio formale del controllo statistico della qualità.

I metodi di SPC sono stati utilizzati prevalentemente nel controllo industriale della qualità, ma recentemente il loro impiego si è esteso anche alla pratica sanitaria.

Cause di variabilità dei processi

Ogni processo produttivo è soggetto a variabilità.

CAUSE COMUNI: ‐ sorgono in modo casuale durante il normale

svolgimento del processo produttivo;‐ insite nella variabilità del processo produttivo.

CAUSE SPECIALI: ‐ dovute ad eventi occasionali; ‐ non inerenti al processo produttivo.

Un processo si dice «sotto controllo» se è affetto solo da cause di variazione comuni. Se si verificano cause speciali, il processo si dice «fuori controllo».

Processi sotto-controllo e fuori-controllo

Il processo è in controllo fino a t1 ; da t1 in poi subentrano fattori specifici che portano il processo fuori controllo.

OBIETTIVO DEL SPC :eliminare le cause speciali di variazione.

Media della caratteristica di qualità, corrispondente al valore desiderato quando il processo è «sotto controllo»

Carte di controllo

Limiti di controllo (superiore e inferiore): se il processo è «sotto controllo» la gran parte dei punti sta tra questi limiti.

La carta di controllo è la rappresentazione grafica di una caratteristica di qualità di un processo, con riferimento a dei limiti di controllo che tengono conto della variabilità naturale del processo preso in esame.

Le carte di controllo di Shewart

Tipi di carte Tipo di dati Carte di controllo adottate

Carte di controllo per VARIABILI

La caratteristica di qualità è misurabile numericamente e rappresentabile su scala

continua.

Continui

Carte di controllo per ATTRIBUTI

La caratteristica di qualità non può essere misurata

numericamente;sidefinisce l’oggetto solo in base alla conformità delle

unità prodotte.

Discreti

Carte di controllo e test d’ipotesi

•

Concludere che il processo èfuori controllo quando è

sotto controllo.

Concludere che il processo è sotto controllo quando è fuori

controllo.

Definizione dei limiti di controllo

Quanto più i limiti vengono posizionati LONTANO dalla linea centrale

Minore sarà il rischio di errore di I tipo

Maggiore sarà il rischio di errore di II tipo

Quanto più i limiti vengono posizionati VICINO alla linea centrale

Maggiore sarà il rischio di errore di I tipo

Minore sarà il rischio di errore di II tipo

Richiesta di maggiore «accountability» da parte del servizio pubblico

Maggiore attenzione al confronto tra istituzioni

Utilizzo delle LEAGUE TABLES:

Le istituzioni vengono ordinate in una classifica in base ad un indicatore di performance;

Le istituzioni outlyer vengono individuate con l’aiuto di intervalli di confidenza.

Focus eccessivo sul ranking…

Confronto tra istituzioni

L’utilizzo dei funnel plot per il confronto tra istituzioni

Componenti del funnel plot (1)

•

Componenti del funnel plot (2)

Componenti del funnel plot (3)

Limiti di controllo (1)

Limiti di controllo (2)

Tassi di mortalità a 30 giorni dal trattamento per la frattura dell'anca di ultra-sessantacinquenni in 51 ospedali in Inghilterra nel periodo 2000-2001.

Plot dei valori osservati di un indicatore (tasso di mortalità) in relazione ad una misura della sua precisione (volume di casi)

La linea orizzontale rappresenta il target (9.3%)

I limiti di controllo al 95% e 99.8% si riducono all’aumentare del volume di casi

Limiti di controllo (3)

Limiti di controllo per la distribuzione Binomiale

Limiti di controllo per la distribuzione di Poisson

Gli studi che mettono a confronto istituzioni sanitarie devono tenere conto delle disomogeneità esistenti nelle popolazioni studiate.

RISK-ADJUSTMENT: permette di determinare quale parte delle differenze osservate negli esiti sia attribuibile a caratteristiche dei pazienti (fattori di rischio) e quale parte sia riconducibile alla qualità dell'assistenza.

Modelli lineari → outcome “corretti”, al netto degli effetti del diverso case mix

Esempio: Risk-Adjustment (1)

AGGIUSTAMENTO PER IL RISCHIO DEL TASSO DI MORTALITA’

Regressione logistica per modellare l’outcome binario:(paziente morto in ospedale VS paziente dimesso vivo)

Covariate : fattori di rischio.

Esempio: Risk-Adjustment (2)

TASSO DI MORTALITA’ ATTESO

(Expected Mortality Rate)

TASSO DI MORTALITA’ OSSERVATO

(Observed Mortality Rate)

TASSO DI MORTALITA’

RISK-ADJUSTED

(Risk-Adjusted Mortality Rate)

AGGIUSTAMENTO INDIRETTO

Tasso di mortalità complessivo a

livello nazionale

Esempio: Risk-Adjustment (3)

Tassi di mortalità aggiustati per il rischio a 30 giorni dall’intervento di innesto del bypass dell’arteria coronarica nello Stato di New York(1997–1999)

Il target è il tasso di mortalità nazionale del 2,2%.

Esempio: Risk-Adjustment (4)

Relazione con il volume (1)

Bristol Royal Infirmary

Possibile associazione tra outcome e volume di casi

Tassi di mortalità in seguito a interventi di chirurgia cardiaca pediatrica in pazienti con meno di 1 anno di età in 12 centri specializzati inglesi, 1991-1995

Relazione con il volume (2)

Sovradispersione (1)

Tassi di riammissione di emergenza entro 28 giorni dalla dimissione per 67 ospedali in Inghilterra dal 2000 al 2001.

La grande maggioranza delle istituzioni giace al di fuori dell’imbuto!

I limiti di controllo non tengono conto della variabilità in eccesso → SOVRADISPERSIONE

Sovradispersione (2)

Questo comportamento è dovuto all’impatto di covariate

non misurate, che contribuiscono a creare variabilità in

eccesso.

→ AGGIUSTAMENTO PER IL RISCHIO INSUFFICIENTE

Se l’eccesso di variazione non viene tenuto in

considerazione, la maggioranza delle istituzioni può

essere identificata dal funnel plot come unità fuori-

controllo.

Il problema della sovradispersione può essere

risolto in vari modi…

Sovradispersione (3)

1) Non usare l’indicatore• indicatore non adatto al confronto; • non sono stati compresi i fattori che generano la

variabilità in eccesso.

2) Migliorare la stratificazione del rischio• misurare i fattori che contribuiscono alla eccessiva

variabilità e riportare il processo “sotto controllo”;• non funziona in tutti i contesti.

3) Analisi tramite clustering• “clusterizzare” le istituzioni in gruppi più omogenei in

modo tale da confrontare “simile con simile”; • il cluster è trattato come un fattore di rischio.

Sovradispersione (4)

La sovradispersione (5)

Sovradispersione (6)

Sovradispersione (7)

Sovradispersioneintorno al funnelplot non aggiustato

Conclusioni

Largo utilizzo dei metodi di SPC nella sanità pubblica: Individuare pattern insoliti o outlyers valutare livelli di performance e raggiungimento dei target; studiare differenze tra istituzioni sanitarie.

I funnel plot sono un potente strumento per rappresentare dati sanitari e mettere a confronto le istituzioni: evitano di porre le istituzioni in un ordine di classifica; forte indicazione visiva di performance “divergente”;→ rispetto alle league tables, è più facile capire quali dati indicano aree che meritano ulteriori analisi; scelta degli assi intuitiva e quindi facile plotting; limiti di controllo facilmente ottenibili usando i più comuni

pacchetti di fogli elettronici.

Bibliografia

Flowers J. «Statistical process control methods in public healthintelligence», APHO Technical Briefing 2 (2007) (http://www.apho.org.uk/resource/item.aspx?RID=39445)

Noyez L. «Control charts, Cusum techniques and funnel plots. A review of methods for monitoring performance in healthcare», Interactive CardioVascular and Thoracic Surgery 9 (2009): 494–499

Spiegelhalter DJ. «Funnel plots for institutional comparison», QualSaf Health Care (2002): 390-1

Spiegelhalter DJ. «Funnel plots for comparing institutional performance», Stat Med (2005): 1185-1202.

Spiegelhalter DJ. «Handling over-dispersion of performance indicators», Qual Saf Health Care (2005): 347-351

Woodall W.H. «The Use of Control Charts in Health-Care and Public-Health Surveillance», Journal of Quality Technology 38 (2006)