Audit ClinicoAudit Clinico

Dr. Ulrich Wienand

Azienda Ospedaliera Universitaria

“S. Anna” – Ferrara

Giugno 2007

Clinical Audit“Iniziativa condotta da professionisti che cerca di migliorare la qualità e gli esiti dell’assistenza attraverso una revisione tra pari, strutturata, per mezzo della quale i professionisti esaminano la propria attività e i propri risultati a confronto con standard concordati e la …..modificano se necessario.“Brit. Governm. 1996

Caratteristiche dell’audit clinico

• carattere professionale dell’iniziativa• competenza clinico-assistenziale dei

partecipanti• Confidenzialità (riservatezza) dei risultati• oggetto fortemente legato alla qualità

professionale• necessita di accesso ad adeguata

documentazione clinica • verifica buona pratica corrente rispetto a

standard notiRC&AC2000 e BRI 1999

“Ciclo dell’audit”

4. Confrontare i risultati concon criteri e standard

5. Realizzare il cambiamento

2. Definire criteriindicatori e standard

3.Osservare la pratica e raccogliere dati

1. Identificare l’ambito e lo scopo

dal lat. auditus -us «ascolto»

L’audit clinico ci dà un metodo per riflettere in maniera sistematica sulla nostra pratica professionale e per rivederla.

Hardman & Joughin 1998

• L’audit clinico non è ricerca, ma fa uso della metodologia scientifica per esaminare la pratica professionale

• La ricerca mira definire la “best practice”, l’audit mira a valutare quanto distante è la pratica dalla “best practice”

• La ricerca è spesso “una tantum”, l’audit è un processo continuo

Madden 1991, Firth-Cozens 1993, cit. da Hardman&Joughin

Quale è la differenza fra audit clinico e ricerca

scientifica ?

Concetto di Audit in “altri mondi”:

Economia Aziendale

• “Esame della contabilità o di altre registrazioni attinenti al denaro o alla proprietà, realizzato da funzionari competenti .. al fine di verificarne la correttezza” Lexicon Webster Dictionary

• In senso più ampio: Funzioni aziendali di verifica e controllo CQI Info 1999

Concetto di Audit in “altri mondi”:

Certificazione ISO 9000

• “Audit della Qualità”: Esame sistematico e indipendente mirato a stabilire se le attività svolte per la qualità sono in accordo con quanto stabilito…” ISO 8402, 4.9

• “Audit di Sistema”: strumento per la sorveglianza del Sistema Qualità… può valutare – Conformità– Adeguatezza– Efficacia– Evolutività modif. da Cinotti & Cartabellotta 2000

A Practical Handbook for Clinical Audit - Clin. Gov. Support Team - March 2005

“Clinical Audit is a key and essential component of Clinical Governance”

Gli strumenti del Governo Gli strumenti del Governo ClinicoClinico

• Indicatori di Performance e di Outcome Clinico

• Audit Clinico: revisione tra pari per migliorare la qualità clinico-professionale

• Linee Guida Cliniche basate sulle evidenze scientifiche (EBM)

“Ciclo dell’audit”

4. Confrontare i risultati concon criteri e standard

5. Realizzare il cambiamento

2. Definire criteri indicatori e standard

3.Osservare la pratica e raccogliere dati

1. Identificare l’ambito e lo scopo

1. Identificare l’ambito e lo scopo

• Tema, ambito, area, oggetto, argomento,“topic”, “subject”

• “Che cosa volete sapere sul servizio che erogate ?”

1. Identificare l’ambito e lo scopo: rilevanza

• Alti volumi • Alti costi • Alta rischiosità • Alta variabilità• Alta complessità• Alto contenuto innovativo

Cinotti & Cartabellotta 2000

Struttura:Disponibilità ed organizzazione delle risorse

e del personale– caratteristiche stabili– strumenti– risorse: umane, fisiche, finanziarie– metodi organizzativi (finanziamento, sistemi

retributivi)

Struttura Processo EsitoStruttura Processo EsitoAvedis Donabedian 1980

Processo:

Attività intraprese con le risorse • azioni e decisioni dei professionisti

• osservanza norme professionali

• adeguatezza

• tempestività

• comportamento operatori

Struttura Processo EsitoStruttura Processo EsitoAvedis Donabedian 1980

Esito: effetti delle attività sullo stato di benessere degli utenti

• Cambiamento stato di salute

(individuale, collettiva)

• Qualità della vita

• Soddisfazione (paziente, operatore)

Struttura Processo EsitoStruttura Processo EsitoAvedis Donabedian 1980

1. Identificare l’ambito e lo scopo: consigli

• Scegliete un argomento che Vi interessa• Scegliete un ambito che oltre all’interesse dei

professionisti colga anche quello dei Vostri stakeholder

• Guadagnate il consenso di coloro che saranno coinvolti nell’audit e negli eventuali cambiamenti

• Individuate un problema rilevante per la pratica (ricorrente, conseguenze serie)

• Scegliete un ambito su cui potete intervenire (“potential for change”)

1. Identificare l’ambito e lo scopo

• Valutare la qualità del servizio (positiva o negativa)

• Individuare aree di cambiamento (riduzione rischi, costi …)

• Tenere sotto controllo la stabilità dei risultati

“Ciclo dell’audit”

4. Confrontare i risultati concon criteri e standard

5. Realizzare il cambiamento

2. Definire criteri indicatori e standard

3.Osservare la pratica e raccogliere dati

2. Definire criteri e standard:CriterioCriterio

• “Un aspetto definibile e misurabile dell’assistenza sanitaria che ne descrive la qualità e può essere usato per valutarla.”

Irvine & Irvine 1991

• “Il criterio in un audit clinico è la dichiarazione di ciò che dovrebbe succedere” Harris 2004

• Es.: “Le pazienti fra 25 e 65 dovrebbero avere fatto un pap test negli ultimi 5 anni”

• Informazione o variabile selezionata che consente di descrivere fenomeni complessi e misurare variazioni in relazione a criteri definiti, allo scopo di orientare decisioni volte ad ottenere o mantenere cambiamenti.

(OMS, modificato da Vernero et al. 2002)

• Misura che serve per descrivere un fenomeno: percentuale, tasso, media

• Es.: n° donne 25-65 con pap test ultimi 5 anni __________________________________________________________________________________________________________________________________________________________________________________________________________________

n° totale di donne 25-65 in cura

2. Definire criteri e standard:IndicatoreIndicatore

ILIL BUON INDICATOREBUON INDICATORE

• Misurabile

• Importante

• Semplice

• Utilizzabile

• Realistico

• Accettabile

• Valore dell’indicatore che rappresenta il limite superiore od inferiore perché la qualità dell’assistenza sia giudicata accettabile.

• Soglia di accettabilità

• Es.: almeno 80% sul totale delle pazienti 25-65 dovrebbe avere fatto un pap-test negli ultimi 5 anni

2. Definire criteri e standard:StandardStandard

Javier Sotomayor (cubano)

Standard di riferimento:Standard di riferimento:

Lo standard può essere:

• determinato da letteratura;

• determinato da indicazioni di società scientifiche;

• determinato da indicazioni di politica sanitaria;

• calcolato su rilevazioni effettuate in periodi precedenti.

Concetto “Standard”

• Dal francese “estendart” = stendardo

• in inglese può assumere diversi significati

Concetto “Standard” -2-

• Livello soglia: sia di allarme che di accettabilità

• Soglia accettabile: valore o frequenza (espressa come frequenza assoluta, percentuale o tasso) di un indicatore al di sopra o al di sotto del quale la qualità non è considerata accettabile

Beccastrini, Gardini, Tonelli 1994

Concetto “Standard” -3-

• Valore, modello, esempio di riferimento

• con il quale si confronta “l’oggetto” per esprimere un giudizio comparativo: metro standard di Parigi, laboratorio standard, procedura standard

Beccastrini, Gardini, Tonelli 1994

Concetto “Standard” -4-

• Requisito: nei manuali di accreditamento, ad esempio “in ogni ospedale deve operare un comitato infezioni ospedaliere”

Beccastrini, Gardini, Tonelli 1994

Criterio

Indicatore

Standard

Valore osservato

Specifica caratteristica di qualità che si vuole valutare

Informazione selezionata per la misurazione del criterio

Valore dell’indicatore che definisce la soglia tra accettabile ed inaccettabile

Valore che assume l’indicatore a seguito della misurazione

2. Definire criteri e standard

Confrontarsi con il valore di riferimento

• Per valutare la capacità di migliorare• per valutare la capacità di raggiungere un

obiettivo• per valutare la propria qualità in confronto

a quella di strutture omologhe• per verificare il rispetto di un requisito di

accreditamentoFocarile 2001

Consigli:

• Uno standard per ogni indicatore !

• Lo standard deve essere realistico e raggiungibile

• Standard del 100% sono irrealistici

• Lo standard deriva da fonti “ragionevoli”

Mehay & Eisner 2003

2. Definire criteri e standard:StandardStandard

• Lo standard individuato come paragone per la valutazione della pratica clinica deve essere condiviso. Esso non può infatti essere oggetto di rimaneggiamento in corso di verifica, mentre deve essere discusso a priori e, a posteriori, può essere commentato e revisionato alla luce di quanto emerso dall’audit stesso.

Cinotti e Cartabellotta 2000

2. Definire criteri e standard:StandardStandard

“Ciclo dell’audit”

4. Confrontare i risultati concon criteri e standard

5. Realizzare il cambiamento

3. Osservare la pratica e raccogliere dati

2. Definire criteri indicatori e standard

3. Osservare la pratica e raccogliere dati

• Definire la popolazione di riferimento• Per quale arco di tempo ?• Quali le eccezioni ? • Definire eventualmente un campione• Da quale fonte si prendono i dati ?• Come trattare casi mancanti, perduti ecc.• Costruire un foglio raccolta dati

• Retrospettivo

– Dati vengono raccolti esaminando la pratica passata

– + veloce

– Fornisce una baseline

– Qualità del dato non è garantita

– Utenti non ne traggono più vantaggio

• Prospettico– Dati vengono raccolti

da ora in poi– Può essere dispendio

di tempo– Non fornisce una

baseline– Permette una

progettazione accurata e favorisce dati di + qualità

3. Osservare la pratica e raccogliere dati

Foglio raccolta dati

La costruzione del foglio di raccolta dati è una delle fasi più importanti dell’audit

“In un mondo ideale per ogni importante aspetto delle cure i dati vengono già raccolti routinariamente e sono pronti all’accesso.” Best

practice in Clinical Audit

Eccessiva semplificazione può andare a scapito del risultato finale, ma si può anche non raggiungere alcun risultato a causa delle eccessive complicazioni. Cinotti & Cartabellotta 2000

Documentazione clinica

Cartella clinica/infermieristica è la principale fonte di dati per l’audit.

Purtroppo non è sempre completa né redatta correttamente.

Altri dati sono spesso contenuti in reparti diversi, su carta o in forma elettronica, a volte in organizzazioni diverse … o non ci sono proprio.

Concordanza fra valutatori

Se non si tratta di una semplice ricopiatura di dati dalla cartella al foglio raccolta dati, ma di una vera estrazione di dati, può essere utile che la stessa cartella venga esaminata da 2 valutatori indipendenti che poi si confrontano sui dati da loro estratti.

In particolare per valutazioni di adeguatezza, gravità clinica, appropriatezza ecc.

Svantaggio: dispendio tempo

Confidenzialità dei dati

Per ogni soggetto incluso nell’audit : un numero di identificazione

Privacy: tenere separati i dati e i nomi Non esportare dati o materiale scritto dai

luoghi in cui si raccolgono i dati Attenzione alla sicurezza dei dati ! (password,

back up dei dati) Anonimità dei professionisti (salvo accordi

diversi) Eventualmente presentare dati in “semi-

cieco”

Campionamento

• Quanti pazienti devo includere nella raccolta dati ?

• Come posso ottenere un campione rappresentativo ?

• Le risposte dipendono anche da fattori come:

• grado di affidabilità statistica che si vuole raggiungere

• risorse limitate: tempo, costi, accesso ai dati

• Campione di 40 – 50 casi viene i.g. considerato accettabile

• Esistono tecniche molto sofisticate : chiedere aiuto ad un esperto in statistica o usare Epi-Info

3. Osservare la pratica e raccogliere dati

• Condurre sempre un piccolo studio pilota

• Discutere e cercare il consenso sugli aspetti metodologici

• Delegare la raccolta dati se possibile, ma addestrare gli addetti

• Documentare le decisioni prese

“Ciclo dell’audit”

5. Realizzare il cambiamento

4. Confrontare i risultati con criteri e standard

2. Definire criteri e standard

3.Osservare la pratica e raccogliere dati

4. Confrontare i dati con criteri e standard

Generalmente si calcola:

• % casi che corrispondono ad ogni criterio (incl. non applicabili)

• % casi non applicabili

• % casi applicabili che corrispondono al criterio

4. Metodi di analisi dei dati

Non sono sempre necessarie delle sofisticate procedure statistiche.

• Statistica descrittiva

• Test statistici

• Carte di controllo

• Analisi qualitative

Test statistici

• Es.: in audit relativi ad un “prima” e “dopo”

• per verificare se cambiamenti sono dovuti al caso o all’intervento di miglioramento

Test statistici

• ““Chi Quadro”Chi Quadro”

• test che si applica a tabelle di frequenza a due dimensioni, per esempio 2 * 2

• serve a testare se c’è una differenza nelle due proporzioni

Distretto A Distretto BVaccinati 200 425 625Non vaccinati 50 75 125

250 500 750

Chi quadro = 3.00Differenza debolmente significativa

Distretto A Distretto BVaccinati 200 450 650Non vaccinati 50 50 100

250 500 750

Chi quadro = 14.42Differenza fortemente significativa (p<0.001)

Distretto A Distretto BVaccinati 200 400 600Non vaccinati 50 100 150

250 500 750

Chi quadro = 0Differenza non significativa

Analisi qualitative

• Su domande “aperte”

• Analisi dei contenuti

• Codifica dei temi/concetti più ricorrenti > calcolo delle frequenze

“Ciclo dell’audit”

5. Realizzare il cambiamento

2. Definire criteri e standard

3.Osservare la pratica e raccogliere dati

4. Confrontare i risultati concon criteri e standard

• L’Audit Clinico non è uno studio epidemiologico

• Ma fa parte di un ciclo i miglioramento….

A) Se si è verificata una adesione A) Se si è verificata una adesione allo standard:allo standard:

consolidare la buona praticaconsolidare la buona pratica

• Standardizzazione della buona pratica–Documentazione (procedure,

protocolli)–Estensione ad altre realtà vicine–Formazione, disseminazione

B) Se si è verificato uno B) Se si è verificato uno scostamento dallo standard:scostamento dallo standard:Pianificare azioni correttivePianificare azioni correttive

• Definire l’oggetto del miglioramento

• Le tappe con le relative azioni

• Tempi entro cui completare ogni tappa

• Il responsabile

Problem Solving

• Lo scostamento dei valori osservati dallo standard costituisce, nei termini del Problem Solving la individuazione di un problema

• in questa prima fase del percorso è importante identificare e descrivere esattamente il problema, non (ancora) individuarne le cause

Diagramma “WV” di J.Shiba

Livello qualitativo - creativo

Livello quantitativo

Ambito

Dati

Cause

Dati

Soluzioni

Dati

Closing the loop

• Re-audit

• confrontare il PRIMA con il DOPO delle azioni correttive

• verificare di non aver causato un problema da altre parti

• esecuzione delle azioni correttive è stata fedele ?

• Il miglioramento è accettabile ?

Verifica dei risultati

• Miglioramento dimostrato

• standardizzazione delle azioni correttive

• documentazione (procedure)

• estensione ad altre UU.OO.

• formazione

• Miglioramento non dimostrato

• rivedere il percorso fatto

• “ricomincia da START”