Le revisioni di letteratura in medicina. Le revisioni di letteratura in medicina.

Igiene, Epidemiologia e Sanità PubblicaIgiene, Epidemiologia e Sanità PubblicaDip. Medicina Sperimentale ed ApplicataDip. Medicina Sperimentale ed ApplicataUniversità degli Studi di BresciaUniversità degli Studi di Brescia

Anno accademico 2007-2008

Perché fare revisioni della letteratura Perché fare revisioni della letteratura scientifica - Iscientifica - I

1 ) L’aggiornamento scientifico continuo in medicina è necessario ma difficilmente praticabile:

• Le conoscenze scientifiche diventano rapidamente obsolete (già dopo 5 anni dalla laurea) ed è universalmente riconosciuta la necessità di continui aggiornamenti

• Ogni anno vengono pubblicate nuove ricerche su circa 30.000 riviste del campo bio-medico

• La semplice lettura di articoli originali (letteratura primaria) si è dimostrata scarsamente efficace nel modificare le conoscenze e i comportamenti dei medici

2 ) L’avanzare delle conoscenze scientifiche non è un processo rapido e facile:

• E’ sempre difficile cambiare atteggiamenti/conoscenze/comportamenti consolidati (pregiudizi)

• I risultati di una singola ricerca spesso non sono sufficienti a modificare le conoscenze, e servono conferme indipendenti (possibilità di falsi positivi)

• I risultati di studi di piccole dimensioni possono essere negativi per solo effetto del caso, in mancanza di una potenza sufficiente a evidenziare l’effetto che si voleva indagare (possibilità di falsi negativi)

• La ricerca scientifica può essere affetta da diversi tipi di bias, sia nella metodologia di conduzione della ricerca che nella pubblicazione del lavoro o nell’interpretazione dei risultati.

Perché fare revisioni della letteratura Perché fare revisioni della letteratura scientifica - IIscientifica - II

• Sanguinamento e salassi (più di 2 secoli)• Effetto negativo del salasso nelle polmoniti (circa 70 anni)• Pneumotorace nella tisi (tecnica del Forlanini,)• Lobotomia frontale per disturbi psichiatrici (20 anni)• Infezione malarica per neurosifilide• Albumina nei pazienti critici (tuttora)• Terapia sostitutiva in menopausa (prove di efficacia di

scarsa qualità, tuttora)• Supplementazione routinaria di vitamina K, calcio e

magnesio in gravidanza (tuttora)

Procedure prive di documentazione di efficacia ma largamente utilizzate

Ritardo nella accettazione di prove di Ritardo nella accettazione di prove di documentata efficaciadocumentata efficacia

• Vitamina C nella prevenzione dello scorbuto (circa 40 anni)

• Lavaggio delle mani per la prevenzione della febbre puerperale (circa 40 anni)

• Idratazione nel colera (70-80 anni)• Corticosteroidi nel neonato prematuro (10-15 anni) • Terapia trombolitica nell’infarto (circa 15 anni)• Terapia con beta-bloccanti nella prevenzione

secondaria di pazienti infartuati (15 anni)• Somministrazione di folati nel periodo periconcezionale

(tuttora)

Come sintetizzare i risultati di più studi?Come sintetizzare i risultati di più studi?

• Revisioni letterarie:

non hanno una metodologia definita (in genere riportano solo gli studi ritenuti “più importanti” dall’estensore dell’articolo)

• Revisioni sistematiche:

hanno una metodologie definita e descritta dettagliatamente riguardo a: ricerca degli studi, estrazione dei dati, valutazione dei risultati; non sempre forniscono una combinazione quantitativa dei risultati

• Meta-analisi:

Sono revisioni sistematiche che producono misure sommarie dei risultati delle ricerche mettendo insieme i dati dei singoli studi in termini quantitativi

Rassegna letteraria (‘classica’)Rassegna letteraria (‘classica’)

– assenza regole esplicite e condiviseassenza regole esplicite e condivise di:• strategia di ricerca degli studi• criteri di selezione degli studi sulla base della qualità• estrazione dei dati• sintesi dei dati (di solito qualitativa)

– rischio di influenza dell’autoreinfluenza dell’autore nella:• selezione degli studi• valutazione critica• sintesi dei risultati• interpretazione della sintesi

Revisione sistematica e meta-analisiRevisione sistematica e meta-analisi

presenta regole esplicite:

• definizione degli obiettivi• ricerca sistematica delle fonti• esaustività della ricerca di studi (esaustività della ricerca di studi (studi non pubblicati)• arco temporale ben definito• definizione dei criteri di inclusione e di esclusione degli studi• valutazione e scelta degli studi (critical appraisalcritical appraisal)• estrazione dei dati con un form prefissato• valutazione della qualità metodologica degli studi• sintesi qualitativa delle informazioni• valutazione dell’eterogeneità tra gli studi• sintesi quantitativa dei risultati (meta-analisi) se fattibile e

appropriata• peer reviewing

I principali tipi di revisioni sistematiche associati al disegno di studio più appropriato per rispondervi.

Gli studi primari

Studio Obiettivo Disegno

Eziologia Individuare la responsabilità di un agente ambientale o farmacologico nel determinismo di malattia

Studi di coorte e studi caso controllo

Diagnosi Definire la performance dei test diagnostici (valutare l’efficacia di un test)

Studi trasversali (es. resa della mammografia in confronto ad altri test);Controllati randomizzati (se si valuta l’impatto di un intervento di prevenzione secondaria basata sull’uso della mammografia diagnostico inteso come “intervento”)

Prognosi Definire la storia naturale delle malattie ed individuare la potenza dei fattori prognostici

Studi longitudinali di coorte

Terapia Valutare l’efficacia dei trattamenti preventivi, terapeutici e riabilitativi

Studi clinici controllati randomizzati o longitudinali di coorte

Meta-analisi di dati aggregati e individuali Meta-analisi di dati aggregati e individuali

• Meta-analisi di dati aggregatiutilizzo dei soli dati aggregati ricavati direttamente dalle pubblicazioni originali o derivate da essi: la stima complessiva si ottiene e come media pesata dei singoli studi

• Meta-analisi di dati individuali (analisi pooled)Utilizzo dei data set originali messi insieme in un unico file e analizzati come se si trattasse di un unico studio. E’ possibile procedere in questo modo con studi già pubblicati o con studi ancora da realizzare (progetti multicentrici). La stima complessiva si ottiene da una ri-analisi dei dati originali tutti insieme.

Tipi di studi inclusi nelle meta-analisi Tipi di studi inclusi nelle meta-analisi

• Studi sperimentali (trial randomizzati controllati)- Riguardano soprattutto studi su trattamenti (anche preventivi)

- Utilizzano come misura di effetto l’odds ratio (OR) anche se le misure originali sono rischi relativi (RR)

• Studi osservazionali (coorte e caso-controllo)- Riguardano soprattutto studi epidemiologici e studi clinici non

sperimentali (es. studi di farmaco-epidemiologia)

- Utilizzano come misura di effetto l’odds ratio (OR) o il rischio relativo (RR) a seconda degli studi inclusi (caso-controllo o coorte)

Risultati di 16 studi che hanno valutato l’efficacia della Risultati di 16 studi che hanno valutato l’efficacia della profilassi antibiotica nel ridurre il rischio di infezioni profilassi antibiotica nel ridurre il rischio di infezioni

nosocomiali in pazienti ricoverati in terapia intensivanosocomiali in pazienti ricoverati in terapia intensiva

Studi Profilassi antibiotica Controllo Stima effetto del trattamento

N° pazienti con infezione

N° pazienti totali N° pazienti con infezione

N° pazienti totali RR(95%CI)

Abel-Smith 13 58 23 30 0.29 (0.17,0.49)

Aerdts 1 28 29 60 0.07 (0.01,0.51)

Blair 12 161 38 170 0.33 (0.18,0.61)

Boland 14 32 17 32 0.82 (0.49,1.37)

Cockerill 4 75 12 75 0.33 (0.11,0.99)

Finch 4 20 7 24 0.69 (0.23,2.01)

Jacobs 0 45 4 46 0.11 (0.01,2.04)

Kerver 5 49 31 47 0.15 (0.7,0.36)

Palomar 10 50 25 49 0.39 (0.21,0.73)

Rocha 7 47 25 54 0.32 (0.15,0.68)

Sanchez 32 131 60 140 0.57 (0.40,0.81)

Stoutenbeek 61 202 99 200 0.61 (0.47,0.78)

Ulrich 7 55 26 57 0.28 (0.13,0.59)

Verwaest1 22 193 40 185 0.53 (0.33,0.85)

Verwaest2 31 200 40 185 0.72 (0.47,1.09)

Winter 3 91 17 92 0.18 (0.5,0.59)

Rappresentazione dei risultati degli stessi studi e Rappresentazione dei risultati degli stessi studi e della loro combinazione mediante forrest plotdella loro combinazione mediante forrest plot

Test eterogeneità (Q) = 35.18 (d.f . = 15) p = 0.002

Risk ratio

.001 .01 .05 .2 1 5

Studi % Peso Rischio Relativo (95% CI )

0.29 (0.17,0.49) Abele 6.9 0.07 (0.01,0.52) Aerdts 0.5 0.33 (0.18,0.62) Blair 4.9 0.82 (0.49,1.37) Boland 7.1 0.33 (0.11,0.99) Cockerill 1.6 0.69 (0.23,2.01) Finch 1.6 0.11 (0.01,2.05) Jacobs 0.2 0.15 (0.07,0.36) Kerver 2.5 0.39 (0.21,0.73) Palomar 4.8 0.32 (0.15,0.68) Rocha 3.4 0.57 (0.40,0.81) Sanchez 14.5 0.61 (0.47,0.78) Stoutenbeek 29.1 0.28 (0.13,0.59) Ulrich 3.3 0.53 (0.33,0.85) Verwaest1 8.0 0.72 (0.47,1.10) Verwaest2 10.3 0.18 (0.05,0.59) Winter 1.3

0.50 (0.43,0.57) Overall (95% CI)

L’impiego di revisioni sistematiche e L’impiego di revisioni sistematiche e meta-analisimeta-analisi

• Sono lo strumento oggi più utilizzato per la produzione di conoscenze scientifiche basate su prove di efficacia (Evidence Based Medicine)

• Sono attualmente il metodo più rapido e di riconosciuta attendibilità per l’aggiornamento continuo in medicina

• Vengono sempre più utilizzate da società scientifiche, task force e gruppi di lavoro ad hoc per esprimere raccomandazioni e linee guida

• Vengono sempre più utilizzate per indirizzare le politiche sanitarie

Caratteristiche di una meta-analisi idealeCaratteristiche di una meta-analisi ideale

• Esaustiva = include tutti gli studi (compresi quelli non pubblicati)

• Obiettiva = indipendente da chi la efettua• Quantitativa = misura complessiva dell’effetto in

esame• Sistematica = procedimento di estrazione e analisi

rigoroso (assenza di bias)

Clinica e ricercaClinica e ricerca

Gerarchia Gerarchia evidenzaevidenza

PercorsoPercorso

ClinicaClinica RicercaRicerca

Opinione di espertiOpinione di esperti 00

Case report, case seriesCase report, case series 11

Studi osservazionaliStudi osservazionali 22

Singoli RCTSingoli RCT 33

Rassegne sistematicheRassegne sistematiche 44

Linee-guidaLinee-guida --

L-g locali, altri materiali E-BL-g locali, altri materiali E-B --

I pregi delle meta-analisiI pregi delle meta-analisi

• Sono l’unico modo – se pure imperfetto – di sintetizzare l’evidenza scientifica complessivamente prodotta su di un determinato aspetto

• Sono relativamente rapide e poco costose• Costituiscono una misura oggettiva e riproducibile e

quindi evitano i problemi dei conflitti di interesse e dei pareri autorevoli (“ipse dixit”)

• Consentono di ottenere una stima complessiva dell’effetto che supera i limiti di numerosità dei singoli studi

• Un mega trial è meglio di una meta-analisi di tanti piccoli trial ?

I limiti delle meta-analisiI limiti delle meta-analisi• La qualità delle meta-analisi dipende dalla qualità degli studi• Spesso si evidenzia eterogeneità tra i diversi studi, che non sempre è

possibile spiegare• Una meta-analisi può individuare ma non correggere bias di

pubblicazione (bias di selezione) o errori metodologici di conduzione degli studi (bias di informazione/selezione)

• Le meta-analisi possono fornire risultati discordanti a seconda del peso assegnato ai diversi studi e dei metodi di analisi

• Le meta-analisi dovrebbero tenere conto della qualità degli studi esaminati, ma a tutt’oggi non esiste alcun criterio standardizzato di valutazione della qualità dei lavori scientifici

• Richiedono lo stesso rigore metodologico degli studi “primari” e possono essere egualmente affette da errori sistematici

TIPI DI INDAGINE EPIDEMIOLOGICATIPI DI INDAGINE EPIDEMIOLOGICA

SPERIMENTALI OSSERVAZIONALI(OSSERVAZIONI PIANIFICATE)

NON RCTSTUDI

ANALITICISTUDI

DESCRITTIVI*RCT

*RCT= Randomised controlled trial

TIPI DI INDAGINE EPIDEMIOLOGICATIPI DI INDAGINE EPIDEMIOLOGICA

STUDI SPERIMENTALI (studi di intervento)• Trial controllati randomizzati (sperimentazioni cliniche) • Trial sul campo (field trial)• Trial di intervento di comunità (community intervention trial)

STUDI ANALITICI (studi eziologici)• Studi di coorte (studi longitudinali o di follow up)• Studi caso-controllo• Studi trasversali (studi di prevalenza)• Studi di correlazione geografica o temporale

STUDI DESCRITTIVI• Distribuzione spaziale• Andamento temporale

ST

UD

I O

SS

ER

VA

ZIO

NA

LI

TIPI DI STUDI EPIDEMIOLOGICI IN RELAZIONE ALLA CRONOLOGIA TIPI DI STUDI EPIDEMIOLOGICI IN RELAZIONE ALLA CRONOLOGIA DELL’OSSERVAZIONEDELL’OSSERVAZIONE

Inizio dello studio

1Inizio

esposizione

2

Inizio esposizione

Inizio malattia

Inizio malattia

3

Inizio esposizione

Inizio malattia

1 e 2 = studi prospettici

3 = studi retrospettivi

DISEGNO DELLO STUDIO IN BASE AL TIPO DI FATTOREDISEGNO DELLO STUDIO IN BASE AL TIPO DI FATTORE

Braccio di controlloRandomizzazione

Fattore in studio

protettivo di rischio

Studi sperimentali Studi osservazionali Studi osservazionali

RCT Non RCT

Nessun braccio di controlloNon randomizzazione

ESEMPI DI STUDI SPERIMENTALI E OSSERVAZIONALI IN BASE AL TIPO DI ESEMPI DI STUDI SPERIMENTALI E OSSERVAZIONALI IN BASE AL TIPO DI FATTORE IN STUDIOFATTORE IN STUDIO

Fattore protettivo Fattore di rischio

Farmaci: - RCT

- Studi sperimentali non RCT - Studi osservazionali (farmaco-

epidemiologia)

Vaccini: - RCT

- Studi sperimentali non RCT - Studi osservazionali

Screening: - RCT

- Studi sperimentali non RCT - Studi osservazionali

Interventi di comunità (clorazione e fluorazione

dell’acqua, riduzione delle polveri fini nell’aria, ecc.):

- Studi sperimentali non RCT

- Studi osservazionali

Fattori dell’individuo:

- stili di vita (fumo, alcol, dieta)

- fattori endogeni (genetici, costituzionali)

Fattori ambientali:

- agenti microbici (virus epatitici, Helicobacter)

- agenti chimici (cancerogeni, tossici, distruttori endocrini)

- agenti fisici (radiazioni ionizzanti, campi elettromagnetici)

LA QUALITA’ DELL’EVIDENZA SCIENTIFICA NELLA RICERCA LA QUALITA’ DELL’EVIDENZA SCIENTIFICA NELLA RICERCA MEDICAMEDICA

METAANALISI

TRIAL (RCT)

STUDI EPID.CASO-CONTROLLO

STUDI EPID. COORTE

STUDI EPID. DESCRITTIVI

REVISIONICRITICHE

OSSERVAZIONI CLINICHE

STUDI SPERIMENTALI SULL’ANIMALE

SCIENZE “ DI BASE”

Il confondimento negli studi osservazionaliIl confondimento negli studi osservazionali

Vitamina C e malattie cardiovascolari

1) Studio EPIC (Khaw; Lancet 2001): • Coorte prospettica osservazionale

– Il consumo di frutta correla con i livelli ematici di Vit C– I livelli ematici di Vit C correlano con una riduzione di incidenza degli

eventi cardiovascolari– RR per livelli elevati verso bassi: M=0.63; F=0.72

2) RCT 2002 (Health protection study; Lancet 2002):• Studio randomizzato e controllato sulla efficacia della

supplementazione con Vit C per la protezione cardiovascolare– I supplementi di Vit C correlano con un aumento di incidenza degli eventi

cardiovascolari – RR per assunzione verso non assunzione: 1.06

Il confondimento negli studi osservazionaliIl confondimento negli studi osservazionali

Terapia ormonale sostitutiva (HRT) e rischio cardiovascolare

1991 – Meta-analisi di studi osservazionali (Stampler; Prev Med 1991):– L’uso di HRT is associated con una riduzione nell’incidenza di eventi

cardiovascolari ischemici:– RR: 0.50 (0.43-0.56)

2002 – RCT (Beral; Lancet 2002) – WHI Women’s Health Initiative• RCT of HRT vs placebo• L’assunzione di HRT è associata con un aumento dell’incidenza di eventi

cardiovascolari:– RR: 1.11 (0.96-1.30)

Perché le rassegne (a volte) non aiutano?Perché le rassegne (a volte) non aiutano?

• complessità dell’interpretazione• differenziazione dell’evidenza disponibile• complessità dell’organizzazione • ruolo di attori diversi• …

Rassegna di 106 rassegne sui rischi del fumo passivo(Barnes, 1998)

Qualità delle rassegne di letteraturaQualità delle rassegne di letteratura

FORMULAZIONE DEL QUESITOLa revisione è basata su un quesito preciso, ben formulato e comprensibile? Viene fornito un convincente background per la formulazione di tale quesito?

RICERCA DELLE FONTI E CRITERI DI ELEGGIBILITA’ DEGLI STUDIViene descritta in dettaglio la strategia di ricerca bibliografica adottata? Sono specificati i criteri di ammissibilità e non ammissibilità degli studi primari?Vengono fornite le motivazioni che hanno portato all’eventuale esclusione di studi dapprima eleggibili?

VALUTAZIONE DELLA QUALITA’ METODOLOGICA DEGLI STUDI PRIMARIE’ stata valutata la qualità degli studi primari? Vengono fornite informazioni sulle modalità di valutazione di qualità degli studi primari?

METODI PER LA SINTESI DELLE INFORMAZIONISe non sono stati combinati quantitativamente i risultati dei diversi studi ne viene data giustificazione?Sono state effettuate tutte le sottoanalisi importanti?E’ stata valutata e discussa la presenza di eterogeneità (clinica, metodologia, statistica)

INTERPRETAZIONE DEI RISULTATIViene discussa la plausibilità dei risultati in relazione alla qualità degli studi primari? Viene discussa la possibile influenza del bias di pubblicazione?Viene discusso il significato e le implicazioni della revisione per la pratica clinica corrente e per l’indirizzo della ricerca futura?

Elementi essenziali da considerare nel valutare la qualità di una revisione sistematica (e/o MA)

The Cochrane LibraryThe Cochrane Library

• The Cochrane Database of Systematic Reviews • The Database of Abstracts of Reviews of Effectiveness• The Cochrane Controlled Trials Register • The Cochrane Methodology Register

Pubblicate ad oggi da CDSR (vs 4/2003): • Reviews=1837• Protocols=1344

Rassegne CochraneRassegne Cochrane

• efficacia di trattamenti medici e chirurgici• efficacia di interventi preventivi (individuali e di

popolazione)• efficacia di interventi organizzativi• costo/efficacia di interventi• … diagnosi...

torna

Publication bias (I)Publication bias (I)

• Def: differential probability of publication of differential probability of publication of positive positive (expected) (expected) results compared to negative ones

• It causes a bias (usually an increase in RR) in the estimated means of the results– funnel-plot can identify it

– systematic reviews systematic reviews are able to manage it

Publication bias (II): costruzione di un funnel plotPublication bias (II): costruzione di un funnel plot

RR

Nb

di s

ogge

tti

RR vero

Funnel-plot for detection of publication biasFunnel-plot for detection of publication bias

1) Lo studio era descritto come randomizzato? (1=si; 0=no) 2) Lo studio era descritto come in doppio cieco? (1=si; 0=no) 3) Erano descritti i pazienti che abbandonavano lo studio o ne erano esclusi? (1=si; 0=no)Punto addizionale se:Per la domanda 1, il metodo con cui è stata generata la sequenza di randomizzazione era descritto ed era appropriato (tavole di randomizzazione, generazione al computer, ecc.);Per la domanda 2, il metodo di doppio cieco era descritto ed era appropriato (placebo identico, placebo attivo, riproducibilità della somministrazione, ecc);Sottrarre un punto se:Per la domanda 1, il metodo con cui è stata generata la sequenza di randomizzazione era descritto ed era inappropriato (pazienti allocati alternativamente, secondo la data di nascita, il numero di ammissione ospedaliera, ecc.);Per la domanda 2, il metodo di doppio cieco era descritto ed era inappropriato (confronto tra farmaco per via orale e farmaco parenterale, più somministrazioni contro singola somministrazione, ecc)

La qualità dei trial: la scala di Jadad (1996)

Bias nell’analisi dei dati e/o Bias nell’analisi dei dati e/o nell’interpretazione dei risultatinell’interpretazione dei risultati

• absence of proof is not proof of absence (l’assenza di prove non è una prova di assenza di un effetto): i risultati negativi non implicano necessariamente la mancanza di una relazione

• in diverse meta-analisi si è visto che gli studi sponsorizzati da aziende private hanno, rispetto a quelli non sponsorizzati:

maggiore probabilità di avere un risultato positivo

una maggiore frequenza di analisi dei dati per sottogruppi

un’interpretazione spesso più positiva sull’effetto indagato rispetto a quanto effettivamente risulta dallo studio