Lorenzo Moja, MD, MSc, Dr PubHealth

Centro Cochrane Italiano, Vice-Direttore

Mario Negri Institute for Pharmacological Research, Milan

Open University, London, UK (DPhil Candidate)

Moja@marionegri.it

Revisioni e meta-analisi: Revisioni e meta-analisi: strumenti per arginare strumenti per arginare

ll’’incertezza?incertezza?

Milano – 14 Aprile 2009

Il mio background

• Focus in:– Modificare il comportamento dei

professionisti sanitari.– Migliorare le conoscenze/capacità tecniche

per es. come assicurare che il paziente riceva il giusto (evidence based) trattamento nel giusto momento.

– Target: medici e organizzazioni sanitarie.

Outline

• I limiti del singolo studio (per quanto ben fatto)

• Le revisioni sistematiche (una visione personale)

– Esperti contro revisioni

• Diffusione delle revisioni sistematiche

• La Cochrane Collaboration

• Alla scoperta di un titolo imperfetto

Sintesi della conoscenza

• 115 articoli pubblicati tra 1990-2003

• 3 riviste di medicina generale (NEJM, JAMA, Lancet) e alcune riviste specialistiche (autorevoli)

• + 1000 citazioni

• 49 hanno valutato degli interventi sanitari

• 45 terminavano a favore dell’intervento

Dobbiamo credere ai risultati di questo studio?

Ioannidis JP. JAMA 2005

• al 2004

• 5/6 degli studi non randomizzati

• 9/39 degli studi randomizzati

• falsi o esagerati

Dobbiamo credere ai risultati di questo studio?

Ioannidis JP. JAMA 2005

• Singoli studi sono speso assai poco

affidabili (per quanto ben fatti)

• Singoli studi da soli raramente possono

portare informazioni sufficienti a modifcare I

comportamenti di medici e pazienti, o delle

politiche

Cosa significa questo studio

Revisioni Sistematiche e meta-analisi:

definizioni

Una visione insiemistica

Screening colorectal cancer

Exposed Control Weight Association measureStudy ID Year n[e](E=1)/n[e] n[c](E=1)/n[c] (%) with 95% CI

Goteborg 1994 121/32154 138/32154 14,24% |||| 0,8768 (0,6872 to 1,1187)

Minnesota 1993 199/31157 121/15394 16,71% |||| 0,8126 (0,6488 to 1,0177)

Funen 1996 205/30967 249/30966 25,69% |||||||| 0,8233 (0,6848 to 0,9897)

Nottingham 1996 360/76466 420/76384 43,36% |||||||||||||||| 0,8562 (0,7441 to 0,9853)

META-ANALYSIS: 885/170744 928/154898 100% |||||||||||||||||||||||||||||0,8434 (0,7689 to 0,9252)

0,1 1 10

RR (log scale)

Stu

dies

Weight Association measure(%) with 95% CI

14,24% 0,8768 (0,6872 to 1,1187)

16,71% 0,8126 (0,6488 to 1,0177)

25,69% 0,8233 (0,6848 to 0,9897)

43,36% 0,8562 (0,7441 to 0,9853)

100% 0,8434 (0,7689 to 0,9252)

0,1 1 10

RR (log scale)

Stu

die

s

Screening colorectal cancer

Exposed Control Weight Association measureStudy ID Year n[e](E=1)/n[e] n[c](E=1)/n[c] (%) with 95% CI

Morton 1984 1/40 2/36 0,00% | 0,45 (0,04 to 4,76)

Rasmussen 1986 9/135 23/135 1,00% | 0,39 (0,19 to 0,81)

Smith 1986 2/200 7/200 0,00% | 0,29 (0,06 to 1,36)

Abraham 1987 1/48 1/46 0,00% | 0,96 (0,06 to 14,87)

Feldstedt 1988 10/150 8/148 0,00% | 1,23 (0,5 to 3,04)

Schechter 1989 1/59 9/56 0,00% | 0,11 (0,01 to 0,81)

Ceremuzynski 1989 1/25 3/23 0,00% | 0,31 (0,03 to 2,74)

Bertschat 1989 0/22 1/21 0,00% | 0,32 (0,01 to 7,42)

Singh 1990 6/76 11/75 0,00% | 0,54 (0,21 to 1,38)

Pereira 1990 1/27 7/27 0,00% | 0,14 (0,02 to 1,08)

Schechter 1 1991 2/89 12/80 1,00% | 0,15 (0,03 to 0,65)

Golf 1991 5/23 13/33 0,00% | 0,55 (0,23 to 1,33)

Thogersen 1991 4/130 8/122 0,00% | 0,47 (0,14 to 1,52)

LIMIT-2 1992 90/1159 118/1157 5,00% | 0,76 (0,59 to 0,99)

Schechter 2 1995 4/107 17/108 1,00% | 0,24 (0,08 to 0,68)

ISIS-4 1995 2216/29011 2103/29039 90,00% ||||||||||||||||||||||||||||||||1,05 (1 to 1,12)

META-ANALYSIS: 2353/31301 2343/31306 100% |||||||||||||||||||||||||||||1,01 (0,95 to 1,06)

0,01 0,1 1 10 100

RR (log scale)

Stu

dies

Exposed Control Weight Association measureStudy ID Year n[e](E=1)/n[e] n[c](E=1)/n[c] (%) with 95% CI

Morton 1984 1/40 2/36 0,00% | 0,45 (0,04 to 4,76)

Rasmussen 1986 9/135 23/135 1,00% | 0,39 (0,19 to 0,81)

Smith 1986 2/200 7/200 0,00% | 0,29 (0,06 to 1,36)

Abraham 1987 1/48 1/46 0,00% | 0,96 (0,06 to 14,87)

Feldstedt 1988 10/150 8/148 0,00% | 1,23 (0,5 to 3,04)

Schechter 1989 1/59 9/56 0,00% | 0,11 (0,01 to 0,81)

Ceremuzynski 1989 1/25 3/23 0,00% | 0,31 (0,03 to 2,74)

Bertschat 1989 0/22 1/21 0,00% | 0,32 (0,01 to 7,42)

Singh 1990 6/76 11/75 0,00% | 0,54 (0,21 to 1,38)

Pereira 1990 1/27 7/27 0,00% | 0,14 (0,02 to 1,08)

Schechter 1 1991 2/89 12/80 1,00% | 0,15 (0,03 to 0,65)

Golf 1991 5/23 13/33 0,00% | 0,55 (0,23 to 1,33)

Thogersen 1991 4/130 8/122 0,00% | 0,47 (0,14 to 1,52)

LIMIT-2 1992 90/1159 118/1157 5,00% | 0,76 (0,59 to 0,99)

Schechter 2 1995 4/107 17/108 1,00% | 0,24 (0,08 to 0,68)

ISIS-4 1995 2216/29011 2103/29039 90,00% ||||||||||||||||||||||||||||||||1,05 (1 to 1,12)

META-ANALYSIS: 2353/31301 2343/31306 100% |||||||||||||||||||||||||||||1,01 (0,95 to 1,06)

0,01 0,1 1 10 100

RR (log scale)

Stu

dies

General

Number of studies 16Number of participants 62607

RR (MH) - Fixed effect model

Meta-analysis outcome 1,0058 95% CI lower limit 0,952 95% CI upper limit 1,0626

z 0,2054 p-value (two-tailed) 0,8372

Heterogeneity

Q 45,1681 p-value (two-tailed) < 0,0001

H 1,7353 95% CI lower limit 1,335 95% CI upper limit 2,2556

I^2 66,79% 95% CI lower limit 43,89% 95% CI upper limit 80,34%

Cosa è una RS? (3)

Una revisione che è stata realizzata attraverso un approccio scientifico rigoroso, per ridurre gli errori sistematici e casuali, in un modo documentato nei materiali e metodi.

Una revisione sistematica può includere, o meno, una metanalisi: un’analisi statistica dei risultati degli studi indipendenti che ha, generalmente, come obiettivo di produrre una singola stima numerica dell’effetto del trattamento.

Chalmers I and Altman DG, 1995

Principi di una meta-analisi

Una meta-analisi può:

Combinare i risultati dei singoli studi per ottenere una stima complessiva dell’effetto del trattamento;

Esplorare l’eterogeneità tra gli studi (e le relative fonti di eterogeneità).

NB: una revisione sistematica non si conclude forzatamente con una meta-analisi.

Esperti vs.Revisioni

Antman EM, Lau J, Kupelnick B, Mosteller F, Chalmers TC. A comparison of results of meta-analyses of randomized control trials and recommendations of clinical experts. Treatments for myocardial infarction. Jama 1992;268(2):240-8.

Diffusione

Cochrane Reviews are now the “gold standard” for

systematic reviews in such key publications as The

Lancet, New England Journal of Medicine, British

Medical Journal, and the Journal of the American Medical Association and routinely appear there as

well as in specialised medical journals for various

specialty areas.

Alla base delle decisioni

Informazioni al letto del paziente

The ‘‘5S’’ levels of organisation of evidence from healthcare research (adapted from Haynes model)

Sintesi di conoscenze

• Aumentano le linee guida e di revisioni sistematiche di alta qualità che aiutano nel prendere decisioni in sanità:– Cochrane Collaboration– Rapporti AHRQ– HUGENet– Multiple guideline development agencies

The Cochrane Library

CHE COSA E’ LA COCHRANE LIBRARY?

FONTE DI INFORMAZIONI EBM

AFFIDABILI RILEVANTI PER

PRENDERE DECISIONI SULLA PROPRIA

SALUTE

Il caso dello screening mammografico

I nostri amici hanno cominciato a chiedersi…

O Olsen, PC Gøtzsche. Screening for breast cancer with mammography. The Cochrane Database of Systematic Reviews 2001, Issue 4. Art. No.: CD001877.

Authors' conclusionsThe currently available reliable evidence does not show a survival benefit of mass screening for breast cancer (and the evidence is inconclusive for breast cancer mortality). Women, clinicians and policy makers should consider these findings carefully when they decide whether or not to attend or support screening programs.

2001 - 2009

17 nov 2009

17 nov 2009

Cosa dobbiamo credere?

“…men are generally ready

to believe what they want to

believe”Julius Caesar

De Bello Gallica (ca BC 55)

Cosa succede a 2000 donne che fanno lo screening mammografico ogni due anni per 10 anni

è guarita dal cancro grazie allo screening

1 non hanno nessun vantaggio dallo screening

1789 subiscono un intervento chirurgico demolitivo senza avere un cancro mortale

10 hanno uno stress psicologico senza avere il cancro

200

Cosa succede a 2000 donne che non fanno lo screening mammografico ogni due anni per 10 anni

è morta per cancro perché non ha partecipato allo screening

1 non hanno nessun s/vantaggio dal non partecipare screening

1999

Refs

• Gøtzsche PC, Nielsen M. Screening for breast cancer with mammography. Cochrane Database Syst Rev 2006;(4):CD001877.

• Gøtzsche PC, BMJ 2009;338:b86

• Deterministico / probabilistico

• Vivere in condizioni di incertezza

• Tarare aspettative esperti

Revisioni e meta-analisi: Revisioni e meta-analisi: strumenti per arginare strumenti per arginare

ll’’incertezza?incertezza?

www.cochrane.i

t

I miei recapiti

• moja@marionegri.it

• Centro Cochrane Italiano –

www.cochrane.it

• www.cochrane.org