Gli studi di metaGli studi di meta--analisianalisi

Premesse e nozioni principaliPremesse e nozioni principali

Rossella MiglioRossella Miglio

MetaMeta--analisianalisi

Analisi combinata di informazioni quantitative ottenuntein due o più studi indipendenti e selezionati – sulla base di definiti criteri – dall’insieme, possibilmente completo, di studi volti ad indagare uno stesso fenomeno di interesse.

I risultati di una meta-analisi rafforzano la conoscenza al di là del contributo della molteplicità dei singoli studi, accumulando evidenze circa gli effetti di un trattamento o una procedura.

E’ un’alternativa statistica e quindi quantitativa alla tradizionale rassegna di letteratura.

The Evidence Pyramid

LO STUDIO CLINICO LO STUDIO CLINICO

CONTROLLATOCONTROLLATO

ESITO

TRATT. A

ESITO

TRATT.B

RANDOM

POPOLAZIONE STUDIATA

CONFRONTOSTATISTICO

Le sperimentazioni cliniche controllate. Le sperimentazioni cliniche controllate. ((RandomizedRandomized controlledcontrolled Trial) Trial)

Gold standard degli studi di efficacia di una Gold standard degli studi di efficacia di una terapia.terapia.

��RandomizzazioneRandomizzazione��Doppio ciecoDoppio cieco��Consenso informatoConsenso informato��IntentionIntention toto TreatTreat��Descrizione della casistica e dei criteri di Descrizione della casistica e dei criteri di

inclusione/esclusioneinclusione/esclusione��Accuratezza ed affidabilità della valutazione Accuratezza ed affidabilità della valutazione

diagnosticadiagnostica��Descrizione dettagliata della procedura e Descrizione dettagliata della procedura e

dei risultatidei risultati

ProblemiProblemi

��Molteplici studi con risultati Molteplici studi con risultati contrastanticontrastanti

�� Studi di Studi di qualita’qualita’ non omogenea (falsi non omogenea (falsi positivi e falsi negativi)positivi e falsi negativi)

�� Studi di dimensioni insufficienti (falsi Studi di dimensioni insufficienti (falsi negativi)negativi)

�� PubblicationPubblication biasbias

Le Le originiorigini::

-- R. A. Fisher (1944)R. A. Fisher (1944)

�� “When a number of quite independent tests of “When a number of quite independent tests of significance have been made, it sometimes happens significance have been made, it sometimes happens that although few or none can be claimed individually that although few or none can be claimed individually as significant, yet the aggregate gives an impression as significant, yet the aggregate gives an impression that the probabilities are on the whole lower than that the probabilities are on the whole lower than would often have been obtained by chance” (p. 99).would often have been obtained by chance” (p. 99).

�� Source of the idea of cumulating probability valuesSource of the idea of cumulating probability values

–– W. G. Cochran (1953)W. G. Cochran (1953)

��Discusses a method of averaging means across Discusses a method of averaging means across independent studiesindependent studies

��LaidLaid--out much of the statistical foundation that out much of the statistical foundation that modern metamodern meta--analysis is built upon (e.g., inverse analysis is built upon (e.g., inverse variance weighting and homogeneity testing)variance weighting and homogeneity testing)

LogicaLogica di di unauna meta meta analisianalisi

βˆsampleAβ ˆ

sampleBβ ˆsampleCβ

ˆ( )f β Una media dei risultati tracampioni verosimilmenteè più “vicina” al valore di popolazione

Obiettivi di una metaObiettivi di una meta--analisianalisi

�Aumentare la potenza statistica

�Risolvere controversie quando gli studi mostrano risultati contrastanti

�Migliorare le stime

�Rispondere a quesiti non considerati nei singoli studi

Fasi di una meta analisiFasi di una meta analisi

�Metodi di ricerca degli studi effettuati sul fenomeno di interesse

� (Medline, Index medicus, Data base specifici)

�Criteri di ammissione degli studi

�Variabili di risposta

�Disegno dello studio

�Risultati usati per la combinazione

�Metodi statistici

�Studio della eventuale eterogeneità

StimeStime deglidegli effettieffetti

�� Risk ratio, rate ratio, relative risk.Risk ratio, rate ratio, relative risk.

�� Hazard ratio.Hazard ratio.

�� Odds ratio.Odds ratio.

�� Standardized mortality ratio (SMR).Standardized mortality ratio (SMR).

�� DifferenzeDifferenze tratra rischirischi, NNT., NNT.

�� DifferenzeDifferenze tratra mediemedie ((standardizzatestandardizzate).).

�� DoseDose--rispostarisposta ((coeffcoeff di regress.).di regress.).

�� SensibilitàSensibilità, , specificitàspecificità, curve ROC., curve ROC.

Informazioni su cui applicare una meta-analisi

�Dati grezzi

�Risultati delle singole analisi (odds ratio, effetti di trattamento)

DaDa S. T. S. T. NormandNormand “Meta analysis, formulating, evaluating, combining, and reporti“Meta analysis, formulating, evaluating, combining, and reporting”ng”

Statistics in Medicine, 1999, 18, 321Statistics in Medicine, 1999, 18, 321--359359

S.T. Normand 1999.

S.T. Normand 1999.

S.T. Normand 1999.

S.T. Normand 1999.

Effect of antihistamines on cold severity

Standardised mean difference -1.5 -1 -.5 0 .5 1 1.5

Study Standardised mean difference (95% CI) % Weight

1 0.57 (-0.22, 1.35) 2.5

2 0.21 (-0.03, 0.45) 26.0

3 0.20 (-0.15, 0.55) 12.5

4 0.01 (-0.58, 0.60) 4.4

5 0.24 (-0.47, 0.94) 3.0

6 -0.17 (-0.61, 0.27) 7.9

7 0.93 ( 0.30, 1.57) 3.7

8 0.59 (-0.31, 1.49) 1.9

9 0.26 ( 0.06, 0.46) 38.1

Overall 0.23 ( 0.11, 0.36) 100.0

Area proporzionale al peso dello studio.

Stima di sintesi e relativo IC.

Forest plot.

Metodi per combinare i risultati(1)

�Effetti fissi: l’interesse è circoscritto agli studi che sono stati inclusi nella meta-analisi.

�Effetti variabili: gli studi analizzati costituiscono un campione estratto da una popolazione più ampia di possibili studi.

Metodi per combinare i risultati(2)

�� Modello ad effetti fissiModello ad effetti fissi

Ogni studio offre una stima di un medesimo Ogni studio offre una stima di un medesimo parametro le differenze osservate sono dovute ad parametro le differenze osservate sono dovute ad errori casualierrori casuali

�� Modello ad effetti variabiliModello ad effetti variabili

Le differenze nei risultati tratti da ciascuno studio Le differenze nei risultati tratti da ciascuno studio sono sia casuali sia dovute a differenze tra le sono sia casuali sia dovute a differenze tra le popolazioni studiate o legate alle caratteristiche dei popolazioni studiate o legate alle caratteristiche dei singoli studi. singoli studi.

ModelloModello ad ad

effettieffetti fissifissiModelloModello ad ad

effettieffetti casualicasualiS.T. Normand 1999.

StimaStima deidei valorivalori di di sintesisintesi

EffettiEffetti fissifissi::

•• MantelMantel--HaenszelHaenszelpreferibilepreferibile se se gligli studistudi sonosono sbilanciatisbilanciati

•• ReciprocoReciproco delladella varianzavarianza ((WoolfWoolf))

è è ilil piùpiù usatousato adattoadatto ad ad ogniogni outcomeoutcome

dada evitareevitare per per datidati sparsisparsi

•• MetodiMetodi BayesianiBayesiani

EffettiEffetti casualicasuali::

•• DerSimonianDerSimonian & Laird& Laird

•• RMLRML

•• MetodiMetodi BayesianiBayesiani

Metodo di Mantel-

Haenszel per OR:

nib + db + da + ca + cTotalTotal

ddccNo fluNo flu

bbaaFluFlu

TotalTotalNo No

AmantadineAmantadineAmantadineAmantadine

MH OR:

Weight for MH OR:

1

1

ˆ

k

i i

i i

MH k

i i

i i

a d

nOR

b c

n

=

=

=

∑

∑i i

MH

i i i i

b cW

a b c d=

+ + +

Metodo di Mantel-

Haenszel per RR:

(incidenzacumulativa)

nib + db + da + ca + cTotalTotal

ddccNo StrokeNo Stroke

bbaaStrokeStroke

TotalTotalNo aspirinNo aspirinAspirinAspirin

1

1

ˆ

k

i ii

i i

MH k

i ii

i i

b da

nRR

a cb

n

=

=

+ = +

∑

∑

MH RR:

pesi per MH RR:

( )( )i i i i

MH

i i i i

a c b dW

a b c d

+ +=

+ + +

Nella meta-analisi ad effetti fissi la misura di interesse (es. odds ratio, rischio relativo) è individuata mediante una stima ponderata dei risultati dei singoli studi.

Per esempio il fattore di ponderazione di ciascuno studio è inversamente proporzionale alla varianza della misura di interesse.

RisultatiRisultati desuntidesunti dada k k studistudi

YY11 YY22 YY33 ...... ...... YYkk

nn11 nn22 nn33 ...... ...... NNkk

ss11 ss2 2 ss3 3 ....... ....... sskk

1

2

−

= ∑

i

iWsMLEθ

Sotto l’ipotesi che le stime dei coefficienti provengano da studi tra loro indipendenti e siano realizzazioni di variabili casuali normali con stessa media e varianza, la stima sintetica ad effetti fissi massimizza la verosimiglianza per il parametro di interesse , che rappresenta l’effetto unico sottostante il fenomeno osservato (Bohning, 1999).

Stima dell’effetto

nel singolo studio

Test di eterogeneitàCochran’s Q

Stima meta-analitica

E’ un test da utilizzare con cautela poichè in letteratura è stato più voltemostrato che ha bassa potenza

( )2θ̂−=∑ i

i

i YWQ 2

1~ −kχ

S.T. Normand 1999.

�� Il Il modellomodello ad ad effettieffetti fissifissi pesapesa ogniogni studio con studio con l’inversal’inversa

delladella varianzavarianza..

�� Il Il modellomodello ad ad effettieffetti casualicasuali ponderapondera ogniogni studio con studio con

l’inversal’inversa delladella varianzavarianza campionariacampionaria piùpiù unauna costantecostante

cheche rappresentarappresenta unauna stimastima delladella variabilitàvariabilità tratra gligli effettieffetti in in

popolazionepopolazione

2

1i

i

wse

=

2

1

ˆi

i

wse vθ

=+

Componente aggiuntiva.

( )

−

−−=

∑∑

i

i

i

i

T

W

W

W

KQ

i

2

1,0maxθ̂ν

La stima è ottenuta con il metodo dei momenti (DerSimonian & Laird,1986)

Nella meta-analisi ad effetti casuali, suggerita nell’ipotesi di eterogeneità degli studi, il fattore di ponderazione di ciascuno studio riflette non solo la variabilità del singolo studio ma anche il contributo di una misura della eterogeneità degli studi.

Quanto più tale misura di eterogeneità predomina la componente singola di variabilità tanto più i pesi tenderanno ad essere simili.

Nei modelli ad effetti casuali si possono determinare stime a posteriori per ciascun θi :

y=(Y1; Y2; : : : ; Yk ),

Bi=

Tali stime sono un compromesso tra il valore di sintesi meta-analitico ed il valore stimato per il singolo studio Yi.

Quando τ2 =0,il modello è equivalente ad un modello ad effetti fissi.

Nella meta-analisi ad effetti casuali,

suggerita nell’ipotesi di eterogeneità degli

studi, il fattore di ponderazione di ciascuno

studio riflette non solo la variabilità del

singolo studio ma anche il contributo di una

misura della eterogeneità tra gli studi.

Quanto più tale misura di eterogeneità predomina la

componente singola di variabilità tanto più i pesi tenderanno

ad essere simili.

Indice di eterogeneità diHiggins I2

Misura la proporzione di inconsistenzedei singoli studi che non può essere

spiegata dall’errore di campionamento.

I2 è una percentuale.

Minimo: 0% Massimo: 100%.

Valori negativi sono posti pari a 0.

df = numero degli studi - 1

2 ( )Q dfI

Q

−=

0.090.09

0.170.17

0.400.40

P valueP value

44% (0 to 75)44% (0 to 75)12.412.488Prevent Prevent

influenzainfluenzaAmantadineAmantadine

19% (0 to 48)19% (0 to 48)39.539.53333MortalityMortalityStreptokinase Streptokinase

after MIafter MI

3% (0 to 28)3% (0 to 28)55.955.95555MortalityMortalityTamoxifenTamoxifen for for

breast cancerbreast cancer

II22 (95% CI)(95% CI)QQ# studies# studiesOutcomeOutcome

BMJ 2003;327:557-60.

I2 consente il confronto tra metanalisi con outcome

diversi e diverso numero di studi considerati

Se vi è indicazione di eterogeneità

Analisi esplorative

Analisi per sottogruppi

Meta-regressione

Analisi di influenza

Subgroup Analyses: Stratify by subgroup & calculate separate summary measures for each subgroup.

Subgroup Analyses:

Meta-regressione

variabile dipendente la stima di effettonel singolo studio.

variabili indipendenti caratteristichedegli studi.

Esistono delle caratteristiche degli studiche permettono di spiegare l’eterogeneità?

con2

1i

is

W =con

1

1

k

i iik

ii

WY

W

=

=

∑∑

Effetti fissi Effetti casuali

1

1

( )

( )

k

i iik

ii

W Y

W

τ

τ

=

=

∑∑

2 2

1( )

ˆi

isW τ

τ=

+

MetaMeta--analisianalisi Standard Standard ::

I I risultatirisultati sonosono combinaticombinati in in un’unicaun’unica analisianalisi..

MetaMeta--analisianalisi cumulativacumulativa::

I I risultatirisultati deidei singolisingoli studistudi vengonovengono combinaticombinati

sequenzialmentesequenzialmente. .

PuòPuò evidenziareevidenziare trend trend emergentiemergenti. .

Standard meta-analysis and cumulative meta-analysis.Risk ratios for progression to AIDS or death in a comparison of early therapy

with zidovudine (treatment group) or deferred therapy with zidovudine(control group).

Vioxx and Relative Risk of Myocardial Infarction

Lancet 2004;364:2021-29.

Vioxx and Relative Risk of Myocardial Infarction“our findings indicate that rofecoxib should have been

withdrawn several years earlier.”

Lancet 2004;364:2021-29.

La meta-analisi di studi epidemiologici

Nell'ambito degli studi di epidemiologia osservazionale l'impiego di tali metodologie di sintesi quantitativa è stato oggetto di acceso dibattito (Greenland, 1987).

Infatti le differenze di protocollo tra studi nominalmente simili ha scoraggiato l’esecuzione di meta-analisi di studi già pubblicati, da un lato, mentre la necessità di valutare rischi di piccola entità ma importanti ai fini della salute pubblica ha spinto verso la pianificazione di meta-analisi sulla falsariga di protocolli multicentrici, dall’altro.

Revisioni sistematiche di studi epidemiologici (Blettner et al., 1999):

I) Revisioni narrative;

II) Analisi statistiche eseguite sui risultati di studi pubblicati in letteratura (tradizionalmente classificate come meta-analisi);

III)Le stime globali sono ottenute a partire dai dati individuali rianalizzati in una fase successiva;

IV) Combinazione dei risultati degli studi individuali è parte integrante del protocollo dello studio.

Il punto cruciale consiste nella standardizzazione delle procedure di raccolta e trattamento statistico dei dati in funzione della sintesi futura. Le meta-analisi di tipo IV offrono le migliori garanzie di comparabilità tra studi e si avvicinano come qualità alle meta-analisi di studi clinici controllati, anche se richiedono maggiori sforzi organizzativi.

Gli studi osservazionali, mancando del requisito della assegnazione casuale del trattamento, richiedono un accurato controllo del confondimento in fase di analisi statistica o per mezzo di appropriati accorgimenti di disegno dello studio.

Le potenziali distorsioni e le differenze di disegno dello studio sono particolarmente pronunciate e la reale comparabilità tra studi è difficile da assicurare e valutare (Stroup et al.2000).

Tuttavia la variabilità tra studi può offrire importanti ipotesi di ricerca e costituisce un obiettivo importante di un programma di meta-analisi.

Il gruppo MOOSE (Meta-analysis Of Observational Studies in Epidemiology) ha fornito un Consensus Statement pubblicato sulla rivista della American Medical Association il 19 Aprile 2000 (Stroup et al. 2000). Questo Statement riguarda però soltanto le meta-analisi di studi pubblicati, dove più rilevanti appaiono i problemi di confrontabilità e generalizzabilità dei risultati.

Qualora si vogliano sintetizzare a posteriori risultati di studi indipendenti dobbiamo assicurarci che siano stati considerati gli stessi fattori di confondimento, che i criteri di inclusione siano omogenei, così come il disegno dello studio e le metodologie di analisi, accanto ai tradizionali requisiti delle meta-analisi cliniche riguardanti il controllo della distorsione da pubblicazione selettiva dei piccoli studi con risultati positivi.

Le meta-analisi di tipo III e IV, che si basano sulla ri-analisi dei dati individuali provenienti dai singoli studi o su studi pianificati per l’analisi congiunta, seguono un disegno comprendente due fasi:

i)analisi degli studi singoli sulla base di un protocollo comune quanto a criteri di selezione, definizione delle variabili e controllo del confondimento;

ii) sintesi quantitativa dei risultati ed allo studio dei fattori che potenzialmente possono spiegare l’eterogeneità tra studi.

PossibiliPossibili fontifonti di di distorsionedistorsione

EffettoEffetto del ßdel ß--carotenecarotene

Egger M et al. BMJ 1998

ß-carotene intake showsconsiderable benefit in the

prevention of cardiovascularmortality, in cohort studies

… but not in RCTs, showing anincrease risk of death

AccuratezzaAccuratezza??

Cappuccio FP et al. Am J Epid 1995

Interview Interview

bias?bias?

Nelemans PJ et al. J Clin Epid 1995

Boyd NF et al. B J Cancer 1993

Distorsione da pubblicazione.

Errore sistematico introdotto in una meta-analisi dallo stato della letteratura, qualora vi sia una maggiore propensione ad accettare per la pubblicazione, studi con risultati positivi (relazioni significative o risultati favorevoli ad una terapia) rispetto a quelli negativi.

Funnel Plot sulle ordinate la dimensione dello studio

sulle ascisse la stima dell’effetto

PublicationPublication biasbias : : funnelfunnel plotplot

RR

Nb

of subje

cts

True RR

Interpretazione e problemiInterpretazione e problemi

�� La revisione sistematica (con La revisione sistematica (con l’eventuale metal’eventuale meta--analisi) e’ uno studio analisi) e’ uno studio epidemiologico con tutti i limiti e i epidemiologico con tutti i limiti e i possibili difettipossibili difetti

�� MetaMeta--analisianalisi diverse sullo stesso diverse sullo stesso argomento possono dare risultati diversiargomento possono dare risultati diversi

�� Il principale risultato e’ la stima Il principale risultato e’ la stima quantitativa dell’effetto medio e del quantitativa dell’effetto medio e del rangerange di effetti ottenuti dal trattamento di effetti ottenuti dal trattamento in tutti gli studi in tutti gli studi

�� Il valore di una metaIl valore di una meta--analisi dipende analisi dipende dalla dalla qualita’qualita’ degli studi che la degli studi che la compongonocompongono

Limiti delle metaLimiti delle meta--analisianalisi

��Non sono studi sperimentaliNon sono studi sperimentali

��Dipendono dalla Dipendono dalla esaustivitàesaustività della della ricerca degli studi rilevantiricerca degli studi rilevanti

��Dipendono dalla qualità degli Dipendono dalla qualità degli studi inclusistudi inclusi

��Possono sovrastimare l’effetto a Possono sovrastimare l’effetto a causa del causa del publicationpublication biasbias