“Revisioni Sistematiche

e Meta-Analisi:

il punto di vista

Corso ECMRevisioni sistematiche, meta-analisi,

linee guida.

Le risorse informative per la medicina

basata sulle prove scientifiche.

il punto di vista

statistico”.

Dr.ssa Francesca SperatiUnità di Biostatistica-Istituto Nazionale Tumori Regina Elena

sperati@ifo.it

Roma, 16-17 settembre 2015 (I ed) e 7-8 ottobre 2015 (II ed)

La Revisione Sistematica (RS)“La revisione di una domanda, chiaramente formulata,

che utilizza una metodologia sistematica ed esplicita per

identificare, selezione e valutare criticamente le ricerche in

materia”. Cochrane Collaboration

Lo scopo di una RS:Lo scopo di una RS:

fornire un riassunto esaustivo della letteratura riguardante una determinata domanda di ricerca.

“I metodi statistici (meta-analisi) possono o non possono

essere utilizzati per analizzare e riassumere i risultati degli

studi inclusi”. Cochrane Collaboration

La Meta-Analisi (MA): L’analisi delle analisi.

“L’utilizzo di tecniche statistiche in una RS per integrare i

risultati degli studi inclusi. “ Cochrane Collaboration

La MA combina i risultati di differenti studi indipendenti eLa MA combina i risultati di differenti studi indipendenti eomogenei, producendo una singola stima, per ottenerel’evidenza pro/contro una determinata ipotesi.

Revisione Sistematica ← Meta-AnalisiLa validità di una meta-analisi è strettamente dipendente dalla qualità dellarevisione sistematica su cui si basa.

Una buona Revisione Sistematica deve aver collezionato studi:

• di alta qualità

• originali

• privi di bias

• in maniera completa• in maniera completa

• che esaminino tutti la medesima domanda clinica

Una buona Meta-Analisi:

• ha una copertura completa per tutti gli studi rilevanti

• verifica la presenza di eterogeneità

• esplora la robustezza dei risultati principali attraverso un’analisi disensibilità.

FS1

Diapositiva 4

FS1 RS è condizione necessaria ma non sufficiente per MAFrancesca Sperati; 08/04/2013

Meta-analisi: le origini

XVII secolo: studi di astronomia.

1904: Karl Pearson pubblicò unarticolo su BMJ dove si utilizzava unapproccio meta-analitico peraggregare outcome di differenti studiaggregare outcome di differenti studiclinici nel tentativo di superare ilproblema della ridotta potenzastatistica (studi con campioni dipiccole dimensioni).

Karl Pearson

Meta-analisi: le origini1976: Gene V Glass coniò il termine “meta-

analisi” nel suo lavoro “Primary,

secondary and meta-analysis of research”.

Primary analysis: l’analisi originale dei datiin uno studio di ricerca.

Secondary analysis: ri-analizzare i datiSecondary analysis: ri-analizzare i datinell’intento di rispondere al quesitooriginale di ricerca con migliorimetodologie statistiche oppure risponderea nuovi quesiti con vecchi dati.

“My major interest currently is in what we have come to call...the meta-analysis of

research. The term is a bit grand, but it is precise and apt…Meta-analysis refers to the

analysis of analyses“.

WHY ?

WHEN ?

WHO ?

WHY• Fornire una stima quantitativa dello stato dell’arte relativo all’oggetto

dello studio

• Aumentare la potenza statistica sia per gli endpoints primari che per i sottogruppi

• Aumentare la precisione della stima dell’Effect Size

• Rispondere a nuovi quesiti o generare nuove ipotesi

• Risolvere l’incertezza quando gli autori sono in disaccordo.

WHEN

• uno stesso topic viene stimato da più di uno studio

• non esistono differenze nelle caratteristiche degli studi tali da poter influenzare in maniera sostanziale i risultati

• tutti i dati sono disponibili e omogenei

WHOTeam multidisciplinare

Ricercatori, clinici e biostatistici

Identificare gli studi, aumentare la rilevanza del quesito, interpretare i risultati e disegnare futuri studi.

Step di una Meta-Analisi• Formulare una domanda: scrivere un protocollo

• Definire i criteri di inclusione degli studi

• Individuare gli studi

• Valutare la qualità degli studi

• Disegnare la strategia e l’estrazione dei dati

• Analizzare e presentare i risultati:• Analizzare e presentare i risultati:

- Forest plot

- Funnel plot

- Esplorare l’eterogeneità tra gli studi

- Elencare gli studi esclusi e descriverne le caratteristiche

• Interpretare i risultati dei dati combinati

• Conclusioni

Principi di una Meta-AnalisiApproccio:

- Individual Patient Data (IPD)

- Abstracted Data (AD)

• Ogni studio viene riassunto attraverso l’utilizzo di una misura dieffettoeffetto

• Questi risultati vengono combinati in una singola stima di effettototale (media ponderata) tenendo in considerazione i pesi attribuitiagli studi (studi grandi = grande peso), le singole stime e gli intervallidi confidenza.

• Gli intervalli di confidenza rappresentano l’incertezza della stimadel risultato

Tipologia di outcomeOutcome dicotomici:

•Odds Ratio (OR)

•Risk Ratio (RR)

•Risk Difference (RD)

•Hazard Risk (HR)•Hazard Risk (HR)

Outcome continui:

•Weighted mean difference (WMD)

•Standardized mean difference (SMD)

Forest Plot

Come leggere il Forest PlotLinea del “non-effetto”: 1 per indicatore di rischio e

0 per indicatori continui

Stima puntuale di effettodel singolo studio, la cuigrandezza èproporzionale al pesoattribuito allo studio chea sua volta dipende dallanumerosità e dal numero

IC che esprime il grado di incertezza dello studio. Tanto più è lunga tanto più i risultati sono incerti. Se l’IC attraversa la linea del “non-effetto” vuol dire che i risultati dello studio non sono statisticamente significativi.

Scala orizzontale

a sua volta dipende dallanumerosità e dal numerodi eventi.

Il rombo rappresenta il risultato finale (stima complessiva).Il centro del rombo indica la stima puntuale, mentre

l’ampiezza dei lati rappresenta l’intervallo di confidenza.

Publication BiasEsistono diversi modi in cui gli studi inclusi in una meta-analisi possono essere incompleti o distorti (biased).

Gli studi che riportano risultati positivi per il trattamento sperimentale rispetto a quelli che non osservano un effetto nel trattamento hanno più probabilità di:

• essere pubblicati nelle riviste di lingua inglese;

• essere pubblicati nelle riviste indicizzate;• essere pubblicati nelle riviste indicizzate;

• avere pubblicazioni multiple;

• essere citati in altri articoli.

In presenza di Publication Bias l’effetto totale calcolato nella meta-analisi tenderà a SOVRASTIMARE l’effetto dell’intervento.

Funnel Plot

Il Funnel Plot è un semplice modo per

valutare la probabilità di probabilità di presenza di

Publication Bias.

Come interpretare un Funnel PlotStima Totale

Grandezza dello studio/

Precisione della stima

(Dimensione Campionaria,

Errore Standard o Peso

attribuito).

Solitamente si usa l’errore standard riportato con una scala inversa.

Stima singolo studio

Linea del non-effetto

95%CI dello SE*

Misura dell’effetto del trattamento

Le misure di Rischio (OR, RR) vengono plottate su scala logaritmica per avereeffetti (della stessa grandezza ma di direzione opposta ex. OR 0.5 e 2)equidistanti da 1. Per gli outcomes continui, l’effetto viene misurato comeDifferenza di Medie o Differenza di Medie Standardizzata.

Jonathan A C Sterne et al. BMJ 2011;343:bmj.d4002

*sotto l’assunzione di fixed-effect e assenza di bias. (summary logOR)±1.96xSE(summary log OR)

Funnel PlotOrigine del nome:In assenza di Publication Bias e di eterogeneità tra gli studi la distribuzionedovrebbe essere simmetrica e simile ad un imbuto (“Funnel”) rovesciato.

Studi grandiStudi piccoli

Studi piccoli produrranno stime meno precise (parte bassa del grafico) e piùsparpagliate rispetto alla stima pooled.sparpagliate rispetto alla stima pooled.Studi grandi produrranno stime più precise (parte alta del grafico) e più vicinealla stime pooled.

Qualche esempio di Funnel Plot…

• Gli studi piccoli e meno precisi sono molto più “positivi” degli studi grandi.

• Mancano gli studi piccoli “negativi” (sulla sinistra).

Sembra un buon esempio di Publication Bias.

• non c’è simmetria• l’asimmetria è causata principalmente dallo studio in basso a sinistra• Potrebbe esserci un publication bias ma potrebbe essere che lo studio(in basso a sinistra) abbia meno qualità o una scarsa qualità rispetto aglialtri, oppure potrebbe essere stato performato in una popolazione ad altorischio.

Possiamo solo dire che potrebbe esserci un publication bias.

• Non ci sono trial vicino la linea di non-effetto

Possibile publication bias : studi significativi vengono pubblicati o

trovati sistematicamente più di quelli che mostrano nessuna

differenza.

Publication Bias – Trim and FillIl metodo TRIM AND FILL fornisce una stima sia del numero di studi mancanti che

dell’effetto dell’intervento “aggiustata” per il Publication Bias.

È strutturato nel seguente modo:

1) “TRIM”: rimuove gli studi piccoli che causano asimmetria nel Funnel Plot;

2) Utilizza il Funnel Plot tagliato per stimare il “vero centro” del Funnel;

3) “FILL”: riposiziona gli studi tagliati e le loro “controparti” mancanti attorno al nuovo centro.

4) L’effetto dell’intervento “aggiustato” viene ottenuto ripetendo la Meta-Analisi includendo gli studi aggiunti.

Publication Bias – Trim and Fill

Le limitazioni del metodo TRIM AND FILL:

1) È costruito sull’assunzione che il Funnel Plot debba essere simmetrico;

2) Non essendo noto il meccanismo che genera il Publication Bias, non ci sonogaranzie che la stima aggiustata verrebbe osservata in assenza di Publication Bias ;Bias ;

3) Non tiene conto delle ragioni che causano l’asimmetria del Funnel Plot;

4) Le stime aggiustate devono essere interpretate con cautela;

5) La sua performance non è buona in caso di eterogenità.

• publication bias;

• eterogeneità clinica tra gli studi;

• eterogeneità metodologica tra gli studi;

Possibili fonti di asimmetria:

• caso.

La simmetria è tutto!!

O no?!?!?

EterogeneitàLe differenze tra le caratteristiche degli studi

possono avere un impatto sui risultati.

Clinica

Partecipanti (età, gravità malattia..)

Intervento (singolo farmaco, classe di farmaci,

Metodologica

Come lo studio è stato condotto(disegno metodologico di bassa

qualità, analisi inadeguate….)

(singolo farmaco, classe di farmaci,

durata del trattamento)

Outcome

Statistica

Incompatibilità nei risultati quantitativi dei differenti studi.

La sua presenza viene valutata utilizzando formali test.

Eterogeneità

Qualche variazione tra gli effetti del trattamento è inevitabile, ma è necessario capire se la variazione è maggiore rispetto a quella che ci ma è necessario capire se la variazione è maggiore rispetto a quella che ci

si aspetterebbe per solo effetto del caso.

C’è sospetto di eterogeneità se:• Esame visivo del forest plot

• Chi2

• P-value

• I2

• gli IC dei singoli studi non si sovrappongono

• il Chi2>df (1-numerosità)

• < 0.05 oppure 0.10

• alto

Cosa fare in caso di eterogenietà 1°

1) Effettuare Analisi per sottogruppi/stratificazione

- Gli studi vengono categorizzati secondo determinate caratteristiche degli studi stessi o dei soggetti in studio

- La grandezza dell’effetto viene stimata in ogni categoria.

Subgroup analysis and meta-regression

Se gli studi sono divisi in sottogruppi è possibile analizzare come unacaratteristica (categoriale) degli studi si associa con gli effetti dell’intervento nellameta-analisi.

•La meta-regressione è un’analisi (regressione logistica multivariata) in cui le caratteristiche degli studi o dei soggetti degli studi vengono utilizzate come

covariate/variabili esplicative (X) e l’effect size come variabile dipendente/dacovariate/variabili esplicative (X) e l’effect size come variabile dipendente/daspiegare (Y).

•Le unità delle osservazioni sono lo studio o il sottogruppo

•Il numero di covariate deve essere tenuto basso

Ex: Illustration of funnel plot asymmetry due to heterogeneity, in the form of three

distinct subgroups of studies.

Jonathan A C Sterne et al. BMJ 2011;343:bmj.d4002

Cosa fare in caso di eterogenietà 2°

2) Effettuare le Analisi con entrambi i seguenti metodi:

- Modello ad Effetti Fissi: ipotizza che la stima puntuale dell’effettodel trattamento sia la stessa in ogni studio; cioè se tutti gli studi fosseroinfinitamente grandi la variazione tra di essi sparirebbe ed ogni studioprodurrebbe lo stesso risultato (= no eterogeneità statistica).produrrebbe lo stesso risultato (= no eterogeneità statistica).

- Modello ad Effetti Variabili: ipotizza che gli effectsizes considerati nella meta-analisi possano variare tra di loro, sia a causadella varianza within-group sia a causa della reale variabilità (between-

study variance) che esiste tra i parametri.

Effetti Fissi vs Effetti VariabiliLa raccomandazione è di effettuare le analisi con entrambi i modelli e vedere

come varia il risultato.

La scelta tra i due modelli non deve mai essere fatta sulla base di test statistici per l’eterogeneità.

Le stime ottenute con i due modelli possono essere:

• Identiche

• Simili ma con differenti intervalli di confidenza

• Differenti e con differenti intervalli di confidenza

• Gli IC si sovrappongono quindi non c’è sospetto di eterogeneità.• Il modello ad effetti fissi e quello ad effetti variabili forniscono risultati dentici.

QUINDI

• Possiamo utilizzare entrambi i modelli• Attenzione in ogni caso all’interpretazione se ci sono troppi studi piccoli che potrebbero facilmente incorrere in errori casuali e distorcere i risultati.

• Non tutti gli IC si sovrappongono quindi sospetto eterogeneità.• Le stime puntuali nei due modelli sono quasi uguali ma gli IC sono diversi (+ ampio nel random)

QUINDI

•In questo caso meglio usare il modello ad effetti variabili.

• I due metodi (Random/fixed) attribuiscono i pesi in modo differente. •Nel metodo random gli studi vengono pesati in maniera molto più egualitaria. Agli studi piccoli viene dato più peso perché ci forniscono maggiore info sulla distribuzione degli effetti.• Nel fixed , poiché si ipotizza l’esistenza di un effetto vero sottostante, si attribuisce meno peso agli studi piccoli perché si ritiene pecchino di precisione.

QUINDI

• A questo punto devo fare una considerazione sulla validità degli studi (meglio i grandi o i piccoli?)

Analisi della SensibilitàViene utilizzata per valutare quanto i risultati siano robusti (sensibili)nell’incertezza della decisione o nelle assunzioni relative ai dati e ai metodiutilizzati.

Confronta i risultati di MA ottenute utilizzando differenti assunzioni, ed ex:

1. Se si è dubbiosi circa l’elegibilità di uno studio per la propria SR: si potràeffettuare un’analisi di sensibilità confrontando il risultato della meta-analisi includendo ed escludendo tale studio.analisi includendo ed escludendo tale studio.

2. Calcolare il risultato di una MA includendo prima tutti gli studi e poiescludendo quelli di scarsa qualità.

3. Utilizzare sia il metodo ad effetti fissi che quello ad effetti variabili pervalutare la robustezza del risultato al metodo usato.

4. Se uno studio sembra essere un outlier (risultati molti differenti dal restodegli studi) si può valutare la sua influenza nella meta-analisi escludendolo.

5. Valutare se la MA è stata pesantemente influenza da un particolare trial:ripetere l’analisi escludendo quel trial ( grande o piccolo che sia).

Conclusione

L’unione fa la forza!!L’unione fa la forza!!