Letteratura secondaria:revisioni sistematiche

e meta-analisi

Ludovica Tamburini

14 e 15 gennaio 2010

Corso di Laurea Specialistica in

Scienze delle Professioni Sanitarie della Prevenzione

Evidence-based Medicine

Movimento culturale che si è progressivamente diffuso a livello internazionale, favorito da alcuni fenomeni che hanno contribuito ad una crisi dei modelli tradizionali della medicina:

crescita esponenziale dell’informazione biomedica (volume e complessità)

limitato trasferimento dei risultati della ricerca alla pratica sanitaria

crisi economica dei sistemi sanitari

maggior livello di consapevolezza degli utenti

sviluppo delle tecnologie informatiche

L’Evidence-based Prevention

Movimento che:→ coopera per cambiare la pratica della prevenzione, al fine di renderla sempre più utile per la salute della popolazione; → intende arricchire la prevenzione di tutti quegli interventi per i quali, attraverso adeguati studi scientifici , ne è stata dimostrata utilità ed efficacia;→ intende eliminare progressivamente tutte quelle pratiche di prevenzione inutili ed inefficaci.

Poiché alcune delle pratiche inefficaci sono ancora obbligatorie per legge, l'iniziativa Evidence Based Prevention tenta anche di adeguare la normativa alle attuali conoscenze scientifiche.

Dall’EBM all’EBP

Il fascino dell'EBM ha presto "contagiato" tutte le specialità mediche e le altre professioni sanitarie con relativa moltiplicazione degli acronimi.

Superata la fase campanilistica si è diffuso il termine Evidence-based Practice (EBP), a sottolineare in maniera univoca la "pratica professionale basata sulle evidenze scientifiche".*

* www.gimbe .it

Core-curriculum

La pratica dell'EBP si articola in 4 step:

Formulatingquestion

→ Convertire il bisogno di informazione in quesiti definiti

Gettingevidence

→ Ricercare con la massima efficienza, le migliori evidenze disponibili

Appraisingevidence

→ Valutare criticamente le evidenze

Applyingevidence

→ Integrare le evidenze nelle decisioni cliniche

Quesiti e approcci di ricerca bibliografica

QUESITO APPROCCIO

BACKGROUND QUESTIONSquesiti di carattere generale

SCANNINGSTRATEGIA PRO-ATTIVA

(consultazione periodica per individuare novità sui temi di abituale

interesse)

FOREGROUND QUESTIONSquesiti specifici che si riferiscono ad un

aspetto particolare (di trattamento, di prognosi, eziologici,

diagnostici).

SEARCHINGSTRATEGIA REATTIVA

(ricerca attiva rispetto ad un quesitoformulato )

Foreground questions

• quesito in forma narrativa• PICO

P P –– ((patientpatient) ) pazientepaziente o o problemaproblema

I I –– ((intervetionintervetion) ) interventointervento o o esposizioneesposizione

C C –– ((comparisoncomparison) ) confrontoconfronto o o interventointervento didi controllocontrollo

O O –– ((outcameoutcame) ) risultatorisultato o o esitoesito

• parole chiave• traduzione• ricerca nelle banche dati biomediche

Esempio:

Nelle persone al di sopra dei 65 anni, la vaccinazione antinfluenzale può ridurre la morbilità rispetto alle persone che non la effettuano?

Riduce la morbilità?

Vaccinazione antinfluenzale

Anziani > a 65 anni

OutcomeComparazioneInterventoPopolazione

PAROLE CHIAVE TRADUZIONE

ANZIANI AGED

VACCINAZIONE

ANTINFLUENZALE

INFLUENZA VACCINES

MORBILITÀ MORBIDITY

Come si collocano i professionisti?

EBP-practitioners, capaci di praticare l’EBP step-by-stepe di diffonderla nel loro setting professionale.

EBP-users, professionisti che condividono principi e metodi dell’EBP, ma sostituiscono lo step relativo alla valutazione critica utilizzando prevalentemente fonti secondarie.

LIMITATA PRATICABILITA’

LA LETTERATURA SCIENTIFICA

Trattati

Libri

Revisioni tradizionali

Editoriali

Lettere

Revisioni sistematiche

Metanalisi

Linee guida evidence based

Studi primari di:

Trattamento (RCT)

Eziologia (coorte o caso-controllo)

Prognosi (coorte)

Diagnosi (di validazione)

Oggetto:

-

Oggetto:

Studi primari

Oggetto:

Pazienti

TERZIARIASECONDARIAPRIMARIA

SRs e MAs di RCTs

RCTs

Cohorte Studies

Case Control Studies

Case Series – Case Report

Opinions

Non è evidenza ciò che è esplicito ma ciò che è dimostratoNon è evidenza ciò che è esplicito ma ciò che è dimostrato

La piramide delle evidenze

SRs e MAs di CSs

SRs e MAs di CCSs

REVIEWS

Rendono più “maneggevole” un enorme quantità di informazioni.

Si distinguono in:

TRADIZIONALI – narrative(letteratura terziaria)

SISTEMATICHE - qualitative o quantitative (letteratura secondaria)

Revisione tradizionale

Paragonabile al capitolo di un libro

Non esplicitato il metodo di selezione, sintesi e interpretazione delle evidenze

Impossibilità di fare una valutazione critica

Obiettivi molto ampi

Spesso fatte su commissione* Centro Studi EBN S.Orsola – Malpighi Bologna

Revisione sistematica

Ricerca scientifica vera e propria

Esplicitato il protocollo metodologico

Possibilità di fare una valutazione critica

Sintesi dei risultati spesso fatta con metodometa analitico

Systematic Review

Individua, valuta e sintetizza studi scientifici, allo scopo di offrire risposte esaurienti, basate su dati

empirici, a quesiti della ricerca scientifica

E’ uno strumento capace di risolvere problemi legati alla ricerca e all’interpretazione delle migliori evidenze

Ha un ruolo sempre crescente per la pratica clinica, per la formazione permanente, per le decisioni di

politica sanitaria

Systematic Review

Le revisioni sistematiche consentono di riassumere tutte le prove di efficacia circa un particolare intervento/prestazione e di aggiornarle quando nuove informazioni sono disponibili.

L’analisi combinata di diversi studi sulla stessa tipologia di pazienti, di intervento/prestazione ed outcome consente di

aumentare la precisione delle stime.

La possibilità offerta dalle revisioni sistematiche di comparare i risultati di studi diversi condotti in contesti differenti consente di

migliorare la generalizzabilità dei risultati.

1. Identificazione del problema e dello scopo2. Sviluppo di un protocollo di revisione3. Localizzazione degli studi4. Selezione degli studi rilevanti5. Valutazione della qualità delle ricerche6. Raccolta dei dati dagli studi individuali7. Sintesi quantitativa o qualitativa e riassunto dei risultati degli studi8. Documentazione del metodo nel report della revisione

Systematic Review

FASI

Systematic Review

ELEMENTI ESSENZIALI DEL PROTOCOLLO DI REVISIONE

→ DEFINIZIONE QUESITO DI RICERCA (GENERALMENTE DI FOREGROUND)

→ DEFINIZIONE STRATEGIA DI RICERCA DEGLI STUDI

→ DEFINIZIONE CRITERI DI INCLUSIONE/ESCLUSIONE DEGLI STUDI

→ CRITERI PER LA VALUTAZIONE DELLA QUALITA’

→ ESTRAPOLAZIONE ED ANALISI DEI DATI

1. Quesito

Deve essere essenziale, specifico e chiaro.

Deve definire i partecipanti, gli interventi da valutare, gli esiti da misurare (PICO).

Quesiti non chiari e generici danno luogo a revisioni scadenti.

2.Criteri di inclusione e di esclusione

Devono essere sempre definiti prima di iniziare la ricerca degli studi in letteratura

Devono riflettere direttamente il quesito della ricerca (partecipanti, interventi, risultati)

Devono indicare i tipi che di studio verranno selezionati

3. Strategia di ricerca

Serve ad interrogare le banche dati e descrive le modalità di consultazione di ogni altra fonte informativa, ricerca bibliografica, ricerca manuale, contatti con ricercatori, atti di congressi, registri di studi non ancora pubblicati (es. Cochrane Central Register*)

*http://uscc.cochrane.org/en/newPage3.html

The Cochrane Central Register of Controlled Trials (CENTRAL) is a database of

controlled trials and other healthcare interventions that serves as the best

available resource for those preparing and maintaining systematic reviews or

searching for trials. CENTRAL includes citations that may not be indexed in

MEDLINE, EMBASE, or other bibliographic databases, citations published

internationally in many languages, and citations that are available in conference

proceedings or other hard to access sources.

(Dickersin K, Manheimer E, Wieland S, Robinson KA, Lefebvre C, McDonald S, and the Central Development Group.

Development of the Cochrane Collaboration's Central Register of Controlled Clinical Trials. Evaluation and the Health

Professions, 2002; 25:38-64.)

3. Strategia di ricerca

Deve avere come obiettivo l’identificazione di tutti gli studi pubblicati, non pubblicati o in corso di pubblicazione che rientrino nei criteri di inclusione.

L’obiettivo di una strategia di ricerca completa è quello di ridurre al minimo il rischio di bias:publication bias (di pubblicazione)time lag bias (temporale)language bias (linguistico)

Funnel PlotTecnica grafica utilizzata per valutare la possibilità di publication bias in una RS.

Si tratta di uno strumento grafico che si basa sulla distribuzione dei punti sul grafico: - se questi sono equamente distribuiti nelle due parti si ipotizza che non siano presenti pubblication bias- se invece sono concentrati in una sola parte il rischio è che siano presenti bias

Recentemente questo strumento è stato messo in discussione, per la grande sensibilità e la scarsa specificità.

Ossia se il funnel plot non rileva bias è probabile che non ci sia, ma se lo rilevanon è detto che questo ci sia realmente.

Funnel Plot

4. Valutazione critica

Serve per valutare il rigore metodologico degli studi raccolti, verificando il disegno di studio e la sua conduzione.

La qualità del prodotto conclusivo di una RS dipende dalla qualità degli studi considerati.

Pertanto è necessaria una valutazione critica relativa alla pertinenza al tema e alla metodologia di ricerca.

Esistono strumenti specifici per la valutazione critica (es: Quality AssessmentScale, Scala di Newcastle-Ottawa ).

5. Raccolta e sintesi dei dati

Estrapolare i dati nel modo più accurato possibile e creare uno strumento (es. una griglia) dove registrare le informazioni che servono, relative ad ogni studio incluso nella RS.

Per un buon livello qualitativo, l’analisi dei dati va definita nel protocollo della RS

I dati di una revisione si possono analizzare in modi differenti: se quantitativi si prestano al metodo statistico della meta-analisi, se qualitativi possono essere presentati in forma narrativa.

In entrambi i casi è opportuno definire a priori la metodologia che si intende seguire.

Meta-analisi

La metanalisi è una tecnica clinico-statistica che permette di analizzare una serie di studi condotti sullo stesso

argomento, consentendo una sintesi quantitativa dei risultati.

E’ utilizzata

nei casi di incertezza nella valutazione di efficacia di un trattamento

quando i risultati dei singoli studi non sono univoci

quando i singoli studi sono effettuati su un campione di pazienti numericamente scarso (poco affidabili)

LA COMBINAZIONE DEI DATI DIMINUISCE L’IMPRECISIONE DEI RISULTATI DEI SINGOLI STUDI

Meta-analisi

Meta-analisi

In una meta-analisi non si sommano semplicemente i pazienti dei vari studi. Si conserva l'effetto individuale di ciascuno studio e si usano metodi statistici che, preservando l'identità del singolo studio, forniscono una stima combinata dell'effetto dell'intervento dando maggior peso agli studi più grandi.Più è grande uno studio e più esso influenzerà il risultato globale della meta-analisi.

Meta-analisi: quale valore aggiunto?

di aumentare la potenza del risultato in caso di studi con campioni piccoli

di aumentare la generalizzabilità aumentando il campione (purchè omogeneo)

di rispondere a domande non poste dai singoli studidi chiarire controversie che derivano da studi confliggentidi formulare nuove ipotesi

Combinazione statistica di più studi che permette:

Meta-analisi: quando non è opportuna?

1.Se gli studi sono clinicamente molto diversi

(interventi o outcome diversi)

2.Se gli studi sono di scarsa qualità metodologica

3.Se la revisione della letteratura non ha eliminato

il pubblication bias.

Come leggere una meta-analisi:il forest plot o blobbogramma

Per convenzione nel lato sinistro del grafico cadono le stime di effetto che favoriscono il trattamento sperimentale mentre in quello destro quelle a favore del trattamento standard. Conviene però guardare sempre la figura con attenzione perché a volte la situazione è capovolta.

Nel tipico grafico di sintesi di una meta-analisi si hanno linee orizzontali, ciascuna delle quali mostra il risultato di un singolo studio, mentre la linea perpendicolare corrisponde a "nessun effetto".

Quando uno studio ha un campione piccolo il risultato è molto incerto e ciò si può vedere dalla lunghezza della linea (che sarà lunga) e dalla dimensione della stima puntuale nel centro (che sarà piccola). Quando la linea dello studio tocca o attraversa la linea perpendicolare del "nessun effetto" il risultato non è convenzionalmente "statisticamente significativo".

Il quadratino in mezzo alla linea indica la stima di effetto che può essere riassunta con diversi tipi di misure: rischio relativo, odds ratio, differenza di rischio (la misura più spesso usata è l'odds ratio). La lunghezza della linea attorno alla stima puntuale è proporzionale all'incertezza che ha la stima puntuale di quello studio. Essa rappresenta l'intervallo di confidenza del risultato.

E' difficile pensare che entrambi gli studi mostrino la verità su questo trattamento, perché essi puntano in direzioni opposte. Il primo studio che abbiamo inserito sulla destra indica, in modo statisticamente significativo, che il trattamento non è utile poiché i soggetti nel gruppo di controllo hanno un esito migliore. E lo studio sulla sinistra dice l'opposto.

Se confrontiamo i due studi inseriti nel forest plot, si nota che lo studio a sx produce una stima molto meno incerta. Il grado di certezza/incertezza derivante da ogni singolo studio non è comunque una misura di "validità dei risultati". Infatti, entrambi gli studi possono essere completamente sbagliati. Una piccola dose di incertezza (come nello studio più grande) non significa assolutamente che il risultato sia "vero". Essa mostra semplicemente l'incertezza attorno alla stima puntuale per ogni studio.

Il risultato cumulativo derivante dall’elaborazione statistica di tutti gli studi è rappresentato dal diamante ai piedi del grafico, il cui punto centrale indica la stima complessiva dell’efficacia dell’intervento indagato, mentre la larghezza si riferisce all’intervallo di confidenza complessivamente calcolato.

Inserendo nel grafico un terzo studio, anche questo ci dice che probabilmente il trattamento sperimentale non funziona. Ma il risultato è compatibile sia con un piccolo effetto positivo, sia con un piccolo effetto negativo. Prima di procedere alla combinazione quantitativa dei risultati, si aggiungono nel forest plot uno studio dopo l'altro.Se si sceglie di fare una meta-analisi occorre procedere con una stima puntuale globale degli studi.

Può darsi che l'unico studio che mostra un effetto positivo del trattamento abbia ragione, ma può anche essere in realtà che quello studio ci stia dando una risposta sbagliata. Quindi, la decisione di combinare o meno quantitativamente i risultati quando gli studi sono pochi e i risultati variabili andrebbe presa con molta cautela.

In questo caso particolare, la combinazione è più o meno simile -come ci si poteva attendere - allo studio più grande poiché quando si hanno pochi studi a disposizione lo studio più ampio domina la meta-analisi.

Critical Appraisal: come valutare la qualità di una RS

qualitativa e quantitativa?

Poche e semplici domande su:

OBIETTIVOSTRATEGIA DI RICERCACRITERI DI INCLUSIONEVALUTAZIONE CRITICASINTESI DEI DATIOMOGENEITA’DOCUMENTAZIONE DEI RISULTATICONCLUSIONI E RACCOMANDAZIONI

ObiettivoL’obbiettivo specifico è dichiarato in modo chiaro ed esplicito

(PICO)?

Strategia di ricerca

È stata utilizzata una strategia della ricerca corretta per individuare gli studi?

È stata fatta una ricerca completa dei database appropriati e sono state esplorate le altre fonti potenzialmente importanti?(controllare che siano state utilizzate come banche dati almeno

Medline, Embase, Chinal, Cochrane)

Criteri di inclusione

Come sono stati selezionati gli studi? I criteri di inclusione sono dichiarati?

Valutazione critica

È stata valutata in modo appropriato la validità degli studi inclusi?

(bias? violazione del protocollo?)

Sintesi dei dati

Come sono stati aggregati gli studi?I risultati sono stati aggregati in modo appropriato

(meta-analisi per gli studi quantitativi e forma narrativa per quelli qualitativi)?

Gli studi sono omogenei?La popolazione degli studi inclusi è simile?

È stato valutato lo stesso intervento? Sono stati usati gli stessi outcome?

Omogeneità

Documentazione dei risultati

I metodi di revisione sono documentati? È fornito un riassunto dei risultati?

È fornito un riassunto dei risultati? Sono proposte specifiche direttive per nuove ricerche?

Le conclusioni sono supportate dai dati?

Conclusioni e raccomandazioni

Valutazione della qualità delle RSDevono essere valutati i successivi sei punti:

1. il quesito clinico di partenza non deve essere una semplice speculazione teorica, ma deve avere un impatto sui pazienti ed essere clinicamente rilevante; 2. i criteri di inclusione degli studi in termini di tipologia di pazienti, condizioni di salute, interventi da valutare, misure di esito e disegno di studio devono essere chiaramente esplicitati;3. la strategia attraverso la quale sono stati ricercati gli studi da includere deve essere dichiarata, deve essere specificato che non sono stati applicati limiti temporali o linguistici alla ricerca e come è stata verificata l’esistenza di studi in corso e/o non pubblicati;4. come è stata effettuata l’estrazione dei dati dagli studi. L’adozione di una scheda predefinita ed il lavoro svolto da almeno due revisori indipendenti è il metodo accreditato per ridurre gli errori;5. il modo in cui si è proceduto alla valutazione della qualità degli studi e come questa valutazione è stata presa in considerazione in fase di analisi.6. in che modo gli autori della revisione hanno interpretato i risultati. In particolare è importante che i risultati derivino dai dati presentati e non si confondano le considerazioni degli autori con i risultati delle analisi. È necessario, per esempio, che la mancanza di prove di efficacia non sia confusa con le prove di inefficacia, ovvero che la carenza di studi non sia discussa come se esistessero studi con risultati negativi.

ETEROGENEITA’

Occorre definire se gli studi sono sufficientemente omogenei da legittimare la meta-analisi.

Si distinguono 3 tipi: 1. CLINICA (PICO), 2. METODOLOGICA (M), 3. STATISTICA (dipende dalle prime due)

La decisione rispetto all’eterogeneità si prende sulla base dei seguenti aspetti:•Scostamenti tra le stime puntuali degli effetti dei diversi studi.•Sovrapposizione degli intervalli di confidenza.•Valore del test statistico di eterogeneità.

TEST STATISTICI DI ETEROGENEITA’

chi quadrop value (<0,10) la differenza tra le popolazioni di riferimento è reale o casuale? Se p > 0,05 non c’è eterogeneità (differenza casuale), se < 0,05 c’è eterogeneità (differenza reale)inconsistenza I² descrive la percentuale della variabilità dell’effetto della stima che è riferibile alla eterogeneità piuttosto che al caso (variabilità campionaria). Se I² > 50%, siamo in presenza di una eterogeneità sostanziale.

ETEROGENEITA’ NON PRESENTE

ETEROGENEITA’ PRESENTE

Se le stime puntuali sono lontane, gli overlapssono scarsi, p < 0,10, I₂ > 50% significa che la

variabilità che si osserva tra gli studi non è spiegabile solo attraverso il caso, ma è imputabile a

differenze reali (la meta-analisi non è “appropriata”).

Non è opportuno utilizzare i risultati di una meta-analisi che dimostra eterogeneità.

CASA FARE IN CASO DIETEROGENEITA’