Studi randomizzati, Studi randomizzati, principio di incertezza e principio di incertezza e

trasferibilittrasferibilit àà

alla pratica clinicaalla pratica clinica

Quesito che trae origine dalla pratica clinica

e chein base alle attuali conoscenze

non hanon ha una risposta adeguata

protocollo di studio

principio di incertezza

Tipo di studio e sue caratteristiche

Dal quesito alla rispostaDal quesito alla risposta

Studi randomizzati controllati (RCT)

di superioritàdi equivalenza

(non inferiorità)

BMJ 2003;327:1459

I paracaduti limitano gli effetti dell’accelerazione di gravità, ma la

loro efficacia non è stata dimostrata con RCT

CosCos ’è’è il principio di incertezzail principio di incertezzanegli Studi Randomizzati Controllatinegli Studi Randomizzati Controllati ??

il non sapere, a priori, quale trattamento sia il migliore fra:

⇒ quello standard (in uso)⇒ il placebo (in assenza di un trattamento standard)⇒ il nuovo trattamento da studiare

La base etica di questi studi è rappresentata dall’incertezza su quale trattamento possa essere preferibile o appropriato in ognisingolo paziente reclutato nello studio. Se il medico (o il paziente) ha una marcata preferenza o timore nei confronti di uno dei trattamenti previsti nello studio il principio di incertezza non èrispettato e il paziente non dovrebbe partecipare allo studio

Principio di incertezza Principio di incertezza e tipo di sponsore tipo di sponsor

� gli sponsor commerciali hanno la tendenza a disegnare studi che avranno un esito favorevole

� gli sponsor not-for-profit mostrano un sostanziale rispetto del principio di incertezza

dati empirici mostrano che gli studi fatti hanno la stessa probabilità di risultare a favore o contro il trattamento sperimentale

RCT e rispetto del principio di RCT e rispetto del principio di incertezza: effetto dello sponsorincertezza: effetto dello sponsor

Ridker PM, Torres JAMA 17 May 2006

RCT e rispetto del principio di RCT e rispetto del principio di incertezza: effetto dello sponsorincertezza: effetto dello sponsor

Ridker PM, Torres JJAMA 17 May 2006

Quesito che trae origine dalla pratica clinica

e chein base alle attuali conoscenze

non hanon ha una risposta adeguata

protocollo di studio

principio di incertezza

Dal quesito alla rispostaDal quesito alla risposta

Studi randomizzati controllati (RCT)

di superioritàdi equivalenza

(non inferiorità)

VALIDITVALIDIT ÁÁ INTERNAINTERNA

(efficacy)

VALIDITVALIDIT ÀÀ ESTERNAESTERNA

trasferibilitàgeneralizzabilità

applicabilità(effectiveness)

Cosa caratterizza uno studio clinico (RCT)? Cosa caratterizza uno studio clinico (RCT)?

Placebo, nessun trattamento

migliore terapia disponibile

altra terapia disponibile

Popolazione studiata

Popolazione di riferimento

tem

po Farmaco

da studiareControllo

RANDOMIZZAZIONE

è condizionata da:• setting dello studio • selezione dei pazienti• differenza tra ciò che

prevede il protocollo e la pratica clinica

• rilevanza degli esiti “end- point” scelti

ValiditValidit àà interna: interna: i 3 principi i 3 principi

fondamentamentalifondamentamentali�Random division of the

patients

�selection of an appropriate primary outcome measure

�sample size calculation

1. Randomizzazione2. Scelta di un indicatore appropriato di esito3. Dimensione del campione e disegno

Sir Austin Bradford Hill

RandomizzazioneRandomizzazione

Lo scopo della randomizzazione (assegnazione casuale) è:

1. ottenere due gruppi di pazienti simili per tutti i fattori prognostici noti e non noti

2. eliminare i bias di selezione nella assegnazione dei trattamenti

ÈÈ la componente pila componente pi ùù importante degli RCT!importante degli RCT!

Altman DG et al. The revised CONSORT statementAnn Intern Med 2001;134:663-94

Come effettuare una Come effettuare una randomizzazione correttarandomizzazione corretta

La generazione delle liste di randomizzazione deve avvenire attraverso un processo realmente random

miglior metodomiglior metodo = liste generate tramite computer o tavole numeri casuali

metodi meno validimetodi meno validi = utilizzare numeri alternati, numeri di cartella clinica, data di nascita, buste opache e sigillate ecc.

Back to basics: Back to basics: CochraneCochrane

“L’idea di base, come tutte le cose buone, è semplice. Gli studi randomizzati affrontano il problema della confrontabilità di due gruppi a rovescio : l’idea non è di preoccuparsi delle caratteristiche dei pazienti, ma di essere sicuri che la divisione dei pazienti nei 2 gruppi sia fatta in modo indipendente dalla volontàdello sperimentatore.”L’uso di popolazioni non selezionate riduce i problemi di generalizzabilità .

Tab 1.

Ha funzionato la randomizzazione?Ha funzionato la randomizzazione?

Altman DG et al. The revised CONSORT statementAnn Intern Med 2001;134:663-94

RCTche cosa valutare

Scelta degli indicatori appropriati Scelta degli indicatori appropriati di esito di esito ““ end pointend point ””

surrogati

clinicamente rilevanti

semplici

compositi

Ogni studio presenta:

- 1 o più esiti principali

- una serie di esiti secondari

Gli indicatori di esiti possono essere:

Indicatori di esitoIndicatori di esito

•• esiti clinicamente rilevanti:esiti clinicamente rilevanti: (mortalità -totale o causa-specifica, eventi non fatali, quali infarto, ictus, etc, morbidità)

•• esiti surrogati: esiti surrogati: ↓ pressione arteriosa, ↓ colesterolemia, etc.

•• qualitqualit àà della vitadella vita (problema della validazione degli strumenti/questionari)

Indicatori di esitoIndicatori di esito

•• Hard:Hard: determinati in modo inequivocabile ed oggettivo (mortalità, diagnosi di malattia, n°giorn i di ricovero, etc)

•• Soft:Soft: determinazione meno sicura (es. miglioramento-peggioramento della qualità di vita, dolore, sintomi vari, etc)

•• ““ indirettiindiretti ”” es. utilizzo dei servizi sanitari

Indicatori di esitoIndicatori di esitoefficacia clinica vs efficacia farmacologicaefficacia clinica vs efficacia farmacologica

•• es. cardiovascolare:es. cardiovascolare: per concludere che un farmaco antiipertensivo è efficace, èsufficiente che abbassi la pressione arteriosa?

•• es. AIDS:es. AIDS: per valutare l’efficacia di una terapia, è sufficiente che aumenti il livello di linfociti CD4?

ESITI SURROGATI

• Densità minerale ossea

• Pressione arteriosa

• Grado di stenosi carotidea

• Livelli ematici LDL-colesterolo

• Grado di stenosi all’angiografia coronarica

• Conta delle cellule CD4

Esiti Surrogati vs clinic. rilevanti esempi

ESITI clinic. rilevanti

Fratture osteoporotiche

Ictus cerebrale

Ictus cerebrale

Infarto miocardico

Infarto miocardico

Mortalità da AIDS

Indicatori di esitoIndicatori di esito

•• semplici:semplici: costituiti da un solo esito (hard o soft)

es. morte cardiovascolare, infarto miocardico, ↓ pressione arteriosa

•• composti:composti: somma di più esiti (hard e/o soft)

es. morte cardiovascolare + IMA + ictus oppure

morte cardiovascolare + IMA + ictus + ischemia ricorrente

Dimostrare differenze o Dimostrare differenze o

““ accettareaccettare ”” uguaglianze :uguaglianze :

significato del Psignificato del P

e intervalli di confidenzae intervalli di confidenza

quando si confronta un nuovo farmaco contro placebo

(studio di superioritstudio di superioritàà)

• obiettivo: valutare se esiste una differenza tra i due trattamenti

• ipotesi nulla : non c’e’ differenza tra trattamento attivo e placebo

• ipotesi alternativa: il trattamento è più efficace del placebo

• studio: consiste nel prendere un campione di individui per testare l’ipotesi nulla (come nei processi: “presunzione di innocenza”)

Ipotesi di superioritIpotesi di superioritàà e e pp•• ipotesi nullaipotesi nulla : la differenza tra i 2 gruppi non esiste

• il “p” è la probabilità di osservare per caso (in questo o in un altro campione di uguale numerosità) una differenza tra i due gruppi

• se il p è piccolo (es < 0,05 o < 5%) significa che esiste una bassa probabilità che la differenza sia dovuta al caso

• l’ipotesi nulla viene quindi rigettata (si ritiene che la differenza tra i due gruppi non sia dovuta al caso, e che “probabilmente” esiste davvero)

Come interpretare il pp

La P La P èè la probabilitla probabilit àà che la differenza osservata che la differenza osservata sia dovuta al caso. Non valuta la rilevanza sia dovuta al caso. Non valuta la rilevanza ovvero lovvero l ’’entitentit àà o la dimensione (magnitude) o la dimensione (magnitude) delldell ’’effetto!effetto!

stimare (anzichstimare (anzich éé )testare una ipotesi)testare una ipotesi

Con questo approccio di hypothesis testing i dati sono esaminati in relazione all’ipotesi nulla statistica e la pratica ha portato alla erronea la pratica ha portato alla erronea credenza che gli studi debbano avere come credenza che gli studi debbano avere come scopo quello di ottenere una scopo quello di ottenere una ““ significativitsignificativit ààstatisticastatistica ”” . .

Al contrario, lo scopo della maggior parte della ricerca in medicina èè di determinare ldi determinare l ’’entitentit àà((magnitudemagnitude ) di alcuni fattori oggetto dello ) di alcuni fattori oggetto dello studio.studio.

Gardner MJ, Altman DGBMJ, 1986

stimare (anzichstimare (anzich éé testare) untestare) un ’’ ipotesiipotesilimiti delllimiti dell ’’utilizzo della Putilizzo della P

Le comuni affermazioni “P<0,05”, “P>0,05” o “P = NS forniscono

poche informazioni sui risultati di uno studio Inoltre, anche valori di p precisi non forniscono alcuna informazione relativamente all’entitàdella differenza tra i gruppi in studio……

Presentare i valori di p da soli può far sì che ricevano più importanza di quanto in realtà si meritano.

Vi è in particolare la tendenza a considerare la significativitla tendenza a considerare la significativit ààstatistica equivalente allstatistica equivalente all ’’ importanza medica o alla rilevanza importanza medica o alla rilevanza biologica.biologica.

Tuttavia piccole differenzepiccole differenze di scarso interesse reale possono risultare statisticamente significativestatisticamente significative in campioni molto ampi mentre effetti clinicamente molto rilevantieffetti clinicamente molto rilevanti possono risultare non non significativisignificativi dal punto di vista statistico poiché studiati in un piccolo campione. Gardner MJ, Altman DG BMJ, 1986

LL’’ intervallo di confidenzaintervallo di confidenza

Valore/i misurato/i

Se ripeto 100 volte la prova questo è l’intervallo in cui è

probabile cadranno le osservazioni 95 volte su 100

MEGLIO IL TRATTAMENTOMEGLIO IL CONTROLLO

NESSUNA DIFFERENZA

Differenza NON dimostrata

SignificativitSignificativit àà e rilevanzae rilevanza

Differenza dimostrata

Campione 1 dimensione A

Differenza dimostrata

Campione 2 dimensione A

Campione 3 dimensione B

Migliore il Farmaco in studio

Migliore il controllo

Forte superiorità

superiorità NON dimostrata

superiorità

La superioritLa superiorit àà da un punto di vista statisticoda un punto di vista statistico

Nuovo trattamento X vs un PLACEBO

IB = “importante” beneficiodel trattamento X vs placebo

←←←←IB ID→→→→

Intervallodi confid.95%

X non fornisce un beneficio (RCT “negativo”)

un “importante” beneficio di X non può essere escluso

X fornisce un beneficio (ma non èsicuro che sia “importante”)

X fornisce un “importante”beneficio

La superioritLa superiorit àà dal punto di vista della rilevanza clinicadal punto di vista della rilevanza clinica

ID = “importante” dannodel trattamento X vs placebo

Studi di equivalenzaStudi di equivalenza

e di non inferiorite di non inferiorit àà

Cosa si intende per Cosa si intende per equivalenzaequivalenza

o meglio nono meglio non --inferioritinferiorit àà

• è impossibile dimostrare che due interventi sono esattamente equivalenti

• l’obiettivo è dimostrare che gli interventi non differiscono più di una certa quantità(margine di equivalenza)

Studi di nonStudi di non --inferioritinferiorit àà

•• Scopo:Scopo: verificare che eventuali differenze siano piccole, al di sotto di una certa soglia (per es., ∆ del 5-10%) definita margine di non-inferiorità

•• Margini di nonMargini di non --inferioritinferiorit àà piccoli richiedono però campioni piuttosto grandi

Migliore il Farmaco in studio

Migliore il controllo

equivalenza

equivalenza NON dimostrata

NON inferiorità

NON inferiorità non dimostrata

Forte superiorità

superiorità NON dimostrata

superiorità

SuperioritSuperioritàà, , ““equivalenzaequivalenza”” e non inferiorite non inferioritàà

Margine di equivalenza (± 5-10%?)

Margine di non-inferiorità(?%)

Obiettivo PrincipaleObiettivo PrincipaleValutare l’efficacia clinica dell’azitromicina vs

amoxi/clav. nel trattamento della CAP in pazienti non ricoverati

End point principaleEnd point principaleRisposta clinica (guarigione, miglioramento,

fallimento) misurata attraverso EO, segni, sintomi ed esami di laboratorio a 10 ± 2 gg dall’inizio della terapia

Un esempio di studio di non inferioritUn esempio di studio di non inferiorit àà

272 pazienti < 60 aa non ricoverati

con CAP classe I o II di FINE

Criteri di inclusione:

CAP documentata con Rx

Febbre > 37,5°C

Con tosse escreato ecc

R

Azitromicina

1 g/die in monosomm

per 3 gg

Amoxicill/clav

1 g x2 /die

per 7 gg

Studio in aperto per

gruppi paralleli

Un esempio di studio di non inferioritUn esempio di studio di non inferiorit àà

quando si confronta un nuovo farmaco contro placebo

(studio di superioritstudio di superioritàà)

• obiettivo: valutare se esiste una differenza tra i due trattamenti

• ipotesi nulla : non c’e’ differenza tra trattamento attivo e placebo (trattamento e placebo sono (trattamento e placebo sono uguali)uguali)

• ipotesi alternativa: il trattamento è più efficace del placebo

• studio: consiste nel prendere un campione di individui per testare l’ipotesi nulla (come nei processi: “presunzione di innocenza”)

Ipotesi formulatastudio di non inferioritstudio di non inferiorit àà

• obiettivo: valutare se esiste una differenza tra i 2 trattamenti

• ipotesi nulla : azitromicina e amoxi/clav. al dosaggio stabilito

non sono equivalenti nella terapia della CAP non grave

(i due farmaci sono diversii due farmaci sono diversi )

• ipotesi alternativa: l’azitromicina non è inferiore

all’amoxicillina/clav al dosaggio stabilito nella terapia della

CAP non grave

• studio: viene accettata come margine di non inferiorità una

differenza ≤10% valutata con un test ad una coda

Migliore il Farmaco in studio

Migliore il controllo

Viene accettata come margine di non inferiorità

una differenza ≤10%

RCT: nuovo trattamento X vs standard S RCT: nuovo trattamento X vs standard S (superiorit(superioritàà, equivalenza o non inferiorit, equivalenza o non inferioritàà))

X può o non può essere inferiore a S in modo “importante” (RCT incerto )

X non è inferiore a S e potrebbe anche essere superiore: RCT di “non inferiorità”

X è superiore a Sin modo rilevante:RCT di superiorità

X superiore a S ←←←←SUP INF→→→→0 X inferiore a S

X è inferiore a S in modo “rilevante”: RCT di inferiorità

X non è né superiore néinferiore a S (conclu-

sione di “equivalenza”)

Validità esterna

Generalizzabilità

Validità esterna

Applicabilità

Sono sinonimi

Interpretare le evidenze …

Si è passati da….

• una grande enfasi verso l’affidabilità degli studi clinici (la validità interna ovvero il come è stato disegnato e condotto lo studio)

• a una progressivamente crescente attenzione alla trasferibilità dei risultati (validitàesterna e generalizzabilità)

Problemi che possono influenzare la validità esterna: selezione dei pazienti

• Criteri “clinici” (inclusione ed esclusione)

• Probabilità di partecipare in base a età, sesso, etnia, scolarità, condizioni socio-economiche, luogo di residenza

• Selezione in base a valutazione pre-studio di efficacia e tollerabilità dell’intervento

Validità esterna dello Studio

I risultati

�sono trasferibili alla mia realtà ?

�confermano o modificano il mio attuale comportamento clinico ?

Decalogo per una buona trasferibilità

• Ci interessa il quesito (il confronto) proposto?• Dove e come viene fatto lo studio (setting)• Quali pazienti sono stati inclusi (vedi Table 1)• Quanti i pazienti esclusi? (cfr. rispetto agli inclusi)

• Qual è il gruppo di controllo: sono ottimali il farmaco e i dosaggi scelti?

• Sono state rispettate le aspettative e le preferenze dei pazienti?

Le principali domande da porsi nell’analisi di un RCT: caratteristiche vs obiettivi

Popolazione studiataÈ simile a quella a cui si intende trasferire i risultati? Chi sono gli inclusi (Table1)? E gli ESCLUSI?

Intervento/i considerato/iQuali modalità e dosaggi?(simili alla normale pratica?)

Controllo/iQuali modalità e dosaggi?(simili alla normale pratica?)

Outcomes (esiti clinici) …Sono rilevanti? Sono validi?

… (e per quanto) TempoCoerente rispetto al tipo di utilizzo che si fa nella pratica?

Sono state rispettate le aspettative e le preferenze dei pazienti?

Ci interessa il quesito (il confronto) proposto?

Popolazione dei RCT: trasferibilità e preferenze del paziente

(Rothwell, Lancet 2005)

Cosa ci ha aiutato a capire la EBM rispetto al miglioramento della pratica clinica?

• I medici (i pazienti) devono avere accesso a tutte le informazioni disponibili

• Le evidenze vanno quantificate

• La semplice diffusione delle informazioni, anche se di buona qualità, non modifica la pratica clinica

NB: … Le evidenze non prendono decisioni

Effect of fluoride treatment on the fracture rate i n postmenopausal women with osteoporosis

BL Riggs, SF Hodgson, WM O'Fallon, EY Chao, HW Wahner, JM Muhs, SL Cedel, and LJ Melton

Migliora la densità ossea, ma.. peggiorano le fratture non vertebrali

Volume 322:802-809 March 22,1990 Number 12

Intervento

• fluoruro di sodio (75 mg/d) • placebo• supplemento di calcio (1,5 g/d) in tutte le donne

per 4 anni in 202 donne in post-menopausa con fratture vertebrali

Misure di esito

• densità minerale ossea

• incidenza di fratture vertebrali e non vertebrali

Esiti Confronto Fluoruro vs Placebo

P-value

Densità ossea:

Vertebra lombare +35% <0.001

Collo femorale +12% <0.001

Trocantere +10% <0.001

Radio -4% <0.02

Fratture:

Vertebrali 163 vs 136 NS

Non Vertebrali 72 vs 24 <0.01

Effetti avversi 54 vs 24 <0.01

Densità ossea (surrogato) e fratture osteoporotiche (principale)

Non cambia la densità ossea, ma.. Migliorano le fratture non vertebrali

Intervento: supplementazione orale di 500 mg calcio plus 700 IU vit. D3

(colecalciferolo) pro die Vs placebo x 3 anni

in 176 uomini e 213 donne di età >65 anni

Misure di esito: densità minerale ossea, markers biochimici del metabolismo osseo e

incidenza di fratture non vertebrali

Risultati sulla densità minerale ossea

Risultati sulle fratture non vertebrali

Numero di fratture nei due gruppi:

•Ca + vit D 11/187 = 6%

•Placebo 26/202 = 13%

RR = 0,4 (0,2-0,9)

NNT = 14 (8-79)

Densità ossea (surrogato) e fratture osteoporotiche (principale)

Migliora la densità ossea, e Migliorano le fratture vertebrali

Volume 333 November 30, 1995 Number 22

Misure di esito: densità minerale ossea e incidenza di fratture

vertebrali

Intervento:

alendronato (5-10 mg/d x 3aa

o 20 mg/d x 2aa + 5 mg x

1aa)

Vs placebo

in 994 donne post-menopausali con osteoporosi

Volume 333 November 30, 1995 Number 22

Risultati sulla densità minerale ossea

Volume 333 November 30, 1995 Number 22

Risultati sulle fratture vertebrali

NNT = 34 (17-2704)

Conclusioni

• La misura di esito surrogato non sempre predice l’esito principale

• L’uso terapeutico di un farmaco a partire da dimostrazioni di efficacia sull’esito surrogato può avere effetti benefici, nulli o addirittura dannosi

• Nella pratica clinica, l’uso terapeutico di un farmaco dovrebbe basarsi su dimostrazioni di efficacia sull’esito principale o clinicamente importante per il paziente