Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD...

59
L’interpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale Tumori - Università degli Studi di Milano [email protected] [email protected]

Transcript of Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD...

Page 1: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

L’interpretazione metodologica degli studi clinici

Elia M.Biganzoli, PhD &

Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria.

Istituto Nazionale Tumori - Università degli Studi di Milano

[email protected]

[email protected]

Page 2: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

Studi Analitici: osservazionali vs sperimentali

• Osservazionali: l’esposizione può essere determinata da fattori ambientali, caratteristiche cliniche, terapie pregresse ma non è assegnata dal ricercatore che effettua lo studio

• Permettono di valutare l’associazione tra “esposizione” ed esito

• Sperimentali: l’esposizione (trattamento) è assegnata dal ricercatore durante la conduzione dello studio

• Permettono di valutare la relazione causa-Permettono di valutare la relazione causa-effetto tra esposizione ed esitoeffetto tra esposizione ed esito

Page 3: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

Associazione vs causalità

• Associazione si riferisce alla dipendenza tra due variabili es: si osserva che frequenza di ricadute di malattia oncologica tra i soggetti con tumore di un certo istotipo è maggiore di quella tra i soggetti con tumore di un diverso istotipo

• La presenza di associazione non implica la presenza di una relazione causa-effetto

• La possibile interpretazione in termini di causa-effetto deve soddisfare alcuni requisiti: forza dell’associazione,consistenza, specificità, temporalità, plausibilità, coerenza, gradiente biologico ……

Page 4: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.
Page 5: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

Studi osservazionali e interpretazione causa-effetto per la valutazione dei

trattamenti• Possono fornire evidenze sulla differenza

di efficacia di due o più trattamenti • Problemi interpretativi: • Possibile bias di selezione della casistica

in base alle informazioni disponibili • Possibile effetto di confondimento dovuto

ad assegnazione in funzione di diverse caratteristiche dei soggetti (non completamente note)

Page 6: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

STUDI ANALITICI SPERIMENTALI (SPERIMENTAZIONI CLINICHE)

• l’esposizione (trattamento) è assegnata dal ricercatore ed il paziente viene seguito nel tempo per monitorare l’esito

• I soggetti sono selezionati in base a determinate caratteristiche cliniche

• Se sono stabiliti più livelli di esposizione, l’assegnazione è effettuata “casualmente” (studi clinici controllati)

Page 7: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

Sperimentazioni cliniche per lo sviluppo di un farmaco

• FASE I : tipica per l’utilizzo di un nuovo farmaco nell’uomo• Obiettivi: stabilire il tipo ed il grado di tossicità e il dosaggio da utilizzare per studi

successivi• Particolare cura nella selezione dei pazienti (volontari). Ad es: in ambito

oncologico sono pazienti pretrattati o con tumori non responsivi ad altri trattamenti• FASE II : valutazione della potenziale efficacia del trattamento sperimentale. Nel

caso di nuovi farmaci questi studi sono effettuati dopo quelli di fase I• Obiettivi: stabilire il grado di efficacia (ad es. tasso di risposta), ed il grado di

tossicità• Effettuati su un numero limitato di soggetti • Disegnati per mettere in evidenza se il trattamento ha una efficacia minima tale da

programmare uno studio comparativo di fase III• FASE III: il trattamento sperimentale è confrontato con quello standard per la

patologia. Sono effettuati dopo esisto positivo di uno studio di fase II.• Obiettivi: valutare se il trattamento sperimentale è vantaggioso rispetto a quello

standard• Assegnazione dei trattamenti con procedura casuale• Accurata pianificazione e conduzione dello studio necessarie per ottenere risposte

attendibili

Page 8: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

Una classificazione più generale

Page 9: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

Importanza delle sperimentazioni cliniche

• Sperimentazioni cliniche pianificate e condotte in modo appropriato forniscono la migliore evidenza sull’efficacia di una strategia terapeutica*

• (Altman et al, 2001)• Sperimentazioni con un approccio

metodologico non adeguato sono associate con una stima dell’effetto del trattamento “esagerata” o con una erronea “mancanza di efficacia”

• Conseguenza: risultati che potrebbero portare ad errati criteri di decisione clinica

Page 10: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

Che affidabilità si deve attribuire ai risultati di una sperimentazione clinica riportati in

letteratura?

• la valutazione critica della qualità di una sperimentazione clinica è possibile solo se il disegno, la conduzione, l’analisi statistica sono descritte nella pubblicazione in modo accurato ed approfondito

• Purtroppo gli articoli riguardanti sperimentazioni cliniche sono spesso incompleti nella descrizione dello studio;

• sono però state definite alcune linee guida (consort statement) per riportare i risultati delle sperimentazioni che possono essere utilizzati anche per la valutazione di articoli già pubblicati

Page 11: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

Studi di fase III: caratteristiche della sperimentazione contenute nel protocollo

sperimentale (in sintesi)• Razionale per proporre il nuovo trattamento (Quali i vantaggi rispetto allo

“standard”?)• Pianificare il confronto (qual è il gruppo di “controllo”?)

• Definizione della popolazione obiettivo (per quali pazienti è indicato il trattamento?) • Selezione dei soggetti (come si ottiene il campione rappresentativo della popolazione

obiettivo?) • Definizione della risposta al trattamento (primary e secondary end-points)

• Dimensione del campione (quale vantaggio/differenza si vuole mettere in evidenza?)

• Procedure per l’assegnazione del trattamento (randomizzazione) • Procedure di somministrazione del trattamento• Procedure per il monitoraggio della risposta• Analisi statistica pianificata (come ottengo il “p value?”)• Strategie per la pubblicazione dei risultati

• Tali caratteristiche dovrebbero essere riprese nella pubblicazione che descrive lo studio CONSORT STATEMENT

Page 12: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

Esempio di studio di fase III

Page 13: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

Razionale dello studio• Interferon alfa is widely used for metastatic renal-cell carcinoma but

has limited efficacy and tolerability.

• Interleukin-2 and interferon alfa, alone or in combination,are the main treatments for metastatic renal-cell carcinoma.

• These cytokines, however, have limited efficacy and substantial toxicity, and they rarely benefit patients with an extensive tumor burden and adverse prognostic factors. Such patients have a median survival of only 4 to 8 months.

• A phase 2 study of temsirolimus in cytokine-refractory metastatic renal-cell carcinoma showed evidence of improved survival,and a study of temsirolimus plus interferon alfa identified tolerable doses and clinical indications of antitumor activity.

Page 14: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

Pianificare il confronto

• Interferon alfa is widely used for metastatic renal-cell carcinoma (“controllo”)

• A phase 2 study of temsirolimus in cytokine-refractory metastatic renal-cell carcinoma showed evidence of improved survival (improved rispetto a?)

• a study of temsirolimus plus interferon alfa identified tolerable doses and clinical indications of antitumor activity (quale efficacia minima?)

• Quesito: rispetto al controllo è piu’ efficace usare temsirolimus da solo o è meglio aggiungerlo a Interferon?

• tre gruppi di trattamento

Page 15: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

Definizione della popolazione obiettivo e selezione dei soggetti– Popolazione generale– popolazione in studio: definita dai criteri di

eleggibilità che individuano i pazienti che dovrebbero trarre beneficio dai nuovi trattamenti valutati

– popolazione campionata: definita da criteri pratici / etici che consentono il reclutamento nello studio (assenza di criteri di esclusione)

• è necessario valutare l’impatto numerico dei criteri di eleggibilità e di esclusione per valutare la generalizzabilità dello studio

Page 16: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

Eligibility criteria included histologically confirmed advanced renal-cell carcinoma (stage IV or recurrent disease) and a Karnofsky performance score of 60 or more with no previous systemic therapy. Additional eligibility criteriaa tumor that was measurable and adequate bone marrow, renal, andhepatic functions, Patients with a history of brain metastases were eligible if their condition was neurologically stable and they did not require corticosteroids after surgical resection or radiotherapy.At least three of the following six predictors of short survival were required: a serum lactate dehydrogenase level of more than 1.5 times theupper limit of the normal range, a hemoglobin level below the lower limit of the normal range;a corrected serum calcium level of more than10 mg per deciliter (2.5 mmol per liter), a time from initial diagnosis of renal-cell carcinoma to randomization of less than 1 year, a Karnofskyperformance score of 60 or 70, or metastases in multiple organs.

Esempio di criteri di selezione

Page 17: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

Impatto dei criteri di esclusione• Si consiglia di riportare nel testo il seguente schema

These counts indicate whether trial participants were likely to be representative of all patients seen; they are relevant to assessmentof external validity only, and theyare often not available

A total of 45 patients were ineligible (15 in the interferon group, 17 in the temsirolimus group, and 13 in the combination-therapy group), and 10 patients did not receive any treatment (7 in the interferon group,1 in the temsirolimus group, and 2 in the combination-therapy group).

Page 18: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

risposta al trattamento

• Primary end-point : principale criterio per la valutazione dell’efficacia delle terapie: lo studio è pianificato per evidenziare una “differenza “ tra trattamenti relativamente a questo end-point

• Nel caso di patologie oncologiche avanzate è aperto un dibattito tra sopravvivenza e intervallo libero da progressione

• Secondary end-point è un supporto alla comprensione dell’efficacia delle terapie: una “differenza” rilevante tra trattamenti potrebbe non venire messa in evidenza poiché lo studio non ha una dimensione del campione adeguata per la valutazione di questo end-point

Page 19: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

Esempio di risposta al trattamento

• The primary end point was overall survival• (calcolata dalla data di randomizzazione? alla data di morte e per quelli che

sopravvivono alla data di chiusura dello studio?

• Secondary efficacy end points were progression-• free survival as determined by the site investigators’• assessment and a blinded assessment of imaging

studies (performed by Bio-Imaging Technologies),the objective response rate, and the clinical benefit rate, defined as the proportion ofpatients with stable disease for at least 24 weeksor an objective response.

• (PFS, oltre alla progressione, comprende o no la morte? La definizione sugli articoli non è omogenea)

Page 20: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

La dimensione del campione• Il numero di soggetti necessari per evidenziare un effetto clinicamente

rilevante sull’end-point primario con un definito errore di I tipo (di solito 5%) ed una definita potenza del test (di solito 80 o 90%)

• Il calcolo presuppone la decisione del test statistico che si dovrà utilizzare per il confronto tra trattamenti

• Errore di I tipo (): la probabilità di affermare che c’è una differenza di efficacia tra trattamenti nella popolazione obiettivo quando in realtà non è vero

• Potenza del test: la probabilità di affermare che c’è una differenza di efficacia tra trattamenti nella popolazione obiettivo quando è vero in realtà (100-errore di II tipo)

• Errore di II tipo (): la probabilità di non affermare che c’è una differenza di efficacia tra trattamenti nella popolazione obiettivo quando in realtà la differenza esiste

Page 21: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

Schematic diagram of a clinical trial

SampleNonparticipantsDescribe who?

Randomization

ControlIntervention

Lost to follow-up

Measure outcome Measure outcome

Page 22: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

In campo oncologico l’evoluzione della malattia è frequentemente valutata in termini di:

• Incidenza • Sopravvivenza (globale, libera da malattia,…)•Tasso di incidenza

L’osservazione parte all’inizio della terapia ed è pianificataterminare dopo un tempo ritenuto clinicamente adeguato

Valutazione dell’esitoValutazione dell’esito

Dove la biostatistica?

Page 23: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

Dati di Sopravvivenza Dati di Sopravvivenza (censorizzati)(censorizzati)

calendar time follow-up time (years)

startendrecruitment

end follow-up

?

01/01/87 01/01/88 31/12/88 0 0.5 1 1.5 2

1

2

3

4

5

1

2

3

4

5

Page 24: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

follow-up time (years)0 0.5 1 1.5 2

1

2

3

4

5

follow-up time (years)0 0.5 1 1.5 2

1

2

3

4

5

Dati di SopravvivenzaDati di Sopravvivenza(sopravvivenza = 1-Incidenza)(sopravvivenza = 1-Incidenza)

Page 25: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

0 0.5 1 1.5 2

1

2

3

4

5

Dati di SopravvivenzaDati di Sopravvivenza(Tasso di incidenza e probabilità di evento per intervalli)(Tasso di incidenza e probabilità di evento per intervalli)

Tasso 1/(0.5x4+0.4) 0 1/(0.5x2 +0.25) 0

Probabilità 1/5 0 1/3 0

Sopravvivenza (1-1/5) (1-1/5) (1-1/5)x(1-1/3) 0

Page 26: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.
Page 27: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

Clinically useful Effect Measures

• The objective of the study is to compare the pattern of occurrence of the considered events over time.

• Absolute measures: express efficacy in a manner that incorporates both baseline risk and the risk reduction with therapy.

• Relative measures: independent from the baseline risks of patients (useful for meta-analyses).

Page 28: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

Effect Relative and Absolute Measures

• Results are commonly expressed as Hazard Ratios (i.e. ratio of istantaneous risks) HR. Not straightforwardly interpretable!

• Relative Risk: RR

widely used in epidemiology. Sensible to talk about doubling or halving the risk.

• Relative Risk Reduction: RRR = 1-RR

Reduction of incidence achieved by a treatment as a proportion of the control incidence.

• Absolute Risk Reduction: ARRdifference in event Incidences between the control and treatment groups. Expression of the consequences of giving no treatment.

• Number of patients Needed to be Treated: NNT1/ARR. General consensus on his utility and interpretability from clinicians.

Page 29: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

STUDIO PROSPETTIVO STUDIO PROSPETTIVO soggetti esposti e non-esposti seguiti per un anno

Rischio assoluto (Standard) = A/(A+B) Rischio assoluto (Sperimentale) = C/(C+D)

Progressione Terapia presente assente totale a rischio

Standard A B A+B Sperimentale C D C+D

totale A+C B+D T

Rischio relativo (RR)= D)+C/(CB)+A/(A

Page 30: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

STUDIO PROSPETTIVO STUDIO PROSPETTIVO

Progressione Terapia presente assente Totale

Standard 20 (A) 3880 (B) 4000 (A+B) Sperim . 6 (C) 5994 (D) 6000 (C+D) Totale 26 (A+C) 9874 (B+D) 10000 (T)

Rischio assoluto (Standard) =20/4000=0.005 Rischio assoluto (Sperimentale) = 6/6000=0.001

RR = 0.0010.005 =

5994)+6/(63880)+20/(20 = 5

AR = 0.005 - 0.001 = 0.004 (AR% = 80%)

Page 31: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

Efficacy on Survival (Figure 1A)hazard ratio for death Temsirolimus vs interferon 0.73 (95% CI, 0.58 to 0.92; P = 0.008). combination vs interferon0.96 (95% CI, 0.76 to 1.20; P = 0.70). Median survival (months)7.3 interferon10.9 temsirolimus8.4 combination. Relative risk (not reported on the paper) Temsirolimus vs interferon5 months: 0.65/0.78=0.8315 months: 0.28/0.35=0.80 Figure 1BMedian progression-free survival ?Relative Risk?Hazard Ratio?

Page 32: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

Come funziona il test statistico?

Data l’ipotesi nulla HData l’ipotesi nulla H00HazardHazard(Tems.) = Hazard(Interferon) ovvero HRt=1

risultato sperimentale (Valore Osservato del test )

Soglia significatività Soglia significatività =0.05=0.05

Valore Soglia del test

VO<VSrisultato non poco probabile

(pVO>0.05)Non posso rifiutare H0

VO>VSrisultato poco probabile

(pVO<0.05)Rifiuto H0

Page 33: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

DecisioneVera H0

Non rifiuto H0 Decisione

corretta

Rifiuto H0

Errore I tipo (Falso positivo)

Significatività =0.05

Il confronto tra le curve di sopravvivenza HH00: Hazard(Interf.) = Hazard(Tems) HR=1HH11: Hazard(Interf.) Hazard(Tems.) HR 1

Page 34: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

DecisioneVera H0

Non rifiuto H0 Decisione

corretta

Rifiuto H0

Errore I tipo (Falso positivo)

Significatività =0.05

Il confronto tra le curve di sopravvivenza HH00: Hazard(Int.) = Hazard(Tems) HR=1HH11: Hazard(Int.) Hazard(Tems) HR 1

?

Page 35: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

DecisioneVera H0 Vera H1

Non rifiuto H0 Decisione

correttaErrore II tipo

(Falso negativo) = 0.2

Rifiuto H0

Errore I tipo (Falso positivo)

Significatività =0.025

Decisionecorretta

Potenza = 1-0.2=0.8

HH00: Hazard(Int.) = Hazard(Tems.) HR=1HH11: HAzard(Int.) Hazard(Tems.) HR 1

Il confronto tra le curve di sopravvivenza

Page 36: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

Il livello di significativitàlivello di significatività è utilizzato come indicazione di evidenza di un dato effetto

La significativitàsignificatività non equivale alla rilevanzanon equivale alla rilevanza clinico/biologica dell’effetto

L’assenza di significatività assenza di significatività (evidenza) di un dato effetto non è evidenza non è evidenza di assenzadi assenza dell’effettodell’effetto stesso

Significatività statistica e rilevanza clinica

Page 37: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

Significatività statistica e rilevanza clinica

Il livello di significatività è utilizzato come indicazione di evidenza di un Il livello di significatività è utilizzato come indicazione di evidenza di un dato effettodato effetto

La significatività non equivale alla rilevanza clinico/biologica dell’effettoLa significatività non equivale alla rilevanza clinico/biologica dell’effetto

L’assenza di significatività (evidenza) di un dato effetto non è evidenza L’assenza di significatività (evidenza) di un dato effetto non è evidenza di assenza dell’effetto stessodi assenza dell’effetto stesso

In aggiunta alla significatività occorre fornire la stima dell’effettostima dell’effetto per valutarne la rilevanza

Come la decisione anche la stima è incerta

intervallo di confidenza : intervallo di confidenza : Intervallo determinato sul campione in cui Intervallo determinato sul campione in cui affermiamo trovarsi il valore vero dell’effetto con confidenza affermiamo trovarsi il valore vero dell’effetto con confidenza (nell’affermazione) prefissata (spesso 95%)(nell’affermazione) prefissata (spesso 95%)

Page 38: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

Considerazioni aggiuntive del consort statement sulla dimensione del campione

• the sample size for a trial needs to be planned carefully, with a balance between clinical and statistical considerations. Ideally, a study should be large enough to have a high probability (power) of detecting as statistically significant a clinically important difference of a given size if such a difference exists.

• The size of effect deemed important is inversely related to the sample size necessary to detect it; that is,large samples are necessary to detect small differences.

• Regarding the clinically important target difference between the intervention Groups It is preferable to quote the postulated results of each group rather than the expected difference between the groups.

• In some trials, interim analyses are used to help decide whether to continue recruiting

• If the actual sample size differed from that originally intended for some other reason (for example, because of poor recruitment or revision of the recruitment or revision of the target sample size), the explanation should be given.

Page 39: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

Assegnazione dei trattamenti e valutazione della risposta

• Perché lo studio abbia una interpretazione causa-effetto (dove la causa è il trattamento e l’effetto è l’end-point) ogni decisione del ricercatore relativamente alla scelta del trattamento sul singolo soggetto deve essere eliminata

• L’assegnazione quindi è fatta per randomizzazione, effettuata da personale non coinvolto “clinicamente” nella sperimentazione

• La randomizzazione garantisce “in termini probabilistici” il bilanciamento delle caratteristiche dei soggetti tra i diversi trattamenti

• La risposta al trattamento deve essere valutata con gli stessi criteri per i diversi trattamenti quindi, in caso di valutazione clinico/strumentale (es: progressione) sarebbe preferibile che chi valuta la risposta ignori il trattamento assegnato (in cieco)

• INTENTION TO TREAT: il confronto avviene classificando i soggetti secondo il trattamento a loro assegnato e non secondo il trattamento che hanno effettivamente ricevuto (es: trattamento sospeso o ridotto per tossicità, rifiuto del paziente…..)

valutazione dell’efficacia secondo il risultato che ci si attende quando, a fine studio, il trattamento sarà proposto a nuovi pazienti

valutazione che non introduce elementi di bias, selezionando solo i soggetti che sono stati in grado di effettuare il trattamento come programmato

Page 40: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

Esempio di assegnazione dei trattamenti e valutazione della risposta

• Patients were stratified according to the geographic location of the center and whether they had undergone nephrectomy. Patients were randomly assigned in equal proportions, with the use of permuted blocks of three, to one of threetreatment groups.

• Secondary efficacy end points were progression-free survival as determined by the site investigators’ assessment and a blinded assessment of imaging studies

Page 41: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

Descrizione dei soggetti randomizzati

• La randomizzazione garantisce un bilanciamento tra le caratteristiche “in termini probabilistici”, quindi differenze in composizione possono essere ottenenute “per effetto del caso”

• E’ comune riportare le caratterisitche di base dei soggetti per gruppo. Il consort statement fornisce alcuni suggerimenti: :• Continuous variablescan be summarized for each group by the mean and standard

deviation.• When continuous data have an asymmetrical distribution, a preferable approach may

be to quote the median and a percentile range (perhaps the25th and 75th percentiles) • Standard errors and confidence intervals are not appropriate they are inferential rather

than descriptive• statistics.• For Categorical variables numbers and proportions should be reported for each

category• significance tests of baseline differences are not appropriate

Page 42: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

Esempio di descrizione dei soggetti randomizzati

Page 43: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

Risultati dello studio• Comunemente i risultati sono rappresentati per ogni gruppo di

trattamento mediante una “curva di sopravvivenza” dove in ascissa è riportato il tempo di follow-up e in ordinata la corrispondente probabilità di sopravvivere oltre a quel tempo (stimata con il metodo di Kaplan-Meier)

• Nota: questa quantità non è la percentuale di pazienti che sopravvivono a quel tempo

• L’efficacia dei diversi trattamenti è confrontata mediante il “log-rank test” che si basa sul rapporto tra i tassi di morte “per unità di tempo” dei trattamenti (supposto costante nel tempo)

• L’efficacia è quindi coerentemente sintentizzata dall’Hazard Ratio (rapporto tra i tassi istantanei)

• A volte è fornita anche la mediana dei tempi di sopravvivenza (tempo a cui corrisponde una probabilità di sopravvivenza del 50%)

• Altre misure clinicamente utili (rischio relativo, eccesso di rischio etc.) potrebbero fornire un supporto efficace alla decisione clinica ma raramente sono utilizzate nella letteratura corrente

Page 44: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

Esempio di risultati sul primary end point

la prob. di sopravvivere oltre 5 anni è circa del 78% per Tens. e circa il 65% per gli altri due trattamenti

Tempo mediano (mesi)

7.3 interferon10.9 temsirolimus 8.4 combination-therapy

Page 45: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

Riportare i risultati: indicazioni del consort

• It is essential to specify which statistical procedure was used for each analysis.

• Almost all methods of analysis yield an estimate of the treatment effect, which is a contrast between the outcomes in the comparison groups.

• In addition, authors should present a confidence interval for the estimated effect, which indicates a range of uncertainty for the true treatment effect.

• It is customary to present a 95% confidence interval, which gives the range of uncertainty expected to include the true value in 95 of 100 similar studies.

• Study findings can also be assessed in terms of their statistical significance. The P value represents the probability that the observed data (or a more extreme result) could have arisen by chance when the interventions did not differ. Actual P values (for example, P = 0.003) are preferred to imprecise threshold reports

• (P < 0.05)

Page 46: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

Esempio di risultati

As compared with interferon alone, treatment with temsirolimus alone was associated with a hazard ratio for death of 0.73 (95% confidence interval [CI], 0.58 to 0.92; P = 0.008). As compared with interferon, the combination of interferon plus temsirolimus resulted in a hazard ratio for death of 0.96 (95% CI, 0.76 to 1.20; P = 0.70).

Page 47: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

Approfondimento sui risultati del primary end point

• As compared with interferon (I) alone, treatment with temsirolimus (T) alone was associated with a hazard ratio for death of 0.73 (95% confidence interval [CI], 0.58 to 0.92; P = 0.008).

• As compared with interferon, the combination of interferon plus temsirolimus (I+T)resulted in a hazard ratio for death of 0.96 (95% CI, 0.76 to 1.20; P = 0.70).

• I soggetti trattati con (I) hanno un tasso di morte 1.4 volte maggiore di quelli trattati con T

• I soggetti trattati con (I) hanno un tasso di morte 1.04 volte maggiore di quelli trattati con (I+T)

• In assenza di evidenza di diversa efficacia tra trattamenti l’intervallo di confidenza comprende il valore 1.0 (vedi il confronto (I+T) vs (I) )

• Nota bene: la misura di efficacia di (I) vs (I+T) è prossima ad 1.0 e quindi non rilevante. Anche se fosse statisticamente significativa (p<0.05) continuerebbe comunque ad essere non rilevante

Page 48: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

Risultati sul secondary end-point

Non è riportato HR di T vs I

Page 49: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

Le analisi per sottogruppi

• E’ frequente che siano riportate analisi per sottogruppi

• Obiettivi: • evidenziare una differenza di efficacia in

particolari sottogruppi (in alcuni trial è una strategia utilizzata in caso di differenza non significativa sulla casistica totale)

• Confermare che la differenza di efficacia esiste in tutti i sottogruppi (strategia utilizzata per rinforzare l’evidenza di efficacia e l’utilità del trattamento con maggiore efficacia)

Page 50: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

Esempio di analisi per sottogruppi

• In exploratory subgroup analyses using a Cox proportional-hazards model, the salutary effects of temsirolimus alone on overall survival wereconsistent across the prespecified factors tested, with two exceptions.

• For the analysis comparing temsirolimus with interferon, we found an interaction of treatment with age (P = 0.02) and the

• baseline serum lactate dehydrogenase level (P =0.008). The effect of temsirolimus on overall survival was greater among patients under 65 years of age than among older patients and among

• patients with a serum lactate dehydrogenase level of more than 1.5 times the upper limit of the normal range than among those with lower levels.

Page 51: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

Problematiche dell’analisi per sottogruppi: consort

• The strongest analyses are those based on looking for evidence of a difference in treatment effect in complementary subgroups a comparison known as a test of interaction*

• A common but inferior approach is to compare P values for separate analyses of the treatment effect in each group. It is incorrect to infer a subgroup effect (interaction) from one significant and one nonsignificant P value. Such inferences have a high false positive rate.

• Because of the high risk for spurious findings, subgroup analyses are often discouraged.

• Post hoc subgroup comparisons (analyses done after looking at• the data) are especially likely not to be confirmed by further studies.

Such analyses do not have great credibility.

Page 52: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

Prognostic and predictive factors of response to the therapy

Fattori prognostici: discriminano la prognosi indipendentemente dal trattamento. Sono tipicamente associati alla “storia naturale” della malattia. (es: stato linfonodale)

Fattori predittivi: indicano sinergismo tra fattore e trattamento, discriminano la prognosi nei soggetti trattati. (es. ER)

Fattori prognostici/predittivi: assumono ruolo differente secondo i trattamenti applicati

Page 53: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

Log

Ris

k

-

-

+

+

Marker -/+

Log

Ris

k

+

+

Marker -/+

Log

Ris

k

Marker -/+

Log

Ris

k- -

+ +

Marker -/+

Standard Experim

Log

Ris

k

Marker -/+

Log

Ris

k

+

+

- -Marker -/+

- -

+

+

-

-

-

-

Prognostic Response Response/Prognostic

+

+

(A) (B) (C)

(D) (E) (F)

Standard Experim Standard Experim

Standard Experim Standard Experim Standard Experim

Interaction Interaction

Interaction Interaction

Page 54: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

Effetto di c-erbB2 sulla sopravvivenza di donne con tumore mammario N+ trattate con CMF vs Controllo (Guy’s Hospital, London)

c-erbB2-

c-erbB2+

da: Miles et al. Int.J.Cancer (Pred.Oncol.): 84, 354-359, 1999

Page 55: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

Effetto di c-erbB2 sulla sopravvivenza da tumore mammario N+ CMF vs Controllo (Guy’s Hospital, London Miles et al., 1999)

c-erbB2-

c-erbB2+

Menard et al. J.Clin.Oncol. 19: 329-335, 2001 c-erbB2-: HRCMF vs None=0.730 (0.537-0.991) c-erbB2+: HRCMF vs None=0.495 (0.287-0.853)

HRCMF vs None 0.45

HRCMF vs None= 0.6495%CI: 0.38-1.07

Page 56: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.
Page 57: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.
Page 58: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.
Page 59: Linterpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale.

A different perspective in the A different perspective in the development of prognostic criteriadevelopment of prognostic criteria