L’interpretazione metodologica degli studi clinici Elia M.Biganzoli, PhD & Patrizia Boracchi, PhD Istituto di Statistica Medica e Biometria. Istituto Nazionale Tumori - Università degli Studi di Milano elia.biganzoli@unimi.it patrizia.boracchi@unimi.it

Studi Analitici: osservazionali vs sperimentali Osservazionali: l’esposizione può essere determinata da fattori ambientali, caratteristiche cliniche, terapie pregresse ma non è assegnata dal ricercatore che effettua lo studio Permettono di valutare l’associazione tra “esposizione” ed esito Sperimentali: l’esposizione (trattamento) è assegnata dal ricercatore durante la conduzione dello studio Permettono di valutare la relazione causa-effetto tra esposizione ed esito

Associazione vs causalità Associazione si riferisce alla dipendenza tra due variabili es: si osserva che frequenza di ricadute di malattia oncologica tra i soggetti con tumore di un certo istotipo è maggiore di quella tra i soggetti con tumore di un diverso istotipo La presenza di associazione non implica la presenza di una relazione causa-effetto La possibile interpretazione in termini di causa-effetto deve soddisfare alcuni requisiti: forza dell’associazione,consistenza, specificità, temporalità, plausibilità, coerenza, gradiente biologico ……

Studi osservazionali e interpretazione causa-effetto per la valutazione dei trattamenti Possono fornire evidenze sulla differenza di efficacia di due o più trattamenti Problemi interpretativi: Possibile bias di selezione della casistica in base alle informazioni disponibili Possibile effetto di confondimento dovuto ad assegnazione in funzione di diverse caratteristiche dei soggetti (non completamente note)

STUDI ANALITICI SPERIMENTALI (SPERIMENTAZIONI CLINICHE) l’esposizione (trattamento) è assegnata dal ricercatore ed il paziente viene seguito nel tempo per monitorare l’esito I soggetti sono selezionati in base a determinate caratteristiche cliniche Se sono stabiliti più livelli di esposizione, l’assegnazione è effettuata “casualmente” (studi clinici controllati)

Sperimentazioni cliniche per lo sviluppo di un farmaco FASE I : tipica per l’utilizzo di un nuovo farmaco nell’uomo Obiettivi: stabilire il tipo ed il grado di tossicità e il dosaggio da utilizzare per studi successivi Particolare cura nella selezione dei pazienti (volontari). Ad es: in ambito oncologico sono pazienti pretrattati o con tumori non responsivi ad altri trattamenti FASE II : valutazione della potenziale efficacia del trattamento sperimentale. Nel caso di nuovi farmaci questi studi sono effettuati dopo quelli di fase I Obiettivi: stabilire il grado di efficacia (ad es. tasso di risposta), ed il grado di tossicità Effettuati su un numero limitato di soggetti Disegnati per mettere in evidenza se il trattamento ha una efficacia minima tale da programmare uno studio comparativo di fase III FASE III: il trattamento sperimentale è confrontato con quello standard per la patologia. Sono effettuati dopo esisto positivo di uno studio di fase II. Obiettivi: valutare se il trattamento sperimentale è vantaggioso rispetto a quello standard Assegnazione dei trattamenti con procedura casuale Accurata pianificazione e conduzione dello studio necessarie per ottenere risposte attendibili

Una classificazione più generale

Importanza delle sperimentazioni cliniche Sperimentazioni cliniche pianificate e condotte in modo appropriato forniscono la migliore evidenza sull’efficacia di una strategia terapeutica* (Altman et al, 2001) Sperimentazioni con un approccio metodologico non adeguato sono associate con una stima dell’effetto del trattamento “esagerata” o con una erronea “mancanza di efficacia” Conseguenza: risultati che potrebbero portare ad errati criteri di decisione clinica

Che affidabilità si deve attribuire ai risultati di una sperimentazione clinica riportati in letteratura? la valutazione critica della qualità di una sperimentazione clinica è possibile solo se il disegno, la conduzione, l’analisi statistica sono descritte nella pubblicazione in modo accurato ed approfondito Purtroppo gli articoli riguardanti sperimentazioni cliniche sono spesso incompleti nella descrizione dello studio; sono però state definite alcune linee guida (consort statement) per riportare i risultati delle sperimentazioni che possono essere utilizzati anche per la valutazione di articoli già pubblicati

Studi di fase III: caratteristiche della sperimentazione contenute nel protocollo sperimentale (in sintesi) Razionale per proporre il nuovo trattamento (Quali i vantaggi rispetto allo “standard”?) Pianificare il confronto (qual è il gruppo di “controllo”?) Definizione della popolazione obiettivo (per quali pazienti è indicato il trattamento?) Selezione dei soggetti (come si ottiene il campione rappresentativo della popolazione obiettivo?) Definizione della risposta al trattamento (primary e secondary end-points) Dimensione del campione (quale vantaggio/differenza si vuole mettere in evidenza?) Procedure per l’assegnazione del trattamento (randomizzazione) Procedure di somministrazione del trattamento Procedure per il monitoraggio della risposta Analisi statistica pianificata (come ottengo il “p value?”) Strategie per la pubblicazione dei risultati Tali caratteristiche dovrebbero essere riprese nella pubblicazione che descrive lo studio CONSORT STATEMENT

Esempio di studio di fase III

Razionale dello studio Interferon alfa is widely used for metastatic renal-cell carcinoma but has limited efficacy and tolerability. Interleukin-2 and interferon alfa, alone or in combination,are the main treatments for metastatic renal-cell carcinoma. These cytokines, however, have limited efficacy and substantial toxicity, and they rarely benefit patients with an extensive tumor burden and adverse prognostic factors. Such patients have a median survival of only 4 to 8 months. A phase 2 study of temsirolimus in cytokine-refractory metastatic renal-cell carcinoma showed evidence of improved survival,and a study of temsirolimus plus interferon alfa identified tolerable doses and clinical indications of antitumor activity.

Pianificare il confronto Interferon alfa is widely used for metastatic renal-cell carcinoma (“controllo”) A phase 2 study of temsirolimus in cytokine-refractory metastatic renal-cell carcinoma showed evidence of improved survival (improved rispetto a?) a study of temsirolimus plus interferon alfa identified tolerable doses and clinical indications of antitumor activity (quale efficacia minima?) Quesito: rispetto al controllo è piu’ efficace usare temsirolimus da solo o è meglio aggiungerlo a Interferon? tre gruppi di trattamento

Definizione della popolazione obiettivo e selezione dei soggetti Popolazione generale popolazione in studio: definita dai criteri di eleggibilità che individuano i pazienti che dovrebbero trarre beneficio dai nuovi trattamenti valutati popolazione campionata: definita da criteri pratici / etici che consentono il reclutamento nello studio (assenza di criteri di esclusione) è necessario valutare l’impatto numerico dei criteri di eleggibilità e di esclusione per valutare la generalizzabilità dello studio

Esempio di criteri di selezione Eligibility criteria included histologically confirmed advanced renal-cell carcinoma (stage IV or recurrent disease) and a Karnofsky performance score of 60 or more with no previous systemic therapy. Additional eligibility criteria a tumor that was measurable and adequate bone marrow, renal, and hepatic functions, Patients with a history of brain metastases were eligible if their condition was neurologically stable and they did not require corticosteroids after surgical resection or radiotherapy. At least three of the following six predictors of short survival were required: a serum lactate dehydrogenase level of more than 1.5 times the upper limit of the normal range, a hemoglobin level below the lower limit of the normal range;a corrected serum calcium level of more than 10 mg per deciliter (2.5 mmol per liter), a time from initial diagnosis of renal-cell carcinoma to randomization of less than 1 year, a Karnofsky performance score of 60 or 70, or metastases in multiple organs.

Impatto dei criteri di esclusione Si consiglia di riportare nel testo il seguente schema These counts indicate whether trial participants were likely to be representative of all patients seen; they are relevant to assessment of external validity only, and they are often not available A total of 45 patients were ineligible (15 in the interferon group, 17 in the temsirolimus group, and 13 in the combination-therapy group), and 10 patients did not receive any treatment (7 in the interferon group, 1 in the temsirolimus group, and 2 in the combination-therapy group).

risposta al trattamento Primary end-point : principale criterio per la valutazione dell’efficacia delle terapie: lo studio è pianificato per evidenziare una “differenza “ tra trattamenti relativamente a questo end-point Nel caso di patologie oncologiche avanzate è aperto un dibattito tra sopravvivenza e intervallo libero da progressione Secondary end-point è un supporto alla comprensione dell’efficacia delle terapie: una “differenza” rilevante tra trattamenti potrebbe non venire messa in evidenza poiché lo studio non ha una dimensione del campione adeguata per la valutazione di questo end-point

Esempio di risposta al trattamento The primary end point was overall survival (calcolata dalla data di randomizzazione? alla data di morte e per quelli che sopravvivono alla data di chiusura dello studio? Secondary efficacy end points were progression- free survival as determined by the site investigators’ assessment and a blinded assessment of imaging studies (performed by Bio-Imaging Technologies),the objective response rate, and the clinical benefit rate, defined as the proportion ofpatients with stable disease for at least 24 weeksor an objective response. (PFS, oltre alla progressione, comprende o no la morte? La definizione sugli articoli non è omogenea)

La dimensione del campione Il numero di soggetti necessari per evidenziare un effetto clinicamente rilevante sull’end-point primario con un definito errore di I tipo (di solito 5%) ed una definita potenza del test (di solito 80 o 90%) Il calcolo presuppone la decisione del test statistico che si dovrà utilizzare per il confronto tra trattamenti Errore di I tipo (a): la probabilità di affermare che c’è una differenza di efficacia tra trattamenti nella popolazione obiettivo quando in realtà non è vero Potenza del test: la probabilità di affermare che c’è una differenza di efficacia tra trattamenti nella popolazione obiettivo quando è vero in realtà (100-errore di II tipo) Errore di II tipo (b): la probabilità di non affermare che c’è una differenza di efficacia tra trattamenti nella popolazione obiettivo quando in realtà la differenza esiste

Schematic diagram of a clinical trial Sample Nonparticipants Describe who? Randomization Intervention Control Lost to follow-up Measure outcome Measure outcome

Valutazione dell’esito Dove la biostatistica? Valutazione dell’esito In campo oncologico l’evoluzione della malattia è frequentemente valutata in termini di: Incidenza Sopravvivenza (globale, libera da malattia,…) Tasso di incidenza L’osservazione parte all’inizio della terapia ed è pianificata terminare dopo un tempo ritenuto clinicamente adeguato

Dati di Sopravvivenza (censorizzati) end recruitment end follow-up start 1 1 2 2 3 3 4 4 5 ? 5 01/01/87 01/01/88 31/12/88 0.5 1 1.5 2 calendar time follow-up time (years)

Dati di Sopravvivenza (sopravvivenza = 1-Incidenza) 2 2 3 3 4 4 5 5 1 1 0.5 1.5 2 0.5 1.5 2 follow-up time (years) follow-up time (years)

Dati di Sopravvivenza (Tasso di incidenza e probabilità di evento per intervalli) 1 2 3 4 5 0.5 1 1.5 2 Tasso 1/(0.5x4+0.4) 0 1/(0.5x2 +0.25) 0 Probabilità 1/5 0 1/3 0 Sopravvivenza (1-1/5) (1-1/5) (1-1/5)x(1-1/3) 0

Clinically useful Effect Measures The objective of the study is to compare the pattern of occurrence of the considered events over time. Absolute measures: express efficacy in a manner that incorporates both baseline risk and the risk reduction with therapy. Relative measures: independent from the baseline risks of patients (useful for meta-analyses).

Effect Relative and Absolute Measures Results are commonly expressed as Hazard Ratios (i.e. ratio of istantaneous risks) HR. Not straightforwardly interpretable! Relative Risk: RR widely used in epidemiology. Sensible to talk about doubling or halving the risk. Relative Risk Reduction: RRR = 1-RR Reduction of incidence achieved by a treatment as a proportion of the control incidence. Absolute Risk Reduction: ARR difference in event Incidences between the control and treatment groups. Expression of the consequences of giving no treatment. Number of patients Needed to be Treated: NNT 1/ARR. General consensus on his utility and interpretability from clinicians.

STUDIO PROSPETTIVO

STUDIO PROSPETTIVO

Efficacy on Survival (Figure 1A) hazard ratio for death Temsirolimus vs interferon 0.73 (95% CI, 0.58 to 0.92; P = 0.008). combination vs interferon 0.96 (95% CI, 0.76 to 1.20; P = 0.70). Median survival (months) 7.3 interferon 10.9 temsirolimus 8.4 combination. Relative risk (not reported on the paper) Temsirolimus vs interferon 5 months: 0.65/0.78=0.83 15 months: 0.28/0.35=0.80 Figure 1B Median progression-free survival ? Relative Risk? Hazard Ratio?

Come funziona il test statistico? Data l’ipotesi nulla H0: Hazard(Tems.) = Hazard(Interferon) ovvero HRt=1 Soglia significatività a=0.05 risultato sperimentale (Valore Osservato del test c2) Valore Soglia del test c2 VO<VS risultato non poco probabile (pVO>0.05) Non posso rifiutare H0 VO>VS risultato poco probabile (pVO<0.05) Rifiuto H0

Errore I tipo (Falso positivo) Il confronto tra le curve di sopravvivenza H0: Hazard(Interf.) = Hazard(Tems) HR=1 H1: Hazard(Interf.)  Hazard(Tems.) HR  1 Decisione Vera H0 Non rifiuto H0 Decisione corretta Rifiuto H0 Errore I tipo (Falso positivo) Significatività a=0.05

Errore I tipo (Falso positivo) Il confronto tra le curve di sopravvivenza H0: Hazard(Int.) = Hazard(Tems) HR=1 H1: Hazard(Int.)  Hazard(Tems) HR  1 Decisione Vera H0 Non rifiuto H0 Decisione corretta Rifiuto H0 Errore I tipo (Falso positivo) Significatività a=0.05 ?

Il confronto tra le curve di sopravvivenza H0: Hazard(Int.) = Hazard(Tems.) HR=1 H1: HAzard(Int.)  Hazard(Tems.) HR 1 Decisione Vera H0 Vera H1 Non rifiuto H0 Decisione corretta Errore II tipo (Falso negativo) b = 0.2 Rifiuto H0 Errore I tipo (Falso positivo) Significatività a=0.025 Decisione corretta Potenza = 1-0.2=0.8

Significatività statistica e rilevanza clinica Il livello di significatività è utilizzato come indicazione di evidenza di un dato effetto La significatività non equivale alla rilevanza clinico/biologica dell’effetto L’assenza di significatività (evidenza) di un dato effetto non è evidenza di assenza dell’effetto stesso

Significatività statistica e rilevanza clinica Il livello di significatività è utilizzato come indicazione di evidenza di un dato effetto La significatività non equivale alla rilevanza clinico/biologica dell’effetto L’assenza di significatività (evidenza) di un dato effetto non è evidenza di assenza dell’effetto stesso In aggiunta alla significatività occorre fornire la stima dell’effetto per valutarne la rilevanza Come la decisione anche la stima è incerta intervallo di confidenza : Intervallo determinato sul campione in cui affermiamo trovarsi il valore vero dell’effetto con confidenza (nell’affermazione) prefissata (spesso 95%)

Considerazioni aggiuntive del consort statement sulla dimensione del campione the sample size for a trial needs to be planned carefully, with a balance between clinical and statistical considerations. Ideally, a study should be large enough to have a high probability (power) of detecting as statistically significant a clinically important difference of a given size if such a difference exists. The size of effect deemed important is inversely related to the sample size necessary to detect it; that is,large samples are necessary to detect small differences. Regarding the clinically important target difference between the intervention Groups It is preferable to quote the postulated results of each group rather than the expected difference between the groups. In some trials, interim analyses are used to help decide whether to continue recruiting If the actual sample size differed from that originally intended for some other reason (for example, because of poor recruitment or revision of the recruitment or revision of the target sample size), the explanation should be given.

Assegnazione dei trattamenti e valutazione della risposta Perché lo studio abbia una interpretazione causa-effetto (dove la causa è il trattamento e l’effetto è l’end-point) ogni decisione del ricercatore relativamente alla scelta del trattamento sul singolo soggetto deve essere eliminata L’assegnazione quindi è fatta per randomizzazione, effettuata da personale non coinvolto “clinicamente” nella sperimentazione La randomizzazione garantisce “in termini probabilistici” il bilanciamento delle caratteristiche dei soggetti tra i diversi trattamenti La risposta al trattamento deve essere valutata con gli stessi criteri per i diversi trattamenti quindi, in caso di valutazione clinico/strumentale (es: progressione) sarebbe preferibile che chi valuta la risposta ignori il trattamento assegnato (in cieco) INTENTION TO TREAT: il confronto avviene classificando i soggetti secondo il trattamento a loro assegnato e non secondo il trattamento che hanno effettivamente ricevuto (es: trattamento sospeso o ridotto per tossicità, rifiuto del paziente…..) valutazione dell’efficacia secondo il risultato che ci si attende quando, a fine studio, il trattamento sarà proposto a nuovi pazienti valutazione che non introduce elementi di bias, selezionando solo i soggetti che sono stati in grado di effettuare il trattamento come programmato

Esempio di assegnazione dei trattamenti e valutazione della risposta Patients were stratified according to the geographic location of the center and whether they had undergone nephrectomy. Patients were randomly assigned in equal proportions, with the use of permuted blocks of three, to one of threetreatment groups. Secondary efficacy end points were progression-free survival as determined by the site investigators’ assessment and a blinded assessment of imaging studies

Descrizione dei soggetti randomizzati La randomizzazione garantisce un bilanciamento tra le caratteristiche “in termini probabilistici”, quindi differenze in composizione possono essere ottenenute “per effetto del caso” E’ comune riportare le caratterisitche di base dei soggetti per gruppo. Il consort statement fornisce alcuni suggerimenti: : Continuous variablescan be summarized for each group by the mean and standard deviation. When continuous data have an asymmetrical distribution, a preferable approach may be to quote the median and a percentile range (perhaps the25th and 75th percentiles) Standard errors and confidence intervals are not appropriate they are inferential rather than descriptive statistics. For Categorical variables numbers and proportions should be reported for each category significance tests of baseline differences are not appropriate

Esempio di descrizione dei soggetti randomizzati

Risultati dello studio Comunemente i risultati sono rappresentati per ogni gruppo di trattamento mediante una “curva di sopravvivenza” dove in ascissa è riportato il tempo di follow-up e in ordinata la corrispondente probabilità di sopravvivere oltre a quel tempo (stimata con il metodo di Kaplan-Meier) Nota: questa quantità non è la percentuale di pazienti che sopravvivono a quel tempo L’efficacia dei diversi trattamenti è confrontata mediante il “log-rank test” che si basa sul rapporto tra i tassi di morte “per unità di tempo” dei trattamenti (supposto costante nel tempo) L’efficacia è quindi coerentemente sintentizzata dall’Hazard Ratio (rapporto tra i tassi istantanei) A volte è fornita anche la mediana dei tempi di sopravvivenza (tempo a cui corrisponde una probabilità di sopravvivenza del 50%) Altre misure clinicamente utili (rischio relativo, eccesso di rischio etc.) potrebbero fornire un supporto efficace alla decisione clinica ma raramente sono utilizzate nella letteratura corrente

Esempio di risultati sul primary end point Tempo mediano (mesi) 7.3 interferon 10.9 temsirolimus 8.4 combination-therapy la prob. di sopravvivere oltre 5 anni è circa del 78% per Tens. e circa il 65% per gli altri due trattamenti

Riportare i risultati: indicazioni del consort It is essential to specify which statistical procedure was used for each analysis. Almost all methods of analysis yield an estimate of the treatment effect, which is a contrast between the outcomes in the comparison groups. In addition, authors should present a confidence interval for the estimated effect, which indicates a range of uncertainty for the true treatment effect. It is customary to present a 95% confidence interval, which gives the range of uncertainty expected to include the true value in 95 of 100 similar studies. Study findings can also be assessed in terms of their statistical significance. The P value represents the probability that the observed data (or a more extreme result) could have arisen by chance when the interventions did not differ. Actual P values (for example, P = 0.003) are preferred to imprecise threshold reports (P < 0.05)

Esempio di risultati As compared with interferon alone, treatment with temsirolimus alone was associated with a hazard ratio for death of 0.73 (95% confidence interval [CI], 0.58 to 0.92; P = 0.008). As compared with interferon, the combination of interferon plus temsirolimus resulted in a hazard ratio for death of 0.96 (95% CI, 0.76 to 1.20; P = 0.70).

Approfondimento sui risultati del primary end point As compared with interferon (I) alone, treatment with temsirolimus (T) alone was associated with a hazard ratio for death of 0.73 (95% confidence interval [CI], 0.58 to 0.92; P = 0.008). As compared with interferon, the combination of interferon plus temsirolimus (I+T)resulted in a hazard ratio for death of 0.96 (95% CI, 0.76 to 1.20; P = 0.70). I soggetti trattati con (I) hanno un tasso di morte 1.4 volte maggiore di quelli trattati con T I soggetti trattati con (I) hanno un tasso di morte 1.04 volte maggiore di quelli trattati con (I+T) In assenza di evidenza di diversa efficacia tra trattamenti l’intervallo di confidenza comprende il valore 1.0 (vedi il confronto (I+T) vs (I) ) Nota bene: la misura di efficacia di (I) vs (I+T) è prossima ad 1.0 e quindi non rilevante. Anche se fosse statisticamente significativa (p<0.05) continuerebbe comunque ad essere non rilevante

Risultati sul secondary end-point Non è riportato HR di T vs I

Le analisi per sottogruppi E’ frequente che siano riportate analisi per sottogruppi Obiettivi: evidenziare una differenza di efficacia in particolari sottogruppi (in alcuni trial è una strategia utilizzata in caso di differenza non significativa sulla casistica totale) Confermare che la differenza di efficacia esiste in tutti i sottogruppi (strategia utilizzata per rinforzare l’evidenza di efficacia e l’utilità del trattamento con maggiore efficacia)

Esempio di analisi per sottogruppi In exploratory subgroup analyses using a Cox proportional-hazards model, the salutary effects of temsirolimus alone on overall survival wereconsistent across the prespecified factors tested, with two exceptions. For the analysis comparing temsirolimus with interferon, we found an interaction of treatment with age (P = 0.02) and the baseline serum lactate dehydrogenase level (P =0.008). The effect of temsirolimus on overall survival was greater among patients under 65 years of age than among older patients and among patients with a serum lactate dehydrogenase level of more than 1.5 times the upper limit of the normal range than among those with lower levels.

Problematiche dell’analisi per sottogruppi: consort The strongest analyses are those based on looking for evidence of a difference in treatment effect in complementary subgroups a comparison known as a test of interaction* A common but inferior approach is to compare P values for separate analyses of the treatment effect in each group. It is incorrect to infer a subgroup effect (interaction) from one significant and one nonsignificant P value. Such inferences have a high false positive rate. Because of the high risk for spurious findings, subgroup analyses are often discouraged. Post hoc subgroup comparisons (analyses done after looking at the data) are especially likely not to be confirmed by further studies. Such analyses do not have great credibility.

Prognostic and predictive factors of response to the therapy Fattori prognostici: discriminano la prognosi indipendentemente dal trattamento. Sono tipicamente associati alla “storia naturale” della malattia. (es: stato linfonodale) Fattori predittivi: indicano sinergismo tra fattore e trattamento, discriminano la prognosi nei soggetti trattati. (es. ER) Fattori prognostici/predittivi: assumono ruolo differente secondo i trattamenti applicati

Log Risk - + Marker -/+ Prognostic Response Response/Prognostic (A) Standard Experim Prognostic Response Response/Prognostic (A) (B) (C) (D) (E) (F) Interaction Interaction Standard Experim Standard Experim Interaction Interaction Standard Experim Standard Experim Standard Experim

da: Miles et al. Int.J.Cancer (Pred.Oncol.): 84, 354-359, 1999 Effetto di c-erbB2 sulla sopravvivenza di donne con tumore mammario N+ trattate con CMF vs Controllo (Guy’s Hospital, London) c-erbB2- c-erbB2+ da: Miles et al. Int.J.Cancer (Pred.Oncol.): 84, 354-359, 1999

Effetto di c-erbB2 sulla sopravvivenza da tumore mammario N+ CMF vs Controllo (Guy’s Hospital, London Miles et al., 1999) HRCMF vs None  0.45 c-erbB2- HRCMF vs None= 0.64 95%CI: 0.38-1.07 c-erbB2+ Menard et al. J.Clin.Oncol. 19: 329-335, 2001 c-erbB2-: HRCMF vs None=0.730 (0.537-0.991) c-erbB2+: HRCMF vs None=0.495 (0.287-0.853)

A different perspective in the development of prognostic criteria