La randomizzazione … c’è del metodo in questa follia
Nicola Magrini Area Valutazione del Farmaco Agenzia Sanitaria e Sociale Regionale, Regione ER WHO Collaborating Centre for Evidence Based Research Synthesis
and Guideline Development
Bologna, EBN, 28 Febbraio 2013
Le origini
Where it all began
Cosa vuol dire avere 2 gruppi sbilanciati:
… quando la randomizzazione non riesce
• Nel 1930 si realizzò un esperimento consistente nella somministrazione nelle scuole di 3/4 di pinta di latte al giorno a 10.000 ragazzi; altri 10.000 ragazzi nelle stesse scuole non ricevevano questa somministrazione.
• L’obiettivo dell’esperimento era di verificare se il supplemento di latte portava a un maggior accrescimento ponderale e nella statura.
• Inizialmente fu deciso di effettuare l’assegnazione dei bambini all’uno o all’altro gruppo in modo casuale in alcune scuole, e in ordine alfabetico in altre.
• Si decise poi, per evitare una sproporzione numerica tra i due gruppi, di affidare agli insegnanti il compito di integrare l’uno o l’altro gruppo con altri bambini.
• Verosimilmente a causa del senso di umanità degli insegnanti, che li portava ad assegnare al gruppo cui era destinato il latte i bambini più malnutriti, il risultato finale fu che il gruppo di controllo risultò superiore in una misura corrispondente a circa 3 mesi di crescita ponderale e 4 mesi di crescita in statura.
L’ESPERIMENTO DEL LATTE NEL LANARKSHIRE(“STUDENT”, 1931)
Randomizzazione Randomizzazione … … Back to basics: Cochrane Back to basics: Cochrane
“L’idea di base, come tutte le cose buone, è semplice. Gli studi randomizzati affrontano il problema della
confrontabilità di due gruppi a rovescio: l’idea non è di preoccuparsi delle caratteristiche dei pazienti, ma di essere sicuri che la divisione dei pazienti nei 2 gruppi sia fatta in modo indipendente dalla volontà dello sperimentatore.”
L’uso di popolazioni non selezionate riduce i problemi di generalizzabilità.
Ventricular premature beats and mortality after myocardial infarction
W Ruberman, E Weinblatt, JD Goldberg, CW Frank, and S Shapiro To assess the role of ventricular premature beats in influencing mortality
of coronary patients, 1739 men with prior myocardial infarction were monitored for ectopic activity for one hour at a standard base-line examination, and followed for mortality for periods up to four years (average, 24.4 months). Analyses of survival taking into account other important prognostic variables establish that the presence of complex premature beats (R on T, runs of 2 or more, multiform or bigeminal premature beats) in the monitoring hour is associated with a risk of sudden coronary death three times that of the men free of complex ventricular premature beats.
The corresponding risk of death from any cause is twice that of men without such complex beats in the hour.These arrhythmias make an independent contribution to increased risk of death that persists over the length of this observation period.
NEJM 1977;297:750-757
Mortality and morbidity in patients receiving encainide, flecainide, or placebo. The Cardiac Arrhythmia Suppression Trial
DS Echt, PR Liebson, LB Mitchell, RW Peters, D Obias-Manno, AH Barker, et al.
CONCLUSIONS. There was an excess of deaths due to arrhythmia and deaths due to shock after acute recurrent myocardial infarction in patients treated with encainide or flecainide.
Nonlethal events, however, were equally distributed between the active-drug and placebo groups. The mechanisms underlying the excess mortality during treatment with encainide or flecainide remain unknown
NEJM 1991;324:781-788
Conclusioni studi encainide e flecainide nel trattamento dei battiti ectopici
prematuri
Flecainide ed encainide sono efficaci nel sopprimere i battiti ectopici ma aumentano la mortalità (“sopprimono le aritmie benigne ma sopprimono
anche la vita dei pazienti più del placebo”)
Il primo RCT:
Studio controllato sulla streptomicina nel trattamento della tubercolosi
CONDIZIONE CLINICA DOPO ESAME RADIOLOGICO* Trattamento Morte Deteriora
mento Nessuna modifica
Leggero miglioramento
Sostanziale miglioramento
Riposo a letto
(n=52) 14 (27) 18 (34) 3 (6) 13 (25) 4 (8)
Riposo a letto più 2 g streptomicina ogni 4 ore (n=55)
4 (7) 10 (18) 3 (6) 10 (18) 28 (51)
*Follow-up di 6 mesi
R. Doll.
Sir Austin Bradford Hill and the progress of medical science.
BMJ 1992;305:1521-6
Bradford Hill The reasons for writing
[Le ragioni per scrivere]
…bottom line question for any research article:
“What does it mean, anyway?”
[la domanda finale per ogni articolo di ricerca:
Che cosa significa?]
BMJ 1965 4:870
Di che cosa parlerò
l L’ABC del disegno e dell’etica degli studi clinici randomizzati
l Disegno, senso ed etica
l Superiorità, non inferiorità ed equivalenza
l Etica: da Norimberga a Helsinki
l Qualcosa di più dell’ABC
l Etica e consenso: la partecipazione attiva e responsabile
l Qualità degli studi e qualità delle evidenze
l Alcuni specifici disegni: cluster e devices complessi
l Etica della ricerca e delle pubblicazioni: il publication bias e la frode scientifica
Consolidated Standards of Reporting Trials
http://www.consort-statement.org/
(CONSORT)
RCT e principio di incertezza RCT e principio di incertezza
La base etica degli studi randomizzati La base etica degli studi randomizzati
• La base etica degli studi randomizati è
rappresentata dal non sapere quale trattamento sia preferibile in ogni singolo paziente cui viene proposto di partecipare allo studio.
• Se il medico (o il paziente) hanno una chiara preferenza per uno dei trattamenti previsti nello studio il paziente non dovrebbe essere
randomizzato (e andrebbe registrato in un registro dei pazienti eleggibili non randomizzati).
RCT e principio di incertezza RCT e principio di incertezza
La base etica degli studi randomizzati La base etica degli studi randomizzati In altre parole, l’etica risiede nel non sapere quale trattamento sia il migliore/preferibile fra:
• lo standard (già in uso) o
• il nuovo trattamento da valutare
In assenza di un trattamento standard si possono usare sia il placebo (studi in cieco) sia nessun trattamento (studi in aperto)
Etica degli studi randomizzati
Il principio di incertezza
(uncertainty principle) è alla base degli studi controllati
randomizzati: si assegna in modo casuale un trattamento (o l’altro) se il medico e il paziente non sanno quale sia l’alternativa preferibile.
The uncertainty principle
• Peto Ret al. (1976): “Physicians who are convinced that one treatment is better than another for a particular patient of theirs cannot ethically choose at random which treatment to give: they must do what they think best for the particular patient. For this reason, physicians who feel they already know the answer cannot enter their patients into a trial. If they think, whether for a wise or silly reason, that they know the answer before the trial starts, they should not enter any patients…”
Clinical equipoise
Freedman B(NEJM, 1987):
if there is genuine uncertainty within the expert medical community — not necessarily on the part of the individual investigator — about the preferred treatment”
.”
Studi clinici randomizzati (RCTs)
• Farsi una domanda importante (e semplice)
• Serve l’aspirina dopo un infarto?
• È meglio un approccio (domiciliare) o ospedaliero?
• Avere come obiettivo il paziente (ed esiti per lui rilevanti)
Yusuf S, Collins R, Peto R.
Why do we need some large, simple randomized trials?
Stat Med 1984; 3: 409-420
Quando NON è utile
la randomizzazione
• To help us think about the circumstances in which randomised trials are unnecessary, we sought help3 in compiling a list of examples of treatments whose effects had been widely accepted on the basis of evidence from case series or non- randomised cohorts (box).
• Mother’s kiss technique
• Laser treatment of portwine stains
• Fundoplication for heartburn
Trattamenti di grandissima efficacia
Studi randomizzati: sempre necessari?
• Although parallel group randomised trials will remain the principal means of obtaining reliable evidence about the average effects of treatments when effects are moderate, our three examples show some circumstances in which treatment effects can be inferred from well designed case series9 and non- randomised cohort studies.
La randomizzazione è stata etica?
Rivediamo alcune serie storiche di RCTs in ambiti di grande progresso della medicina
…
Era etico randomizzare?
Uncertainty has provided the ethical foundation for randomised trials and has
been the driver for the substantial advances in several childhood cancers
ABC del disegno degli studi randomizzati
Validit
Validità à interna: interna:
i 3 principi fondamentali i 3 principi fondamentali
Random division of the patients
selection of an appropriate primary outcome measure
sample size calculation
1. Randomizzazione
2. Scelta di un indicatore appropriato di esito 3. Dimensione del campione e disegno
Sir Austin Bradford Hill
VALIDIT
VALIDITÁÁINTERNAINTERNA VALIDIT
VALIDITÀÀESTERNAESTERNA trasferibilità generalizzabilità applicabilità (effectiveness)
RCT: una visione d
RCT: una visione d’’insieme insieme
Placebo, nessun trattamento migliore terapia disponibile (altra terapia disponibile)
Popolazione studiata Popolazione di riferimento
tempo
Farmaco da studiare
Controllo RANDOMIZZAZIONE
è condizionata da:
• setting dello studio
• selezione dei pazienti
• differenza tra ciò che prevede il protocollo e la pratica clinica
• rilevanza degli esiti
“end- point” scelti
Randomizzazione Randomizzazione
Lo scopo della randomizzazione (assegnazione casuale) è:
1. ottenere due gruppi di pazienti simili per tutti i fattori prognostici noti e non noti
2.eliminare i bias di selezione nella assegnazione dei trattamenti
È
Èla componente piùla componente piùimportante degli RCT!importante degli RCT!
Altman DG et al. The revised CONSORT statement Ann Intern Med 2001;134:663-94
La tabella 1 degli studi riporta le caratteristiche dei due gruppi alla partenza (baseline)
che dovrebbero risultare simili per tutti i principali fattori prognostici (caratteristiche dei pazienti) noti e non noti
Ha funzionato la randomizzazione?
Tabella 1.
Ha funzionato la randomizzazione?
Ha funzionato il trattamento? Ha funzionato il placebo?
RCT: le differenze si valutano
tra gruppi in parallelo Qualità metodologica degli RCT
• Randomizzazione: concealment of randomization
• Cecità: blinding (who is blinded in a double or triple blinded study?)
• Pazienti persi al follow up (<5%)
• Intention to treat analysis e sua applicazione begli studi di superiorità
• Outcomes scelti e loro importanza
• Criteri tra studi (GRADE): coerenza tra studi e trasferibilità complessiva
RCT e interpretazione dei risultati
Bradford Hill.
Textbook of medical statistics
Attenzione ai sottogruppi
Risultati spesso casuali su sottogruppi non specificati a priori
Analisi per sottogruppi:
… per segno zodiacale …
SEGNO ZODIACALE N° DI MORTI DOPO 1 MESE (ASPIRINA VS PLACEBO)
SIGNIFICATIVITÀ STATISTICA
Bilancia o Gemelli 150 vs 147 NS
Tutti gli altri segni 654 vs 869 2P < 0.000001
Qualunque segno zodiacale*
804 vs 1016 (9,4%) (11,8%)
2P < 0.000001
*analisi complessiva appropriata per valutare l’effetto vero in tutti i sottogruppi
ISIS-2. ISIS-2 (Second International Study of Infarct Survival) Collaborative Group.
Randomised trial of intravenous streptokinase, oral aspirin, both, or neither among 17,187 cases of suspected acute myocardial infarction. Lancet. 1988 Aug 13;2(8607):349-60
Consolidated Standards of Reporting Trials
http://www.consort-statement.org/
(CONSORT)
RCT – studi clinici randomizzati Decalogo per una buona trasferibilità
• Ci interessa il quesito (il confronto) proposto?
• Dove e come viene fatto lo studio (setting)
• Quali pazienti inclusi?
• Quanti pazienti esclusi? (cfr. con pz. inclusi)
• Qual è il gruppo di controllo: sono ottimali farmaco e dosaggi scelti/proposti? (standard)
• Sono state rispettate e come le aspettative e
le preferenze dei pazienti 1703 1591 1434 1127 742 383 140
100 80 60 40 20 0 Patients (%)
Months from randomisation
Observation
No.
at risk 1698 1533 1301 930 606 322 114 L’esempio di un farmaco molto efficace:
trastuzumab nel tumore della mammella Disease-free survival (censored)- Median FU 2 yrs
1 year trastuzumab
218 316
Events HR 95% CI p value
0.63 0.53, 0.75 <0.0001 3-year
DFS 80.6 74.0
12 36
0 6 18 24 30
19.4 % Not e ffec tiv e
74 % N ot necessary 6.6 % Necessary & e ffec tiv e
Efficacia del farmaco
sulle recidive
da: Pierfranco Conte, Oncologia, Modena
Intervalli di confidenza CI
margine di non- inferiorità o limite
di equivalenza rilevanza/importanza
dell’effetto
Di che cosa parlerò
l L’ABC del disegno e dell’etica degli studi clinici randomizzati
l Disegno, senso ed etica
l Superiorità, non inferiorità ed equivalenza
l Etica: da Norimberga a Helsinki
l Qualcosa di più dell’ABC
l Etica e consenso: la partecipazione attiva e responsabile
l Qualità degli studi e qualità delle evidenze
l Alcuni specifici disegni: cluster e devices complessi
l Etica della ricerca e delle pubblicazioni: il publication bias e la frode scientifica
Helsinki 2013: i capitoli
• Preambolo
• Principi generali
• Rischi, burdens e benefici
• Gruppi e individui vulnerabili
• Comitati Etici
• Privacy e confidenzialità
• Consenso
• Uso del placebo
• Accordi post-trial
• Registrazione del protocollo e pubblicazione dei risultati
Helsinki: ulteriori riflessioni?
Etica degli studi randomizzati
• Il principio di incertezza assieme alla generosità e disponibilità dei pazienti rappresentano i cardini etici degli studi clinici
• La (in)comprensibilità di alcuni disegni complessi rende difficile (in presenza di trattamenti soddisfacenti) accettare la randomizzazione (partecipare) a trials con nuovi disegni
• La partecipazione e il confronto sono essenziali per favorire una partecipazione attiva e responsabile agli studi e un miglioramento nel disegno degli studi
Di che cosa parlerò
l L’ABC del disegno e dell’etica degli studi clinici randomizzati
l Disegno, senso ed etica
l Superiorità, non inferiorità ed equivalenza
l Etica: da Norimberga a Helsinki
l Qualcosa di più dell’ABC
l Etica e consenso: la partecipazione attiva e responsabile
l Qualità degli studi e qualità delle evidenze
l Alcuni specifici disegni: cluster e devices complessi
l Etica della ricerca e delle pubblicazioni: il publication bias e la frode scientifica
Etica del consenso
1. Come favorire la partecipazione e la consapevolezza
2. Consenso: ruolo e contenuti
essenziali - ricerca vs pratica clinica (il doppio standard)
3. Tendenze e modelli di consenso
Cosa capiscono i pazienti dei trials?
ä 74% non aveva capito quale era il trattamento sperimentale
ä 63% non aveva capito il potenziale rischio aumentato
ä 70% non aveva capito che il trattamento sperimentale non era ancora dimostrato
ä NB: Pochi pazienti hanno trovato la decisione difficile, quasi nessuno si è sentito forzato, la maggior parte era soddisfatta del processo di consenso e la maggior parte era convinta di avere capito bene lo studio
Cosa favorisce una maggiore comprensione?
ä Laurea
ä Uso del modello NCI
ä Presenza di una nurse/terza persona
ä Non firmare il consenso dopo la prima presentazione
ä Lettura prolungata del consenso
False hopes and best data: consent to research and the therapeutic misconcpetion
Appelbaum PS et al.
Hastings Cent Rep 1987;17:20-24 1. Non comprendere che il trattamento che si riceverà potrebbe non essere il trattamento standard
2. La possibilità che vi siano rischi aumentati o non noti (nel gruppo sperimentale)
3. La natura ancora da dimostrare (unproven) del trattamento sperimentale
4. L’incertezza dei benefici per sé (nel gruppo sperimentale)
Consenso: cosa dovrebbe essere detto ai partecipanti a uno studio?
• L’ipotesi e il disegno della ricerca/studio - obiettivi e metodi
• I possibili rischi aggiuntivi rispetto alla normale pratica clinica – e come esprimerli: misure assolute (non relative) o frequenze naturali
… e che fare nel caso si verifichi un danno
• I benefici attesi – e come esprimerli: misure assolute (non relative) o frequenze naturali
• Il diritto di ritirarsi dallo studio (quando si vuole)
• Le alternative terapeutiche disponibili
• Chi contattare per domande e dubbi
Il consenso: due esempi reali
Un buon consenso
Un buon consenso
Un consenso dubbio … e confusivo
Etica del consenso
1. Come favorire la partecipazione e la consapevolezza
2. Consenso: ruolo e contenuti
essenziali - ricerca vs pratica clinica (il doppio standard)
3. Tendenze e modelli di consenso
Come formulare un buon consenso:
gli elementi essenziali
http://www.cancer.gov/
Consenso informato per la ricerca:
i limiti attuali (1)
• I moduli di consenso informato presentano TROPPE informazioni, tra le quali si nascondono anche elementi importanti per il paziente (concetto di randomizzazione, presenza di placebo, le alternative disponibili, l’entità della risposta o dei benefici attesi, etc.)
• Gli attuali (lunghissimi) moduli di consenso sono uno strumento di cautela giuridica, più che un utile strumento informativo
• Uso spesso improprio di termini fuorvianti (ad es. il farmaco sperimentale – o addirittura il placebo - viene chiamato semplicamente “trattamento”)
Di che cosa parlerò
l L’ABC del disegno e dell’etica degli studi clinici randomizzati
l Disegno, senso ed etica
l Superiorità, non inferiorità ed equivalenza
l Etica: da Norimberga a Helsinki
l Qualcosa di più dell’ABC
l Etica e consenso: la partecipazione attiva e responsabile
l Qualità degli studi e qualità delle evidenze
l Alcuni specifici disegni: cluster e devices complessi
l Etica della ricerca e delle pubblicazioni: il publication bias e la frode scientifica
Il publication bias
A tendency toward preparation, submission and publication of research findings, based on the nature and direction of the results
Kay Dickersin
Il caso dei farmaci per la demenza
Wilcock G et al. Drugs Aging 2003;20:777-89
Wilcock G et al. Drugs Aging 2003;20:777-89 Jones RW et al. Int J Geriatr Psychiatry 2004;19:58-67
Jones RW et al. Int J Geriatr Psychiatry 2004;19:58-67
Il (brutto) caso degli
antidepressivi
NEJM, 2008
Antidepressivi: non si pubblicano gli studi negativi
88
Il (bruttissimo) caso della gabapentina
89
NEJM 12 November 2009
90
Cambiare gli outcomes degli studi
91
• Reporting biases such as those we describe here increase the likelihood that interventions will appear to be effective when they are not.
• Such biases can lead to the omission of negative findings in systematic reviews of intervention effectiveness and in evidence-based guidelines.
• For example, the 2005 Cochrane systematic review regarding the effectiveness of gabapentin for acute and chronic pain concluded that it is effective on the basis of published findings and should now be updated with the inclusion of unpublished information made available through litigation.
Cambiare gli outcomes degli studi significa cambiare i risultati
92
Presentazione e comunicazione dei risultati degli studi
93 94
Studi e comunicazione dei risultati
Steering Committee of the Physicians' Health Study Research Group.
N Engl J Med 1989;321:129-35
Lettere d’invito 261.248
Rispondono 112.528
Disponibili a
partecipare 59.285
Fase di “run-in” 33.023
Randomizzazione 22.071
ASA 11.037 Placebo 11.034 Esclusi 26.062
Esclusi 11.152 Physicians’ health study
Mortalità cv attesa:
733 morti osservata: 164
Aspirina a bassa dose in prevenzione primaria
Benefici
• 100 infarti in meno
• 10 morti in meno
Rischi
• 1000 persone anno che assumono aspirina
• 21 ictus
• 31 ulcere peptiche
• 731 sanguinamenti
Physicians’ health study L’aspirina a bassa dose (365 a giorni alterni) in prevenzione primaria (soggetti sani) mostra benefici limitati e rischi/effetti indesiderati di entità simile.
Ciò ha prodotto un iniziale entusiasmo in Usa e sostanziali dubbi in Europa.
Benefici dell’ASA in prevenzione primaria cardiovascolare
• ITT
• Sottogruppi
• Lost to follow up
• …
• Criteri GRADE
Altri RCTs per altre esigenze
• Cluster trials
• BMJ devereaux/Guyatt – expertise based RCT
• Lancet 2009;374:1105-12- surgical innovation
• N of 1
