1
Reporting bias
Vittorio Basevi e Nicola Magrini Master EBP e Metodologia della ricerca clinico-assistenziale Etica della ricerca clinica e delle pubblicazioni scientifiche
28.02.2014
2
Contenuto della presentazione - publication bias
- selective outcomes reporting bias - soluzione del problema
3 4
Reporting bias
Sterne JAC et al (eds). Cochrane Handbook V 5.1.0 [updated March 2011]
Publication bias
5
is the tendency on the parts of investigators, reviewers, and editors to submit or accept manuscripts for publication based on the direction or strength of the study findings -Kay Dickersin
Dickersin K. JAMA 1990;263:1385-9 6
Dalla ricerca alla pubblicazione
Dwan K et al. PLoS ONE 2008;3:e3081
7 Sterne JAC et al. Cochrane Handbook V 5.1.0 [updated March 2011]
OR: 3.90 [IC 95%:
2.68, 5.68 ]
Da abstract a pubblicazione integrale
8
risultati positivi vs non positivi RR: 1.28 [IC 95%:
1.15, 1.42 ]
Scherer RW et al. Cochrane Database Syst Rev 2007;2:MR000005
9
Trials supporting new drugs, 1998-2000
Lee K et al. PLoS Med 2008;5:e191
studi pubblicati:
66% degli studi con risultati statisticamente significativi
36% degli studi con risultati statisticamente non significativi
10 von Elm E et al. Swiss Med Wkly 2008;138:197-203
Dal protocollo alla pubblicazione
risultati significativi vs non significativi OR: 2.6 [IC 95%:
2.0, 3.4]
11
Reboxetine vs placebo
Eyding D et al. BMJ 2010;341:c4737 12 Eyding D et al. BMJ 2010;341:c4737
Reboxetine vs placebo
13 Turner EH et al. N Engl J Med 2008;358:252-60
Studi su 12 antidepressivi
studies of 12 antidepressant agents involving 12,564 patients
14
Il bias modifica l’effect-size
Stima dell’efficacia basata sugli studi pubblicati: superiore a quella basata su tutti i dati raccolti in FDA.
Turner EH et al. N Engl J Med 2008;358:252-60
Per l’intera classe di farmaci, la stima dell’efficacia è aumentata di 32%.
15
Risultati e conclusioni in metanalisi
Yank V et al. BMJ 2007;335:1202-5
37% degli studi finanziati dall’industria: mancata concordanza fra risultati e conclusioni
16 Barr E et al. Am J Obstet Gynecol 2008;198:261.e1-e11
17
CIN1+ da tutti i tipi, North America, ITT
Barr E et al. Am J Obstet Gynecol 2008;198:261.e1-e11
bData are given as percent reduction (95% CI)
18
Conclusione 1
- studi positivi hanno una maggiore probabilità di essere pubblicati di studi negativi
- studi con risultati statisticamente significativi hanno una maggiore probabilità di essere pubblicati di studi con risultati statisticamente non significativi
- negli studi pubblicati, le conclusioni possono essere non essere coerenti con i risultati
19
Contenuto della presentazione - publication bias
- selective outcomes reporting bias - soluzione del problema
Outcome reporting bias
The selective reporting of some outcomes but not others, depending on the nature and direction of the results
20 Sterne JAC et al (eds). Cochrane Handbook V 5.1.0 [updated March 2011]
21
Bias nel reporting di RCT
Chan A-W et al. JAMA 2004;291:2457-65
coorte di RCT approvati da comitati etici danesi, 1994-95
22 Chan A-W et al. JAMA 2004;291:2457-65
non riportati integralmente (102 RCT):
- 50% degli esiti di efficacia (benefici)
- 65% degli esiti avversi (danni)
23
Esempi di discrepanze
Chan A-W et al. JAMA 2004;291:2457-65 24 Chan A-W et al. JAMA 2004;291:2457-65
25 Chan A-W et al. CMAJ 2004;171:735-40
risultati significativi vs non significativi OR: 2.7 [IC 95%:
1.5, 5.0]
Outcome in registri vs pubblicazioni
26 Wieseler B et al. PLoS Med 2013;10:e1001526
sample of 86 trials with full CSRs received for 16 HTAs of drugs by IQWiG, 15.01.06-14.02.11
non disponibili pubblicamente:
86% degli outcome di beneficio 88% degli outcome di danno
27
Conclusione 2
pubblicazione selettiva degli esiti più favorevoli
sia quando il finanziatore è privato sia quando è pubblico
28
Contenuto della presentazione - publication bias
- selective outcomes reporting bias - (tentativi di) soluzione del problema
29
La soluzione al reporting bias
De Angelis C et al. Ann Intern Med 2004;141:477-8 30
ICMJE settembre 2004
De Angelis C et al. Ann Intern Med 2004;141:477-8
31 www.who.int/ictrp/en/ 32 Abaid LN. Obstet Gynecol 2007;109:1434–7
33
WHO ICTRP
The WHO ICTRP is not a clinical trials registry (you cannot register a trial with WHO) To meet the requirements of ICMJE you can
register your trial with any WHO Primary Registry or an ICMJE approved registry To meet WHO requirements for transparency
and publication, it is only necessary for your trial to be registered once, in either a WHO Primary Registry or an ICMJE approved registry
www.who.int/ictrp/en/ 34 Viergever RF et al. PLoS ONE 2014;9:e84727
≈52%
Trial registrati >1999 e pubblicati ≤2007
35 Ross JS et al. PLoS Med 2009;6:e1000144 36
Publication bias nei trial registrati
10% random subsample of completed trials registered in the ClinicalTrials.gov database after 31.12.99 and updated as having been completed by 08.06.07
Ross JS et al. PLoS Med 2009;6:e1000144.
Publication bias:
54%
(industria 60%)
37
585 registered trials, 171 (29%; n = 299.763) unpublished
non-publication more common among trials that received industry funding (150/468, 32%) than those that did not (21/117, 18%), p=0.003 133/171 unpublished trials (78%) had no results available in ClinicalTrials.gov.
Jones CW et al. BMJ 2013;347:f6104
Publication bias nei trial ≥500 partecipanti Outcome reporting bias nei trial registrati
38 Mathieu S et al. JAMA 2009;302:977-84
selective outcomes reporting: 31.3%
39
modifiche in 152 RCT:
target sample size 118 (77.6%)
primary outcome 59 (38.8%)
Huic M et al. PLoS ONE 2011;6:e25258
Outcome reporting bias nei trial registrati Conclusione 3
- I registri costituiscono un passo in avanti, ma c’è ancora molta strada da fare
40
41 http://www.alltrials.net/
- BMJ, Centre for E-bM, Cochrane Collaboration, James Lind Initiative, PLoS
- 1. Dati relativi alla registrazione del trial 2. Sintesi dei risultati del trial
3. Dati completi su metodi e risultati del trial 4. Dati dei singoli pazienti
registrare tutti i trial pregressi e attuali riportandone
integralmente metodi e risultati
