1
Revisioni sistematiche
Dott.ssa Domenica Gazineo Centro Studi EBN
Azienda Ospedaliero-Universitaria Policlinico S. Orsola Malpighi di Bologna
domenica.gazineo@aosp.bo.it
2
Strategie di sostenibilità
Non tutti devono sapere fare
tutto!
3 Registri
Linee guida cliniche/ Testi Evidence Based Abstract di riviste EB Revisioni sistematiche
Cochrane Library Abstract di riviste EB
Articoli originali Clinical queries Medline
Di Censo A, 2007. Adattato da Haynes, 2001
Gerarchia delle evidenze pre-
processate
4
Sistemi informatizzati che supportano la decisione del professionista
rendendo immediatamente disponibile l’integrazione e l’estrema sintesi, di tutte le evidenze importanti,
relative ad un tema clinico.
Sistemi
5
http://ebn.bmj.com/
Valutazione critica e sintesi di una revisione
sistematica
Sinossi di sintesi
6
Sintesi:
Revisione sistematica
• Studio secondario che individua, valuta e sintetizza i dati di studi scientifici, allo
scopo di offrire risposte esaurienti a quesiti della ricerca scientifica e della pratica
clinica.
7
Strumenti per facilitare il decision making
• Revisioni sistematiche
• Linee guida
Strumenti di letteratura
secondaria
8
REVIEWS
Hanno lo scopo di rendere più
“maneggevole” una enorme
quantità di informazioni.
9
REVIEWS
• REVISIONI TRADIZIONALI
• REVISIONI SISTEMATICHE
10
REVISIONE TRADIZIONALE
• Paragonabile al capitolo di un libro;
• Non esplicitato il metodo di selezione, sintesi e interpretazione delle evidenze;
• Impossibilità di fare una valutazione critica
• Obiettivi molto ampi;
• Spesso fatte su commissione.
11
REVISIONE SISTEMATICA
• E’ una ricerca scientifica vera e propria;
• Esplicitato il protocollo metodologico;
• Possibilità di fare una valutazione critica (definizione di obiettivi, fonti, criteri…)
• Sintesi dei risultati spesso fatta con
metodo meta analitico.
12
Revisione sistematica Systematic review
• E’ uno strumento capace di risolvere alcuni
problemi legati alla ricerca e alla interpretazione delle migliori evidenze
• Ha un ruolo sempre crescente per la pratica
clinica, per la formazione permanente, per le
decisioni di politica sanitaria
13
14
Fasi delle revisioni sistematiche
• Identificazione di un problema clinico;
• Sviluppo di un protocollo di revisione;
• Localizzazione degli studi;
• Selezione degli studi rilevanti;
• Valutazione della qualità delle ricerche;
• Raccolta dei dati dagli studi individuali;
• Sintesi e riassunto dei risultati degli studi;
• Documentazione del metodo nel report della
revisione.
15
Componenti essenziali del protocollo delle RS
• Definizione del quesito;
• Strategia di ricerca;
• Definizione dei criteri di inclusione/esclusione;
• Valutazione qualità degli studi;
• Estrapolazione dei dati;
• Analisi dei dati.
16
QUESITO
• E’ un momento fondamentale del
processo di una revisione sistematica.
• Deve definire i partecipanti, gli interventi da valutare, gli esiti da misurare.
• Quesiti poco chiari e troppo generici
portano a revisioni di qualità scadente.
17
Esempio
• Come trattare i pazienti con infarto del miocardio? (quesito troppo generico)
Costruiamo il (PICO) P:
I:
C:
O:
18
19
Definizione dei criteri di inclusione dei singoli studi
• Devono essere sempre definiti prima di iniziare la ricerca degli studi in letteratura
• Devono riflettere direttamente il quesito della ricerca (partecipanti, interventi, risultati)
• Devono indicare i tipi che di studio
verranno selezionati
20
Definizione dei criteri di inclusione dei singoli studi
1.Tipologia degli studi (es. trial randomizzati e controllati VS Trial non randomizzati)
2. Qualità metodologica degli studi 3. Tipologia del trattamento
4.Tipologia dei pazienti e delle patologie 5. Tipologia dell’”outcome”
6.Lunghezza del follow-up
7. Altro
21
22
Elementi della strategia di ricerca
• Database
• Ricerca manuale
• Ricerca bibliografica
• Contatti con i ricercatori
• Ricerca di letteratura non pubblicata
23
24
Bias correlati alla strategia di ricerca
• Una strategia della ricerca completa serve a prevenire alcuni bias:
– Pubblication bias – bias di pubblicazione – Time lag bias – bias temporale
– Language bias – bias linguistico
25
Bias correlati alla strategia di ricerca
• PUBLICATION BIAS: gli studi positivi tendono ad essere pubblicati più velocemente e ad essere citati più spesso all’interno di altri studi;
• TIME LAG BIAS: gli studi con risultati negativi tendono ad essere pubblicati con maggiore ritardo.
• LANGUAGE BIAS: gli studi con risultati positivi
vengono pubblicati in lingua inglese;
26
Funnel Plot
• Tecnica grafica utilizzata per valutare la possibilità di publication bias in una
revisione sistematica.
27
28
Funnel Plot
• In assenza di bias di pubblicazione, il grafico assume la forma di un imbuto in cui la parte più larga si apre verso il
basso e l’estremità superiore è rivolta verso l’alto.
• Se c’è un bias di pubblicazione l’angolo di sinistra della parte dell’imbuto
risulterà distorta o non presente.
(Di Censo, Guyatt, Ciliska, 2005)
29
Funnel plot
• funnel plot privo di bias
• funnel plot con bias
30
Funnel plot
• Recentemente questo strumento è stato messo in discussione, per la grande
sensibilità e la scarsa specificità.
• Ossia se il funnel plot non rileva bias è
probabile che non ci sia, ma se lo rileva
non è detto che questo ci sia realmente.
31
VALUTAZIONE QUALITA’
DEGLI STUDI
• Una RS di buona qualità dipende soprattutto dalla qualità degli studi inclusi;
• La valutazione dello studio deve verificare se la realizzazione del disegno e la sua conduzione abbiano minimizzato il rischio di bias;
• Esistono numerosi strumenti per effettuare una valutazione critica;
• Va definito il metodo usato per la valutazione e
per l’analisi delle informazioni per farli conoscere
ai fruitori della RS.
32
33
Estrapolazione dei dati
• Definizione dei risultati importanti per le proprie necessità.
• Estrapolare i dati nel modo più accurato
possibile, tale che siano di facile utilizzo quando si affronta l’analisi dei dati stessi.
• Creare uno strumento (es. una griglia) dove
registrare le informazioni che servono, relative
ad ogni studio incluso nella RS.
34
35
36
Sintesi dei dati
• Per un buon livello qualitativo, l’analisi dei dati va definita nel protocollo della RS;
• Lo scopo è quello di sintetizzare i risultati dei singoli studi in modo da fornire un esito
complessivo rispetto al quesito della revisione;
• In questa fase se si riscontrano delle incoerenze
gli autori possono indagarne le cause.
37
Sintesi dei dati
• I dati di una revisione si possono analizzare in modi differenti:
- se quantitativi si prestano al metodo statistico della meta-analisi,
- se qualitativi possono essere presentati in forma narrativa;
• In entrambi i casi è opportuno definire a priori la
metodologia che si intende seguire.
38
39
Documentazione dei risultati
• I metodi di revisione sono chiaramente documentati?
• Il quesito della revisione è stato stabilito in modo chiaro ed esplicito?
• Sono state riportate le strategie di ricerca?
• Sono stati riportati i criteri di inclusione?
• Sono stati riportati i criteri di valutazione degli studi?
• Sono stati riportati i metodi usati per aggregare
gli studi?
40
Conclusioni e raccomandazioni
• È fornito un riassunto dei risultati?
• Sono proposte specifiche direttive per nuove ricerche?
• Le conclusioni sono supportate dai dati?
41
Meta-analisi
42
Definizione
• La meta-analisi è un metodo statistico
utilizzato per combinare i risultati di più
studi indipendenti; che trattano lo stesso
argomento, in modo da poter calcolare un
valore statistico riassuntivo totale.
43
Che valore aggiunto dà ad una RS?
• Per aumentare il potere;
• Per aumentare la precisione nella stima dei risultati;
• Per rispondere a domande non poste dai singoli studi;
• Per chiarire controversie derivanti da singoli studi;
• per generare nuove ipotesi.
44
Quando non è opportuna la presenza di meta-analisi?
• Gli studi sono clinicamente molto diversi;
ciò avviene se gli interventi e i loro
comparatori, o gli outcome misurati sono diversi.
• Se gli studi sono di scarsa qualità metodologica.
• Se la revisione della letteratura non ha
eliminato il pubblication bias.
45
FOREST PLOT
(BLOBBOGRAMMA)
46
antibioticoprofilassi versus placebo come
misura di efficacia sulle infezioni neonatali nella rottura prematura pretermine
delle membrane ovulari
La linea verticale indica il punto di pari efficacia fra i
trattamenti a confronto (odds
ratio = 1).
Le linee orizzontali rappresentano l’intervallo di confidenza per ogni singolo studio.
Il diamante rappresenta il risultato cumulativo della metanalisi; l'intervallo di confidenza, più ristretto di quello dei singoli studi, indica un minore grado di imprecisione: in questo caso, l'impiego profilattico di antibiotici riduce la frequenza di infezioni neonatali, una conclusione che non è possibile trarre dalla maggior parte degli studi, considerati singolarmente.
Eventi/casi studiati
Il punto centrale rappresenta la stima puntuale dell’odds ratio (il suo spessore è direttamente proporzionale al numero di pazienti nello studio).
47
48
49
50
51
Eterogeneità
• L’assunto di una RS, focalizzata su una specifica domanda clinica, è che l’effetto dell’intervento sia più o meno lo stesso per i pazienti, gli interventi e gli outcome negli studi inclusi nella revisione.
• Occorre definire se gli studi sono
sufficientemente omogenei da legittimare
l’aggregazione dei loro risultati.
52
3 tipi di eterogeneità
• Diversità clinica (PICO)
• Diversità metodologica (M)
• Eterogeneità statistica (o semplicemente
eterogeneità): è la conseguenza delle
prime 2.
53
Come si misura l’eterogeneità
• La decisione rispetto all’eterogeneità si prende sulla base dei seguenti aspetti:
– Scostamenti tra le stime puntuali degli effetti dei diversi studi.
– Sovrapposizione degli intervalli di confidenza.
– Valore del test statistico di eterogeneità.
54
• chi quadro
• p value: ci dice se la differenza tra le popolazioni di riferimento è reale o casuale? Se p > 0,05 non c’è eterogeneità;
• Inconsistenza: I ² descrive la percentuale della variabilità (variabilità campionaria).
• I2 <25% bassa eterogeneità
• I2 <50% eterogeneità moderata
• I2 >50% elevata eterogeneità
(Higgins JPT et al. BMJ 2003;327:557-60)
Test statistici di eterogeneit
Test statistici di eterogeneità à
55
C’è sospetto di eterogeneità
• Esame visivo del forest plot
• Chi2
• P-value
• I2
• Gli IC dei singoli studi non si sovrappongono
• il Chi2 > al valore di df
• < 0.05 oppure 0.10
• Alto > 50%
56
Test statistici di eterogeneità
• Chi quadro
• P value
– Essi hanno uno scarsa capacità di individuare l’eterogeneità in presenza di piccoli campioni o di pochi studi; di contro in presenza di
grandi o di molti studi possono rilevare la
presenza di eterogeneità anche se questa
non è clinicamente rilevante.
57
Eterogeneit
Eterogeneit à à non presente non presente
58
Eterogeneità non presente
59
Eterogeneità non presente
60
12
Q=0.94; P=0.92; I2=0%
Q=13.21; P=0.02; I2=62.2%
Eterogeneit
Eterogeneit à à non presente non presente
Eterogeneit
Eterogeneit à à presente presente
De Berardis et al. BMJ 2009;339:b4531
61
Eterogeneit
Eterogeneit à à presente presente
62
Eterogeneità presente
63
Cosa fare se c’è eterogeneità
• Se le stime puntuali sono lontane,
il valore di p < 0.05 oppure p < 0.10, I
2>50%
significa che la variabilità che si osserva tra gli studi non è spiegabile solo attraverso il caso, ma è imputabile a differenze reali tra gli studi (la
meta-analisi non è “appropriata”).
• Come utilizzatori delle evidenze scientifiche, non è opportuno utilizzare i risultati di una meta-
analisi che dimostra eterogeneità per guidare le
scelte di pratica clinica.
64
Ricerca delle revisioni sistematiche
Cochrane Library
http://www.cochrane.org/index.htm Joanna Briggs Institute
http://www.joannabriggs.edu.au/about/hom
e.php
65 Grazie per l’attenzione!!
Domenica Gazineo
domenica.gazineo@aosp.bo.it
