Revisioni sistematiche
Dott.ssa Domenica Gazineo Centro Studi EBN
Azienda Ospedaliero-Universitaria Policlinico S. Orsola Malpighi di Bologna
Strategie di sostenibilità
Non tutti devono sapere fare tutto!
Piramide di studi primari
Registri Linee guida cliniche/ Testi
Evidence Based Abstract di riviste EB Revisioni sistematiche Cochrane Library
Abstract di riviste EB
Articoli originali Clinical queries Medline
Di Censo A, 2007. Adattato da Haynes, 2001
Gerarchia delle evidenze pre- processate
Sistemi informatizzati che supportano la decisione del professionista rendendo immediatamente disponibile l’integrazione e l’estrema sintesi, di tutte le evidenze importanti, relative ad un tema clinico.
Sistemi
http://ebn.bmj.com/
Valutazione critica e sintesi di una revisione
sistematica
Sinossi di sintesi
Sintesi:
Revisione sistematica
• Studio secondario che individua, valuta e sintetizza i dati di studi scientifici, allo scopo di offrire risposte esaurienti a quesiti della ricerca scientifica e della pratica clinica.
http://ebn.bmj.com/
Articolo originale
Strumenti per facilitare il decision making
• Revisioni sistematiche
• Linee guida
Strumenti di letteratura secondaria
REVIEWS
Hanno lo scopo di rendere più
“maneggevole” una enorme quantità di informazioni.
REVIEWS
• REVISIONI TRADIZIONALI
• REVISIONI SISTEMATICHE
REVISIONE TRADIZIONALE
• Paragonabile al capitolo di un libro;
• Non esplicitato il metodo di selezione, sintesi e interpretazione delle evidenze;
• Impossibilità di fare una valutazione critica
• Obiettivi molto ampi;
• Spesso fatte su commissione.
REVISIONE SISTEMATICA
• E’ una ricerca scientifica vera e propria;
• Esplicitato il protocollo metodologico;
• Possibilità di fare una valutazione critica (definizione di obiettivi, fonti, criteri…)
• Sintesi dei risultati spesso fatta con metodo meta analitico.
Revisione sistematica Systematic review
• E’ uno strumento capace di risolvere alcuni problemi legati alla ricerca e alla interpretazione delle migliori evidenze
• Ha un ruolo sempre crescente per la pratica
clinica, per la formazione permanente, per le
decisioni di politica sanitaria
Fasi delle revisioni sistematiche
• Identificazione di un problema clinico;
• Sviluppo di un protocollo di revisione;
• Localizzazione degli studi;
• Selezione degli studi rilevanti;
• Valutazione della qualità delle ricerche;
• Raccolta dei dati dagli studi individuali;
• Sintesi e riassunto dei risultati degli studi;
• Documentazione del metodo nel report della revisione.
Componenti essenziali del protocollo delle RS
• Definizione del quesito;
• Strategia di ricerca;
• Definizione dei criteri di inclusione/esclusione;
• Valutazione qualità degli studi;
• Estrapolazione dei dati;
• Analisi dei dati.
QUESITO
• E’ un momento fondamentale del processo di una revisione sistematica.
• Deve definire i partecipanti, gli interventi da valutare, gli esiti da misurare.
• Quesiti poco chiari e troppo generici portano a revisioni di qualità scadente.
Definizione dei criteri di inclusione e di esclusione
• Devono essere sempre definiti prima di iniziare la ricerca degli studi in letteratura
• Devono riflettere direttamente il quesito della ricerca (partecipanti, interventi, risultati)
• Devono indicare i tipi che di studio
verranno selezionati
Elementi della strategia di ricerca
• Database
• Ricerca manuale
• Ricerca bibliografica
• Contatti con i ricercatori
• Ricerca di letteratura non pubblicata
Bias correlati alla strategia di ricerca
• Una strategia della ricerca completa serve a prevenire alcuni bias:
– Pubblication bias – bias di pubblicazione – Time lag bias – bias temporale
– Language bias – bias linguistico
Bias correlati alla strategia di ricerca
• PUBLICATION BIAS: gli studi positivi tendono ad essere pubblicati più volte e ad essere citati più spesso all’interno di altri studi;
• TIME LAG BIAS: gli studi con risultati positivi vengono pubblicati in tempi più brevi.
• LANGUAGE BIAS: gli studi con risultati positivi vengono pubblicati in lingua inglese;
Funnel Plot
• Tecnica grafica utilizzata per valutare la
possibilità di publication bias in una
revisione sistematica.
Funnel plot
• funnel plot privo di bias
• funnel plot con bias
Funnel plot
• Recentemente questo strumento è stato messo in discussione, per la grande sensibilità e la scarsa specificità.
• Ossia se il funnel plot non rileva bias è probabile che non ci sia, ma se lo rileva non è detto che questo ci sia realmente.
VALUTAZIONE QUALITA’
DEGLI STUDI
• Una RS di buona qualità dipende soprattutto dalla qualità degli studi inclusi;
• La valutazione dello studio deve verificare se la realizzazione del disegno e la sua conduzione abbiano minimizzato il rischio di bias;
• Esistono numerosi strumenti per effettuare una valutazione critica;
• Va definito il metodo usato per la valutazione e per l’analisi delle informazioni per farli conoscere ai fruitori della RS.
Estrapolazione dei dati
• Definizione dei risultati importanti per le proprie necessità.
• Estrapolare i dati nel modo più accurato possibile, tale che siano di facile utilizzo quando si affronta l’analisi dei dati stessi.
• Creare uno strumento (es. una griglia) dove
registrare le informazioni che servono, relative
ad ogni studio incluso nella RS.
Sintesi dei dati
• Per un buon livello qualitativo, l’analisi dei dati va definita nel protocollo della RS;
• Lo scopo è quello di sintetizzare i risultati dei singoli studi in modo da fornire un esito complessivo rispetto al quesito della revisione;
• In questa fase se si riscontrano delle incoerenze gli autori possono indagarne le cause.
Sintesi dei dati
• I dati di una revisione si possono analizzare in modi differenti:
- se quantitativi si prestano al metodo statistico della meta-analisi,
- se qualitativi possono essere presentati in forma narrativa;
• In entrambi i casi è opportuno definire a priori la metodologia che si intende seguire.
Meta-analisi
Definizione
• Meta-analisi – Metodo per combinare i risultati di più studi indipendenti in modo da poter calcolare un valore statistico riassuntivo totale;
• LA MA QUINDI TRASFORMA I RISULTI DEI SINGOLI STUDI IN UN UNICO RISULTATO COMPLESSIVO MEDIANTE UNA ELABORAZIONE STATISTICA.
Che valore aggiunto dà ad una RS?
• Per aumentare il potere;
• Per aumentare la precisione nella stima dei risultati;
• Per rispondere a domande non poste dai singoli studi;
• Per chiarire controversie derivanti da singoli studi;
• per generare nuove ipotesi.
Quando non è opportuna la presenza di meta-analisi?
• Gli studi sono clinicamente molto diversi;
ciò avviene se gli interventi e i loro comparatori, o gli outcome misurati sono diversi.
• Se gli studi sono di scarsa qualità metodologica.
• Se la revisione della letteratura non ha eliminato il pubblication bias.
FOREST PLOT (BLOBBOGRAMMA)
antibioticoprofilassi versus placebo come
misura di efficacia sulle infezioni neonatali nella rottura prematura pretermine delle membrane
ovulari
La linea verticale indica il punto di pari efficacia fra i trattamenti a confronto (odds
ratio = 1).
Le linee orizzontali rappresentano l’intervallo di confidenza per ogni singolo studio.
Il diamante rappresenta il risultato cumulativo della metanalisi; l'intervallo di confidenza, più ristretto di quello dei singoli studi, indica un minore
Eventi/casi studiati
Il punto centrale rappresenta
la stima puntuale dell’odds
ratio (il suo spessore è
direttamente proporzionale al
numero di pazienti nello
studio).
Eterogeneità
• L’assunto di una RS, focalizzata su una specifica domanda clinica, è che l’effetto dell’intervento sia più o meno lo stesso per i pazienti, gli interventi e gli outcome negli studi inclusi nella revisione.
• Occorre definire se gli studi sono sufficientemente omogenei da legittimare l’aggregazione dei loro risultati.
3 tipi di eterogeneità
• Diversità clinica (PICO)
• Diversità metodologica (M)
• Eterogeneità statistica (o semplicemente
eterogeneità): è la conseguenza delle
prime 2.
Come si misura l’eterogeneità
• La decisione rispetto all’eterogeneità si prende sulla base dei seguenti aspetti:
– Scostamenti tra le stime puntuali degli effetti dei diversi studi.
– Sovrapposizione degli intervalli di confidenza.
– Valore del test statistico di eterogeneità.
• chi quadro
• p value: la differenza tra le popolazioni di riferimento è reale o casuale? Se p > 0,05 non c’è eterogeneità (differenza casuale), se < 0,05 c’è eterogeneità (differenza reale)
• Inconsistenza: I² descrive la percentuale della variabilità dell’effetto della stima che è riferibile alla eterogeneità piuttosto che al caso (variabilità campionaria).
• I2 <25% bassa eterogeneità
• I2 <50% eterogeneità moderata
• I2 >50% elevata eterogeneità
(Higgins JPT et al. BMJ 2003;327:557-60)
Test statistici di eterogeneit Test statistici di eterogeneità à
C’è sospetto di eterogeneità
• Esame visivo del forest plot
• Chi2
• P-value
• I2
• Gli IC dei singoli studi non si sovrappongono
• il Chi2> al valore di df
• < 0.05 oppure 0.10
• Alto > 50%
Test statistici di eterogeneità
• Chi quadro
• P value
– Essi hanno uno scarsa capacità di individuare l’eterogeneità in presenza di piccoli campioni o di pochi studi; di contro in presenza di grandi o di molti studi possono rilevare la presenza di eterogeneità anche se questa non è clinicamente rilevante.
Eterogeneit
Eterogeneità à non presente non presente Eterogeneità non presente
Eterogeneità non presente
12 Q=0.94; P=0.92; I2=0%
Q=13.21; P=0.02; I2=62.2%
Eterogeneit
Eterogeneità à non presente non presente
Eterogeneit
Eterogeneità à presente presente
De Berardis et al. BMJ 2009;339:b4531
