Revisioni sistematiche

Revisioni sistematiche

Dott.ssa Domenica Gazineo

Azienda Ospedaliero-Universitaria Policlinico S. Orsola Malpighi di Bologna

Strategie di sostenibilità

Non tutti devono sapere fare

tutto!

Piramide di studi primari

Registri

Linee guida cliniche/ Testi Evidence Based Abstract di riviste EB Revisioni sistematiche

Cochrane Library Abstract di riviste EB

Articoli originali Clinical queries Medline

Di Censo A, 2007. Adattato da Haynes, 2001

Gerarchia delle evidenze pre-processate

Sistemi informatizzati che supportano la decisione del professionista

rendendo immediatamente disponibile l’integrazione e l’estrema sintesi, di tutte le evidenze importanti,

relative ad un tema clinico.

Sistemi

SOMMARI

L.G. = raccolta di raccomandazioni fatto con determinati criteri.

Deve fornire la forza della raccomandazione e il livello di evidenza.

La L.G. contiene molte raccomandazioni su un tema ( es. pz con ictus troviamo eziologia, trattamento, prognosi ecc….) quindi con un unico documento rispondo a più quesiti.

http://ebn.bmj.com/

Valutazione critica e sintesi di una revisione

sistematica

Sinossi di sintesi

SINTESI

Livello inferiore alla L.G.

Affronta un singolo problema ( es. pz con ictus è meglio la riabilitazione precoce o no?)

Estrazione di una sola evidenza/ risposta ad una sola domanda

Chochrane e J.B.istitut

ABSTRACT COMMENTATI DI SINGOLI STUDI

ARTICOLI ORIGINALE

Sintesi:

Revisione sistematica

• Studio secondario che individua, valuta e

sintetizza i dati di studi scientifici, allo scopo di offrire risposte esaurienti a quesiti della ricerca scientifica e della pratica clinica.

Sintesi R.S.

http://ebn.bmj.com/

Sinossi di singoli studi

Articolo originale

Strumenti per facilitare il decision making

• Revisioni sistematiche

• Linee guida

Strumenti di letteratura secondaria

REVIEWS

Hanno lo scopo di rendere più

“maneggevole” una enorme

quantità di informazioni.

REVIEWS

• REVISIONI TRADIZIONALI

• REVISIONI SISTEMATICHE

REVISIONE TRADIZIONALE

• Paragonabile al capitolo di un libro

• Non esplicitato il metodo di selezione, sintesi e interpretazione delle evidenze

• Impossibilità di fare una valutazione critica

• Obiettivi molto ampi

• Spesso fatte su commissione

REVISIONE SISTEMATICA

• E’ una ricerca scientifica vera e propria

• Esplicitato il protocollo metodologico

• Possibilità di fare una valutazione critica (definizione di obiettivi, fonti, criteri…)

• Sintesi dei risultati spesso fatta con metodo meta analitico

Confronto tra RS e RN

Di solito basate sull’evidenza Qualche volta

basate

sull’evidenza Inferenze

Può essere

“systematic Review o metanalysis”

Qualitativa Sintesi

Rigorosa Variabile

Valutazione

Criteri pre-specificati Non specificata

(bias) Selezione

Esplicita e comprensiva Di solito non

specificata (bias) Ricerca e fonti

Ristretto Vasto

Quesito

R. sistematica R. narrativa

Caratteristica

Revisione sistematica Systematic review

• Individua, valuta e sintetizza i dati di studi scientifici, allo scopo di offrire risposte

esaurienti, basate su dati empirici, a quesiti della ricerca scientifica

Revisione sistematica Systematic review

• E’ uno strumento capace di risolvere alcuni

problemi legati alla ricerca e alla interpretazione delle migliori evidenze

• Ha un ruolo sempre crescente per la pratica clinica, per la formazione permanente, per le decisioni di politica sanitaria

Fasi delle revisioni sistematiche

• Identificazione di un problema clinico

• Sviluppo di un protocollo di revisione

• Localizzazione degli studi (banche dati)

• Selezione degli studi rilevanti (che tipologia di studio RCT…..)

• Valutazione della qualità delle ricerche

• Raccolta dei dati dagli studi individuali

• Sintesi e riassunto dei risultati degli studi

• Documentazione del metodo nel report della revisione

Componenti essenziali del protocollo delle RS

• Definizione del quesito

• Strategia di ricerca(dove vogliamo cercare, in che banche dati, con quale parole chiave ecc…)

• Definizione dei criteri di inclusione/esclusione

• Valutazione qualità degli studi (griglia)

• Estrapolazione dei dati (meta-analisi)

• Analisi dei dati (come li analizzeremo???)

Quesito

• È dichiarato l’obiettivo specifico della

revisione? Il quesito di revisione è definito chiaramente ed in modo esplicito?

26

Quesito

• E’ un momento fondamentale del processo di una revisione sistematica. Deve essere il più specifico possibile.

• Deve definire i partecipanti, gli interventi da valutare, gli esiti da misurare.

• Quesiti poco chiari e troppo generici portano a revisioni di qualità scadente.

Strategia della ricerca

• Sono stati usati metodi completi di ricerca per individuare gli studi? È stata fatta una ricerca completa dei database appropriati sono state esplorate le altre fonti potenzialmente

importanti?

Elementi della strategia di ricerca

• Database

• Ricerca manuale (si prendono riviste che trattano argomenti specifici e si guardano gli articoli con anche la bibliografia)

• Ricerca bibliografica

• Contatti con i ricercatori (notizie che non troviamo pubblicate nello studio)

• Ricerca di letteratura non pubblicata (registri dei trial)

Centro Studi EBN – Direzione Servizio Infermieristico Tecnico e Riabilitativo

Azienda Ospedaliero Universitaria di Bologna Policlinico S. Orsola Malpighi 31

Bias correlati alla strategia di ricerca

• Una strategia della ricerca completa serve a prevenire alcuni bias:

– Pubblication bias – bias di pubblicazione – Time lag bias – bias temporale

– Language bias – bias linguistico

Bias correlati alla strategia di ricerca

• PUBLICATION BIAS: gli studi positivi tendono ad essere pubblicati più velocemente e ad essere citati più spesso all’interno di altri studi;

• TIME LAG BIAS: gli studi con risultati negativi tendono ad essere pubblicati con maggiore ritardo.

• LANGUAGE BIAS: gli studi con risultati positivi vengono pubblicati in lingua inglese;

Funnel plot

Funnel Plot

• Tecnica grafica utilizzata per valutare la

possibilità di publication bias in una revisione sistematica.

Funnel plot

• La misura dell’effetto è tracciata sull’asse delle ascisse e la misura del campione sulle ordinate.

Funnel Plot

• In assenza di bias di pubblicazione, il grafico assume la forma di un imbuto in cui la parte più larga si apre verso il basso e l’estremità superiore è rivolta verso l’alto.

• Se c’è un bias di pubblicazione l’angolo di sinistra della parte dell’imbuto risulterà

distorta o non presente.

(Di Censo, Guyatt, Ciliska, 2005)

Funnel plot

• funnel plot privo di bias

• funnel plot con bias

Funnel plot

• Recentemente questo strumento è stato

messo in discussione, per la grande sensibilità e la scarsa specificità.

• Ossia se il funnel plot non rileva bias è

probabile che non ci sia, ma se lo rileva non è detto che questo ci sia realmente.

Criteri di inclusione

• Come sono stati selezionati gli studi? Sono riportati i criteri di inclusione?

Definizione dei criteri di inclusione e di esclusione

• Devono essere sempre definiti prima di iniziare la ricerca degli studi in letteratura

• Devono riflettere direttamente il quesito della ricerca (partecipanti, interventi, risultati)

• Devono indicare i tipi di studio verranno selezionati

Definizione dei criteri di inclusione dei singoli studi

1.Tipologia degli studi (es. trial randomizzati e controllati VS Trial non randomizzati)

2. Qualità metodologica degli studi 3. Tipologia del trattamento

4.Tipologia dei pazienti e delle patologie 5. Tipologia dell’ “outcome”

6.Lunghezza del follow-up 7. Altro

Valutazione critica

• E’ stata valutata la validità degli studi inclusi?

Ciò è stato fatto in modo appropriato? Sono forniti i criteri di validità?

VALUTAZIONE della QUALITA’

degli STUDI

• Una RS di buona qualità dipende soprattutto dalla qualità degli studi inclusi

• La valutazione dello studio deve essere condotta sulla metodologia della ricerca utilizzata per condurre lo studio stesso

• Esistono numerosi strumenti per effettuare una valutazione critica

• Va definito il metodo usato per la valutazione e per l’analisi delle informazioni per farli

conoscere ai fruitori della RS

MODULO PER LA VALUTAZIONE DELLA QUALITA’ DEGLI STUDI

SE SUPERA QUESTA FASE LO STUDIO VA’ IN REVISIONE

Estrapolazione dei dati

• Definizione dei risultati importanti per le proprie necessità.

• Estrapolare i dati nel modo più accurato

possibile, tale che siano di facile utilizzo quando si affronta l’analisi dei dati stessi.

• Creare uno strumento (es. una griglia) dove registrare le informazioni che servono, relative ad ogni studio incluso nella RS.

Sintesi dei dati

• Come sono stati aggregati gli studi? I risultati sono stati aggregati in modo appropriato?

Sintesi dei dati

• Per un buon livello qualitativo, l’analisi dei dati va definita nel protocollo della RS;

• Lo scopo è quello di sintetizzare i risultati dei singoli studi in modo da fornire un esito

complessivo rispetto al quesito della revisione;

• In questa fase se si riscontrano delle incoerenze gli autori possono indagarne le cause.

Sintesi dei dati

• I dati di una revisione si possono analizzare in modi differenti:

- se quantitativi si prestano al metodo statistico della meta-analisi,

- se qualitativi possono essere presentati in forma narrativa;

• In entrambi i casi è opportuno definire a priori la metodologia che si intende seguire.

Documentazione dei risultati

• I metodi di revisione sono chiaramente documentati?

• Il quesito della revisione è stato stabilito in modo chiaro ed esplicito?

• Sono state riportate le strategie di ricerca?

• Sono stati riportati i criteri di inclusione?

• Sono stati riportati i criteri di valutazione degli studi?

• Sono stati riportati i metodi usati per aggregare gli studi?

Conclusioni e raccomandazioni

• È fornito un riassunto dei risultati?

• Sono proposte specifiche direttive per nuove ricerche?

• Le conclusioni sono supportate dai dati?

Meta-analisi

Definizione

• La meta-analisi è un metodo statistico utilizzato per combinare i risultati di più studi indipendenti;

che trattano lo stesso argomento, in modo da poter calcolare un valore statistico riassuntivo totale.

Che valore aggiunto dà ad una RS?

• Per aumentare il potere.

• Per aumentare la precisione nella stima dei risultati.

• Per rispondere a domande non poste dai singoli studi.

• Per chiarire controversie che derivano da studi apparentemente confliggenti o per generare nuove ipotesi.

Quando non è opportuna la presenza di meta-analisi?

• Gli studi sono clinicamente molto diversi: ciò avviene se gli interventi e i loro comparatori, o gli outcome misurati sono diversi.

• Se gli studi sono di scarsa qualità metodologica.

• Se la revisione della letteratura non ha eliminato il pubblication bias.

FOREST PLOT

(BLOBBOGRAMMA)

---█---

---█---

Limite fiduciario

Limite fiduciario

Limite fiduciario

Limite fiduciario

Limiti ampi, fiducia poca, risultato molto variabile Probabilmente il campione era molto piccolo

Limiti stretti, fiducia elevata, risultato affidabile Probabilmente il campione era molto grande!

antibioticoprofilassi versus placebo come

misura di efficacia sulle infezioni neonatali nella rottura prematura pretermine

delle membrane ovulari

La linea verticale indica il punto di pari efficacia fra i

trattamenti a confronto (odds

ratio = 1).

Le linee orizzontali rappresentano l’intervallo di confidenza per ogni singolo studio.

Il diamante rappresenta il risultato cumulativo della metanalisi; l'intervallo di confidenza, più ristretto di quello dei singoli studi, indica un minore grado di imprecisione: in questo caso, l'impiego profilattico di antibiotici riduce la frequenza di infezioni neonatali, una conclusione che non è possibile trarre dalla maggior parte degli studi, considerati singolarmente.

Eventi/casi studiati

Il punto centrale rappresenta la stima puntuale dell’odds ratio (il suo spessore è direttamente proporzionale al numero di pazienti nello studio).

• RR 3,0 (IC95% 0,12; 72,77)

0 | --(---| ---|---)---

0,12 1 3 72,77

Il rischio relativo è 3. Nella popolazione il risultato vero, che non conosceremo mai!, va da 0,12 a 72,77 nel 95% dei casi. Quindi se il risultato vero fosse fra 0,12 e 1 sarebbe favorevole al trattamento (il RR diminuisce), mentre se fosse fra 1 e 72,77 sarebbe

favorevole al controllo (il RR aumenta). Siccome non potremo mai saperlo diciamo che NON E’ STATISTICAMENTE SIGNIFICATIVO.

• RR 0,55 (IC95% 0,31; 0,97)

0 | ---(---)---| ---

0,31 0,97 1

Il rischio relativo è 0,55. Nella popolazione il risultato vero, che non conosceremo mai!, va da 0,31 a 0,97 nel 95% dei casi. Quindi se il risultato vero fosse 0,31 sarebbe favorevole al trattamento (il RR diminuisce del 69%), mentre se fosse 0,97 sarebbe comunque favorevole al trattamento (il RR diminuisce del 3%). Ne consegue che il risultato E’ STATISTICAMENTE SIGNIFICATIVO.

Omogeneità degli studi

• La popolazione degli studi inclusi è simile? E’

stato valutato lo stesso intervento dai singoli studi? Sono stati usati gli stessi outcome per determinare l’efficacia del trattamento in

esame? Sono state esplorate le ragioni delle differenze tra gli studi?

Eterogeneità

Eterogeneità

• L’assunto di una RS focalizzata su una specifica domanda clinica è che l’effetto dell’intervento sia più o meno lo stesso per i pazienti, gli interventi e gli outcome negli studi inclusi nella revisione.

• Occorre definire se gli studi sono

sufficientemente omogenei da legittimare l’aggregazione dei loro risultati.

3 tipi di eterogeneità

• Diversità clinica (PICO)

• Diversità metodologica (M)

• Eterogeneità statistica (o semplicemente

eterogeneità): è la conseguenza delle prime 2.

Come si è misurata l’eterogeneità

• La decisione rispetto all’eterogeneità si prende sulla base dei seguenti aspetti:

– Scostamenti tra le stime puntuali degli effetti dei diversi studi.

– Sovrapposizione degli intervalli di confidenza (eyeball test).

– Valore del test statistico di eterogeneità.

• chi quadro

• p value: ci dice se la differenza tra le popolazioni di riferimento è reale o casuale? Se p > 0,05 o del 0,10 non c’è eterogeneità;

• Inconsistenza: I² descrive la percentuale della variabilità (variabilità campionaria).

• I2 < 25%  bassa eterogeneità

• I2 < 50%  eterogeneità moderata

• I2 > 50%  elevata eterogeneità

(Higgins JPT et al. BMJ 2003;327:557-60)

Test statistici di eterogeneit

Test statistici di eterogeneità à

C’è sospetto di eterogeneità

• Esame visivo del forest plot

• P-value

• I2

• Gli IC dei singoli studi non si sovrappongono

• < 0.05 oppure 0.10

• > Alto 50%

Più si avvicina a 1 più studi omogenei, sotto il 5 o 10% sono disomogenei

Più si avvicina a 0 più studi omogenei, sopra il 50% sono disomogenei

Test statistici di eterogeneità

• Chi quadro

• P value

– Essi hanno uno scarsa capacità di individuare l’eterogeneità in presenza di piccoli campioni o di pochi studi; di contro in presenza di

grandi o di molti studi possono rilevare la presenza di eterogeneità anche se questa non è clinicamente rilevante.

Eterogeneit

Eterogeneit à à non presente non presente

Eterogeneità non presente

Eterogeneità non presente

12

Q=0.94; P=0.92; I2=0%

Q=13.21; P=0.02; I2=62.2%

Eterogeneit

Eterogeneit à à non presente non presente

Eterogeneit

Eterogeneit à à presente presente

De Berardis et al. BMJ 2009;339:b4531

Eterogeneit

Eterogeneit à à presente presente

Eterogeneità presente

Cosa fare se c’è eterogeneità

• Se le stime puntuali sono lontane,

il valore di p < 0.05 oppure p < 0.10, I^{2 >}50%

significa che la variabilità che si osserva tra gli studi non è spiegabile solo attraverso il caso, ma è imputabile a differenze reali tra gli studi (la

meta-analisi non è “appropriata”).

• Come utilizzatori delle evidenze scientifiche, non è opportuno utilizzare i risultati di una meta-

analisi che dimostra eterogeneità per guidare le scelte di pratica clinica.

Ricerca delle revisioni sistematiche

Cochrane Library

http://www.cochrane.org/index.htm Joanna Briggs Institute

http://www.joannabriggs.edu.au/about/hom e.php

La ricerca in rete di RS e MA

COCHRANE LIBRARY

• E’ la fonte di elezione per ricercare revisioni sistematiche.

• Al suo interno è possibile consultare:

– Revisioni sistematiche realizzate dalla Cochrane Collaboration:

The Cochrane Database of Systematic Review (CDSR)

– Abstract di revisioni sistematiche realizzate da altri autori The Database of Abstract of Review of Effectiveness (DARE)

– Studi di efficacia relativi a tematiche metodologiche metodologici - The Cochrane Review Methodological Database (CRMD)

– Registro di Trials clinci - The Cochrane Controlled Trial Register (CCTR)

NB: i fulltext delle revisioni sistematiche sono a pagamento.

È però possibile leggerne gli abstract.

COCHRANE LIBRARY

• Essendo i contenuti numericamente limitati non è necessaria la costruzione di complesse

stringhe di ricerca, ma è sufficiente imputare una parola chiave che sia attinente al quesito della ricerca.

È possibile effettuare la ricerca inserendo nel box di ricerca la parola chiave relativa al quesito che stiamo ricercando

Cliccare sul titolo

Authors' conclusions

Use of continuous prophylactic antibiotics results in a clinically significant benefit in reducing exacerbations in COPD patients. All trials of continuous antibiotics used macrolides hence the noted benefit applies only to the use of continuous macrolide antibiotics. The impact of pulsed antibiotics remains uncertain and requires further research.

The trials in this review included patients who were frequent exacerbators and needed treatment with antibiotics or systemic steroids, or who were on

supplemental oxygen. There were also older individuals with a mean age of 66 years. The results of these trials apply only to the group of patients who were studied in these trials and may not be generalisable to other groups.

Because of concerns about antibiotic resistance and specific adverse effects, consideration of prophylactic antibiotic use should be mindful of the balance between benefits to individual patients and the potential harms to society created by antibiotic overuse.

NB: i protocolli sono i protocolli delle revisioni sistematiche e non protocolli di pratica clinica. Si tratta quindi dei metodi adottati dai revisori per realizzare le revisioni.

Joanna Briggs Institute

• Si tratta di un network internazionale che si occupa di produrre revisioni sistematiche su tematiche di interesse infermieristico, ostetrico, riabilitativo.

• Anche se le revisioni sistematiche sono a pagamento è possibile visualizzare i BEST PRACTICE INFORMATION SHEET(SINTESI DELLA RS) TRADOTTI IN ITALIANO

(http://www.evidencebasednursing.it/traduzioni)

Uptudate

• Sintetizza la letteratura incorporando le migliori e più recenti evidenze

• Mette a disposizione specifiche raccomandazioni per i pazienti

http:/www.uptodate.com

Grazie per l’attenzione!!

Domenica Gazineo domenica.gazineo@aosp.bo.it