VALUTAZIONE CRITICA DEGLI STUDI

(1)

PROLOGO Protocollo CAPITOLO 1 Quesito CAPITOLO 2 Background CAPITOLO 3 Ricerca degli studi CAPITOLO 4 Selezione degli studi CAPITOLO 5 Valutazione critica

degli studi CAPITOLO 6

CAPITOLO 7 CAPITOLO 8 EPILOGO

VALUTAZIONE CRITICA DEGLI STUDI

Processo sistematico mirato a identificare le forze e le debolezze di un articolo di ricerca per valutare l’utilità e

la validità dei suoi risultati

VALUTAZIONE CRITICA DEGLI STUDI

SCOPO

Stabilire se i risultati siano vicini alla verità e rilevanti nel setting

o nel gruppo di pazienti che ci interessa

PERCHÈ È IMPORTANTE

Gli studi possono essere molto diversi tra loro come qualità e per il rischio di sviluppare bias

I risultati potrebbero dipendere da come è stato condotto lo studio e non dalla reale efficacia dell’intervento

Evidenze non valide possono portare a conclusioni fuorviate e quindi a danni o aumento dei costi immotivato

STRUMENTI DI VALUTAZIONE CRITICA

•

SCALE

−

La qualità viene valutata mediante punteggi che combinati insieme danno un punteggio riassuntivo

•

CHECKLISTS

−

Elenco di quesiti specifici che valutano gli elementi che definiscono la qualità dello studio ma non viene calcolato un punteggio riassuntivo

•

DOMAIN-BASED

−

La valutazione critica viene fatta in modo separato per diversi ambiti della qualità

SCALE

Le scale non sono raccomandate

Calcolare un punteggio totale vuol dire dare un peso alle singole voci della scala e questo peso è difficile da giustificare

Valutare lo stesso trial con scale diverse può portare a risultati diversi

Un punteggio totale non è trasparente per i

lettori

(2)

APPROPRIATEZZA DEL DISEGNO

Aum ento d

el ris chio d

i bias

http://www.cancerguidelines.ca/guidelines/backup/WebSite/Content/Files/gr_appraisal_quality_re port.pdf

APPROPRIATEZZA DEL DISEGNO

L’RCT è considerato la tipologia di studio migliore per valutare l’effetto di un intervento

Quando uno studio sperimentale non è possibile o non è etico randomizzare i partecipanti si possono cercare disegni quasi-sperimentali o osservazionali.

APPROPRIATEZZA DEL DISEGNO

Possono però essere implementati in modo da rendere probabile che i loro risultati siano seriamente inficiati da bias e quindi si riduca il loro valore ai fini di essere utilizzati per la pratica.

QUALITÀ VERSUS RISCHIO DI BIAS

Il bias è un errore sistematico nella stima dell’

effetto reale di un intervento

Il bias può emergere da diversi difetti nel disegno dello studio. Più rigoroso sarà lo studio, minore sarà il rischio di bias

Il rischio di bias ≠ ≠ ≠ ≠ qualità di uno studio. La qualità si riferisce a quanto gli investigatori si attengano ai migliori standard per condurre il loro studio.

QUALITÀ VERSUS RISCHIO DI BIAS

(Handbook Cochrane 2011)

Ci sono delle caratteristiche della qualità di uno studio che probabilmente non influenzano il suo rischio di bias.

Esempio: Esempio: Esempio: Esempio: Approvazione etica, ottenere il consenso

informato, riportare il calcolo delle dimensioni del campione

QUALITÀ VERSUS RISCHIO DI BIAS

Gli studi possono essere condotti seguendo gli standard migliori possibili ma essere ancora a elevato rischio di bias.

Esempio:Esempio:Esempio:Esempio:

Un trial dove sia impossibile la cecità dei

partecipanti può essere condotto seguendo gli

standard migliori possibili ma essere comunque a alto

rischio di bias per la mancanza di cecità.

(3)

Differenze sistematiche tra le caratteristiche di base dei gruppi comparati

FONTI DI BIAS SELECTION BIAS

RANDOMIZZAZIONE: I partecipanti dovrebbe essere allocati ai gruppi usando una vera sequenza di randomizzazione. Usare la data di nascita, la data di ingresso o il numero di ricovero non è una vera randomizzazione.

OSCURAMENTO DELL’ALLOCAMENTO (CONCEALMENT): I partecipanti e gli investigatori non dovrebbero essere in grado di prevedere l’allocazione prima che il partecipanti sia inserito nello studio. Allocazione centralizzata (uso del telefono o numerazione generata dal web) o numeri sequenziali contenuti in buste anonime.

PERFORMANCE BIAS

Differenze sistematiche tra i gruppi rispetto al tipo di assistenza ricevuta o all’esposizione a fattori diversi

dall’intervento in oggetto.

CECITÀ: I partecipanti e gli investigatori dovrebbero essere all’oscuro dell’allocazione per fare in modo che ognuno riceva la stessa quantità di attenzioni, di trattamenti secondari o di esami diagnostici.

DETECTION BIAS

Differenze sistematiche tra i gruppi dovute al modo in cui viene determinato l’esito

CECITÀ

:

La cecità di coloro che valutano gli esiti può ridurre il rischio che la conoscenza dell’intervento ricevuto, piuttosto che l’intervento stesso, influenzi la misurazione degli esiti.

OUTCOME DATA

:

Nel report del trial dovrebbe essere descritto come sono stati misurati gli outcome nella sezione dei metodi.

ATTRITION BIAS O DI VIOLAZIONE DEL PROTOCOLLO

Differenza sistematica nei ritiri dallo studio tra i due gruppi

OUTCOME DATA: Nell’analisi dei risultati dovrebbero essere inclusi tutti I partecipanti che sono stati randomizzati, inclusi quelli che si sono ritirati dallo studio o non hanno ricevuto l’intervento a cui erano stati destinati (intention-to-treat)

Le ragioni per cui I partecipanti sono usciti dallo studio dovrebbero essere riportate

REPORTING BIAS

Differenze tra gli esiti inseriti nel protocollo e quelli che vengono riportati nel lavoro finale.

REGISTRAZIONE DEGLI OUTCOME: Dovrebbero essere riportati i

risultati per ogni outcome identificato all’inizio, primari e secondari.

I report degli studi non dovrebbero focalizzarsi solo su quegli outcome che sono favorevoli o quelli che hanno dimostrato una differenza statisticamente significativa tra i gruppi.

Tutti gli outcome, primari e secondari, dovrebbero essere descritti nella sezione Metodi.

ALTRI BIAS

Relativi soprattutto a particolari disegni di studi (p.e.

carry-over nei trial cross over o il recruitment bias nei trial randomizzati per cluster)

Altri si presentano in un largo spettro di studi ma solo in particolari circostanze (p.e. la contaminazione

dell’intervento sperimentale con quello di controllo)

(4)

ESEMPIO

Cochrane Collaboration Cochrane Collaboration Cochrane Collaboration

Cochrane Collaboration’’’’s Risk of Bias Tool: s Risk of Bias Tool: s Risk of Bias Tool: s Risk of Bias Tool:

Strumento di valutazione del rischio di bias negli RCT basato su degli ambiti

STRUMENTO DI VALUTAZIONE CRITICA

I potenziali bias che si possono ritrovare in uno studio sono stati suddivisi in ambiti/aree e sono state definite le strategie per la loro valutazione.

GLI AMBITI

Ambiti Bias

Generazione della Sequenza Randomizzata

Selection Bias

Oscuramento dell’allocazione Selection Bias Cecità dei Partecipanti e del

Personale

Performance Bias

Cecità di Coloro che valutano gli Outcome

Detection Bias

Dati incompleti sugli Outcome Reporting Bias Altre fonti di bias Other Bias

LA VALUTAZIONE

1) Descrizione di come è stato considerato quell’ambito all’interno dello studio

2) Assegnazione di un giudizio sul rischio di bias nello studio per quell’area

–

Low risk of bias

–

High risk of bias

–

Unclear risk of bias

I CRITERI

Generazione della Sequenza Randomizzata

Selection bias (allocazione all’intervento pregiudicato da bias) dovuto a una inadeguata generazione della sequenza di randomizzazione

Low risk of bias Gli investigatori descrivono la generazione della sequenza di randomizzazione come:

-Tavola di numerazione random -Generatore computerizzato di numeri random

-Testa o croce, pescare una carta o una busta, tiro dei dadi, tirare a sorte, -Minimizzazione

High risk of bias Gli investigatori descrivono una componente non randomizzata nella generazione della sequenza. In genere riguarda alcuni approcci sistematici non randomizzati, per esempio:

-Sequenze generata da: non ben specificato o anche la data di nascita, qualche regola basata sulla data di ammissione o il numero nosologico

Altri approcci non randomizzati che si presentano meno frequentemente e che in genere riguardano giudizi o categorizzazioni dei partecipanti come:

-Allocazione secondo il giudizio del clinico, le preferenze del partecipante, risultati di un test di laboratorio, disponibilità dell’intervento

Unclear risk of bias Informazioni insufficienti sul processo di generazione della sequenza per permettere un giudizio di basso o alto rischio.

LO STRUMENTO

TABELLA RIASSUNTIVA

Review Manager (RevMan) 5 Software VERDE: Low risk GIALLO: Unclear risk ROSSO: High risk

TABELLA RISCHIO BIAS COCHRANE

(5)

TABELLA RISCHIO BIAS COCHRANE

Esempio fittizio

STUDI OSSERVAZIONALI

Gli studi che tracciano inferenze o testano ipotesi attraverso I metodi osservazionali

Studi osservazionali descrittivi:

Gli eventi sono semplicemente osservati e descritti mentre seguono il loro corso naturale

Studi osservazionali analitici:

Comparazione di due gruppi nei quali l’obiettivo è spiegare la relazione di causa ed effetto dove non sia possibile condurre un intervento controllato o sperimentale

STUDI OSSERVAZIONALI

I BIAS PIÙ FREQUENTI

Selection bias

Differenze sistematiche tra i gruppi rispetto a fattori diversi da quelli dell’esposizione sotto osservazione

Misclassification bias

Errori nella categorizzazione dello stato di esposizione o dell’outcome tra i gruppi in modo che non sia random ma collegata all’esposizione o all’outcome.

Attrition bias

Quando i soggetti che presentano l’outcome non rispondono in modo selettivo o si perdono al follow-up

I BIAS PIÙ FREQUENTI

Recall bias

Differenze nel modo in cui le informazioni sull’esposizioni vengono ricordate o riferite dai partecipanti nei diversi gruppi

Observation (information, detection) bias

Quando la conoscenza dello stato di esposizione o della presenza dell’outcome influenza il modo in cui vengono riferite le informazioni dai soggetti sotto osservazione o dagli investigatori

Le differenze tra I gruppi sulla quantità d’informazioni ottenute

(6)

CONFONDIMENTO

QUANDO LE DIFFERENZE NEGLI ESITI TRA I GRUPPI IN STUDIO SONO DOVUTE A QUALCOSA DI DIVERSO DALL’ESPOSIZIONE SOTTO

OSSERVAZIONE

Fattore collegato all’esposizione e all’outcome che è distribuito nei gruppi in modo irregolare

Variabile esterna correlata (in modo positivo o negativo) sia con la variabile dipendente che con quella indipendente

Non è un bias.

I bias riguardano errori nella misurazione, i fattori di confondimento invece sono errori di interpretazione di una misurazione accurata

STRUMENTI DI APPROCCIO CRITICO

Ci sono centinaia di strumenti per l’approccio critico disponibile per gli studi di coorte, caso controllo e cross-sectional

Alcuni sono specifici per un tipo di studio osservazionale mentre altri sono più generici

Non c’è accordo su quali siano gli elementi importanti per valutare il rischio di bias negli studi osservazionali

Non c’è un solo gold standard per l’approccio critico degli studi osservazionali

STRUMENTO DI APPROCCIO CRITICO

Revisione sistematica sugli strumenti per l’approccio critico degli studi osservazionali

Sanderson S, Tatt ID, Higgins JPT. Tools for Tools for Tools for Tools for assessing quality and susceptibility to bias in assessing quality and susceptibility to bias in assessing quality and susceptibility to bias in assessing quality and susceptibility to bias in observational studies in epidemiology: a systematic observational studies in epidemiology: a systematic observational studies in epidemiology: a systematic observational studies in epidemiology: a systematic review and annotated bibliography.

review and annotated bibliography.

review and annotated bibliography. International Journal of Epidemiology 2007;36:666-76.

STRUMENTI PER L’APPROCCIO CRITICO

COME SCEGLIERE LA CHECKLIST

La checklist dovrebbe includere delle voci che valutano:

Il metodo di selezione dei partecipanti

I metodi di misurazione dell’esposizione e degli outcome

Le fonti di bias specifiche per la tipologia di disegno

Metodo di controllo del confondimento

I metodi statistici

La presenza della menzione degli eventuali conflitti di interessi

La checklist dovrebbe fornire informazioni su come sia stata sviluppata e

deve essere stata testata per validità e affidabilità.

STROBE STATEMENT

http://www.strobe-statement.org/

Checklist con 22 voci considerate essenziali per scrivere nel modo giusto gli studi

osservazionali

von Elm E, et al. The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) Statement: guidelines for reporting observational studies. BMJ.

2007;335(7624):806-808

PERSONE CHE DEVONO FARE LA VALUTAZIONE

Almeno due ricercatori indipendenti.

Necessario l’accordo e deve essere stabilito a priori cosa fare nel caso non si raggiunga

Deve essere riportato tutto nella pubblicazione

definitiva

(7)

COSA FARE CON L’APPROCCIO CRITICO

Restringere la principale meta analisi a studi a basso rischio di bias

Presentare meta analisi stratificate rispetto al rischio di bias

La scelta può dipendere

a)dal contesto della specifica revisione e

b)dal bilanciamento tra i potenziali bias e la perdita di precisione che si avrebbe se gli studi ad alto rischio o a rischio di bias non chiaro fossero esclusi.