WHO Collaborating Centre for Evidence Based Research Synthesis

(1)

Dal Grading al GRADE

Francesco Nonino

Area Valutazione del Farmaco

Agenzia Sanitaria e Sociale Regionale, Bologna

WHO Collaborating Centre for Evidence Based Research Synthesis

Master EBN

and Guideline Development

Master EBN

Bologna 16 Gennaio 2015

(2)

Certezze in medicina Certezze in medicina

(ovvero: perchè serve fare tutto (ovvero: perchè serve fare tutto

questo?…)

q )

(3)

http://clinicalevidence.bmj.com/ceweb/about/knowledge.jsp 2011

(4)

“Raccomandazioni sviluppate in modo

sistematico per assistere operatori sanitari e pazienti nelle decisioni sulla gestione

pazienti nelle decisioni sulla gestione

appropriata di specifiche condizioni cliniche”

Institute of Medicine, 1992

(5)

Evidenze/informazioni e raccomandazioni:

due mondi a parte

Evidenze e

due mondi a parte

Evidenze e informazioni

St di li i i (RCT

Raccomandazioni

 Linee guida

 Studi clinici (RCT o studi osservazionali)

 Revisioni sistematiche

 Linee-guida

 Consensus conference

 Rapporti di Technology Revisioni sistematiche

(Cochrane Library e non)

Rapporti di Technology assessment e

valutazioni economiche

 Clinical evidence

 Dossier registrativi Ri i t di i f i

 Autorità regolatorie:

decisioni e documenti EMA FDA ecc

 Riviste di informazione indipendente (ISDB)

EMA, FDA, ecc.

(6)

Qualità delle evidenze significa

Qualità delle evidenze significa…

Nel caso di Quanto siamo sicuri che la stima di Nel caso di

revisioni

sistematiche

Quanto siamo sicuri che la stima di benefici e rischi di un intervento è corretta

sistematiche corretta

Nel caso di

raccomandazioni

Quanto siamo sicuri che la stima di benefici e rischi di un intervento è

(linee guida) sufficiente a supportare una specifica

raccomandazione

(7)

Le due componenti essenziali di una LG*

Componente

di istruzione dettagliata Componente

di prova

di istruzione dettagliata (RACCOMANDAZIONE p.d .)

SINTESI

“Ecco il tipico effetto di questo intervento

SINTESI

“Ecco cosa bisogna esattamente fare con di questo intervento

sul paziente tipico”

esattamente fare con questo paziente”

*Modificato da: Sackett , Richardson, Rosenberg, Haynes. Evidence Based Medicine: how to practice and teach EBM.

Churchill Livingstone, London 2000

(8)

Grading Grading

Esplicitazione del “livello di prova” e

della “forza delle raccomandazioni”

(9)

Le due componenti essenziali di una LG*

Componente

di istruzione dettagliata Componente

di prova

di istruzione dettagliata (RACCOMANDAZIONE p.d .)

SINTESI

“Ecco il tipico effetto di questo intervento

SINTESI

“Ecco cosa bisogna esattamente fare con di questo intervento

sul paziente tipico”

esattamente fare con questo paziente”

ASPETTO FORMALE

ASPETTO FORMALE FORMALE

Livello di prova (o “di evidenza”)

Spesso espresso con un numero

FORMALE

Forza delle raccomandazioni

Spesso espressa con una lettera

*Modificato da: Sackett , Richardson, Rosenberg, Haynes. Evidence Based Medicine: how to practice and teach EBM.

Churchill Livingstone, London 2000

(10)

Un esempio…

Livello di prova Livello di prova

Forza della raccomandazione

(11)

LdE e FdR: una necessaria distinzione LdE e FdR: una necessaria distinzione

• Si tratta di due informazioni complementari Si tratta di due informazioni complementari parzialmente indipendenti

LdE d fi i l lità t d l i d ll

• LdE: definisce la qualità metodologica delle prove disponibili

• FdR: oltre alla qualità metodologica incorpora

– la fattibilità, la fattibilità,

– i benefici attesi e la loro rilevanza

le implicazioni organizzative economiche sociali – le implicazioni organizzative, economiche, sociali

e finanziarie di uno specifico intervento

(12)

Linea guida sull’ictus g

Un esempio…

(13)

Legame esplicito evidenze Legame esplicito evidenze-

raccomandazioni

(14)

Il metodo “GRADE”

BMJ 2004;328:1490-7

(15)

Istituzioni che hanno adottato il

metodo GRADE

(16)

GRADE … il sito GRADE … il sito

d k

www.gradeworkinggroup.org

(17)

Il percorso che porta alla d i di

produzione di una

linea guida

(18)

Il metodo GRADE

Il gruppo di lavoro Il gruppo di lavoro

multidisciplinare concorda una serie di domande a cui darà risposta formulando

raccomandazioni….

tt l l t i di

…attraverso la valutazione di:

 qualità metodologica q g

 rilevanza clinica

 profilo beneficio / rischio

(19)

Randomization i i iti l

P

^Outcome ^Critical

increases initial quality 1. Risk of bias 2. Inconsistency

e n

High

I C O

Outcome Outcome Outcome

Important Critical

Not

3. Indirectness 4. Imprecision 5. Publication

bias

Grad down

Very low Low Moderate

Systematic review

Summary of findings

& estimate of effect for each outcome

Grade up

1. Large effect 2. Dose

response 3. Confounders Systematic review

Guideline development

3. Confounders

Grade

overall quality of evidence across outcomes based on Formulate recommendations:

• For or against (direction)

• Strong or conditional

(strength) lowest quality

of critical outcomes (strength)

By considering:

 Quality of evidence

 Balance • “We recommend using…/should”

benefits/harms

 Values and preferences

(Revise by considering:)

• “We suggest using…/might”

• “We recommend against using…/might not”

• “We suggest against using…/should not”

(20)

Vecchi sistemi di grading Vecchi sistemi di grading

L lità d ll id ifl tt

• La qualità delle evidenze rifletteva

sostanzialmente il disegno degli studi e la loro conduzione

conduzione

• La forza delle raccomandazioni dipendeva dal disegno e in parte dalla qualità metodologica disegno e in parte dalla qualità metodologica degli studi … quindi …

• Ridondanze e ripetizioni da un lato ma anche

• Ridondanze e ripetizioni da un lato ma anche mancate considerazioni della entità dell’effetto, della eterogeneità tra gli studi e della

della eterogeneità tra gli studi e della

trasferibilità dei risultati …

(21)

Vecchi

Evidenze Raccomandazione

con grading (IA IB Criteri di

valutazione metodi

Evidenze con grading (IA, IB,

etc…) valutazione

della qualità

Qualità delle

evidenze: Rapporto benefici /

Raccomandazione forte o debole

Quality assessment

criteria

Votazione degli outcome

Quality assessment

criteria

stime di benefici &

rischi, rischio di bias

benefici / rischi,

considerando costi,

Evidenze

criteria criteria

_{di bias,}

trasferibilità,

…

accessibilità e fattibilità

(22)

GRADE: un approccio in 3 fasi

1. Formulazione di una domanda, scelta e votazione di outcomes giudicati rilevanti e revisione

sistematica della letteratura biomedica, sistematica della letteratura biomedica,

valutazione della qualità delle prove e sintesi dei i lt ti

risultati

2. Nel formulare la raccomandazione vengono

valutati: benefici e rischi, valori e preferenze dei pazienti fattibilità e impiego di risorse

pazienti, fattibilità e impiego di risorse

3. Direzione (positiva/negativa) e forza (forte /debole)

della raccomandazione

(23)

Formulare la domanda Formulare la domanda

• Specificare la domanda in modo esplicito Specificare la domanda in modo esplicito (seguendo il metodo PICO)

– Un esempio classico (WHO, 2006): Oseltamivir

dovrebbe essere usato nei pazienti ospedalizzati con dovrebbe essere usato nei pazienti ospedalizzati con influenza aviaria (H5N1)?

– Nuovi farmaci oncologici (2009): In pazienti con carcinma polmonare non-a-piccole-cellule (NSLC),

i t l i t di ti i d

istologicamente di tipo non squamoso, si deve

raccomandare pemetrexed e cisplatin com terapia di prima linea?

p

– …

(24)

GRADE: scelta degli outcomes

Si devono dare giudizi espliciti su quali outcomes sono critici (dai quali dipende la qualità delle evidenze) quali critici (dai quali dipende la qualità delle evidenze), quali sono importanti (da considerare nella sintesi delle

evidenze) e quali poco importanti e possono essere ) q p p p ignorati

Studi clinici che utilizzano outcomes surrogati forniscono Studi clinici che utilizzano outcomes surrogati forniscono generalmente evidenze più deboli rispetto a studi con

outcome clinicamente importanti e andrebbero considerati p solo se mancano evidenze su outcome clinicamente

rilevanti.

Gli outcomes vanno discussi e valutati indipendentemente dall’essere stati considerati negli studi/evidenze disponibili g p

Schünemann HG et al. Health Res Policy Syst 2006:4:18

(25)

Il grading della qualità delle evidenze Il grading della qualità delle evidenze

ALTA    

MODERATA    O

BASSA   O O

MOLTO BASSA  O O O

(26)

Il grading della qualità delle evidenze Il grading della qualità delle evidenze

ALTA Sicuramente l’effetto reale è vicino a quello

espresso dalla stima dell’effetto

MODERATA La stima dell’effetto è abbastanza affidabile:

l’effetto reale sembra vicino a quello della stima,

t bb h t i l t

ma potrebbe anche esserne sostanzialmente diverso

BASSA L’affidabilità della stima dell’effetto è scarsa:

l’effetto reale potrebbe essere sostanzialmente diverso dalla stima

MOLTO BASSA La stima dell’effetto è inaffidabile: è verosimile

che l’effetto reale sia sostanzialmente diverso

dalla stima

(27)

Il disegno dello studio:

i t t b t

importante ma non basta

I i i i t i di di d ll lità d ll id i

• I primi sistemi di grading della qualità delle evidenze si

concentravano quasi esclusivamente sul disegno/tipo di studi

Gli t di d i ti f i i l (i ti l

• Gli studi randomizzati forniscono in generale (in particolare per l’efficacia) una qualità delle evidenze più alta degli studi

osservazionali quindi:

osservazionali, quindi:

– Gli RCT partono da una qualità alta

– Gli studi osservazionali partono da una qualità bassa

• Ci sono comunque diversi altri fattori da considerare per aumentare o abbassare la qualità delle evidenze

aumentare o abbassare la qualità delle evidenze

(28)

Fattori che possono condizionare

negativamente la qualità delle evidenze

• Limitazione nel disegno e nella conduzione degli studi

I i i lt ti t t di di i ll t

• Incoerenza nei risultati tra studi diversi sullo stesso quesito (inconsistency)

• Incertezze sulla diretta trasferibilità dei risultati (directness)

• Imprecisione o dati insufficienti (sparse data)

• Possibilità di pubblicazione selettiva dei dati (Publication/reporting bias)

(Publication/reporting bias)

(29)

Limiti/difetti degli studi (RCTs) Risk of Bias

Risk of Bias

• Ben definiti: Ben definiti:

– Randomizzazione e assegnazione (concealment) – Principio della intention-to-treat

– Cecità per outcomes soggettivi – Completezza del follow-up

– Scelta del comparator nel gruppo di controllo (trattamento standard/ottimale)

• Più recentemente:

– Mancata presentazione di outcome come definito dal

t ll ( l ti t ti bi )

protocollo (selective outcome reporting bias)

– Interruzione precoce dello studio per eccesso di beneficio (early stopping for benefit)

beneficio (early stopping for benefit)

(30)

Fattori che possono condizionare

positivamente la qualità delle evidenze

• Associazione intervento-outcome (dimensione dell’effetto) ( )

• Gradiente dose-risposta

• Possibili fattori di confondimento e bias (in relazione all’effetto)

all effetto)

(31)

Criteri per l’aumento (upgrading) o la diminuzione (downgrading) del giudizio di qualità (alta, moderata, bassa, molto bassa) delle prove

Qualità delle prove

Disegno di studio

Diminuire la categoria di attribuzione se: Aumentare la categoria di attribuzione se:

ALTA Studio Qualità dello studio: Associazione intervento-

ALTA Studio

randomizzato

Qualità dello studio:

- 1 Limiti gravi - 2 Limiti molto gravi Coerenza (Consistency):

1 Incoerenza dei risultati di studi diversi

Associazione intervento- outcome:

+ 1 Associazione forte (se RR*

>2 o RRR* 50% sulla base di prove concordanti da due o più MODERATA - 1 Incoerenza dei risultati di studi diversi

sullo stesso quesito

- 2 Grave incoerenza dei risultati di studi diversi sullo stesso quesito

p p

studi osservazionali, senza alcun fattore di confondimento

plausibile)

+ 2 Associazione molto forte

( * * )

MODERATA

BASSA Studio Trasferibilità diretta dei risultati (directness):

- 1 Alcune incertezze - 2 Importanti incertezze

(RRR* 80% o RR* 5-10)

+ 1 Evidenza di gradiente dose- risposta

BASSA Studio

osservazionale

MOLTO

Imprecisione o dati insufficienti (sparse data)

- 1 Grave imprecisione - 2 Molto grave

+ 1 Tutti i possibili fattori di confondimento e bias

avrebbero ridotto l’effetto

osservato (o avrebbero suggerito MOLTO

BASSA

imprecisione

Pubblicazione selettiva dei dati (Publication and reporting bias):

- 1 Fortemente sospettabile

( gg

un effetto spurio se non si fosse osservato alcun effetto)

p

- 2 Molto fortemente sospettabile

* RR = Risk ratio; RRR = Riduzione del rischio relativo

(32)

Forza della raccomandazione Forza della raccomandazione

Quanto siamo sicuri che gli effetti benefici derivanti dal seguire la raccomandazione superano i potenziali rischi

Effetti positivi

• Benefici sulla salute

Effetti negativi

• Rischi sulla salute

M i i

• Minor impegno

assistenziale (burden)

• Risparmi

• Maggiore impegno

assistenziale (burden)

• Maggiori costi

• Risparmi Maggiori costi

(33)

Forza di una raccomandazione

Anche se il grado di sicurezza (degli effetti benefici e dei rischi di un intervento) è un continuum il GRADE ha proposto di

di un intervento) è un continuum, il GRADE ha proposto di usare due categorie: direzione (positiva e negativa) e forza (forte e debole)

• Raccomandazione forte: il panel

ritiene che gli effetti desiderabili della aderen a a na raccomanda ione

Si raccomanda

 

aderenza a una raccomandazione siano superiori agli effetti

indesiderabili

 

indesiderabili

• Raccomandazione debole: il panel

conclude che gli effetti desiderabili Si suggerisce della aderenza a una  

raccomandazione probabilmente sono superiori a quelli indesiderabili

  sono superiori a quelli indesiderabili,

ma non ne è sicuro.

(34)

Implicazioni di una raccomandazione forte

• Pazienti: La maggior parte dei pazienti ben informati vorrebbero ricevere l’intervento

raccomandato

• Clinici: La maggior parte dei pazienti

• Clinici: La maggior parte dei pazienti dovrebbe ricevere l’intervento

raccomandato

• Policy makers: Policy makers: La raccomandazione La raccomandazione potrebbe diventare uno standard e un possibile indicatore

possibile indicatore

(35)

Conclusioni

• Clinici e decisori hanno bisogno di sintesi: g

– Qualità delle evidenze

– Rapporto benefici/rischi, fattibilità/accettabilità, valori pp , , e preferenze, uso delle risorse

– Forza della raccomandazione

• Regole esplicite Regole esplicite

– Trasparenti e informative per il lettore

• GRADE

Semplice trasparente sistematico

– Semplice, trasparente, sistematico

– … in via di progressiva adozione

(36)

Conclusioni: PERCHE’ IL GRADE ?

 non è semplicemente uno strumento per “dare un voto” alla qualità delle prove scientifiche e definire meccanicamente la forza delle

definire meccanicamente la forza delle raccomandazioni

 ha introdotto criteri espliciti per ridurre o aumentare il grading di qualità delle prove

scientifiche (cioè di definire quanto ci sentiamo sicuri riguardo a una stima su benefici e rischi)

 ha introdotto soglie (flessibili) della dimensione di un beneficio

di un beneficio

(37)

Un esempio

(38)

(39)

(40)

(41)

(42)

(43)

Tolcapone Tolcapone

Vs Vs.

entacapone

(44)

1 RCT reperito

(45)

Table of evidence

(46)

Table of evidence Table of evidence

Qualità delle prove p Sintesi dei risultati

(47)

(48)

ALTA Studio

randomizzato

p p

plausibile)

( * * )

MODERATA

(RRR* 80% o RR* 5-10)

osservazionale

MOLTO

BASSA

imprecisione

( gg

p

(49)

dati mancanti gestiti con LOCF, che espone al

rischio di bias specie se la proporzione dei

rischio di bias, specie se la proporzione dei

dati mancanti è alta (in questo caso 20% per

ciascun braccio).

(50)

Downgrading: ‐1

g g

ALTA Studio

randomizzato

p p

plausibile)

( * * )

MODERATA

(RRR* 80% o RR* 5-10)

osservazionale

MOLTO

BASSA

imprecisione

( gg

p

(51)

Campione poco numeroso con rilevante

perdita al follow up Non consente di trarre

perdita al follow up. Non consente di trarre

conclusioni.

(52)

Downgrading: ‐2

g g

ALTA Studio

randomizzato

p p

plausibile)

( * * )

MODERATA

(RRR* 80% o RR* 5-10)

osservazionale

MOLTO

BASSA

imprecisione

( gg

p

(53)

(54)