SINTESI DEI DATI Raccolta, comparazione e riepilogo dei risultati dei singoli studi inclusi in una revisione.

(1)

PROLOGO Protocollo CAPITOLO 1 Quesito CAPITOLO 2 Background CAPITOLO 3 Ricerca degli studi CAPITOLO 4 Selezione degli studi CAPITOLO 5 Valutazione critica

degli studi CAPITOLO 6 Estrazione dei dati CAPITOLO 7 Sintesi e analisi dei

dati CAPITOLO 8 EPILOGO

SINTESI DEI DATI Raccolta, comparazione e riepilogo dei

risultati dei singoli studi inclusi in una revisione.

SINTESI DEI DATI

QUANTITATIVE: uso di tecniche formali statistiche come le meta analisi

NARRATIVE: quando le prime non sono possibili discussione delle caratteristiche degli studi e dei loro risultati

CONTENUTO

Confrontare i dati estratti

Considerare la forza delle evidenze

Esplorare la coerenza degli effetti osservati tra gli studi

Investigare possibili ragioni di incongruenza.

Trarre affidabili conclusioni dal corpo di evidenze assemblato.

QUALE APPROCCIO

Dipende dal quesito e dalla tipologia di studi che si prevede saranno trovati

Dovrebbe essere pianificata nel protocollo.

L’approccio narrativo e quantitativo non sono esclusivi.

Componenti della sintesi narrativa possono essere incorporati in una revisione quantitativa

Una revisione principalmente narrativa può incorporare alcune analisi statistiche

SINTESI NARRATIVE

Approccio testuale che fornisce un’analisi della relazione all’interno e tra gli studi e una valutazione generale della

forza delle evidenze.

o Gli studi sono troppo diversi sia dal punto di vista clinico che metodologico per essere combinati in una meta analisi

o Interpretare le evidenze raccolte dove esista una meta-analisi

(2)

SINTESI DESCRITTIVA INIZIALE

Sia le sintesi narrative che quantitative dovrebbero cominciare con un riepilogo descrittivo chiaro degli studi inclusi. (tabelle)

Tipologia dello studio

Tipologia di intervento

Numero di partecipanti,

Riepilogo delle caratteristiche dei partecipanti

Gli outcome

Le misure di outcome.

esempio

Michael Klompas et al Reappraisal of Routine Oral Care With Chlorhexidine Gluconate for Patients Receiving Mechanical Ventilation Systematic Review and Meta-analysis JAMA Intern Med..2014.359 Published online March 24, 2014.

SINTESI NARRATIVE

Essendo un processo soggettivo anche loro dovrebbero essere redatta con un processo rigoroso e trasparente.

Un progetto dell’Economic and Social Research Council (ESRC) http://www.esrc.ac.uk

Linea guida sulla conduzione di sintesi narrative nelle revisioni sistematiche.

Recepita dal Centre for Review and Dissemination, University of York

Centre for Reviews and Dissemination, University of York 2009 Systematic Review. CDR’s guidance for undertaking reviews in health care. 48-53

GUIDANCE...

Jennie Popay, Helen Roberts, Amanda Sowden, Mark Petticrew, Lisa Arai, Mark Rodgers, Nicky Britten With Katrina Roen and Steven Duffy. 2006 Guidance on the Conduct of Narrative Synthesis in Systematic Reviews: A Product from the ESRC Methods Programme

(http://www.lancaster.ac.uk/shm/research/nssr/research/dissemination/publications.php)

La guida offre sia una struttura generale che specifici strumenti e tecniche per aumentare trasparenza e affidabilità delle sintesi narrative

STRUTTURA GENERALE

Sviluppare una teoria su come lavora l’intervento, perché e per chi

Sviluppare una sintesi preliminare dei risultati dei singoli studi

Esplorare le relazioni all’interno e tra gli studi

Valutare la solidità delle evidenze

Non per forza sequenziali ma neanche totalmente indipendenti

Non obbligatorie ma giustificare la selezione nella sezione di metodi della revisione

SCHEMA GENERALE

(3)

SVILUPPARE UNA TEORIA:

COME LAVORA L’INTERVENTO, PERCHÈ E PER CHI

Non ha lo stesso ruolo in tutte le revisioni

Scarso in una revisione su l’effetto di un farmaco perché i meccanismi di azione saranno già stati spiegati.

Importante in una revisione che valuta l’effetto di un programma psicosociale o educativo (catena causale che collega l’intervento all’outcome d’interesse)

FORMA DESCRITTIVA O UN DIAGRAMMA

Teachers’ salaries increase

Teacher morale improves

Classroom climate becomes more

pleasant

Teachers give up their second jobs and put full energies into

teaching

Abler people are attracted to teaching

Teachers work harder at teaching and put

more effort into preparation and pedagogy

Teachers develop more congenial relationships

with students

Teachers prepare lessons more

thoroughly

School districts hire abler teachers

Students understanding of their material

improves

Students seek to maintain good relations

with their teachers

Teachers employ a greater variety of pedagogical strategies

Abler teachers teach more effectively

Students work harder Teachers teach more effectively

Increased student achievement

Figure 3. Example of a Programme Theory model: mechanisms by which higher teachers’ pay may be linked to increased student achievement (from Weiss, 1998)

Jennie Popay, et al. 2006 Guidance on the Conduct of Narrative Synthesis in Systematic Reviews: A Product from the ESRC Methods Programme, 13

esempio

Interventions to increase use and function of smoke alarms: implicit theory of change model

Centre for Reviews and Dissemination, University of York 2009 Systematic Review. CDR’s guidance for undertaking reviews in health care. 50

SVILUPPARE UNA SINTESI PRELIMINARE DEI RISULTATI DEI SINGOLI STUDI Riunire, organizzare e descrivere i risultati degli studi

Descrizione testuale degli studi Paragrafo descrittivo per ogni studio incluso Raggruppamenti e cluster Raggruppamento studi inclusi per descrizione e

schemi interni e tra gli studi.

Tabulazione Rappresentazione visiva dei dati Trasformare i dati in una misura

comune

Dati presentati in una misura comune

Il conteggio come uno strumento di descrizione

Direzione dell’effetto, categorie, pesi e punteggi

Trasformare i dati: analisi tematiche

Identificare in modo sistematico le tematiche e/o i concetti principali

Trasformare i dati: analisi di contenuto

Convertire i dati in frequenze

ESPLORARE LE RELAZIONI ALL’INTERNO E TRA GLI STUDI

Analisi dei dati emersi dalla sintesi preliminare per identificare i fattori che potrebbero spiegare le variazioni nelle dimensione e nella direzione dell’effetto

Esplorare le relazioni tra

Le caratteristiche degli studi e i loro risultati

I risultati dei diversi studi

STRUMENTI

Grafici, frequenze, distribuzioni, forest plot ecc.

Strumenti visivi e grafici per aiutare i revisori a esplorare le relazioni all’interno e tra gli studi Variabili moderatrici e analisi

per sottogruppi

Analisi di variabili che ci si aspetta influenzino l’effetto principale esaminato nella revisione:

1.caratteristiche variabili tra gli studi (disegno, ambiente)

2.caratteristiche del campione Reticoli di idee e mappe

concettuali

Metodi visivi per aiutare a costruire raggruppamenti e relazioni

Descrizione qualitativa dei casi I dati descrittivi usati per provare a spiegare le differenze nei risultati statistici

Triangolazione tra autori, concetti e metodologia

Usare più di un punto di riferimento per spiegare il fenomeno: analisi dei dati in relazione al contesto (riferimenti disciplinari) e all’esperienza del ricercatore

(4)

VALUTARE LA SOLIDITÀ DELLE EVIDENZE

Qualità metodologica degli studi

Credibilità del processo di sintesi

Qualità e quantità delle evidenze

Il metodo di sintesi

Chiarezza/trasparenza della sua descrizione

STRUMENTI

Uso di una valutazione di validità

Sistema di grading

Riflettere in modo critico sul processo di sintesi:

informazioni sulla solidità e generalizzabilità

Metodologia usata per la sintesi, evidenze usate (possibili fonti di bias), deduzioni fatte, discrepanze e incertezze identificate, cambiamenti attesi nella tecnologia e nelle evidenze, aspetti che possono influenzare efficacia e implementazione.

Controllare la sintesi con gli autori degli studi primari

Testare la validità delle interpretazioni e quanto i dati primari supportano la sintesi

VALUTAZIONE SINTESI NARRATIVA

http://www.york.ac.uk/inst/crd/Posters/Guidance%20on%20the%20conduct%20of%20narrative%20synthesis%20 in%20systematic%20review.pdf

Objectives

• To evaluate the impact of applying guidance on the conduct of narrative synthesis to a systematic review of effects.

•To compare the results and conclusions of this guidance- led narrative synthesis with those of a published Cochrane meta-analysis of the same group of studies.

Methods

• Initially, we undertook a review of the methodological literature to develop draft guidance on the conduct of narrative synthesis in systematic reviews (see box).

•After developing a draft of the guidance, we applied it to a synthesis of 11 RCTs that had previously been included in

•Ten of the 19 “tools and techniques” described in the guidance were considered relevant and were used in the synthesis (see Figure 1).

•Both the narrative synthesis and the meta-analysis led to the conclusion that educational interventions resulted in only modest increases in smoke alarm ownership and function and that there was insufficient data on injury/burn prevention.

•Both syntheses suggested that including previously-injured children in a trial might moderate the effectiveness of a safety education intervention.

•The narrative synthesis led to recommendations for future research relating to improvements in outcome

Conclusions

• For this example, the results and conclusions of meta- analysis and guidance-led narrative synthesis of the same effectiveness studies were broadly similar.

•The availability of point estimates in subgroup and sensitivity analyses may allow the meta-analyst greater confidence to draw ‘firm’ conclusions about moderators of effects.

•The detailed scrutiny of studies allowed by narrative synthesis may provide additional insights into implications for further research.

•The guidance provides a useful framework for the conduct of narrative synthesis, particularly for increasing

Guidance on the conduct of narrative synthesis in systematic reviews:

a comparison of guidance-led narrative synthesis versus meta-analysis Rodgers M¹, Arai L², Britten N³, Petticrew M⁴, Popay J⁵, Roberts H², Sowden A¹

1CRD, University of York,²Child Health Research and Policy Unit, City University,³Peninsula Medical School, Universities of Exeter and Plymouth, 4MRC Social and Public Health Sciences Unit, University of Glasgow, ⁵Institute for Health Research, University of Lancaster

SINTESI QUANTITATIVA

Conteggio dei risultati positivi e di quelli negativi

Combinazione statistica dei risultati di due o più studi separati

CONTEGGIO

Comparare numero studi positivi con quello degli studi negativi

PROBLEMI

1)Agli studi grandi e piccoli viene dato lo stesso valore 2)Investigatori diversi possono valutare in modo diverso lo stesso studio:

Negativo per assenza significatività statistica

Positivo per piccolo effetto ma importante dal punto di vista clinico.

(5)

COMBINAZIONE STATISTICA

Combinazione statistica dei risultati di due o più studi separati

META-ANALISI

La meta-analisi è una tecnica clinico-statistica quantitativa che permette di combinare i dati di più studi condotti su uno stesso argomento, generando un unico dato conclusivo per rispondere ad uno specifico quesito clinico.

De Berardis Meta-analisi Lab. Epidemiologia Clinica del Diabete e delle Malattia Croniche Istituto Mario Negri. Presentazione

UN PO’ DI STORIA

Uno dei primi esempi di questo tipo di analisi risale ai primi anni del novecento ed è dovuta a Karl Pearson (matematico e statistico)

Sviluppò una tecnica statistica allo scopo di trovare un accordo per studi di piccole dimensioni che presentavano risultati divergenti;

Pearson K. Report on certain enteric fever inoculation statistics.

BMJ 1904;3:1243–6

UN PO’ DI STORIA

Il termine meta-analisi è entrato a far parte della letteratura scientifica solamente in tempi molto recenti, l’interesse intorno a questa disciplina si è manifestato sostanzialmente negli ultimi 25 anni.

Il primo uso del termine in senso statistico è del 1976 da parte di Gene V. Glass (ricercatore americano che lavora nel campo della psicologia educativa e delle scienze sociali).

Glass, G. V (1976). Primary, secondary, and meta-analysis of research.

Educational Researcher, 5, 3-8.

(6)

Da: Pingitore Giuseppe 2011 Come si legge una meta-analisi

PERCHE’ FARE UNA META-ANALISI

Fornire omogeneità a risultati di studi clinici diversi

Incrementare la potenza statistica di confronti fra campioni piccoli

Migliorare la precisione della stima dell’efficacia di una terapia

Studiare sottogruppi di pazienti nei diversi studi

Fornire indicazioni su nuovi possibili studi

FORZE DELLE META-ANALISI

Combinare dati fra un elevato numero di studi individuali

Aumentare il potere statistico per individuare differenze significative tra gli interventi

Può fornire un risultato più preciso rispetto a un singolo lavoro

Minimizza la soggettività nell’interpretazione degli studi individuali

Karen Spithoff Syntesizing the evidence November 28 2012

FORZE DELLA META-ANALISI

Evidenzia la coerenza dei risultati tra gli studi

Permette di fare considerazioni su sottogruppi di pazienti ed esplorare le differenze tra i risultati degli studi

Fornisce un risultato più generalizzabile tra i diversi ambienti

Può aiutare a velocizzare l’introduzione di un intervento efficace nella pratica clinica

DEBOLEZZE DELLE META-ANALISI

Può volerci molto lavoro

Devono essere disponibili un certo tipo di dati negli studi

La validità della meta-analisi dipende da quella degli studi inclusi (GIGO: garbage in, garbage out)

I risultati possono comunque essere inconcludenti

DEBOLEZZE DELLE META-ANALISI

Applicare i risultati ai singoli pazienti rimane un problema

I bias di pubblicazione possono gonfiare i risultati

Può dare una falsa impressione di certezza dei risultati e trascurare elementi soggettivi del processo

Può mascherare differenze importanti tra gli studi

(7)

COMPONENTI DI UNA META-ANALISI

La stima dell’effetto del trattamento

Le misure di incertezza intorno alla stima dell’effetto del trattamento

TIPOLOGIE DI META-ANALISI

Meta-analisi sui dati aggregati

Outcome dicotomici (morte)

Outcome continui (variazioni di peso)

Outcome Time to event (tempo di sopravvivenza totale)

Altri (accuratezza diagnostica)

Meta-analisi per dati individuali

Raccolta dei dati di singoli pazienti dai trial originali e rianalisi i risultati

TIPOLOGIE DI OUTCOME: DICOTOMICI

Esempio: morte, infezione, reintervento Misure più comuni

Odds ratio (OR)

Odds gruppo A / Odds gruppo B

Rischio relativo (RR)

Rischio gruppo A / Rischio gruppo B

Rischio attribuibile (RA)

Rischio gruppo A – Rischio gruppo B

TIPOLOGIE DI OUTCOME: CONTINUI

Esempio: giorni di degenza, dolore, variazioni di peso

Misure più comuni

1)

Differenza tra medie ( gli studi hanno outcome con misure confrontabili: stesse scale)

Media gruppo A – Media gruppo B

2)

Differenza delle medie standardizzata (gli studi hanno outcome misurati in modo diverso: differenti scale)

1)Media gruppo A – Media Gruppo B / Media ponderata della DS del gruppo A e del gruppo B

TIPI DI OUTCOME: TIME-TO-EVENT

Spruance SL, Reid JE, Grace M, Samore M. Hazard Ratio in Clinical Trials. Antimicrob Agents and Chemotherapy Aug 2004:2787-2792.

Effect of acyclovir on time to resolution of postherpetic neuralgia

TIPI DI OUTCOME: TIME-TO-EVENT

Esempio: sopravvivenza, tempo alla ricaduta

1)

Due tipi di informazioni

Se un evento ha avuto luogo

Punto nel tempo dove avviene l’evento o se il paziente è uscito dallo studio

1)

Due tipi di approcci meta analitici

Riassuntivo con hazard ratio (HR)

Tenere conto dei “censurati” e includere tutti i dati

Convertire i dati in outcome binari

Necessita i dati di tutti i partecipanti al punto definito nel tempo (p.e. sopravvivenza a un anno). Non bisogna tener conto dei censurati

(8)

52/97 69/101 -11.3 27.6 693/927 720/915 -35.0 315.6

0.0 0.5 1.0 1.5 2.0

Treatment better Treatment worse Deaths/Patients

Treatment Control O-E variance O-E

Stima dell’effetto I.C. 95%

Stima cumulativa

Forest Forest plot plot

De Berardis Meta-analisi Lab. Epidemiologia Clinica del Diabete e delle Malattia Croniche Istituto Mario Negri.

META-ANALISI: RAPPRESENTAZIONE GRAFICA

PESO

Ai diversi studi viene attribuito un peso differente a seconda della numerosità del campione studiato. più è grande uno

studio e più esso influenzerà il risultato globale della meta-analisi

Karen Spithof Synthesizing the evidence 28/12/2012 Presentazione

META-ANALISI

Il principale presupposto di una meta analisi è che gli studi siano sufficientemente simili per poter combinare i risultati.

CIOE’

Non siano eterogenei

ETEROGENEITÀ

Variabilità negli effetti del trattamento tra gli studi

STATISTICA: sono stati utilizzati metodi statistici differenti nei vari studi

CLINICA: differenze relative ai pazienti, metodologie di somministrazione dei trattamenti o dei controlli, valutazione degli esiti.

PERCHÈ È IMPORTANTE

Se gli studi sono eterogenei i risultati potrebbero non essere significativi

Se la differenza tra gli studi non è dovuta solo al caso, la combinazione dei trial potrebbe non essere la risposta giusta al quesito che ci siamo posti.

ETEROGENEITÀ: IDENTIFICAZIONE

1) Ispezione visiva dei dati

Accordo tra gli studi

2) Valutazione della eterogeneità

Cochran’s chi square (X

²

) o Q test

Ci dice se esiste eterogeneità

Criterio comune per un’eterogeneità significativa: p<0.10

I2 (Inconsistenza)

Ci dice quanta eterogeneità c’è (% della variabilità che è dovuta alla eterogeneità piuttosto che al caso)

Criterio comune per una eterogeneità significativa (>50%)

(9)

ISPEZIONE VISIVA

Guardare come sono distribuite le linee.

Le stime dovrebbero essere sullo stesso lato

Gli intervalli di confidenza dovrebbero sovrapporsi.

Se si sovrappongono il caso rimane una spiegazioni plausibile delle differenze nella stima puntuale.

Se non si sovrappongono il caso è una spiegazione improbabile.

Intervalli di confidenza molto separati fanno pensare alla presenza di un’importante variabilità che richiede una spiegazione.

ISPEZIONE VISIVA

Funnel plot

ISPEZIONE VISUALE VALUTAZIONE DELLA ETEROGENEITÀ

TEST Q DI COCHRAN χ ²

INCONSISTENZA I ²

TEST Q DI COCHRANE

Il test valuta se le differenze tra i risultati degli studi sono compatibili solo con il caso o sono dovute a eterogeneità reale.

TEST Q DI COCHRAN

Per prima cosa bisogna calcolare i gradi di libertà (df) che corrispondono al numero degli studi inclusi nella meta-analisi – 1.

Se il test è superiore ai gradi di libertà risulta respinta l’ipotesi nulla (c’è eterogeneità).

Se il test è inferiore ai gradi di libertà risulta accettata

l’ipotesi nulla (non c’è eterogeneità).

(10)

TEST Q DI COCHRAN

(SIGNIFICATIVITÀ STATISTICA)

Confrontare i gradi di libertà e il valore del test nelle tavole di distribuzione ^χ

²

Se il test Cochran χ

²

è statisticamente significativo (generalmente p<0,1) c’è eterogeneità in modo certo.

Il livello di significatività per χ

²

è spesso stabilito a 0,1 per il basso potere che questo test ha di individuare l’eterogeneità

NO ETEROGENEITÀ SIGNIFICATIVA

ETEROGENITÀ SIGNIFICATIVA

TEST DI COCHRAN

Come test per valutare l’eterogeneità ha un basso potere soprattutto se il numero di studi e piccolo

Ha invece troppo potere quando il numero degli studi è alto.

INCONSISTENZA

Valuta il grado di influenza della eterogeneità sulle conclusioni della meta analisi.

I ² = 100x(Q-df)/Q

Q è la Q di Cochran, il test di eterogeneità, e df i suoi gradi di libertà

Julian P T Higgins, Simon G Thompson, Jonathan J Deeks, Douglas G Altman Measuring inconsistency in meta-analyses BMJ 2003 327 557-560

INCONSISTENZA

I valori vanno da 0% a 100% dove 0 indica nessuna eterogeneità osservata.

1)

0 - 40 potrebbe non essere importante

2)

30 - 60 può rappresentare un’eterogeneità moderata

3)

50 - 90 può rappresentare eterogeneità

4)

75 - 100 considerevole eterogeneità

NO ETEROGENEITÀ SIGNIFICATIVA

ETEROGENITÀ SIGNIFICATIVA

(11)

CHE COSA FARE QUANDO C’È ETEROGENEITÀ QUATTRO APPROCCI

Ignorarla e usare il modello a effetti fissi

Fare un test e non procedere alla meta-analisi se c’è eterogeneità

Incorporarla e usare il modello a effetti random

Spiegarla facendo analisi per sottogruppi o meta regressioni

MODELLI DI META-ANALISI

Due modelli principali per la sintesi dei risultati degli studi

Modello a effetti fissi

Modello a effetti random

Gli approcci differiscono su come combinano e pesano gli studi

MODELLO A EFFETTI FISSI

Si ipotizza che ci sia un vero valore generale uguale per ogni studio. La variabilità dei risultati fornita dalla meta-analisi è influenzata solo dal caso.

MODELLO A EFFETTI RANDOM

Si ipotizza che ogni singolo studio abbia il proprio vero effetto e permette di analizzare le differenze tra gli studi.

QUALE MODELLO USARE

I risultati sono simili quando vi sono piccole differenze nei risultati degli studi

I risultati possono essere molto differenti quando ci sono pochi studi e/o le dimensioni degli studi sono molto diverse

Spesso i risultati sono simili ma quelli del modello a effetti random hanno degli intervalli di

confidenza più ampi.

QUALE MODELLO USARE

Alcuni ritengono che la eterogeneità sia inevitabile per cui dovrebbe sempre essere usato un modello a effetti random

Altri dicono che solo il modello a effetti fissi abbia senso e se non si può dare una spiegazione all’eterogeneità, non bisognerebbe fare la meta- analisi

Se non si è sicuri può valer la pena fare tutti e due

Bisognerebbe prendere la decisione a priori

(12)

Da: Pingitore Giuseppe 2011 Come si legge una meta-analisi

ANALISI PER SOTTOGRUPPI

Vengono condotte meta-analisi separate su sottogruppi

Caratteristiche dei partecipanti

Caratteristiche del trattamento e dell’intervento

Modalità di conduzione dello studio

Qualità metodologica dello studio

L’analisi per sottogruppi dovrebbe essere pianificata in anticipo per evitare I bias

ESEMPIO

Karen Spithof Syntesizing the evidence November 28 2012 Da: Pingitore Giuseppe 2011 Come si legge una meta-analisi

ANALISI DI SENSIBILITÀ

Misura la forza dei risultati in rapporto a problemi fondamentali contenuti negli studi

Ricalcolare la stima globale di effetto escludendo i fattori che potrebbero avere un’influenza particolare sul risultato della meta-analisi

Uno studio di grosse dimensioni

Studi di bassa qualità (non c’è randomizzazione, alto rischio di bias)

Uno studio con risultati molto diversi dagli altri

Sottogruppi di pazienti

Risultati coerenti tra loro rafforzano l'evidenza e la generalizzabilità dei risultati osservati

BIAS DI PUBBLICAZIONE

• Diversa probabilità di pubblicazione di risultati positivi rispetto a quelli negativi

Se non c’è il bias il funnel avrà un aspetto simmetrico

Se c’è il bias il funnel sarà asimmetrico o distorto

Una meta-analisi può individuare ma non correggere

bias di pubblicazione

(13)

FUNNEL PLOT

1) Simmetrico: assenza di bias

2) Asimmetrico: bias di pubblicazione, mancano gli studi a basso campione (cerchietto bianco) (stima spostata verso sinistra)

3) Asimmetrico: presenza di bias dovuto a scarsa qualità degli studi a basso campione

Cipriani Andrea, Barbui Corrado Dalle revisioni narrative a quelle sistematiche e alle metanalisi, per un approccio moderno alla valutazione dei trattamenti farmacologici in psichiatria NÓOς