Valutazione critica della ricerca qualitativa
8 e 9 giugno 2016
daniela.mosci@aosp.bo.it
LA
VALUTAZIONE CRITICA
CRITICAL APPRAISAL
2
2
COS’È LA VALUTAZIONE CRITICA
«Il processo sistematico di esame delle evidenze della ricerca per valutare la sua VALIDITA’, i suoi RISULTATI, la sua RILEVANZA, prima di utilizzarle per guidare la propria pratica»
(Hill & Splittlehouse, 2003).
3
3
In cosa consiste la valutazione critica?
Pesare le evidenze per valutare se sono utili nel processo di assunzione delle decisioni
Fare una valutazione bilanciata tra i punti di forza ed i difetti dello studio
Valutare il metodo applicato e i risultati
Si tratta di una competenza che dovrebbe fare parte delle abilità di tutti i professionisti ed essere applicata quotidianamente
4
Cosa serve per fare la valutazione critica
Buon senso
La checklist appropriata allo studio che vogliamo leggere
5
Presupposti
ALLA VALUTAZIONE CRITICA
Gli studi clinici di buona qualità corrispondo a specifici criteri prestabiliti, che si modificano in relazione al tipo ed al disegno degli studi.
Gli Evidence Users, utilizzando questi criteri, possono capire se lo studio in esame sia, o no, di buona qualità.
Esistono diverse check list, che orientano nella lettura degli studi ed aiutano a deciderne la rilevanza
6 6
DIVERSI LIVELLI DI
VALUTAZIONE della ricerca qualitativa
Preliminare (mi interessa? E’ uno studio?) Tecnica (è fatto bene?)
Teorica (c’è coerenza tra le dimensioni teorica- filosofica e quella operativa della ricerca?)
7
7
Attenzione
Prima di decidere se leggere o meno tutto lo studio, leggetene l’abstract.
Se lo studio riporta conclusioni scontate, non ha senso spendere energie per valutarne il rigore.
8
QUALI SONO I CRITERI CHE GLI STUDI DEVONO POSSEDERE PER ESSERE UTILI?
9
9
CRITERIO RICERCA QUANTITATIVA
RICERCA QUALITATIVA
Valore di verità Validità interna Credibilità
Applicabilità
Validità esterna Trasferibilità
Coerenza
Affidabilità Affidabilità (Dependability)
Neutralità
Oggettività Confermabilità
VALORE DI VERITÀ - Riguarda la capacità dello studio di cogliere la verità.
A quale verità ambisce la ricerca qualitativa?
A cogliere e rappresentare la realtà così come è vissuta dai suoi protagonisti.
10
CREDIBILITÀ
10Dato che secondo il paradigma costruttivista non esiste un’unica realtà, il valore di verità, è perseguito nella misura in cui lo studio riporta la realtà percepita e vissuta dai partecipanti nel modo più adeguato possibile.
VALORE DI VERITÀ - Riguarda la capacità dello studio di cogliere la verità.
RICERCA QUANTITATIVA VALIDITA’ INTERNA
I cambiamenti delle variabili dipendenti sono legati ai cambiamenti delle variabili indipendenti ed è ridotta l’azione di variabili di confondimento
(attraverso il gruppo di controllo e la
randomizzazione) (Krefting 1991).
RICERCA QUALITATIVA CREDIBILITÀ
Dato che secondo il paradigma costruttivista non esiste un’unica realtà, il valore di verità, è
perseguito nella misura in cui lo studio riporta la realtà percepita e vissuta dai partecipanti nel modo più adeguato possibile.
11
11
VALORE DI VERITÀ - Riguarda la capacità dello studio di cogliere la verità.
RICERCA QUANTITATIVA VALIDITA’ INTERNA
I cambiamenti delle variabili dipendenti sono legati ai cambiamenti delle variabili indipendenti ed è ridotta l’azione di variabili di confondimento (attraverso il gruppo di controllo e la randomizzazione) (Krefting 1991).
RICERCA QUALITATIVA CREDIBILITÀ
Dato che secondo il paradigma costruttivista non esiste un’unica
realtà, il valore di verità, è perseguito nella misura in cui lo studio riporta la realtà percepita e vissuta dai partecipanti nel modo più adeguato possibile. 12
12
Strategie a supporto della credibilità
Esperienze varie e prolungate
La credibilità richiede immersioni adeguate nei setting di ricerca per identificare e verificare i modelli ricorrenti.
Una strategia importante è quella di passare molto tempo con gli informatori (Lincoln & Guba [1985]
chiamano questo prolonged engagement), che consente ai ricercatori di raccogliere informazioni e consente agli informatori di diventare avvezzi al ricercatore.
Tanto quanto?
Non esistono regole predefinite.
Krefting (1998) porta i seguenti esempi:
◦- studio etnografico sulla disabilità: 80 interviste da 90 minuti e 20 osservazioni partecipate di 22 persone con danno cerbrale e loro famigliari.
◦- studio di caso: 20 ore di intervista e 50 pagine autobiografiche.
Time sapling
Consiste nel definire e nel campionare tutti i momenti rilevanti in cui effettuare l’osservazione (ora del giorno, giorno della settimana, giorno del mese, mese dell’anno).
Member checking
Consiste nel presentare agli informatori
l’elaborazione del materiale, al fine di verificare di avere correttamente compreso ed interpretato.
GIMBE® Altro esempio: slide 42 17
Peer examination
È un debriefing con altri ricercatori non coinvolti nella ricerca.
La presentazione da parte del ricercatore del proprio lavoro ad altri, migliora la capacità di valutare criticamente il lavoro svolto, permettendo di
discutere:
◦delle scelte metodologiche
◦dei risultati che scaturiscono dalle analisi (categorie).
GIMBE® D’dlima 2013
Tecnica di intervista
La presenza di una guida all’intervista contribuisce alla credibilità perché permette al ricercatore di riprendere le domande, riformularle, approfondirle.
TRIANGOLAZIONE
Triangolazione dei tipi di dati e delle fonti
Foley et al 2012
Riflessività - giornale sul campo
La riflessività si riferisce alla valutazione dell’influenza del background, delle percezioni e degli interessi nel processo di ricerca qualitativa che sono propri dei ricercatori (Ruby, 1980).
Il ricercatore che li dichiara ne può prendere le distanze.
Si tratta di un aspetto fondamentale nell’ambito della ricerca fenomenologica descrittiva (bracketing).
Le idee che non sappiamo di possedere, ci possiedono Le idee che non sappiamo di possedere, ci possiedono
Esempio: note sul campo
Beck 2002
Coerenza strutturale
Si realizza se il ricercatore riesce a spiegare l’apparente incoerenza tra i dati e la loro
interpretazione, legandoli in una spiegazione che li integri.
Credibilità del ricercatore
Il ricercatore è uno strumento di ricerca.
Durante la lettura del testo dovrebbe essere descritta la sua expertise rispetto al tema di ricerca, al contesto ed alle tecniche qualitative.
APPLICABILITA’ - Riguarda il grado con cui i risultati possono essere applicati ad altri contesti, settings o ad altri gruppi
RICERCA QUANTITATIVA VALIDITA’ ESTERNA
Capacità di generalizzare il risultato dello studio dal campione in studio alla popolazione allargata. Il suo fondamento sta nella modalità di
campionamento (Payton 1979).
RICERCA QUALITATIVA TRASFERIBILITA’
La ricerca qualitativa è trasferibile quando i suoi risultati si adattano a contesti al di fuori del setting dello studio, caratterizzati da un grado di similarità ad esso (Lincoln e Guba 1985).
27
27
Strategie a supporto della trasferibilità
Si garantisce quando il ricercatore fornisce una accurata descrizione del setting in cui ha effettuato la ricerca, in modo che l’Evidence User abbia gli elementi per deciderne l’impiego.
28 28
La trasferibilità è una dimensione poco rilevante per il ricercatore. Lo è molto di più per il lettore della ricerca.
Strategie a supporto della trasferibilità
29 29
Nominated sample
I soggetti reclutati nello studio sono individuati da altri informatori.
Comparazione del campione per caratteristiche
demografiche
Il campione è costruito in modo da comprendere persone con tutte le caratteristiche demografiche del gruppo studiato, in modo da rendere trasferibili i risultati.
GIMBE®
GIMBE® Foley et al 2012
CONSISTENCY - Riguarda il grado con cui ripetendo lo studio con gli stessi partecipanti, o in un setting simile, si otterrebbero uguali risultati
Valuta la concordanza dei risultati, sulla base delle valutazioni effettuate da altri ricercatori/membri del team di ricerca
Questa dimensione valuta la riproducibilità o unicità dei risultati dello studio.
33
AFFIDABILITA’
33
COERENZA (consistency) - La replicazione della ricerca con gli stessi soggetti ed in contesti simili, deve condurre agli stessi risultati.
RICERCA QUANTITATIVA AFFIDABILITA’(RELIABILITY)
La replicazione dello studio conduce agli stessi risultati.
RICERCA QUALITATIVA AFFIDABILITA’ (DEPENDABILITY)
Valuta la concordanza dei risultati, sulla base delle valutazioni effettuate da altri ricercatori/membri del team di ricerca
Questa dimensione valuta la riproducibilità o unicità dei risultati dello studio.
34
34
Affidabilità
La variabilità dei dati deve essere tracciabile (giustificata).
La spiegazione della variazione dei dati, può riferirsi ad un aumento della capacità di comprensione da parte del ricercatore, all’affaticamento degli informatori, ai cambiamenti della situazione di vita degli informatori.
Un’altra fonte di variabilità dei risultati deriva dai casi estremi (o intensi). Si tratta di variabilità che
nell’ambito della ricerca qualitativa vengono apprezzati e valorizzati.
Strategie a supporto della affidabilità
36 36
Audit
Il processo di ricerca deve essere tracciabile.
L’audit si realizza quando un ricercatore, estraneo alla ricerca, può ricostruire il percorso realizzato, condividendo la razionalità delle decisioni intraprese ed ottenendo gli stessi risultati. Questa strategia aumenta l’affidabilità della ricerca.
Esempio di audit
GIMBE® Foley et al 2012
Esempio di audit
GIMBE®
Beck 2002
Stepwise replication
2 ricercatori (o due gruppi dello stesso team) analizzano in modo indipendente i dati. Una volta terminata la procedura si confrontano per verificare di essere arrivati agli stessi risultati.
GIMBE®
Code and recode procedure
Dopo aver codificato una parte di dati, il ricercatore dovrebbe aspettare almeno 2
settimane e poi ritornare e ricodificare gli stessi dati e comparare i risultati.
GIMBE®
GIMBE®
GIMBE® Foley et al 2012
NEUTRALITÀ - I risultati della ricerca non sono influenzati dai soggetti che compiono la ricerca.
RICERCA QUANTITATIVA OGGETTIVITA’
Si realizza con il rigore metodologico
(randomizzazione, utilizzo di strumenti validi) ed assicurando che il ricercatore si rimanga scientificamente distante rispetto ai soggetti
coinvolti nella ricerca.
RICERCA QUALITATIVA CONFERMABILITA’
I risultati sono funzione unicamente dei
partecipanti e delle condizioni della ricerca e non di altri bias,
motivazioni o prospettive (Guba, 1981). Riguarda i dati e non i soggetti.
43
43
Strategie a supporto della confermabilità
44 44
GIMBE®
GIMBE®
GIMBE® Foley et al 2012
Mettiamo tutto insieme
CRITICAL APPRAISAL SKILLS PROGRAMME (CASP)
DARE UN SENSO ALLE EVIDENZE
10 DOMANDE CHE VI AIUTANO A DARE UN SENSO ALLA RICERCA QUALITATIVA
47
http://www.casp-uk.net/wp-content/uploads/2011/11/CASP_Qualitative_Appraisal_Checklist_14oct10.pdf
DOMANDE PRELIMINARI
1. C’è una enunciazione chiara degli obiettivi della ricerca?
Considera:
◦qual’era l’obiettivo della ricerca
◦perché è importante
◦la sua rilevanza
48
DOMANDE PRELIMINARI
2. E’ appropriata una metodologia qualitativa?
Considera:
◦se il ricercatore cerca di interpretare o fare luce sulle azioni o le esperienze soggettive dei partecipanti alla ricerca.
49
49
VALE LA PENA CONTINUARE?
Se lo studio è di nostro interesse e l’utilizzo di un disegno qualitativo è appropriato rispetto
all’obiettivo dello studio possiamo continuare.
Diversamente passiamo oltre.
50
50
3. IL DISEGNO DI RICERCA ERA APPROPRIATO PER RISPONDERE AGLI OBIETTIVI DELLA RICERCA?
Considera:
- se il ricercatore ha giustificato il disegno della ricerca (ad esempio ha discusso come ha deciso quale metodo utilizzare?)
51
51
PER OGNI DOMANDA UN DISEGNO
52
Domanda focalizzata su Disegno
•Esperienza vissuta
•Interpretazione di un significato
Fenomenologia
•Spiegare un problema; elaborare una teoria che descriva un processo
Grounded Theory
•Descrizione di un fenomeno e dei suoi fattori influenti
Descrizione qualitativa
•Descrivere una cultura, comprendere modelli, rituali, credenze
Etnografia
•Descrizione, esplorazione, spiegazione Case study 52
4. LA STRATEGIA DI RECLUTAMENTO ERA APPROPRIATA IN BASE AGLI OBIETTIVI DELLA RICERCA?
Guardare:
◦Se descritta la modalità di campionamento e se è coerente con il disegno.
◦Verificare la descrizione dei criteri di inclusione.
◦Se la numerosità del campione è coerente al disegno.
53
53
Strategie di campionamento
GIMBE®
APPROCCIO STRATEGIA DI CAMPIONAMENTO
NUMEROSITA’
Fenomenologia Campionamento propositivo omogeneo
Circa 5-20 informatori
Grounded theory Campionamento teoretico:
massima variazione, casi confermanti o disconfermanti
Circa 20-50 informatori
Etnografia Campionamento
opportunistico o a palla di neve
Circa 10-20 informatori
Descrizione qualitativa Campionamento propositivo Circa 15 informatori
5. I DATI SONO STATI RACCOLTI IN MODO DA FOCALIZZARE IL TEMA DI RICERCA?
Considera:
◦se il setting per la raccolta dati era giustificato
◦se è chiaro come i dati sono stati raccolti (ad esempio con un focus group, con interviste semistrutturate ecc.)
◦se il ricercatore ha giustificato i metodi scelti
◦se il ricercatore ha reso espliciti i metodi (ad esempio per il metodo dell’intervista, è indicato come sono state condotte le interviste, hanno utilizzato una guida all’intervista?)
◦se i metodi sono stati modificati durante lo studio. Se è così, il ricercatore ha spiegato come e perché?
◦se la forma dei dati è chiara (ad esempio registrazione su nastro, materiale video, annotazioni)
◦se il ricercatore ha discusso la saturazione dei dati.
55 55
DISEGNO DI RICERCA &
METODI DI RACCOLTA DATI
Disegno Metodo di raccolta dati
Fenomenologia Interviste (1:1), documenti personali (lettere, blogs, diari), fotovoice.
Grounded theory Interviste, osservazioni, documenti, fotografie
Descrizione qualitativa – Case Study
Focus groups, Interviste (1:1), documenti, tutte le strategie di raccolta dati
Etnografia Osservazione, Artefatti, Interviste informali 1:1 con informatori chiave
56 56
6.È STATA ADEGUATAMENTE
CONSIDERATA LA RELAZIONE TRA IL RICERCATORE E I PARTECIPANTI?
Considera se è chiaro:
◦se il ricercatore ha esaminato criticamente il proprio ruolo, i bias potenziali e l’influenza durante:
◦la formulazione delle domande di ricerca
◦la raccolta dati, compreso il reclutamento del campione e la scelta del luogo
◦come il ricercatore ha risposto agli eventi durante lo studio e se ha considerato le implicazioni di qualsiasi cambiamento al progetto di ricerca.
57 57
7. I PROBLEMI ETICI SONO STATI PRESI IN
CONSIDERAZIONE?
Considera:
◦Se ci sono dettagli sufficienti su come la ricerca è stata spiegata ai partecipanti, perché il lettore valuti se siano stati mantenuti standard etici.
◦Se il ricercatore ha discusso i temi sollevati dallo studio (ad esempio temi relativi al consenso informato,
confidenzialità dei dati raccolti, o come sono stati gestiti gli effetti dello studio sui partecipanti durante e dopo lo studio).
◦Se il protocollo dello studio è stato approvato o sottoposto all’attenzione di un comitato etico.
58 58
8. L’ANALISI DEI DATI È STATA SUFFICIENTEMENTE
RIGOROSA?
Considera:
se c’è una descrizione approfondita del processo di analisi
se è stata utilizzata un’analisi dei temi. Se sì, è chiaro come sono stati individuati dai dati le categorie ed i temi?
Se il ricercatore spiega come i dati presentati sono stati selezionati dal campione originale per dimostrare il processo di analisi
Sono presentati dati sufficienti per supportare i risultati
Fino a che punto i dati contraddittori sono stati presi in considerazione Se il ricercatore ha esaminato criticamente il proprio ruolo, i bias potenziali e l’influenza durante le analisi e la selezione dei dati per la presentazione
59
59
ANALISI DEI DATI,
VALUTAZIONE DEI METODI
Disegno Autori che hanno
descritto il metodo di analisi dei dati
Fenomenologia Collaizzi, Van Manen Grounded theory Glaser, Strauss & Corbin
, Charmaz
Descrizione qualitativa Sandelonski, Thorne, altri autori rispetto alla content analysis
Case Study Yin, Stake
60
60
9. C’È UNA DESCRIZIONE CHIARA DEI RISULTATI?
Considera:
◦Se i risultati sono espliciti
◦Se c’è una adeguata discussione delle evidenze per e contro le argomentazioni del ricercatore
◦Se il ricercatore ha discusso la credibilità dei propri risultati (ad esempio attraverso la triangolazione, il members checking, più di un analista)
◦I risultati sono discussi in relazione alle domande originali di ricerca?
61
61
10. QUANTO VALORE HA LA RICERCA?
Considera:
Se il ricercatore discute il contributo che lo studio apporta alla conoscenza o alla comprensione esistente (ad esempio considera i risultati in relazione alla
pratica o alle politiche attuali, o alla letteratura rilevante basata sulle evidenze?)
Se sono identificate nuove aree in cui è necessaria la ricerca
Se i ricercatori hanno discusso se o come i risultati possono essere trasferiti ad altre popolazioni o considerano altri modi in cui la ricerca può essere usata.
62
62
Ambiti di utilizzo della ricerca qualitativa
Utilizzo strumentale Utilizzo concettuale Utilizzo simbolico
63
