La content analysis e il problema della “affidabilità” 132

L’affidabilità (reliability), rappresenta una delle caratteristiche distintive della Content Analysis, poiché assicura risultati “indipendenti dall’evento analizzato, dallo strumento utilizzato e dalla persona che ha condotto la ricerca” (Kaplan and Goldsen, 1949). Ne consegue che “per ottenere delle deduzioni valide a seguito dell’analisi del contenuto è necessario che la procedura di classificazione sia affidabile e coerente, in modo da consentire a soggetti diversi di analizzare il testo selezionato nello stesso modo” (Weber, 1990, p. 12). L’affidabilità di una misura equivale, dunque, alla sua stabilità (Bailey, 1994) ed è una condizione necessaria, ma non sufficiente della sua stessa “validità” (Krippendorff, 1980, p. 187), poiché permette di stimare la misura in cui qualunque disegno di ricerca e, quindi, qualunque parte o dato da esso risultante determina variazioni nei fenomeni reali. Nell’ambito dell’analisi del contenuto, il rispetto del parametro di affidabilità è fondamentale, poiché contribuisce a ridurre l’influenza della soggettività del ricercatore e a ottenere una valutazione sistematica e una descrizione obiettiva del contenuto comunicativo analizzato. L’affidabilità è strettamente legata alla capacità del ricercatore d’individuare le categorie e le loro definizioni in modo da favorire l’accordo in merito a quali items attribuire a una certa popolazione. Qualora quest’accordo venga a mancare, categorie e item non possono essere utilizzati poiché privi della scientificità necessaria affinché l’analisi abbia valore (Schultz, 1958, p. 512). I “problemi di affidabilità” sono spesso causa di “ambiguità nel significato delle parole, delle categorie o delle altre forme di codifica” (Weber, 1990, p. 15), proprio per questo sono state individuate le quattro principali fonti di errore che contribuiscono a minare l’affidabilità dell’analisi e cioè (Titscher et al., 2000, p. 66; Mayring 2003, p. 115; Krippendorff, 2004, p. 211): 1) Le caratteristiche delle unità di valutazione, che diventano fonte d’errore quando sono molto diverse dal materiale da analizzare e nei casi in cui vi è disaccordo sulle modalità di codifica; 2) Le proprietà delle singole categorie, che sono capaci di generare errori in mancanza di accordo sul loro stesso uso; 3) La differenziazione delle categorie, fonte accertata di errore quando le differenze sono molto ridotte. 4) Le caratteristiche dei ricercatori, cui viene imputata la mancanza di affidabilità nei casi in cui essa non può essere attribuita a una delle cause precedentemente descritte. Questi errori possono essere facilmente evitati migliorando la selezione e la formazione dei ricercatori e riducendo la durata dell’analisi. L’affidabilità rimanda, inoltre, alla riproducibilità del dato da parte di analisti diversi (Nobile, 1997), possibile a condizione che le operazioni di scomposizione e classificazione avvengano in modo “affidabile”, vale a dire rispettando un sistema preciso, standardizzato e condiviso di regole. Questa proprietà presenta tre requisiti fondamentali (Krippendorff, 1978, p. 187):

1. “Stabilità dell’analisi”, in base alla quale uno stesso ricercatore deve essere in grado di ripetere, a distanza di tempo, le stesse scelte e/o le stesse misurazioni sullo stesso contenuto e ottenere gli stessi risultati.

2. “Riproducibilità dell’analisi”, in base alla quale ricercatori diversi devono essere in grado di fare le stesse elaborazioni di un dato contenuto.

3. “Accuratezza dell’analisi”, in base alla quale le scelte degli analisti sono ottimali solo quando è rispettata una codifica standard.

Figura 20 - Elementi che concorrono a rendere affidabile l’analisi.

Fonte: Adattata da Nobile, 1997, p. 185.

L’affidabilità della codifica è un parametro che, in letteratura, ha assunto forme e caratteristiche diverse, tra cui: inter- coder e/o intra- coder reliability, interjudge reliability. L’inter-coder reliability evidenzia il livello di accordo tra ricercatori diversi impegnati nella codifica di uno stesso testo, l’intra- coder reliability, invece, mostra il grado di stabilità di una codifica effettuata da un solo ricercatore (Titscher et al., 2000). L’affidabilità di uno schema di codifica può, dunque, essere considerato un continuum che va dall’intra-rater e inter-rater reliability58_{, alla replicabilità, che rappresenta “la}

capacità di diversi gruppi di ricerca di applicare uno stesso schema di codifica affidabile” (Rourke et al., 2001, p. 7). Si parla, invece, d’interjudge reliability quando si fa riferimento alla percentuale di accordo esistente tra i diversi ricercatori impegnati nell’analisi dello stesso materiale comunicativo, che è “spesso percepita come la misura standard utilizzata per valutare la qualità di una ricerca. Un’elevata dissonanza tra i ricercatori, infatti, è solitamente indice dell’esistenza di possibili carenze nella metodologia di ricerca” (Kolbe and Burnett, 1991, p. 248).

5.2.2.1 Misurare l’affidabilità

Nell’ambito della Content Analysis per superare gli eventuali problemi di affidabilità legati alla codifica dei testi si fa spesso riferimento all’intercoder reliability, che prevede l’assegnazione di un medesimo compito (codifica) a diversi codificatori, in modo da consentire al ricercatore di capire se e quanto i costrutti analizzati sono condivisi e se i diversi codificatori possono agire “in modo affidabile” sugli stessi codici (Ryan and Bernard, 2000, p.785; Mayring, 2003, p.110). L’intercoder reliability è considerata, infatti, una misura “vicina al cuore della Content Analysis, infatti, se la sua ‘misura’ non è affidabile, l’analisi stessa perde validità e affidabilità” (Singletary, 1993, p 294.). Gli studiosi, inoltre, sono concordi nel considerarla un elemento fondamentale della Content Analysis, infatti, “uno degli obiettivi di quest’analisi è l’identificazione e la registrazione delle caratteristiche relativamente oggettive dei messaggi (o almeno delle caratteristiche intersoggettive). Di conseguenza, la mancata valutazione dell’affidabilità dei risultati rende l’analisi del contenuto priva di senso” (Neuendorf, 2002, p. 141).

58 _{L’inter-rater reliability è un parametro molto importante nell’ambito dell’analisi del contenuto, poichè} rappresenta una delle principali fonti di obiettività e affidabilità. Essa, infatti, rappresenta “il grado in cui ricercatori diversi, impegnati nella codifica di uno stesso testo, giungono alle medesime scelte di codifica” (Rourke et al., 2001, p. 6).

Questo tipo di affidabilità è considerata una condizione necessaria, ma non sufficiente, per la convalida di uno schema di codifica, poiché permette al ricercatore di parcellizzare il proprio lavoro, suddividendolo tra codificatori diversi (Neuendorf, 2002). L’intercorder reliability si basa su indici di correlazione (analisi della varianza) che rilevano il grado in cui “i valori attribuiti a valutazioni diverse non cambiano se espressi come deviazione dai loro significati” (Tinsley and Weiss, 2000, p. 98), questa misura è molto importante ai fini dell’analisi del contenuto poiché permette di ottenere dei valori attendibili “solo nel caso in cui valutazioni diverse assegnino lo stesso valore a ciascuno degli oggetti analizzati” (Tinsley and Weiss, 2000, p. 98). L’intercoder reliability è una misura particolarmente importante per i ricercatori che operano nel campo del marketing, poiché “un elevato livello di affidabilità evita che dai dati raccolti e analizzati scaturiscano cattive decisioni manageriali” (Rust and Cooil, 1994, p.11). L’affidabilità può essere calcolata in modo rigoroso utilizzando indici diversi, i più diffusi in ambito comunicativo sono: il coefficiente di affidabilità (Berelson, 1952), la

percentuale di accordo (Cohen, 1960; Lombard et al., 2002; Neuendorf, 2002), il metodo di Holsti (Holsti, 1968), il Pi di Scott (Scott, 1955), il Kappa di Choen (Choen, 1960) e l’Alpha di Krippendorff (Krippendorff, 1980). Esistono, tuttavia, altri indici utilizzati in differenti

ambiti di ricerca, tra cui: la misura dell’Ir, l’indice T, l’indice S, il coefficiente di concordanza (Bennett et al., 1954; Tinsley and Weiss, 1975; Lin, 1989; Perreault and Leigh, 1989). Il coefficiente di affidabilità è dato dal rapporto tra gli accordi di codifica e il numero totale delle codifiche realmente svolte. Secondo Berelson (1952), il valore di questo rapporto tende a essere compreso tra il 66% e il 95%, con una concentrazione di circa il 90%. L’affidabilità può essere, inoltre, misurata calcolando in termini percentuali la concordanza (o accordo) tra i ricercatori, ovvero sommando il numero dei casi che sono stati codificati nello stesso modo da due diversi valutatori e dividendolo per il numero totale dei casi individuati. La percentuale di concordanza, quindi, è data dal rapporto tra il numero di codici su cui esiste un certo grado di accordo e il numero totale dei codici stessi (accordo + disaccordo). Questo indice pur essendo molto semplice e diffuso, non sembra essere particolarmente affidabile, poiché non tiene conto del fatto che l’accordo o la concordanza tra i valutatori si ottiene, in alcuni casi, in modo casuale (Cohen, 1960; Lombard et al., 2002; Neuendorf, 2002). Il metodo di Holsti, invece, permette di analizzare le situazioni in cui due ricercatori analizzano unità diverse, mentre l’Alpha di Krippendorff tiene conto della grandezza dei valori mancanti, attuando le necessarie modifiche nei casi in cui la variabile è nominale, ordinale, un intervallo e/o un rapporto (Krippendorff, 1980; Lombard et al., 2002;. Neuendorf, 2002). Questo indice può essere utilizzato indipendentemente dal numero di ricercatori coinvolti, a differenza del Pi e del Kappa di Choen, applicabili alle sole ricerche condotte da due codificatori.

Il Kappa di Cohen stabilisce che una codifica è perfettamente affidabile quando il suo valore si avvicina a 1, mentre nel caso in cui l’accordo tra le parti risulti diverso da quanto ci si sarebbe aspettato il suddetto valore tende a 0 (Choen, 1960; Haney et al., 1998). La formula per calcolare il Kappa di Cohen è la seguente:

PA = numero/ percentuale delle unità su cui concordano i valutatori. Pc = percentuale di unità per quale casualmente si prevede un accordo.

Nella nota metodologica sul kappa, Kvalseth (1989) suggerisce che un coefficiente di kappa pari a 0,61 indica un accordo globale sostanzialmente buono (Wheelock et al., 2000), mentre altri autori ritengono che valori superiori o vicini a 0,75 indichino l’esistenza di un ottimo grado di accordo e quelli inferiori o vicini a 0,40 un grado d’accordo minimo. In sostanza, possono essere considerati accettabili tutti i valori compresi tra 0,40 e 0,75 (Capozzoli et al., 1999, p. 6). Indipendentemente dalla validità statistica, recenti studi suggeriscono che il grado d’accordo accettabile può e in alcuni casi deve essere stabilito dai ricercatori, perché si “stanno aprendo nuove prospettive grazie al fatto che concetti ricchi di valore analitico possono permettere (a un’analisi) di procedere anche in presenza di livelli di affidabilità leggermente inferiori a quelli ritenuti ottimali”59 _{(Riffe et al., 1998, p. 131). Seguono i parametri individuati in}

letteratura per una corretta interpretazione del kappa (Landis and Koch, 1977, p.165).

Tabella 26 - Kappa di Cohen e grado di accordo.

Kappa Statistic Strength of Agreement

<0.00 Poor 0.00- 0.20 Slight 0.21- 0.40 Fair 0.41- 0.60 Moderate 0.61- 0.80 Substantial 0.81- 1.00 Almost Perfect

Fonte: adattato da Landis and Koch, 1977, p. 165.

Il Kappa di Choen è, dunque, una misura efficace per valutare l’intercoder reliability, inoltre, “fattori quali il numero di osservazioni, il numero di categorie e la distribuzione dei dati influenzano il valore del kappa tanto da rendere difficile l’interpretazione del grado di concordanza” (Hagelin 1999, p. 314).

59_{Questi autori affermano, inoltre, che, nell’ambito delle ricerche sulla comunicazione, “di solito un}