Content analysis: benefici e limiti

L’affidabilità o reliability è una delle qualità proprie della Content Analysis, dal momento che assicura esiti “indipendenti dall’evento analizzato, dallo strumento utilizzato e dalla persona che ha condotto la ricerca” (Kaplan and Goldsen, 1949). Ne risulta che “per ottenere delle deduzioni valide a seguito dell’analisi del contenuto è necessario che la procedura di classificazione sia affidabile e coerente, in modo da consentire a soggetti diversi di analizzare il testo selezionato nello stesso modo” (Weber, 1990, p. 12).

L’affidabilità di un rilevamento corrisponde, perciò, alla sua solidità (Bailey, 1994; McCain, 1988) ed è un presupposto indispensabile della sua stessa autenticità (Krippendorff, 1980, p. 187), dal momento che consente di valutare la misura in cui qualsiasi disegno di ricerca e, perciò, qualunque parte o dato da esso derivante determina cambiamenti negli eventi tangibili.

Nell’ambito dell’analisi del contenuto, il rispetto del parametro di affidabilità è

249 _{In letteratura, le fondamentali linee di ricerca sviluppatesi nell’ambito dell’analisi del contenuto}

hanno riguardato: gli elementi culturali della comunicazione; le strategie adoperate nell’ambito politico a fini persuasivi, le strategie comunicative e non realizzate dalle imprese, le abilità e gli aspetti condivisi da gruppi, comunità, istituzioni, le rappresentazioni e/o i prodotti comunicativi preparati dalle istituzioni o dai mezzi d’informazione

151 basilare, siccome aiuta a limitare l’influenza della soggettività dello studioso, a conseguire una valutazione precisa e una rappresentazione realistica del contenuto comunicativo osservato (McLuhan, 1962; 1964; McLuhan and Powers, 1992). L’affidabilità è intrinsecamente congiunta alla capacità dello studioso d’individuare le tipologie e le loro descrizioni in maniera da aiutare l’accordo in merito a quali items assegnare a una data popolazione (McTavish and Pirro, 1990). Allorché quest’accordo venga ad essere insufficiente, tipologie e item non possono essere adoperati considerato che essi risultano sprovvisti della scientificità essenziale affinché l’analisi abbia valore (Schultz, 1958).

Le difficoltà in termini di affidabilità sono frequentemente ragione di “ambiguità nel significato delle parole, delle categorie o delle altre forme di codifica” (Weber, 1990, p. 15), proprio per tale motivo sono state indicate le quattro fondamentali fonti di errore che contribuiscono a compromettere l’affidabilità dell’analisi e vale a dire (Titscher et al., 2000; Mayring 2003; Krippendorff, 2004):

1) le peculiarità delle unità di valutazione, che divengono fonte d’errore dal momento in cui esse sono molto dissimili dal materiale da studiare e nei casi in cui vi è dissonanza sulle prassi di codifica;

2) le particolarità delle singole tipologie, che sono in grado di dare vita a errori in assenza di consenso sul loro stesso impiego;

3) la diversificazione delle tipologie, fonte indubbia di imprecisione nel momento in cui le diversità sono parecchio ristrette;

4) le qualità dei ricercatori, cui viene attribuita l’insufficienza di affidabilità nei casi in cui essa non può essere accollata a una delle ragioni prima tratteggiate. Questi problemi possono essere agevolmente elusi rendendo migliore la scelta e la formazione degli studiosi e diminuendo l’arco di tempo dedicato ad effettuare l’analisi.

L’affidabilità rinvia, per di più, a problemi legati alla tematica della riproducibilità del dato da parte di ricercatori differenti (Nobile, 1997), ciò è fattibile nel momento in cui le operazioni di divisione e raggruppamento degli elementi del testo abbiano luogo in maniera “affidabile”, vale a dire considerando un sistema pertinente, uniformato e partecipato di norme250.

152 L’affidabilità della codifica è un principio che, in teoria, ha acquisito conformazioni e peculiarità differenti, tra cui: inter-coder e/o intra-coder reliability, interjudge reliability.

L’inter-coder reliability indica il livello di accordo tra studiosi diversi impegnati nella decodificazione di uno stesso contenuto, l’intra-coder reliability, al contrario, mostra il livello di stabilità di una codifica attuata da un solo studioso (Titscher et al., 2000).

L’affidabilità di uno schema di codifica può, perciò, essere valutato come un continuum che va dall’intra-rater e inter-rater reliability, alla replicabilità, che descrive “la capacità di diversi gruppi di ricerca di applicare uno stesso schema di codifica affidabile” (Rourke et al., 2001, p. 7).

Si parla, bensì, d’interjudge reliability quando ci si riferisce al tasso di accordo raggiunto tra gli esaminatori impegnati nell’analisi dello stesso testo o elemento comunicativo, che è “spesso percepita come la misura standard utilizzata per valutare la qualità di una ricerca. Un’elevata dissonanza tra i ricercatori, infatti, è solitamente indice dell’esistenza di possibili carenze nella metodologia di ricerca” (Kolbe and Burnett, 1991, p. 248).

Nell’ambito dell’analisi del contenuto per valicare i presumibili problemi di affidabilità legati alla decodificazione dei testi si fa riferimento all’intercoder reliability, che presume l’assegnazione di un’identica mansione – per l’appunto la codifica - a diversi codificatori, in modo da permettere allo studioso di comprendere se e quanto i contenuti esaminati sono partecipati e se i differenti compilatori possono agire in maniera attendibile sugli stessi codici (Ryan and Bernard, 2000; Mayring, 2003)251.

1. stabilità dell’analisi, in base alla quale uno stesso studioso deve essere in grado di replicare, a distanza di un dato periodo di tempo, le stesse valutazioni e/o le stesse stime sullo stesso contenuto e raggiungere gli stessi esiti;

2. riproducibilità dell’analisi, in base alla quale esaminatori disparati devono essere in grado di realizzare le stesse riflessioni riguardo ad un dato contenuto;

3. accuratezza dell’analisi, in base alla quale le scelte degli analizzatori sono ideali solo quando è adorata una codifica uniformata.

251 _{L’intercoder reliability è valutata, di fatto, come una misura “vicina al cuore della Content}

Analysis, infatti, se la sua ‘misura’ non è affidabile, l’analisi stessa perde validità e affidabilità” (Singletary, 1993, p 294).

Quest’ultima, per di più, viene valutata come un elemento basilare della Content Analysis, difatti, “uno degli obiettivi di quest’analisi è l’identificazione e la registrazione delle caratteristiche relativamente oggettive dei messaggi (o almeno delle caratteristiche intersoggettive). Di

153 Infine, per riassumere, si intende ricordare che l’affidabilità può essere quantificata in modo determinato adoperando indici diversi, i più diffusi in ambito comunicativo sono: il coefficiente di affidabilità (Berelson, 1952), la percentuale di accordo (Lombard et al., 2002; Neuendorf, 2002), il metodo di Holsti (Holsti, 1963; 1968; 1969; Holsti et al, 1964), il Pi di Scott (Scott, 1955), il Kappa di Choen (Choen, 1960), l’Alpha di Krippendorff (Krippendorff, 1980; 2012).

L’affidabilità può essere, oltre a ciò, determinata calcolando in termini percentuali la concordanza/accordo, tra gli studiosi, ovvero aggregando il numero dei casi che sono stati codificati nello stesso modo da due differenti esaminatori e dividendolo per il numero totale dei casi identificati.

La percentuale di concordanza, pertanto, è data dal rapporto tra il numero di codici su cui c’è un certo livello di accordo e il numero totale dei codici stessi (accordo + disaccordo).

Questo indice pur essendo molto semplice e diffuso, non sembra essere particolarmente attendibile, giacché non tiene conto del fatto che l’accordo o concordanza tra i ricercatori si consegue, in alcune circostanze, in modo fortuito (Lombard et al., 2002; Neuendorf, 2002).