Distorsioni nelle risposte degli intervistati

Il dibattito tra economisti e altri scienziati sociali riguardo le survey nasce dallo scetticismo, soprattutto dei primi, riguardo l’affidabilità delle risposte ai questionari. Infatti, spesso le domande riguardano aspetti della vita molto soggettivi: “Quanto è importante il tempo libero? Quanto sei soddisfatto del tuo lavoro?”. Bertrand e Mullainathan (2001) suggeriscono di non scartare a priori i dati che si riescono ad estrapolare dai sondaggi e rimanere semplicemente dubbiosi sulla loro validità. Affermano che solo attraverso un’analisi scientifica del fenomeno si possa arrivare a conclusioni oggettive. Con l’adozione di un metodo scientifico, dai risultati delle survey si riuscirebbero a ricavare dati diversi e rilevanti per altri aspetti.

Lo studio degli autori in prima battuta evidenza la facilità con cui gli intervistati e il loro modo di elaborare le risposte possano essere manipolati. Ad esempio:

• Le persone possono essere condizionate dall’ordine in cui le domande vengono somministrate e sostanzialmente ciò avviene per due ragioni: solitamente si cerca di dare una risposta coerente con quella data precedentemente; rispondere ad una domanda prima di un’altra può catapultare l’intervistato in uno specifico framework, diverso da quello in cui si troverebbe se le domande si invertissero, e questo può annebbiare o portare alla luce ricordi determinanti per le risposte da dare. L’esperimento portato a sostegno di questa tesi si basava su due domande alle quali bisognava rispondere, ossia “How happy are you with life in general” e “How often do you normally go out on a date?”. Se, somministrando per prima la prima domanda, le risposte degli intervistati non risultavano correlate, lo stesso non si verificava quando per prima bisognava rispondere alla domanda sugli appuntamenti. Ciò si spiegherebbe col fatto che la seconda domanda proietta da subito l’intervistato su un aspetto specifico della vita, quello sociale, e quindi tralascia altri aspetti come il lavoro, la salute o il tempo libero. Per questo se le domande seguivano il primo ordine la risposta alla domanda sulla frequenza degli appuntamenti

32

risultava poco influenzata dalla prima risposta, ma se si rispondeva in un secondo momento sullo stato di life satisfaction in generale, la risposta era molto influenzata dal numero di uscite rivelate nella domanda sulla vita sociale.

• La formulazione della domanda è un altro aspetto da analizzare. Il classico esempio sono i risultati discordi alle domande “Pensi che gli Stati Uniti debbano vietare discorsi pubblici

contro la democrazia?” e “Pensi che gli Stati Uniti debbano consentire discorsi pubblici contro la democrazia?”. Nell’esperimento, alla prima domanda rispondeva

affermativamente circa il 50% degli intervistati, alla seconda il 75%. Questa sorta di framing

effect, scaturito da due diverse formulazioni con cui viene posta una stessa domanda,

chiama l’intervistato ad esprimersi su due posizioni differenti, l’essere favorevole o meno ai discorsi pubblici contro la democrazia, ma che di fatto lo pongono in due stati differenti, il vietare o il concedere.

• Le scale di riferimento sono decisive. Un esperimento consisteva nel chiedere agli intervistati quante ore trascorressero a guardare la TV. Si sono poste due diverse scale di misurazione, entrambe con scaglioni di mezz’ora a partire dal primo, “almeno 30 minuti”, fino all’ultimo scaglione, “maggiore di quattro ore e mezza”. Le due si differenziavano perché nella seconda scala di misurazione il primo scaglione comprendeva i primi cinque della prima scala, “almeno due ore e mezza”. Con la prima scala di riferimento solo il 16% riferiva di guardare più di due ore e mezza di televisione al giorno, mentre con l’utilizzo della seconda scala ben il 32% ammetteva di guardare così tanta TV. La differenza sostanziale tra i due risultati si spiegherebbe col fatto che le persone ritengano il primo scaglione della seconda scala, che riunisce i primi cinque della prima, come un ammontare base dal quale partire ma ciò condiziona la valutazione sulla propria esperienza personale compromettendone verità e affidabilità.

• Gli intervistati talvolta compiono degli errori sistematici nell’elaborare le risposte, non soffermandosi su informazioni importanti contenute nelle domande. Nel GSS viene chiesto quale qualità, tra le tredici elencate, sia la migliore o la meno importante che possa possedere un bambino. È stato provato, cambiando l’ordine di elencazione delle qualità proposte, che gli intervistati sono portati a scegliere la prima o l’ultima in elenco, qualunque essa sia. Ciò sarebbe il risultato di un processo mentale tanto veloce quanto poco ragionato e affrettato.

33

Aldilà degli aspetti cognitivi gli autori si soffermano anche ad analizzare quella che chiamano Social

Desirability. A volte gli intervistati sono portati a dare le risposte che non li mettano in cattiva luce,

soprattutto nei confronti dell’intervistatore. Si pensi al fatto che circa il 25% dei non votanti, all’uscita dal seggio elettorale, afferma di aver votato. Oppure sono diverse le evidenze per cui si riscontra riluttanza ad ammettere di avere pregiudizi, soprattutto raziali; il fenomeno si accentua quando l’intervistatore è di colore e diminuisce se gli intervistati pensano di essere o sono monitorati per dire la verità.

Infine, Bertrand e Mullainathan nel loro articolo evidenziano alcune situazioni che fanno comprendere quanto sbagliati possano essere gli approcci degli intervistati e fino a che punto risultino incoerenti le risposte date anche a distanza di poco tempo. Queste osservazioni, quindi, vanno oltre l’aspetto della manipolazione ma riflettono gli atteggiamenti intrinsechi degli agenti economici e mostrano quanto sia imprudente fare affidamento sui dati che si estrapolano da alcune survey. I pareri degli intervistati possono risultare incoerenti anche se il sondaggio viene replicato dopo pochi mesi. In un esperimento veniva chiesto un parere circa la composizione della spesa pubblica decisa dal governo. Le risposte date la prima volta nel 55% dei casi erano completamente diverse rispetto a quelle riportate nello stesso sondaggio, dalle stesse persone ma a distanza di pochi mesi. Di fatto la discrepanza dei risultati suggerisce una scarsa confidenza con gli argomenti del sondaggio da parte delle persone intervistate, scarsa confidenza che non viene ammessa ma compromette la credibilità e la rilevanza dello studio. Il semplice fatto che l’intervistatore ponga una domanda ad un soggetto non presume che questi, a priori, ne debba conoscere la risposta, o meglio, il parere di quel soggetto conta nel momento in cui ne ha cognizione di causa. Invece, si riportano casi di soggetti che, nel corso di sondaggi, hanno azzardato risposte su argomenti fuori dalle loro conoscenze o, addirittura, su temi inventati dall’intervistatore, come, ad esempio, giudizi su Paesi in realtà inesistenti.

Dalle evidenze riportate nel lavoro di Bertrand e Mullainathan possiamo sicuramente affermare che non è affatto scarsa la letteratura sperimentale che conferma lo scetticismo di una parte degli scienziati sull’attendibilità delle domande soggettive. Dunque, per quanto riguarda il nostro tema, utilizzare dati sulla felicità come una variabile dipendente può essere una scelta inappropriata perché gli errori di stima sono troppo legati a caratteristiche personali dei singoli agenti ed è difficile trovare criteri generali in grado di mitigare il fenomeno. D’altra parte, soprattutto negli ultimi trent’anni, la mole di dati raccolti su tantissimi aspetti soggettivi, compresa la felicità, si è moltiplicata. Riteniamo che sarebbe un errore non sfruttarla e per questo è importante adottare

34

un metodo. Abbiamo già accennato, a inizio paragrafo, che i dati sulle survey, possono rivelarsi utili per altri aspetti. Ad esempio, se i dati raccolti riportano una minore percentuale di intervistati che evidenziano pregiudizi razzisti non può bastare ad affermare che il fenomeno del razzismo è in calo; tuttavia, il dato può essere importante per notare la riluttanza a mostrarsi come persone razziste, con tutte le conseguenze che questa osservazione può portare. Tornando sui temi che ci interessano, una diminuzione del grado di felicità riportato nelle interviste non significa necessariamente che l’utilità desiderabile non è raggiunta o che c’è bisogno di cambiare politica di governo. È possibile ci siano errori di giudizio, nei riferimenti o di allocazione di risorse da parte del singolo. È fondamentale, quindi, saper usare e sfruttare al meglio i dati a disposizione. Nell’ultimo capitolo saranno affrontati alcuni di questi aspetti.