I SONDAGGI VIA WEB: UNA NUOVA FRONTIERA PER LA RICERCA SULL’OPINIONE PUBBLICA?
Michele Roccato
Se negli USA si sta diffondendo sempre di più l’uso dei sondaggi condotti via internet, in Italia questa tecnica di rilevazione dei dati è ai suoi albori. Questo peanut presenta le principali opzioni di questo nuovo modo di fare ricerca, i suoi principali pregi e limiti e avanza qualche ipotesi sulle sue possibili prospettive future.
Parole chiave: opinione pubblica, sondaggi, internet, generalizzabilità dei dati, ponderazione, panel.
La maggior parte dei sondaggi viene attualmente fatta via telefono: questo perché le indagini telefoniche sono poco costose, veloci, consentono una buona copertura campionaria e richiedono un’organizzazione logistica relativamente poco complessa. Tuttavia, negli ultimi anni le indagini telefoniche hanno cominciato a mostrare almeno due problemi. Il primo è che i tassi di risposta hanno preso a scendere sensibilmente (negli Stati Uniti in media di mezzo punto percentuale l’anno dalla fine degli anni ’70 al 1996 e di un punto e mezzo annuo dal 1997 in poi), per la crescente diffusione sia dei sondaggi telefonici – che ha fatto sì che rispondere ad essi non abbia più il frizzante sapore di novità che aveva fino a qualche tempo fa – sia dei tentativi di vendere beni o servizi mascherati da sondaggio – che ha fatto sì che i potenziali intervistati siano sempre più sospettosi per le telefonate non richieste che ricevono (Curtin et al., 2005). Il secondo problema sta nel nuovo clima legislativo italiano, che prefigura la possibilità che agli istituti di ricerca sia precluso il tentativo di contattare gli abbonati che non abbiano esplicitamente dichiarato la loro disponibilità all’intervista. Ne derivano due conseguenze assai sgradevoli: l’aumento dei costi delle indagini telefoniche e la riduzione della qualità dei loro campioni. Non è dunque un caso che – soprattutto negli Stati Uniti – gli istituti di ricerca stiano cercando strade alternative alle indagini telefoniche. Quella più promettente sembra essere costituita dalle indagini via web. In Italia si è cominciato a parlare di questo tipo di ricerca solo negli ultimi mesi. Questo lavoro si propone di fare un primo punto della situazione, mostrando opzioni, pregi e limiti di questo nuovo modo di fare ricerca.
1. I sondaggi via web: le opzioni disponibili
Al momento attuale è assai complicato costruire un campione web rappresentativo della popolazione generale. Questo essenzialmente per tre ragioni. Innanzitutto, la fetta di popolazione che utilizza il computer e usa internet è una minoranza: da un’indagine condotta dall’Osservatorio del Nord Ovest nel settembre-ottobre del
2004 è emerso che il 47.9% degli italiani non usa mai il computer né a casa né al lavoro, e che il 59.5% degli italiani non usa mai internet. Quel che è peggio, gli utenti almeno sporadici di internet sono una minoranza per molti versi diversa dalla popolazione generale: come mostra la Tabella 1, sono infatti più spesso di sesso maschile, più giovani, più istruiti, più urbanizzati, meno spaventati per la criminalità, più interessati alla politica, più di sinistra e più severi nel giudicare sia il governo, sia l’opposizione. Sono insomma una popolazione per troppi versi diversa dalla popolazione generale.
TABELLA 1 PIU’ O MENO QUI
La seconda ragione che rende difficile costruire un campione web rappresentativo della popolazione generale è che gli indirizzi e-mail non compaiono in alcuna lista completa, né hanno un formato standard che consenta di estrarli con procedure stile-random digital dialing, ossia utilizzando programmi di computer che compongono numeri telefonici a caso. La terza è che attualmente i sondaggi via web hanno elevati tassi di rifiuto, superiori a quelli dei sondaggi telefonici (Kaplowitz et al., 2004). Ciò detto, dal punto di vista logico le principali opzioni a disposizione di chi intende condurre un sondaggio web sono due: l’uso di campioni intervistati una volta piuttosto che di panel di rispondenti e l’intervista di campioni estratti da chi utilizza internet piuttosto che di campioni estratti dalla popolazione generale. Dall’incrocio di queste due opzioni deriva la tipologia presentata in Tabella 2.
TABELLA 2 PIU’ O MENO QUI
La prima cella della tabella è quella in cui si trovano le tecniche attualmente più utilizzate, fondate sul tentativo di intercettare il numero più elevato possibile di utenti internet: (a) collocando un link al questionario che si intende utilizzare in siti con elevato traffico di utenti; (b) spedendo il questionario agli utenti internet che abbiano dichiarato la loro disponibilità a rispondere a sondaggi web compilando moduli disseminati nella rete; (c) spedendo il questionario a chi è registrato negli indirizzari e-mail disponibili. I campioni ottenuti in questi tre modi sono inevitabilmente molto distorti. Quel che è peggio, in questo tipo di campioni le procedure classicamente utilizzate per ponderare i dati sembrano poco utili, dal momento che gli strati sociali più periferici socialmente tendono ad essere davvero troppo sottorappresentati. Le cose non migliorano se le persone così scelte vengono intervistate periodicamente (cella 2 della tabella): infatti, anche in questo caso i dati rilevati sono molto difficilmente generalizzabili. È per questo che alcuni ricorrono a metodi misti di campionamento (cella 3 della tabella), in cui l’interrogazione via web della parte del campione per cui essa è possibile si associa all’interrogazione telefonica del resto del campione. Questa tecnica non risolve completamente i problemi di rappresentatività dei campioni, dato che i processi utilizzati per prendere le proprie decisioni utilizzati da chi usa spesso internet tendono a essere qualitativamente diversi da quelli usati da chi non lo fa: ad esempio, i primi, rispetto ai secondi, ottengono informazioni da fonti
diverse, partecipano a tipi diversi di attività sociali e socializzano in modi differenti (Best, Krueger, 2002). Tuttavia, è molto più convincente di quelle fondate sull’interrogazione dei soli utenti internet. Nella quarta cella della tabella si trova l’opzione attualmente più soddisfacente dal punto di vista metodologico: la costruzione di un panel estratto dalla popolazione generale in cui si dotano di computer i membri che già non lo possiedono. Non si tratta di una procedura perfetta: infatti, è piuttosto costosa e risente delle differenze qualitative fra utenti e non utenti internet più sopra accennate. Tuttavia, sembra consentire di ottenere dati non troppo distorti e di correggere abbastanza bene la non perfetta generalizzabilità dei dati rilevati utilizzando le consuete tecniche di ponderazione (Berrens et al., 2003).
2. Opportunità e rischi dei sondaggi via web
Come si è detto, la sfida più ardua per chi vuole costruire sondaggi web seri – principalmente se utilizza campioni intervistati una sola volta – è la difficoltà di costruire campioni rappresentativi della popolazione generale: questo influisce non solo sulla distribuzione delle variabili rilevate (Schonlau et al., 2004), ma anche sulle loro relazioni (Best, Krueger, 2002).
Esistono molte ragioni che fanno credere che valga la pena accettare questa sfida. Innanzitutto, i costi dei sondaggi web possono essere bassissimi, dato che essi non necessitano di intervistatori che sincronizzino la loro interazione con gli intervistati, né di supervisori. Inoltre, richiedono tempi sensibilmente inferiori a quelli impiegati per fare un sondaggio tradizionale; nelle indagini politiche questo può consentire di monitorare in tempo virtualmente reale gli effetti delle campagne elettorali. Per queste ragioni è facile ipotizzare che il ricorso ai sondaggi si diffonderà sempre di più, che gli oggetti dei sondaggi diventeranno sempre più numerosi e svariati e che la conduzione dei sondaggi diverrà sempre meno ristretta ai grandi istituti, democratizzando il processo di ricerca su larga scala. Inoltre, questo potrà rendere possibile la costruzione di campioni molto ampi, il che potrà facilitare l’identificazione di rispondenti con caratteristiche relativamente rare (militanti politici, persone antidemocratiche, italiani di religione musulmana, ecc.). Tuttavia, questa medaglia ha una faccia meno attraente: sono prevedibili forti rischi di oversurveying, ed è realistico che questo – associato alla sempre maggiore diffusione dello spamming nelle nostre caselle di posta elettronica – in prospettiva renda sempre più elevati i tassi di rifiuto dell’intervista e dunque contribuisca a complicare ulteriormente la costruzione di campioni rappresentativi. Inoltre, nel caso dei sondaggi web condotti su panel estratti dalla popolazione generale è assai facile prevedere che i bassissimi costi di rilevazione dei dati associati agli elevati costi di installazione del panel spingeranno a sovrautilizzare il panel, sollecitandolo tanto spesso da trasformare i suoi componenti in una sorta di “professionisti delle risposte ai sondaggi”. Questo potrà portare le loro risposte a differire sensibilmente dalle risposte dalle persone che rispondono a un sondaggio per la prima volta, minando la generalizzabilità dei dati rilevati (Couper, 2000).
Oltre all’aspetto economico e a quello dei tempi, i sondaggi web sono attraenti almeno per altre tre ragioni. Innanzitutto, sono molto flessibili, offrendo la possibilità
di utilizzare stimoli non esclusivamente verbali (immagini, suoni e filmati). Questo arricchisce di molto l’ambito delle questioni indagabili nei sondaggi, e – almeno in teoria – può rendere meno monotono il processo di risposta, promuovendo la qualità dei dati rilevati (è infatti risaputo che quanto più è noiosa l’intervista, tanto più meccaniche e poco meditate sono le risposte che si ottengono). Essi permettono inoltre di misurare i tempi che gli intervistati impiegano per dare le loro risposte, e questo può consentire sia delle inferenze sui processi che hanno impiegato per farlo (Heerwegh, 2003), sia di somministrare degli strumenti atti a misurare i loro atteggiamenti impliciti (fra essi, anche quelli derivati dall’implicit association test cui è dedicato il contributo di Galdi, Castelli e Arcuri in questo numero). Infine, l’assenza di un’interazione diretta con un intervistatore può rendere più facile esprimere atteggiamenti e opinioni sanzionati negativamente a livello sociale, consentendo di ottenere dati meno inquinati dalla desiderabilità sociale di quelli rilevati con i sondaggi tradizionali (Ricolfi, 1995).
Tuttavia, oltre alle difficoltà di campionamento i sondaggi web presentano due altre controindicazioni che dovranno essere affrontate se si vorrà rendere la loro qualità competitiva con quella delle indagini tradizionali. Da un lato, i questionari usati nei sondaggi via web soffrono di scarsa uniformità: il modo con cui essi compaiono sullo schermo degli intervistati dipende per lo meno dal browser che utilizzano e dalle caratteristiche del loro hardware. Questo mina alla base uno dei presupposti fondamentali della ricerca quantitativa, ossia il fatto che a tutti gli intervistati venga sottoposto un identico strumento di rilevazione. Dall’altro, i sondaggi web consentono minime possibilità di controllare il processo di risposta. Senza un’interazione diretta non è possibile sapere chi risponde effettivamente al questionario, quanta concentrazione mette nel farlo, se risponde solo “con le proprie forze” o se si fa aiutare da altre persone e così via.
3. Prospettive future
È realistico che i loro notevoli vantaggi facciano sì che nei prossimi anni i sondaggi web possano diventare il principale strumento della ricerca quantitativa in psicologia e nelle scienze sociali e politiche indipendentemente da ogni standard di qualità. Inoltre, la probabile proliferazione dei sondaggi derivante dalla facilità di reperire a basso costo elevati numeri di intervistati potrà rendere assai difficile distinguere i sondaggi fatti bene da quelli fatti male, contribuendo a fare considerare ai committenti e all’opinione pubblica sullo stesso piano ricerche poco e molto serie. Una parte crescente della comunità scientifica è attenta a questo rischio e sta cercando di scoprire come elevare la qualità dei sondaggi web: ad esempio, studiando i modi per minimizzare le mancate risposte (Birnholtz et al., 2004; Bosnjak, Tuten, 2003; Braddy et al., 2003; DeRouvray, Couper, 2002; Porter, Whitcomb, 2003; Sills, Song, 2002; Troudeaut, 2004; Whitcomb, Porter, 2004), le tecniche per minimizzare l’errore di misurazione in funzione dei diversi modi offerti agli intervistati per indicare le loro risposte (Couper et al., 2004; Heerwegh, Loosveldt, 2002b) e gli effetti dei diversi modi per controllare che gli intervistati non diano più di una risposta a un singolo
sondaggio (Heerwegh, Loosveldt, 2002a). Ambiti di ricerca evidentemente molto importanti per massimizzare la qualità dei sondaggi web.
Riferimenti bibliografici
Berrens R.P., Bohara A.K., Jenkins-Smith H., Silva C., Weimer D.L.
2003 The Advent of Internet Surveys for Political Research: A Comparison of Telephone and Internet Samples, “Political Analysis”, 11, 1-22.
Best S.J., Krueger B.
2002 New Approaches to Assessing Opinion: The Prospects for Electronic Mail Surveys, “International Journal of Public Opinion Research”, 14, pp. 73-92. Birnholtz J.P., Horn D.B., Finholt T.A., Bae S.J.
2004 The Effect of Cash, Electronic, and Paper Gift Certificates as Respondent Incentives for a Web-Based Survey of Technologically Sophisticated Respondents, “Social Science Computer Research”, 22, pp. 355-362.
Bosnjak M., Tuten T.L.
2003 Prepaid and Promised Incentives in Web Surveys, “Social Science Computer Research”, 21, pp. 208-217.
Braddy P.W., Thompson L.F., Wuensch K.L., Grossnickle W.F.
2003 Internet Recruiting: The Effect of Web Page Design Features, “Social Science Computer Research”, 21, pp. 374-385.
Couper M.P.
2000 Web Surveys: A Review of Issues and Approaches, “Public Opinion Quarterly”, 64, pp. 464-494.
Couper M.P., Tourangeau R., Conrad F.G., Crawford S.D.
2004 What They See is What We Get: Response Options for Web Surveys, “Social Science Computer Research”, 22, pp. 111-127.
Curtin, R. Presser S., Singer E.
2005 Changes in Telephone Survey Nonresponse over the Past Wuarter Century, “Public Opinion Quarterly”, 69, pp. 87-98.
DeRouvray C., Couper M.P.
2002 Designing a Strategy for Reducing “No Opinion” Responses in Web-Based Surveys, “Social Science Computer Review”, 20, pp. 3-9.
Heerwegh D.
2003 Explaining Response Latencies and Changing Answers Using Client-Side Paradata from a Web Survey, “Social Science Computer Review”, 21, pp. 360-373.
Heerwegh D., Loosveldt G.
2002a Web Surveys: The Effect of Controlling Survey Access Using PIN Numbers, “Social Science Computer Review”, 20, pp. 10-21.
Heerwegh D., Loosveldt G.
2002b An Evaluation of the Effect of Response Formats on Data Quality in Web Surveys, “Social Science Computer Review”, 20, 471-484.
2004 A Comparison of Web and Mail Survey Response Rates, “Public Opinion Quarterly”, 68, pp. 94-101.
Porter S.R., Whitcomb M.E.
2003 The Impact of Contact Type on Web SUrvey Response Rate, “Public Opinion Quarterly”, 67, pp. 579-588.
Ricolfi L.
1995 Incertezza e verità, Centro Studi di Telecom Italia, Venezia.
Schonlau M., Zapert K., Simon L.P., Sanstad K.H., Marcus S.M., Adams J., Spranca M., Kan H., Turner R., Berry S.H.
2004 A Comparison between Responses from a Propensity-Weighted Web Survey and an Identical RDD Survey, “Social Science Computer Research”, 22, pp. 128-138.
Sills S.J., Song C.
2002 Innovations in Survey Research: An Application of Web-Based Surveys, “Social Science Computer Research”, 20, pp. 22-30.
Troudeaut A.R.
2004 How You Ask Counts: A Test of Internet-Related Components of Response Rates to a Web-Based Survey, “Social Science Computer Research”, 22, pp. 385-392.
Whitcomb M.E., Porter S.R.
2004 E-Mail Contacts: A Test of Complex Graphical Designs in Survey Research, “Social Science Computer Research”, 22, pp. 370-386.
Tabella 1. Confronto fra chi usa almeno raramente internet e chi non lo usa mai Tutti gli italiani Non usano mai internet Usano internet almeno saltuariamente Maschi 47.8% 42.8% 55.3%
Età (media) 49,5 anni 56,8 anni 38,0 anni
Anni di istruzione (media) 9,2 anni 7,7 anni 11,4 anni Residenti in città di più di 100.000
abitanti
24.0% 22.7% 26.1%
Molto o abbastanza spaventati per la criminalità
54,0% 57,6% 49,8%
Impegnati politicamente o interessati
alla politica 48,0% 40.1% 59,9%
Differenza fra il numero di votanti della Cdl e dell’Ulivo alle elezioni del 2001 (maggioritario)
+ 2,5% + 4,1% + 0,7%
Giudizio sul governo molto o
abbastanza positivo 30,3% 32,3% 27,9%
Giudizio sull’opposizione molto o
abbastanza positivo 23,4% 26,3% 20,3%
Fonte: Osservatorio del Nord Ovest (www.nordovest.org)
Tabella 2. Strategie per costruire un campione in un sondaggio web Campione intervistato
una sola volta
Panel Campione estratto dagli
utenti internet
1 Link in siti molto navigati Elenchi di candidati rispondenti Elenchi da indirizzati e-mail 2 Panel di utenti internet
Campione estratto dalla
popolazione generale Metodi misti3 Panel di utenti informatizzati 4 arricchito da non utenti
