Letteratura in materia di ricerca online: i casi “Dirty little secrets of online

QUALITY A PURE OXYMORON?”

3.4.1 “DIRTY LITTLE SECRETS OF ONLINE PANELS”

Grey Matter Research & Counsulting è una società che opera dal 1996 ma per molti anni ha lavorato sotto il nome Ellison Research33.

Anche se il nome è cambiato, la materia grigia (“ The Grey Matter”) dietro la società è rimasta la stessa da quando ha aperto.

I clienti sono molto diversi e il loro lavoro è molto board-based, con esperienza nella vendita al dettaglio, servizi finanziari, no-profit, comunicazione, automotive, servizi sanitari, e altri settori. Aiutano i clienti sia attraverso servizi di ricerca qualitativa e che quantitativa.

I risultati dei loro studi sono stati citati da media internazionali, come USA

Today, The Financial Times of London, Associated Press, MSNBC, Los Angeles Times, USA Radio Network, Dallas Morning News, Harvard Business Review, Wall Street Journal, e da molti altri canali in Usa, Cina, Inghilterra, Canada,

Russia, Nuova Zelanda, Norvegia, Corea, Svezia, Ungheria, Filippine, Australia, e in altre parti del mondo.

Grey Matter Research è a disposizione per servire i clienti attraverso studi di ricerca commissionati da privati, come la brand awarness e la definizione, la soddisfazione del cliente, concept e test di prodotto, posizionamento e la fidelizzazione dei clienti.

Questa azienda ha condotto uno studio intitolato “Dirty Little Secrets of Online

Panels (and how the one you select can make or break your study)”, che ha

l’obiettivo di far capire alle aziende che commissionano le ricerche di mercato ad istituti specializzati che questi offrono studi di qualità spesso discutibile, specialmente quando le indagini vengono condotte attraverso panel online:   ci                                                                                                                

sono alcune differenze fondamentali tra le varie opzioni di panel online che si possono avere per condurre una ricerca, e quello che non si conosce sicuramente può “essere pericoloso”.

Con questa convinzione, la Grey Matter Research & Consulting ha messo alla prova dodici istituti molto conosciuti; ha iscritto alcuni dei propri membri ai panel, hanno risposto in modo sincero rispetto al loro stile di vita e alle loro caratteristiche demografiche e, rispetto ad un panelista “normale”, hanno tracciato ogni richiesta pervenuta dagli istituti, per una durata complessiva di trenta giorni34.

Gli istituti selezionati per questo test sono i seguenti: • American Consumer Opinion (Decision Analist); • Global Test Market (GMI);

• Greenfield Online; • Harris Interactive; • I-Say (Ipsos);

• Mindfield (Mc Million Research); • Opinion Outpost (Western Wats); • Survey Exchange (OTX);

• SurveySavvy (Luth Research); • SurveySpot (Survey Sampling); • Toluna (formely Your2Cents); • ZoomPanel (Market Tools)35.

L’istituto che ha condotto questo test ha deciso di non indicare il nome dei panel nel report per garantirne l’anonimato (saranno identificati semplicemente con Panel 1, Panel 2, ecc..); si dichiara infatti che lo scopo non è quello di elogiare alcuni istituti e criticarne altri ma, piuttosto, quello di dimostrare quanto sia importate per l’azienda committente conoscere in modo approfondito le

34 _{Notare la somiglianza con l’esperimento precedentemente descritto.}

35 _{Si che ricorda che American Consumer Opinion, I-Say (Ipsos) e Toluna sono stati considerati anche} nell’esperimento precedente.

caratteristiche e le metodologie di indagine adottate dai panel online, in modo che esse siano coerenti con i progetti da loro proposti.

La Tabella 10 riassume i dati emersi dall’esperimento: nella prima colonna abbiamo i riferimenti dei panel, nella seconda è indicato il numero di inviti ricevuti da ciascun membro nella durata totale del test (trenta giorni), nella terza è indicata la frequenza con la quale i membri venivano invitati a partecipare ad un sondaggio, nella quarta il numero di questionari completati, nella quinta il numero di questionari per i quali i membri non si sono qualificati, nella sesta il numero di sondaggi chiusi ed infine, nell’ultima, i casi in cui si sono verificati problemi tecnici nella conduzione dell’indagine.

PANEL INVITATIONS PER PANEL MEMBER AVERAGE FREQUENCY COMPLETED SURVEYS NOT QUALIFY CLOSED OTHER

1 50,5 1,7 EVERY DAY 10,5 27 8 5 2 11 1 EVERY 2,7 DAYS 3,5 5 2,5 / 3 15 1 EVERY 2 DAYS 0,5 9 5,5 / 4 11 1 EVERY 2,7 DAYS 2,5 7 1 0,5 5 57 1,9 EVERY DAY 15,5 26 14 1,5 6 2 1 EVERY 15 DAYS / 2 / / 7 1,5 1 EVERY 20 DAYS 0,5 1 / / 8 5 1 EVERY 6 DAYS 3 2 / / 9 22,5 1 EVERY 1,3 DAYS 5,5 10,5 5,5 1 10 5 1 EVERY 6 DAYS 3 2 / / 11 2 1 EVERY 15 DAYS 2 / / / 12 / / / / / / Tabella 10 - Tabella riepilogativa del test condotto, 2009

Da una rapida lettura emergono differenze notevoli tra i vari istituti: alcuni panel “bombardano” letteralmente i propri iscritti invitandoli a partecipare ai sondaggi anche più di una volta al giorno (è il caso dei Panel 1 e 5) mentre altri contattato raramente i membri, come il Panel 11 che ha totalizzato due inviti in trenta giorni.

Gli istituti con il tasso di chiamata più alto sono anche gli stessi che hanno il numero di questionari completati più elevato.

Il Panel 1 viene definito, nel report, di pessima qualità sia perché il tasso di chiamata è molto elevato, inondando quindi di richieste i panelisti, sia perchè

sembra che non esista un limite al numero di partecipazioni che un membro può avere: una volta completato un questionario, si riceveva subito una richiesta per completarne un secondo e, se non ci si qualificava idonei per questo, arrivava l’invito del terzo. Inoltre, i questionari erano molto lunghi (da cinquanta a settantacinque minuti) e questo fa presupporre che i ricercatori, che pianificato queste indagini, siano inconsapevoli dell’impegno che chiedono ai propri membri.

Il Panel 3 rappresenta, invece, una stranezza. Gli inviti sono stati frequenti, i questionari completati sono stati pochi, ma un elevato numero di sondaggi è stato chiuso molto velocemente, si riportano gli orari delle richieste e dei rifiuti per far capire bene la rapidità del fenomeno:

• Invito ricevuto alle ore 18:04 di domenica – sondaggio chiuso il lunedì alle ore 8:42;

• Invito ricevuto alle ore 17:17 di giovedì – sondaggio chiuso il venerdì alle ore 8:01;

• Invito ricevuto alle ore 16:39 di giovedì – sondaggio chiuso il venerdì alle ore 8:00;

• Invito ricevuto alle ore 17:25 di lunedì – sondaggio chiuso il martedì alle ore 10:15;

• Invito ricevuto alle ore 14:18 di martedì – sondaggio chiuso dopo 50 minuti.

Quando i sondaggi vengono chiusi così velocemente, la decisione viene presa o dal panel o dall’azienda committente e, a questo proposito, viene fatta un’osservazione molto importante: “in entrambi i casi, si presenta un problema

importante di campionamento. Ciò significa che tutti i partecipanti sono persone che si trovavano ad essere seduti al proprio computer in una determinata ora, o in una determinata sera. Nelle classiche interviste telefoniche vengono fatte più chiamate ad ogni membro se questo non risponde, al fine di assicurarsi che il campione non è sbilanciato verso le persone che sono inattive e raramente fuori casa. Consentire un tempo di risposta di almeno un paio di giorni aumenta il

tasso di risposta, diminuisce la potenziale polarizzazione di risposta, e migliora la rappresentatività e la qualità del progetto.”36

Al contrario, il Panel 4, ha lasciato una buona impressione ai ricercatori che hanno condotto il test proprio per una sere di motivi: primo, perché ha dato l’idea che questo rispettasse i tempi delle persone sia per la durata dei questionari (che non erano infiniti) sia per il numero di chiamate totalmente ricevute, secondo gli inviti erano per singoli questionari e non per sondaggi multipli quindi l’intervistato, una volta terminato il suo “lavoro”, non veniva reindirizzato a nessun altro sondaggio.

Il Panel 7, con 1,5 richieste in trenta giorni e 0,5 questionari completati è risultato il meno attivo.

Infine, il Panel 12 è risultato un enigma. Questa azienda è proprietaria del suo panel ma il link per iscriversi è stato inattivo per tutto il periodo test quindi, per i ricercatori non è stato possibile diventare membri.

Questo test ha messo in luce le differenze che caratterizzano i panel presenti sul mercato e le conclusioni presenti nel report hanno un tono acceso e critico nei confronti di quegli istituti che operano con standard di qualità ritenuti bassi: “Come abbiamo appena dimostrato, il campionamento non è sicuramente una

merce.[…] Con l'impegno per la qualità e il livello di competenze di ricerca che presumibilmente risiedono in queste grandi imprese, è stato scioccante vedere così tanti istituti conosciuti che utilizzano i peggiori panel. Ma se ci pensate, i prodotti difettosi faranno sempre parte del nostro scenario. Le automobili Yugo sono state vendute per un certo numero di anni, negli Stati Uniti, anche se le portiere sarebbero potute a volte cadere a velocità superiori di 20 miglia all'ora. Nel mondo della ricerca, non ci sono solo i panel con una qualità del tutto inaccettabile, ma anche focus group terribili, pessimi analisti di dati, e ogni sorta di altri problemi.

E’ responsabilità del consumatore di ricerca eliminare i potenziali fornitori che non hanno le competenze, le norme, o il controllo di qualità per fornire

informazioni accurate che guideranno le decisioni critiche. La nostra speranza è che questa relazione solleva tali questioni ad un livello più alto di consapevolezza e vi incoraggia a fare qualche indagine critica di panel online e delle società di ricerca che li utilizzano […]”.37

La ricerca appena descritta è stata pubblicata nel 2009 ed ha suscitato molto scalpore.

E’ stata, infatti, al centro di discussioni anche su siti professionali quali LinkedIn, ed è stata richiesta da un centinaio di ricercatori, sia da parte di clienti che da parte di venditori. Hanno ricevuto richieste da 18 paesi, dalla Finlandia al Sud Africa, così come la maggior parte degli stati negli Stati Uniti.

La relazione è stata tradotta per la distribuzione in Repubblica Ceca e utilizzato nei corsi di ricerca presso l'Università di Trieste.

Visto questo straordinario interesse, la Grey Matter Research ha deciso di ripetere il test nel 2012 inserendo istituti che non erano stati considerati nel 2009 ed andando a valutare dei parametri aggiuntivi.

Le dieci società che verranno studiate sono le seguenti: • Clear Voice;

• E-Rewards (Research Now); • Global Opinion Panels (Synovate); • MySurvey (Lightspeed);

• NPDOR (NPD Group);

• Opinion Place (DMS/uSamp);

• Springboard America (Vision Critical); • Survey.com;

• Surveyhead (uSamp);

• Valued Opinions (Research Now).

A causa delle fusioni tra le società, è stato svolto un secondo test su due panel che erano stati inclusi nella precedente relazione: Toluna e Opinion Outpost (SSI), quindi l’analisi sarà nuovamente svolta su dodici istituti38.

La metodologia di indagine è la stessa utilizzata nella ricerca del 2009 ma, ai membri, è stato chiesto specificamente di rispettare le seguenti indicazioni:

• Fornire profili completi per ogni panel;

• Rispondere agli inviti entro 72 ore al massimo (il divario medio tra quando l’invito è stato ricevuto e la risposta del panelista è stato di 16 ore e 58 minuti);

• Fornire risposte vere ad ogni questionario, non tentare di qualificarsi per studi se non si hanno le caratteristiche idonee per farlo;

• Si risponde solo agli studi per i quali sono arrivati inviti tramite e-mail, non si partecipa ad indagini disponibili sul sito web;

• Non partecipare ad alcuna indagine qualitativa il cui reclutamento avviene attraverso il pannel;

• Tracciare in modo preciso tutto ciò che succede per ogni invito ricevuto, nei trenta giorni in cui si svilupperà il test.

L’anonimato degli istituti continuerà ad essere garantito indicando semplicemente con numeri le società coinvolte.

Anche l’obiettivo della ricerca rimane il medesimo: non si vuole semplicemente indicate il tasso di chiamata di una società e paragonarlo a quello di un’altra ma si vuole valutare questi panel dal punto di vista delle persone che partecipano. Prima di passare ai risultati ottenuti, nel report ci si interroga su questioni generali come, ad esempio, chi effettivamente fornisce il questionario (poiché l’invito può essere ricevuto da un istituto il quale però può rivendere le informazioni ad un altro, senza che il rispondente lo sappia) e sulla velocità con cui i sondaggi vengono chiusi (in media, il 24% degli studi a cui hanno partecipato i membri sono stati chiusi in meno di 24 ore dall’invito ricevuto).

La durata media di un questionario è stata di 18,3 minuti e il 49% degli inviti riguardavano un questionario per la cui compilazione erano necessari almeno 20 minuti.

Tra gli aspetti che hanno maggiormente colpito i membri che hanno partecipato al test c’è l’aspetto relativo alla qualità del questionario, dal punto di vista strutturale.

Si riportano alcuni esempi per comprendere al meglio di che cosa si tratta:

• Un panelista risponde che non possiede uno smartphone e successivamente gli vengono poste delle domande in merito alle sue abitudini nello scaricare applicazioni o video sul suo smartphone;

• Un questionario chiede quante volte in una settimana il panelista frequenta un convenience store e le opzioni di risposta sono: una volta – due o tre volte – più di quattro. Essendo che il rispondente non frequenta affatto questo tipo di punto vendita, non ha saputo come procedere;

• Ad un rispondente single, di sesso maschile è stato chiesto che cosa pensa riguarda agli indumenti che acquista per il proprio marito o fidanzato; • Un questionario chiede ad un panelista cosa colleziona e fornisce 15

opzioni diverse, molto bizzare (come le medagliette del cane e non, ad esempio, francobolli o cartoline). L’intervistato ha dovuto ammettere di collezionarne una, tra le opzioni proposte, perché l’alternativa “nessuna di

queste” non era contemplata.

Questi, appena citati, possono essere considerati errori “da principianti” e non possono essere presenti in studi condotti da società importanti come quelle sopra elencate.

PANEL 1 2 3 4 5 6 7 8 9 10 11 12 INVITATIONS PER

PANEL MEMBER 42,3 10,3 20 9,8 51,3 11,3 6,5 34 8,5 7,7 23 / AVERAGE FREQUENCY 1,4 E.D. 1 E 2,9 D 1 E 1,5 D 1 E 3,1 D 1,71 E.D. 1 E 2,7 D 1 E 4,6 D 1,1 E.D. 1 E 3,5 D 1 E 3,9 D 1 E 1,3 D /

COMPLETED SURVEYS 20,7 2 1 2,5 10 6 6,5 7,7 5 5 2,7 /

NOT QUALIFY 15,3 5,7 13 3,5 23,7 5,3 / 10,7 3,5 1 11,3 /

CLOSED 4 2 4 3,3 14 / / 14,3 / 1,7 6,7 /

OTHER 2,3 0,7 2 0,3 3,7 / / 1,3 / / 2,3 /

AVERAGE QST LENGTH 22,1 min 20,2min 17,3min 17,7min 17,5min 16,1min 10,7min 21,2min 18,3min 9,6min 19,6min /

AVERAGE INCENTIVE 98 cents $2,12 / $2,43 $1,75 95 cents +

sweepstakes / $1,64 $2,22 84 cents $1,27 /

AVERAGE PER HOURS

INCENTIVE $2,67 $6,30 / $8,24 $6,00 $3,54 / $4,64 $7,28 $5,25 $3,89 / AVERAGE MONTHLY

PAY $20,29 $4,24 / $6,08 $17,50 $5,70 / $12,63 $11,10 $4,20 $3,43 /

Tabella 11 - Tabella riepilogativa esperimento condotto, 2012

In aggiunta alle variabili considerate già nel test del 2009 (gli inviti ricevuti da ciascun membro nella durata totale del test, la frequenza con la quale i membri venivano invitati a partecipare ad un sondaggio, gli studi completati, quelli chiusi e gli eventuali errori tecnici), ne vengono studiate altre quattro molto significative: la lunghezza media di un questionario espressa in minuti, la media degli incentivi forniti per ogni questionario, la media degli incentivi per ora e la remunerazione media mensile.

Il Panel 1 è risultato uno dei peggiori visto l’alto tasso di chiamata a fronte di una remunerazione media tra le più basse di tutti i panel.

Situazione completamente opposta si è verificata per il Panel 2 , il quale, con un tasso di chiamata basso assegna uno degli incentivi medi più alti ($2,12).

Il Panel 7 rappresenta una caso controverso.

Primo, ha il numero più basso degli inviti in un mese (6,5) con un 70% in meno di chiamate rispetto alla media di 21,8 degli altri panel e l’87% di chiamate in meno rispetto al Panel 5, che è stato il più attivo.

Secondo, non ci sono stati studi per i quali i panelisti non si sono qualificati. Terzo, questo è stato uno dei tre panel che non ha trovato studi già chiusi, e uno

dei quattro panel che non ha avuto problemi tecnici legati allo svolgimento dell’indagine.

Inoltre, la lunghezza media dei questionari è stata pari a 10,7 minuti, il secondo tasso medio più basso dopo quello conseguito dal Panel 10.

Infine, questo è stato l’unico panel che non offriva remunerazioni in denaro, ma prevedeva solo partecipazioni alle lotterie.

Il Panel 8 è stato definito un “incubo” dai panelisti: è stato uno dei panel più attivi con più di una richiesta al giorno e, allo stesso tempo, registra il numero più alto dei questionari chiusi. Se ci mettiamo, per un attimo, nei panni di un panelista che riceve almeno una richiesta al giorno, l’accetta, per poi trovarsi difronte ad un’indagine chiusa, capiamo la definizione di “incubo”: partecipare ad un’intervista non può essere una corsa contro il tempo.

Inoltre, sempre in relazione al Panel 8, i membri hanno manifestato lamentele in merito ai tempi estremamente lunghi in alcune fasi dell’indagine:

• “Dopo dieci minuti mi hanno detto che non ero idoneo a continuare il

questionario. Mi sembra che sia un tempo troppo lungo”;

• “Ho risposto a venti domande prima che mi dicessero che l’indagine era

già stata chiusa, ovviamente non mi ero qualificato”;

• “Mi hanno detto che il sondaggio era stato chiuso dopo aver impiegato

almeno cinque minuti nel rispondere a domande inerenti a cosa pensavo fosse importante quando facevo shopping”;

• “Mi hanno detto che era chiuso, però prima mi hanno fatto rispondere a

• “Dopo venti minuti che stavo rispondendo alle domande, mi dicono che

non sono idoneo. Ho risposto almeno a 45 domande prima di arrivare a questo, molte delle quali erano griglie. Che mal di testa!”.

Questo Panel probabilmente rappresenta un buon esempio per descrivere ciò che bisogna evitare.

Per il Panel 12 non è stato possibile fare alcun tipo di valutazione poiché, a fronte degli inviti dei panlisti, questi, non hanno ricevuto alcuna mail di conferma dell’avvenuta iscrizione.

In conclusione, l’obiettivo dell’esperimento è stato quello di mettere in luce le problematiche relative a questo nuovo modo di fare ricerca ma non solo; ha voluto anche responsabilizzare le aziende che commissionano progetti a queste società, fornendo cinque utili consigli (con toni spesso critici e accesi, che hanno caratterizzato questa ricerca):

1. Fissare dei parametri chiari per quello che per te ha valore in un panel. Non vi preoccupate degli incentivi che i panelisti guadagnano? Se è così, questo deve far parte del criterio di selezione. Non vi preoccupate se questi istituti usano un router? Se così è, fate in modo che questi lo facciano. E se non vi preoccupate di tutte queste cose, perché no? Avete considerato i motivi che vi hanno portato e definire questi parametri non importanti?

2. Valutare i panel non solo in base ai loro prezzi e alle loro vendite. Questo

quella di Mktg. Inc. intitolata “The Great Mean Project”39, che si occupa di replicabilità dei dati e dei coerenza all’interno dei panel. Visualizzare i siti web di questi istituti e guardare l’esperienza che hanno. Parlare con altri ricercatori. Visitare siti come www.surveypolice.com, dove i membri di vari panel parlano delle loro esperienza nella redazione dei questionari. Potreste anche provare a fingervi voi dei panelisti, per capire cosa realmente si prova;

3. Assicuratevi di comunicare con il vostro ricercatore o con il panel

provider e di sapere cosa sta succedendo con il vostro studio. […]

4. Essere disposti a pagare un po’ di più per la qualità. Non è possibile

soggiornare all’Hilton hotel allo stesso prezzo con cui si soggiorna in un Motel. Non è realistico pensare di poter avanzare determinate richieste ad un panel in quale offre un’offerta piuttosto bassa. Ovviamente i costi sono importanti nella ricerca, ma fare le cose giuste fa risparmiare tempo e denaro. Se non si è disposti ad accettare questo, vorrà dire che sarete disposti ad accettare qualsiasi cosa dal primo provider che vi capita.

5. Infine, non dare nulla per scontato. Piuttosto, essere coinvolti nel field, o

lavorare con un fornitore che è coinvolto. Il lavoro sul campo non è la cosa più eccitante del mondo, ma è fondamentale per la qualità dei dati. Troppo spesso, il fieldwork è un buco nero, con i ricercatori che si occupano principalmente di ottenere i dati finali in modo che possano analizzare. Ma se i metodi di raccolta dei dati sono difettosi, con conseguenti dati discutibili, a cosa serve un'analisi?

3.4.2 “IS ONLINE SAMPLE QUALITY A PURE OXYMORON?”

Scott Weinberg è il fondatore di Tabla Mobile LLC, un’azienda specializzata nella gestione di ricerca mobile40 ed è anche lo scrittore del post intitolato: “Is

online sample a pure oxymoron?”.

Ritorna il problema del campione, o meglio, della qualità del campionamento che caratterizza i panel di ricerca online.

Scott pubblica questo post sul suo blog nel marzo 2014, rifacendosi così ai temi trattati nel caso citato precedentemente, “Dirty Little Secrets of Online Panels” e racconta che durante una conferenza CASRO rimane colpito da un’osservazione fatta da un ricercatore di marketing di una nota compagnia:

“Quando è stata l’ultima volta che avete lavato la vostra macchina presa a noleggio?” Il contesto riguardava il campionamento online. Ed è stato uno dei pochi, molto pochi in realtà, che ho incontrato negli ultimi 12 anni in questo ambiente, che ha apertamente