57
1. validità della conclusione statistica, effettiva esistenza di una relazione tra una variabile X ipotizzata indipendente, e una variabile Y supposta dipendente.
2. validità interna, le variabili X e Y sono legate da una relazione di causalità e l’effetto rilevato sulla variabile dipendente, è dovuto unicamente al fattore sperimentale e non a fattori sub-sperimentali. La verifica della relazione di causalità è effettuata con l’inferenza statistica (verifica delle ipotesi).
3. validità esterna, il modello di causa-effetto specificato è generalizzabile a circostanze più ampie di quelle considerate nell’esperimento e fuori dal dominio dei fattori sperimentali. Quindi gli effetti della variabile indipendente sulla variabile dipendente possono estendersi all’intera popolazione da cui provengono le unità del campione sperimentale.
4. validità del costrutto, è un aspetto particolare della validità esterna e riguarda la generalizzazione della relazione di causa-effetto di un costrutto teorico latente, più ampio di quello direttamente osservato.
Le quattro classi di validità non sono indipendenti, in quanto al crescere di un tipo di validità ne decresce normalmente un altro. Infatti, solo in un esperimento ideale possiamo avere un modello di risposta valido dal punto di vista esterno e interno, nella realtà, si perviene a modelli che rappresentano un compromesso tra i due tipi di validità.
Inoltre abbiamo che l’esperimento di laboratorio assicura una maggiore validità interna del modello sperimentale, perché viene svolto un grande controllo rispetto all’esperimento sul campo il quale viceversa gode di una maggiore validità esterna.
In sintesi per validità interna si intende l’effettiva esistenza di una relazione di causa-effetto tra le variabili esplicative e la variabile dipendente. Per validità esterna si intende invece la generalizzabilità di detta relazione alla popolazione di provenienza del campione di unità sperimentali.
Tramite l’utilizzazione di un disegno sperimentale il ricercatore tenta di misurare l’effetto di una o più variabili indipendenti (fattori esplicativi) su una variabile dipendente, tenendo sotto controllo l’influenza delle variabili di disturbo. E’ da considerare però che è difficile attuare un controllo completo di tutte le variabile di disturbo, per cui quello che si misura in un esperimento non è tanto l’effetto di una o più variabili indipendenti su una variabile di risposta, quanto l’effetto della situazione sperimentale nella quale è insito un errore sperimentale che può compromettere gravemente la validità dell’esperimento.
3.7.1 Tipi di errore che compromettono la validità interna del modello sperimentale
Abbiamo visto che il modello sperimentale ha validità interna se le variabili indipendenti che esso considera, provocano effetti sulla variabile dipendente.
Le fonti di errore che intaccano la validità interna sono:
1. Cambiamento del contesto di mercato. L’errore in argomento interviene quando, tra il momento della misurazione ex-ante della variabile dipendente e il momento della sua misurazione dopo (ex-post) l’effettuazione della prova, intervengono eventi esterni (di mercato, economici). Al crescere della durata dell’esperimento cresce la probabilità che l’errore in discussione intacchi in modo significativo i risultati sperimentali. L’errore causato da cambiamenti di contesto può essere ininfluente nell’esperimento di laboratorio (nel quale possono essere prevenuti e cont rollati i fattori di disturbo), può risultare grave nell’esperimento sul campo.
2. Anzianità delle unità sperimentali. Provoca cambiamenti biologici o psicologici sulle unità sperimentali durante il periodo di svolgimento della prova. Mentre l’errore di cambiamento del contesto è dovuto all’ambiente esterno all’esperimento, l’errore provocato dall’anzianità è interno alle unità sperimentali.
3. Condizionamento della procedura sperimentale (pretesting). Consiste nell’effetto di una precedente misurazione sui risultati di un esperimento. Questo errore coinvolge gli individui
58
e interviene quando una valutazione, assegnata da un soggetto prima della somministrazione del trattamento sperimentale, influenza la valutazione che il medesimo esprime dopo il trattamento. In questo caso la differenza tra la risposta rilevata nel pre-test e quella osservata nel post-test, non riflette l’effetto delle variazioni dei fattori sperimentali.
4. Cambiamento della strumentazione dell’esperimento. Il connesso errore è dovuto a cambiamenti nella calibratura dello strumento o nella procedura di misurazione della variabile dipendente. Altri errori sono dovuti a sostituzioni degli intervistatori e all’interazione intervistato- intervistatore. Il tipo di errore in esame interviene quando si effettuano più misurazioni (replicazioni) sulla varibile dipendente o quando l’esperimento è svolto su individui.
5. Mortalità delle unità sperimentali. L’errore in questione interviene quando alcuni soggetti non partecipano più all’esperimento per motivi naturali (morte) o per defezione (per stanchezza) e le unità sostitutive no n sono omogenee con quelle originarie. Questo tipo di errore agisce soprattutto nell’esperimento sul campo (ad esempio in un panel di consumatori, dove i panel sono campioni rappresentativi con i quali un fenomeno è rilevato in forma continuativa).
6. Selezione dell’unità sperimentali. Questa fonte di errore agisce sui risultati dell’esperimento quando le unità appartenenti al GS differiscono strutturalmente da quelle del GC. L’errore può essere neutralizzato con la casualizzazione delle unità sperimentali.
7. Correlazione interclasse. Questa fonte di errore opera quando i soggetti appartenenti al GS sono stati selezionati in corrispondenza di modalità estreme (valori più alti o più bassi) di un carattere correlato alla variabile dipendente.
8. Interazione con la selezione. Ossia, effetti di interazione dell’errore di selezione con l’errore di anzianità e con l’errore di cambiamento del contesto di me rcato. L’interazione selezione- anzianità si presenta quando i gruppi sperimentali (di test e di controllo) maturano esperienze con differenti velocità. L’interazione selezione-cambiamento del contesto di mercato, interviene quando i gruppi sperimentali appartengono a diversi contesti (ad esempio, il gruppo di venditori sottoposti ad un corso di formazione, il GS è composto da soggetti residenti nel nord Italia, mentre al GC appartengono soggetti residenti nel sud del paese).
La casualizzazione delle unità sperimentali neutralizza molte fonti di errore che possono compromettere la validità interna del modello. La casualizzazione in argomento è effettuata nel vero esperimento ma non nel quasi- esperimento.
3.7.2 Tipi di errore che possono compromettere la validità esterna del modello sperimentale
Per validità esterna s’intende l’idoneità del modello sperimentale ad essere esteso (inferenza statistica) alla popolazione di provenienza del campione.
I tipi di errore che in un esperimento possono intaccare la validità in parola sono:
1. Reattività al testing. Condizionamento dovuto alla consapevolezza delle unità sperimentali (individui) di partecipare ad un test di mercato, in quanto richiede misurazioni “prima” e “dopo” il trattamento sperimentale. Quella che precede l’indagine, altera il naturale comportamento del rispondente, provocando risposte orientate e distorte nella misurazione dopo. Questo errore si presenta nell’esperimento di laboratorio ma può intervenire anche nell’esperimento sul campo e a differenza dell’errore di pretesting (inerente alla validità interna), si focalizza l’interazione del testing con il fattore sperimentale.
2. Reattività al contesto sperimentale. È un errore dovuto a reazioni emotive delle unità sperimentali all’ambiente di prova, cioè al set sperimentale, all’influenza del ricercatore sulle unità sperimentali (le quali potrebbero voler soddisfare le presunte aspettative dello
59
sperimentatore e dare perciò, risposte non veritiere), all’influenza delle unità sperimentali sullo sperimentatore.
3. Interazione trattamento-contesto del mercato. Si presenta quando la variabile dipendente è misur ata in un intervallo temporale successivo all’esperimento, non è rappresentativo a causa dell’intervento di variabili estranee che confondono l’effetto della/e variabile/i indipendente/i.
4. Interazione trattamento-selezione. Interviene quando le unità sperimentali del campione non sono rappresentative della popolazione di provenienza, a causa della presenza di un errore (sistematico) di campionamento. La mancanza di rappresentatività del campione di partecipant i interagisce con le condizioni del trattamento producendo risultati distorti, a causa del fatto che le unità del campione presentano una differente sensibilità nei confronti del fenomeno allo studio. Questo errore si può presentare sia nell’esperimento di laboratorio che in quello sul campo.
Un ulteriore complicazione si verifica quando, cercando di ridurre un tipo di errore se ne accresce un altro. Ad esempio, se al fine di ridurre l’errore di pretesting si modifica nella misurazione “dopo” l’editing del questionario, l’errore si riduce, ma cresce quello dovuto al cambiamento della strumentazione.
E’ importante rilevare che non tutti gli errori elencati sono presenti o ugualmente importanti in un esperimento di marketing, così come non sono esaustivi, in quanto possono intervenire altre fonti di errore. La presenza di ognuno di essi è legata alla natura della prova (di laboratorio o sul campo) e alle unità sperimentali (individui e non) sottoposte a trattamento.
Ci sono casi in cui le varie fonti di errore possono gravemente compromettere la validità del modello sperimentale. (Tabella 13)
Tabella 13- Fonti di errore che possono compromettere la validità del modello sperimentale
ERRORE GRAVE FONTI DI ERRORE
Per tipo di esperimento Per tipo di unità sperimentali Cambiamento del contesto di mercato Sul campo Persone e non
Anzianità delle unità sperimentali Di laboratorio o sul campo Persone e non Pretesting Di laboratorio o sul campo Persone Cambiamenti nella strumentazione Di laboratorio o sul campo Persone Selezione Di laboratorio o sul campo Persone e non
Mortalità Sul campo Persone e non
Reattività al testing Di laboratorio Persone Interazione trattamento-selezione Di laboratorio o sul campo Persone e non
Fonte: Adattato da De Luca A., (2004)
E’ possibile eliminare o controllare le conseguenze degli errori in discussione, con opportuni disegni sperimentali, o tramite idonee tecniche statistiche (ad esempio l’analisi della covarianza). In conclusione è da rilevare che una relazione di causalità individuata tra due o più variabili, non può mai essere assunta come certa, infatti per quanto controllato e realistico sia l’esperimento, l’interpretazione dei risultati va effettuata con molta cautela. E’ da considerare comunque che una ricerca sperimentale consente d’individuare una relazione di causalità diversamente dalla ricerca osservazionale.
60