La validità interna ed esterna dei disegni sperimental

In linea generale il concetto di validità si riferisce alla correttezza e alla veridicità dell’inferenza fatta sui risultati ottenuti in un esperimento, distinguendo tra validità

interna ed esterna.

La validità interna è relativa al grado di accuratezza con cui si può inferire che esiste una relazione di causalità tra la variabile indipendente e la variabile dipendente; ovvero, che la prima causa l’effetto osservato nella seconda. Naturalmente, per poter dedurre ciò devono sussistere le condizioni necessarie ad una relazione di causalità; ovvero, la causa deve precedere temporalmente l’effetto, causa ed effetto devono covariare e non devono esistere altre motivazioni plausibili volte a spiegare la relazione oggetto di studio. Ottenere quest’ultima condizione è molto difficile, poiché, oltre alle variabili manipolate nell’esperimento, esistono sempre delle variabili estranee alla ricerca che possono impattare sulla variabile dipendente, generando confusione e/o conclusioni errate. Per evitare di giungere a conclusioni errate, è necessario controllare le variabili estranee, preservando così la validità interna. Ciò non implica la completa eliminazione dell’influenza delle variabili estranee, anche perché sarebbe di impossibile realizzazione, bensì l’eliminazione dei cambiamenti nelle modalità e intensità con cui le variabili estranee impattano sulla variabile dipendente lungo i vari livelli della variabile esplicativa. Tale controllo lo si può ottenere mantenendo costante l’effetto delle variabili estranee attraverso tutte le forme di trattamento.

Tuttavia, spesso le difficoltà riscontrate in termini di validità interna non riguardano tanto il controllo delle variabili estranee, quanto la loro individuazione. Shadish et al., (2002) hanno identificato diverse fonti che rappresentano una minaccia per la validità interna della ricerca, distinguibili nei seguenti effetti:

- History. Con questo termine ci si riferisce a qualsiasi evento esterno che accade

nel tempo che intercorre tra l’inizio della somministrazione del trattamento e la misurazione della variabile dipendente, e che può essere la causa dell’effetto osservato. Tale minaccia può presentarsi anche negli studi in cui si effettua un pre- test seguito da un post-test, volti a misurare la variabile dipendente. Ovviamente, più è lungo il tempo che trascorre tra la somministrazione del trattamento e la valutazione dell’effetto ottenuto, maggiore è la probabilità di incorrere in questa forma di minaccia.



ͳͳͻ 

 

- Maturation. Ci si riferisce ai mutamenti interni che, con il trascorrere del tempo,

possono verificarsi in un individuo. Mutamenti che coinvolgono sia l’aspetto psicologico che biologico dell’individuo, e che non sono legati a specifici eventi esterni, ma risiedono nella persona e che per tale motivo la influenzano. Negli esperimenti che prevedono lo svolgimento di vari step, man mano che si procede con le prove, i partecipanti possono acquisire maggiore familiarità ed esperienza con i task da svolgere, e ciò può indurli a rispondere in maniera deviata.

- Instrumentation. Tale minaccia è relativa ai cambiamenti che si verificano nella

stima della variabile dipendente durante il processo di misurazione. Infatti, alcune tecniche impiegate per la misurazione di tale variabile possono subire dei mutamenti tra uno studio e l’altro. Ciò accade soprattutto con riferimento alle tecniche che impiegano gli uomini come osservatori, i quali possono essere soggetti all’influenza della fatica, della noia, del processo di apprendimento, ecc. che, a loro volta, possono dar vita a misurazioni distorte. Un modo per minimizzare l’instrumentation effect è quello di utilizzare più osservatori, in maniera tale da garantire un monitoraggio reciproco tra essi.

- Testing. Questa minaccia si presenta sotto forma del diverso punteggio ottenuto da

ciascun partecipante alla seconda somministrazione dello studio, come conseguenza di una precedente somministrazione. In altre parole, l’essere sottoposti allo studio in una precedente occasione può alterare i risultati ottenuti da una seconda somministrazione dello stesso studio. Ciò perché si familiarizza con lo studio e si correggono gli errori che si sospetta di aver commesso alla prima somministrazione. Per tale motivo, la performance risultante dalla seconda somministrazione tende ad essere più elevata.

- Regression Artifact. Nell’ambito degli esperimenti che richiedono pre e post-test,

al fine di misurare i cambiamenti subiti dalla variabile dipendente, spesso si selezionano solo due gruppi di partecipanti, aventi punteggi opposti. In questi casi può subentrare il fenomeno della regression artifact, ovvero la tendenza per i punteggi estremi di diventare meno estremi in una seconda misurazione. Infatti, in una particolare distribuzione, i punteggi estremi tendono a muoversi verso il valore medio, come conseguenza della ripetizione dello studio. Questo fenomeno



ͳʹͲ 

 

esiste poiché i mezzi di misurazione non sono completamente affidabili e, inoltre, i partecipanti tendono a non voler assumere posizioni estreme.

- Attrition. Tale minaccia, definita anche experimental mortality, può presentarsi negli studi in cui l’esperimento è diluito in vari momenti temporali e alcuni individui non completano l’esperimento, non esponendosi o non prendendo parte a tutte le sue fasi, inficiando anche la validità degli step precedenti. Per ridurre tale rischio è possibile predisporre piccoli incentivi volti a stimolare i partecipanti.

- Selection bias. Ci si riferisce alla minaccia del subentrare di ipotesi alternative,

presente quando la scelta dei partecipanti da collocare nei vari gruppi, sottoposti a diversi trattamenti, si basa su criteri di selezione differenti, dal momento che l’assegnazione casuale non può essere eseguita.

Oltre alla validità interna di un esperimento, deve essere valutata la sua validità esterna. Essa si riferisce alla proprietà del disegno sperimentale di permettere la generalizzazione dei risultati oltre il contesto e la procedure applicata. Si tratta di un processo inferenziale, consistente nel fare ampie affermazioni sulla base di informazioni limitate. Affinché i risultati di uno studio possano essere generalizzati, è necessario identificare una popolazione target di individui, ambienti, trattamenti, modalità di misurazione dei risultati e tempi considerati, e procedere con la selezione degli individui da queste popolazioni secondo criteri probabilistici, cosicché il campione sarà rappresentativo della popolazione di riferimento. A causa dei tempi e dei costi elevati, o di problemi di accessibilità, molti studi non selezionano il campione in maniera random; per tale motivo, minacce alla validità esterna possono caratterizzare tali studi. Queste minacce possono essere classificate in cinque ampie categorie (Christensen, 2004):

- Lack of population validity. La validità della popolazione si ha quando è possibile

generalizzare i risultati dal campione su cui lo studio è stato condotto all’ampia popolazione d’interesse. Naturalmente il ricercatore non può accedere all’intera popolazione per la selezione dei partecipanti alla ricerca, ma solo ad una frazione di essa, definita popolazione sperimentale accessibile. Se da quest’ultima il campione è selezionato secondo criteri probabilistici può essere considerato rappresentativo, quindi le caratteristiche riscontrate sul campione possono essere considerate valide per la popolazione accessibile. Inoltre, se quest’ultima è



ͳʹͳ 

 

rappresentativa della popolazione target, allora si può avere un’ulteriore generalizzazione: ciò che vale per la popolazione sperimentale accessibile può essere considerato valido anche per la popolazione target. Tuttavia, ottenere una popolazione accessibile rappresentativa è raramente possibile.

- Ecological validity. Questo tipo di validità è riferita alla possibilità di

generalizzare i risultati ottenuti in determinate condizioni ambientali a contesti caratterizzati da un altro set di condizioni ambientali. L’ecological validity esiste nella misura in cui l’effetto del trattamento è indipendente dall’ambiente dell’esperimento.

- Time validity. La validità temporale è intesa come il grado con cui i risultati di un

esperimento possono essere considerati validi nel corso del tempo. Spesso i ricercatori basano uno studio su un esperimento realizzato in un’unica soluzione temporale, assumendo la costanza dei risultati nel tempo. Tuttavia, questi possono variare già in relazione al tempo che trascorre tra la somministrazione della variabile indipendente e la stima della variabile dipendente. La variazione dei risultati nel tempo non dipende esclusivamente dalla lunghezza del tempo trascorso, ma anche da altre variazioni che si presentano regolarmente a determinati intervalli temporali, definite variazioni stagionali, o da variazioni nelle persone o negli altri organismi, definite variazioni cicliche, le quali minacciano la validità esterna. Può anche accadere che le variazioni cicliche possano alterare l’effetto prodotto dal trattamento o interagire con esso. In tal caso, i risultati dell’esperimento possono essere generalizzati esclusivamente a quei casi in cui sussistono le stesse interazioni e variazioni cicliche presenti nell’esperimento. - Treatment variation validity. Si fa riferimento alla generalizzabilità dei risultati al

di là della variazione dei trattamenti. Tale validità rappresenta un problema, poiché la somministrazione di un trattamento può variare da una prova all’altra.

- Outcome validity. Quest’ultima categoria di minacce alla validità esterna fa

riferimento alla generalizzabilità dei risultati tra differenti, ma connesse variabili dipendenti. Infatti, alcuni studi analizzano l’effetto che una variabile indipendente ha su più variabili dipendenti. L’outcome validity si riferisce alla possibilità che lo stesso effetto venga rilevato da tutti i connessi risultati stimati.



ͳʹʹ