riate è indipendente dal metodo di raccolta dati assegnato (cfr. Lee, 2006);
2. la stratificazione, che fissa i livelli delle variabili che possono confondere l’effetto del metodo di raccolta dei dati (confounders) sulle risposte e produce gruppi entro i quali tali variabili non variano rispetto al metodo di raccolta;
3. modelli multivariati, per correggere le differenze esistenti nella composizione dei campioni, come la regressione lineare o logistica e l’analisi della covarianza, che può utilizzare un numero elevato di covariate in contemporanea (Dillman et al., 2009). Ad esempio, De Leeuw (1992) utilizza l’analisi della varianza ponendo la tecnica di raccolta dei dati e la partecipazione o meno all’indagine come fattori e le dimensioni risultati da un’analisi di omogeneità svolta su una variabile rilevante di indagine misurata sia sui rispondenti che sui non rispondenti come variabili dipen-denti;
4. modelli a variabile latente che possono essere utilizzati in combinazione con la re-intervista (cfr. Biemer, 2001) o con la validazione da dati esterni (Voogt e Saris, 2005), per correggere la distorsione dovuta alla non risposta.
Lo svantaggio di questi modelli è l’assunzione che ogni tecnica di indagine possa po-tenzialmente coprire l’intera popolazione, cosa che non sempre è verificata (ad esempio come nel caso dei tassi di copertura nelle indagini telefoniche e web).
Propensity score matching. E’ utilizzato per separare l’effetto dovuto alla multi-tecnica
dalla distorsione dovuta alla non risposta, mettendo in corrispondenza rispondenti simili che hanno risposto con metodi diversi, in un disegno quasi-sperimentale. Dopo il matching tra questi, la differenza nella composizione dei campioni può dipendere dalle differenze nelle variabili risposta (Lugtig et al., 2011). Per dettagli, cfr. il Paragrafo 5.4.2.
69
5. METODI PER LA VALUTAZIONE E IL TRATTAMENTO DELL’EFFETTO TECNICA IN
FASE DI STIMA
15.1 Introduzione
L’obiettivo principale di un’indagine statistica è ottenere stime accurate dei parametri di interesse. Nelle indagini multi-tecnica le stime sono il risultato della combinazione di dati raccolti con differenti strumenti di rilevazione. In questi casi, l’accuratezza del processo inferenziale è assicurata, oltre che da altri numerosi fattori - copertura, mancata risposta totale, stimatore - soltanto se la misurazione effettuata con più tecniche è equivalente, ovvero se non è violata l’assunzione di invarianza della misurazione delle tecniche (Hox et al., 2015).
Tradizionalmente, i metodi di inferenza statistica utilizzati per trattare i dati raccolti con tecniche miste assumono che l’effetto misurazione sia ignorabile, ovvero che sia determi-nato dal caso e non dalla tecnica. Partendo da una considerazione di ordine generale, è pos-sibile affermare che tutte le tecniche di indagine generano, per ogni unità della popolazione, valori vicini ai valori veri. Tuttavia, quando più tecniche di rilevazione sono utilizzate per rilevare lo stesso fenomeno non è detto che, tutte, realizzino una misurazione equivalente (cfr. Capitolo 4).
D’altra parte, nelle indagini multi-tecnica, l’ipotesi di ignorabilità dell’effetto misurazio-ne non può essere valutata attraverso test statistici standard delle differenze misurazio-nei parametri stimati sui campioni di rispondenti con modalità diverse (di seguito indicati semplicemente come campioni di rispondenti), senza tener conto dell’effetto selezione dovuto alla non casualità della risposta al mix di tecniche somministrate.
L’effetto selezione rappresenta, di fatto, una conseguenza naturale di questo tipo di indagini, in quanto l’utilizzo di più tecniche di rilevazione consente di raggiungere differenti target di popolazione. Tale effetto non costituisce in sé un limite, ma della diversa composi-zione dei campioni di rispondenti si deve tener conto, sia per verificare la reale presenza di errori di misura, sia per neutralizzare differenze nelle stime determinate da variazioni della composizione dei campioni di rispondenti nelle successive edizioni dell’indagine.
Nei disegni di indagini di tipo concorrente, la diversa composizione dei campioni è determinata ex-ante ed è legata, generalmente, a ragioni di copertura. Infatti, per garantire la rappresentatività dell’intera popolazione, campioni indipendenti sono selezionati da po-polazioni raggiungibili con modalità di rilevazione differenti (ad esempio la tecnica Cati per le famiglie con telefono fisso).
Nei disegni di tipo sequenziale, la diversa composizione dei campioni è determinata dall’autoselezione dei rispondenti che scelgono modalità di risposta differenti (mode choi-ce). In questo caso i campioni di rispondenti non sono indipendenti e la loro dimensione diventa una variabile casuale.
1 Hanno collaborato alla stesura del capitolo: Claudia De Vitiis (paragrafi 5.2.2., 5.3.2., 5.4.2., 5.5.1., 5.5.3.), Francesca Inglese (paragrafi 5.1, 5.2.1., 5.2.3., 5.2.4., 5.3.1., 5.4.1., 5.4.3., 5.4.4., 5.4.5., 5.4.6., 5.5.2.).
70
L’effetto tecnica nelle indagini mixed-mode L’effetto selezione assume, pertanto, una duplice connotazione: da una parte può esse-re visto come un vantaggio, dall’altra, come una complicazione poiché, come anticipato nei capitoli precedenti, risulta completamente confuso con l’effetto misurazione determinato da differenze negli errori di misura associabili a diverse tecniche di rilevazione.La confusione tra i due effetti può condurre a difformità nelle stime di parametri della popolazione calcolate sui campioni di rispondenti che sono causate o dalla diversa composi-zione dei campioni o da differenze negli errori di misura (de Leeuw, 1992; Weisberg, 2005). Entrambi gli effetti, pur agendo in modo dissimile, sono contenuti nella relazione tra variabile d’indagine e tecnica. L’effetto misurazione produce differenze nelle medie stimate sui diversi campioni di rispondenti, mentre l’effetto selezione, influenzando la struttura di correlazione dei dati, produce misure non equivalenti tra i campioni di rispondenti (Hox et al., 2015).
Da un punto di vista inferenziale è necessario che gli effetti di selezione e misurazione siano indagati separatamente (Vannieuwenhuyze e Loosveldt, 2013), sia per una corretta formulazione dell’errore totale non campionario, sia per l’applicazione di metodi atti a cor-reggere le stime dei parametri di interesse dell’indagine dagli effetti distorsivi determinati da una molteplicità di cause.
Il problema della confusione tra i due effetti costituisce il tema centrale della teoria dell’inferenza causale (Morgan e Winship, 2009; Pearl, 2009; Weisberg, 2010). Detta teoria può essere applicata al contesto delle indagini multi-tecnica in quanto l’errore di misura è concettualizzato come un effetto causale della tecnica sulla variabile d’indagine, mentre l’ef-fetto selezione è visto come una correlazione spuria tra la variabile d’indagine e la tecnica.
Per la stima dei due effetti, l’inferenza causale è usata secondo una prospettiva contro-fattuale, ovvero ipotizzando l’esistenza di un risultato potenziale non realmente osservato. Tale approccio fornisce un insieme di metodi che mirano a superare il problema contro-fattuale con modelli di analisi basati su covariate, o che hanno l’obiettivo di costruire dati controfattuali sulla base di modelli di imputazione.
L’applicabilità e la validità di metodi inferenziali basati su modelli è, tuttavia, stretta-mente connessa alla disponibilità di variabili ausiliarie, provenienti da archivi o dall’indagine stessa, la cui specifica attitudine sia proprio quella di spiegare effetti distorsivi di diversa natura. Condizione essenziale è che tali variabili ausiliarie, se rilevate nell’indagine stessa, non siano influenzate dalla tecnica (mode insensitive).
Nelle indagini mixed-mode è necessario, poi, considerare l’effetto selezione dovuto alla mancata risposta totale. Per produrre stime meno distorte possibile, gli effetti introdotti dal mix di tecniche devono essere trattati congiuntamente all’effetto selezione determinato dal-la mancata risposta totale. Il trattamento deldal-la mancata risposta totale, nelle indagini multi-tecnica soprattutto di tipo sequenziale, è un’operazione complessa in quanto il modello di risposta dovrebbe tener conto del processo di risposta, ovvero del fatto che la distribuzione del campione di rispondenti della seconda fase dipende dai risultati della risposta che si realizza in prima fase con una differente tecnica (Cobben et al., 2006).
In generale, l’utilizzo di indagini a tecnica mista non garantisce di per sé una riduzione dell’errore totale, perché a fronte di una riduzione di effetti distorsivi sulle stime dell’inda-gine dovuti ad un aumento generale del tasso di risposta o alla soluzione di problemi di copertura, altre forme di distorsione, come visto, possono essere introdotte.
L’obiettivo del presente Capitolo è quello di fornire, attraverso una breve e non esausti-va descrizione dei metodi reperibili nella esausti-vastissima letteratura sul tema, una visione d’in-sieme dei metodi utilizzabili per correggere le stime di parametri di interesse in presenza di effetti distorsivi di diversa natura. Il quadro teorico di riferimento dei metodi presentati,