completo – con tutte le variabili ausiliarie disponibili –, le stime ottenute senza fare ricorso all’imputazione multipla e le stime ottenute utilizzando il correttore dell’effetto selezione basato sul propensity score. Si precisa che tutte le stime considerate sono calcolate senza utilizzare i pesi campionari.
Le stime ottenute con il modello completo ed il modello ridotto sono molto vicine tra loro, segno che le variabili più significative sono sufficienti a spiegare il modello strutturale. Fanno eccezione le stime per il quesito “Ha un accesso internet da casa?”.
Inoltre, le stime ottenute con l’imputazione multipla – che ricordiamo assume che il meccanismo di selezione sia di tipo MAR – sono molto vicine a quelle ottenute con il pro-pensity score. Questo è il caso del quesito “Ha praticato sport nell’ultimo mese?”.
Nel caso di quesiti con più modalità di risposta le differenze tra i due metodi sono maggiori. In particolare, tali differenze sono più evidenti sul quesito “Guarda la tv abitual-mente?” e “Ha accesso ad internet da casa?”, ciò sta ad indicare che è possibile che vi sia un effetto misurazione delle due tecniche.
Tavola 6.22 - Confronto tra stime corrette con il modello di imputazione completo e ridotto, con il propensity score e stime non corrette
Modalità Modello Completo Modello Ridotto Stime non corrette Propensity score
Ha praticato sport nell’ultimo mese? Si 26,49 26,32 28,28 26,40 No 73,51 73,68 71,72 73,60 Totale 100,00 100,00 100,00 100,00 Guarda la tv abitualmente? No 7,24 7,24 10,35 9,68 Ogni giorno 79,70 79,70 73,01 73,48 A volte 13,06 13,06 16,64 16,54 Totale 100,00 100,00 100,00 100,00 Se avesse un po’ di tempo libero, a cosa lo dedicherebbe? Guardare la tv 3,89 3,89 4,66 5,05 Andare al cinema 1,31 1,31 1,70 1,65 Ascoltare musica 1,06 1,06 1,34 1,30 Suonare o cantare 0,71 0,71 1,19 1,11 Ballare 1,57 1,57 1,97 2,11 Fare shopping 2,07 2,07 2,50 2,64 Andare a teatro 0,52 0,52 0,79 0,72 Dipingere, modellare, scolpire 0,65 0,65 1,12 1,02 Leggere 3,25 3,25 5,32 4,79 Scrivere 0,40 0,40 0,65 0,56
Praticare uno sport 7,04 7,04 10,07 9,44
Cucinare 2,52 2,52 3,24 3,42 Praticare un hobby 7,13 7,13 9,43 9,26 Navigare su internet 0,93 0,93 1,27 1,32 Svolgere attività di volontariato 3,03 3,03 3,82 3,78 Incontrare amici 27,08 27,08 15,41 15,54 Conoscere nuove 0.069 0.650 0.807 0.822 Persone 4,03 4,03 4,60 4,72 Riposare 19,57 19,57 14,78 15,23 Prendersi cura di sé 8,49 8,49 9,88 10,12 Altro 4,77 4,77 6,27 6,22 Totale 100,00 100,00 100,00 100,00 Ha un collegamento internet da casa? Si 31,99 35,07 32,16 33,39 No 68,01 64,93 67,84 63,69 Totale 100,00 100,00 100,00 100,00
116
L’effetto tecnica nelle indagini mixed-mode6.3.8 Conclusioni e ulteriori sviluppi
I risultati riportati per il caso studio dell’indagine Ctl sono relativi alle prime sperimen-tazioni condotte sul problema dell’effetto tecnica. Di conseguenza tali analisi necessitano di essere supportate da ulteriori approfondimenti sia per tenere conto della variabilità campio-naria sia per sottoporre a verifica le assunzioni alla base dei metodi adottati.
In particolare gli effetti selezione e misurazione dovrebbero essere analizzati in un con-testo simulativo per ottenere una valutazione della significatività delle stime ottenute.
In generale, i metodi in grado di tener conto anche della non ignorabilità dell’effetto selezione – come ad esempio il metodo di imputazione multipla frazionata (cfr. Capitolo 5) sarebbero da preferire a quelli che assumono l’assenza di questa. In molti casi reali, l’as-sunzione d’ignorabilità dell’effetto selezione è molto forte e può portare a non correggere la distorsione, o peggio a correggerla in maniera errata.
117
7. SINTESI E RACCOMANDAZIONI GENERALI
17.1 Sintesi del volume
Il presente volume fornisce un quadro concettuale e definitorio di riferimento nel conte-sto dell’uso della multi-tecnica nelle rilevazioni statistiche su famiglie e individui, e introdu-ce una terminologia comune in questo ambito (Capitolo 2). Sulla base di questo framewok, i vari Capitoli analizzano le problematiche connesse ai vari aspetti del disegno di strategie mixed-mode, evidenziando sia i vantaggi e i rischi connessi al loro utilizzo, sia l’importanza della fase di progettazione come strumento di prevenzione dei potenziali effetti distorsivi sui risultati finali di questo tipo di strategie.
Nel Capitolo 3, in particolare, sono discussi i vari aspetti connessi al disegno del que-stionario e, più in generale, di strategie a tecnica mista, con riferimenti anche alle strategie di massimizzazione dei tassi di risposta e ai metodi di prevenzione dell’effetto tecnica tra-mite pre-test e indagini pilota.
Con riferimento al problema della valutazione e del trattamento dell’effetto tecnica, le possibili soluzioni metodologiche sono state illustrate seguendo un criterio di progressiva complessità (Capitoli 4 e 5): a partire da analisi di tipo esplorativo, sono stati proposti pos-sibili strumenti inferenziali per ottenere evidenze sulla presenza di mode effects, illustrando poi alcune soluzioni metodologiche più complesse basate sull’uso di modelli e metodi di stima per la diagnosi e il trattamento dell’effetto tecnica. I risultati dell’applicazione speri-mentale di tali metodologie a dati di indagini sociali dell’Istat (Capitolo 6) hanno consen-tito di approfondire la conoscenza da un lato delle metodologie utilizzate, dall’altro della complessità del loro utilizzo in situazioni reali in cui sia opportuno trattare le distorsioni derivanti dal ricorso alla tecnica mista di rilevazione.
Tuttavia, quelle presentate in questo volume sono le prime sperimentazioni condotte sul problema dell’effetto tecnica in indagini sociali dell’Istat. In termini generali, l’obiettivo delle applicazioni realizzate è stato non tanto quello di poter trarre conclusioni sulla base dei risultati ottenuti, quanto quello di evidenziare, da un lato, la necessità di progettare le indagini tenendo conto delle problematiche connesse all’uso di tecniche miste, dall’altro la complessità delle analisi sull’effetto tecnica. Tali analisi, infatti, molto complesse dal punto di vista metodologico e molto onerose in termini di tempo, richiedono il reperimento e l’u-tilizzo di consistenti informazioni ausiliarie. Nelle specifiche esperienze condotte, elementi vincolanti sono stati infatti sia le caratteristiche dei dati utilizzati e quindi le stesse variabili sottoposte ad analisi, sia la disponibilità e la qualità delle informazioni ausiliarie utilizzate. Inoltre, trattandosi di applicazioni realizzate in contesti non sperimentali, i risultati ottenuti dipendono da fattori non completamente controllabili dagli statistici, oltre che dalle scelte e dalle assunzioni fatte, la cui validità necessita di essere supportata da ulteriori studi e approfondimenti.
118
L’effetto tecnica nelle indagini mixed-mode7.2 Alcune raccomandazioni generali
Alla luce di quanto esposto nei vari Capitoli di questo volume, sia sul piano teorico sia su quello applicativo, è dunque possibile estrarre alcune raccomandazioni di carat-tere generale su cui porre particolare attenzione in fase di pianificazione e realizzazione di processi di indagine di tipo mixed-mode. Di seguito sono riportate le principali.
- Progettazione
Come sottolineato nel Capitolo 2: «La fase di raccolta dei dati è cruciale per la qualità. Attraverso un’accurata progettazione e un attento monitoraggio di tale fase si può contribuire in misura significativa a prevenire o ridurre diverse tipologie di errore, in particolare le mancate risposte totali e gli errori di misurazione».
- La scelta delle singole tecniche, da usare in modo concorrente o sequenziale, si basa sulla necessità di massimizzare la qualità in presenza di vincoli di costo e di tempo e di contenere il carico statistico sui rispondenti (cfr. Capitolo 3). La scelta può essere guidata dal tipo di errore non campionario sulla cui riduzione si intende agire in maniera prioritaria (ad es. si può decidere di contenere l’ef-fetto selezione riducendo i potenziali errori di copertura o di aumentare i tassi di risposta).
- Il problema del disegno riguarda non solo la scelta delle tecniche, ma anche altri elementi fondamentali quali: 1) preliminarmente alla raccolta dei dati sul campo, la scelta delle modalità con cui contattare i rispondenti (contatto ini-ziale, appuntamenti per l’intervista, lettera di presentazione dell’indagine, etc.) e, 2) successivamente alla raccolta dati, le modalità di sollecito per i non ri-spondenti, di re-intervista su un sotto-campione, di verifica dell’effettuazione dell’intervista da parte del rilevatore, etc. (cfr. Capitolo 3).
- Al fine di ridurre errori di misura dovuti alla tecnica mista, qualora i costi lo per-mettano, una strategia raccomandabile è quella di agire in maniera ‘preventiva’, raccogliendo informazioni attraverso pre-test o indagini pilota (cfr. Paragrafo 3.5). L’indagine pilota consente di verificare tutto l’impianto della rilevazione (aspetti organizzativi, scelta delle tecniche, stima dei tassi di risposta per tecni-ca, strategie di sollecito e di sensibilizzazione dei rispondenti etc.).
- In particolare, strumenti come pre-test o indagini pilota rappresentano stru-menti fondamentali per la progettazione ottimale del questionario. Nelle indagi-ni mixed-mode, infatti, è cruciale prevedere le strutture, il wording, etc. più ap-propriati per le differenti tecniche di raccolta/tipologie di rispondenti. Le diverse opzioni (questionario adattato al tipo di tecnica oppure unico questionario a prescindere dalla tecnica) presentano vantaggi e svantaggi in termini di qualità e aspetti organizzativi di cui è necessario tener conto in fase di progettazione (cfr. Paragrafo 3.3).
- Nella progettazione di un’indagine a tecnica mista la definizione del disegno campionario è strettamente connessa con la scelta delle tecniche di rilevazione. Elementi chiave in questo caso sono (cfr. Paragrafo 3.2): la tipologia di lista di selezione (ad es. lista unica o distinta per tecnica); la modalità di utilizzo delle tecniche di rilevazione, concorrente o sequenziale, che influenza il tipo di rela-zione tra i campioni (dipendenti o indipendenti) relativi alle differenti tecniche. - Metodologie per la diagnostica e il trattamento del mode effect