3. Il disegno delle indagini multi-tecnica
Le tecniche citate portano in alcuni casi a risultati qualitativi (osservazione di compor-tamenti e analisi delle risposte testuali) mentre in altri forniscono dati quantitativi (frequen-ze e analisi statistiche). La strategia ottimale sarebbe affiancare tecniche di entrambi i tipi. Infatti, da un lato le analisi quantitative consentono di verificare in maniera più rigorosa l’e-ventuale presenza di errori di misurazione; dall’altro, i dati qualitativi risultano fondamentali per la comprensione del processo cognitivo che guida l’intervistato alla risposta e quindi molto utili per arrivare alla migliore formulazione dei quesiti.
Nell’effettuare un pre-test è fondamentale anche la selezione dei rispondenti scelti per testare il questionario. In genere si scelgono gruppi di numerosità contenuta che, anche se non rappresentativi della popolazione di riferimento, devono essere il più possibile ete-rogenei al loro interno e avere le stesse caratteristiche del campione da selezionare per la rilevazione vera e propria (per sesso, età, titolo di studio, etc.).
Diversa e più ampia rispetto ai test finora descritti è l’indagine pilota, il cui obiettivo è quello di testare tutte le fasi della rilevazione; è quindi particolarmente opportuno che sia inserita nel processo di indagine ogni qual volta si tratti della prima volta che si adotta una tecnica mista. Infatti, sia nel caso in cui si inserisca una nuova tecnica in aggiunta a quella adottata fino a quel momento, sia per una indagine mixed-mode da realizzare per la prima volta, ci si troverà ad affrontare una serie di problematiche nuove che dovranno essere gestite durante tutto il processo di indagine.
L’indagine pilota consente così di verificare non solo l’equivalenza e la funzionalità/ usabilità dei questionari utilizzati, ma tutto l’impianto della rilevazione: dagli aspetti organiz-zativi alla selezione dei campioni da intervistare con le varie tecniche, ai tassi di risposta che si potranno ottenere con ciascuna tecnica, alle strategie di sollecito e di sensibilizzazione dei rispondenti per aumentare la copertura dell’indagine. Il tutto finalizzato a raccogliere elementi utili per la valutazione, misurazione e trattamento dell’effetto tecnica, nonché per l’individuazione delle relative cause, sia in un’ottica di prevenzione che di correzione (pro-blemi affrontati nei Capitoli 4 e 5).
39
4. METODI DIAGNOSTICI PER LA VALUTAZIONE E LA MISURAZIONE DELL’EFFETTO
TECNICA
14.1 Introduzione
Come illustrato nei capitoli precedenti, l’analisi dei dati raccolti mediante rilevazione campionaria multi-tecnica richiede l’uso di metodologie specifiche. La tecnica mista di ri-levazione può infatti causare l’insorgere di differenze sistematiche nei dati raccolti. Tali differenze devono essere quindi individuate e misurate, al fine di trarre informazioni utili in fase di analisi dei risultati dell’indagine.
Come introdotto nel Capitolo 2, l’effetto tecnica si distingue in due componenti, effetto selezione (associato a errori di non osservazione, quali errori di copertura e di mancata risposta), e effetto misurazione (errori di osservazione dovuti alla tecnica), entrambe con un impatto sulla variabilità e la distorsione delle stime finali prodotte.
I metodi diagnostici per valutare e misurare l’effetto tecnica e le sue componenti sono molteplici, e possono essere grossolanamente raggruppati in due ampie categorie: metodi di analisi esplorativa e inferenziale, basati sull’utilizzo di tecniche grafiche, indicatori e test statistici, e metodi basati sull’utilizzo di modelli statistici. Tali strumenti forniscono informa-zioni sull’effetto tecnica a vari livelli, pertanto è auspicabile, in fase di analisi preliminare dei dati osservati, sfruttare il potere informativo di ciascuno di essi per pervenire ad un quadro quanto più completo possibile dei vantaggi e degli svantaggi connessi al mix di tecniche adottato.
I primi permettono al ricercatore di avere rapidamente una visione complessiva sulla qualità dei dati raccolti. Per quanto queste analisi siano spesso soltanto preliminari e con-dotte in vista di analisi più complesse, esse sono un passaggio “obbligato e irrinunciabile”, poiché “la conoscenza approfondita dei propri dati – che si ottiene principalmente con un’analisi ben condotta – è una condizione per impostare ed eseguire efficacemente le successive analisi più complesse, estraendo dai dati la quota più alta possibile delle infor-mazioni interessanti che essi contengono, e soprattutto evitando di estrarre inforinfor-mazioni che essi non contengono” (Marradi, 1995, p.25). Nel capitolo saranno illustrati, a titolo esemplificativo, alcuni dei principali indicatori utili a una prima analisi esplorativa dei dati e saranno riportati alcuni esempi riferiti a più modelli di indagine multi-tecnica, utilizzando sia risultati prodotti in letteratura, sia risultati provenienti dall’analisi di dati di indagini Istat. L’intento è quello di fornire spunti sulle possibili analisi e interpretazioni dei risultati, anche se le analisi dovranno poi essere adattate ai differenti contesti di indagine e agli specifici obiettivi conoscitivi.
I metodi di tipo inferenziale e quelli basati sull’utilizzo di modelli statistici hanno come obiettivo quello di approfondire i risultati dell’analisi di tipo esplorativo, per fornire
informa-1 Hanno collaborato alla stesura del capitolo: Maria Clelia Romano (paragrafo 4.informa-1); Silvia Montecolle e Emanuela Bologna (paragrafo 4.2.1); Gabriella Fazzi (paragrafo 4.2.2); Orietta Luzi (paragrafi 4.2.3 e 4.2.4); Roberta Varriale (paragrafi 4.1 e 4.3.2); Ilaria Vannini (paragrafi 4.3.1 e 4.3.3 ).
40
L’effetto tecnica nelle indagini mixed-mode zioni sulla significatività statistica delle differenze fra le misurazioni ottenute con le differen-ti tecniche udifferen-tilizzate, e/o di scorporare le diverse componendifferen-ti dell’effetto tecnica. E’ naturale che, per la natura stessa di tali metodi, essi vengano solitamente utilizzati per analisi su un sottoinsieme di variabili rilevate, di maggiore interesse per i ricercatori e/o ritenute mag-giormente sensibili all’effetto tecnica.Le informazioni ottenute dalle tipologie di strumenti appena introdotte potranno essere utilizzate sia in fase di stima per la correzione delle stime prodotte (cfr. Capitolo 5), sia per un eventuale ridisegno della rilevazione analizzata o di altre analoghe ad essa (cfr. Capitolo 4). Obiettivo di questo Capitolo è quindi, da un lato, offrire una panoramica degli strumenti di analisi esplorativa più comunemente utilizzati per la valutazione dell’effetto tecnica (Pa-ragrafi 4.2.1, 4.2.2 e 4.2.3), dall’altro, individuare e proporre ulteriori strumenti per una dia-gnosi più approfondita, in particolare analisi di tipo inferenziale (Paragrafo 4.2.4) e metodi basati sull’utilizzo di modelli statistici (Paragrafo 4.3).
4.2 Metodi esplorativi e inferenziali
In questo Capitolo sono illustrati alcuni strumenti di natura esplorativa ed inferenziale utili all’analisi preliminare dei dati raccolti in rilevazioni che hanno adottato un disegno multi-tecnica.
4.2.1 Analisi esplorative per unità
Come illustrato nel Capitolo 3, tra le motivazioni che inducono ad adottare un disegno multi-tecnica c’è sicuramente la possibilità di migliorare la copertura e la partecipazione alla rilevazione, soprattutto nel caso di indagini su larga scala, grazie al fatto che ciascuna tecnica dovrebbe riuscire a raggiungere meglio particolari segmenti di popolazione.
Tuttavia, anche tra la popolazione effettivamente raggiungibile attraverso le varie tecni-che, la propensione a partecipare all’indagine può differire, e la mancata risposta concen-trarsi su specifici sottogruppi di popolazione, in modo peculiare a seconda delle caratteri-stiche socio-demografiche (autoselezione). Questo effetto impatta sulle stime prodotte al punto che alcuni autori ritengono anche poco corretto da un punto di vista metodologico l’utilizzo di tecniche diverse per la stima di un fenomeno.2 Ovviamente l’effetto selezione varia al variare del disegno multi-tecnica scelto ed è possibile adottare strategie in fase di raccolta dati in grado di contenerlo. Tuttavia non è possibile eliminarlo del tutto, pertanto nel momento in cui si conduce una rilevazione multi-tecnica è bene tenere sotto controllo una serie di indicatori che possono essere utili non solo a termine del field (per una valu-tazione complessiva dell’andamento della rilevazione stessa e per trarne indicazioni utili in fase di correzione della mancata risposta totale), ma anche in corso di rilevazione per valutare l’adozione di possibili strategie in grado di migliorare la partecipazione di fasce particolarmente sfuggenti della popolazione o semplicemente “stressare” al massimo la resa della tecnica meno costosa.
La scelta degli indicatori da tenere sotto controllo e la loro interpretazione dipendono molto dal tipo di disegno multi-tecnica adottato, se si tratta cioè di campioni indipendenti o meno, oppure se le diverse tecniche sono utilizzate sequenzialmente o simultaneamente. Di