Indagini sul grado di copertura e sulla qualità

Come ho ricordato nel paragrafo 2.3, al tema della qualità dei dati la Presiden-za Rey ha riservato grande attenzione. All’inizio degli anni Ottanta, nel declinare il suo “potenziare la fase di controllo della qualità dei dati” (Rey, 1981), il Presidente Rey, da poco insediatosi, così si espresse: “Come ex ante si ritiene indispensabile che all’interno dei servizi tecnici dell’Istituto si compia lo studio dei fenomeni os-servati, allo scopo di meglio impostare e condurre le rilevazioni, così ex post si ri-chiede agli stessi analisti il controllo metodologico e di merito dell’informazione raccolta. Ciò significa che devono crescere di numero non solo gli informatici dell’Istat, ma anche i funzionari dedicati all’analisi demografica, economica e so-ciologica, operanti all’interno dei singoli servizi tecnici in collegamento funzionale con il servizio studi. Si deve riconoscere con molto realismo, in tale contesto, che, nonostante la capacità tecnica e la dedizione che dimostrano, gli attuali funzionari sono massicciamente assorbiti dalle fasi di esecuzione delle indagini per cui hanno scarso tempo da dedicare all’analisi dei dati e quindi alla fase di controllo della qualità. Il rinforzamento dei quadri, al quale si sta pensando, contribuirà anche a liberare dalla routine risorse umane che appaiono al presente sacrificate”.

A distanza di circa dieci anni, poteva affermare: “L’applicazione delle tecni-che di controllo di qualità dei dati derivanti da indagini ha tratto impulso da una maggiore integrazione dell’attività di ricerca con quella di raccolta dei dati statistici e ha permesso di sviluppare una analisi più attenta dei diversi tipi di errore (cam-pionario e non cam(cam-pionario). Si è ormai entrati nell’ottica di fornire a fianco del dato statistico una quantificazione del suo grado di affidabilità; si può infatti dire che informare gli utilizzatori sull’attendibilità delle statistiche è un compito altret-tanto importante della produzione stessa dei dati, anche se si tratta di un compito indubbiamente delicato che richiede una particolare preparazione nello statistico e una diffusa cultura statistica” (Rey, 1989).

Nell’assemblea generale della Società italiana di statistica tenutasi a Trieste nell’aprile del 1983 in occasione del Convegno che, come primo argomento tema-tico trattava appunto di problemi di qualità delle statistiche, venne avanzata la pro-posta di una Commissione scientifica della Sis sulla qualità dei dati. Rifacendomi a una indicazione della Commissione Moser che aveva auspicato il rafforzamento dei collegamenti fra Istat e Università, mi piace al riguardo ricordare che a far parte di detta Commissione furono chiamati anche due ricercatori dell’Istituto.

“Che le statistiche siano spesso inquinate da errori è, per lo più, la sola cosa che, intorno ad esse, sanno gli indotti, scrive Boldrini (1959) nel suo manuale. Le statistiche, la statistica e gli statistici sono spesso circondati da scetticismo e diffiden-za, e vanno incontro anche ad accuse e dileggi. Eppure, se c’è una disciplina che è partita subito con il piede giusto, non fuorviata da alchimia né costretta a liberarsi da scorie inveterate dall’ipse dixit, è proprio la nostra” (Colombo, 1983).

Come non essere d’accordo! Rispetto al rischio di errori, posto che la migliore difesa è, come si usa dire, l’attacco, si tratta soprattutto di agire in via preventiva. Da questo punto di vista, ho cercato di dar conto di quanto si è fatto nell’esecuzione dei vari censimenti, dalla valutazione preventiva del questionario alla cura con la quale si è proceduto alla formazione dei rilevatori, dall’efficacia dell’attività ispettiva ai benefici derivanti dal confronto con le risultanze

anagrafi-La fase successiva alla raccolta dei dati 117

che, dalla verifica visiva, manuale, dei modelli compilati compiuta presso gli orga-ni periferici ai controlli di coerenza e compatibilità generalmente effettuati presso l’organo centrale, dalle verifiche che hanno riguardato la codificazione e la regi-strazione alla “pulitura” automatica dei dati. Con tutte queste attività, che nel tem-po hanno evidentemente prodotto esiti diversi, non si perviene comunque a una completa eliminazione degli errori.

Proprio al Convegno di Trieste, sopra richiamato, furono presentati i risultati di tre indagini di controllo effettuate – ed era la prima volta⁹ – dopo la conclusione delle operazioni censuarie del 1981,¹⁰ed in seguito ripetute. Su queste ora concen-tro l’attenzione richiamandone le principali caratteristiche e senza entrare nel meri-to dei risultati.

a) Censimento del 1981

La prima delle due indagini di controllo effettuate ha avuto l’obiettivo prima-rio di quantificare la fascia di unità di rilevazione sfuggite al censimento sulla cui esistenza non c’erano ovviamente dubbi trattandosi di una componente endemica dato il tipo di rilevazione.

È stato utilizzato un campione stratificato a due stadi, in cui le unità del primo stadio sono stati i Comuni con oltre 10 mila abitanti (per i quali è stata assunta l’ipotesi che la mancata copertura dell’universo fosse un fenomeno di rilevanza maggiore rispetto a quanto accade negli altri Comuni) e quello del secondo stadio sono state le sezioni di censimento.

I Comuni sono stati stratificati secondo la ripartizione geografica (Nord, Cen-tro, Mezzogiorno e Isole) e la dimensione demografica (sei classi). In complesso, i Comuni sono stati ripartiti in 18 strati, dai quali sono stati estratti i Comuni cam-pione. Per avere un’idea delle dimensioni dell’operazione, è opportuno precisare che nelle sezioni campione sono state rilevate oltre 120 mila famiglie e 15 mila abi-tazioni non occupate (Terra Abrami e Masselli, 1983).

Con la seconda indagine ci si è proposti di valutare la qualità dei dati. Più pre-cisamente essa è stata concepita: a) per individuare i caratteri più soggetti ad errore e per quantificare tale errore; per conoscere, relativamente ai caratteri rilevati, la distribuzione dell’errore sulle modalità dei caratteri stessi. A rigore – come è stato osservato (Masselli, 1983) – non si poteva parlare di errore vero e proprio, quanto piuttosto di diversità riscontrate in due successive osservazioni della medesima realtà. Va inoltre tenuto presente che i dati di censimento posti a confronto con quelli dell’indagine, anche se revisionati dal Comune, costituivano pur sempre dei dati “provvisori” in quanto essi dovevano ancora essere sottoposti alla fase di “ri-cerca incompatibilità e correzione” presso l’Istat.

Il piano dell’indagine prevedeva il ritorno, mediante intervista diretta, su 9.800 famiglie già censite, estratte casualmente da un campione ragionato di 32 Comuni e

9

È interessante segnalare che in occasione della rilevazione del 1931, l’Istituto aveva potuto accertare, attraverso la revisione dei modelli relativi al movimento della popolazione, che gli sfuggiti al censimento erano in numero considerevole, raggiungendo in alcuni Comuni il 2 per cento della popolazione (Reverberi, 1957).

10 Della necessità di una valutazione degli errori concernenti il numero dei censiti (coverage errors) e di una indi-viduazione e valutazione degli errori concernenti le dichiarazioni dei censiti (content errors), si era discusso nel-la XXVI Riunione scientifica delnel-la Sis (uno dei due temi generali riguardava “Problematica e contenuti dei cen-simenti del 1971”) (De Sandre, 1969).

118 La conta degli italiani nei 150 anni dall’Unità

quindi nel confronto tra le informazioni così ottenute e le corrispondenti desunte dai questionari di censimento.

b) Censimento del 1991

L’indagine di copertura (quella del censimento costituisce un caso particolare di mancata risposta totale caratterizzato dalla non esistenza a priori di numerosità di confronto) è stata ripetuta nel censimento successivo.

Per la rilevazione, effettuata subito dopo la chiusura delle operazioni censuarie sul territorio con l’impiego di rilevatori scelti tra i più esperti e affidabili,¹¹ si è fat-to ricorso nuovamente ad un campione a due stadi: nel primo stadio si è procedufat-to all’estrazione di 85 Comuni stratificati ancora una volta per ripartizione geografica e ampiezza demografica; nel secondo stadio sono state scelte casualmente 648 se-zioni di censimento per un totale di 65 mila unità di rilevazione.

Obiettivo dell’indagine di qualità è stato quello di stimare la distorsione, la va-rianza di risposta e l’effetto autocompilazione attraverso, evidentemente, la ripro-posizione del questionario a un campione di famiglie (9 mila selezionate su un campione di 90 Comuni).

Per ogni Comune il campione è stato suddiviso in tre parti, uno per la stima della distorsione (il rilevatore ha avuto a disposizione le risposte fornite dal rispon-dente durante il censimento), uno per la stima della varianza totale (vi è stata prati-camente la ripetizione dell’indagine) e uno per la stima dell’autocompilazione (si è trattato di interviste senza riconciliazione) (Istat, 1993a).

c) Censimento del 2001

Per l’indagine sul grado di copertura di questo censimento è stato, come in precedenza, adottato un disegno di campionamento di tipo areale a due stadi, in cui il primo stadio era costituito dai Comuni, stratificati in base alla ripartizione geo-grafica (cinque categorie) e ad una classificazione a quattro categorie di dimensio-ne demografica. Le unità di secondo stadio sono state sempre rappresentate dalle sezioni di censimento e su di esse è stata applicata una stratificazione basata sulla tipologia di località di appartenenza.¹² Nel complesso il campione ha riguardato 98 Comuni e 1.102 sezioni di censimento; sono state intervistate 179.886 persone ap-partenenti a 68.310 famiglie.

L’indagine è stata effettuata con l’impiego di rilevatori che, come nel caso del censimento, hanno avuto il compito di consegnare il questionario di indagine alle famiglie e di provvedere poi a ritiralo a domicilio dopo l’avvenuta compilazione a cura dei rispondenti.

“Il questionario è stato progettato in modo da essere il più simile possibile, nel formato e nel testo delle domande, a quello proposto in occasione del censi-mento, evitando però che potesse in alcun modo essere confuso con quello. Tale risultato è stato ottenuto attraverso l’adozione di modalità grafiche molto simili, affiancate però ad una scelta cromatica differente e caratteristica. La confrontabi-lità tra i questionari adottati nelle due occasioni era del resto particolarmente im-portante soprattutto perché, per mezzo di ulteriori elaborazioni dei dati

11 Ciascuno dei rilevatori è stato impegnato in un’area diversa dalla precedente per garantire l’indipendenza tra l’operazione censuaria e quella dell’indagine di controllo.

La fase successiva alla raccolta dei dati 119

dell’indagine di copertura, sono state anche effettuate analisi sull’errore di rispo-sta per le principali variabili rilevate sugli individui censiti. Infatti, per ragioni di costo/beneficio, in questa occasione si è preferito non effettuare un’apposita in-dagine di qualità come invece fu fatto per i censimenti del 1981 e del 1991. In al-ternativa si è scelto di utilizzare i dati riguardanti gli individui censiti, insieme ai corrispondenti contenuti sui record ad essi abbinati in occasione dell’indagine sulla copertura, per valutare la componente di variabilità indotta dall’errore di misurazione” (Fortini et al., 2007).