IL MONITORAGGIO DELLE DIVERSE FASI DEL LAVORO SUL CAMPO DELLE INDAGINI MULTISCOPO
Capitolo 7 Il monitoraggio ex-post delle interviste 3
7.1 - Le visite ispettive
Nel corso della rilevazione dell’indagine Uso del tempo sono state previste, da parte degli Uffici regionali, delle visite ispettive presso i comuni campione, al fine di verificare l’andamento del lavoro sul campo.
In generale, le visite ispettive (ispezioni), sono uno strumento di monitoraggio molto utilizzato nelle indagini Papi e possono essere condotte in più fasi della rilevazione. Esse, infatti, possono essere effettuate prima dell’inizio della raccolta dei dati (ex-ante), nei casi in cui il responsabile comunale abbia difficoltà nell’individuare i rilevatori, nei comuni in cui non è formalmente costituito un ufficio di statistica o, ancora, nei comuni di ridotta dimensione demografica, con poca esperienza nelle indagini campionarie. Precedente alla rilevazione è anche l’ispezione finalizzata al controllo della regolarità dell’estrazione delle famiglie campione mediante una replica della selezione. Altrettanto in anticipo, rispetto alla data di inizio della raccolta delle informazioni statistiche presso i cittadini, è la visita destinata alla formazione di rilevatori assenti alla riunione d’istruzione perché nominati in ritardo rispetto alla data di convocazione o perché di fatto impossibilitati a partecipare alla giornata di formazione. In tutti i casi, queste occasioni vengono sfruttate dai colleghi della rete territoriale per sottolineare con fermezza la necessità e l’importanza del rispetto delle indicazioni metodologiche, il tutto sempre nella disponibilità alla assistenza e alla ricerca di soluzioni condivise.
Nella gran parte dei casi, tuttavia, le ispezioni avvengono contemporaneamente alle interviste poiché hanno l’obiettivo di prendere visione dei modelli già compilati e consegnati dai rilevatori al comune, in modo da individuare eventuali errori, sistematici e non, ed impostare correttivi che risultino efficaci nel prosieguo delle interviste alle famiglie. Generalmente le visite ispettive vengono effettuate solo su alcuni comuni, solitamente più problematici perché nuovi o assenti alle riunioni di istruzione o, ancora, perché con standard qualitativi non soddisfacenti (per esempio elevato tasso di caduta in precedenti indagini Multiscopo, elevata percentuale di risposte proxy, eccetera). Nelle ispezioni in-itinere, solitamente, viene coinvolto anche il personale del servizio tecnico dell’Istat: ciò consente, da un lato, di aumentare il numero di ispettori, dall’altro di favorire lo scambio e la circolazione di informazione tra i vari livelli di competenza.
Le ispezioni effettuate alla fine della rilevazione o al termine di un ciclo della stessa4 (ex-post) rivestono, ovviamente, un ruolo secondario, in presenza di un monitoraggio delle interviste come quello progettato e applicato nel corso della rilevazione sull’Uso del tempo. Sono invece essenziali quando mancano fonti alternative di informazione sull’andamento della delicata fase di intervista. Tuttavia, anche in presenza di un monitoraggio in-itinere, ampio come quello implementato nell’indagine in oggetto, le ispezioni restano l’unica occasione in cui l’Istat, nella figura dei referenti regionali dell’indagine, prende visione diretta del materiale raccolto e della qualità dello stesso. A livello locale, la valutazione del materiale raccolto può essere confrontata con quanto emerso dal monitoraggio delle interviste, ovvero con le informazioni fornite dai
rilevatori su ciascuna famiglia, ed essere anche uno strumento di validazione del monitoraggio stesso.
Nell’indagine Uso del tempo sono state realizzate ispezioni ex-ante5, in itinere ed ex-post. Nel prosieguo di questo capitolo saranno analizzate, in dettaglio, le ispezioni effettuate durante la fase di rilevazione, evidenziandone le modalità di realizzazione e i principali risultati ottenuti.
7.2 - Il controllo di qualità in corso di ispezioni
Nel corso della rilevazione dell’indagine Uso del tempo la scelta dei comuni presso i quali effettuare le ispezioni è stata influenzata dall’andamento del monitoraggio realizzato tramite il modello Imf/13D.
La decisione di recarsi presso un comune per effettuare l’ispezione è stata conseguente alla verifica di almeno una delle due seguenti condizioni:
x mancato invio delle schede di monitoraggio;6
x scarsa qualità delle schede di monitoraggio, per invii saltuari o informazioni lacunose. In particolare, nel primo caso mancando le informazioni utili a valutare l’operato dei rilevatori, solo recandosi di persona presso il comune è stato possibile verificare numero e qualità dei modelli compilati.
In presenza, invece, di schede di monitoraggio inviate in modo corretto, la decisione di intervenire con visite ispettive è maturata dall’elaborazione dei dati presenti nelle stesse schede, elaborazioni che hanno consentito di individuare situazioni particolarmente a rischio. Ad esempio, il confronto tra i valori regionali e nazionali degli indicatori ha permesso di misurare l’eventuale disallineamento e, in ambito comunale, di individuare i rilevatori da seguire con maggiore attenzione. La decisione di intervenire, con una visita ispettiva oppure soltanto tramite un contatto telefonico, è stata presa in funzione della gravità delle anomalie riscontrate.
Il contatto telefonico si è rivelato particolarmente efficace all’inizio delle operazioni di raccolta dei dati, momento in cui anche ciò che, in teoria, è chiaro può generare dubbi e incertezze nello svolgimento del lavoro. Tramite il telefono, infatti, è stato possibile contattare in tempi molto ristretti tutti gli intervistatori. Nel corso del primo trimestre di rilevazione, per esempio, un certo numero di problemi ha riguardato la tempistica dell’invio delle schede di monitoraggio: parecchi rilevatori hanno ritardato l’invio della scheda rispetto alla data prevista di ritiro dei diari, a causa di una posticipazione richiesta dai rispondenti o a causa di difficoltà organizzative che (soprattutto nei grandi comuni) hanno ritardato il primo contatto con la famiglia. Attraverso il contatto telefonico tra gli Uurr ed i rilevatori è stato possibile essere informati su quanto stava avvenendo a livello locale e, al contempo, suggerire i comportamenti più idonei da tenere, evitando che ogni rilevatore adottasse autonomamente e a propria discrezione quelli ritenuti più adeguati.
La visita ispettiva presso il comune è stata realizzata, invece, principalmente in presenza di valori anomali su alcuni indicatori fondamentali, quale ad esempio il tasso di mancata risposta totale. Un incontro personale con i rilevatori incaricati e il responsabile dell’indagine ha consentito, infatti, di affrontare insieme i problemi ed i casi concreti, condividendone le soluzioni.
5Cfr. capitoli 5 e 6.
6Solitamente il mancato invio delle schede di monitoraggio è indice di situazioni problematiche all’interno del comune, di scarsa collaborazione e attenzione verso l’andamento del lavoro sul campo, magari anche per mancanza di tempo del responsabile.
7.3 - I principali risultati
La visita ispettiva è stata l’occasione per revisionare i questionari e i diari giornalieri e settimanali, al fine di individuare errori di compilazione degli stessi (omissione, ridondanza di informazioni).
Una scheda (Allegato 7) appositamente predisposta ha consentito di rilevare l’andamento delle ispezioni e le valutazioni degli ispettori sulla qualità del materiale raccolto.
La scheda è stata strutturata in modo da rilevare:
x il tipo di personale coinvolto dal comune per le varie fasi della rilevazione (quesito 1); x il numero di rilevatori coinvolti e impegnati nella rilevazione (quesiti 4 e 5);
x le difficoltà incontrate dai rilevatori nel contatto con le famiglie (quesiti 2 e 3);
x il numero di modelli consegnati al comune e di modelli controllati nel corso dell’ispezione (quesiti 6-8);
x la qualità dei modelli controllati, con riferimento alle risposte fornite ad alcuni specifici quesiti dei vari strumenti di rilevazione (quesito 9);
x la frequenza di compilazioni proxy non consentite (quesito 10 e 11);
x la valutazione della collaborazione del comune e dei rilevatori (quesito 12 e 13);
x la coerenza tra quanto emerso in corso di ispezione e quanto rilevato tramite le schede di monitoraggio Imf13/D (quesito 14 e 15).
Dall’elaborazione delle schede di monitoraggio delle ispezioni emerge che sono stati ispezionati 134 comuni (oltre un quarto dei partecipanti all’indagine), di cui alcuni (33 comuni, da considerare i più critici) visitati più di una volta nel corso dell’anno d’indagine, per un totale di 167 ispezioni, la metà delle quali è stata effettuata nel primo trimestre d’indagine.
Figura 7.1 - Distribuzione delle ispezioni per mese di rilevazione (valori assoluti)
3 47 33 24 2 21 8 13 6 4 5 1 0 10 20 30 40 50 Aprile '02 Ma ggi o '02 G iugno '02 Luglio '02 Ag os to '0 2 S ette mbre '02 Ot tobre '02 Nove mbr e '02 Dice m bre '02 Ge nnaio '03 Feb brai o '03 Ma rz o ' 03
Il controllo dei questionari compilati per intervista si è attestato su una quota pari a 78 per cento di quelli disponibili presso gli uffici comunali al momento dell’ispezione, per un totale di
in termini percentuali (76 per cento), ma ben più elevata in valore assoluto: 2.104 diari giornalieri revisionati e 1.849 diari settimanali. Da questi risultati si evidenzia chiaramente la grande mole di lavoro svolto e il tempo ad esso dedicato.
Il controllo dei questionari è avvenuto in presenza dei rilevatori nel 71 per cento dei casi; in questo modo il personale degli Uurr ha, ove possibile, sanato direttamente alcune lacune e, in altri casi, dato suggerimenti su come comportarsi per recuperare informazioni mancanti o evitare il ripetersi di alcuni errori. Gli incontri si sono svolti in piena collaborazione, lasciando ai rilevatori la possibilità di esporre le difficoltà incontrate con i rispondenti.
La situazione descritta dai rilevatori, durante le ispezioni, non è apparsa particolarmente problematica. In otto ispezioni su dieci non sono state evidenziate particolari difficoltà. È interessante osservare come, nello svolgimento del loro lavoro, gli intervistatori esterni all’amministrazione comunale abbiano incontrato maggiori ostacoli rispetto ai colleghi interni: nel 41,1 per cento delle visite effettuate in comuni con rilevatori interni non sono state denunciate dai rilevatori difficoltà con le famiglie (Figura 7.2), mentre lo stesso è accaduto solo nel 25,4 per cento delle visite effettuate nei comuni che hanno fatto ricorso a rilevatori esterni. Figura 7.2 - Distribuzione delle ispezioni per difficoltà con le famiglie e tipo di rilevatore (valori
percentuali) 25,4 41,1 34,1 53,5 36,7 44,9 19,7 21,1 19,8 1,4 1,1 1,2 0 10 20 30 40 50 60
Comuni con rilevatori esterni Comuni con rilevatori interni Totale comuni ispezionati
Nessuna
Si, in una piccola parte di famiglie Si, in gran parte delle famiglie
Non accertata
Il vantaggio dei dipendenti comunali è chiaro se si analizzano i principali motivi di difficoltà con le famiglie (Figura 7.3): nel 34,7 per cento la difficoltà è legata alla diffidenza, atteggiamento che, almeno nei comuni di piccola e media dimensione, è senz’altro più facile da superare per il personale impiegato, per esempio, presso l’ufficio anagrafe o la polizia municipale, il più delle volte già conosciuto dagli intervistati.
Tuttavia, la principale difficoltà, riscontrata durante la rilevazione e dichiarata dai rilevatori in fase di ispezione, è la resistenza da parte delle famiglie ad autocompilare i diari (38,3 per cento delle ispezioni), a conferma di quanto denunciato dalla quasi totalità degli addetti ai lavori nel corso delle riunioni di debriefing.
Figura 7.3 - Distribuzione delle ispezioni per difficoltà emerse con le famiglie (valori percentuali) 6,0 3,6 7,2 10,8 12,6 13,2 18,6 34,7 38,3 0 10 20 30 40 50 Altre difficoltà Dimenticano di compilare i diari Difficile che tutti compilino il diario nel giorno stabilito Fretta di concludere l'intervista Restie a compilare i diari settimanali Non coinvolte/motivate Non gradiscono i quesiti Diffidenti Restie a compilare i diari giornalieri
Durante le ispezioni si è poi proceduto a controllare il rispetto delle regole relative alla compilazione proxy dei diari giornalieri, annotandone il risultato nella scheda di monitoraggio. Situazioni anomale, ovvero la compilazione proxy anche in casi non consentiti,7 si sono avute in un’ispezione su quattro ed hanno coinvolto il 18 per cento dei rilevatori. I risultati hanno tuttavia evidenziato un livello di errore non allarmante, tenuto conto che si trattava di comuni nuovi o a rischio.
Nel corso della visita ispettiva, inoltre, per ciascuna famiglia controllata è stato espresso un giudizio di qualità sulla compilazione dei questionari e dei diari giornalieri e settimanali. La misura della qualità dei modelli di rilevazione si è concentrata su alcuni quesiti chiave (aspetti critici) ed ha utilizzato una scala a cinque posizioni da ottima a pessima.
Tavola 7.1 - Modelli di rilevazione per qualità della compilazione e sezioni valutate (valori percentuali)
Ottima-buo na Sufficiente Cattiva-pessima
Dati identificativi 92,9 5,6 1,5
Relazio ne di parentela 90,3 8,7 1,1
Lavo ro passato 94,1 5,3 0,5
Lavo ro fuo ri o rario 93,6 5,8 0,6
P ro fessio ne 91,2 6,9 1,8
Dotazio ni abitazio ne 93,0 4,8 2,3
Reddito 82,2 8,4 9,4
So ddisfazio ne del tempo 85,9 8,7 5,5
A ttività principale 79,0 15,6 5,4
Luo go 74,9 16,1 9,0
Schema o rario 90,4 5,8 3,9
DIA RIO GIORNA LIERO
Qualità della co mpilazio ne
VA RIA B ILI DI CHIA VE
QUESTIONA RIO INDIVIDUA LE
QUESTIONA RIO FA M ILIA RE
DIA RIO SETTIM A NA LE
Dalla revisione emerge una compilazione dei questionari individuali e familiari di “buona” qualità in oltre il 90 per cento dei casi: solo per il quesito sul reddito familiare, la percentuale di giudizi molto positivi scende all’83 per cento, confermando la difficoltà nel porgere questa domanda, tradizionalmente molto delicata.
La qualità della compilazione diminuisce se si considerano i diari: non sempre, infatti, i rilevatori sono riusciti ad ottenere da parte dei rispondenti il dettaglio richiesto nella descrizione dell’attività principale e del contesto in cui questa si svolgeva. Tale risultato era prevedibile, sia perché proprio l’articolazione del diario giornaliero ha richiesto una particolare collaborazione da parte dei rispondenti e un costante impegno dell’intervistatore, sia perché, come anticipato, la valutazione si riferisce a rilevatori alla prima esperienza e con performance non in linea con gli indicatori regionali o comunali.
Infine, da quanto emerge dai dati raccolti con la scheda di monitoraggio delle ispezioni, è possibile affermare che, nonostante le difficoltà incontrate e gli errori commessi, l’atteggiamento dei responsabili d’indagine e dei rilevatori è stato improntato alla collaborazione con l’Istat e alla consapevolezza del ruolo cruciale per la garanzia della qualità dell’intero processo di indagine. È stata giudicata, infatti, buona o ottima, nell’85 per cento dei casi, la collaborazione dei comuni, e nel 78,1 per cento la collaborazione dei rilevatori.
Figura 7.4 - Distribuzione delle ispezioni per valutazione complessiva espressa sull’operato di comuni e rilevatori (valori percentuali)
40,1 27,7 44,9 50,4 12,6 16,0 2,4 5,5 0,0 0,4 0 20 40 60 Comuni Rilevatori Ottimi Buoni Sufficienti Cattivi Pessimi
In conclusione, è possibile affermare che le visite ispettive sono state utilissime nel verificare l’affidabilità del monitoraggio effettuato tramite le schede di monitoraggio delle interviste. Infatti, consentendo la verifica “dal vivo” della qualità dei modelli compilati, le ispezioni hanno permesso un confronto diretto tra la qualità reale dei dati e la rappresentazione di essa anticipata dagli indicatori. Come è possibile notare dalla figura 7.5, nel 61,7 per cento dei casi c’è concordanza tra i risultati delle visite ispettive e gli indicatori.
Figura 7.5 - Distribuzione delle ispezioni per concordanza dell’esito con il monitoraggio della qualità della rilevazione (valori percentuali)
61,7 1,8 36,5 Non concordante Concordante Non so
La principale causa di discordanza è stata l’incomprensione da parte dei rilevatori delle corrette modalità di compilazione delle schede di monitoraggio delle interviste. Comprensione migliorata, soprattutto a seguito dell’esperienza maturata nel corso delle visite ispettive, attraverso i contatti telefonici con i rilevatori e attraverso i debriefing periodici effettuati durante il prosieguo della rilevazione.
7.4 - Aspetti tecnici: strumenti per la produzione e messa in rete degli indicatori
Gli Uurr hanno partecipato attivamente anche alla definizione della “Scheda di ispezione”, a partire dalla fase di progettazione fino alla sua compilazione e alla registrazione dei dati in formato elettronico (Figura 7.6).
Figura 7.6 - Schema del processo di monitoraggio delle ispezioni e funzioni degli organi Istat
(a) Servizio struttura e dinamica sociale.
Lo scambio delle informazioni è stato realizzato anche in questo caso inviando i dati tramite posta elettronica all’indirizzo e-mail preposto. La conclusione del processo si concretizzava all’atto della ricezione della scheda elettronica (Figura 7.7) da parte del Servizio responsabile dell’indagine, che doveva avvenire entro la fine del mese successivo alla data di ispezione.
I risultati a livello nazionale sono stati presentati nelle diverse occasioni d’incontro con gli Uurr ed hanno avuto principalmente l’obiettivo di monitorare le ispezioni, la qualità dei modelli compilati nelle loro varie parti, la discordanza tra risultati delle ispezioni e risultati del monitoraggio delle interviste. In particolare sono stati mostrati dati di sintesi relativamente a:
x qualità dei modelli individuali e familiari, con riferimento particolare alle sezioni individuate come “critiche”;
x qualità dei diari giornalieri; x qualità dei diari settimanali;
x ricorso alla compilazione proxy per i diari giornalieri in situazioni non consentite; x valutazione complessiva dell’operato e della collaborazione dei rilevatori;
x eventuale discordanza tra ispezioni e monitoraggio delle interviste8.
L’analisi dei risultati del monitoraggio delle ispezioni, ancorché riguardante i soli Comuni ispezionati, ha permesso di raccogliere comunque informazioni importanti ai fini della valutazione dell’andamento della rilevazione.