Il monitoraggio dalla formazione 1

6.1 - La formazione dei rilevatori

Il primo atto della fase del lavoro sul campo è la formazione dei rilevatori e dei responsabili comunali d’indagine.

Le riunioni d’istruzione rappresentano la prima occasione di un incontro faccia a faccia tra i referenti locali dell’indagine impegnati negli uffici regionali Istat, i responsabili degli uffici di statistica ed i rilevatori incaricati della raccolta dei dati presso le famiglie campione. Tali riunioni hanno un’importanza cruciale poiché rappresentano l’unico momento in cui il Servizio tecnico responsabile della progettazione dell’indagine illustra, tramite i colleghi degli Uurr, gli obiettivi dell’indagine a chi la prenderà in carico durante il lavoro sul campo.

Dall’efficacia con cui si riesce a trasmettere in queste riunioni, da un lato, la rilevanza sociale e politica delle tematiche indagate e, dall’altro, l’importanza del rispetto delle regole metodologiche indicate dettagliatamente nei libretti di istruzione, dipende la qualità del lavoro svolto nel delicatissimo momento della raccolta dati che, come noto, rappresenta una delle principali fonti di errore non campionario.

Il processo formativo nelle indagini Papi dell’Istituto è particolarmente delicato e complesso, poiché non c’è rapporto diretto tra "progettista" dell’indagine e rilevatore. Questo rapporto è mediato dalla figura degli Uurr che ha il delicato compito di riportare sul territorio, ovvero alla rete di rilevazione, tutte le indicazioni fornite dal Servizio tecnico competente. Il processo formativo dunque si sdoppia fondamentalmente in due fasi:

x le riunioni di istruzione svolte dal Servizio tecnico e rivolte ai referenti regionali dell’indagine;

x le riunioni di istruzione svolte dai referenti regionali dell’indagine e rivolte ai rilevatori e ai responsabili degli Uffici di Statistica dei Comuni campione.

Solitamente si tratta, per le indagini puntuali sulle famiglie, di due occasioni che si collocano a monte della rilevazione e che non si ripetono nel corso della rilevazione stessa.

Nell’indagine Uso del tempo, invece, considerata la durata annuale della rilevazione, si è ritenuto utile dare continuità al processo formativo. Sono stati, infatti, pianificati più incontri di debriefing, durante i quali, partendo dall’esperienza accumulata nei primi mesi del lavoro sul campo, sono stati analizzati gli aspetti più problematici della rilevazione e sono stati decisi gli opportuni interventi da adottare nel prosieguo della stessa. Non va dimenticato, inoltre, che è stato necessario in alcune province ripetere le iniziali riunioni di istruzione per far fronte all’inevitabile turn-over dei rilevatori e formare rilevatori di nuovo ingresso nell’indagine.

Già in fase di progettazione dunque sono stati previsti e poi realizzati incontri di debriefing sia tra il Servizio tecnico e gli Uurr (Figura 6.1), sia tra questi ultimi e la rete di rilevazione (Figura 6.2).

Figura 6.1 - La formazione degli Uurr: il calendario degli incontri

Servizio Sds Uurr

Servizio Sds Uurr

Servizio Sds Uurr

Riunione di istruzione di 3 giorni (marzo 2002)

Riunione di debriefing di 1 - 2 giorni (giugno 2002)

Riunione di debriefing di 1 - 2 giorni (ottobre 2002)

Figura 6.2 - La formazione dei rilevatori: il calendario di riunioni presso le Cc.i.aa.

Uurr Tutti i rilevatori dei comuni coinvolti (marzo 2002)

ad aprile (mensili e trimestrali)

Uurr Tutti i rilevatori dei comuni coinvolti (aprile 2002)

a maggio e giugno (trimestrali)

Uurr Eventuali nuovi rilevatori/

debriefing con i rilevatori già coinvolti

Uurr Eventuali nuovi rilevatori/ (o tto bre 2002)

debriefing con i rilevatori già coinvolti

Uurr Eventuali nuovi rilevatori/

debriefing con i rilevatori già coinvolti

Istruzioni e debriefing: (giugno / luglio 2002) (dicembre 2002/ gennaio 2003) Istruzioni e debriefing: Istruzioni e debriefing: Istruzioni e debriefing: Istruzioni e debriefing:

La periodicità di questi incontri è stata trimestrale: gli incontri hanno rappresentato oltre che un’occasione di confronto, anche un momento di discussione sulle informazioni che il Servizio tecnico forniva agli Uffici periferici, sulla base del monitoraggio effettuato a livello territoriale, in particolare tramite la scheda di monitoraggio della qualità delle interviste (Imf/13D).

L’importanza del momento formativo ha indotto a progettare uno strumento che consentisse di tenere traccia dello svolgimento delle riunioni (in termini di date, partecipanti, eccetera) e soprattutto di raccogliere informazioni sull’andamento delle riunioni stesse, al fine di massimizzarne l’efficacia, sia nel prosieguo della rilevazione in oggetto, sia per le indagini

future. Il Servizio Istat Struttura e dinamica Sociale (Sds), a partire dall’indagine Famiglia, soggetti sociali e condizione dell’infanzia nel 1998 e poi, in maniera più sistematica, con l’indagine Condizioni di salute e ricorso ai servizi sanitari nel 2000, consapevole di tale necessità, ha progettato una scheda di monitoraggio delle riunioni di istruzioni impartite dai referenti regionali ai rilevatori, al fine di monitorarne i vari aspetti: durata della riunione, numero di partecipanti, strumenti utilizzati, interesse manifestato per i vari aspetti della presentazione, eccetera.

Per l’indagine Uso del tempo, tale scheda è stata rivista ed adattata alle esigenze specifiche di tale rilevazione. In particolare, oltre ad introdurre quesiti nuovi, richiesti dalle scelte metodologiche adottate, è stato necessario predisporre il modello in modo che fosse possibile una sua compilazione anche nelle fasi successive all’avvio della rilevazione, a seconda del momento in cui la riunione di istruzione veniva effettuata nel corso del periodo di rilevazione.

A questa prima scheda di monitoraggio delle riunioni di istruzione, destinate ai formatori è stata affiancata un’ulteriore, innovativa, scheda di monitoraggio delle riunioni di istruzione, la cui compilazione era destinata ai rilevatori partecipanti all’incontro. Di seguito si riportano i principali contenuti informativi delle schede in oggetto e alcuni dei risultati ottenuti.

6.2 - Il punto di vista dei docenti attraverso la scheda di monitoraggio

La scheda di monitoraggio delle riunioni di istruzioni (Allegato 3), la cui compilazione è a cura dei docenti impegnati nel processo formativo (personale Uurr), è stata progettata in modo da:

1.registrare i partecipanti e il loro diverso livello di esperienza nella somministrazione di interviste alle famiglie (quesiti 2-7);

2.verificare lo stato di compilazione degli Imf/12 da parte dei Comuni (quesiti 8-11); 3.conoscere gli argomenti trattati nel corso della riunione (quesito 12);

4.misurare il grado d’attenzione dei discenti riguardo ai vari argomenti esposti (quesiti 13-14);

5.avere informazioni sugli strumenti utilizzati come ausilio alla didattica (quesiti 15-18); 6.segnalare eventuali problemi sorti nel corso dell’incontro (quesiti 19-22);

7.misurare il grado di collaborazione della Camera di Commercio (quesito 23).

Da questo sintetico elenco di obiettivi perseguiti, risulta evidente che tramite la scheda vengono raccolte informazioni necessarie sia ad una migliore pianificazione e supervisione delle attività (non solo formative) a livello locale, sia ad un monitoraggio centrale avente come oggetto l’intero territorio nazionale.

In generale, una delle richieste formulate dai responsabili del Servizio tecnico è stata quella di standardizzare le informazioni, fornite nel corso delle riunioni, circa gli obiettivi e i contenuti dell’indagine, la tecnica di rilevazione e gli strumenti per la raccolta dei dati, in modo da fornire all’intervistatore tutti gli elementi utili per svolgere al meglio il compito affidatogli e, al contempo, contenere la variabilità del messaggio diffuso. Il rispetto di tale indicazione è tanto più importante quanto più si tiene conto del fatto che la formazione è a cascata e che coinvolge una pluralità di soggetti tra docenti e discenti, con livelli di conoscenze e competenze molto eterogenee.

L’utilizzo della scheda è stato dunque accompagnato da indicazioni fornite agli Uurr, in merito alle più opportune modalità di svolgimento delle riunioni di istruzione. Sono stati anche distribuiti degli strumenti tecnici (lucidi illustrativi), ed è stata suggerita una sequenza standard

di contenuti da presentare, a loro volta, nelle riunioni rivolte ai rilevatori. In alcuni casi il personale del Servizio tecnico, adeguatamente addestrato, è stato coinvolto nelle riunioni locali a supporto del lavoro degli uffici regionali e ai fini di una più intensa collaborazione tra progettista dell’indagine e realizzatori della stessa.

Ritornando nello specifico ai contenuti della scheda, le informazioni riferite al punto 1 hanno una doppia valenza. Esse servono innanzitutto alla pianificazione di eventuali ulteriori incontri di formazione, destinati ai rilevatori assenti, ma di cui si prevede comunque il coinvolgimento nella rilevazione. Servono inoltre a verificare il rispetto della richiesta, esplicitamente contenuta nelle circolari inviate ai comuni campione, di una presenza all’incontro da parte di tutti i rilevatori che il Comune intende coinvolgere nel lavoro sul campo.

La verifica degli Imf/1 (punto 2), da l’idea della tempestività con cui i vari Comuni rispondono alle richieste contenute nella circolare suddetta e il rispetto della tempistica del flusso informativo tra Uurr e Comuni in merito al modello in oggetto. Inoltre, per quanto riguarda l’indagine Uso del tempo, è stato necessario verificare la presenza di eventuali ritardi o anomalie nel processo di comunicazione da parte degli Uurr ai Comuni delle date previste di compilazione dei diari giornalieri e abbinate a ciascuna famiglia campione.

I punti 3 e 4 consentono di verificare sia il livello di approfondimento, da parte degli Uurr, degli argomenti inerenti l’indagine e ritenuti cruciali nel processo formativo, sia il grado di interesse manifestato dai partecipanti verso ciascuno di essi.

Inoltre poiché, come accennato, viene suggerito dal Servizio tecnico il ricorso a strumenti di ausilio alla didattica, tra i quali i lucidi preventivamente preparati a livello centrale, al fine di garantire una standardizzazione del processo formativo sull’intero territorio nazionale, si accerta (punto 5) l’utilizzo degli stessi e gli eventuali motivi del non utilizzo, con l’obiettivo di evidenziare anche situazioni di inadeguata dotazione di attrezzature tecniche.

Infine si rilevano eventuali problemi sorti nel corso della riunione. Le informazioni raccolte perseguono, dunque, un duplice obiettivo:

1.favorire il monitoraggio locale da parte degli Uurr al fine di ottenere una visione di sintesi sul comportamento dei vari Comuni ed individuare, già in avvio di rilevazione, le realtà più problematiche e come tali da controllare accuratamente durante tutta la rilevazione; 2.favorire il monitoraggio a livello centrale, in modo da elaborare indicatori di sintesi

sull’andamento delle riunioni e la partecipazione dei Comuni alle stesse, facendo emergere eventuali differenze territoriali di rilievo che rischiano di influenzare gli altri aspetti di qualità del processo di indagine.

Di seguito si riportano alcuni dei risultati derivanti dalle elaborazioni effettuate sulle schede di monitoraggio delle istruzioni pervenute.

6.3 - L’andamento delle riunioni: i principali risultati

La cadenza delle riunioni di istruzione a livello locale rispetta lo schema riportato nella figura 6.2: all’inizio di ciascun trimestre sono state previste riunioni d’istruzione destinate ai nuovi rilevatori, ma aperte anche a quanti avessero effettuato interviste nel trimestre precedente.

Le riunioni d'istruzione monitorate da marzo 2002 a febbraio 2003, assommano a 230: hanno visto impegnati 38 formatori degli uffici regionali e delle province autonome di Trento e Bolzano. I rilevatori presenti alla prima convocazione sono stati 766 (il 94,2 per cento di quanti sono risultati poi effettivamente impegnati nella raccolta dati). Di questi, poco più della metà (51 per cento) aveva già fatto esperienza come intervistatore in un'indagine Multiscopo sulle famiglie, ma solo il nove per cento aveva partecipato alla precedente rilevazione sull’Uso del tempo. Il 95,2 per cento è stato presente per tutta la durata dell’incontro. Le riunioni sono durate

mediamente poco meno di quattro ore (3 ore e 49 minuti), durante le quali sono stati affrontati i seguenti argomenti:

x Obiettivi dell'indagine;

x Modalità di gestione della rilevazione; x Punti critici dei questionari;

x Il diario giornaliero; x Il diario settimanale; x La scheda di monitoraggio.

In generale, nel corso delle riunioni è stato dato risalto alla presentazione di alcuni risultati significativi della precedente rilevazione sull’Uso del tempo (1988-1989), utili per contestualizzare l’indagine, chiarirne gli obiettivi e focalizzare l’attenzione su specificità territoriali. Ciò è servito anche a incentivare gli intervistatori all’assunzione di un ruolo attivo nell’aggiornamento delle informazioni statistiche.

Dall’elaborazione delle schede risulta evidente che il cardine dell’esposizione è stata la presentazione del diario giornaliero, strumento "principe" per la raccolta delle informazioni su come i cittadini distribuiscono il proprio tempo ma che, proprio per il carico di lavoro che ricade sui rispondenti, richiede particolare disponibilità e impegno da parte degli stessi. Nella quasi totalità delle riunioni (94,2 per cento) le problematiche relative ai diari sono state esposte in maniera diffusa (Figura 6.3), non solo spiegando puntualmente ai rilevatori le modalità di compilazione, ma anche allertandoli su come istruire i rispondenti in modo da evitare o ridurre errori di compilazione.

Figura 6.3 - Riunioni per argomenti trattati molto o abbastanza diffusamente (valori percentuali)

0 20 40 60 80 100

Diario giornaliero Gestione della rilevazione Punti critici dei questionari Scheda di monitoraggio Diario settimanale Obiettivi dell'indagine

La complessità dell’indagine sul piano metodologico ed organizzativo, ha richiesto la trattazione diffusa nelle riunioni d’istruzione anche dei problemi gestionali. In considerazione dell’importanza del rispetto della tempistica per la compilazione dei questionari e soprattutto per

0 20 40 60 80 100 Diario giornaliero

Gestione della rilevazione Punti critici dei questionari Obiettivi dell'indagine Diario settimanale Scheda di monitoraggio

stati trattati anche aspetti logistico-organizzativi, in linea con l’impostazione formativa finalizzata a trasmettere, insieme ai contenuti, anche suggerimenti su come organizzare al meglio il lavoro sul campo, per contenere difficoltà e anomalie nell’applicazione della tecnica di indagine.

Grande attenzione nell’esposizione è stata riservata anche agli obiettivi di indagine e ai punti più critici dei questionari individuali e del diario settimanale.

La scheda di monitoraggio della qualità delle interviste è stata descritta ampiamente nell’82,7 per cento delle riunioni; nei restanti incontri l’esposizione è stata più sintetica. Il motivo di una descrizione più sintetica non è per nulla legato alla minore attenzione dedicata dai formatori al nuovo strumento che, anzi, proprio per la novità intrinseca, avrebbe richiesto una più ampia trattazione. Banalmente, il minor tempo dedicato alla scheda di monitoraggio è stato il frutto della collocazione in fondo alla scaletta degli argomenti da esporre, quando, come noto, anche l’attenzione degli uditori subisce un calo. L’opportunità di organizzare diversamente la scaletta degli argomenti e di dedicare più spazio alla descrizione della scheda di monitoraggio è emersa con forza nelle riunioni di debriefing.

A giudizio dei docenti, l’attenzione mostrata dai rilevatori è stata elevata: più del 90 per cento ha mostrato molto o abbastanza interesse per l’esposizione dei vari argomenti; la quasi totalità ha seguito con grande attenzione l’esposizione relativa al diario giornaliero. La graduatoria degli argomenti che hanno catturato maggiormente l’interesse dei rilevatori è indicata nella figura 6.4.

Figura 6.4 - Riunioni per interesse (molto o abbastanza) mostrato dai rilevatori verso i vari argomenti presentati (valori percentuali)

Dall’analisi dei dati della scheda di monitoraggio della formazione emergono, tuttavia, alcuni segnali preoccupanti, sebbene riferibili ad una parte esigua di rilevatori: il 6,3 per cento ha manifestato una scarsa attenzione durante tutta la riunione e il 3,3 per cento durante una parte dell’incontro.

Generalmente, il clima instauratosi tra i partecipanti è stato positivo, non è stato segnalato alcun problema nel 46 per cento circa degli incontri (Tavola 6.1): nei rimanenti casi si sono registrate preoccupazioni per la reazione delle famiglie di fronte alla richiesta di una collaborazione così impegnativa (41,8 per cento) e perplessità sulle difficoltà conseguenti alla complessità metodologica e organizzativa dell’indagine (21,8 per cento).

I timori dei rilevatori si sono dunque concentrati, principalmente, su due aspetti: uno, direttamente collegato al proprio lavoro, ha riguardato la gestione della rilevazione in termini di “agenda”, di organizzazione efficiente dei tempi di contatto, intervista, assistenza, ritiro dei moduli; l’altro, più indiretto, ha riguardato la reazione delle famiglie rispetto alla complessità del diario giornaliero.

Tavola 6.1 - Riunioni per problemi emersi durante lo svolgimento (valori percentuali)

Nessuno 45,8

Preoccupazione reazioni famiglie al diario 41,8

Gestione rilevazione onerosa 21,8

Difficoltà singoli quesiti 11,6

Complessità questionari 10,7 Spirito polemico 5,3 Attrezzature inadeguate 4,0 Tempo insufficiente 3,1 Interruzioni continue 1,8 Scarsa attenzione 1,3 Altro 5,8 % PROBLEMI EMERSI

La scheda dedicata alla riunione d’istruzione si conclude con quesiti relativi agli aspetti logistici della riunione stessa, agli strumenti disponibili per l’esposizione, al materiale distribuito, alla collaborazione degli uffici di statistica delle camere di commercio che hanno ospitato le riunioni descritte.

Prima di passare a descrivere le riunioni di debriefing, va sottolineato che l’obiettivo ultimo della formazione, ovvero quello di rendere il rilevatore protagonista e autonomo nel processo d’indagine, si ottiene non solo trasferendo contenuti per creare competenza e dimestichezza nella somministrazione dei questionari ai rispondenti, ma anche costruendo un rapporto formativo continuo, fatto d’interazioni reciproche tra il docente e i discenti. È per questo motivo che pur avendo individuato un modulo formativo, in termini di contenuti, successione di argomenti e tempo dedicato a ciascuno, da parte dei docenti viene adottata la massima flessibilità nella gestione delle riunioni nelle diverse realtà territoriali. È infatti importante calibrare il messaggio in funzione della platea, affinché i rilevatori si sentano partecipi e motivati. Se si riesce a stimolare la motivazione nei rilevatori le ricadute sono senz’altro positive, poiché la loro motivazione si trasmetterà agli intervistati e consentirà di superare molti problemi tipici della fase di raccolta dei dati.

6.4 - Il monitoraggio dei debriefing

La complessità dell’indagine e la durata dell’impegno richiesto ai rilevatori hanno reso opportuno effettuare riunioni di debriefing a chiusura di ciascun trimestre di rilevazione.

Obiettivo primario è stato fare il punto della situazione, adottare strategie comuni e trovare soluzioni adeguate alle difficoltà incontrate dagli intervistatori. In effetti, fin dall’avvio dell’indagine è stato importante e, alla luce dei risultati senz’altro vincente, che i rilevatori si sentissero protagonisti del lavoro sul campo, ma che contestualmente fossero consapevoli di non essere soli nel condurlo. Il contatto telefonico tra gli intervistatori e l’Istat è stato più che quotidiano; sono state fornite indicazioni metodologiche e organizzative, sono state affrontate e superate difficoltà piccole e grandi, individuali e comuni e la presenza assidua e propositiva dell’Istat ha fatto sì che tanti rilevatori non "mollassero" alle prime difficoltà.

Il primo debriefing, effettuato a ridosso del primo trimestre di rilevazione, ha consentito di realizzare anche una formazione aggiuntiva per chiarire gli argomenti risultati poco chiari e, in modo particolare, le modalità di corretta compilazione delle schede di monitoraggio delle interviste.

Su questo argomento i formatori avevano denunciato poco interesse da parte degli intervistatori nel corso delle riunioni iniziali. La caduta di attenzione percepita era imputabile, come già accennato, al fatto che l’argomento era stato esposto in chiusura di riunione e in maniera astratta. La prova sul campo del primo trimestre di rilevazione ha confermato la non perfetta comprensione dello strumento da parte dei rilevatori e, proprio nel corso dei debriefing, la scheda è stata illustrata come argomento di apertura della riunione e con l’ausilio di casi concreti di compilazione di schede di monitoraggio.

Ciò ha consentito nel prosieguo della rilevazione di riscontrare un numero molto contenuto di schede errate e di ridurre, di conseguenza, gli interventi correttivi dei colleghi della rete regionale.

Analogamente a quanto sperimentato nelle riunioni di formazione in avvio di rilevazione, anche le riunioni intermedie sono state oggetto di monitoraggio. La scheda compilata dai formatori (Allegato 4) risponde agli stessi obiettivi di registrazione dei partecipanti e di valutazione dell’andamento della riunione perseguiti tramite il monitoraggio delle riunioni iniziali.

Le riunioni intermedie, monitorate da giugno a novembre 2002, sono state 117 e hanno visto ancora impegnati i 38 formatori degli uffici regionali. Il 75 per cento di questi incontri è stato effettuato a chiusura del primo trimestre di rilevazione (tra giugno e luglio 2002), il 23 per cento ad ottobre, in chiusura del secondo trimestre. I rilevatori che hanno partecipato ai debriefing sono stati 505 (oltre il 60 per cento di quelli impegnati) e tra loro, oltre i rilevatori con esperienza nel precedente trimestre, anche una quota (12,3 per cento) di intervistatori che si apprestavano ad iniziare la loro collaborazione nella raccolta dei dati. Le riunioni sono state un po’ più brevi di quelle iniziali: mediamente sono durate circa tre ore (per la precisione due ore e 53 minuti) e, in quasi tutti gli incontri (97,6 per cento), i rilevatori sono stati presenti per tutta la durata della riunione.

La graduatoria delle tematiche affrontate più diffusamente appare diversa da quella relativa ai primi incontri. Tra i temi affrontati in misura più ampia nei debriefing, si colloca proprio la scheda di monitoraggio delle interviste. Le regole di compilazione e l’analisi degli indicatori calcolati in base alle informazioni raccolte tramite la scheda di monitoraggio sono state ampiamente riprese e trattate (le prime nell’82,1 per cento delle riunioni, la seconda nel 59,8 per cento dei casi).

Le riunioni di debriefing sono state dunque un’occasione per fare chiarezza sugli aspetti della rilevazione che erano risultati meno chiari, anche perché probabilmente sottovalutati in

sede di riunioni di istruzione iniziali. La preoccupazione per l’illustrazione degli strumenti di