Scelta e struttura dello strumento

Come esposto nel capitolo precedente, l’obiettivo della ricerca sul campo è stato quello di rilevare le percezioni del personale delle scuole coinvolto nella realizzazione del progetto Vales rispetto alle sue modalità di implementazione, alla sua efficacia e ai risultati ottenuti. La prima fase è consistita nella preparazione e somministrazione di un questionario online rivolto ai dirigenti scolastici di tutte le scuole del progetto Vales e nell’analisi220 _{dei dati}

raccolti.

Si è scelto di utilizzare il questionario come strategia con cui raccogliere informazioni, utile per misurare o rilevare in modo generalizzato determinati aspetti (Cohen, Manion e Morrison 2007). Questo tipo di strumento permette di ottenere dati in maniera strutturata e standardizzata (la grande maggioranza delle domande inserite sono a risposta chiusa) e dunque di comparare e analizzare più facilmente le risposte fornite, anche nel caso di un alto numero di rispondenti. La scelta della somministrazione on-line del questionario ha numerosi vantaggi rispetto all’opzione di un questionario cartaceo, tra cui quelli relativi alla comodità, ai minori costi, al tempo necessario per la sua somministrazione, al più alto tasso di risposte, ai diversi modi di ottimizzare l’interfaccia e così facilitare la compilazione (ad esempio, guidando i rispondenti attraverso una automated navigation), alla riduzione degli errori umani, alla restituzione comoda e veloce delle risposte.

Tuttavia, bisogna tenere in considerazione alcuni limiti e possibili rischi legati a questo tipo di strumento e ad alcune particolari scelte adoperate per questo specifico questionario. Innanzitutto, dato il numero relativamente alto di rispondenti, il questionario è piuttosto strutturato, quindi la delimitazione delle risposte mediante alternative predefinite comporta il rischio di tralasciare altre possibilità di risposta, influenzare le risposte originali e offrire

220 _{Tutte le analisi quantitative (descrittive, di affidabilità, fattoriali esplorative e correlazioni) sono state}

169

risposte di non uguale significato per tutti221 _{(Corbetta, 2003). Inoltre, non è stato condotto}

uno studio preliminare esplorativo, né lo strumento definito è stato revisionato da nessun capo d’istituto prima che fosse somministrato a tutti i rispondenti222_{. Il questionario, pur}

consentendo di raccogliere informazioni preziose, non permette di approfondire le ragioni sottostanti alle risposte date, né, più in generale, di esplorare più a fondo alcuni costrutti. Come è già stato spiegato nel capitolo 7, si è raccolto soltanto il punto di vista dei dirigenti scolastici. Inoltre, il soggetto che somministra (in questo caso il soggetto che figurava in primo piano era l’Invalsi223_{) può influenzare le risposte tramite il fattore della desiderabilità sociale.}

Può essere presente anche il rischio di mancanza di opinione dei rispondenti circa alcuni aspetti indagati tramite il questionario, che porta a scegliere ‘a caso’ le risposte oppure fa nascere in quel momento opinioni (volatili), per la pressione a rispondere224_{. Infatti, “[l]a}

tecnica del questionario non è capace di distinguere le opinioni intense e stabili da quelle deboli e volubili” (Ibidem, p. 140). Non in tutti i casi è stato possibile verificare le informazioni riguardanti i dati oggettivi225_{. È da sottolineare anche l’influenza dell’‘effetto memoria’: le}

domande del questionario si riferivano principalmente a fatti successi in anni scolastici precedenti e a percezioni avute in passato226_{. Per quanto riguarda i limiti legati alla scelta di}

somministrarlo on-line, sono da notare le possibili distorsioni nelle interpretazioni delle domande da parte dei rispondenti, senza che la presenza del somministratore possa

221 _{Bisogna però ricordare che anche la codifica a posteriori delle risposte fornite alle domande aperte implica}

dei limiti, quali, ad esempio, la possibile forzatura della risposta originale (Corbetta, 2003).

222 _{Si noti, tuttavia, che nel lavoro di costruzione del questionario ho tenuto conto degli elementi emersi durante}

la revisione-validazione del questionario preparato prima dell’avvio della collaborazione con l’Invalsi. Come è già stato descritto nel capitolo 6, avevo condotto tre focus group con i soggetti coinvolti nelle attività del Vales.

223 _{Le scuole sono state contattate dall’Invalsi tramite posta elettronica. Più specificamente, l’Istituto ha inviato}

una lettera elettronica all’indirizzo della posta elettronica della scuola, in cui invitava i dirigenti scolastici a partecipare alla rilevazione compilando il questionario, cui si poteva accedere mediante un link indicato. Circa a metà del lasso di tempo concesso per la compilazione, i capi d’istituto, dai quali non erano ancora pervenute le risposte, sono stati ricontattati e sollecitati a rispondere al questionario.

224 _{Il sistema attraverso il quale era somministrato il questionario imponeva il vincolo a rispondere a quasi tutte}

le domande che spettavano a quel rispondente (a seconda delle sue risposte a domande filtro). Tuttavia anche se non erano previste risposte del tipo ‘non so’ o ‘non ho opinione’, le domande tipo Likert avevano cinque alternative di risposta e quella intermedia era definita ‘né in accordo/né in disaccordo’.

225 _{Si tratta, ad esempio, delle domande 8 e 9 sull’avvio delle azioni di sviluppo sulla base degli esiti}

dell’autovalutazione già a partire dall’anno scolastico 2013/2014, prima della visita dei valutatori esterni. Invece, sono state verificate, ad esempio, le risposte fornite riguardo alle visite di restituzione poiché queste ultime erano state previste soltanto per le scuole delle regioni PON (sono le regioni sostenute con Fondi strutturali dell’Unione europea secondo i programmi operativi sovraregionali), ovvero, in Campagna, Puglia, Calabria e Sicilia.

226 _{Il questionario è stato somministrato tra la fine del marzo e la prima metà di aprile, mentre l’adesione al}

progetto aveva avuto luogo nell’a.s. 2011/2012, l’autovalutazione nell’a.s. 2012/2013 e la valutazione esterna nell’a.s. 2013/2014 (più precisamente, le visite erano state svolte nel secondo semestre di quell’anno scolastico).

170

consentire un loro eventuale chiarimento. Inoltre, non si può garantire che in tutti i casi il soggetto che ha effettivamente compilato il questionario sia stato proprio il dirigente scolastico, anche se che l’Invalsi aveva esplicitamente richiesto ai DS di rispondere in prima persona, proprio perché l’interesse era rivolto alla rilevazione delle loro percezioni e non di ‘fatti’227_.

Il questionario è stato sviluppato in collaborazione con il gruppo di ricerca dell’Invalsi a partire dalla versione precedentemente elaborata da me. È composto da 6 sezioni comprendenti complessivamente 34 domande. Le prime tre sezioni del questionario corrispondono alle prime tre fasi del progetto Vales 228 _{: adesione (domande 1-3),}

autovalutazione (domande 4-9) e valutazione esterna (domande 10-22). La quarta sezione è dedicata agli esiti del progetto (domande 23-26). La quinta sezione è rivolta ai dirigenti scolastici che sono entrati in servizio nella scuola a partire dall’anno scolastico in cui è stato somministrato il questionario (quindi 2014/2015) ma che non erano nella scuola quando il progetto Vales è stato realizzato (domande 27-32). L’ultima sezione è destinata a raccogliere alcune informazioni sul profilo del DS (domande 33-34).

Per quanto riguarda la tipologia delle domande, la grande maggioranza di esse è a risposta chiusa e vi sono sia risposte dicotomiche (‘si’/‘no’), sia a scelta multipla, sia a scala Likert. In quest’ultimo caso, sono state previste cinque alternative di risposta229 _{che cambiano}

a seconda della formulazione della domanda230_{. Sono incluse anche otto domande aperte e}

cinque domande filtro. Tre delle prime servono per specificare l’alternativa ‘altro’, per rendere esaustiva la lista che precede. In altre due si invita a elencare azioni di sviluppo

227 _{Non si esclude la possibilità che alcuni DS abbiano attribuito questo compito, ad esempio, ai loro collaboratori}

o alle persone che avevano compilato il Rapporto di autovalutazione.

228 _{Non è stata inclusa la fase di definizione del piano di miglioramento e di sviluppo delle azioni previste nel}

piano.

229 _{I ricercatori dell’Invalsi hanno preferito utilizzare il formato a cinque alternative di risposta piuttosto che}

quello a quattro in funzione di raccordo con altri simili strumenti di rilevazione utilizzati dall’Istituto.

230 _{In alcune di queste domande le alternative di risposta sono indicate con espressioni verbali per ognuna delle}

cinque posizioni, in altre sono indicate solamente le due posizioni estreme e le tre rimanenti posizioni di mezzo hanno un’espressione numerica (2, 3, 4). I tipi di alternative di risposta utilizzati nel questionario sono i seguenti: 1) ‘pienamente d’accordo’, ‘d’accordo’, ‘né in accordo/né in disaccordo’, ‘in accordo’, ‘per nulla d’accordo’ (domande 2, 6, 19, 24, 25, 30, 31)

2) ‘moltissimo’ – ‘per nulla’ (domande 11, 14) 3) ‘in modo completo – ‘per nulla’ (domande 12, 15) 4) ‘moltissime’ – ‘nessuna’ (domanda 13)

5) ‘pienamente positiva’ – ‘per nulla positiva’ (domande 16, 17) 6) ‘pienamente’ – ‘per nulla’ (domande 18, 22)

171

avviate grazie alla partecipazione al progetto (prima della valutazione esterna (D09) e dopo (D23)). Altre due domande aperte sono state inserite perché i rispondenti potessero aggiungere eventuali commenti e note sulla partecipazione della scuola al Vales. Infine, la penultima domanda del questionario richiede di inserire una risposta ‘univoca’ (anni di servizio). Tre domande filtro sono inserite all’inizio delle prime tre sezioni e servono a indirizzare a un’altra sezione i rispondenti a cui non spetta rispondere alle domande di quella sezione. In questo modo il DS che seleziona l’alternativa ‘si’, può continuare a rispondere alle domande della sezione, invece, se la sua risposta è ‘no’, il sistema lo rinvia automaticamente alla sezione successiva (nel caso della domanda filtro della terza sezione, il rispondente viene rinviato alla quinta sezione dedicata ai neo-dirigenti). Altre due domande filtro (D08 e D20) sono all’interno delle sezioni e servono per selezionare i rispondenti a cui indirizzare una sola domanda, posta immediatamente dopo.

172

Tab. 8.1 La struttura del questionario in sintesi

Aspetti indagati Tipologia della

domanda

Numero degli

item all’interno della domanda Sezione I Adesione al progetto

1. Presenza del DS in questa fase Dicotomica – filtro 1

2. Fattori motivazionali del DS Scala 9

3. Volontà di aderire da parte dei docenti Scala 1

Sezione II Autovalutazione

4. Presenza del DS in questa fase Dicotomica – filtro 1 5. Azioni di sostegno al lavoro del Nucleo di

autovalutazione

Dicotomica 231_{, inclusa}

l’alterativa ‘altro’232

8 6. Utilità degli strumenti e del percorso e

compatibilità degli impegni e risorse

Scala 6

7. Iniziative adottate per la presentazione del Rapporto di autovalutazione

Dicotomica 233_{, inclusa}

l’alternativa ‘altro’234

7 8. Avvio di azioni di sviluppo prima della

valutazione esterna

Dicotomica – filtro per la domanda 9

1 9. Azioni di sviluppo avviate prima della

valutazione esterna

Aperta 1