Rapporto tecnico

(1)

Validazione del

Questionario studente

Scuola primaria - Classe Quinta

Anno scolastico 2008/09

(2)

2

INVALSI – Istituto nazionale per la valutazione del sistema educativo di istruzione e di formazione www.invalsi.it

Il presente rapporto è stato realizzato da Donatella Poliandri, Michele Cardone, Paola Muzzioli, Sara Romiti.

Si ringraziano Aletta Grisay, Angela Martini, Stefania Mignani e Maria Teresa Siniscalco per le osservazioni fornite nella fase di costruzione dello strumento, Roberto Ricci per i preziosi suggerimenti in seguito alla lettura della prima stesura del rapporto, Elisa Caponera per aver reso disponibili i dati dell’indagine IEA TIMSS 2007.

INVALSI – Istituto nazionale per la valutazione del sistema educativo di istruzione e di formazione

Via Borromini, 5 – Villa Falconieri 00044 Frascati (Roma)

(3)

3

INDICE

1 Introduzione... 5

1.1 Premesse e obiettivi... 5

1.2 Le tappe per la costruzione del Questionario studente ... 6

2 Costruzione degli strumenti ...7

2.1 Informazioni personali... 7

2.2 Ambiente familiare... 8

2.3 Profilo delle attività dello studente... 9

2.4 Benessere e malessere a scuola ... 9

2.5 Cognizioni riferite al sé, motivazione e impegno nello studio... 10

2.6 La Scheda raccolta dati studenti e famiglie ... 11

3 Intervista in profondità con testimoni privilegiati...12

4 Revisione con esperti e formulazione delle modalità di validazione dello strumento ...13

4.1 L’incontro con gli esperti... 13

4.2 Le modalità di validazione dello strumento ... 13

5 Field trial ...15

5.1 Gli obiettivi del field trial... 15

5.2 La somministrazione del field trial ... 15

5.3 Lo spoglio manuale e l’imputazione dei dati... 15

5.4 Le modifiche dopo il field-trial ... 17

6 Pre-test...18

6.1 Gli strumenti: il Questionario studente e la Scheda raccolta dati studenti e famiglie .. 19

6.2 I Rispondenti e gli assenti ... 22

6.3 I dati mancanti nella Scheda raccolta dati studenti e famiglie... 23

6.4 I dati mancanti nel Questionario studente... 26

6.5 La validazione dello strumento... 27

6.5.1 Informazioni personali: Età degli alunni (domande 1 e 2) ... 27

6.5.2 Ambiente familiare: la famiglia (domande 4 e 5) ... 28

6.5.3 Ambiente familiare: le risorse disponibili (domande 6, 7 e 8) ... 30

6.5.4 Ambiente familiare: l’aiuto nei compiti (domanda 11) ... 31

6.5.5 Il profilo delle attività dello studente (domande 9 e 10) ... 32

6.5.6 Benessere e malessere a scuola: percezione del sentirsi sicuri (domanda 13)... 33

6.5.7 Benessere e malessere a scuola: ansia da test (domanda 17)... 36

6.5.8 Cognizioni riferite al sé (domande 12, 14, 15 e 16) ... 46

7 Le modifiche apportate dopo il pre-test...56

8 Bibliografia ...59

9 Appendici...62 Appendice A - Questionario studente SNV – V primaria – a.s. 2008/09 – versione per il

(4)

Field-4

trial ... 63

Appendice B - Questionario studente SNV – V primaria – a.s. 2008/09... 76

Appendice C - Questionario studente SNV - V primaria - a.s. 2009/10... 89

Appendice D - Scheda genitori (o tutori) SNV – II e V primaria - a.s. 2008/09... 104

Appendice E - Scheda raccolta dati studenti e famiglie SNV – a.s. 2008/09 ... 106

Appendice F - Scheda di osservazione - Questionario studente SNV – a.s. 2008/09... 110

Appendice G - Procedure da seguire per la somministrazione del Questionario studente SNV - a.s. 2008/09... 113

Appendice H - Note per il somministratore - Questionario studente SNV – a.s. 2008/09 ... 114

Appendice I - Quadro di riferimento del Questionario studente SNV – a.s. 2008/09... 116

(5)

5

1 Introduzione

1.1 Premesse e obiettivi

A corredo delle prove di apprendimento, il Servizio Nazionale di Valutazione nell’a.s. 2008/09 ha proposto per la prima volta un questionario rivolto agli studenti e una scheda destinata alla scuola per la raccolta di alcune informazioni aggiuntive relative agli studenti. L’esperienza maturata nella ricerca educativa in ambito nazionale e internazionale ha messo in luce una vasta gamma di aspetti che possono fornire informazioni utili per l’interpretazione dei risultati scolastici. L’ambiente familiare di provenienza dello studente, le attività svolte a scuola e quelle praticate nel tempo libero, le opinioni e gli atteggiamenti in merito alla scuola e allo studio, rappresentano alcuni dei settori di indagine solitamente indagati.

Per la selezione degli aspetti da indagare è stata preliminarmente effettuata una rassegna della letteratura e degli strumenti utilizzati in Italia e nelle principali indagini comparative internazionali sulle competenze e le conoscenze possedute dagli studenti (OCSE PISA1_, IEA TIMSS2 e IEA PIRLS3).

All’interno del vasto panorama a disposizione, si è scelto di dare un taglio che privilegiasse una prospettiva nazionale, selezionando quegli aspetti ritenuti utili per descrivere e approfondire la conoscenza del sistema scolastico italiano. In secondo luogo sono state privilegiate quelle informazioni che possono essere analizzate in un’ottica complessiva di sistema, e non di diagnosi del singolo studente.

La proposta scaturita all’interno del Servizio Nazionale di Valutazione prevede che, oltre ad un nucleo di aspetti costanti tali da permettere confronti temporali, sia possibile mettere a fuoco ogni anno aspetti diversi per realizzare approfondimenti tematici.

Molti degli aspetti indagati, oltre ad essere pensati a corredo delle prove SNV per meglio comprendere le performance degli studenti, sono stati scelti anche con l’obiettivo di fornire informazioni utili per la costruzione del modello di Valutazione delle scuole4.

Gli strumenti utilizzati per la raccolta delle informazioni sugli studenti sono due, la Scheda raccolta dati studenti e famiglie e il Questionario studente; i dati così rilevati vanno ad integrare alcune informazioni richieste in precedenza dall’INVALSI.

La Scheda raccolta dati studenti e famiglie, da compilare a cura delle segreterie scolastiche, serve a rilevare alcune informazioni in possesso della scuola (come i voti e l’orario scolastico), e alcuni dati riguardanti la famiglia di origine che non è possibile chiedere direttamente agli studenti (come il titolo di studio o l’occupazione dei genitori). Il Questionario studente 2008/09, dovendo essere somministrato successivamente allo svolgimento delle prove di Italiano e Matematica e ad un campione di alunni di V primaria,

1_{Indagine PISA - Programme for International Student Assessment.} 2_{Indagine TIMSS - Trends in International Mathematics and Science Study.} 3_{Indagine PIRLS - Progress in International Reading Literacy Study.}

4_{E’ questo uno dei principali compiti che sono stati assegnati all’INVALSI dalla Direttiva Ministeriale n.}

(6)

6

è stato strutturato cercando di soddisfare caratteristiche di brevità e semplicità in coerenza con gli obiettivi di fondo dell’indagine:

- raccogliere informazioni di contesto sugli studenti e sulle famiglie degli alunni da mettere in relazione con i risultati;

- elaborare indicatori utili anche per la Valutazione del sistema scolastico e delle scuole (ValSiS5_{) allo scopo di approfondire la conoscenza del sistema scolastico} italiano;

- restituire alla scuola informazioni utili su cui riflettere.

1.2 Le tappe per la costruzione del Questionario studente

Il Questionario studente è stato costruito attraverso una serie di passi successivi che hanno portato dalla prima stesura, attraverso successive revisioni, alla stesura della forma somministrata in occasione della rilevazione degli apprendimenti del SNV nell’a.s. 2009/10. In sintesi, il percorso di costruzione ha visto in successione:

1. lo studio della letteratura e una prima elaborazione dello strumento (Ottobre 2008) 2. le interviste in profondità con testimoni privilegiati (Dicembre 2008)

3. la revisione con un gruppo di esperti (Marzo 2009) 4. il field trial (Marzo 2009)

5. il pre-test (Maggio 2009)

6. la revisione in seguito al pre-test 7. la somministrazione (Maggio 2010)

5_{Cfr. il Quadro di riferimento del progetto ValSiS (Istituto Nazionale per la Valutazione del Sistema Educativo}

(7)

7

2 Costruzione degli strumenti

In una prima fase esplorativa sono stati vagliati i questionari di contesto utilizzati in alcune importanti indagini comparative internazionali sulle competenze degli studenti, al fine di estrapolare temi ed elementi che potessero essere utili anche in un’indagine di tipo nazionale.

Questa ricerca preliminare ha portato all’individuazione di alcune aree ritenute indispensabili per leggere i risultati degli apprendimenti, ovvero quelle relative alla provenienza e al contesto familiare degli studenti, nonché di altre aree che di volta in volta possono essere esplorate per approfondire la conoscenza dei fattori che interagiscono con l’apprendimento scolastico.

All’interno di questo ampio panorama la scelta si è indirizzata verso alcuni costrutti psicologici ampiamente studiati in ambito educativo, e che potessero al contempo essere adatti per i bambini della scuola primaria, ovvero il concetto di sé scolastico, l’interesse per le discipline di studio, l’impegno nello studio, le auto attribuzioni del successo e del fallimento scolastico, l’ansia da test. Lo studio della letteratura è proseguito poi nella direzione di individuare strumenti già testati che potessero essere riutilizzati, adattati o modificati per il contesto italiano (nel caso di strumenti in lingua straniera).

Un’ulteriore area che è stato ritenuto rilevante indagare attiene all’ambiente scolastico e al contesto extrascolastico. Sono stati presi in considerazione la percezione del sentirsi sicuri a scuola, i voti scolastici, l’orario scolastico settimanale prescelto, le attività svolte al di fuori della scuola.

Questo lavoro di ricerca ha portato alla stesura della prima bozza del Questionario studente e della Scheda raccolta dati studenti e famiglie.

Le aree considerate nel Questionario studente V Primaria 2008/09 e nella Scheda raccolta dati studenti e famiglie sono state:

2.1 Informazioni personali

(Luogo di nascita, Mese e anno di nascita, Genere, Cittadinanza, Voti in Italiano e Matematica)

Attraverso la data di nascita è possibile avere indicazioni sul ruolo giocato dagli anticipi e dai ritardi rispetto all’età teorica per il grado di studio considerato. La conoscenza del sesso permette di fare analisi per genere, sia in relazione ai risultati nelle prove di Italiano e Matematica, sia rispetto alle altre variabili a corredo. Il luogo di nascita e la cittadinanza forniscono informazioni sulle origini degli studenti, permettendo inoltre di differenziare tra prima e seconda generazione di immigrati. Il Ministero dell’Istruzione, dell’Università e della Ricerca, in accordo con la legislazione italiana, definisce di prima generazione gli studenti minorenni con cittadinanza non italiana che non sono nati in Italia, mentre considera di seconda generazione gli studenti con cittadinanza non italiana ma nati in

(8)

8

Italia6_{. Solo per gli studenti che non sono nati in Italia viene richiesto di indicare l’età di} arrivo in Italia7_{. Per meglio comprendere la composizione della popolazione scolastica in} Italia sono state richieste anche informazioni relative al luogo di nascita dei genitori.

Si è ritenuto interessante richiedere alla scuola anche i voti in Italiano e Matematica conseguiti al termine del primo quadrimestre (o del secondo trimestre per le scuole che adottano i trimestri) al fine di individuare eventuali relazioni con le performance degli studenti nei test.

2.2 Ambiente familiare

(Composizione del nucleo familiare, Lingua parlata a casa, Risorse disponibili a casa, Disponibilità di un aiuto nei compiti per casa).

Questa area è particolarmente importante e viene sempre indagata nelle indagini nazionali e internazionali.

Nella costruzione di un eventuale indice di status socio – economico – culturale che utilizzi in modo aggregato le diverse informazioni (occupazione del padre, occupazione della madre, titolo di studio del padre, titolo di studio della madre) è opportuno tenere conto del numero e della qualità delle risposte ottenute attraverso lo strumento della Scheda raccolta dati studenti e famiglie, che l’Invalsi ha richiesto per la prima volta, di compilare alle scuole8_.

Con la composizione del nucleo familiare si vogliono indagare le tipologie di famiglia in cui i bambini vivono (con entrambi i genitori, con un solo genitore, o in situazioni diverse), mentre il numero degli eventuali fratelli o sorelle può essere considerato anche come un indicatore di vincoli economici familiari.

Come indicatore da un lato di opportunità di sostegno familiare nei compiti, dall’altro di rinforzo domestico della lingua usata a scuola, è stata inserita una domanda sulla lingua parlata a casa. L’interesse è rivolto ad esplorare non solo l’uso in famiglia di una lingua diversa da quella utilizzata a scuola e quindi nelle rilevazioni degli apprendimenti – come avviene nelle indagini internazionali - ma anche la preesistenza dell’utilizzo prevalente di un dialetto in ambito familiare.

Per approfondire gli aspetti connessi alle opportunità di sostegno familiare è stata introdotta una domanda, adattata dall’indagine PIRLS 20069, sulle figure che aiutano gli studenti nel fare i compiti per casa.

Tra le risorse disponibili in casa, comunemente indagate nelle ricerche internazionali come indicatore di status economico10_{, si è scelto di focalizzare l’attenzione su quelle} direttamente connesse allo studio viste come un indicatore delle condizioni familiari di

6_{La definizione è in Ministero dell’Istruzione, dell’Università e della Ricerca (2008). Gli alunni stranieri nel}

sistema scolastico italiano. A.s. 2007/08. Roma: MIUR.

7_{Sono stati preliminarmente esclusi dalla popolazione da cui estrarre il campione per la rilevazione degli}

apprendimenti gli studenti con cittadinanza non italiana che risiedono in Italia da meno di un anno.

8_{Cfr. Campodifiori, E., Figura, E., Papini, M., Ricci, R. (2010). Un indicatore di status}

socio-economico-culturale degli allievi della quinta primaria in Italia, working paper n. 02/2010, INVALSI.

9_{L’adattamento è consistito nell’accorpare alcune voci di risposta, individuando due principali componenti: il}

supporto da parte di familiari e il supporto da parte di altre figure.

10_{Dopo una ricognizione delle distribuzioni delle riposte degli studenti italiani nelle indagini PISA, TIMSS e}

PIRLS, si è deciso di eliminare le alternative di risposta presenti in tutte o quasi le famiglie italiane (es. vocabolario).

(9)

9

supporto allo studio (enciclopedie, scrivania per fare i compiti, computer, collegamento ad Internet, ecc.), pur considerando anche quelle che possono essere considerate una spia del benessere materiale, come ad esempio il numero delle automobili o il possesso di una camera individuale soprattutto in presenza di fratelli.

Infine le risorse culturali presenti in famiglia vengono indagate attraverso una domanda classica, da tempo utilizzata in ambito internazionale, che ha mostrato alte correlazioni con le performance degli studenti, ossia quella relativa al numero di libri a casa11.

2.3 Profilo delle attività dello studente

(Tempo e frequenza dedicato ad alcune attività al di fuori della scuola)

In questa area si cercano di ricostruire diversi profili di studente in relazione alle attività svolte, considerando sia il tempo speso a scuola che quello fuori dalla scuola, nello studio o in altre attività. In relazione al tempo speso a scuola, si è partiti dall’osservazione che nel nostro sistema scolastico convivevano nell’a.s. 2008/09 per la scuola primaria tre tipologie di modelli organizzativi della didattica, strettamente connessi all’orario settimanale di scuola: il tempo pieno (due insegnanti per circa 40 ore settimanali), il modulo (tre insegnanti per circa 30 ore settimanali), e il modello dell’insegnante prevalente, diffuso anche nelle scuole paritarie (un insegnante svolge la maggior parte delle ore, per un orario settimanale compreso tra le 24 e le 30 ore circa). A seconda del modello organizzativo in cui lo studente è inserito ci si aspetta che le attività al di fuori della scuola possano avere una frequenza e un’intensità diverse. In questo quadro anche il tempo dedicato ai compiti per casa potrebbe variare. Pur consapevoli che nelle ricerche internazionali il tempo dedicato ai compiti a casa nelle materie oggetto dei test non risulta avere una relazione significativa con i risultati delle prove, si ritiene comunque interessate raccogliere l’informazione più generale sul tempo dedicato ai compiti per casa, al fine di delineare modelli di utilizzo del tempo del bambino. Le altre attività svolte durante il giorno e nella settimana servono a completare il quadro per la descrizione delle attività.

2.4 Benessere e malessere a scuola

(Percezione del sentirsi sicuri a scuola, Stato emotivo durante lo svolgimento delle prove di Italiano e Matematica).

Fra i tanti aspetti che descrivono lo stare bene a scuola sono state fatte alcune scelte legate sia ai vincoli del piano di campionamento 2008/09, che non prevedendo di indagare la classe non ha permesso ad esempio di esplorare il clima di classe e i rapporti con i compagni (nell’a.s. 2009/10 per il campione SNV sono state considerate 1 o 2 classi per ciascuna scuola), sia all’esigenza di delineare diversi comportamenti all’interno della

11_{Il formato utilizzato per la domanda è quello già sperimentato per i bambini della scuola primaria nelle}

indagini PIRLS e TIMSS (4° grado), cui accanto al numero dei libri viene presentata, oltre al numero, anche l’immagine della distribuzione dei libri negli scaffali.

(10)

10

popolazione studentesca, e non di fare diagnosi in merito a problemi individuali o disturbi soggettivi.

È stata introdotta una domanda specifica concernente lo stato emotivo durante le prove di Italiano e Matematica, perché da un lato si vuole capire se è vero, come alcuni sostengono, che gli studenti italiani si sentano a disagio di fronte alla somministrazione di prove standardizzate12_{, e dall’altro si vogliono esplorare l’impegno messo nel rispondere e} la difficoltà percepita, ovvero se le prove siano ritenute più o meno facili dei normali compiti scolastici.

Un secondo aspetto indagato riguarda la percezione da parte dei bambini di sentirsi sicuri a scuola, per il quale è stata utilizzata, riadattandola in parte, una domanda del Questionario studente del TIMSS13. Agli studenti è stato chiesto di indicare se nell’ultimo mese di scuola è stato loro rubato qualcosa, se sono stati picchiati o feriti, se sono stati obbligati a fare cose che non volevano, se i compagni li hanno fatti sentire esclusi.

2.5 Cognizioni riferite al sé, motivazione e impegno nello studio

(Concetto di sé e interesse per Matematica e Italiano, Impegno nello studio, Attribuzioni del successo o dell’insuccesso a scuola).

Tra le cognizioni riferite al sé, il concetto di sé è quello che organizza tutto ciò che noi crediamo di essere, cosa pensiamo di essere in grado di fare e quanto bene pensiamo di saperlo fare. È la parte informativa della concezione di sé, ovvero quello che noi sappiamo o crediamo di noi stessi14_{. Del concetto di sé scolastico abbiamo soltanto un’indicazione} generale in quanto è esplorato in modo indiretto con un solo item; nella domanda relativa all’aiuto per i compiti a casa è stato inserito l’item “Non ho bisogno di aiuto”, per discriminare fra gli studenti che pur avendo bisogno di aiuto non ne ricevono e quelli che dichiarano di non averne bisogno, mostrando un elevato concetto di sé scolastico.

Il concetto di sé in Italiano e Matematica viene invece esplorato utilizzando una domanda relativa alla Matematica nel Questionario studente di TIMSS 2007, declinandola anche per l’Italiano. Il concetto di sé in Italiano e Matematica viene costruito a partire da tre diversi aspetti: la performance (essere bravi), il processo di apprendimento (imparare facilmente), e il confronto con il gruppo di riferimento. Infatti gli studenti valutano la propria performance anche attraverso il confronto sociale; la loro autovalutazione si basa sulla

12_{Per indagare questo aspetto è stata adattata la scala di test anxiety tratta dal questionario MSLQ}

(Motivational and Self-Regulated Learning Competece Questionnaire). Bibliografia di riferimento: Pintrich P. R., V. De Groot E. (1990). Motivational and self regulated Learning Components of Classroom Academic Performance. Journal of Educational Psychology, 82 (1), 33-40; Law Y., Chan C. K. K., Sachs J. (2008). Beliefs about learning, self-regulated strategies and text comprehension among Chinese children. British Journal of Educational Psychology, 78, 51–73.

13_{Nell’indagine TIMSS 2007, in accordo con la media OECD, in Italia solo il 20 % degli studenti del quarto}

anno di scuola primaria percepisce un livello basso di sicurezza a scuola, mentre il restante 80% percepisce un alto e medio livello di sicurezza. A livello internazionale si è rilevata un’associazione positiva tra le prestazioni degli studenti del quarto anno di scuola in matematica e la percezione di sicurezza a scuola. In Italia tale differenza, sebbene sia meno forte rispetto alla media internazionale, permane ed è significativa. Cfr. Timss 2007 International Mathematics Report: Findings from IEA’s Trends in International Mathematics and Science Study at the Fourth and Eighth Grades, TIMSS & PIRLS International Study Center, Lynch School of Education, Boston College, 2008.

(11)

11

percezione della propria posizione rispetto ad altri studenti e ai loro successi nelle altre materie15_.

Un ulteriore aspetto in quest’area riguarda la motivazione. Nel costrutto motivazionale sono stati identificati in letteratura una motivazione estrinseca e una intrinseca. La motivazione estrinseca viene solitamente indagata negli studenti delle scuole superiori, che possono essere spinti a fare bene a scuola in vista di possibili traguardi lavorativi o per proseguire gli studi. La motivazione intrinseca può essere definita come “il desiderio di realizzare un comportamento per il piacere che realizzarlo comporta, legata all’interesse in quanto rappresenta un orientamento a lungo termine verso un’attività o un’area di conoscenza”16. Nel Questionario studente viene esplorato l’interesse per la Matematica e per l’Italiano, strettamente connesso alla motivazione intrinseca. Va ricordato che solitamente vengono riscontrate differenze di genere nella motivazione e che nella scuola primaria l’interesse è solitamente elevato, mentre il crollo dell’interesse avviene nel passaggio dalla scuola primaria alla scuola secondaria17_.

La motivazione intrinseca è spesso legata all’impegno; quest’ultimo rappresenta infatti, nella teoria dell’apprendimento auto-regolato, il comportamento manifesto attraverso il quale la motivazione si traduce in opera compiuta18. Tale aspetto è indagato con tre item che fanno riferimento all’impegno nello studio in generale19_.

Altro aspetto connesso alla motivazione è quello delle auto-attribuzioni, ovvero delle spiegazioni che un soggetto fornisce sul perché gli accadano determinati eventi. In ambito educativo vengono indagate le cause attribuite dagli studenti ai loro successi o insuccessi nelle attività scolastiche. La domanda inserita nel questionario è un adattamento da uno strumento italiano20_{, che prevede due dimensioni lungo cui le auto-attribuzioni possono} variare: l’attribuzione a fattori interni o esterni all’individuo e l’attribuzione a fattori stabili o instabili. Gli item fanno riferimento a diverse situazioni scolastiche, alcune direttamente legate all’Italiano e alla Matematica, altre no.

2.6 La Scheda raccolta dati studenti e famiglie

Accanto al Questionario studente è stata predisposta un’apposita scheda destinata alle segreterie, in quanto alcuni dati sono di norma già presenti negli archivi delle scuole, come ad esempio luogo e data di nascita dello studente, cittadinanza, così come i voti conseguiti

15_{Cfr. Marsh, H. W., Byrne, B. M., Shavelson, R. J. (1988). A multifaceted academic self-concept: Its}

hierarchical structure and its relation to academic achievement. Journal of Educational Psychology, 80, 366-380.

16_{Caponera E., Di Chiacchio C. (2008). Gli atteggiamenti verso le scienze e la loro relazione con le prove Pisa}

2006, in Istituto Nazionale per la Valutazione del Sistema Educativo di Istruzione e Formazione, Le competenze in scienze lettura e matematica degli studenti quindicenni. Rapporto nazionale Pisa 2006. Roma: Armando.

17_{Cfr. Timss 2007 International Mathematics Report, cit.}

18_{Cfr. Il documento Baumert J. et al. (2000). Self-Regulated Learning as a Cross-Curricular Competence.}

OECD PISA Deutschland. Disponibile su http://www.mpib-berlin.mpg.de/en/pisa/pdfs/cccengl.pdf [Data di accesso: ottobre 2010]

19_{Lo strumento di riferimento è stato il questionario utilizzato in Pisa 2000 per le competenze cross}

curriculari. Cfr. Artelt C., Baumert J., Julius-McElvany N., Peschar J. (2003). Learners for life. Student approaches to learning - Results from PISA 2000. Paris: OECD.

(12)

12

al termine del primo quadrimestre (o del secondo trimestre per le scuole che adottano i trimestri) in Italiano e Matematica, e le informazioni in merito all’orario settimanale prescelto.

Per quanto riguarda invece le informazioni sui genitori (professione, titolo di studio, luogo di nascita), dal momento che non vi è uniformità tra le scuole nella modalità di raccolta di questi dati, si è lasciato alle segreterie la libertà di richiedere eventualmente agli interessati i dati, attraverso apposita modulistica, nel caso in cui non fossero già registrati.

3 Intervista in profondità con testimoni privilegiati

Prima di procedere con ulteriori revisioni, sono state effettuare alcune interviste a soggetti con età compatibili con quelle degli studenti che successivamente avrebbero compilato il questionario.

Lo scopo di queste interviste era far emergere attraverso un colloquio informale in fase di compilazione, eventuali perplessità di tipo semantico o concettuale, invitando i soggetti ad esprimersi sulla comprensione delle domande e delle risposte e sulle eventuali difficoltà incontrate.

I soggetti si sono soffermati sulla domanda relativa alle risorse disponibili a casa, ed in particolare sull’interpretazione della voce “libri non di scuola da consultare per fare i compiti”. Per alcuni di loro è stato difficile comprendere a quale tipologia di libri si volesse fare riferimento. Solo in seguito ad un chiarimento hanno riflettuto sulla presenza in casa di altri libri, come enciclopedie o atlanti. Anche la voce “una calcolatrice per fare i compiti” ha lasciato spazio a riflessioni; la calcolatrice in casa c’è, ma non sempre viene utilizzata per i compiti. Da queste riflessioni nasceva l’incertezza nel rispondere.

Una seconda difficoltà è emersa nel rispondere alle due domande per rilevare l’interesse per la Matematica e l’Italiano. I soggetti hanno avuto perplessità ad esprimere semplicemente un sì o un no, quando invece avrebbero preferito indicare una risposta intermedia, adducendo come motivazione principale, il fatto che la propria prestazione dipende dagli argomenti trattati, con particolare riferimento alla voce “Di solito vado bene in matematica/(o italiano)”. All’interno della stessa domanda, anche la risposta all’affermazione “La matematica (o l’italiano) è più difficile per me che per molti miei compagni” non è stata immediata, in quanto non sempre i soggetti avevano chiaro come i propri compagni andassero nelle rispettive materie.

Non sono emersi problemi nella lettura delle voci personalizzate al maschile e al femminile mediante l’utilizzo della barra (es. bravo/a).

Nel complesso, il Questionario studente non è stato trovato lungo o complesso e non ci sono state domande di difficile comprensione. Inoltre i soggetti intervistati hanno riferito che, a loro parere, i compagni di classe sarebbero stati in grado di compilarlo senza difficoltà.

(13)

13

4 Revisione con esperti e formulazione delle modalità di

validazione dello strumento

4.1 L’incontro con gli esperti

La versione provvisoria è stata discussa e migliorata durante un incontro all’INVALSI (26 marzo 2009) avvenuto tra il gruppo di lavoro ed alcuni consulenti esterni21_.

Le principali osservazioni emerse in merito a riscontri possibili da utilizzare per la validazione dello strumento sono state:

 profilo dello studente: per quanto attiene ai dati anagrafici ottenuti direttamente dalla banca dati del MIUR, viene suggerito di inserire anche nel

Questionario studente la richiesta della data di nascita (anno e mese) e del genere, al fine di poter effettuare un controllo di coerenza sui dati ministeriali. Inoltre, laddove i dati ministeriali non fossero disponibili, in questo modo sarebbe comunque possibile risalire ad alcune informazioni di base;

 provenienza e ambiente familiare: per quanto riguarda le informazioni di background socio-culturale (titolo di studio e professione dei genitori), non essendo certi della copertura effettiva raggiungibile dalle segreterie delle scuole, che utilizzano per la prima volta la Scheda raccolta dati studenti e famiglie, il gruppo concorda di ampliare la sezione del Questionario studente che offre informazioni sul livello socio-economico e culturale delle famiglie, introducendo una domanda sul numero dei libri presenti in casa e ampliando la domanda sulle risorse materiali. Le risorse economiche vengono ampliate introducendo l’impianto antifurto e, in una domanda a parte, il numero di bagni e di automobili.

 lingua parlata a casa: si sceglie di non scendere ad un livello di approfondimento tale da distinguere tra la lingua delle minoranze linguistiche riconosciute e le altre lingue straniere parlate in Italia.

4.2 Le modalità di validazione dello strumento

Di seguito vengono elencati i controlli che sono stati pianificati per la validazione dello strumento.

1. Confronto tra la data di nascita degli studenti campionati ottenuta dal MIUR e quella riportata nel Questionario studente, per verificare l’affidabilità dell’informazione in prospettiva della costruzione dell’età degli studenti.

21_{Aletta Grisay (Technical advisory group PISA 2000, PISA 2003, PISA 2006, PISA 2009, International}

Development Expert Group TALIS 2007/2008), Angela Martini (esperta di costruzione dei test, INVALSI), Stefania Mignani (Professoressa di Statistica, Facoltà di Statistica, Università di Bologna), Roberto Ricci (Responsabile del Servizio Nazionale di Valutazione, INVALSI), Maria Teresa Siniscalco (National Project Manager PISA 2003).

(14)

14

2. Controllo di coerenza tra la domanda sulla presenza di fratelli/sorelle e la domanda sulla numerosità di essi, per verificare l’affidabilità dell’informazione ottenuta.

3. Confronto della lingua parlata a casa in relazione alla presenza di alunni con cittadinanza non italiana nella scuola primaria.

4. Controllo di coerenza tra le domande sulle risorse disponibili in casa al fine di eliminare informazioni ridondanti.

5. Confronto della distribuzione delle risposte sui libri a casa con i dati ottenuti nell’indagine TIMSS 2007, per verificare l’affidabilità dell’informazione ottenuta. 6. Controllo di coerenza tra la frequenza con cui gli studenti dichiarano di svolgere i

compiti per casa (D10a) e l’opzione “Non ho mai compiti per casa” all’interno della domanda sull’aiuto nello svolgimento dei compiti a casa (D11).

7. Controllo di coerenza delle scale di rilevazione della frequenza nello svolgere attività giornalmente (D9) e settimanalmente (D10).

8. Controllo mediante approfondimento della distribuzione di frequenza, nella domanda sulle attività extrascolastiche, della voce “dare un aiuto in casa” rispetto al luogo di nascita degli studenti.

9. Confronto tra i risultati della domanda che esplora la percezione del sentirsi sicuri e la corrispondente domanda nel Questionario studente del TIMSS 2007, per verificare l’affidabilità dell’informazione ottenuta.

10. Verifica dell’attendibilità della scala di ansia da test mediante Item Analysis e Rating Scale Model.

11. Controllo della validità di contenuto tra le ipotesi definite con la costruzione dello strumento sulle auto attribuzioni e i risultati ottenuti nella somministrazione.

12. Verifica dell’attendibilità e unidimensionalità delle scale che rilevano l’impegno mediante Item Analysis.

13. Verifica dell’attendibilità e unidimensionalità delle scale che rilevano il concetto di sé in Italiano e Matematica mediante Item Analysis.

14. Verifica dell’attendibilità e unidimensionalità delle scale che rilevano l’interesse per la Matematica e l’Italiano mediante l’Item Analysis.

15. Controllo della validità di costrutto attraverso l’approfondimento della relazione fra la scala dell’impegno e quella dell’interesse.

(15)

15

5 Field trial

5.1 Gli obiettivi del field trial

A inizio aprile 2009 è stato effettuato un field trial del Questionario studente ovvero una prova di ridotte dimensioni allo scopo di testare per la prima volta sul campo il funzionamento dello strumento e farne un’analisi qualitativa. Sono state coinvolte un numero limitato di scuole dove è stato possibile testare la fattibilità sia in termini di chiarezza dei contenuti che di tempi di compilazione. Più in dettaglio gli obiettivi prefissati erano:

- rilevare il clima di classe, ovvero l’impatto del questionario sugli studenti; - ascoltare le domande degli studenti;

- individuare parole e frasi di difficile comprensione per gli studenti; - verificare i tempi di compilazione;

- verificare che le note per i somministratori fossero complete e chiare.

5.2 La somministrazione del field trial

La somministrazione, avvenuta alla presenza di personale INVALSI, si è svolta ad Aprile 2009 ed ha interessato un totale di 315 alunni (equidistribuiti tra maschi e femmine) in 16 classi di tre scuole a Bologna (10 classi), Roma (3 classi) e Venezia (3 classi).

A corredo del Questionario studente sono stati utilizzati i seguenti strumenti:

 le Note per il somministratore22_{, un foglio di istruzioni in cui sono state} riportate le indicazioni per il somministratore da seguire in sequenza prima e durante la compilazione e offrire esempi di alcune risposte tipo nel caso in cui gli studenti facessero domande;

 la Scheda di osservazione23_{, fornita al somministratore per rilevare i tempi e} annotare eventuali osservazioni in merito allo svolgimento della somministrazione e alle domande fatte dagli studenti.

5.3 Lo spoglio manuale e l’imputazione dei dati

Prima dell’acquisizione dei dati su supporto informatico, una proporzione casuale di questionari cartacei per ciascuna scuola (circa il 35% del totale) è stata manualmente visionata per verificare la presenza di segni, note, correzioni della risposta fornita e altri elementi che non possono emergere dai dati informatizzati.

22_{Cfr. Appendice H - Note per il somministratore - Questionario studente SNV – a.s. 2008/09Appendice H -}

Note per il somministratore - Questionario studente SNV – a.s. 2008/09.

(16)

16

Agli studenti viene spiegato, nella pagina delle istruzioni, come correggere una risposta, se si accorgono che non è quella giusta per loro. È evidente che un elevato numero di correzioni ad una stessa domanda o item potrebbe essere una spia che indica una difficoltà di comprensione dell’item stesso.

Sono state individuate le correzioni di risposta più ricorrenti al fine di riformulare, chiarire o eliminare eventuali voci che dessero adito a incertezze.

Tra queste, la presenza nella propria casa di un “impianto antifurto” (D4f), le ore dedicate quotidianamente a “giocare o parlare con amici” (D7c) e la doppia negazione nel testo “Quando l’argomento è troppo difficile, non mi impegno” (D12b) hanno provocato un significativo numero di correzioni da parte dei bambini e sono state pertanto modificate nella nuova versione del Questionario studente 24_.

Altre incertezze sono state riscontrate nella domanda sul sentirsi sicuri a scuola (D11) nella quale veniva chiesto per ogni episodio negativo se questo si fosse verificato sia nei propri confronti sia nei confronti degli altri compagni. La domanda è stata successivamente modificata rimuovendo gli item che facevano riferimento ai compagni di classe.

Infine un certo numero di ‘indecisioni’ è stato riscontrato nelle risposte alle domande sulla motivazione (D15 e D16), per le quali non si è però ritenuto necessario apportare modifiche, rimandando alle analisi del pre-test le decisioni definitive da prendere in merito.

(17)

17

5.4 Le modifiche dopo il field-trial

Di seguito è presentato l’elenco delle principali modifiche di tipo semantico-linguistico effettuate dopo il field-trial.

Tabella 1 - Modifiche dopo il field-trial

Domanda Codice Modifiche effettuate per la versione definitiva

Istruzioni Le istruzioni sono state fatte rientrare su una sola pagina Mese di nascita D1 Introdotta una nuova domanda

Anno di nascita D2 Introdotta una nuova domanda Composizione del nucleo

familiare D3 La domanda “In casa con chi vivi?” è stata cambiata in “Abitualmente vivo:”; La voce “altro” è stata meglio specificata con “non vivo con i miei genitori”

Lingua parlata D5 Nessuna modifica

Risorse materiali in casa D6 Sostituito “impianto antifurto” con “allarme antifurto”

Libri in casa D8 Nel testo della domanda è stata aggiunta la specifica “esclusi i libri di scuola”;

è stata aggiunta una legenda per spiegare che ciascun elemento grafico rappresenta lo spazio occupato da 5 libri

Attività extra scolastiche

giornaliere D9 Il testo “prima o dopo la scuola” è stato sostituito con “fuori dalla scuola”; è stata modificata l’ultima voce della scala da “3-4 ore” a “Più di 2 ore”; è stata sostituita la voce “Giocare o parlare con gli amici” con “Giocare con gli amici”;

è stata sostituita la parola “passatempo” con “svago” Attività extra scolastiche

settimanali D10 La scala è stata invertita per avere omogeneità con le altre scale presenti nel Questionario studente nel senso di intensità crescente Episodi negativi accaduti

a scuola D13 E’ stato cambiato nel testo della domanda “è successa” con “ti è successa”; sono state mantenute solo le voci di risposta con episodi accaduti al bambino, eliminando le rispettive voci relative ad episodi accaduti ai compagni;

la voce di risposta sull’essere preso in giro o offeso è stata sostituita con una relativa al sentirsi escluso

Concetto di sé in

Italiano e Matematica D15-D16 sono state eliminate 2 voci: - “Di solito vado male in matematica [o italiano]” - “Quando faccio matematica [o italiano] mi annoio”

Ansia da test D17 Questa domanda è stata introdotta ex novo nel questionario definitivo, dal momento che si riferisce alle prove di Italiano e Matematica svolte immediatamente prima, e non era quindi possibile porla durante il field trial

(18)

18

6 Pre-test

In seguito alle revisioni è stato effettuato il pre-test, ovvero la somministrazione dello strumento utilizzando tutte le procedure standard che vengono adottate nelle indagini scientifiche, allo scopo di validarne la tenuta per la somministrazione definitiva.

Vincoli di tempo e di risorse hanno indirizzato la scelta verso l’utilizzo del campione di studenti selezionato per l’SNV 2008/09 come campione per testare lo strumento ed apportare miglioramenti in vista della somministrazione del Questionario studente per l’anno scolastico 2009/10.

Pertanto, la popolazione cui è stato rivolto il Questionario studente sono i bambini e le bambine delle classi V delle scuole primarie partecipanti all’indagine INVALSI SNV nell’anno scolastico 2008/09 (Falorsi, 2009).

La somministrazione si è svolta il 26 e il 28 Maggio 2009.

Come aiuto per la compilazione del Questionario studente sono state incluse nel manuale per il somministratore note esplicative su alcune domande25. Il tempo massimo previsto per la compilazione è stato di 30 minuti.

25_{Cfr. il Manuale per il somministratore SNV 2008/09, disponibile su}

(19)

19

6.1 Gli strumenti: il Questionario studente e la Scheda raccolta dati studenti e

famiglie

Il Questionario studente a.s. 2008/2009 è composto da 17 domande organizzate come riportato nello schema seguente26_.

Tabella 2 - Aree e domande del Questionario studente

26_{Per approfondimenti sulle caratteristiche delle aree fare riferimento ai paragrafi 2.1, 2.2, 2.3, 2.4, 2.5.} Area Domanda

1. Mese di nascita Informazioni

personali

2. Anno di nascita

3. Composizione del nucleo familiare – genitori

4. Composizione del nucleo familiare – fratelli e sorelle 5. Lingua parlata a casa

6. Risorse disponibili a casa – presenza di risorse educative e materiali 7. Risorse disponibili a casa – presenza di risorse materiali

8. Risorse disponibili a casa – numerosità di libri Ambiente

familiare

11. Disponibilità di un aiuto nei compiti per casa

9. Tempo dedicato ad alcune attività al di fuori della scuola al giorno Profilo delle

attività dello

studente _{10. Frequenza settimanale con cui vengono svolte alcune attività}

17. Stato emotivo durante lo svolgimento delle prove di Italiano e Matematica (ansia da test A – B – C– F) e difficoltà percepita e impegno durante le prove (D – E)

Benessere e malessere a

scuola _{13. Percezione del sentirsi sicuri a scuola (episodi subiti nell'ultimo mese)} 12. Attribuzioni del successo o dell’insuccesso a scuola

14. Impegno nello studio

15. Concetto di sé in Matematica (A – performance; B – processo di apprendimento; C – confronto con il gruppo di riferimento) e interesse per la Matematica (D – E)

Cognizioni riferite al sé, motivazione e impegno nello studio

16. Concetto di sé in Italiano (A – performance; B – processo di apprendimento; C – confronto con il gruppo di riferimento) e interesse per l’Italiano (D – E)

(20)

20

Dal punto di vista del formato di risposta le domande inserite nel Questionario studente

2008/09 appartengono a quattro tipologie:

- domande a una sola risposta (D1, D2, D3, D4, D5, D8, D11)

A casa, quale lingua parli la maggior parte del tempo? Metti una crocetta su un solo quadratino.

A. L’Italiano □

B. Un dialetto (veneto, siciliano, sardo, ecc.) □

C. Un’altra lingua (il francese, tedesco, rumeno, arabo, ecc.) □

- domande con una sola risposta per ogni riga o voce, in tre diversi formati: o con risposta Sì/No (D6, D13, D15, D16)

A casa tua ci sono:

Metti una crocetta su un solo quadratino per ogni riga.

Sì No

A. Un posto tranquillo per studiare □ □

B. Un computer che puoi usare per lo studio □ □

C. Una scrivania per fare i compiti □ □

D. Enciclopedie (composte da libri o su CD o DVD) □ □

E. Un collegamento ad Internet per fare ricerche □ □

F. Un allarme antifurto □ □

G. Una camera solo per te □ □

o con scelta tra alternative (D12)

Queste sono situazioni che possono capitare a scuola. Immagina di trovarti in ciascuna di queste situazioni e scegli la risposta più adatta a te.

A. La maestra ti ha chiesto di fare un disegno e tu lo hai fatto molto bene. Come hai fatto?

□ □ □ □ □

Mi hanno

aiutato Sono stato fortunato Era facile Sono bravo Mi sono impegnato

B. La maestra ti fa scrivere un tema, ma tu fai molti errori. Come mai?

□ □ □ □ □

Non mi hanno aiutato Sono stato sfortunato Era difficile Non sono capace Non mi sono impegnato

(21)

21

o con scala Likert (D7, D9, D10, D14, D17) Indica quanto sei d’accordo con le seguenti frasi che riguardano te e lo studio.

A. Quando l’argomento è difficile lo lascio perdere

□ □ □ □

Per niente Poco Abbastanza Molto

B. Quando studio raggiungo buoni risultati

□ □ □ □

C. Quando studio mi impegno anche se l’argomento è noioso

□ □ □ □

Le scale Likert sono composte da 4 livelli e ordinate in senso crescente rispetto all’intensità del fenomeno/evento indagato. Compatibilmente agli obiettivi e agli aspetti da rilevare, si è cercato di mantenere le domande del questionario il più omogenee possibile tra loro nella struttura per minimizzare il tempo e le difficoltà di comprensione dovute a formati di domanda diversi.

La Scheda raccolta dati studenti e famiglie, da compilare a cura delle segreterie scolastiche, serve a rilevare alcune informazioni in possesso della scuola sugli alunni di II e V primaria (come i voti scolastici e l’orario scolastico), e alcuni dati riguardanti la famiglia di origine, che non sarebbe attendibile chiedere direttamente ai bambini (come il titolo di studio e l’occupazione dei genitori).

Le segreterie - una volta compilate o fatte compilare dai genitori le Schede genitori in formato cartaceo (cfr. Appendice D - Scheda genitori (o tutori) SNV – II e V primaria - a.s. 2008/09) avevano a disposizione – acclusi alla Scheda raccolta dati studenti e famiglie - un elenco con i codici per la corretta compilazione delle schede stesse (cfr. Appendice E - Scheda raccolta dati studenti e famiglie SNV – a.s. 2008/09), da immettere direttamente on-line collegandosi al sito dell’INVALSI.

Tabella 3 - Aree e domande della Scheda raccolta dati studenti e famiglie Area Domanda

Luogo di nascita

Età di arrivo in Italia (per i nati all’estero) Voto in Italiano nel I quadrimestre (o 2° trim.) Voto in Matematica nel I quadrimestre (o 2° trim.) Informazioni personali studente

Orario scolastico settimanale Luogo di nascita Titolo di studio Informazioni padre Occupazione Luogo di nascita Titolo di studio Informazioni madre Occupazione

(22)

22

6.2 I Rispondenti e gli assenti

Sono stati inclusi nelle elaborazioni tutti i record in cui era presente almeno un dato relativo alle informazioni raccolte tramite il Questionario studente, escludendo così gli studenti che non lo hanno compilato.

Al database così ottenuto di 43.223 studenti sono state collegate le informazioni provenienti dalla Scheda raccolta dati studenti e famiglie (il match è stato effettuato utilizzando come ‘chiave’ il codice studente SNV che consente di mantenere l’anonimato dei rispondenti).

Nella tabella seguente e nel resto del rapporto si farà riferimento ai “questionari validi” come a quelli compilati dai 43.223 studenti presenti alla somministrazione del Questionario studente che hanno risposto ad almeno una domanda.

Tabella 4 - Questionario studente e Schede raccolta dati studenti e famiglie validi

Dati Numero Percentuale

Questionario studente27

A Scuole campionea_1.069_-

B Alunni sottoposti a prova nelle scuole del campione 45.979 - C Questionari studente validi 43.223 _{(di 45.979)}94,0

Scheda raccolta dati studenti e famiglie

F I dati racccolti con la Schede raccolta dati studenti e famiglie potenzialmente associabili ai dati del

Questionario studente 43.223 100,0

G - di cui interamente compilate (tutti i campi _compilati) 27.387 63,4

H - da 1 a 4 campi non compilati b_9.777_22,6

I - da 5 a 9 campi non compilati 2.091 4,8

J - nessun campo compilato 3.968 9,2

a_{Presso le quali la somministrazione della prova è avvenuta alla presenza di un osservatore esterno inviato dall’INVALSI.} b _{Per la maggior parte dei casi i campi non compilati sono stati ‘titolo di studio’ e ‘occupazione di padre e madre’.}

27_{Dati tratti da Istituto Nazionale per la Valutazione del Sistema educativo di Istruzione e Formazione}

(23)

23

Gli studenti i cui questionari sono stati esclusi dalle analisi sono stati oggetto di un approfondimento territoriale, che ha evidenziato una maggiore compilazione al Sud e Isole rispetto al Centro e al Nord e, a livello regionale, un sostanziale equilibrio di questionari non validi tra le Regioni (tra 5% e 10%), con l’unica anomalia nella percentuale di non compilati della provincia di Trento (30%).

6.3 I dati mancanti nella Scheda raccolta dati studenti e famiglie

È stata effettuata un’analisi dei dati mancanti della Scheda raccolta dati studenti e famiglie

relativi ai 43.223 Questionario studente validi, al fine di:

a) individuare quali sono le informazioni sulla famiglia per le quali le segreterie scolastiche hanno incontrato maggiore difficoltà nel reperimento;

b) capire per quanti studenti si può effettuare il match tra i dati strutturali contenuti nella Scheda raccolta dati studenti e famiglie e dati del Questionario studente; c) capire se i dati di contesto di cui si dispone sono ben distribuiti territorialmente; d) verificare la presenza di scuole che non hanno ottemperato alla richiesta dei dati

anagrafici non compilando alcuna Scheda raccolta dati studenti e famiglie.

Dall’analisi della compilazione rispetto a ciascun dato richiesto, si evidenzia come le informazioni che presentano un maggior numero di mancanti siano il titolo di studio e l’occupazione dei genitori (madre e padre). Probabilmente perché sono i dati più difficili da reperire se non presenti negli archivi delle scuole (il titolo di studio del padre presenta il la percentuale più elevata dei casi mancanti).

Le altre informazioni richieste presentano quote dei mancanti che si attestano in generale tra il 10% e il 14%, con l’eccezione dell’età di arrivo in Italia (per il 24% degli studenti non nati in Italia non è presente l’informazione sull’età che avevano quando sono arrivati nel nostro paese).

(24)

24

Tabella 5 – Tipologia dati mancanti nella Scheda raccolta dati studenti e famiglie

Dati mancanti Percentuale _mancanti

Paese di nascita 4.137 9,6%

Età di arrivo in Italia (ove applicabile) 556 24,2%*

Voto in Italiano 2008/09 5.951 13,8%

Voto in Matematica 2008/09 6.088 14,1%

Orario scolastico settimanale 5.444 12,6%

Luogo di nascita del padre 5.421 12,5%

Titolo di studio del padre 12.992 30,1%

Occupazione del padre 12.413 28,7%

Luogo di nascita della madre 5.325 12,3%

Titolo di studio della madre 12.524 29,0%

Occupazione della madre 11.829 27,4%

Totale Schede raccolta dati studenti e famiglie

elaborate 43.223 -

* percentuale calcolata sui soli studenti non nati in Italia.

Per un approfondimento sulla quantità di informazioni mancanti, è stata creata una variabile ‘conteggio’ dei mancanti nei 10 campi della Scheda raccolta dati studenti e famiglie. L’Età di arrivo in Italia è stata esclusa dal conteggio in quanto non applicabile per tutti gli studenti.

Il 63% delle Schede risulta completo, mentre il 9% risulta non compilato (tutti dati mancanti).

(25)

25

Tabella 6 - Conteggio dati mancanti nella Scheda raccolta dati studenti e famiglie

Conteggio informazioni

mancanti nei 10 campi Frequenza Percentuale Percentuale cumulata

Schede complete

(nessun dato mancante) 27.387 63,4 63,4

1 mancante 1.634 3,8 67,1 2 mancanti 2.350 5,4 72,6 3 mancanti 691 1,6 74,2 4 mancanti 5.102 11,8 86,0 5 mancanti 257 0,6 86,6 6 mancanti 1.234 2,9 89,4 7 mancanti 97 0,2 89,7 8 mancanti 266 0,6 90,3 9 mancanti 237 0,5 90,8

Schede non compilate

(tutti dati mancanti) 3.968 9,2 100,0

Totale 43.223 100,0 -

La percentuale di compilazione della Scheda raccolta dati studenti e famiglie risulta significativamente differente rispetto alle aree geografiche: la percentuale delle schede complete delle scuole del Centro è la più bassa (poco più della metà), mentre nelle scuole del Sud si osserva il maggior numero di schede complete ma anche il maggior numero di schede non compilate.

(26)

26

6.4 I dati mancanti nel Questionario studente

La percentuale di mancate risposte è relativamente contenuta (entro il 2%) per quasi tutte le domande del Questionario studente.

Il grafico successivo mostra l’andamento delle risposte mancanti rispetto a ciascuna domanda presente nel questionario.

Grafico 1 - Percentuale di mancanti per item Questionario studente

Que stiona rio Stude nte V Prima ria 2008-09 - Ana lisi de i ma nca nti

0,0% 1,0% 2,0% 3,0% 4,0% 5,0% 6,0% 7,0% Q 01 s m Q 02 s m Q 03 s m Q 04a s /n Q0 4 b - s m - f il tro Q 05 s m Q 06a s /n + Q 06b s /n + Q 06c s /n + Q 06d s /n + Q 06e s /n + Q 06f s /n + Q 06g s /n + Q 07a s c al a Q 07b s c al a Q 08 s m Q 0 9a s c al a + Q 0 9b s c al a + Q 0 9 c sca la + Q 0 9d s c al a + Q 0 9e s c al a + Q 0 9 f sca la + Q 1 0a s c al a + Q 1 0b s c al a + Q 1 0 c sca la + Q 11 s m Q 1 2a s c al a + Q 1 2b s c al a + Q 1 2 c sca la + Q 1 2d s c al a + Q 1 2e s c al a + Q 1 2 f sca la + Q 1 2g s c al a + Q 1 2h s c al a + Q 13a s /n + Q 13b s /n + Q 13c s /n + Q 13d s /n + Q 1 4a s c al a + Q 1 4b s c al a + Q 1 4 c sca la + Q 15a s /n + Q 15b s /n + Q 15c s /n + Q 15d s /n + Q 15e s /n + Q 16a s /n + Q 16b s /n + Q 16c s /n + Q 16d s /n + Q 16e s /n + Q 1 7a s c al a + Q 1 7b s c al a + Q 1 7 c sca la + Q 1 7d s c al a + Q 1 7e s c al a + Q 1 7 f sca la +

Domanda del Questionario e tiplogia

% ma n c a n ti

I mancanti della domanda Q04b (indicare il numero di fratelli/sorelle) sono calcolati rispetto a coloro che alla domanda Q04a hanno risposto di avere fratelli/sorelle.

Gli aspetti rilevanti emersi dall’analisi sono prevalentemente due; di questi i è tenuto conto nella predisposizione del Questionario studente per l’a.s. 2009/10:

1. la domanda sui fratelli/sorelle, articolata in due sottodomande (D4a e D4b): si è evidenziato un elevato numero di mancate risposte - tra coloro che hanno indicato di avere fratelli/sorelle nella D4a - alla domanda D4b in cui si chiede di specificare il numero di fratelli/sorelle. La struttura delle due domande nelle successive versioni è stata modificata unificandole in una sola (del tipo: “No”, “Si, uno”, “Sì, due”…). 2. le altre domande che vedono una proporzione di mancanti superiore al 2% sono

quelle che prevedono una risposta del tipo Sì/No (dicotomica disgiuntiva) rispetto ad una serie di modalità riportate su più righe (D6, D13, D15, D16).

Tra le motivazioni che possono aver portato ad un numero di mancanti più elevato rispetto alle altre domande:

- la forma grafica potrebbe aver inciso, in quanto non sono state ripetute le alternative di risposta “Sì/No” per ciascuna riga, come invece fatto per le altre domande con una sola risposta per riga;

- gli studenti possono essere stati portati ad indicare un solo Sì/No tra tutti gli item della domanda anziché indicare Sì/No per ogni singolo item;

- alcuni studenti hanno indicato solo i Sì per esprimere accordo, tralasciando di indicare i No in caso di disaccordo, facendo registrare così quegli item come una mancata risposta.

(27)

27

6.5 La validazione dello strumento

Sulla base delle ipotesi formulate in fase di costruzione del Questionario studente si è proceduto alla verifica della validità e dell’attendibilità delle informazioni rilevate.

L’esposizione seguente ripercorre la struttura delle aree del questionario (come definite nel par. 6.1, pag. 19).

6.5.1 Informazioni personali: Età degli alunni (domande 1 e 2)

 Confronto tra la data di nascita degli studenti campionati ottenuta dal MIUR con quella richiesta nel Questionario studente, per verificare l’affidabilità dell’informazione in prospettiva della costruzione dell’età degli studenti.

Nel Questionario studente due domande (la D1 e la D2) chiedevano all’alunno di indicare rispettivamente il mese e l’anno di nascita (la domanda sull’anno prevedeva le classi di risposta estreme aperte). Dalla data di nascita28_{ottenuta dai data base del MIUR sono} state estratte l’anno e il mese di nascita per effettuare un controllo sulla congruenza con le informazioni del Questionario studente. La tabella seguente mostra il risultato del confronto:

Tabella 7 - Data di nascita degli studenti: confronto coi dati MIUR

Informazione Questionario studente Dati MIUR

(data di nascita)

Mese nascita: dati mancanti 63 (0,1%) Anno nascita: dati mancanti 79 (0,2%)

3.895 (9%)

Mese nascita: incongruenze 1.714 (4,4% su 39.328 match validi) Anno nascita: incongruenze 5.156 (13,1% su 39.328 match validi) Totale questionari validi: 43.223

Si è scelto di considerare maggiormente attendibile l’informazione del Questionario studente in quanto fornita dai diretti interessati, anche alla luce del fatto che gli archivi del MIUR potrebbero non essere aggiornati rispetto al momento della somministrazione. I casi mancanti sono stati trattati secondo il seguente criterio:

1. l’informazione del Questionario studente, se presente, si considera sempre valida, anche in caso di incongruenza col dato MIUR;

2. per i casi mancanti nel Questionario studente si considera valido il dato MIUR (se disponibile).

28_{La data di nascita poteva eventualmente essere corretta dalle segreterie scolastiche in sede di iscrizione al}

(28)

28

La data di nascita, corretta in base alla procedura sopra indicata, è stata utilizzata per ottenere l’età degli studenti. La distribuzione presenta alcuni casi anomali nelle code della distribuzione, ovvero fuori dalle età standard di 10-11 anni per gli alunni di V primaria: 287 studenti hanno 9 anni o meno (0,7%) e 439 studenti hanno 12 anni o più (1%). L’incrocio tra età e Paese di nascita (dato ottenuto dalla Scheda raccolta dati studenti e famiglie) rivela che circa la metà degli alunni che hanno un’età stimata di 12 anni o più è nato in un Paese estero.

Alla luce di quanto analizzato e considerata l’alta quota di mancanti nei dati del MIUR, si ritiene opportuno richiedere anche per l’a.s. 2009/10 la data di nascita nel Questionario studente e si può considerare l’età ottenuta una informazione sufficientemente affidabile per successive analisi con altre variabili o con i risultati delle prove di apprendimento.

6.5.2 Ambiente familiare: la famiglia (domande 4 e 5)

 Controllo di coerenza tra la presenza di fratelli/sorelle e la numerosità di essi, per verificare l’affidabilità dell’informazione ottenuta.

 Confronto della lingua parlata a casa in relazione alla presenza di alunni con cittadinanza non italiana nella scuola primaria.

La presenza ed il numero di fratelli/sorelle è stata rilevata chiedendo prima la presenza (D4a - domanda filtro) e subito dopo il numero (D4b). La strutturazione in due sotto-domande ed il posizionamento della risposta ‘No’ prima del ‘Sì’ hanno facilitato gli errori di compilazione da parte degli studenti, in quanto più del 30% di coloro che hanno affermato di non avere fratelli o sorelle ne hanno poi indicato almeno uno, viceversa il 6% di coloro che hanno affermato di avere fratelli o sorelle non ha risposto alla successiva D4b.

Si considera più attendibile l’informazione della D4b (per la quale l’83% dei bambini ha dichiarato di avere fratelli/sorelle) che sarà utilizzata in seguito per eventuali incroci con altre informazioni.

In conclusione risulta opportuno modificare la domanda comprendendo sia l’assenza e la presenza, sia la numerosità di fratelli/sorelle in una struttura di domanda unica.

Nella domanda sulla lingua parlata a casa (D5) l’84% ha indicato l’italiano, il 5% un’altra lingua e l’11% un dialetto. Mentre sul dialetto non abbiamo informazioni ufficiali con le quali comparare i dati raccolti, per l’utilizzo di una lingua diversa dall’italiano le percentuali sono state affiancate a quelle relative alla presenza di alunni con cittadinanza non italiana nelle scuole primarie, per lo stesso anno scolastico, fornite dal MIUR29_.

Come mostra la tabella seguente, è stata evidenziata una congruenza tra le due serie di dati a livello regionale, e pertanto l’informazione raccolta può essere considerata attendibile.

29_{Ministero dell’Istruzione, dell’Università e della Ricerca (2009). Gli alunni stranieri nel sistema scolastico}

(29)

29

In dettaglio il dato sul numero di alunni che parlano a casa una lingua diversa dall’italiano o da un dialetto (D5) è stato confrontato col dato MIUR sugli alunni con cittadinanza non italiana, tenendo conto che quest’ultimo si riferisce al totale delle cinque classi primarie. Si può ragionevolmente supporre che non essere cittadino italiano non sia direttamente associato al parlare una lingua straniera a casa (le colonne B e C della Tabella 8 evidenziano infatti uno scarto tra i due valori). Pertanto sembra più opportuno verificare la validità dello strumento utilizzando la percentuale degli alunni con cittadinanza non italiana corretta in base al luogo di nascita, ovvero considerando solo quelli non nati in Italia (vedi le colonne D ed E). A parte il Trentino Alto-Adige ed il Friuli, dove potrebbe incidere la diffusione delle lingue tedesca e slovena, le differenze sono contenute entro i due punti percentuali.

Tabella 8 - Confronto per regione tra lingua parlata a casa e dati MIUR su alunni con cittadinanza non italiana

Questi. V Primaria 2008/09 D5. A casa,

quale lingua parli la maggior parte del

tempo? 3 Un’altra lingua

Alunni con cittadinanza non

italiana Alunni con cittadinanza non italiana NON nati in Italia30

A B C D E

Regione

% MIUR Diff. A-B % MIUR Diff. A-D

1 Valle d'Aosta 6,1% 8,7% -2,6% 5,0% 1,1%

2 Piemonte 7,8% 12,0% -4,2% 6,5% 1,3%

3 Liguria 4,8% 10,3% -5,5% 6,3% -1,5%

4 Lombardia 6,1% 13,0% -6,9% 6,4% -0,3%

5 Trentino Alto Adige 8,7% 9,0% -0,3% 6,4% 2,3%

6 Veneto 8,2% 12,9% -4,7% 6,6% 1,6%

7 Friuli Venezia Giulia 8,4% 10,6% -2,2% 6,3% 2,1%

8 Emilia Romagna 8,5% 14,5% -6,0% 7,2% 1,3% 9 Toscana 5,9% 11,7% -5,8% 6,4% -0,5% 10 Umbria 6,8% 14,0% -7,2% 7,4% -0,6% 11 Marche 6,6% 12,3% -5,7% 6,2% 0,4% 12 Lazio 4,8% 8,6% -3,8% 5,1% -0,3% 13 Abruzzo 4,2% 6,8% -2,6% 4,5% -0,3% 14 Molise 1,0% 3,3% -2,3% 2,8% -1,8% 15 Campania 1,0% 1,6% -0,6% 1,2% -0,2% 16 Puglia 1,1% 2,1% -1,0% 1,4% -0,3% 17 Basilicata 1,1% 2,0% -0,9% 1,6% -0,5% 18 Calabria 1,9% 3,4% -1,5% 2,9% -1,0% 19 Sicilia 1,6% 2,5% -0,9% 1,7% -0,1% 20 Sardegna 1,3% 1,9% -0,6% 1,3% 0,0% Italia 5,2% 8,3% -3,1% 4,6% 0,6%

30_{Ottenuti per differenza tra il numero alunni con cittadinanza non italiana totali ed il sottoinsieme di quelli}

(30)

30

6.5.3 Ambiente familiare: le risorse disponibili (domande 6, 7 e 8)

 Controllo di coerenza tra le domande sulle risorse disponibili in casa al fine di eliminare informazioni ridondanti.

 Confronto della distribuzione delle risposte sui libri a casa con i dati ottenuti nell’indagine TIMSS 2007, per verificare l’affidabilità dell’informazione ottenuta. La quota di dati mancanti per le sette voci della D6, che varia tra 3,5% e 6%, indica che tutte le voci sono risultate chiare e che la maggior presenza di mancanti rispetto alle altre domande del questionario possa essere spiegata quasi esclusivamente dalla struttura della domanda stessa, come già reso noto in precedenza nel paragrafo sui mancanti (par. 6.4 I dati mancanti nel Questionario studente). Inoltre, considerando le sole risposte valide, i bambini che hanno indicato “Sì” a tutti gli item sono il 12% e nessuna delle voci può considerarsi superflua in quanto anche le più indicate (D6a e D6c: “Un posto tranquillo per studiare” e “Una scrivania per fare i compiti”) raggiungono al massimo il 91% degli alunni. Le risposte fornite alla D6g (“Una camera solo per te”) sono risultate coerenti con la presenza di fratelli, come mostra la tabella seguente.

Tabella 9 – Tavola di contingenza tra possesso di una camera personale e numero di fratelli D04 - Numero fratelli

0 Nessuno, non

indicato 1 fratello 2 fratelli 3 fratelli

4 fratelli o più Totale 6645 11837 3338 799 452 23071 1 Sì 92,5% 50,6% 42,6% 42,9% 37,8% 55,7% 539 11551 4489 1063 744 18386 D6g - Una camera solo per te 2 No 7,5% 49,4% 57,4% 57,1% 62,2% 44,3% 7184 23388 7827 1862 1196 41457 Totale 100,0% 100,0% 100,0% 100,0% 100,0% 100,0%

Come la D6 anche la D7 rileva informazioni sulle risorse disponibili a casa, ma in questo caso non connesse allo studio e più rappresentative dello status economico. Il numero dei bagni e delle automobili (da nessuno a tre o più di tre), che può essere considerato una spia del benessere materiale degli studenti, risulta concentrato nelle risposte centrali (“uno/a” o “due”) per oltre l’83% degli studenti sia per bagni che automobili. Vista la bassa capacità di discriminare della domanda e nell’ottica di una maggior ‘economia del questionario, si ritiene opportuno non chiedere nelle future versioni queste informazioni, conservando come proxy del benessere materiale/status socio-economico-culturale delle famiglie degli studenti la D6 e le informazioni su titolo di studio e occupazione dei genitori desunte dalla Scheda raccolta dati studenti e famiglie.

In questa prospettiva va tenuto conto che le variabili relative a titolo di studio e occupazione dei genitori sono quelle con più risposte mancanti (cfr. 6.3 I dati mancanti nella Scheda raccolta dati studenti e famiglie), pertanto diventa necessaria l’imputazione di