6 Pre-test
6.5 La validazione dello strumento
6.5.7 Benessere e malessere a scuola: ansia da test (domanda 17)
Verifica dell’attendibilità della scala di ansia da test mediante Item Analysis e Rating Scale Model (item a, b, c, f).
L’ansia da test, misurata dagli item a, b, c ed f (per quest’ultimo item l’intensità della scala è stata invertita in quanto misurava l’ansia in senso opposto rispetto a tutti gli altri item) inseriti nella domanda 17, risulta ben rappresentata dai quattro item proposti.
La consistenza interna della scala, pari a 0,7 indica che vi è un buon livello di affidabilità complessivo della scala e che tutti gli item tendono a misurare lo stesso tratto latente (l’ansia da test).
Tabella 16 - Ansia da test: coerenza interna della scala –statistiche di affidabilità
Alfa di Cronbach
Alfa di Cronbach's basata su item standardizzati
Numero di item
,710 ,712 4
Tabella 17 - Ansia da test: coerenza item-scala – statistiche totale degli item
Scala media se l'item è escluso Scala varianza se l'item è escluso Correlazione del totale item corretta Quadrato della correlazione multipla Alfa di Cronbach se l'item è escluso
D17a Già prima ero preoccupato 6,27 5,295 ,468 ,219 ,668
D17b Ero così nervoso 7,36 5,984 ,479 ,233 ,659
D17c Mentre rispondevo avevo
l’impressione di andare male 6,61 5,204 ,542 ,298 ,618 D17f Mentre rispondevo mi
sentivo tranquillo 6,94 5,519 ,504 ,258 ,643
I valori nell’ultima colonna mostrano come cambierebbe il valore dell’affidabilità se un dato item venisse escluso dalla scala. Per tutti gli item si otterrebbe un valore inferiore rispetto a quello calcolato considerando tutti gli item.
Confrontando i voti di Italiano e Matematica assegnati dagli insegnanti alla fine del primo quadrimestre con le risposte date ai quattro item sull’ansia, risulta che all’aumentare del voto, sia in Italiano che in Matematica, aumentano i bambini ‘meno ansiosi’. Questo fenomeno si riscontra in tutti e quattro gli item, ma l’item ‘b’ presenta una capacità discriminante molto maggiore rispetto agli altri.
Per effettuare le analisi di approfondimento sulla scala che rileva l’ansia da test, l’item D17 è stato invertito per renderlo positivo, e quindi coerente, con gli altri item presenti nella batteria.
37
INVALSI – Istituto nazionale per la valutazione del sistema educativo di istruzione e di formazione www.invalsi.it
L’utilizzo del Rating Scale Model ha consentito di delineare una scala in base alla quale stabilire il livello di ansia di ciascun soggetto e di ciascuna modalità di risposta agli item inseriti nella scala.
Il Rating Scale Model permette di definire i livelli di ansia legandoli alle soglie (threshold), ovvero di stabilire per chi sceglie una data risposta (ad esempio “abbastanza”), qual sia il livello di ansia associato.
Di seguito vengono presentati i risultati dell’item analysis per i quattro item relativi all’ansia da test.
Tabella 18 - Ansia da test: item analysis
================================================================================ Item 1
---
item:1 (D17a Già prima ero preoccupato) Cases for this item 42807 Discrimination 0.73
Item Threshold(s): -1.88 -0.80 0.28 Weighted MNSQ 1.11 Item Delta(s): -1.55 -0.81 -0.05
--- Label Score Count % of tot Pt Bis t (p) PV1Avg:1 PV1 SD:1 --- 0 0.00 8119 18.97 -0.57 >|1000|(.000) -1.44 0.87 1 1.00 7490 17.50 -0.23 -49.78(.000) -0.78 0.76 2 2.00 12590 29.41 0.07 13.87(.000) -0.27 0.74 3 3.00 14608 34.13 0.59 151.33(.000) 0.31 0.83 ============================================================================== Item 2 ---
item:2 (D17b Ero così nervoso) Cases for this item 42752 Discrimination 0.69
Item Threshold(s): -0.16 0.91 1.99 Weighted MNSQ 1.03 Item Delta(s): 0.17 0.91 1.66
--- Label Score Count % of tot Pt Bis t (p) PV1Avg:1 PV1 SD:1 --- 0 0.00 23234 54.35 -0.64 >|1000|(.000) -0.88 0.89 1 1.00 11565 27.05 0.22 45.69(.000) -0.08 0.75 2 2.00 5415 12.67 0.39 87.84(.000) 0.48 0.78 3 3.00 2538 5.94 0.38 86.20(.000) 0.90 0.80 ============================================================================== Item 3 ---
item:3 (D17c Mentre rispondevo avevo l’impressione di andare male) Cases for this item 42718 Discrimination 0.77
Item Threshold(s): -1.39 -0.31 0.77 Weighted MNSQ 0.93 Item Delta(s): -1.05 -0.31 0.44
--- Label Score Count % of tot Pt Bis t (p) PV1Avg:1 PV1 SD:1 --- 0 0.00 9761 22.85 -0.57 >|1000|(.000) -1.31 0.87 1 1.00 12422 29.08 -0.23 -48.61(.000) -0.66 0.74 2 2.00 11891 27.84 0.26 54.55(.000) -0.03 0.74 3 3.00 8644 20.24 0.57 142.07(.000) 0.57 0.80 ==============================================================================
38
INVALSI – Istituto nazionale per la valutazione del sistema educativo di istruzione e di formazione www.invalsi.it
Item 4 ---
item:4 (D17f Mentre rispondevo mi sentivo tranquillo) Cases for this item 42785 Discrimination 0.73
Item Threshold(s): -0.88 0.19 1.27 Weighted MNSQ 0.96 Item Delta(s): -0.55 0.19 0.95
--- Label Score Count % of tot Pt Bis t (p) PV1Avg:1 PV1 SD:1 --- 0 0.00 14251 33.31 -0.58 >|1000|(.000) -1.11 0.92 1 1.00 14442 33.75 -0.06 -12.04(.000) -0.43 0.74 2 2.00 8888 20.77 0.33 71.41(.000) 0.15 0.73 3 3.00 5204 12.16 0.51 122.98(.000) 0.78 0.79 ==============================================================================
Dalle distribuzioni di frequenza di ciascun item, non si evidenziano categorie con frequenze mancanti, oppure con frequenze talmente basse da supporre eventuali problemi .
Le stime delle soglie di ciascun item risultano monotone e distanziate, pertanto il livello di ansia cresce con il crescere dell’accordo espresso rispetto alle risposte date; in altre parole, più gli studenti confermano il loro accordo con l’impressione di andare male, più è elevata la loro ansia.
La stima dei livelli di ansia dei soggetti e delle risposte è stata effettuata con il software ConQuest, utilizzando il modello Rating Scale Model33. Di seguito sono illustrati i risultati. Tabella 19 - Ansia da test: Rating Scale Model
================================================================================ TERM 1: item
--- VARIABLES UNWEIGHTED FIT WEIGHTED FIT
--- --- --- item ESTIMATE ERROR^ MNSQ CI T MNSQ CI T --- 1 D17a -0.801 0.004 1.10 ( 0.99, 1.01) 13.9 1.11 ( 0.99, 1.01) 17.0 2 D17b 0.914 0.005 0.98 ( 0.99, 1.01) -2.3 1.03 ( 0.99, 1.01) 4.1 3 D17c -0.308 0.004 0.94 ( 0.99, 1.01) -9.5 0.93 ( 0.99, 1.01)-10.8 4 D17f 0.195* 0.007 0.97 ( 0.99, 1.01) -4.5 0.96 ( 0.99, 1.01) -5.6 ---
An asterisk next to a parameter estimate indicates that it is constrained Separation Reliability = 1.000
Chi-square test of parameter equality = 82089.44, df = 3, Sig Level = 0.000 ^ Quick standard errors have been used
================================================================================ TERM 2: step
--- VARIABLES UNWEIGHTED FIT WEIGHTED FIT
--- --- --- step ESTIMATE ERROR^ MNSQ CI T MNSQ CI T --- 0 1.13 ( 0.99, 1.01) 17.7 1.12 ( 0.99, 1.01) 17.0 1 -0.744 0.005 1.05 ( 0.99, 1.01) 7.1 1.06 ( 0.99, 1.01) 9.1 2 -0.006 0.006 1.02 ( 0.99, 1.01) 3.0 1.04 ( 0.99, 1.01) 6.3 3 0.750* 1.17 ( 0.99, 1.01) 23.8 1.12 ( 0.98, 1.02) 14.8 ---
An asterisk next to a parameter estimate indicates that it is constrained ^ Quick standard errors have been used
================================================================================
33 Un’esposizione esaustiva del modello è in Giampaglia, G. (2002) I modelli nella ricerca sociale: Teoria e applicazioni. Liguori Editore, Napoli.
39
INVALSI – Istituto nazionale per la valutazione del sistema educativo di istruzione e di formazione www.invalsi.it
Per valutare la bontà delle stime è preferibile fare riferimento ai valori delle colonne “MNSQ”34. Questi risultano tutti compresi tra 0.93 e 1.17 (il valore atteso è pari a 1) e indicano un buon adattamento del modello stimato ai dati.
Il test del chi-quadro, utilizzato generalmente per valutare la bontà del modello, risulta in questo caso altamente significativo (pertanto si sarebbe portati a rifiutare l’ipotesi che le stime si accostano ai dati) a causa dell’elevata ampiezza del campione (Corbetta, 2002). Il dibattito metodologico legato alle dimensioni così elevate dei dati sui quali è calcolato il modello, e sull’influenza che questa ha nel determinare la significatività dei parametri, è ancora in corso. Nel grafico seguente (Grafico 2), insieme alle stime di ansia legate agli studenti (rappresentate sulla sezione sinistra) vengono riportate anche quelle generali degli item (inserite nella parte destra del grafico) affiancate su una stessa scala logit. Quindi i livelli stimati per i soggetti risultano direttamente confrontabili con quelli stimati per gli item.
Per ciascun item vengono riportati nel grafico i livelli di stima associati a ciascuna soglia (ovvero l’ansia che per esempio è associata alla probabilità di rispondere abbastanza d’accordo piuttosto che molto d’accordo). Le soglie vengono rappresentate con una coppia di numeri dove il primo numero indica l’item, mentre il secondo indica la soglia (ad esempio, 1.2 indica che si sta parlando della soglia 2 dell’item 1, ovvero della risposta
poco all’item “Già prima ero preoccupato…”).
Come mostra il grafico l’item 1 (“Già prima ero preoccupato”) risulta essere nel complesso quello che esprime un livello di ansia più basso, mentre il 2 (“Ero così nervoso/a che non riuscivo a trovare le risposte”) quello con il livello maggiore.
34 Molti studi hanno dimostrato che le statistiche di affidabilità delle stime, “t”, sono dipendenti dall’ampiezza del campione (Smith, Schumacker & Bush, 1998: Karabatsos, 2000). Il campione oggetto di studio, essendo di circa 43.000 studenti, è estremamente elevato.
40
INVALSI – Istituto nazionale per la valutazione del sistema educativo di istruzione e di formazione www.invalsi.it
Grafico 2 - Ansia da test: rappresentazione grafica delle soglie
================================================================================ | 3 | | | | | | | 2 |2.3 X| XX| XX| X| XX|4.3 XXX| 1 XXX| XXX|2.2 XXXX|3.3 XXXXXX| XXXXXX| XXXXXX| XXXXXXXX|1.3 4.2 XXXXXXXXX| 0 XXXXXXXX| XXXXXXXXXX|2.1 XXXXXXXX|3.2 XXXXXXX| XXXXXXXX| XXXXXXXX| XXXXXXXX|1.2 4.1 -1 XXXXXXXXXX| XXXXXXX| XXXXXX| XXXX|3.1 XXXX| XXXX| XX|1.1 -2 XX| XX| XX| X| X| X| X| | -3 | | ================================================================================ Each 'X' represents 265.0 cases
Gli studenti risultano distribuiti nell’intervallo compreso tra -3 e +2 logit; una maggiore concentrazione si ha al di sotto del valore centrale di stima indicato con 0 (che non indica l’assenza dell’ansia, ma ne rappresenta solo un valore intermedio).
Le soglie legate ad un elevato accordo con la paura, con il nervosismo, ecc. risultano posizionate nella parte più alta del grafico, mentre quelle date in disaccordo sono tutte posizionate nella sezione più bassa.
41
INVALSI – Istituto nazionale per la valutazione del sistema educativo di istruzione e di formazione www.invalsi.it
elevati degli studenti, mentre ciò avviene con meno efficacia per i livelli più bassi, pertanto sarebbe necessario inserire un’ulteriore domanda capace di cogliere anche questi livelli di ansia in maniera più precisa.
Maggiori informazioni su ogni singolo item possono essere tratte dalla lettura dei grafici relativi alle curve caratteristiche (Grafico 3, Grafico 5, Grafico 7, Grafico 9), nei quali il tratto latente, ovvero l’ansia relativa ad ogni alternativa di risposta, viene riportata sulle ascisse, mentre la probabilità di dare una certa risposta è riportata sulle ordinate.
Le curve caratteristiche degli item mostrano per ciascun item e per ciascuna modalità di risposta come varia la probabilità di essere selezionato in relazione al livello di ansia.
L’intersezione tra due curve di due modalità adiacenti definisce il livello di ansia legato alla soglia di passaggio da una modalità all’altra; in questo punto le due categorie hanno la stessa probabilità di essere scelte (in altre parole la soglia corrisponde al livello del tratto latente a partire dal quale la successiva modalità ha maggiore probabilità di essere selezionata rispetto alla precedente).
Ogni intervallo tra due soglie adiacenti definisce i livelli di ansia rispetto ai quali è probabile scegliere quella data modalità. Tutti i grafici mostrano che ogni categoria di risposta ha un picco di probabilità, ovvero che ogni categoria, in corrispondenza di un tratto dei livelli di ansia stimati, risulta la più probabile ad essere selezionata; in altre parole, non essendoci curve piatte o che non emergono rispetto a tutte le altre, non si presentano modalità che non sono mai selezionate. Inoltre le modalità risultano ordinate secondo la sequenza logica crescente con la quale sono tate costruite (ovvero non risulta mai più probabile dare una risposta “poco d’accordo” per alti livelli di ansia rispetto a “molto d’accordo”).
Per ciascun item, oltre al grafico relativo alle curve caratteristiche, viene presentato anche un grafico che mostra l’adattamento delle stime delle curve teoriche ai dati empirici.
42
INVALSI – Istituto nazionale per la valutazione del sistema educativo di istruzione e di formazione www.invalsi.it
Grafico 3 - Ansia da test: curve caratteristiche per l’item 17a
43
INVALSI – Istituto nazionale per la valutazione del sistema educativo di istruzione e di formazione www.invalsi.it
Nel primo grafico (Grafico 3) sono rappresentate le curve caratteristiche delle modalità di risposta dell’item a.
Sull’asse delle ascisse sono rappresentati i livelli di ansia stimati. Come si vede per coloro che hanno un livello di ansia inferiore a -2 è molto poco probabile fornire come risposta la modalità tre, corrispondente a “molto d’accordo” (indicata con il quadratino trasparente nel grafico), mentre è molto più probabile che venga selezionata la modalità 0 “per niente d’accordo” (indicata con il rombo scuro). In maniera speculare coloro che hanno un livello di ansia superiore a 0 è molto più probabile che indichino la risposta “molto d’accordo”. Grafico 5 - Ansia da test: curve caratteristiche per l’item 17b
44
INVALSI – Istituto nazionale per la valutazione del sistema educativo di istruzione e di formazione www.invalsi.it
Le curve caratteristiche relative alle modalità dell’item b, a differenza di quelle del’item 1, mostrano che fino a livelli di ansia intorno allo 0, è molto probabile che si risponda “per niente d’accordo” (Grafico 5).
Grafico 7 - Ansia da test: curve caratteristiche per l’item 17c
Grafico 8 - Ansia da test: adattamento alla curva attesa perl’item 17c
Le curve caratteristiche degli item c ed f mostrano meno squilibri nelle probabilità di risposta: studenti con livelli di ansia inferiori scelgono con probabilità maggiori modalità che si associano a livelli di ansia più bassi, così come studenti con livelli di ansia maggiore scelgono più probabilmente modalità che si associano a livelli di ansia più elevati (Grafico
45
INVALSI – Istituto nazionale per la valutazione del sistema educativo di istruzione e di formazione www.invalsi.it
7 e Grafico 9).
L’adattamento delle curve teoriche a quelle osservate è generalmente buono (Grafico 4, Grafico 6, Grafico 8, Grafico 10).
Grafico 9 - Ansia da test: curve caratteristiche per l’item 17f
46
INVALSI – Istituto nazionale per la valutazione del sistema educativo di istruzione e di formazione www.invalsi.it