Francesco Rubino
3. Il confronto tra i risultati in mate- mate-matica della Prova TIMSS 2007 e della
PN 2008/09
Allo scopo di rendere possibile il confronto tra le due prove, sono stati appaiati i punteggi con-seguiti dallo stesso alunno in ciascuna mediante la creazione di una chiave univoca; si sono così ottenuti 1256 casi validi, il 76% circa del cam-pione TIMSS. Per comparare le due tipologie e scale di misurazione adottate in ciascuna prova, è stata poi effettuata una standardizzazione dei punteggi (Boncori, 1993). Questa operazione ha consentito di riportare i risultati osservati a una scala comune.
Per rendere, inoltre, più leggibili i dati rela-tivi all’analisi della varianza e al modello di regressione proposto più avanti, è stata fatta una trasformazione in punti T, ponendo la media pari a 50 e la deviazione standard uguale a 10, cosa che consente di ovviare al problema della presenza di valori negativi qualora si usassero i punteggi standardizzati.1
1 Questi hanno infatti media eguale a 0 e deviazione stan-dard eguale a 1.
Abbiamo visto come le prove, sia per le spe-cificità di contenuto degli item che per la loro formulazione, non possano essere considerate intercambiabili; in altre parole, per molti item della PN, a un livello di analisi più approfon-dito, è impossibile trovare un’allocazione nelle sottoaree del framework TIMSS e viceversa, e questo sta a indicare che entrambe contengono item che non possono essere inclusi se non nel quadro di riferimento che li ha generati. Questa constatazione trova riscontro anche nell’osser-vazione che le due prove, pur avendo in genere lo stesso andamento per quel che riguarda la distribuzione dei risultati ottenuti dalle singole scuole (Figura 2), in alcune realtà scolastiche, funzionano in modo differente.
In altre parole, potremmo dire che per alcu-ne scuole è risultata relativamente più facile la Prova TIMSS rispetto alla Prova Nazionale e viceversa. Occorre, naturalmente, tenere in do-vuta considerazione i diversi contesti in cui le due prove si sono svolte (la PN, lo ricordiamo, si svolge nell’ambito dell’esame di Stato) e questo può influire sulla variabilità dei risultati in fun-zione di come viene vissuta la prova dagli alun-ni o anche della dimensione orgaalun-nizzativa in cui essa viene gestita. Al momento, comunque, non è possibile tenere sotto controllo queste variabili di contesto in quanto non ci sono dati disponibili che possano essere utili allo scopo.
Quanto stiamo osservando è importante ai fini dell’analisi comparativa, dato che, anche in considerazione della diversa numerosità di item, non è possibile fare un confronto tra le risposte ai singoli item ma solo tra i punteggi comples-sivi ottenuti nelle quattro aree di contenuto e nelle prove totali.
Per effettuare la nostra analisi, abbiamo preli-minarmente preso in esame le distribuzioni dei punteggi totali ottenuti alle due prove.2
Nel caso della Prova TIMSS la distribuzio-ne è normale e assimilabile alla distribuziodistribuzio-ne normale nel caso della PN. Sulla base di questa prima osservazione è stato possibile effettuare un’analisi della varianza per campioni appaiati.
2 Per le procedure di analisi effettuate si faccia riferimen-to a Barbaranelli (2006).
60
55
50
45
40
150
100
50
0
120 100 80 60 40 20 0
Punteggio medioFrequenza Frequenza
Scuole Matematica tiMss
Matematica Pn snV legenda
Fig. 2 Risultati delle scuole in matematica nella Prova TIMSS 2007 e nella PN.
Fig. 3 Distribuzioni dei punteggi totali delle due prove.
-4,00000 -2,00000 0,00000 2,00000 -4,00000 -2,00000 0,00000 2,00000 Distribuzione Prova TIMSS Distribuzione Prova Nazionale
Come si può osservare, non esiste nessuna differenza significativa tra le distribuzioni dei punteggi totali nelle due prove.
Se effettuiamo lo stesso test per i punteggi nel-le quattro aree di contenuto, possiamo invece notare alcune differenze (Tabella 4).
Tabella 3
Test per campioni appaiati effettuato per i punteggi totali Differenze a coppie
t df Sig.
(2-code) M DS eS media Intervallo di confidenza
per la differenza al 95%
Inferiore Superiore Punteggi totali matematica tiMss –
Punteggi totali matematica Pn 50 10,4267 0,29419 -0,57716 0,57716 0,000 1255 1,000
Tabella 4
Test per campioni appaiati effettuato per i punteggi dei sottodomini Differenze a coppie
t Sig. (2-code) M DS eS media Intervallo di confidenza per
la differenza al 95%
Inferiore Superiore
numero tiMss – numeri Pn 4,2 11,13 0,31406 -0,18 1,04 1,365 0,173
algebra tiMss – relazioni e funzioni Pn -14,3 10,0 0,28217 -1,98 -0,87 -5,08 0,000 geometria tiMss – spazio e figure Pn 0 11,56 0,32622 -0,64 0,64 0,00 1,000 dati e probabilità tiMss – Misure, dati e
previsioni Pn -12,9 10,0 0,28217 -1,8 -0,74 -4,60 0,000
Il test t e il test di significatività ci dicono che nelle aree «Numero/i» e «Geometria» non vi sono differenze significative nell’andamen-to delle due prove (p-value > 0,05), mentre i confronti tra le distribuzioni dei punteggi di
«Algebra» e «Relazioni e Funzioni», da una parte, e di «Dati e probabilità» e «Misura, dati e previsioni», dall’altra, evidenziano l’esistenza di differenze significative.
A questo punto può essere interessante esplo-rare il grado di correlazione sia interno a cia-scuna prova sia tra le due prove e i rispettivi sottoambiti (Tabella 5).
Si noti come, per ciascuna prova, i rispettivi sottoambiti di contenuto siano ben correlati ad essa e tra di loro, mentre le due prove e i reci-proci sottoambiti hanno correlazioni abbastanza deboli anche se statisticamente significative.
Per quanto riguarda la correlazione tra i do-mini cognitivi della Prova TIMSS e la PN, si notano differenze interessanti. Quest’ultima ha una correlazione positiva con i domini di Cono-scenza e Applicazione, rispettivamente 0,523 e 0,540, mentre ha una più bassa correlazione con il dominio di Ragionamento, 0,371. Questo dato ci fa pensare che la PN sia maggiormente orien-tata a rilevare conoscenze e abilità applicative e meno le capacità di ragionamento.
Utilizziamo un modello di regressione per ve-rificare se questa ipotesi sia sostenibile (Tabella 6).Guardando l’R quadrato, si nota che il modello spiega il 20,5% della varianza e i coefficienti ci informano che per l’incremento di 1 punto del punteggio ottenuto nel dominio Applicazione, il punteggio totale in matematica nella PN au-menta di 1,9 punti, mentre se aggiungiamo la variabile relativa al dominio Conoscenza, i due predittori assieme portano a 3 punti l’incremen-to della costante. Dall’analisi si evince anche che il dominio Ragionamento non può essere considerato un buon predittore del punteggio in matematica nella PN (l’aumento del punteggio nella PN è inferiore a 1 punto e non significati-vo). Sicuramente non possiamo affermare che si tratta di un modello robusto, ma ci aiuta a com-prendere meglio le similitudini e le differenze a cui abbiamo fatto riferimento nell’introduzione.
4. Rilievi conclusivi
L’analisi comparativa effettuata ci suggerisce come, fatta salva la constatazione che i punteg-gi totali alle due prove hanno una
significati-Tabella 5 Matrice di correlazione tra le due prove e i rispettivi sottodomini Pt. tot. Matematica tiMss
Pt. tot. numero tiMss Pt. tot. algebra tiMss Pt. tot. geometria tiMss Pt. tot. dati e probabilità tiMss
Pt. tot. Matematica snV Pn Pt. tot. numeri snV Pn Pt. tot. relazioni e funzioni snV Pn
Pt. tot. geometria snV Pn Pt. tot. dati e previsioni snV Pn Pt. tot. dominio conoscenza tiMss Pt. tot. dominio applicazio- ne tiMss
Pt. tot. dominio ragionamen- to tiMss Pt. tot. Matematica tiMss
corr. Pearson10,8070,8110,7710,7110,4560,4160,2230,3620,3690,8140,8190,730 sig. (2 code)0,0000,0000,0000,0000,0000,0000,0000,0000,0000,0000,0000,000 Pt. tot. numero tiMss
corr. Pearson10,7900,8010,7070,4310,3830,2260,3390,3820,7400,7840,666 sig. (2-code)0,0000,0000,0000,0000,0000,0000,0000,0000,0000,0000,000 Pt. tot. algebra tiMss
corr. Pearson10,7880,6790,4210,3850,2080,3380,3400,7560,7510,685 sig. (2-code)0,0000,0000,0000,0000,0000,0000,0000,0000,0000,000 Pt. tot. geometria tiMss
corr. Pearson10,6750,4270,3800,2020,3320,3620,6860,7500,630 sig. (2-code)0,0000,0000,0000,0000,0000,0000,0000,0000,000 Pt. tot. dati e probabilità tiMss
corr. Pearson10,4000,3630,1820,3170,3310,6640,6750,616 sig. (2-code)0,0000,0000,0000,0000,0000,0000,0000,000 Pt. tot. Matematica snV Pn
corr. Pearson10,8010,5390,8040,8520,5230,5400,371 sig. (2-code)0,0000,0000,0000,0000,0000,0000,000 Pt. tot. numeri snV Pn corr. Pearson10,3190,5120,5380,4880,4890,323 sig. (2-code)0,0000,0000,0000,0000,0000,000 (continua)
Pt. tot. Matematica tiMss Pt. tot. numero tiMss Pt. tot. algebra tiMss Pt. tot. geometria tiMss Pt. tot. dati e probabilità tiMss
Pt. tot. Matematica snV Pn Pt. tot. numeri snV Pn Pt. tot. relazioni e funzioni snV Pn
Pt. tot. geometria snV Pn Pt. tot. dati e previsioni snV Pn Pt. tot. dominio conoscenza tiMss Pt. tot. dominio applicazio- ne tiMss
Pt. tot. dominio ragionamen- to tiMss Pt. tot. relazioni e funzioni snV Pn
corr. Pearson10,3900,3210,2090,2200,191 sig. (2-code)0,0000,0000,0090,0230,019 Pt. tot. geometria snV Pn
corr. Pearson10,5740,3450,3570,311 sig. (2-code)0,0000,0000,0000,000 Pt. tot. dati e previsioni snV Pn
corr. Pearson10,3490,3820,312 sig. (2-code)0,0010,0100,003 Pt. tot. dominio conoscenza tiMss
corr. Pearson10,8460,707 sig. (2-code)0,0000,000 Pt. tot. dominio applicazio- ne tiMss
corr. Pearson10,734 sig. (2-code)0,000 Pt. tot. dominio ragiona- mento tiMss
corr. Pearson1 sig. (2-code)
(continua)
Tabella 6
Riepilogo del modello di regressione dei domini cognitivi TIMSS sul punteggio totale matematica PN
Coefficienti
Coefficienti non standardizzati Coefficienti standardizzati t Sig.
B DS errore Beta
(costante) 26,4a 1,345 19,690 0,000
applicazione 1,9b 0,047 1,9 6,094 0,000
conoscenza 1,1b 0,047 1,179 3,786 0,000
ragionamento 0,072b 0,038 0,072 1,862 0,073
r-quadrato = 0,205.
a = Variabile dipendente: punteggio totale di matematica Pn – snV.
b = Predittori: punteggio nei domini applicazione, conoscenza, ragionamento della Prova tiMss.
va correlazione, esistano però delle differenze nell’approccio alla costruzione delle due prove e che all’interno della stessa scuola il risultato medio in entrambe, in alcuni casi, possa essere molto diverso senza però che questo debba esse-re interpesse-retato come una discesse-repanza tra i esse- ren-dimenti a livello scuola. È utile sottolineare che, pur nella diversità, le due prove hanno un robu-sto background metodologico di riferimento e sono per questo attendibili, sono cioè in grado di fornire informazioni corrette in riferimento a quanto dichiarano di rilevare: entrambe han-no sistematizzato i propri contenuti di indagine entro un quadro di riferimento e utilizzano un altrettanto ben strutturato modello di analisi di attendibilità e affidabilità degli item e della pro-va, che consente confronti nel tempo. Pur con le dovute cautele, appare utile tenere conto delle informazioni complementari che possono esser date dai risultati delle indagini internazionali e nazionali per esplorare le modalità di insegna-mento/apprendimento della matematica messe in atto nel sistema scolastico trentino nel corso degli anni. La Prova TIMSS permette di con-frontarsi su un piano internazionale e la Prova Nazionale fornisce una scala di comparazione entro il nostro Paese.
Da ultimo, è importante evidenziare che:
• pur non potendo individuare una qualche in-terscambiabilità degli item all’interno delle prove, esse risultano essere sufficientemente correlate;
• le prove in diversi casi funzionano in manie-ra differente. Estendendo l’analisi a livello
nazionale, si potrebbe verificare se questo in qualche modo dipende dalla costruzione degli item o dai differenti approcci didattici utiliz-zati nelle scuole;
• la valutazione nazionale sembra, allo stato delle cose, più orientata a testare conoscenze e abilità applicative;
• TIMSS fornisce un quadro più articolato e un metodo di indagine comparativa che per la sua natura, considerando i numerosi Paesi che partecipano all’indagine, offre molteplici angolature da cui osservare gli apprendimenti in matematica, e ciò vale ancor più nel caso delle scienze, tenuto conto che, al momento, il Sistema Nazionale di Valutazione non prevede rilevazioni in quest’ambito.
BiBliograFia
Anzellotti, G., & Cotoneschi, S. (2007). Le indica-zioni per il curricolo: matematica. Notizie della scuola, 2 (3), 195-201.
Barbaranelli, C., (2006). Analisi dei dati con SPSS II. Le analisi multivariate. Roma: Led.
Binkley, M., & Kelly, D. (2003). A content compari-son of the NAEP and PIRLS fourth grade reading assessments (NCES 2003-10). U.S. Department of Education, National Center for Education Statis-tics. Washington, DC: U.S. Government Printing Office.
Boncori, L. (1993). Teoria e tecniche dei tests. Tori-no: Bollati Boringhieri.
Brown, M. (1999). Problems of interpreting interna-tional comparative data. In B. Jaworski & D. Phil-lips (Eds), Comparing standards internationally:
Research and practice in mathematics and beyond (pp. 183-207). Oxford: Symposium Books.
INVALSI (2009). La Prova Nazionale al termine del primo ciclo (a.s. 2008-09). Aspetti operativi e prime valutazioni sugli apprendimenti degli stu-denti (Rapporto integrale). Disponibile su: http://
www.invalsi.it/esamidistato0809/. [Accesso il 02.04.2011].
Mullis, I. V. S., et al. (2007) TIMSS 2007 Assess-ment Frameworks. Chestnut Hill, MA: TIMSS &
PIRLS International Study Center, Boston College.
Available from: http://timss.bc.edu/timss2007/
frameworks.html [Accessed 02.04.2010].
Ruddock, G., Clausen-May, T., Purple, C., & Ager, R. (2006). Validation study of international stu-dies of pupil attainment. Nottingham: DfES.