SITUAZIONE ATTUALE E PROSPETTIVE DI SVILUPPO
5. Discussione e conclusioni
Il principale obiettivo del presente studio era quello di valutare alcuni aspetti della validità e dell’attendibilità delle scale del questionario
studenti che accompagna le prove di appren-dimento INVALSI per la classe quinta di SP, la classe prima di SSPG e la classe seconda di SSSG. Per raggiungere questo obiettivo si è se-guito il quadro di riferimento classico fornito da Nunnally (1978) e Cronbach (1988) per quelli che dovrebbero essere i diversi passaggi di un programma di validazione di uno strumento di misura.
Come abbiamo visto, il substantive stage nel-la validazione prevede che nel-la teoria alnel-la base dello strumento venga esplicitata, fornendo le evidenze empiriche che la supportano. Sempre in questa fase il costrutto che si vuole misurare viene definito operativamente in termini di di-mensioni e di variabili osservabili, individuan-do item sufficienti a rappresentarlo corretta-mente nella sua articolazione. Da questo punto di vista l’attuale questionario studenti presenta, per alcuni ambiti, dei punti deboli. Un esempio a questo proposito è costituito dalla motivazio-ne allo studio, che, motivazio-nel quadro di riferimento dei questionari (Poliandri, Muzzioli & Romi-ti, 2011), è considerata essere bidimensionale, con un’articolazione in motivazione intrinseca e motivazione estrinseca.
Esistono però molti studi (Ryan & Deci, 2000) che mostrano come questa bipartizione non sia in grado di spiegare le evidenze empiriche rac-colte. In particolare, i risultati conseguiti nelle ricerche appaiono maggiormente compatibili
TABELLA 4
Percentuale della variabilità degli indici collocata a livello di classe e di scuolaa
Classe quinta di SP Classe prima di SSPG Classe seconda di SSSG
% tra studenti % tra
classi % tra scuole % tra
studenti % tra classi % tra
scuole % tra studenti % tra
classi % tra scuole
Piacere nello studio dell’italiano 88 8 6 89 6 5 - -
-Piacere nello studio della matematica 87 10 8 89 8 3 - -
-Concetto di sé in italiano 93 6 5 93 5 2 - -
-Concetto di sé in matematica 94 5 3 96 3 1 - -
-Motivazione esterna allo studio 90 5 6 89 6 5 - -
-Impegno nello studio 95 4 3 96 3 1 - -
-Ansia da test 92 6 3 95 3 2 89 5 6
Motivazione strumentale per italiano - - - - - - 88 5 7
Motivazione strumentale per
mate-matica - - - - - - 83 8 9
Nota: a Le celle vuote indicano che il costrutto non è stato indagato nello specifico livello scolastico.
79
RICERCAZIONE giugno 2014
con una definizione della motivazione estrinse-ca come costrutto multidimensionale, composto da tipologie di regolazione del comportamento dello studente diverse tra di loro. Ad esempio, la motivazione esterna (misurata per le classi quinta di SP e prima di SSPG) e la motivazione strumentale (misurata per la classe seconda di SSSG) sono due delle componenti della motiva-zione estrinseca che dovrebbero essere prese in considerazione per una rappresentazione sub-stantive del costrutto motivazione allo studio (Alivernini, 2012; Alivernini & Lucidi, 2008a;
Deci et al., 1991; Grolnick & Ryan, 1987; Val-lerand et al., 1992).
Gli studi condotti in questo ambito eviden-ziano però correlati molto diversi per le due tipologie di motivazione considerate. La moti-vazione esterna è correlata positivamente con la demotivazione e con indicatori di insucces-so scolastico e formativo (Alivernini & Luci-di, 2008a; Fairchild et al., 2005; Vallerand et al.,1993; Vallerand, Fortier & Guay, 1997). La motivazione strumentale, invece, ha una rela-zione positiva con la motivarela-zione intrinseca,6 il continuare a formarsi e i risultati scolastici (Burton et al., 2006; Fortier, Vallerand & Guay, 1995; Miserandino, 1996). Considerando questi diversi correlati, risulta chiaro come la preva-lenza dell’una o dell’altra fornisca informazioni diverse rispetto alla qualità della motivazione all’apprendimento di uno studente, di una clas-se, di una scuola o di un sistema scolastico.
Informazioni con implicazioni potenzialmente opposte in una logica d’intervento nelle scuole.
Lo structural stage nella validazione di uno strumento comporta il valutare le relazioni che hanno gli item con le dimensioni del costrutto di riferimento, confrontando quanto previsto dalla teoria con quello che mostrano i dati rac-colti. Da questo punto di vista, i test dei modelli di misurazione dei costrutti che il questionario studenti mira a indagare evidenziano un quadro composito. Per due delle scale analizzate (Con-cetto di sé e Motivazione esterna per la Classe
6 Sulle differenze, in termini di outcome, tra motivazione intrinseca e motivazione strumentale si vedano Burton e colleghi (2006).
5 di SP) i risultati mostrano indici di fit che permettono di confermare il modello di misura testato. Per quattro delle scale analizzate (Mo-tivazione esterna per la classe prima di SSPG, Ansia ai tre livelli scolastici), invece, i risultati confermano solo parzialmente il modello di misura testato. Per altre quattro scale (Concet-to di sé per la classe prima di SSPG, Impegno nello studio per la classe quinta di SP e per la classe prima di SSPG, Motivazione strumen-tale per la classe seconda di SSSG) i modelli di misura testati non sono stati confermati dai dati. Per quello che riguarda, infine, la scala relativa al piacere nello studio, la presenza nel questionario di soli due item con modalità di risposta dicotomica ha reso poco sensato testare un modello di misurazione.
L’analisi della consistenza interna delle sca-le ha evidenziato che l’attendibilità delsca-le scasca-le è discreta, con valori di Alpha che vanno da 0.60 a 0.82, ad eccezione della scala d’impegno nello studio, che mostra una scarsa affidabilità.
Quelli rilevati dal questionario studenti sono costrutti psicologici individuali e la valutazione delle componenti della variabilità degli indici evidenzia che, come da attese teoriche, la quota maggiore della varianza è collocata tra i singoli studenti, seguita dal livello classe. La variabilità tra le scuole è scarsa, eccetto che per motiva-zione strumentale nella scuola secondaria di secondo grado, fatto probabilmente collegato alla scelta effettuata dagli studenti al momento dell’iscrizione alla scuola secondaria di secon-do grasecon-do. Come accennato nell’introduzione, la motivazione strumentale è, infatti, correlata alle scelte di prosecuzione del percorso di studio e/o di formazione.
In conclusione, nonostante i limiti discussi, occorre sottolineare il carattere innovativo e positivo nel contesto italiano di un questionario studenti che accompagni le prove di apprendi-mento a livello nazionale. Misurare le motiva-zioni allo studio degli studenti, le loro perce-zioni di competenza, gli atteggiamenti e altre variabili di questo tipo può avere un alto grado di utilità. Si tratta, infatti, tra le altre cose, di fattori strettamente collegati con gli apprendi-menti degli studenti, con il life-long learning,
con la prevenzione della dispersione scolastica e con le scelte degli studenti connesse all’orien-tamento scolastico e formativo.
I risultati del presente articolo mostrano la concreta possibilità di individuare a livello na-zionale delle misure affidabili in questi ambiti.
I maggiori limiti allo stato attuale risiedono nella mancanza di una completa definizione, in termini operativi, delle variabili e delle di-mensioni che si vogliono indagare rispetto a una chiara teoria di riferimento, che abbia del-le evidenze empiriche di supporto. Rafforzare questo aumenterebbe le concrete possibilità di utilizzo degli strumenti e dei risultati da parte delle scuole. Ci si potrebbe chiedere, ad esem-pio, che cosa implichi in una classe la presenza di un alto livello di motivazione esterna. E se, in questo caso, il dirigente scolastico e i docen-ti dovrebbero intraprendere delle azioni. Avere una chiara teoria di riferimento consentirebbe di rispondere a queste e ad altre domande.
Un’ulteriore possibile prospettiva di sviluppo dei questionari studenti è legata alla misurazio-ne degli ambienti di apprendimento e del clima motivazionale in classe. Da un punto di vista applicativo la letteratura scientifica in questo ambito (Martin & Dowson, 2009; Ryan, 2012;
Wentzel & Wigfield, 2009) è concorde nel so-stenere che l’azione degli insegnanti deve essere orientata a creare un adeguato ambiente di ap-prendimento e clima motivazionale. In questo senso tale azione dovrebbe cercare di modifi-care soprattutto variabili relative al livello della classe.
Attualmente, c’è un rinnovato interesse in letteratura (Marsh et al., 2012) per questo tipo di costrutti, che generalmente vanno sotto il nome di «clima» e sono tipicamente misurati (Lüdtke et al., 2009) attraverso le risposte de-gli studenti rispetto al loro comune ambiente di apprendimento.7 Un’eventuale integrazione
7 Rinnovato interesse che è legato anche allo sviluppo di metodologie di analisi, come ad esempio il doubly latent models (Marsh et al., 2009), che consentono di misurare costrutti di livello 2 (la classe) sulla base di variabili a livello 1 (le risposte degli studenti), tenendo conto sia degli errori di misurazione ai diversi livelli, sia degli errori di campionamento nell’operazione di aggregazione delle risposte.
dei questionari studenti su quest’ambito, che attualmente non risulta coperto, offrirebbe il duplice vantaggio di consentire, su vasta scala, una linea di ricerca nel contesto italiano e di fornire informazioni utili alle scuole in un’otti-ca di autovalutazione.
BIBLIOGRAFIA
Alexander, P.A., Kulikowich, J.M., & Jetton, T.L.
(1994). The role of subject-matter knowledge and interest in the processing of linear and nonlinear texts. Review of Educational Research, 64, 201-252.
Alivernini, F. (2012). Assessment of academic mo-tivation. In N.M. Seel (Ed.), Encyclopedia of the sciences of learning (pp. 321-323). New York:
Springer.
Alivernini, F., & Lucidi, F. (2008a). The Academic Motivation Scale (AMS): Factorial structure, in-variance and validity in the Italian context. Test-ing, Psychometrics, Methodology in Applied Psy-chology, 15 (4), 211-220.
Alivernini, F., & Lucidi, F. (2008b). La qualità della motivazione scolastica. Rassegna di Psicologia, 15 (3), 155-179.
Alivernini, F., & Lucidi, F. (2011). Relationship between social context, self-efficacy, motiva-tion, academic achievement, and intention to drop out of high school: A longitudinal study.
The Journal of Educational Research, 104 (4), 241-252.
Ames, C. (1992). Classroom: Goals, structures, and student motivation. Journal of Educational Psy-chology, 84, 261-271.
Asparouhov, T. (2005). Sampling weights in latent variable modeling. Structural Equation Modeling, 12, 411-434.
Baumert, J., Klieme, E., Neubrand, M., Prenyel, M., Schiefele, U., Schneider, W., Tillmann, M.,
& Weiss, M. (2000). Self-regulated learning as a cross-curricular competence. Berlin/Germany:
Max-Planck-Institut fuer Bildungsforschung.
Benson, J. (1998). Developing a strong program of construct validation: A test anxiety example.
Educational Measurement: Issues and Practice, 17 (1), 10-17.
Bentler, P.M. (1990). Comparative fit indices in structural equation models. Psychological Bulle-tin, 107, 238-246.
81
RICERCAZIONE giugno 2014
Bong, M., & Skaalvik, E.M. (2003). Academic Self-Concept and Self-Efficacy: How different are they really? Educational Psychology Review, 15, 1-40.
Browne, M.W., & Cudeck, R. (1993). Alternative ways of assessing model fit. In K.A. Bollen, & J.
S. Long (Eds.), Testing structural equation models (pp. 136-162). Newbury Park, CA: Sage.
Burton, K.D., Lydon, J.E., D’Alessandro, D.U., &
Koestner, R. (2006). The differential effects of intrinsic and identified motivation on well-being and performance: Prospective, experimental, and implicit approaches to self-determination theory.
Journal of Personality and Social Psychology, 91 (4), 750-762.
Caprara, G.V., Vecchione, M., Alessandri, G., Ger-bino, M., & Barbaranelli, C. (2011). The contribu-tion of personality traits and self-efficacy beliefs to academic achievement: A longitudinal study.
British Journal of Educational Psychology, 81 (1), 78-96.
Covington, M.V. (2000). Goal theory, motivation, and school achievement: An integrative review. Annual Review of Psychology, 51 (1), 171-190.
Cronbach, L. (1988). Five perspectives on validity argument. In H. Wainer, & H. Braun (Eds.), Test validity. Hillsdale, NJ: Erlbaum.
Dawis, R.V. (2000). Scale Construction and Psycho-metric Considerations. In H. Tinsley, & S. Brown (Eds.), Handbook of applied multivariate statistics and mathematical modeling. San Diego, CA, US:
Academic Press.
Deci, E.L., & Ryan, R.M. (1985). Intrinsic motiva-tion and self-determinamotiva-tion in human behavior.
New York: Plenum.
Deci, E.L., & Ryan, R.M. (2002). Handbook of self-determination research. Rochester, NY: University of Rochester Press.
Deci, E.L., Vallerand, R.J., Pelletier, L.G., & Ryan, R.M. (1991). Motivation and education: The self-determination perspective. Educational Psycholo-gist, 26, 325-346.
Eccles, J.S. (1994). Understanding women’s edu-cational and occupational choices. Psychology of Women Quarterly, 18 (3), 585-609.
Eccles, J.S., & Wigfield, A. (1995). In the mind of the achiever: The structure of adolescents’
academic achievement related-beliefs and self-perceptions. Personality and Social Psychology Bulletin, 21, 215-225.
Fairchild, A.J., Horst, S.J., Finney, S.J., & Barron K.E. (2005). Evaluating existing and new validity evidence for the Academic Motivation Scale. Con-temporary Educational Psychology, 30, 331-358.
Ferla, J., Valcke, M., & Cai, Y. (2009). Academic self-efficacy and academic self-concept:
Recon-sidering structural relationships. Learning and Individual Differences, 19 (4), 499-505.
Fortier, M.S., Vallerand, R.J., & Guay, F. (1995).
Academic motivation and school performance:
Toward a structural model. Contemporary Edu-cational Psychology, 20, 257-274.
Grolnick, W.S., & Ryan, R.M. (1987). Autonomy in children’s learning: An experimental and individ-ual difference investigation. Journal of Personality and Social Psychology, 52, 890-898.
Guay, F. (2005). Motivations underlying career decision-making activities: The Career Decision-Making Autonomy Scale (CDMAS). Journal of Career Assessment, 13, 77-97.
Hardre, P.L., & Reeve, J. (2003). A motivational model of rural students’ intentions to persist in, versus drop out of, high school. Journal of Edu-cational Psychology, 95 (2), 347-356.
Hox, J. (2010). Multilevel analysis: Techniques and applications. New York: Routledge.
Hu, L., & Bentler, P.M. (1995). Evaluating model fit.
In R.H. Hoyle (Ed.), Structural equation model-ing: Concepts, issues, and applications. Newbury Park, CA: Sage.
Hu, L., & Bentler, P.M. (1999). Cutoff criteria for fit indexes in covariance structure analysis: Conven-tional criteria versus new alternatives. Structural Equation Modeling, 6, 1-55.
INVALSI (2012). Rilevazioni nazionali sugli ap-prendimenti 2011-2012. Disponibile su: http://
www.invalsi.it/snv2012/documenti/Rapporti/
Rapporto_rilevazione_apprendimenti_2012.pdf.
[Accesso 01/05/2014].
Julian, M. (2001). The consequences of ignoring multilevel data structures in nonhierarchical co-variance modeling. Structural Equation Modeling, 8 (3), 325-352. doi:10.1207/S15328007SEM0803_1.
Kline, P. (2000). The new psychometrics. London:
Routledge.
Kline, R.B. (2011). Principles and practice of struc-tural equation modeling (3rd ed.). New York, NY:
The Guilford Press.
Lüdtke, O, Robitzsch, A., Trautwein, U., & Kunter, M. (2009). Assessing the impact of learning envi-ronments: How to use student ratings of classroom or school characteristics in multilevel modeling.
Contemporary Educational Psychology, 34, 120-Marsh, H.W., Lüdtke, O., Robitzsch, A., Trautwein, 131.
U., Asparouhov, T., Muthén, B.O., & Nagengast, B. (2009). Doubly-latent models of school contex-tual effects: Integrating multilevel and structural equation approaches to control measurement and sampling error. Multivariate Behavioral Research, 44, 764-802.
Marsh, H.W., Lüdtke, O., Nagengast, B., Trautwein, U., Morin, A.J.S., Abduljabbar, A.S., & Köller, O. (2012). Classroom climate and contextual ef-fects: Conceptual and methodological issues in the evaluation of group-level effects. Educational Psychologist, 47 (2), 106-124.
Marsh, H.W., Shavelson, R.J., & Byrne, B.M. (1992).
A multidimensional, hierarchical self-concept. In R.P. Lipka, & T.M. Brinthaupt (Eds.), Studying the self: Perspectives across the life-span. Alban:
State University of New York Press.
Martin, A.J., & Dowson, M. (2009). Interpersonal relationships, motivation, engagement, and achievement: Yields for theory, current issues, and educational practice. Review of Educational Research, 79 (1), 327-365.
Moerbeek, M. (2004). The consequence of ignoring a level of nesting in multilevel analysis. Multivari-ate Behavioral Research, 39 (1), 129-149.
Miserandino, M. (1996). Children who do well in school: Individual differences in perceived competence and autonomy in above average children. Journal of Educational Psychology, 88, 203-214.
Mullis, I.V.S., Martin, M.O., Foy, P., & Arora, A.
(2012). TIMSS 2011 International results in read-ing. Chestnut Hill, MA: TIMSS & PIRLS Inter-national Study Center, Boston College.
Nagengast, B., & Marsh, H.W. (2012). Big fish in little ponds aspire more: Mediation and cross-cultural generalizability of school-average ability effects on self-concept and career aspirations in science. Journal of Educational Psychology, 104 (4), 1033-1053.
Nunnally, J.C. (1978). Psychometric theory. New York: McGraw-Hill.
Nunnally, J.C., & Bernstein, I.H. (1994). Psychome-tric theory. New York: McGraw-Hill.
Osborne, J., Simon, S., & Collins, S. (2003). At-titudes towards science: A review of the literature and its implications. International Journal of Sci-ence Education, 25 (9), 1049-1079.
Poliandri, D., Muzzioli, P., & Romiti, S. (2011).
Quadro di riferimento per la rilevazione delle in-formazioni sugli studenti. INVALSI. Disponibile su: http://www.invalsi.it/snv2012/documenti/QDR/
QdR_Questionari.pdf. [Accesso 01/05/2014].
Steinmayr, R., Dinger, F.C., & Spinath, B. (2011).
Motivation as a mediator of social disparities in academic achievement. European Journal of Per-sonality, 26 (3), 335-349.
Reeve, J., Jang, H., Carrell, D., Jeon, S., & Barsh, J.
(2004). Enhancing students’ engagement by incre-asing teachers’ autonomy support. Motivation and Emotion, 28, 147-169.
Rutkowski, L., Gonzalez, E., Joncas, M., & Davier, von, M. (2010). International Large-Scale Asses-sment Data: Issues in secondary analysis and re-porting. Educational researcher, 39 (2), 142-151.
Ryan, R.M. (2012). The Oxford Handbook of Human Motivation. New York: Oxford University Press.
Ryan, R.M., & Deci, E.L. (2000). Intrinsic and ex-trinsic motivations: Classic definitions and new di-rections. Contemporary Educational Psychology, 25 (1), 54-67.
Schreiber, J.B., Nora, A., Stage, F.K., Barlow, E.A.,
& King, J. (2006). Reporting structural equation modeling and confirmatory factor analysis results:
A review. Journal of Educational Research, 99, 323-337.
Steiger, J.H. (1990). Structural model evaluation and modification: An interval estimation approach.
Multivariate Behavioral Research, 25, 173-180.
Steinmayr, R., & Spinath, B. (2009). The impor-tance of motivation as a predictor of school achie-vement. Learning and Individual Differences, 19 (1), 80-90.
Steinmayr, R., Dinger, F.C., & Spinath, B. (2012).
Motivation as a mediator of social disparities in academic achievement. European Journal of Per-sonality, 26 (3), 335-349.
Vallerand, R.J., Fortier, M.S., & Guay, F. (1997).
Self-determination and persistence in a real-life setting: Toward a motivational model of high school dropout. Journal of Personality and Social Psychology, 72, 1161-1176.
Vallerand, R.J., Pelletier, L.G., Blais, M.R., Bri-ère, N.M., Senécal, C., & Vallières, E.F. (1992).
The Academic Motivation Scale: A measure of intrinsic, extrinsic, and amotivation in education.
Educational and Psychological Measurement, 52, 1003-1019.
Vallerand, R.J., Pelletier, L.G., Blais, M.R., Brière, N.M., Senécal, C., & Vallières, E.F. (1993). On the assessment of intrinsic, extrinsic, and amotivation in education: Evidence on the concurrent and con-struct validity of the Academic Motivation Scale.
Educational and Psychological Measurement, 53, 159-172.
Vallerand, R.J., & Ratelle, C.F. (2002). Intrinsic and extrinsic motivation: A hierarchical model. In E.
Deci, & R.M. Ryan (Eds.), The motivation and self-determination of behavior: Theoretical and applied issues. Rochester (NY): University of Ro-chester Press.
Vansteenkiste, M., Sierens, E., Goossens, L., Soe-nens, B., Dochy, F., Mouratidis, A., et al. (2012).
Identifying configurations of perceived teacher au-tonomy support and structure: Associations with self-regulated learning, motivation and problem
83
RICERCAZIONE giugno 2014
behavior. Learning and Instruction, 22 (6), 431-439.
Wentzel, K.R., & Wigfield, A. (Eds.) (2009).
Handbook of motivation at school. Mahwah, NJ:
Taylor-Frances.
Wigfield, A., Eccles, J.S., & Rodriguez, D. (1998).
The development of children’s motivation in school contexts. In A. Iran-Nejad, & P.D. Pearson (Eds.), Review of research in education (Vol. 23). Wa-shington, DC: American Educational Research Association.
Zeidner, M. (1998). Test anxiety: The state of the art.
New York, NY: Plenum.
Zimmerman, B.J. (2002). Becoming a self-regulated learner: An overview. Theory Into Practice, 41 (2), 64-70.
Zimmerman, B.J., & Schunk, D.H. (2008). Self-regulated learning and academic achievement:
Theoretical perspectives. Mahwah, NJ: Erlbaum.