Learning as conceptual acquisition: a pilot project for measuring learning outcomes in higher education

=*-8'&6).8!ef8!dedtKdeff]!

B%&&#1)8! L]8! 9%/5%()8! B]L]! D! B%&&#1)8! H]! *elde7]! Z%/0),#&! 5%4#AM)/0! )$! A/)0A%:4-.%! 0%:),1#/D! %:),)5-:0! #,1!0:-%,:%!4%#:M%/0]!N!6'$>'86968$F)-#.'5$)9$E"'8,"#$=*-8'&6).8!gl*g78!frhKgls]! ! B*!1*JE%5%5!3)!E15!$)&J,#/15!(#*()F&D1E)5!#/%)*&1(%#*1E)5!)*!E1!?)*0D1!X/15%E)K1!3)!.%0*#5!h?>X79.i! L-1-#,%!F%//%-/#!N-&.#!! +,-.%/0-1#1%!F%1%/#&!1#!9#M-#! !

204%! 4/#=#()! 4-%,%! :)5)! )=(%4-.)! #,#&-@#/! &#0! 5%4?$)/#0! :),:%A46#&%0! 1%! )/1%,! )/-%,4#:-),#&! %,! &#! L%,J6#! 9/#0-&%[#!1%!N-J,)0!*LU9"'N78!=60:#,1)!-1%,4-$-:#/!&#0!5#,-$%04#:-),%0!5%4#$</-:#0!D!A%:6&-#/-1#1%0!>6%!&#0! A%/0),#0! 0)/1#0! A/%0%,4#,! %,! %&! A/):%0)! 1%! :),:%A46#&-@#:-<,! 1%! &#! &%,J6#]! Z#/#! %04)8! 0%! 64-&-@#/?,! &)0! A/%06A6%04)0!4%</-:)0!D!5%4)1)&<J-:)0!1%!&#!&-,JcQ04-:#!:)J,-4-.#8!1%$%,1-1)0!A)/!L#G)$$!D!R)M,0),!*drsl7!%,! &#!E%)/Q#!1%!&#!B%4?$)/#!;),:%A46#&]!N#=-X,1)0%!>6%!&)0!0-J,)0!0%!:),04/6D%,!5%1-#,4%!&#!:)5=-,#:-<,!1%&! 5).-5-%,4)! 1%! &#! 5#,)8! %&! A6,4)! 1%! #/4-:6&#:-<,! D! )/-%,4#:-<,]! Z#/4-/%5)0! 1%! &#! %3A%/-%,:-#! .-06#&! A#/#! %,4%,1%/!&#0!5%4?$)/#0!:),:%A46#&%0!%,!LU9"'N8!>6%!0%!=#0#,!%,!&#!%3A%/-%,:-#!:)/A)/#&!D!:6&46/#&b!#1%5?08! &)0!:),:%A4)0!0%!)/J#,-@#,!%,!4X/5-,)0!1%!6,#!%3A%/-%,:-#!:),!%&!56,1)!$Q0-:)8!&)!>6%!A%/5-4%!&#!$)/5#:-<,! 1%! .#/-#0! 5%4?$)/#0]! Z#/#! &#! 1%5)04/#:-<,8! 0%! )A4<! A)/! #,#&-@#/! &#! :),:%A46#&-@#:-<,! 1%! &#! E/-,-1#1! %,! %&! 1-0:6/0)! /%&-J-)0)! :/-04-#,)! 64-&-@#1)! A)/! &)0! 0)/1)0]! O%! %04%! 5)1)8! 0%! A%/:-=%! 6,#! /%&#:-<,! 5%4#$</-:#! )/-%,4#:-),#&!%,!&#0!0%[#&%0!/%#&-@#1#0]!L#!A/-5%/#!,):-<,!>6%!.#5)0!#!#=)/1#/!0%!/%$-%/%!#&!0-J,)!wO-)0x8!&)! :6#&! 0%! /%#&-@#! A)/! %,:-5#! 1%! &#! :#=%@#8! >6%! /%5-4%! #! &#! 5%4?$)/#! )/-%,4#:-),#&!'""U9'! 2N! ZPNUEUHP! *L#G)$$! D! R)M,0),8!drsl7!A#/#!/%$%/-/0%!#!O-)0!:)5)!6,#!%,4-1#1!1%!=6%,!:#/?:4%/!D!>6%!%04?!#//-=#!1%!4)1)08!:)5)! %,!%&!:),:%A4)!M%=/%)!1%!>6%!O-)0!%0!'&4Q0-5)]!Z%/)!:6#,1)!M#D!6,#!/%$%/%,:-#!#!wR%06:/-04)x8!%&!0-J,)!0%! /%#&-@#! %,! 6,! %0A#:-)! :),0-1%/#1)! %,! &#! LU9"'N! :)5)! 2NZ';UP! ,%64/)8! %,! /%$%/%,:-#! #! 06! :/6:-$-3-<,8! #&61-%,1)! #! 06! M65#,-@#:-<,8! A6%0! #! A%0#/! 1%! 06! ,#46/#&%@#! 1-.-,#8! R%0i0! 0%! M-@)! :#/,%! D! M#=-4<! %,4/%! &)0! M)5=/%08! %.):#,1)! &#! 5%4?$)/#! %0!R2N+N! OUPNKCPB9"28! 4)5#,1)! A)/! =#0%! 6,#! ,):-<,! %0A#:-#&! ,%64/#8! %,! /%&#:-<,!#&!:6%/A)!M65#,)]!F-,#&5%,4%8!&#!0%[#&!w20AQ/-46!N#,4)x8!>6%!0%!/%#&-@#!0)=/%!&#!:#=%@#8!/%5-4%!#&! M%:M)! 1%! >6%! :6#,1)! 06=-<! #&! :-%&)8! R%06:/-04)! %,.-<! %&! 20AQ/-46! N#,4)! A#/#! %04#/! 0)=/%! D! %,! %&! M)5=/%! #! A%0#/! 1%! 0%/! 6,#! %,4-1#1! :%&%04-#&8! #0Q8! &#! 5%4?$)/#! A#/#! %&! 0-J,)! 1%! 20AQ/-46! N#,4)! %.):#! &#! 5%4?$)/#!2L! CPB9"2!2N!;PSE2S2OP"8!%,!&#!:6#&8!%&!20AQ/-46!N#,4)!%0!%&!:),4%,-1)8!>6%!56%04/#!6,#!/%&#:-<,!1%!)/-%,4#:-<,! 1%,4/)K$6%/#!*L#G)$$!D!R)M,0),8!drsl8!A]!sd7]!204#!-,.%04-J#:-<,!0%!(604-$-:#!A)/!:),4/-=6-/!#&!5#/:)!4%</-:)!1%! &#0!1-0:60-),%0!/%&#:-),#1#0!:),!&#0!5%4?$)/#0!:),:%A46#&%0!)/-%,4#:-),#&%0!%,!&%,J6#!1%!0-J,)08!>6%!%04?! A):)!-,.%04-J#1)]!N%!#J/%J#!#!%04)!%&!M%:M)!1%!>6%!&#0!-,.%04-J#:-),%0!/%&#:-),#1#0!:),!&#!L%,J6#!9/#0-&%[#! 1%! N-J,)0! %04?,! %,! %4#A#! -,-:-#&! D! :#/%:%! 1%! %0461-)0! %,! %&! ?/%#]! Z)/! &)! 4#,4)8! &#! A/%0%,4%! -,.%04-J#:-<,! 4/#4#/?!1%!:),$-/5#/!&#!M-A<4%0-0!1%!>6%!&#!L%,J6#!9/#0-&%[#!1%!N-J,)08!#0Q!:)5)!&#!&%,J6#!)/#&8!%0!56D!/-:#! %,!A/):%0)0!5%4#$</-:)0!:),:%A46#&%0!)/-%,4#:-),#&%0]! ! VWHZ[!OVlHZ[]!.1Eg*!3)!8/13#5! ! ?)1/*%*0!15!(#*()F&D1E!1(aD%5%&%#*H!9!F%E#&!F/#o)(&!,#/!$)15D/%*0!E)1/*%*0!#D&(#$)5!%*!N%0N)/!)3D(1&%#*! T-&&!ZM-&-A8!L)/,#!ZM-&-A!#,1!'&-04#-/!ZM-&-A!! +,-.%/0-4D!)$!B#:%/#4#8!+,-.%/0-4D!)$!'=%/1%%,!#,1!;M-%$!N:-%,4-04!P$$-:%8!N:)4&#,1!*/%4-/%17 ! EM-0!0461D!/%A)/40!4M%!$-/04!04#J%!)$!#!4M/%%K04#J%!%3A%/-5%,4#&!#AA/)#:M!4)!5%#06/-,J!&%#/,-,J!)64:)5%0!-,! M-JM%/!%16:#4-),]!U4!-,.%04-J#4%0!4M%!%34%,4!4)!\M-:M!0461%,40o!/%0A),0%0!4)!#!\)/1K#00):-#4-),!4#0G!:M#,J%! #$4%/!4M%D!M#.%!:)5A&%4%1!#!0%5%04%/K&),J!0A%:-#&-@%1!:)6/0%!-,!/6/#&!J%)J/#AMD8!#,1!$):60%0!-,!A#/4-:6&#/! ),!4M%-/!#:>6-0-4-),!)$!#:#1%5-:!#,1!A)&-:D!4%/5-,)&)JD!#,1!A/)$%00-),#&!\)/&1!.-%\]!EM%!MDA)4M%0-0!1/-.-,J! 4M%!/%0%#/:M!-0!4M#4!4M)0%!0461%,40!\M)!06::%%1!-,!#:>6-/-,J!A/)$%00-),#&!1-0:)6/0%!*&%3-08!04D&%!#,1!04#,:%7! #/%!4M)0%!\M)!#:M-%.%!M-JM%/!J/#1%0!-,!4M%-/!#00%005%,408!\M-&%!#,!-,#=-&-4D!4)!5#G%!4M%!&%#A!$/)5!#!,),K %3A%/4! )/! w&#DKA%/0),x! :),:%A46#&-0#4-),! )$! 4M%! 4)A-:! 4)! #! 5)/%! A/)$%00-),#&! 04#,1A)-,4! :M#/#:4%/-@%0! 4M%! \)/G!)$!0461%,40!\M)!)=4#-,!&)\%/!J/#1%0]!

I)/1! #00):-#4-),! 4#0G0! #/%! #! 60%$6&! \#D! )$! #::%00-,J! #,1! %34%/,#&-@-,J! :),:%A408! #,1! 4M%! $#:4! 4M#4! 4M%D! -,.)&.%!$/%%!/%0A),0%0!%,06/%0!4M#4!4M%!/%0A),0%0!)=4#-,%1!#/%!,)4!A/%K%5A4%1!=D!4M%!/%0%#/:M%/0]!U,!4M-0! 0461D8! #! :)M)/4! )$! 6,1%/J/#16#4%! 0461%,40! -,! 4M%-/! $-,#&! D%#/! )$! #! 9N:! )/! B'! 1%J/%%! -,! T%)J/#AMD! #4! 4M%! +,-.%/0-4D!)$!'=%/1%%,8!\%/%!#0G%1!4)!:)5A&%4%!#!0M)/4!\)/1K#00):-#4-),!4#0G!16/-,J!4M%!$-/04!&%00),!)$!#,! C),)6/0K:&#00! :)6/0%! -,! "6/#&! T%)J/#AMD8! #! C65#,! T%)J/#AMD! :)6/0%! #11/%00-,J! 4)A-:0! $/)5! #! 0):-#&! 0:-%,:%0! $):60]! EM%! 4#0G! :),0-04%1! )$! 0-34%%,! A/)=%0! *%&%.%,! G%D! \)/10! #,1! $-.%! 1-04/#:4%/078! #&&! J%,%/#&! \)/10! \-4M! 4%:M,-:#&! %34%,0-),0! 4)! 4M%-/! 5%#,-,J0! \-4M-,! 4M%! $-%&1! )$! J%)J/#AMD! *-,:&61-,J! w:)556,-4Dx8! w1%.%&)A5%,4x8! w/%5)4%x8! w4/#1-4-),#&x7]! EM%! 0461%,40! \%/%! /%>6%04%1! 4)! \/-4%! \)/10! )/! AM/#0%0! 4M#4! 0A/#,J! 4)! 5-,1! -,! /%&#4-),! 4)! %#:M! )$! 4M%! A/)=%0k! '&4M)6JM! ,)! ,65=%/! )$! /%0A),0%0! \#0! 0A%:-$-%18! 4M%!

#.%/#J%!\#0!$-.%!A%/!A/)=%]!EM%0%!\%/%!06=0%>6%,4&D!:)&&#4%1!#,1!A/):%00%1!#64)5#4-:#&&D!4)!)=4#-,!\)/1! &-0408!#,1!4M%!1#4#!\#0!4M%,!#,#&D0%1!4)!-1%,4-$D!0%5#,4-:!#,1!:),:%A46#&!J/)6A-,J0!A/%0%,4!-,!4M%!1#4#]! 9D!\#D!)$!:)5A#/-0),8!-,!04#J%!4\)!)$!4M%!A/)(%:4!4M%!0#5%!4%04!\#0!#15-,-04%/%1!4)!#!J/)6A!)$!#:#1%5-:0! \M)0%!/%0%#/:M!0A%:-#&-05!\#0!/6/#&!0):-#&!0:-%,:%! *#:#1%5-:0!\M)!M%&1!6,1%/J/#16#4%!#,1!A)04J/#16#4%! >6#&-$-:#4-),0! -,! .#/-)60! 1-0:-A&-,%08! -,:&61-,J! T%)J/#AMD! #,1! \M)0%! :6//%,4! \)/G! -,:&61%1! /6/#&! 0):-#&! 0:-%,:%! /%0%#/:M7]! EM%! 1#4#! )=4#-,%1! -,! 4M-0! 0%:),1! 04#J%! )$! 4M%! A/)(%:4! \%/%! 06=(%:4%1! 4)! 4M%! 0#5%! #,#&D4-:#&! A/):%16/%0! #0! 4M%! 1#4#! %&-:-4%1! $/)5! 6,1%/J/#16#4%! 0461%,40]! EM%! 0-5-&#/-4-%0! #,1! 1-$$%/%,:%0! =%4\%%,! 4M%! 0461%,40o! A/%K4%#:M-,J! \)/1! #00):-#4-),0! #,1! 4M%! A/)$%00-),#&0o! \)/1! #00):-#4-),0! A/).-1%! #! :),4%346#&!$/#5%!\-4M-,!\M-:M!4M%!A)04K4%#:M-,J!/%06&40!:#,!=%!A)0-4-),%1]!

EM-0! A#A%/! A/%0%,40! 4M%! $-,1-,J0! $/)5! 4M%! $-/04! AM#0%! )$! 4M%! 0461D8! :)5A#/-,J! #,1! :),4/#04-,J! 4M%! \)/1! #00):-#4-),0! )$! m,).-:%0o! #,1! A/)$%00-),#&08! #,1! M-JM&-JM4-,J! 4M%! :),:%A46#&! #/%#0! 4M#4! 0461%,40! \-&&! *M)A%$6&&D7!-,:&61%!\M%,!4M%D!:)5A&%4%!4M%!4M-/1!#,1!$-,#&!04#J%!)$!4M%!A/)(%:48!4M%!$)&&)\K6A!4#0G!4M#4!\-&&! =%!:)5A&%4%1!#4!4M%!%,1!)$!4M%!:)6/0%]! S)4%k!24M-:#&!#AA/).#&!$)/!4M%!0461D!\#0!)=4#-,%1!$/)5!#!+,-.%/0-4D!)$!'=%/1%%,!24M-:#&!"%.-%\!;)55-44%%]! ! :#`%E)!3)C%()5!1*3!(#0*%&%C)!1`%E%&%)5!%*!&)1(N%*0!=*0E%5N!15!1!,#/)%0*!E1*0D10)! ;#/5%,!9/%4),%0! +,-.%/0-1#1!1%!'&5%/Q#! !

2,J&-0M! #0! #! $)/%-J,! &#,J6#J%! :#,! =%! 4#6JM4! 60-,J! 05#&&! 5)=-&%! 1%.-:%08! 5#-,&D! #1.#,:%1! 5)=-&%! AM),%08! 05#/4AM),%0!#,1!4#=&%40]!EM-0!-0!:),0-1%/%1!w5)=-&%!&%#/,-,Jx!*5K&%#/,-,J7!#,1!:#,!=%!1%0:/-=%1!#0!#!,%\! &%#/,-,J!#AA/)#:M!*S#-05-4M!%4!#&]!ellgb!;#=#&&X!%4!#&]!eldlb!Z#/G!elddb!F)5=),#!%4!#&]!eldf7]!EM%!&#:G!)$! /%0%#/:M!-,!-40!A%1#J)J-:#&!#AA/)#:M!*5K4%#:M-,J7!(604-$-%0!4M%!-5A)/4#,:%!)$!4M-0!-,.%04-J#4-),!*2:M%.#//Q#! %4! #&]! elddb! W%#/,%D! %4! #&]! eldeb! "#5=%! %4! #&]! eldf7]! EM-0! /%0%#/:M! -,4%,10! 4)! #,#&D@%! 4M%! 64-&-4D! )$! 4M%0%! 1-0A&#D0! -,! 4M%! 2,J&-0M! #0! #! F)/%-J,! L#,J6#J%! :&#00! #,1! 0%%! M)\! 4M%D! $#:-&-4#4%! #,! %,.-/),5%,4! -,! \M-:M! -,4%/#:4-),! -0! %#0D! #,1! A/).-1%0! 4M%! #:>6-0-4-),! )$! &#,J6#J%! 04/6:46/%0! #,1! 4M%! 1%.%&)A5%,4! )$! :)J,-4-.%! #=-&-4-%0! *L#,J#:G%/! drstkrr7]! F)/! 4M-0! #-5! 4M%! -,4%/#:4-),0! )$! #,! 2,J&-0M! N461-%0! :&#00! #/%! #,#&D@%1! >6#,4-4#4-.%&D! #,1! >6#&-4#4-.%&D]! EM%! #,#&D0-0! $):60%0! ),! -,$)/5#4-),! $&)\! #5),J! A#/4-:-A#,40! #,1! )4M%/! 0)6/:%08! #,1! M)\! 4M%0%! #$$%:4! \M#4! -,$)/5#4-),! -0! #44%,1%1! 4)8! 4/#,05-44%1! #,1! 60%1! *C)&&#,! %4! #&]! elllb! B#J&-)!%4!#&]!elllb!S#/1-!%4!#&]!elll7]!'0!#!\M)&%8!4M-0!0461D!0M)\0!M)\!5)=-&%!4%:M,)&)JD!A)0%0!:)J,-4-.%! #,1!0):-#&!:M#&&%,J%0!\M-:M!-,:&61%!4M%!%04#=&-0M5%,4!)$!:)55),!J/)6,1!#,1!:))/1-,#4-),!)$!#44%,4-),]!BK &%#/,-,J! -,.)&.%0! :)J,-4-.%! A/):%00-,J! \M-:M! :#,! =%! *A#/4-#&&D7! 6,1%/04))1! =D! 4/#:G-,J! A/)A#J#4-),! )$! /%A/%0%,4#4-),0!#,1!=D!%3#5-,-,J8!A/)=&%5K0)&.-,J!#,1!&#,J6#J%!60%!#0!()-,4!#:4-.-4-%0!4)!6,1%/04#,1!M)\! 1-0:)6/0%!#44/-=64%0!#$$%:4!4M%!:)&&#=)/#4-.%!%3:M#,J%!)$!-,$)/5#4-),]!BK4%#:M-,J!/%>6-/%0!4M%!G,)\&%1J%!)$! #&&!4M%0%!A/):%00%0]!U,!:),:&60-),8!$6/4M%/!/%0%#/:M!0M)6&1!=%!1),%!),!4M-0]!

"%$%/%,:%0!

;#=#&&X8! N]! %4! #&]! eldl]! +0-,J! 5)=-&%! 1%.-:%0! 4)! 06AA)/4! ),&-,%! :)&&#=)/#4-.%! &%#/,-,J]! ?)H65"$ K.9)#<'&6).$ ;2!&"<!!jk!et`gt]!!

2:M%.%//Q#8! ']! %4! #&]! eldd]! F#:%K4)K$#:%! :)&&#=)/#4-.%! &%#/,-,J! 06AA)/4%1! =D! 5)=-&%! AM),%0]! K.&"#'8&6B"$ C"'#.6.4$=.B6#).<".&!!dr]gk!fhdKfjf]!

F)5=),#!;#1#.-%:)8!R]!v!Z#0:6#&!N%.-&&#,)8!B]!']!eldf]!9%,%$-:-)0!1%&!5K&%#/,-,J!%,!&#!216:#:-<,!N6A%/-)/]! =*-8'&6)$;645)$vvK!fd]ek!eddKefg]!

C)&&#,8! R]! %4! #&]! elll]! O-04/-=64%1! :)J,-4-),k! E)\#/1! #! ,%\! $)6,1#4-),! $)/! M65#,K:)5A64%/! -,4%/#:4-),! /%0%#/:M]! F)-#.'5$ ND?$ E#'.!'8&6).!$ ).$ D)<(-&"#+X-<'.$ K.&"#'8&6).$ hEMDXKi$ K! NA%:-#&! -006%! ),! M65#,K :)5A64%/!-,4%/#:4-),!-,!4M%!,%\!5-&&%,,-65]!Z#/4!e]!H)&]t]ek!dtgKdrj]!

W%#/,%D8! B]! elde]! H-%\-,J! 5)=-&%! &%#/,-,J! $/)5! #! A%1#J)J-:#&! A%/0A%:4-.%]! I"!"'#8,$ 6.$ C"'#.6.4$ E"8,.)5)42!elk!dKdt]!

L#,J#:G%/8! "]! drst]! A)-.*'&6).!$ )9$ D)4.6&6B"$ L#'<<'#@$ E,")#"&68'5$ >#"#"[-6!6&"!0$ G)5-<".$ ^]! N4#,$)/1k! N4#,$)/1!+,-.%/0-4D!Z/%00]!

B#J&-)! %4! #&]! elll]! O-04/-=64%1! ;)J,-4-),! #,1! R)-,4! ':4-.-4D! -,! ;)5A64%/KND04%5! '15-,-04/#4-),]! U,! M44Akaa\\\]A&6,G])/Ja%=%,aZ6=&-0M%1Z#A%/0a"%0)6/:%KB#J&-)KNHK$-,#&]A1$]!lealfaeldg]!ZA]!dKee]!

S#-05-4M8! L]! %4! #&]! ellg]! L-4%/#46/%! "%.-%\! -,! B)=-&%! E%:M,)&-J-%0! #,1! L%#/,-,J]! +,-.%/0-4D! )$! 9-/5-,JM#5! E%:M,-:#&! "%A)/4! dd]! U,! M44Akaa4%&%#/,]#/:M-.%0K)6.%/4%0]$/a1):0alladraldagfaZOFaS#-05-4Mnellg]A1$! lealfaeldg]ZA]dKgs]!

S#/1-8! 9]']! %4! #&]! elll]! U,4%/#:4-),! #,1! P64%/#:4-),k! U,04#,4! B%00#J-,J! -,! ':4-),]! U,! W%&&)JJ8! I]! #,1! IM-44#G%/8! N]! Z/):%%1-,J! ;N;I! yll! Z/):%%1-,J0! )$! 4M%! elll! ';B! :),$%/%,:%! ),! ;)5A64%/! 06AA)/4%1! :))A%/#4-.%!\)/G]!S%\!^)/Gk!';B]!ZA]!trKss]!

Z#/G8! ^]! eldd]! '! Z%1#J)J-:#&! F/#5%\)/G! $)/! B)=-&%! L%#/,-,Jk! ;#4%J)/-@-,J! 216:#4-),#&! 'AA&-:#4-),0! )$! B)=-&%! E%:M,)&)J-%0! -,4)! F)6/! EDA%0]! ! K.&"#.'&6).'5$ I"B6"3$ )9$ I"!"'#8,$ 6.$ M(".$ '.*$ V6!&'.8"$ C"'#.6.4]!