La terza fase del progetto di ricerca (WP3) si è rivolta alla valutazione dell’apprendimento utilizzando il format progettato. E’ stato realizzato uno studio pilota il cui obiettivo era di sperimentare quale fosse l’effettivo potenziale del format “USiena” in termini di fruibilità dei contenuti in mobilità e di efficacia dell’apprendimento. L’ipotesi sperimentale era che il
format “USiena” rendesse più facile la trasmissione dei contenuti verso i discenti migliorando l’apprendimento.
Il format “USiena” è stato confrontato con il format utilizzato dalle altre istituzioni presenti nella piattaforma iTunesU (format Sparring), comparando l’acquisizione della conoscenza da parte dei discenti sulla base del format utilizzato. I format analizzati sono stati: Solo video, Video con slide, Solo audio, Slide con audio.
Per ciascun format Sparring esaminato sono state realizzate due distinte sperimentazioni, a cui ha partecipato lo stesso gruppo di soggetti. Nel primo caso si è voluto indagare sull’utilità del format come supporto alla didattica: la valutazione dell’apprendimento è stata immediata, ma gli studenti non sono stati informati sui risultati della prova sostenuta. Nel secondo caso si è voluto indagare sull’utilità del format come supporto agli esami (simulando l’attività di ripasso dei contenuti delle lezioni): la sperimentazione è stata effettuata a distanza di due mesi dalla precedente, la valutazione dell’apprendimento è stata immediata e sono stati comparati i risultati di entrambe le prove.
E’ stata predisposta una procedura standardizzata, di seguito descritta, che prevedeva l’utilizzo del metodo sperimentale e che è stata seguita in ciascun esperimento. La variabile indipendente è il format utilizzato mentre la variabile dipendente è il numero di risposte esatte fornite dagli studenti alla fine degli esperimenti (livello di apprendimento).
Viste le criticità elencate nel capitolo 3 della tesi, il reclutamento dei soggetti (docenti e studenti) è avvenuto su base volontaria. I primi si sono dimostrati abbastanza restii ad essere video-ripresi durante lo svolgimento delle loro lezioni, mentre i secondi sono stati molto più propensi a partecipare agli esperimenti.
Di conseguenza le scelte progettuali relative ai corsi su cui effettuare le sperimentazioni, essendo collegate alla disponibilità dei docenti che hanno aderito all’iniziativa, sono state pressoché obbligate. Essendo un numero
molto limitato, non è stato possibile effettuare delle comparazioni (considerando le modalità d’insegnamento dei docenti, la tipologia del corso, l’area disciplinare etc.). Una volta ottenuta la disponibilità del docente, è stato inviato agli studenti di quello specifico insegnamento un invito a partecipare agli esperimenti.
Soggetti: hanno preso parte allo studio pilota 192 studenti universitari, 93 maschi e 99 femmine, di età compresa fra i 19 e i 27 anni, suddivisi in 10 sperimentazioni formate da 32 soggetti ciascuna (tendenzialmente 16 maschi e 16 femmine quasi sempre diversi da sperimentazione a sperimentazione), iscritti a corsi di laurea fra loro eterogenei (scienze economiche, scienze fisiche, scienze giuridiche, scienze matematiche, scienze naturali, scienze politiche, scienze sociali, scienze umane).
Metodologia: da una lezione tenuta dal docente sono stati estratti due argomenti, per ciascuno dei quali sono stati realizzati due contenuti prototipali (utilizzando il format “USiena” e il format “Sparring”). Il compito assegnato agli studenti era di ascoltare e/o visionare i contenuti didattici relativi ai due argomenti scelti; ciascuno di loro poteva interrompere liberamente l’ascolto o la visione, in modo da approfondire meglio quei concetti che non aveva compreso. Inoltre, durante l’esecuzione del compito assegnato, sono stati invitati a parlare a voce alta – in modo da videoregistrare non solo l’interazione ma anche i dubbi e le perplessità eventualmente emersi (tecnica del “thinking aloud”). I soggetti sono stati informati che le risposte alle loro domande sarebbero state fornite soltanto al termine dell’esperimento.
Procedura: ogni sperimentazione è stata suddivisa in quattro esperimenti “between subjects”, ciascuno dei quali è stato condotto in una prospettiva mobile. E’ stato scelto uno spazio esterno vicino all’edificio universitario, il compito è stato svolto in mezzo alla gente, la location non è stata preventivamente attrezzata, i soggetti sono stati video-ripresi a loro insaputa (sono stati informati delle riprese soltanto al termine del compito), non sono state utilizzate telecamere fisse (tale strumentazione è stata nascosta prima dell’inizio della prova). I 32 studenti, mediante estrazione a
sorte, sono stati suddivisi in quattro gruppi formati da 8 soggetti ciascuno. Ogni gruppo ha partecipato a un singolo esperimento, in ciascuno dei quali è stato utilizzato un iPad (con l’App iTunesU installata) per visionare un contenuto video e/o un iPod per ascoltare l’altro contenuto in un formato audio. Per poter effettuare una corretta comparazione, è stato deciso di produrre dei contenuti audio e video della durata di 10 minuti per entrambi i format (dal punto di vista della tempistica i format utilizzati dalle istituzioni presenti in iTunesU risultano totalmente eterogenei).
Valutazione: al termine di ogni esperimento è stato utilizzato un questionario a risposte multiple con sessanta domande, trenta per ogni argomento con cinque possibili risposte per ogni domanda, in modo da valutare il livello di apprendimento dei discenti. In questa maniera, considerando il numero di risposte esatte fornite, è stato possibile comparare l’acquisizione della conoscenza da parte degli studenti. La sperimentazione si è conclusa con un’intervista individuale in modo da ricevere dagli studenti un feedback diretto e immediato.
Risultati: per ciascun esperimento è stato calcolato il valore medio delle risposte esatte (media, mediana e deviazione standard) – considerando il format utilizzato e il compito assegnato. Sui valori ottenuti dai 32 soggetti è stato applicato il test di Wilcoxon-Mann-Whitney: sono stati comparati i valori delle variabili all’interno dello stesso esperimento (Wilcoxon Signed Rank Test) ed è stato comparato il valore della singola variabile fra i quattro esperimenti (Wilcoxon Rank Sum Test). Le interviste sono state categorizzate sulla base di tre tematiche fondamentali: aspettative individuali (Il format USiena soddisfa le tue aspettative (SI/NO)?, Perché?), attività formativa (Su una scala di valori 1-5 (molto insufficiente-ottimo) come valuti, per ciascun format, l’attività formativa?), User eXperience (Utilizzando la stessa scala di valori, come valuti la tua esperienza di utilizzo dello strumento (iPad o iPod) e del format (USiena o Sparring)?).
L’obiettivo dello studio pilota era di comparare i livelli dell’apprendimento attraverso i risultati ottenuti dagli studenti nei quattro esperimenti. Lo studio si è concluso con due sperimentazioni aggiuntive, “iPad vs iPod: a comparison of support tools” e “Engage students with dyslexia in video-
based learning activities”. Nel primo caso si è voluto replicare la sperimentazione del format “Solo audio”, in quanto i risultati ottenuti avevano inficiato le ipotesi sperimentali. Nel secondo caso si è cercato di valutare l’utilità del format in situazioni di disabilità (studenti dislessici).