Studio, implementazione e confronto di
percorsi di storytelling per la
comunicazione museale in ambienti
virtuali
Candidato Marianna Colombo Relatore Marcello Carrozzino Correlatore Chiara Evangelista Anno Accademico 2016-2017Vorrei innanzitutto ringraziare la mia famiglia per il supporto che mi ha dato in questi anni passati lontani da casa. I miei genitori che mi hanno sostenuto durante le lunghe telefonate in cui passavo da momenti di gioia a momenti di ansia terribile. Mio fratello Alessio, per me il genio in assoluto dell’informatica, colui che è sempre stato disponibile a chiamate, videochiamate in Skype a orari inpensabili per aiutarmi con programma-zione, il mio incubo più grande.
La mia migliore amica Irene, anche se siamo lontane ci sei sempre stata per me, mi hai incoraggiato a stringere i denti anche quando te eri giù per i tuoi problemi. Anche se per la mia discussione non ci sarai so che mi sarai vicina con il cuore. Ti voglio un sacco di bene Nene!
Belén che mi ha dato ottimi consigli sulla grafica utili per il futuro. Un grazie sincero! Stando a Pisa per diversi anni ho avuto la possibilità di conoscere persone meravigliose che spero di riuscire a ringraziare esaustivamente in queste righe.
Mafalda, la prima persona che ho conosciuto all’inizio di questa avventura da fuori sede. Una ragazza d’oro che mi ha saputo calmare nei momenti di panico pre-esame ma anche darmi la forza di resistere durante i periodi peggiori. Ti voglio ringraziare di cuore per essere stata sempre presente.
Massimiliano, meglio conosciuto come Mastergroove, un carissimo pisano che ha parte-cipato personalmente al progetto registrando i contenuti della voce narrante. Grazie di avermi aiutato e di esserci sempre.
Le mie care siciliane Laura e Federica, con cui ho passato innumerevoli ore a studiare in cucina, a chiacchierare, ma anche bellissime serate e giornate di lavoro. Non vedo l’ora di vedervi presto!
La mia sarda preferita Francesca, una coinquilina d’oro con la quale ho stretto un fortis-simo legame fatto di confidenze, litigate per le pulizie, balli in cucina, gelati per calmare l’ansia da esami. Un bacione grandissimo, eja!
Tutte le persone che ho conosciuto in questi anni con cui ho passato bellissimi momenti e sono sicura ne passerò altri mille! Un grazie sincero!!
Vorrei infine ringraziare il mio relatore Marcello Carrozzino che mi ha dato la possibili-tà di avvicinarmi e migliorare in questo campo particolare che spero possa diventare il mio lavoro futuro. Un grazie sincero anche allo staff del laboratorio PERCRO, Chiara, Cristian e Raffaello che, con i loro consigli e aiuto mi hanno permesso di concludere questa tesi.
Elenco delle figure vi
Elenco delle tabelle viii
1 Introduzione 1
2 Stato dell’arte 3
2.1 Introduzione . . . 3
2.2 Applicazioni non interattive . . . 4
2.2.1 3D Animato . . . 4
2.2.2 3D Immersivo - Virtual Reality - Augmented Reality . . . 9
2.3 Applicazioni interattive . . . 11 2.3.1 2D Animato . . . 11 2.3.2 3D Animato . . . 13 2.3.3 3D Immersivo . . . 16 2.3.4 Serious Game . . . 20 2.4 Considerazioni . . . 30 3 Progetto 33 3.1 Programmi Utilizzati . . . 33 3.1.1 3ds Max (versioni 2014-2016-2017) . . . 33 3.1.2 Adobe Photoshop CS6 . . . 34 3.1.3 XVR . . . 34 3.1.4 Speaking Avatar . . . 36 3.1.5 Adobe audition . . . 37 3.2 Galleria Virtuale . . . 38 3.3 Modello 3D . . . 49
3.3.1 Modellazione degli ambienti . . . 49
3.3.2 Oggetti . . . 49 3.3.3 Illuminazione . . . 50 3.3.4 Lightmap . . . 50 3.3.5 Visualizzazione e navigazione . . . 51 4 Test e discussione 57 4.1 Miglioramenti dell’applicazione . . . 61 5 Conclusioni 63 A File e codici 65 A.1 Opere esposte . . . 65
A.1.1 Sala egiziana . . . 65
A.1.2 Sala etá classica . . . 66 v
A.1.3 Sala vichinga-medievale . . . 66
A.1.4 Sala galleria di quadri . . . 68
A.2 Codice sorgente . . . 69
A.2.1 Primo percorso . . . 69
A.2.2 Secondo percorso . . . 73
A.2.3 Terzo percorso . . . 78
A.3 Testo per il secondo e terzo percorso . . . 84
A.4 Questionari per i test utente . . . 89
2.1 Primo piano di Ati. . . 4
2.2 Riferimenti per la creazione del modello di Ati. . . 5
2.3 (Sinistra) modello 3D della parte esteriore della Moschea Islamica . (De-stra) Parte esteriore della Basilica Bizantina. . . 6
2.4 (Sinistra) Immagini storiche del vestiario del periodo Ottomano. (Destra) Avatar virtuali. . . 6
2.5 Cenotafio Marcus Caelius. . . 7
2.6 Realizzazione dell’avatar in ambiente Sim3. . . 7
2.7 Editing con tecnica Chroma key. . . 8
2.8 Luigi la guida turistica virtuale. . . 8
2.9 Atleti virtuali in realtà aumentata. . . 9
2.10 Folla virtuale in una strada della città. . . 10
2.11 I vertici dei grafi sono colorati per differenziare il tipo di comportamento (bianco: "guarda", nero: "basta guardare", rosso: "punto di interesse"). 11 2.12 Max durante l’interazione con i visitatori. . . 11
2.13 Postazione dove l’utente può interagire con Tinker. . . 13
2.14 Postazione dove gli utenti possono interagire con Ada e Grace. . . 14
2.15 Esempio di interazione tra i visitatori con Ada e Grace. . . 15
2.16 Esempio di interazione attraverso la chat. . . 15
2.17 Mappa del moondo virtuale. . . 17
2.18 Esempio di interazione con gli altri avatar. . . 17
2.19 Ambiente virtuale dei giochi. . . 18
2.20 Esempio di interazione con gli altri avatar. . . 18
2.21 Acquisizione tramite camera RGBD. . . 19
2.22 Ambiente virtuale(sinistra) e mastro artigiano (destra). . . 20
2.23 Utilizzo LIM per interazione con ambiente virtuale (sinistra). Esempio di sovrapposizione delle proprie mani con quelle dell’artigiano. . . 20
2.24 Applicazione mobile con il maggiordomo Edgar. . . 21
2.25 Il gioco "Il tesoro di Monserrate". . . 22
2.26 Panoramica dell’ambiente virtuale. . . 22
2.27 Esempio di interazione con l’avatar. . . 23
2.28 Avatar in azione. . . 24
2.29 Utilizzo di Wiimote e Nintendo Balance Board. . . 24
2.30 Ambiente virtuale in Thiatro. . . 25
2.31 Opere esposte nella galleria virtuale. . . 26
2.32 Ambiente virtuale. . . 26
2.33 Livelli di interazione (LoI). . . 27
2.34 Esempio di interazione. . . 28
2.35 Partecipante durante il test. . . 28
2.36 Peritiae. . . 29
2.37 Scie colorate della folla. . . 29 vii
3.1 Struttura dei cicli di XVR . . . 35
3.2 Estratto della struttura del file prodotto a partire da una traccia audio da annosoft lipsync tool . . . 37
3.3 Mixer BeringerDJX750. . . 38
3.4 Vista dall’alto degli ambienti. . . 38
3.5 Anticamera. . . 39
3.6 Sala egiziana. . . 40
3.7 Sala egiziana. . . 40
3.8 Sala egiziana. . . 40
3.9 Sala classica. Particolare dei reperti di origine romana. . . 41
3.10 Sala classica. Particolare dei reperti di origine greca. . . 42
3.11 Lewis Chessmen al British Museum. . . 43
3.12 Sala vichinga-medievale. Particolare dei reperti vichinghi. . . 43
3.13 Sala vichinga-medievale. Particolare dei reperti medievali. . . 43
3.14 Galleria di quadri . . . 48
3.15 Galleria di quadri . . . 48
3.16 Galleria di quadri . . . 48
3.17 Esportazione da 3Ds Max in XVR con il collegamento alle lightmap(Texture Rendering) . . . 50
3.18 Esempi di diversa resa degli ambienti. . . 51
3.19 Costruttore della classe billboard . . . 52
3.20 Posizionamento della billboard all’ingresso della sala, (sala vichinga-medievale) . . . 53
3.21 Posizionamento della billboard a lato dell’opera esposta, (sala vichinga-medievale) . . . 53
3.22 Costruttore della classe CVmVRAWav . . . 54
3.23 Avatar nella sala egiziana . . . 55
4.1 Calcolo media e varianza per la prima domanda: coinvolgimento dei sensi. 58 4.2 Calcolo media e varianza per la seconda domanda: coinvolgimento del-l’aspetto visivo della mostra. . . 59
4.3 Calcolo media e varianza per la terza e quarta domanda attinenti alla comprensione dei contenuti. . . 60
4.4 Calcolo media e varianza per la quinta domanda: quanto l’esperienza ha aiutato a comprendere i contenuti. . . 60
A.1 Opere esposte nella sala egiziana. . . 65
A.2 Opere esposte nella sala classica. . . 66
A.3 Armi vichinghe. . . 66
A.4 Monete medievali.[55] . . . 67
A.5 Pedine da scacchi Lewis Chessmen. . . 67
A.6 Scudo medievale.[39] . . . 68
A.7 Opere esposte nella sala dei quadri.[21] . . . 68
A.8 Questionario demografico, valido per tutti e tre i percorsi. . . 90
A.9 Questionario di presenza per il percorso 1. . . 91
A.10 Quiz a crocette valido per tutti e tre i percorsi. . . 92
A.11 Quiz a crocette valido per tutti e tre i percorsi. . . 93
A.12 Questionario di presenza per il percorso 2. . . 94
2.1 Applicazioni che utilizzano embodied agents. Nessuna interazione prevista 31
2.2 Applicazioni che utilizzano embodied agents. Interazione prevista . . . . 31
2.3 Applicazioni che utilizzano embodied agents . . . 32
3.1 Opere egizie. . . 41
3.2 Opere classiche . . . 42
3.3 Reperti vichinghi. . . 44
3.4 Monete medievali. . . 45
3.5 Monete medievali. . . 46
3.6 Scudo e pedine degli scacchi Lewis Chessmen1 . . . 47
3.7 Quadri . . . 49
4.1 Risultati ottenuti dai test utente per le tre domande principali. Ogni cella segue il formato media (varianza σ2) . . . 60
Introduzione
«Il concetto di bene culturale è oggi in una fase di cambiamento ed evoluzione. Il valore ad esso attribuito comincia a dipendere, oltre che dal bene in sé, anche dal grado di fruizione che è capace di ottenere da parte di un pubblico di utenti. Il valore del patri-monio culturale, sia esso storico, artistico, archeologico o paesaggistico è oggi, dunque, sempre più legato anche al grado di fruizione che si riesce a conferirgli»[8]
Nell’ambito didattico la valorizzazione della cultura è un aspetto da tenere in particolare conto. I fruitori e, in particolare, le persone che non appartengono al campo culturale, possono oggi fare uso di nuovi sistemi per apprendere il valore delle opere e accrescere la propria conoscenza. In quest’ottica l’impiego delle nuove tecnologie quali la Realtà Virtuale e la Realtà Aumentata può migliorare notevolmente l’esperienza dell’utente. Stanno nascendo sempre più applicazioni virtuali che oltre a impiegare modelli 3D, po-polano gli ambienti con embodied agents1. L’ausilio di queste figure può svolgere un ruolo rilevante nella fruizione dei contenuti. La possibilità per l’utente di interfacciarsi con un attore virtuale può aumentare notevolmente il livello di attenzione, in quanto stimola curiosità e maggiore coinvolgimento nell’esperienza. Il lavoro svolto nella tesi si concentra sui possibili effetti positivi che l’impiego di tali figure può apportare nel-l’ambito culturale didattico, proponendo un’applicazione interattiva ambientata in un museo virtuale sulla quale viene effettuato uno studio comparativo fra diverse tipolo-gie di ausili alla fruizione. Nel primo capitolo della tesi si delinea un ampio panorama delle applicazioni virtuali, interattive e non, che utilizzano embodied agents, offrendo al termine un’analisi di quanto esaminato. Il secondo capitolo si concentra sul progetto elaborato, presentandone architettura e implementazione. Nel terzo capitolo vengono analizzati i risultati dei test effettuati su un campione di utenti. Il quarto esporrà le conclusioni finali.
1
con il termine embodied agent si intende un personaggio generato al computer con le sembianze di un essere umano
Stato dell’arte
2.1
Introduzione
La comunicazione dei beni culturali è un tema di grande importanza che spesso può risultare spinoso e di difficile assolvimento. La cultura non è legata alle caratteristiche fisiche degli oggetti, ma alla loro capacità di suscitare emozioni, istituire nessi, risve-gliare curiosità. Comunicare equivale, dunque, a fare cultura e fare cultura equivale a comunicare. Per rendere importante un bene culturale agli occhi di un pubblico (grande o piccolo che sia) è importante comunicarne gli aspetti salienti e quindi, per l’analogia sopra stabilita, fare cultura. Comunicare bene è dunque il modo per valorizzare i beni culturali agli occhi del pubblico, e questo vuol dire rendere importanti i beni culturali agli occhi della società. [20, p.51 ] La comunicazione può essere avvantaggiata dalla realtà virtuale, tecnologia capace di unire scientificità dei contenuti a una forma nuova e accattivante di valorizzazione e fruizione di questi. Tali ricostruzioni virtuali possono essere popolate da virtual humans, personaggi virtuali che svolgono determinate azioni all’interno dell’ambiente 3D, interagendo o meno tra di loro e con gli utenti.
All’interno di questo capitolo si cercherà di delineare un elenco delle principali ap-plicazioni didattiche che impiegano questi attori simulati, in particolare virtual agents e avatar per la fruizione della cultura. Con il termine virtual agent si identifica un per-sonaggio digitale e interattivo che non deve necessariamente avere un aspetto umano ma ne possiede diverse abilità come la cognizione, la comunicazione verbale e gestuale ecc. Un avatar è una rappresentazione digitale, bidimensionale (immagini statiche o in movimento) o tridimensionale (personaggi di video-games). L’utilizzo di tali figure può aumentare notevolmente la qualità e l’interattività delle applicazioni, giovando a quelle tipologie di fruitori come studenti e bambini che solitamente possono mostrare difficoltà nel mantenere l’attenzione. Come si vedrà negli esempi riportati, i virtual hu-mans 1 possono agire in ambienti ricostruiti virtualmente o nell’ambiente reale.Si noti che in letteratura a volte si fa un’altra distinzione fra avatar (virtual humans alter-ego di esseri umani reali di cui replicano i movimenti) e agents (virtual humans guidati da intelligenza artificiale ). Lo studio dello stato dell’arte ha evidenziato due macrocate-gorie di applicazioni, quelle in cui è presente l’interazione con l’utente e quelle in cui
1termine generale che comprende sia embodied agents che avatar
tale interazione non c’è. Al loro interno si individuano ulteriori sottocategorie identi-ficate dalla tipologia di contenuto, con un livello crescente di immersione e interazione (laddove presente): 2D animato, 3D animato, 3D immersivo, Serious games.
2.2
Applicazioni non interattive
2.2.1 3D Animato
ATI Alla Scoperta di Veio (2004)
Nel 2014 CINECA2 ha realizzato il cartoon 3D Ati alla scoperta di Veio con la regia
di Giosuè Boetto Cohen che va ad integrare il precedente cortometraggio ’Apa l’etrusco alla scoperta di Bologna’ del 2012 considerato una novità per i filmati divulgativi di tipo museale. Nella versione recente presentata il 23 ottobre 2014 presso il Museo Nazionale Etrusco di Villa Giulia, Ati, cugina di Apa, racconta il legame tra gli etruschi del Nord e quelli del Sud guidando gli spettatori attraverso le sale del museo fino al santuario di Portonaccio a Veio, uno dei più importanti luoghi di culto dell’antichità. La motivazione che ha portato a impiegare la tecnica del video animato è da ricondurre al generale momento di crisi che rischia di produrre una battuta d’arresto anche per la funzione di ’veicolare’ conoscenza e cultura propri delle istituzioni museali. [22] L’adozione di un linguaggio più comprensibile e di uno stile più accattivante nella comunicazione verbale, il ricorso a nuove potenzialità offerte dall’innovazione tecnologica e a nuove modalità di comunicazione visiva da essa scaturite mirano a migliorare l’esperienza del visitatore e a catturarne l’attenzione.
. Figura 2.1: Primo piano di Ati.
2Consorzio Interuniversitario senza scopo di lucro formato da 70 università italiane, 5 Enti di Ricerca
Nazionali e il MIUR costituito nel 1969, ad oggi è il maggiore centro di calcolo in Italia ed uno dei più importanti a livello mondiale. http://www.cineca.it/it/content/chi-siamo
Figura 2.2: Riferimenti per la creazione del modello di Ati.
Per conferire una voce subito riconoscibile al pubblico è stata scelta Sabrina Ferilli, lo stile si adatta ad uno schema narrativo caratterizzato da una formulazione rapida e immediatamente comprensibile dei processi storici e archeologici presentati. Nel caso del cugino Apa la voce era dell’ormai scomparso Lucio Dalla. Entrambi i cartoon sono stati realizzati con la tecnica di modellazione 3D comprendente anche scansioni laser, foto-modellazione ed elaborazione di modelli a partire da risorse messe in condivisione dalla comunità di Blender. Nel caso di Apa solo il 3% dei modelli aveva origine da scansioni e/o fotogrammetria mentre per Ati circa i due terzi dei modelli. Questo ha velocizzato decisamente la creazione dei modelli accrescendone la precisione e favorendone anche l’uso per la stampa 3D.
I protagonisti sebbene immaginati come cugini, presentano delle differenze fisiche non casuali, bensì scelte appositamente dagli archeologi per sottolineare la provenienza da ambiti territoriali e culturali diversi, pur sempre appartenendo alla comunità etru-sca. Il nome Ati (Fig. 2.1) che significa madre, si ricollega a quello del cugino Apa, ossia padre, e vuole in qualche modo evocare una sorta di figura materna per le altre testimonianze etrusche presenti nel museo. La creazione del personaggio si è avvalsa di iconografie di riferimento, sia per l’arredamento e gli oggetti utilizzati, sia per i gioielli, in voga verso la fine del VI sec. a.C, l’acconciatura e il vestiario (in particolare i calcei, le calzature a punta e il tutulus, il cappello) , ispirato alla dama del Sarcofago degli Sposi. (Fig. 2.2) Lo schema narrativo di Ati si muove in una sorta di doppio spazio, quello delle sue origini, l’Etruria meridionale, e quello attuale.
The Virtual Restitution Of The Church Of Hagia Sophia (2007)
La basilica di Santa Sofia è uno dei principali monumenti di Istanbul. Terminata nel 537, fu cattedrale cristiana di rito bizantino fino al 1453 e sede patriarcale greco-ortodossa (Patriarcato ecumenico di Costantinopoli), cattedrale cattolica (1204-1261), poi mo-schea, infine museo dal 1935. Nel 1996 è stata annessa alla lista dei monumenti a rischio dal World Monuments Watch.
Le motivazioni che hanno portato alla realizzazione di un modello 3D del complesso sono attribuibili allo stato di rischio in cui versa l’edificio. La decisione di popolarlo con personaggi virtuali è da ricondursi alla veicolazione delle informazioni culturali.
Le interazioni sociali permettono di migliorare la comprensione del sito archeologico nell’insieme, incentivando l’utente nell’esplorazione e nelle acquisizioni di nuove nozioni che altrimenti andrebbero perdute o sarebbero di difficile comprensione. Per rafforzare il sentimento di immersione nell’ambiente virtuale, gli autori sottolineano l’importanza di ricreare la vita virtuale, descrivendo contemporaneamente l’evoluzione architetturale dell’edificio.[12]
Il modello (Fig. 2.3) è stato realizzato con la tecnica della modellazione poligonale utilizzando il software 3D Studio Max 4.2TM. Per permettere la visualizzazione real-time e non, particolare cura è stata posta nella creazione delle texture, sottoposte a down-sampled per ridurre il tempo di caricamento e alla creazione delle mesh degli elementi critici in modo da mantenere il numero di poligoni basso senza comunque perdere la resa grafica. A questo scopo, molti elementi sono stati modellati manualmente punto per punto.
Figura 2.3: (Sinistra) modello 3D della parte esteriore della Moschea Islamica . (Destra) Parte esteriore della Basilica Bizantina.
I personaggi virtuali (Fig. 2.4) sono stati vestiti alla moda del periodo Ottomano, con grande cura nella ricerca di modelli e pattern. Ciò ha permesso di rendere più "vivo" l’ambiente.
Figura 2.4: (Sinistra) Immagini storiche del vestiario del periodo Ottomano. (Destra) Avatar virtuali.
Marcus Caelius Project (2012)
Marcus Caelius project - il valore della memoria - è un corto di animazione della durata di 8 minuti ambientato nella Bologna romana dell’età Augustea, realizzato da Cineca per il museo Civico di Bologna. La trama si basa su un fatto storico realmente acca-duto: Clades Variana o Battaglia di Teutoburgo in cui il 9 D.C tre legioni guidate da
Publius Quintilio Varo furono condotte in un’imboscata da tribù germaniche nel nord dell’impero romano. L’evento è stato tramandato da Tacinto e dal cenotafio del cen-turione bolognese Marcus Caelius (Fig. 2.5), attualmente conservato presso il Museo di Bonn. Il cortometraggio racconta il momento in cui al fratello Publius giunge notizia della sconfitta militare e della morte di Marcus.
Figura 2.5: Cenotafio Marcus Caelius.
Il filmato è realizzato con soluzioni open source secondo i principi del Cineca della trasmissione libera della cultura, nell’ottica di divulgare la conoscenza ai giovani, coloro che solitamente hanno più difficoltà a mantenere l’attenzione. Il programma principale utilizzato è Blender, tool open source di modellazione 3D con il quale sono stati creati oggetti realmente presenti al museo e inseriti nel video, nell’ottica di permetterne il rico-noscimento del pubblico. L’ambiente è stato integrato con il modello virtuale di Bologna antica, precedentemente sviluppato per Apa l’Etrusco e 2400 anni di Storia Bologne-se. I personaggi virtuali sono stati creati con Sim3, (Fig. 2.6) assicurando un’ottima resa grafica, scientificamente accurata e mantenendo i costi contenuti. La scenografia è stata girata nell’ambiente Sim con la tecnica di animazione Machinimia, successiva-mente l’avatar è stato inserito nel set realizzato con Blender attraverso l’effetto speciale cinematografico Chroma key (Fig. 2.7)[9, 3].
Figura 2.6: Realizzazione dell’avatar in ambiente Sim3.
L’approccio Open Data è sicuramente un valido strumento per la creazione di rico-struzioni virtuali scientificamente accurate. La possibilità di riutilizzare progetti è un
aspetto di fondamentale importanza che assicura miglioramenti nella diffusione della cultura e della storia.
Figura 2.7: Editing con tecnica Chroma key.
The Digital Cathedral Of Siena - Innovative Concepts For Interactive And Immersive Presentation Of Cultural Heritage Sites(2000)
Il modello virtuale della cattedrale di Siena offre la possibilità di apprendere in un modo più accattivante e coinvolgente la storia e la cultura, permettendo di visitare virtual-mente l’edificio, senza danneggiare la struttura[16]. Nella realizzazione dell’applicazione si è perseguito il concetto dell’edutainment, letteralmente imparare facendo, ossia acqui-sire nuove informazioni culturali attraverso il coinvolgimento e l’interattività. La visita virtuale è infatti arricchita da un’interfaccia utente composta da due parti: un libro antico che consente di inserire input tramite touchscreen e Luigi, una guida virtuale come output (Fig. 2.8).
Figura 2.8: Luigi la guida turistica virtuale.
Modellato e animato in real-time con 3D studio Max, Luigi può muoversi nella cattedrale, guidando i visitatori nelle parti interessanti. Interagisce con gli utenti via audio, informandoli sull’architettura o sugli artefatti storici. Per l’animazione del corpo è stato usato uno speciale algoritmo denominato Skeleton Subspace Deformation che fa uso sia di segmenti geometrici rigidi e anche di singole superfici per definire la pelle. Le sequenze di animazione facciale sono state modellate utilizzando un set di 16 morph target che permettono di visualizzare il viso in un determinato movimento (es. occhi chiusi)e di sincronizzare il movimento delle labbra con l’audio. L’interazione vera e propria avviene attraverso un touch-screen sotto forma di un libro antico. Nella pagina sinistra viene visualizzata la mappa e le zone da visitare, l’utente, dopo aver selezionato
quella interessata, verrà accompagnato da Luigi. Le informazioni da lui narrate saranno disponibili visivamente nella pagina destra. Le possibilità di movimento sono state ridotte per non confondere gli utenti con la troppa libertà di azione, è stato aggiunto un sistema di collision detection per evitare movimenti dentro a statue o muri.
2.2.2 3D Immersivo - Virtual Reality - Augmented Reality Archeoguide: Guida In Realtà Aumentata Per Siti Archeologici (2004) Archeoguide (Augmented Reality-Based Cultural Heritage On-Site Guide) [52] è una particolare guida outdoor che mira a offrire una visione esaustiva di un sito archeologico grazie all’impiego della realtà aumentata che garantisce una ricostruzione fedele dell’a-spetto originario. Questa caratteristica è di fondamentale importanza per i turisti che spesso possono riscontrare difficoltà a comprendere un determinato luogo culturale che versa in condizioni di degrado o con esigue strutture rimaste. L’applicazione è stata installata e testata nel sito archeologico di Olimpia, in Grecia, con effetti decisamen-te positivi sul pubblico. Prima dell’implementazione del sisdecisamen-tema, è stato condotto un survey del sito per raccogliere tutti i dati necessari per i passi seguenti. Le informa-zioni ottenute sono state inserite assieme a foto aeree, in un sistema di informazione geografica (GIS) utilizzato per ricostruire la mappa delle altitudini. Da questo modello 3D sono stati identificati i maggiori punti di interesse e i corrispondenti punti di vista che hanno permesso di definire tour adatti e fotografare scatti ad alta risoluzione delle rovine dai punti di vista predefiniti lungo i cammini. Per ogni punto sono stati raccolti diversi set di fotografie simulando il movimento attorno a questo. Tutti i dati sono stati poi inseriti nel database assieme al modello 3D (nel formato Virtual Reality Modeling Language) ricostruito grazie a disegni e fonti archeologiche.
Figura 2.9: Atleti virtuali in realtà aumentata.
Archeoguide è fruibile su tre tipologie di mobile device ognuno con proprie carat-teristiche sviluppate per garantire un buon compromesso tra portabilità e funzionalità. In particolare, il palmare rileva la posizione dell’utente e fornisce informazioni digitali incorporando anche la visione in realtà aumentata di immagini e video. I dati vengono visualizzati dal visitatore ogni volta che avvicinandosi al punto di interesse visualizza il monumento sullo schermo. Un riscontro molto positivo ha trovato l’impiego di atleti
virtuali in realtà aumentata all’interno dell’antico stadio di Olimpia (Fig. 2.9). L’alto grado di realismo apportato ha permesso ai visitatori di avere maggiori possibilità di comprendere la storia e le fonti archeologiche nella loro interezza.
Populating Ancient Pompeii With Crowds Of Virtual Romans (2007) Particolare attenzione merita EPOCH, un consorzio di circa mille istituzioni culturali che si occupa di migliorare l’utilizzo di tecnologie per l’informazione e comunicazione dei Beni Culturali. Nel 2007 ha realizzato un modello 3D di Pompei archeologicamente corretto, popolando strade e case con folla virtuale per simulare la vita prima dell’eru-zione del Vesuvio nel 79 D.C. (Fig. 2.10) Il modello è stato creato con un’estensione di CityEngine da cui si sono ricavate due diverse rappresentazioni: uno ad alta risoluzio-ne ideato per un successivo rendering, un altro a bassa risoluziorisoluzio-ne con dati semantici inseriti. La fase successiva comprende l’estrazione dei dati semantici e il loro utilizzo durante la simulazione real-time della folla. Grazie ai dati archeologici è stato possibile suddividere il modello in due precisi distretti, quello povero e quello ricco, sulla base dell’età degli edifici presenti in entrambi e di associare quello più recente all’area bene-stante mentre quello più vecchio all’area meno agiata. I cittadini virtuali conoscono la zona di appartenenza e non possono accedere al distretto opposto (i ricchi non possono accedere nel distretto povero e viceversa).
Per la creazione della folla sono stati sviluppati sette modelli di umani: maschi, femmine, nobili, plebei, patrizi e legionari maschili. I personaggi sono stati poi riprodotti diverse volte generando una grande folla. Per assicurare una varietà tra le figure, alcune parti come colore della pelle e dei vestiti sono stati modificati.
Figura 2.10: Folla virtuale in una strada della città.
Il movimento della folla è regolato da un grafo di navigazione generato automati-camente dal modello 3D della città in un processo offline. Il grafo è suddiviso in aree circolari (Fig. 2.11) all’interno delle quali i personaggi possono muoversi senza collidere contro l’ambiente circostante. Se due grafi si intersecano tra loro gli abitanti possono liberamente muoversi tra uno e l’altro, seguendo anche percorsi all’interno della città senza interagire con la geometria. Per ottenere azioni specifiche come il rallentamento di un personaggio alla vicinanza di una finestra o porta per guardare all’interno, i dati semantici contenuti nella geometria del modello sono stati trasferiti all’interno dei grafi
di navigazione, identificando i vertici che si trovano a una certa distanza da porte e finestre. Per entrare in alcuni luoghi come negozi o panifici, si ricercano invece punti di interesse collegati ai vertici dei grafi contenuti all’interno dell’edificio. I ricercatori [17] hanno implementato un algoritmo che permette di leggere più semplicemente il modello 3D ed estrarre automaticamente i dati semantici identificando i vertici dei grafi che influenzano la navigazione.
Figura 2.11: I vertici dei grafi sono colorati per differenziare il tipo di comportamento (bianco: "guarda", nero: "basta guardare", rosso: "punto di interesse").
Nel momento in cui un cittadino virtuale passa attraverso i vertici di un grafo, possono essere provocati due tipologie di comportamenti, quelli permanenti ossia che rimangono stabili fino alla fine della simulazione, e quelli temporanei che durano sola-mente all’interno dell’area. In questo ultimo caso, quando l’area viene lasciata, bisogna riportare i parametri modificati ai normali valori.
2.3
Applicazioni interattive
2.3.1 2D Animato
A Conversational Agent As Museum Guide - Design And Evaluation Of A Real World Application(2004)
Max [15] è un personaggio digitale visualizzato in uno schermo statico creato nel 2004 co-me guida nell’Heinz Nixdorf Museums Forum (HNF) a Paderbon (Germania). (Fig. 2.12)
Il suo principale compito è coinvolgere i visitatori in conversazioni interessanti sulle collezioni museali e altri argomenti. I visitatori possono dare input in linguaggio natura-le attraverso una tastiera e Max provvederà a rispondere in tedesco e con un appropriato comportamento non verbale come gesti manuali, espressioni facciali. È inoltre in grado di formulare brevi dialoghi coerenti per simulare un’interazione gradevole e cooperativa, aspetto importante questo, che permette di ridurre la distanza sociale tra gli interlocu-tori. L’input attraverso tastiera permette di evitare problemi di riconoscimento vocale in ambienti rumorosi e restringe il dialogo con Max a un solo visitatore alla volta. La percezione attraverso telecamera permette al personaggio digitale di ottenere una co-stante informazione visuale dello spazio di fronte alla tastiera e dell’area tutt’intorno. Per scansionare i dati video delle aree corrispondenti ai volti e tenerne traccia sono state utilizzate capacità real-time e tecniche di image processing3.
Tinker (2008)
Tinker[4] (Fig. 2.13) è una guida virtuale installata nella Computer Place exhibit del museo di scienze di Boston. Appare come un robot antropomorfico 3D in grado di comu-nicare con i visitatori offrendo informazioni e indicazioni sulle collezioni museali attra-verso dialoghi sintetici (synthetic speech) e comportamento non verbale sincronizzato. Le motivazioni che hanno portato alla realizzazione di questa particolare applicazione si ritrovano nei risultati di diversi studi condotti riguardo all’impiego di virtual agent per il settore educativo. Si è messo in luce come queste particolari tecnologie apportino effetti significativamente positivi nei meccanismi di apprendimento e nel mantenere l’at-tenzione degli studenti. Si è dimostrato come i sistemi educativi mediati da questo tipo di agente producano esiti positivi e una maggiore motivazione nello studio piuttosto che l’interazione con gli stessi sistemi senza l’agente. L’output verbale è sicuramente una caratteristica da non sottovalutare. I dialoghi personalizzati, al posto di monologhi pre-strutturati, aumentano il coinvolgimento delle persone e la recezione delle infor-mazioni. Per realizzare gli script necessari, i ricercatori hanno filmato le interazioni dello staff museale con i visitatori con lo scopo di registrare le tipologie di dialogo e i comportamenti non verbali per rendere più naturale l’aspetto e permettere a Tinker di personalizzare il discorso sulla base del livello di conoscenza dell’utente coinvolto.
L’input del visitatore è possibile grazie a una tastiera touch screen che permette di variare tra diversi argomenti grazie a delle icone presenti sullo schermo. L’impiego di un virtual agent in un ambiente frequentato da diverse persone può creare diversi problemi relativi l’identificazione dell’utente impiegato nell’interazione, la sua localizzazione e rilevamento. Per sopperire a queste problematiche, la postazione di Tinker è stata implementata con una piattaforma di vetro su cui l’utente coinvolto appoggia la mano sinistra durante tutta la conversazione. I sensori sulla piattaforma provvedono a rilevare la presenza dell’interlocutore e la camera sottostante permette il riconoscimento hand shape-based. Nell’ambiente virtuale ne è stato aggiunto un modello 3D per spiegarne
3
L’elaborazione digitale delle immagini è una disciplina che comporta l’utilizzo di algoritmi sfruttando l’elaborazione numerica dei segnali per modificare un’immagine digitale.
Figura 2.13: Postazione dove l’utente può interagire con Tinker.
visivamente il funzionamento. È stato utilizzato anche un sensore di movimento che permette a Tinker di captare la presenza di possibili utenti nella sua area e di chiamarli a sé. Il comportamento non verbale riunisce diversi stati d’animo che consente all’utente di sviluppare un senso di fiducia nei confronti dell’agente virtuale. Sentimenti come empatia, umorismo, specifiche situazioni come la prima interazione, sono accompagnati da espressioni facciali e gesti che aumentano il coinvolgimento e l’autenticità.
Agli inizi di marzo del 2009 sono stati condotti test su diversi utenti, che hanno dimostrato come il comportamento relazionale e personalizzato per ogni situazione ab-bia un impatto decisamente positivo verso il pubblico, non solo per quanto riguarda l’atteggiamento nei confronti dell’agente virtuale ma anche nell’apprendimento e nel coinvolgimento. Il paper riporta come su un totale di 1607 visitatori ben l’82,3 % è rimasto soddisfatto dell’esperienza con Tinker.
2.3.2 3D Animato
Ada And Grace : Toward Realistic And Engaging Virtual Museum Guides (2010)
Durante la decima conferenza internazionale di ’Intelligent Virtual Agents’ svolta a Philadelphia è stato presentato il progetto ’Interfaces’ , una collaborazione tra USC In-stitute for Creative Technologies (ICT) e il Museo di Scienze di Boston[49]. Nella parte introduttiva del paper si esamina come le guide museali abbiano un’enorme influenza sulla qualità dell’esperienza museale del visitatore, maggiore è il grado di coinvolgi-mento, migliore sarà la conoscenza appresa. Lo stupore e la curiosità scaturite dalla tecnologia virtuale sono sicuramente un vantaggio per la veicolazione delle informazioni soprattutto per giovani studenti che spesso hanno difficoltà a mantenere l’attenzione. Per accrescere il coinvolgimento è stato deciso di impiegare due avatar che dialogassero
tra loro e con il pubblico in un linguaggio naturale, questo ha reso l’interfaccia più trasparente e realistica aumentando la partecipazione. Ada e Grace (Fig. 2.14) sono due guide virtuali situate nella CCP (Cahners Computer Place), luogo dove si trova la maggior parte dell’informazione sulla tecnologia esposta nel museo. Utilizzando due figure virtuali foto realistiche che interagiscono in linguaggio naturale con gesti e altre forme di comunicazione, la sfida di questo progetto era valutare se questi avatar po-tessero realmente aumentare l’interesse e il coinvolgimento degli utenti nella fruizione del contenuto museale. Il progetto è stato testato inizialmente su ragazzini del gin-nasio (middle school ), soffermandosi soprattutto su quelle categorie solitamente sotto rappresentate nel settore STEM (Science, Technology, Engineering and Mathematics) come le ragazze. Recenti studi hanno dimostrato che il livello di interesse nelle scienze durante il ginnasio o prima può avere effetti decisivi sulla scelta della carriera. Secondo l’ipotesi dei ricercatori l’utilizzo di Virtual Humans può aiutare ad accrescere l’interesse e il coinvolgimento dei ragazzini sia perché provvedono ad esporre le qualità di queste materie, cos’è possibile fare con la tecnologia, ma soprattutto perché il fatto di avere un aspetto umano aggiunge un importante elemento sociale che può creare un ottimo rapporto e partecipazione.
Figura 2.14: Postazione dove gli utenti possono interagire con Ada e Grace. Durante l’esibizione i visitatori possono porre le loro domande alle guide virtuali attraverso lo staff del museo che interagisce con gli avatar (Fig. 2.15).
Ada e Grace oltre a rispondere, hanno la capacità di consigliare opere da visitare all’interno del museo, sulla base dei quesiti ricevuti. L’interazione con avviene premendo un tasto e parlando in un microfono. Il set di probabili risposte è vasto ma limitato, sono presenti anche frasi come ’Could you ask that again? (potresti ripetere la domanda?)’ nel caso in cui la domanda non abbia una risposta.
Per concretizzare l’obiettivo principale del progetto, l’aspetto della guida virtuale doveva essere una donna adulta senza caratteristiche etniche evidenti. Per scegliere la persona che avrebbe fatto da modella è stato condotto uno studio con 75 visitatori di
Figura 2.15: Esempio di interazione tra i visitatori con Ada e Grace.
età compresa tra 7 e 14 anni che avevano il compito di selezionare tra sei foto, quella dell’ipotetica donna con cui avrebbero voluto parlare nel Canhers Computer Place. L’aspetto della persona scelta, Bianca Rodriguez, è stato acquisito tramite la tecnica del Light Stage.Il discorso e i modelli di linguaggio sono stati ottenuti mediante SONIC toolkit e SRI Language Modeling Toolkit (SRILM) che hanno permesso di creare un API per il riconoscimento online delle parole. Sono stati creati diversi modelli di linguaggio personalizzati sulle voci dello staff del museo.
The City Of Uruk : Teaching Ancient History In A Virtual World (2012) Il sito di Uruk è una testimonianza di enorme valenza storica per il Vicino Oriente antico, si calcola che alla fine del IV millennio a.C fosse uno dei più vasti insediamenti urbani della Mesopotamia, se non del mondo.
La ricostruzione virtuale offre la possibilità di rivivere gli splendori originari e co-noscerne curiosità, segreti e aspetti della vita quotidiana. Il modello è stato creato nel mondo di Second Life sotto la supervisione di esperti e seguendo dati archeologici. La decisione di impiegare questa particolare tecnologia è da ricondursi agli enormi vantaggi che può offrire nell’ambito didattico, gli studenti sono maggiormente coinvolti e stimo-lati, e l’apprendimento migliora conseguentemente. La simulazione virtuale è abitata da virtual citizens che rappresentano diversi strati della società (famiglie di pescatori, prete, re e numerosi lavoratori) impegnati a svolgere i loro compiti in determinati sce-narios adeguatamente ricostruiti. L’architettura degli agenti si basa sul modello BDI (Belief Desire Intention) e su una specifica library (VIAgents)[5].
Figura 2.16: Esempio di interazione attraverso la chat.
Ogni agente possiede un numero determinato di obiettivi da raggiungere e ha la facoltà di stabilirne di nuovi, concludendone uno e iniziandone un altro. Interagisce con
l’ambiente circostante mediante l’invio di comandi al server di Second Life attraverso la libopenmetaverse library che gli permette di muoversi, avere determinati comportamenti, utilizzare oggetti, interagire con gli altri agenti o con gli umani. Ogni possibile azione è dotata di precondizioni e post condizioni che provvedono a migliorare il realismo: le precondizioni definiscono lo stato , la scena e gli oggetti che l’agente deve avere; le post condizioni determinano quali attributi cambieranno dopo lo svolgimento di tale azione. La presenza di una chat (Fig. 2.16) permette agli studenti di conversare e interagire con gli agenti,i quali sono capaci di parlare di quello che stanno facendo in quel momento, dei loro obiettivi, dell’ambiente circostante.
Per testare i possibili vantaggi nella didattica, sono stati scelti 40 studenti della University of Technology di Sydney senza previa conoscenza della città di Uruk, sono stati poi suddivisi in due gruppi. Al primo, chiamato ’Traditional Group’ è stato ri-chiesto di leggere un testo sull’argomento, il secondo gruppo, ’Virtual Group’, invece ha navigato nel modello virtuale. Successivamente entrambi i gruppi hanno compilato un questionario per testare le informazioni acquisite.
I risultati hanno mostrato una migliore propensione all’apprendimento nel "Virtual Group", con risultati più alti nel test rispetto al primo e un maggiore livello di atten-zione. Ciò conferma i vantaggi che può apportare l’utilizzo del virtuale e di embodied agents nella didattica.
2.3.3 3D Immersivo
Applicazione Leonardo (2000)
Nel 2000 HOC4 ha realizzato per il Museo della Scienza e della Tecnica di Milano la pri-ma "visita virtuale cooperativa" in ambienti 3D dedicata alle pri-macchine di Leonardo da Vinci.In quegli anni la comunicazione dei Beni Culturali era ancora un tema poco com-preso in Italia. Si cominciavano lentamente a sperimentare nuovi modi di trasmettere cultura soprattutto ai giovani, ma non senza trovare avversità in particolare da coloro che consideravano la comunicazione un pericolo per la "scientificità della cultura" da tenere a bada[20, p.50 ]. Applicazione Leonardo è uno dei primi tentativi di sviluppa-re il concetto di eduitanment, nell’ottica di offrisviluppa-re un’innovativa applicazione educativa che unisse il fine didattico a una originale modalità di apprendimento, sicuramente più accattivante e coinvolgente.
Per usufruire dell’applicazione l’utente deve connettersi al sistema e scegliere un avatar con cui poter interagire con gli altri personaggi virtuali. Le azioni possibili grazie al plugin CosmoPlayer, sono diverse come girare per le stanze e i chiostri, camminando o volando, azionare le macchine leonardesche, vedere gli altri visitatori, seguire i loro movimenti e chiacchierare con loro, unirsi ad un gruppo e seguire una guida.
Il mondo virtuale è diviso in due chiostri: Leonardo Scienziato e Leonardo Teologo. Il visitatore entrando nel primo chiostro, quello di Leonardo Scienziato ha la possibilità
4
HOC ( Hypermedia Open Center ), specializzato nello sviluppo di progetti e metodologie per applicazioni multimediali, interattive, basate sul Web e altri canali
di accedere al prato interno al cui centro è posto l’attrezzo per la prova dell’ala battente che ricorda l’interesse di Leonardo per il volo(Fig. 2.17).
Figura 2.17: Mappa del moondo virtuale.
La visita permette di accedere al piano superiore dove, in diverse stanze, ci sono le quattro macchine animate: l’aliante, le carrucole, la vite aerea e il paracadute. Il secondo chiostro, cui si accede dopo essere usciti dal sistema, ospita differenti le macchine: la draga lagunare, il battipalo, il ponte girevole su barche e la nave veloce speronatrice (non animata). Per interagire con gli altri utenti, il sistema utilizza Webtalk (Fig. 2.18), una speciale tecnologia che impiega linguaggio VRML (Virtual Reality Markup Language) e Java.
Figura 2.18: Esempio di interazione con gli altri avatar.
Vi è inoltre la possibilità di visitare il mondo virtuale attraverso gli occhi della guida, senza dover navigare in modo attivo, come si fosse una visita guidata virtuale. La guida si muove tra gli ambienti, illustra le caratteristiche e manipola oggetti. Gli altri visitatori possono vedere quello che la guida sta facendo, seguirla e interagire con essa ponendo delle domande oppure possono scegliere di seguire un proprio itinerario e dialogare tra di loro.
SEE Shrine Educational Experience) (2003)
Gli stessi principi esposti nel precedente progetto, sono stati seguiti nella realizzazione di SEE (Shrine Educational Experience) [14]un altro prodotto del laboratorio HOC in collaborazione con il Museo di Israele. La finalità era offrire a studenti tra i 12 e i 19 anni d’età un’esperienza didattica virtuale che avesse come scopo l’apprendimento di contenuti riguardanti i Rotoli del Mar Morto e argomenti correlati. Il percorso è organizzato in quattro incontri on-line di circa 45 minuti svolti in un ambiente virtuale regolate da un vero e proprio ’storyboard ’ che alterna brevi spiegazioni a giochi culturali (Fig. 2.19).
Figura 2.19: Ambiente virtuale dei giochi.
Due studenti per ogni classe hanno la possibilità d visitare il mondo virtuale attra-verso un avatar e incontrare altri studenti e una guida (Fig. 2.20).
Figura 2.20: Esempio di interazione con gli altri avatar.
Gli studenti sono poi organizzati in due squadre in competizione tra loro, nessun punto viene assegnato senza una risposta corretta ai quiz culturali. Coloro che possono mostrare più difficoltà nell’apprendimento sono portati lo stesso a studiare in quanto spinti dallo spirito di squadra e dalla competizione.
Da questa breve descrizione è chiaro quali possano essere i vantaggi nell’utilizzo di questa applicazione, l’apprendimento è sicuramente facilitato, gli studenti imparano nuove nozioni in un ambiente rilassato che favorisce scambi interculturali con studenti di altre culture e paesi.
Progetto Amica (2015)
Il progetto AMICA (AMbienti virtuali Immersivi per la Comunicazione delle maestrie dell’Artigianato) prevede la realizzazione di una piattaforma di fruizione digitale, basata sulle tecnologie degli ambienti virtuali immersivi, per valorizzare le attività artigianali artistiche. Nello specifico si prevede un tour virtuale nel quale l’utente può apprendere i passaggi salienti nella produzione della stampa d’arte e delle tecniche artigianali e tradi-zionali dell’incisione. Per lo scopo del progetto è stato necessario utilizzare un avatar che compisse le azioni dell’artigiano per facilitare la comprensione da parte dell’utente[7].
La prima parte del progetto è stata la raccolta di informazioni e la ripresa delle atti-vità svolte dall’artigiano all’interno del laboratorio. In questa fase sono state utilizzate diverse tecnologie: fotocamere, videocamere, action camera in prima persona e camera RGBD (Fig. 2.21).
Figura 2.21: Acquisizione tramite camera RGBD.
Interviste agli artigiani sono servite per delineare e definire i passaggi chiave della storia. Sono state identificate quattro fasi principali nel processo di stampa: prepa-razione del piatto metallico, scolpire/incidere, colorare e stampare. Ognuna di queste fasi prevede diverse azioni e strumenti impiegati. L’ambiente virtuale non rispecchia fedelmente il luogo di lavoro bensì ne è una riproduzione verosimile, non avendo limiti né costrizioni, è stato possibile creare un ambiente piacevole per offrire un’esperienza efficace.
Il lavoro artigiano si basa su una serie di azioni svolte in un ordine preciso, per acquisirle è stata utilizzata una camera di profondità: ASUS Xtion (range da 0.8m a 3.5m) e Primesense Carmine 1.09 (range tra 0.35m a 1.4m). Le riprese sono state fatte da due punti di vista: frontale, acquisita con Xtion camera e in prima persona con PrimeSense in una posizione che si avvicinasse maggiormente alla testa dell’artigiano. Il mastro artigiano introduce e spiega i vari passaggi del processo di stampa, abbinate alle sequenze 3D e/o animazioni 3D che mostrano le stesse operazioni. Per migliorare la narrativa sono state inserite possibili domande pre-costruite fatte dai visitatori (gli utenti del sistema). Non c’è quindi nessuna interazione attiva da parte dell’utente. Per aumentare il realismo, l’espediente usato è stato modificare l’audio 3D differenziando l’origine delle parole dando l’impressione al visitatore che il suono provenisse diretta-mente dalla testa dell’utente. Il mastro artigiano è un avatar HALCA (Fig. 2.22), è possibile muoverlo nell’ambiente virtuale e farlo parlare, il modulo lip-sync incorporato è in grado di sincronizzare il movimento della bocca al dialogo pre-registrato.
Figura 2.22: Ambiente virtuale(sinistra) e mastro artigiano (destra).
L’utente può interagire con la storia attraverso bottoni fluttuanti che permettono di muoversi all’interno del laboratorio e osservare specifiche fasi del processo, modificando il punto di vista in quello degli occhi dell’artigiano con la possibilità di selezionare specifici oggetti per recuperare le relative informazioni.
Attualmente i ricercatori stanno lavorando a due diverse versioni di visualizzazione del sistema, una fruibile attraverso Oculus Rift HMD, l’altra in un sistema projection-based (come X-CAVE al laboratorio PERCRO). Nel primo caso l’interazione è realizzata grazie alla Leap Motion camera presente nella parte frontale degli HMD. Nel secondo ca-so, l’interazione è possibile adoperando mouse o un joypad. Il Leap-Motion Interaction Module (LIM) (Fig. 2.23) permette di animare la rappresentazione virtuale delle mani dell’utente consentendogli un’interazione naturale con la scena e con i bottoni. L’elemen-to attivo è selezionabile dopo essere staL’elemen-to introdotL’elemen-to dal mastro artigiano. Puntandolo, è possibile esaminarlo in dettaglio ed eseguire l’azione associata. Per prevenire selezioni indesiderate, l’utente deve indicare l’oggetto desiderato per mezzo secondo.
Figura 2.23: Utilizzo LIM per interazione con ambiente virtuale (sinistra). Esempio di sovrapposizione delle proprie mani con quelle dell’artigiano.
Per terminare la visita e tornare al menu principale basta cliccare sul bottone Home sempre presente sullo schermo.
2.3.4 Serious Game
Il termine Serious Game indica una particolare tipologia di videogame sviluppata se-condo il concetto di edutainment ossia l’apprendimento attraverso il divertimento. La caratteristica principale di questi giochi è quella di immergere l’utente in un mondo virtuale dove vi è la possibilità di apprendere nuovi concetti grazie a embodied agents
che permettono l’interazione, anche con altri utenti, aumentando positivamente la user experience. In questa categoria si possono trovare numerosi esempi per diversi settori culturali.
Historic Buildings Through A Multimedia Experience. Fala Comigo. (2011)
Fala Comigo (Talk2Me) è un innovativo progetto che mira a offrire ai visitatori del Palazzo di Monserrate in Portogallo un’esclusiva tipologia di visita museale interattiva. La motivazione che ha portato a impiegare questo particolare metodo di divulgazione è da ritrovarsi nei due principali target di utenti cui è indirizzato: turisti e scuole. En-trambi necessitano di accrescere la propria consapevolezza sull’importanza della cultura e mantenere l’attenzione su quanto stanno apprendendo. Per ottenere questi risultati è stato necessario sviluppare nuovi contenuti moderni e accattivanti per mantenere un buon livello di attenzione e di recezione delle informazioni.
Fala Comigo è un progetto che mira a offrire agli utenti un’esperienza attraente, semplice e funzionale. Il contenuto si attiene ai maggiori standard accademici, l’in-novazione si ritrova nel modo in cui è trasmesso, ossia attraverso dialoghi semplici e immediatamente comprensibili. Sir Francis Cook responsabile della costruzione del Pa-lazzo ed Edgar Smith, un maggiordomo di fantasia accompagnaranno i visitatori duran-te la visita, veicolando informazioni storiche. L’induran-terazione è possibile attraverso varie piattaforme inserite in diverse stanze del palazzo e un’applicazione mobile che consente all’utente di leggere e ascoltare le spiegazioni del maggiordomo Edgar (Fig. 2.24).
Figura 2.24: Applicazione mobile con il maggiordomo Edgar.
Il percorso su cui si basa il gioco ’Il tesoro di Monserrate’ (Fig. 2.25) si svolge attraverso una trama fittizia in cui alcune preziose opere d’arte acquistate da Cook sono misteriosamente scomparse senza lasciare traccia. Il compito dei giocatori è cercarle e trovarle nei giardini del palazzo. Contemporaneamente ricevono informazioni culturali e il loro successo dipende da quante nozioni sulla storia del palazzo hanno appreso. Per
rendere tutto ciò possibile è stato creato un ambiente 3D immersivo comprendente il modello virtuale del Palazzo e del parco[18].
Figura 2.25: Il gioco "Il tesoro di Monserrate".
L’utente interagisce con l’agente virtuale che attraverso discorsi semplici, trasmette informazioni sulla storia del Palazzo e sulla sua restaurazione. L’applicazione è stata implementata per schermi fissi desktop ma anche per cellulari, una sequenza di immagini dal rilevamento 3D è inoltre inclusa per offrire una migliore prospettiva del volume e dello spazio del Palazzo. In questo modo il visitatore ha la possibilità di creare un percorso personalizzato e orientare la visita a suo piacimento. Una volta acquisite le informazioni digitali, l’utente può salvarle sul suo cellulare ed usarle in un secondo momento.
Brest’Coz (2011)
Brest’Coz permette di imparare le tecniche usate nei cantieri navali in Francia agli inizi del diciottesimo secolo. Si sviluppa come un tour virtuale ambientato a Brest, importante sito della marina francese (Fig. 2.26).
Figura 2.26: Panoramica dell’ambiente virtuale.
L’utente interagisce con il sistema attraverso un avatar, l’apprendimento si basa su dialoghi con altri embodied agents. All’inizio del tour una guida virtuale fornisce informazioni circa l’obiettivo assegnato, successivamente il giocatore prenderà parte ad alcune attività del cantiere e potrà conoscere le tecniche utilizzate. Per essere coinvolto
nelle attività collaborative dovrà comunicare con diversi personaggi e interagire con l’ambiente virtuale (Fig. 2.27).
Figura 2.27: Esempio di interazione con l’avatar.
Il modello semantico impiegato è MASCARET (MultiAgent System for Collabo-rative, Adaptive & Realistic Environments for Training) è una struttura generica che produce frasi appropriate a un determinato argomento o tema trattato. È basato su due metamodelli complementari VEHA e HAVE, definiti come estensioni di UMI (Unified Modelling Language). UMI è usato come una descrizione del contenuto del linguaggio. VEHA è utilizzato nella modellazione delle entità che compongono l’ambiente virtuale, le strutture interne, le relazioni e i comportamenti. HAVE supporta invece la model-lazione delle attività collaborative degli embodied agents nell’ambiente virtuale, inteso come la loro organizzazione e come vengono svolte dagli agenti, definendo i loro com-portamenti. Ogni azione è definita dalle condizioni di fattibilità (pre-condizioni), dagli effetti razionali (post-condizioni) e dalle azioni da fare (do:statement ). La descrizio-ne dell’attività è interpretata dagli agenti usando behave, un modello gedescrizio-nerico della struttura di un agente.
Il dialogo può essere iniziato sia dagli utenti che dagli agenti. Ogni agente è associato a NabuTalk, che permette di scegliere diversi modi per esprimere una frase in base all’in-put ricevuto. Ogni agente condivide un comune set di regole dialogiche, l’individualità del dialogo dipende dal ruolo associato all’agente.
MediaEvo Project(2007-2010)
MediaEvo project [10]è un nuovo modo di utilizzare la Realtà Virtuale per insegnare agli studenti la storia medievale. Si presenta come un gioco digitale didattico di strategia orientato alla conoscenza di Otranto durante l’età federiciana (XIII sec.). Durante quel secolo la città viveva un periodo di estremo benessere e importanza, grazie alla sua posizione geografica (sud Italia) era considerato un ponte tra est e ovest.
Nel contesto educativo, MediaEvo project è un ottimo strumento per divulgare serie nozioni storiche in maniera ludica. La scelta di adottare lo specifico modello del Serious Game risiede proprio nella volontà di rendere consapevoli i giovani sul passato e sti-molarli nell’apprendimento attraverso oggetti informativi, personaggi, percorsi virtuali
che compongono l’insieme. Le capacità decisionali dell’utente hanno un forte impatto sul risultato finale, anche se strategie e tattiche possono essere contrastati da fattori imprevedibili connessi con i moduli di edutainment e implementati dal sistema, nell’ot-tica di offrire un alto livello di partecipazione, espresso nella facilità di apprendimento. Il gioco è pianificato in due livelli, il primo è quello educativo in cui l’utente vede una presentazione multimediale con una breve introduzione sulla storia di Otranto, succes-sivamente può scegliere diverse possibili destinazioni e vederne i corrispondenti video o saltarli e cominciare a giocare. Il secondo livello è quello prettamente interattivo, il giocatore attraverso un avatar comincia il suo percorso accompagnato da una guida o in solitaria. La guida può suggerire specifiche navigazioni, attraverso punti di interesse e nel minor tempo possibile. Può anche optare per il teletrasporto che permette di arrivare in specifici punti di interesse. Questa opzione è una strategia didattica per rivolgere l’attenzione dell’utente verso un determinato oggetto educativo (Fig. 2.28).
Figura 2.28: Avatar in azione.
Se l’utente decide di navigare solitario può muoversi liberamente nel gioco, in que-sto caso le uniche fonti di aiuto sono dei segnali stradali localizzati sulle intersezioni delle strade per dirigere il giocatore nei punti di interesse. Sono presenti anche punti intermedi come fabbro, il bosco di ulivi (etc.) che forniscono ulteriori contenuti didat-tici multimediali. È stata sviluppata un’applicazione per la navigazione nell’ambiente virtuale che usa Wiimote e Nintendo Balance Board. L’obiettivo è fornire un’intera-zione più agevole ed efficiente. L’utente è in grado di muovere l’avatar inclinando la piattaforma nella direzione scelta (Fig. 2.29).
ThIATRO (2011)
Accrescere l’interesse per la storia dell’arte in un pubblico giovanile può essere molto difficoltoso. Negli ultimi anni musei e istituzioni culturali stanno cercando nuove strade per diffondere la conoscenza, adottando strategie che mirano a sviluppare un senso di partecipazione attiva, coinvolgimento e divertimento. In queste nuove sperimentazioni si ritrova ThIATRO "The Immersive Art Training Online", un particolare esempio di Serious Game che fa parte del progetto ’The Virtual 3D Social Experience Museum’. L’obiettivo principale è divulgare la storia dell’arte attraverso un approccio ludico e mo-tivazionale che permette all’utente di organizzare le informazioni ricevute incoraggiando una costruzione attiva della conoscenza[13].
Figura 2.30: Ambiente virtuale in Thiatro.
Il gioco è sviluppato in livelli, ognuno dei quali prevede due squadre avversarie che vestono il ruolo di ladro d’arte e hanno il compito di sottrarre una particolare opera e riportarla alla base. L’utente si muove per l’ambiente virtuale attraverso un avatar controllato con il mouse e WASK keys. Il team che raggiunge l’obiettivo per primo guadagna un punto, la squadra che raggiunge il punteggio massimo vince. All’inizio di ogni livello entrambe le squadre ricevono la stessa missione da portare a termine, possono essere di tre tipologie differenti.
1. Trovare una qualsiasi opera di uno specifico artista (es. ’rubare un dipinto di Caravaggio’), lo scopo educativo è apprendere lo stile pittorico di un’artista. 2. Recuperare una particolare opera di un’artista. (’Rubare il dipinto di Caravaggio
che raffigura Davide con la testa di Golia’). L’obiettivo è imparare le opere di uno specifico artista.
3. Trovare un dipinto di cui è stata mostrata un’anteprima senza altre informazioni. La squadra dovrà fare affidamento solamente sulla propria memoria.
Per portare a termine le missioni, le squadre visitano diversi musei virtuali scelti ca-sualmente ad ogni livello tra gli edifici presenti. Uno striscione esterno indica l’epoca artistica cui si riferisce, per trovare l’opera il più rapidamente possibile l’utente deve conoscere il periodo corrispondente. Ogni livello prevede diversi power-up che appaiono a random nell’ambiente e permettono di migliorare le abilità del giocatore, ottenere più informazioni sul luogo dove si trova il dipinto o complicare la ricerca della squadra avversaria.
L’ambiente 3D (Fig. 2.30) è stato creato con Unity Game Engine e gli edifici con Google SketchUp. Particolare attenzione è stata posta nel mantenere un numero basso di poligoni per permettere una fruizione veloce sullo schermo del pc dell’utente. Nella realizzazione del mondo virtuale i ricercatori si sono ispirati a un quartiere di Vienna e a edifici di altre città europee per mantenere una diversificazione dell’ambiente. Le opere virtuali sono state prese dalla Web Gallery of Art, un database contenente informazioni su circa 18000 opere artistiche di circa 2200 artisti (per lo più europei) di un periodo compreso tra il 1100 al 1850 (Fig. 2.31).
Figura 2.31: Opere esposte nella galleria virtuale.
Roma Nova Project (2012)
Roma Nova è un innovativo Serious Game che impiega la tecnologia Brain Computer Interface per la navigazione e l’interazione[53]. Brain Computer Interface è un mezzo di comunicazione diretto tra il cervello (o più in generale parti funzionali del sistema nervoso centrale) e un dispositivo esterno quale ad esempio un computer. Il lancio sul mercato di cuffie che impiegano questa tecnologia come mezzo alternativo di controllo in computer games ha incoraggiato i ricercatori a svolgere numerosi studi in questo campo.
Roma Nova Project si basa sul modello di Rome Reborn, un’accurata ricostruzione virtuale ad alto grado di realismo dell’antica Roma del 340 B.C che può essere esplorata in real-time (Fig. 2.32).
Il progetto mira a insegnare la storia ai bambini tra 11 e 14 anni. Attraverso l’immer-sione nell’ambiente virtuale, l’utente ha la possibilità di imparare diversi aspetti della storia mentre esplora le strade, i luoghi e interagisce con antichi romani virtualmente ricostruiti. Il gioco è stato disegnato basandosi su Unity 3D game engine, un ambiente integrato per il design di computer games, e opera su Microsoft Windows e Mac OS. Navigazione e interazioni sono possibili attraverso la tecnologia Brain-wave delle cuffie Emotiv5.
Le interazioni sono suddivise in tre livelli (LoI = Level of Interaction Framework ) (Fig. 2.33), sviluppati in collaborazione con l’istituto di Serious Games (SGI) e l’uni-versità di Tolosa.
Figura 2.33: Livelli di interazione (LoI).
Questi livelli possono essere visti come delle auree con una complessità maggiore al centro. Nel primo, l’utente è circondato da avatar che aumentano l’immersione nel-l’esperienza. I personaggi si muovono liberamente nell’ambiente e possono avvicinarsi casualmente al giocatore, entrando nei livelli successi. Il secondo è quello della possibile interazione, vi appartengono tutti gli avatar che si trovano nelle immediate vicinan-ze del giocatore ma senza interazione. Nell’ultimo livello infine, avviene il dialogo tra l’utente e il personaggio virtuale, l’interazione si verifica in maniera naturale usando riconoscimento delle parole e sintesi.
L’utente può decidere di far avvicinare un avatar semplicemente cliccandoci sopra, questo cambierà la direzione verso il giocatore e quando sarà abbastanza vicino entrerà nel livello dialogico. A questo punto il sistema innescherà una serie di azioni: la vista della camera cambia da un ampio raggio a una prospettiva più ristretta; la versione low poly dell’avatar viene sostituita da una più dettagliata con le conseguenti animazioni e si innesca ECA engine (Event condition action) per interpretare l’interazione (Fig. 2.34) Il movimento dell’avatar è reso grazie alle cuffie Emotiv Epoc EEG. Headset Emotiv è un acquisitore ed elaboratore wireless di neuro segnali composto da 14 sensori (e due di riferimento) in grado di rilevare segnali del cervello ed espressioni facciali. Le fun-zioni cognitive permettono all’utente di muoversi avanti e indietro nello spazio virtuale, mentre il battito degli occhi consente di girare a destra o a sinistra.
Il gioco è stato testato su cinque partecipanti senza nessuna precedente esperienza di BCI ottenendo risultati interessanti (Fig. 2.35).
Figura 2.34: Esempio di interazione.
Figura 2.35: Partecipante durante il test.
Lo scopo del test era raccogliere informazioni sulla facilità e gradevolezza di utilizzo ma anche su eventuali problematiche in termini di interazione. L’obiettivo da portare a termine era muovere l’avatar nell’ambiente virtuale di Roma Nova e interagire con gli agenti virtuali attraverso onde cerebrali ed espressioni facciali. Per quanto riguarda l’esperienza generale i risultati sono stati positivi, gli utenti hanno trovato l’esperienza unica e interessante, e questo modo di interagire aumenta il coinvolgimento e la piace-volezza di utilizzo. L’apprendimento è favorito dalla struttura dei dialoghi, intelligenti e facili da comprendere. Alcuni commenti negativi si ritrovano nella difficoltà di man-tenere l’attenzione per guidare l’avatar con le onde cerebrali, ma la soluzione può essere un maggiore allenamento nell’utilizzo.
Imago Bononiae (2013)
Imago Bononiae è un gioco didattico interattivo gesture-based che permette l’esplora-zione della città di Bologna nell’epoca romana. L’utente muovendosi liberamente in specifiche aree o chronotopoi (aree o attività cruciali come il mercato) riceve ricompen-se sotto forma di determinati movimenti o abilità (peritiae in latino), ricompen-semplicemente
camminando attraverso la rispettiva icona (Fig. 2.36). Ogni abilità è legata ad uno specifico colore:
• Translatio: abilità di teletrasportarsi in diversi chronotopoi o punti di interesse. • Volatus: capacità di volare sopra la città.
• Imago: possibilità di visualizzare il futuro. Questa è l’abilità finale, permette di sovrapporre la moderna città di Bologna a quella romana. La comparsa del layer moderno a seguito dello specifico gesto dell’utente permette di avere tutte le informazioni sulle future costruzioni: foto, spiegazione testuale e la data della costruzione.
Figura 2.36: Peritiae.
Un ruolo importante gioca la folla virtuale, essa aiuta l’utente a ricercare le peritiae, ogni personaggio è infatti segnato da una particolare scia colorata che può sovrapporsi o scomparire in presenza delle altre (Fig. 2.37). Ogni scia colorata è abbinata a una particolare peritia. L’abilità una volta collezionata diventa disponibile all’utente dopo aver compiuto un determinato movimento all’interno dell’area interattiva[11].
Figura 2.37: Scie colorate della folla.
L’organizzazione fisica del gioco consiste in un grande schermo con Kinect in grado di riconoscere i movimenti dell’utente. Durante la Digital Heritage Expo a Marsiglia del novembre 2013 è stato testato uno scenario guidato di Imago Bononiae su trenta visitatori con ottimi risultati. È stato ritenuto facile da utilizzare, le scie colorate, gli effetti di semi-trasparenza suggeriscono indizi sul funzionamento dell’applicazione. In generale può essere facilmente impiegato per coinvolgere differenti target di utenti grazie alla capacità offerta di apprendere passo per passo.
2.4
Considerazioni
Nella sezione precedente si è visto come sia possibile utilizzare la Realtà Virtuale e Au-mentata nella fruizione della cultura a scopo didattico. Le tabelle ( ??, 2.2) riportate mostrano un riassunto delle caratteristiche principali delle applicazioni descritte suddi-vise in base alla possibilità di interazione da parte dell’utente. La tabella finale ( 2.3) mostra invece le applicazioni tutte insieme per evidenziare gli sviluppi della tecnologia nel corso degli anni. Nella colonna relativa all’interazione si può osservare che que-sta comunemente non viene ritenuta necessaria per i fini prevalentemente divulgativi. L’impiego di queste nuove tecnologie può essere considerato più importante per finalità didattiche in quanto può apportare notevoli miglioramenti nel percorso formativo del fruitore, aumentando il coinvolgimento e il meccanismo di apprendimento. In questo senso l’utilizzo di un attore virtuale copre un ruolo fondamentale. Pur essendo di na-tura puramente fittizia, svolge azioni coerenti con le più comuni figure che si possono ritrovare nei percorsi museali facilitando la comprensione dei contenuti e stimolando la curiosità degli utenti. Questo nuovo modo di fruire le applicazioni è la chiave per il miglioramento delle attività didattico culturali. A tale proposito, i serious games possono essere visti come un modo rivoluzionario di valorizzare e apprendere la cultura. Come riportato negli esempi precedenti,essi sono sviluppati secondo il concetto di edu-tainment, una nuova forma di apprendimento volta anche al divertimento e si servono di attori virtuali con cui è possibile o meno identificarsi per usufruire dell’applicazione o semplicemente ascoltare le loro istruzioni e spiegazioni.
Nel settore didattico vi è da sempre necessità di facilitare la comprensione dei contenuti soprattutto per i più piccoli che, come riportato nel capitolo, possono avere più difficoltà a mantenere l’attenzione. Dallo stato dell’arte fornito, si auspica perciò a un maggiore utilizzo di embodied agents e all’adozione di un linguaggio qualificato ma più sempli-ficato nell’ambito educativo e non solo. Utenti di ogni età e ogni livello di istruzione potranno sicuramente beneficiare dei vantaggi che tali figure potranno apportare alla loro esperienza culturale.
Applicazione Modalità di Visita Tipologia Anno The Digital Cathedral
Of Siena
Visita in ambiente 3D Visita in ambiente 3D
2000 Archeoguide Realtà aumentata Atleti 2004 The Virtual Restitution
Of The Church Of Ha-gia Sophia
Video in ambiente 3D Folla 2007
Populating Ancient Pompeii With Crowds Of Virtual Romans
Video in ambiente 3D Folla 2007
Fala Comigo Serious game. Ap-plicazione mobile e a schermo fisso
Guida 2011
Progetto Marcus Cae-lius
Video in ambiente 3D Attori virtuali 2012 Ati Alla Scoperta Di
Veio
Video in ambiente 3D Guida museale parlante
2014 Imago Bononiae Serious game.
Ambien-te 3D urbano visitabile
Folla 2013
Tabella 2.1: Applicazioni che utilizzano embodied agents. Nessuna interazione prevista
Applicazione Modalità di Visita Tipologia Anno Applicazione Leonardo Visita in ambiente 3D Avatar di utenti e
guida
2000 See (Shrine Educational
Experience)
Visita in ambiente 3D Avatar di studenti e guida
2003
Max Avatar proiettato a
schermo
Guida museale 2004 Mediaevo Project Serious game.
Ambien-te 3D visitabile
Avatar
2007-2010 Tinker Avatar proiettato a
schermo
Guida museale 2008 Ada e Grace Avatar proiettati a
schermo
Guide museali 2010 Thiatro Serious game.
Ambien-te 3D visitabile
Avatar 2011
Roma Nova Project Serious game. Ambien-te 3D visitabile
Avatar 2012
The City Of Uruk Ambiente 3D visitabile Abitanti della cit-tà
2012 Progetto Amica Ambiente 3D immersivo Avatar di artigiani 2015
