Dal 2012 lo ISTC-CNR di Padova partecipa al progetto di ricerca Speaky Acutattile (Industria 2015) che prevede l’utilizzo dell’avatar LUCIA in un ambiente domotizzato pensato per abbattere il digital divide delle persone non vedenti e degli anziani.
In collaborazione con la Fondazione Ugo Bordoni di Roma (FUB) sono state effettuate delle registrazioni audio video per testare l’usabilit`a dell’in- terfaccia Avatar. I soggetti totali esaminati sono stati 80, 40 non vedenti e 40 persone con pi`u di 65 anni d’et`a. Per avere un campione variegato e non influenzato da pronunce o modi di dire locali le registrazioni sono avvenute
in quattro citt`a italiane differenti: Torino, Padova, Roma e Palermo.A Pa- dova abbiamo effettuato 23 sedute: 10 non vedenti e 13 over 65.
L’obiettivo principale di questo esperimento `e stato valutare l’accetta- bilit`a di un assistente virtuale da parte di un anziano o un non vendente supponendo che esso sia di reale utilit`a ovvero che permetta, attraverso l’u- so della sola voce, di eseguire una ventina di compiti di quotidiana routine. Alcuni esempi: Impostare la radiosveglia, Comprare un biglietto del treno, Programmare una registrazione tv, Prenotare un ristorante, Prenotare un taxi, Fare la spesa online.
Per raggiungere tale obiettivo si `e simulato un sistema automatico all’in- saputa del soggetto in esame. Attraverso un teleoperatore (il mago) che da posizione remota ascolta le domande del soggetto l’avatar fornisce risposte attinenti e articolate. Esse possono essere risposte standard preregistrate oppure risposte ad hoc sintetizzate al momento. Lo strumento utilizzato `e un software di telecontrollo chiamato Wizard of Oz (realizzato da FUB) che permette la visualizzazione di “scenari” diversi a seconda del tipo di compito da svolgere mentre l’operatore remoto sceglie le risposte da fornire interfacciandosi solo con l’avatar LUCIA (figura 2.4).
Figura 2.19: L’interfaccia utente di Wizard Of Oz. Sullo sfondo sono pre- senti scenari inerenti al compito che si sta richiedendo di svolgere, mentre la comunicazione avviene in modo naturale per mezzo di un dialogo tra l’utente e l’avatar.
• 7% non capiva bene (1p) • 23% si `e stancato ( 3 p) • 69% si `e divertito (9 p)
• 77% ha trovato piacevole la voce e la faccia dell’avatar (10 p). • 84% ha trovato utile l’assistente e gli piacerebbe averlo a casa (11p), • 93% ha trovato semplice l’uso (12 p),
• 100% piacerebbe avere un avatar con un volto e una voce personaliz-
zata
La persona che non capiva bene aveva problemi di udito e le 3 persone che si sono stancate erano le pi`u anziane di 78, 80 e 83 anni. Possiamo decisamente affermare che un assistente personale utile, affidabile e sempli- ce da usare avrebbe una accoglienza calorosa tra le persone nella fascia 65-75.
La conferma che la personalizzazione dell’avatar riscuote successo `e una ottima introduzione per l’argomento presentato nel prossimo capitolo: la procedura di creazione di un avatar personale.
Personal Avatar
Quest’ultimo capitolo della tesi `e la presentazione di un promettente work
in progress: una procedura semiautomatica per la creazione di un avatar
personalizzato. Utilizzando il motore di animazione facciale descritto nel capitolo precedente vogliamo realizzare un carattere virtuale che abbia le stesse sembianze e parli con la stessa voce e con lo stesso parlato visivo di un attore umano. La procedura `e stata sviluppata sulla base del funziona- mento di LUCIA ed `e dunque relativa al set di fonemi/visemi della lingua italiana.
Il tutto vuole essere realizzato con hardware standard a bassissimo costo e con diffusione sempre crescente per via del suo utilizzo nel campo ludico delle consolle: la Microsoft Kinect [51], un sensore di profondit`a basato su un proiettore di infrarossi e un ricevitore monocromatico CMOS (in figu- ra 3.1 il dispositivo e le sue componenti). Questa tecnologia non risente delle variazioni di luce ambientale e questo `e un enorme punto di forza ri- spetto ad altri dispositivi stereoscopici basati su telecamere. La Kinect pu`o essere considerato a tutti gli effetti uno scanner 3D molto rumoroso e noi lo utilizzeremo per sostituire il costoso dispositivo optoelettronico ELITE utilizzato per LUCIA (appendice 4.1). A discapito di una perdita di preci- sione otteniamo la possibilit`a di effettuare il tracciamento delle traiettorie cinematiche di marcatori virtuali (marker-less motion capture).
E’ notizia recente che sensori simili sono gi`a stati integrati in alcuni smartphone e tablet di ultima generazione rendendo potenzialmente dispo- nibili milioni di utenti per una applicazione che fin’ora `e stata confinata nei laboratori di ricerca.
Figura 3.1: La Microsoft Kinect `e un sensore di profondit`a basato su un proiettore di infrarossi e un ricevitore monocromatico CMOS. Sono presenti inoltre una telecamera RGB e un array di 4 microfoni.
3.1
La procedura
La procedura di personalizzazione (illustrata in figura 3.2) deve produrre tre output: il modello 3D (mesh e texture), una voce personalizzata e un modello di parlato visivo che sia basato sulla cinematica degli articolatori del soggetto da avatarizzare.
Vi sono quattro fasi ben distinte da considerare:
• Creazione del modello 3D • Acquisizione dati
• Creazione del modello vocale
• Calcolo dei coefficienti del modello di coarticolazione
La prima caratteristica che l’avatar deve avere `e un aspetto quanto pi`u simile al soggetto ripreso. Inoltre il modello creato deve riprodurre in modo soddisfacente i movimenti della bocca, la zona interessata nel tracciamento dei parametri articolatori. Raggiungiamo questo obiettivo per mezzo del software Faceshift [37] ottenendo una mesh poligonale texturizzata con le sembianze desiderate. I dettagli nella sezione 3.3.
Per effettuare l’aquisizione dati il soggetto deve leggere un set di frasi per produrre delle coppie sincronizzate di file con il parlato audio e i movimenti cinematici degli articolatori. Il set `e scelto opportunamente per fornire la copertura di tutte le possibili combinazioni audio e cinematiche (fonemi e visemi) che servono a calcolare i parametri del modello vocale e del modello del parlato visivo.
Figura 3.2: Lo schema funzionale della procedura di creazione del modello personale. Nei riquadri in rosso gli output del sistema: il modello 3D, la voce personalizzata per il sintetizzatore MARYTTS e il modello del parlato visivo.
Il modello vocale `e ottenuto mediante la creazione di una nuova vo- ce italiana con il sintetizzatore MARYTTS [97], lavoro implementato allo ISTC-CNR di Padova da Tesser [103]. MARYTTS `e il sintetizzatore utiliz- zato nella nuova versione dell’avatar realizzata nell’ambito di questa tesi e mostrata nel capitolo precedente. Nella sezione 3.2 forniamo maggiori det- tagli.
La personalit`a dell’avatar `e data in particolare dal modello del parlato visivo che costituisce la peculiarit`a di questo sistema. Per creare un modello della produzione del parlato occorre prendere in considerazione non solo gli aspetti anatomici e fisiologici statici, ma anche la loro evoluzione temporale. La tematica viene affrontata in dettaglio nella sezione 3.4.