L’oggetto di questa tesi `e la progettazione e la realizzazione di un’architettura software per il riconoscimento automatico di espressioni facciali.
In particolare, questo lavoro si colloca nel progetto FACE del gruppo di Bioingegne- ria guidato dal Prof. Danilo De Rossi della Facolt`a di Ingegneria dell’Universit`a di Pisa il cui scopo `e la realizzazione di un display emotivo credibile basato su principi di ingegneria biomimetica. (Cap. 2)
Attraverso un sistema di visione artificiale (Sez. 2.1), si cattura l’immagine 3D del volto di una persona, parallelamente all’acquisizione delle informazioni relative alla curvatura.
Il volto umano ha attirato l’attenzione di diverse discipline, tra cui la psicologia, la computer vision, e la computer graphics.
Vari psicologi hanno messo in evidenza i diversi aspetti della percezione e del rico- noscimento del volto umano.
Con espressione facciale si intende il risultato di una sovrapposizione di volontarie
articolazioni muscolari che deformano la faccia neutrale in una faccia espressiva.
[Dav81, Bru88]
Paul Ekman e Wallace V. Friesen [EF78] hanno stabilito che la faccia `e capace di generare circa 55.000 espressioni facciali differenti, separabili in 30 classi semanti- che distinte.
Sempre Ekman ha identificato 6 espressioni facciali primarie, a cui va aggiunta l’espressione normale (cio`e l’assenza di un particolare stato emotivo): [Ekm71]
felicit`a (happiness)
paura (fear)
sorpresa (surprise)
disgusto (disgust)
tristezza (sadness)
rabbia (anger)
Demetri Terzopoulos e Keith Waters [TW93] hanno realizzato un sofisticato me- todo per stimare e sintetizzare sul monitor di un computer le espressioni facciali.
Un grande limite di questo sistema `e che alcuni tratti del volto da analizzare vanno evidenziati con dei marker.
Haibo Li, Pertti Roivainen e Robert Forchheimer [Li93] hanno descritto un ap- proccio nel quale, per realizzare un sitema di codifica delle immagini del volto, viene
utilizzato un controllo in retroazione tra ci`o che `e visualizzato e ci`o che viene analiz- zato.
Ifran A. Essa e Alex P. Pentland [EP97] hanno sviluppato un sistema in grado di analizzare espressioni facciali sulla base di osservazioni delle articolazioni espressive della faccia del soggetto in una sequenza video.
L’ambiente di sviluppo scelto `e “Visual C++ 6.0” della Microsoft, con sistema operativo Microsoft Windows 2000.
Il volto `e il principale strumento con cui gli esseri umani trasmettono le loro emo- zioni.
Recentemente, questo aspetto della comunicazione non-verbale `e divenuto oggetto di studi per la robotica e l’informatica, in parallelo con altri settori di ricerca quali le neuroscienze, le scienze cognitive, la biologia, la psicologia evolutiva, l’etologia.
Sono stati sviluppati diversi sistemi in grado di effettuare analisi automatiche, inter- pretazione e caratterizzazione di alcune espressioni facciali umane di base. [TW93, Ess95, Ekm89]
E stata eseguita molta ricerca in applicazioni come la robotica e l’interazione uomo-` computer (Human-Computer Interaction, HCI) , dove `e stata riconosciuta la po- tenza delle espressioni emotive facciali nella comunicazione uomo-uomo e uomo- macchina.
L’HCI include lo sviluppo di emozioni ed espressioni in sistemi artificiali.
Questi possono essere divisi in:
sistemi simulati via software
strutture realizzate fisicamente (real 3D artefacts), noti anche come agenti sociali (sociable agents)
Molta importanza `e stata data ai primi.
Molti ricercatori di robotica stanno, infatti, realizzando l’emulazione di espressioni umane su immagini generate al computer.
Molto poco `e stato ottenuto per quanto riguarda la realizzazione di facce espres- sive in tre dimensioni.
Tuttavia, un lavoro di ricerca all’avanguardia sugli agenti sociali `e stato svolto al MIT (Massachusetts Institute of Technology) da Cynthia Breazel e Brian Scassellati [BS00].
Essi hanno progettato un robot, chiamato KISMET, per interagire socialmente con
“genitori” umani.
Questo integra percezione, attenzione, pilotaggio, “emozioni” di base, scelta di com- portamento e azione motoria.
In questa architettura gli aspetti biomimetici delle espressioni emotive non sono con- siderati molti importanti e sono al momento ridotti all’essenziale; il volto di KI- SMET, infatti, ricorda molto quello di un cartone animato.
Un diverso, ma non meno importante, approccio alla creazione di agenti emo- zionalmente e socialmente significativi per gli uomini `e la ricerca mirata a dotare i robots di un maggior numero di espressioni mimiche naturali, sfruttando strutture ed
attuatori che possono con maggiore precisione replicare le sottigliezze dei movimen- ti umani.
Alla Science University of Tokyo una faccia androide con una pelle elastomerica so- vrapposta ad un teschio meccanico produce alcune espressioni utilizzando attuatori realizzati con materiali a memoria di forme opportunamente posizionati.
La pelle elastomerica `e modellata, colorata e realizzata per somigliare alla faccia di una donna, ma il sorriso impiega un tempo piuttosto lungo a formarsi a causa del- l’eccessivo tempo di rilassamento dei materiali. [Har98]
Facce androidi si sono diffuse nell’industria cinematografica [Wil03] ed hanno ora ottenuto un alto grado di credibilit`a, almeno nei films.
Questi sistemi hanno una ottima qualit`a estetica quando vengono ritoccati dai tecnici degli effetti speciali e sono mossi per mezzo di motori a lento movimento e cavi col- legati ad una pelle di silicone inerte.
Visti nella vita reale essi hanno un grado di credibilit`a simile a quello dei manichini.
In sintesi, sebbene alcuni ricercatori e molti artisti hanno provato a replicare le espres- sioni umane e riprodurre la loro qualit`a estetica, pochi tentativi sono stati fatti verso la realizzazione fisica di una faccia espressiva in tre dimensioni con qualit`a credibili.
Da divertsi anni, il gruppo di Bioingegneria guidato dal Prof. Danilo De Rossi della Facolt`a di Ingegneria dell’Universit`a di Pisa lavora alla realizzazione di un di- splay emotivo credibile basato su principi di ingegneria biomimetica.
Il sistema `e chiamato FACE: Facial Automaton for Conveying Emotions.
Le linee di progetto si basano sulla simulazione di comportamenti biologici per mez- zo di materiali, strutture ed algoritmi di controllo che possono riprodurre alcune delle funzioni e delle risposte dei sistemi viventi.
L’obiettivo finale `e ambizioso e culmina nel raggiungimento della credibilit`a, sia in termini di visualizzazione che di movimento, con una struttura sintetica dalle sem- bianze umane.
Al momento il gruppo si `e focalizzato sulla simulazione di emozioni per mezzo di una faccia realizzata fisicamente e sull’esplorazione delle sue esperienze sociali e terapie con individui affetti da autismo. [Pio03]
! #" $%&'&'()" *+&',,-(.%$%/1032
L’architettura del sistema FACE `e rappresentata in figura 2.2. Essa pu`o essere divisa in tre sezioni principali:
1. Anthropomorphic Head (AH)
2. Anthropomorphic Control (AC)
3. Artificial Decision Unit (ADU)
In questa sede verranno presi in considerazione solo i due moduli evidenziati, cio`e:
1. Artificial Vision (AV), realizzato con il sistema SURPHASER (Sez. 2.1)
2. Facial Expression Estimator (FEE), oggetto di questa tesi
Per un’approfondimento su tutti gli altri moduli del sistema si rimanda a [Pio03]
. . ) &( $%$%/1032
"! # $%
Il SURPHASER `e uno strumento per la rilevazione automatica della topografia dorsale che fornisce dati utili per la diagnosi di patologie quali la Scoliosi Idiopatica.
E uno strumento opto-elettrico sviluppato e costruito da Janusz Kozlowski [Koz99]` presso la AILUN (Associazione per la Istituzione della Libera Universit `a Nuorese - www.ailun.it). Grazie alla totale assenza di rischi per l’esaminato (il sistema non fa uso di radiazioni ionizzanti), pu`o essere utilizzato con regolarit`a per evidenziare le variazioni dei parametri antropometrici a seguito delle terapie instaurate.
E uno strumento portatile che si interfaccia, attraverso una scheda frame grabber,` con un normale PC su cui sia installato il sistema operativo Microsoft Windows.
Il software di gestione dello strumento e di analisi dei dati non richiede una specifica formazione, rendendo pressoch´e immediato l’uso del dispositivo.
Per il funzionamento del sistema non `e richiesto l’oscuramento dell’area di lavoro e l’uso non produce alcun rumore.
I dati forniti dal SURPHASER permettono di completare, insieme agli esami radio- grafici, la valutazione diagnostica del paziente e forniscono un’accurata descrizione tridimensionale della deformazione della superficie dorso-lombare conseguente alla deformit`a vertebrale sottostante.
I pazienti vengono posti in piedi a 3,5 m dall’apparecchio e posizionati nel campo visivo dello strumento.
Oltre l’iniziale adeguamento del sistema di ripresa alle condizioni luminose dell’am- biente, nessun’altra calibrazione `e necessaria.
Il campo di visuale del sistema `e di 70 x 105 cm; ci`o permette di esaminare pazienti
di una altezza che pu`o variare tra i 150 cm e i 190 cm senza bisogno di modifiche d’impostazione.
Insieme alla mappa tridimensionale e alla fotografia della schiena, che vengono acquisite contemporaneamente in un arco di tempo di circa 20 millisecondi, lo stru- mento calcola la curvatura locale.
Ci`o permette di localizzare automaticamente punti specifici della superficie analizza- ta (fossette del bacino, linea dei processi spinosi, triangolo della taglia, spalle, osso coccige, ascelle, settima vertebra ), evitando il posizionamento manuale di markers, procedura, quest’ultima, che risulterebbe altrimenti lunga e soggetta a notevoli errori.
Una volta calcolati i punti anatomici, si effettua la normalizzazione automatica della posizione del paziente (ruotando virtualmente la forma 3D ricostruita).
In entrambe i casi si possono osservare le intersezioni della superficie della schie- na con un piano perpendicolare alla linea dei processi spinosi, in qualsiasi punto indicato dall’operatore.
I punti e le linee segnate automaticamente possono essere corrette dall’operatore in maniera interattiva. Lo strumento `e particolarmente indicato per seguire le cure correttive e il monitoraggio di trattamenti fisioterapeutici.
Rispetto ad altri strumenti di questo tipo esistenti sul mercato, SURPHASER si distingue per la sua compattezza, velocit`a d’esame e capacit`a di misurare anche le superfici inclinate oltre i 70 gradi. Questa caratteristica `e di grande rilevanza clinica, poich´e permette di misurare la topografia durante il cosiddetto “bending test” (esame in flessione del rachide).
Le posizioni delle fossette del bacino e della linea dei processi spinosi vengono
trovate automaticamente anche in questo tipo di esame.
Il SURPHASER consente, inoltre, l’eventuale valutazione della sagoma del tora- ce, non sempre possibile con gli altri strumenti esistenti.
Il sistema `e affidabile nella registrazione dei dati grazie a una definizione milli- metrica (+/- 1 mm). La velocit`a nell’acquisizione dei dati (la ripresa dura 0,02 sec) risolve il problema della respirazione dei pazienti.
L’analisi dei dati, sufficientemente veloce anche con computer ordinari, permette la visualizzazione in alcuni secondi; `e quindi possibile acquisire pi`u informazioni in caso di necessit`a, e anche il paziente pu`o avere un riscontro visivo immediato della propria situazione.
Non va sottovalutato, sotto l’aspetto clinico, oltre alla attendibilit`a ed accuratezza del dato, la portabilit`a dello strumento e la versatilit`a in condizioni di luce “normale”.
Al sistema sopra descritto ho apportato alcune modifiche per quanto riguarda la camera adottata per la ripresa delle immagini.
Ho trascorso 2 mesi a Nuoro presso la AILUN, durante i quali ho sviluppato i driver di interfacciamento della Micropix CCD Camera con il software sviluppato da Janusz Kozlowski.
. %'" ) )(%% (), &' (" " '#
