#%$ GlistudidiEkman[Ekm71]attiarealizzareunsistemaperladescrizionedet-tagliatadiespressionifacciali(FACS,FacialActionCodingSystem),sonostatiunimportantepuntodipartenzaperiricercatorinell’ambitodellescienzeinformaticheerobotichealﬁnediesplorareilmondodella

Testo completo

(1)

(2) !" Gli studi di Ekman [Ekm71] atti a realizzare un sistema per la descrizione dettagliata di espressioni facciali (FACS, Facial Action Coding System), sono stati un importante punto di partenza per i ricercatori nell’ambito delle scienze informatiche e robotiche al fine di esplorare il mondo della comunicazione e espressione delle emozioni umane. FACS analizza i movimenti di quaranta muscoli facciali classificando gli spostamenti come Action-Units (AUs). Una AU rappresenta la deformazione attuata da un gruppo di muscoli in modo tale da ottenere una particolare espressione. In tal modo una espressione facciale può essere acquisita da un sistema di visione artificiale o semplicemente da una fotocamera per essere analizzata da un opportuno algoritmo, tradotta nelle AUs che la compongono e successivamente identificata dalla codifica FACS.. Il sistema sviluppato da Terzopoulos e Waters [TW93] e` basato sul database. #%$.

(3) FACS (Facial Action Coding System) di Ekman e Friesen [EF78]. Il FACS quantifica le espressioni facciali in termini di 44 Action Unit (AU) comprendenti uno o più muscoli ed i relativi livelli di attivazione.. Mediante l’uso di snakes, vengono rilevate la posizione della testa e i movimenti degli occhi, del naso e della bocca. Da questi si ha la stima delle contrazioni dinamiche dei muscoli facciali primari e quindi la relativa AU.. Per mezzo di una richiesta al FACS si ottiene l’espressione facciale. Nel Facial Expression Estimator le due precedenti operazioni sono sostituite rispettivamente dal primo strato di classificatori, costituito da 4 mappe di Kohonen, e dal secondo strato di classificatori, costituito da un Multilayer Perceptron. Ciascuna delle 4 mappe di Kohonen fornisce la classificazione delle 7 espressioni facciali La rete gerarchica e` costituita da 4 mappe di Kohonen, una per ciascuna zona, e da un Multilayer Perceptron. Ciascuna mappa di Kohonen ha una struttura bidimensionale con un numero di neuroni per dimensione pari a 10.. In fase di addestramento sono stati presentati gli ingressi in modo non ordinato, cioè non sono stati presentati all rete prima gli ingressi relativi all’espressione nor-. ##.

(4)

(5)

(6)

(7) . #.

(8) male, in seguito quelli relativi all’espressione felicita` , fino ad arrivare all’espressione paura; bens`ı sono stati presentati casualmente ingressi relativi a tutte le espressioni. Per l’addestramento e` stato utilizzato un numero di cicli pari a 300, perché con valori più elevati non si avevano diminuzioni apprezzabili dell’errore..

(9) !#"$#"!%&')(*+*,(.-0/0"( 132457624 8629;: 7 86< 132457624 86=?>A@ B .

(10) C &D FE )G #HIH JG$K 7ELE. MN62PO 2PQP24OR2P 86ST 6U 8 VW AXY7 [Z\ 86U];@^_@ `<<a7 ZY 86Ub>8^_@ B . cd+E_e eLe fe 7EgG fH0H JGhK 7ELE. WV R F62P6i5jkl@^_m8m8m Vn 62P6iojpq# 8 T@^mm Vn 62P6iojU2P>8^_@ VWR F62P6iojU24rq7 8 l@^_m8m s\t q Q4 [ $ @8@ uv 776w24 86yx3 FU l 6U B . . z!C &D 8GP{ 7GIGF|}D FE7D

(11) G fH0H JGhK 7ELE. Per quanto riguarda l’architettura del Multilayer Perceptron lo strato di ingresso ha un numero di neuroni pari a 28, considerando, per ciascuna delle 4 zone, 7 ingressi (uno per ciascuna espressione); la funzione di trasferimento e` stata scelta lineare.. #8~.

(12) QPF U2WU!292P6 246i8 7F Lo strato nascosto e` formato da un numero di neuroni pari a 15 con una funzione di trasferimento sigmoidale. Infine lo strato di uscita ha un numero di neuroni pari a 7, uno per ciascuna espressione facciale che deve essere riconosciuta.. MN6<Vn t 7 >RF 24UU76]Vn t 7 x3<h[Vn t 7 a7 r s 66 q#24 86 B . : . F F 86[;: 6F !6q#24 86]lVW2P6 F F 86[?> 6F !6q#24 86] h2Pi5 824U F F 86

(13) 6F !6q#24 86] h2Pi5 824U. D &D D G "!# %$&('%)+*. VW 6246i5l!q+,w< F 8<!i824 86 X-24ro 8o 6) 6U=U q t VW 6246. i $ 7i t / h2P6iQP0 $ <21 13 Q, 43 uv 776w24 86yx3 FU l 6U uv F62P6i ;x65 B . >@?A.

(14) 798 &D RG G fHIH FE0G

(15) FE D

(16) G: ;!< =$=('%)*. BDCFEHGIG"J. KHLMK@NPO;LMLFQ. LFQ@RTS;UGIG"J. Attraverso il sistema di visione artificiale descritto nella sezione 2.1 si ottiene il flusso di dati contenente le informazioni sulla fotografia a colori e sulla curvatura (modulo 3D extraction) del volto esaminato, che per comodità viene salvato su un. #

(17).

(18) QPF U2WU!292P6 246i8 7F. >RF-24UU76bVn t 7 . x h<Vn t 7 . Vn 62P6iojp137qR t x 5 B. Vn 62P6ioj'l@h^4> = 8576) T@^4> 24i )[137qR t T@^mm8m8m8m8m Vn 62P6ioj'l@h^4> = 8576) T@^4> 24i )[137qR t T@^mm8m8m8m8m.

(19) !C &D 8G #HIH LE0G LE D G + "!< %$&('%)+* . WV AXY7 [Z\ 86U];@^_@ `<<a7 ZY 86Ub>8^_@ B. d+Ee _eFe #e#EG$H | wG+ "!< %$& ' =)+* . file binario (con estensione .dat). Le dimensioni di ciascuna immagine registrata sono: Altezza = 640 pixels Larghezza = 480 pixels. La struttura di ciascun file .dat e` la seguente: Vertici e` un vettore i cui elementi sono di tipo float. E` strutturato in triplette, nelle quali sono contenuti i valori delle coordinate XYZ dei vertici. La prima tripletta e` diversa dalle successive: - la prima componente contiene il numero di vertici, - la seconda indica quanti di questi vertici appartengono al bordo, - la terza componente e` vuota.. #.

(20) QPF U2WU!292P6 246i8 7F. 5a^ 2P62P6iv F 8 r2P

(21) Q4 Fr !6]@^_@> ^v J< $q+24

(22) U2$242PQP[ t >A@@8@ B .

(23) 7E0Ge#EwG$| D #H3G96 I!< =$=('%)*. Fotografia e` un vettore i cui elementi sono di tipo BYTE. Tre BYTE consecutivi costituiscono i valori delle componenti Red, Green, Blue di ciascun pixel (valori compresi tra 0 e 255), quindi la dimensione totale e` 3 x 480 x 640. Curvatura e` un vettore i cui elementi sono di tipo signed short (i valori sono scalati tra -1024 e +1024). La dimensione e` di 480 x 640. Di seguito sono riportate le immagini bitmap, sia della fotografia a colori sia della curvatura, relative a ciascuna delle 7 espressioni fatte dal Prof. Danilo De Rossi:. Figura 4.2: Normale (fotografia). #m. Figura 4.3: Normale (curvatura).

(24) QPF U2WU!292P6 246i8 7F. Figura 4.4: Felicità (fotografia). Figura 4.5: Felicità (curvatura). Figura 4.6: Sorpresa (fotografia). Figura 4.7: Sorpresa (curvatura). . @.

(25) QPF U2WU!292P6 246i8 7F. Figura 4.8: Rabbia (fotografia). Figura 4.10: Disgusto (fotografia). . >. Figura 4.9: Rabbia (curvatura). Figura 4.11: Disgusto (curvatura).

(26) QPF U2WU!292P6 246i8 7F. Figura 4.12: Tristezza (fotografia). Figura 4.14: Paura (fotografia). . :. Figura 4.13: Tristezza (curvatura). Figura 4.15: Paura (curvatura).

(27) # ] $UQP n/(%No( )

(28) >@?. J KHEHC J . . . . !""#. Per individuare le 4 zone necessarie al riconoscimento dell’espressione, si individuano con il mouse 4 marker, che vengono evidenziati con dei quadratini bianchi. Questo permette di poter modificare o eliminare il marker inserito nel caso si ritenga che il punto selezionato non sia quello desiderato. I marker vengono presi, nell’ordine, nei seguenti punti: (vedi Fig. 4.16) 1. estremità destra dell’occhio destro; 2. estremità sinistra dell’occhio sinistro; 3. punta del naso; 4. punto al di sotto del labbro inferiore.. >@? $ . J KHEHC J. . %&'(#. Dopo che sono stati individuati correttamente tutti e 4 i punti viene automaticamente stabilita la retta che congiunge i due occhi. In questo modo e` possibile, tramite una rotazione software delle due immagini contenenti la fotografia e la curvatura, ricondursi sempre all’immagine del volto con un allineamento orizzontale degli occhi. Questo permette di individuare le zone in maniera molto più semplice rispetto al caso di immagine con un volto arbitrariamente inclinato.. . $.

(29) # = hUQP n/(%&[-0/0". d+E0G G fe 7EvG

(30) . . #. .

(31) # ] hUQP % # % N * +%}%&

(32) . Figura 4.17: Allineamento degli occhi. Figura 4.18: relativa curvatura. Una volta ottenute le 2 bitmap con il giusto allineamento vengono calcolati gli 8 rettangoli (4 della fotografia e 4 della curvatura) che conterranno le informazioni relative alle zone identificate con occhio destro, occhio sinistro, naso, bocca. Le coordinate, e quindi le dimensioni dei rettangoli, vengono dapprima calcolate sulla base delle coordinate relative ai 4 marker selezionati. Questo permette il corretto funzionamento nel caso il soggetto ripreso non si trovi alla distanza esatta dal sistema di acquisizione, bens`ı sia un poco più distante o vicino (comunque, sempre ad una distanza dell’ordine delle decine di cm).. >@? > . J KHEHC J. . . . .

(33) . #. ". Ciascun rettangolo relativo ad ogni zona viene riportato ad una dimensione prefissata. Rettangolo per i due occhi : 25 x 25 pixels. .

(34) # ] hUQP % # % N * +%}%&

(35) .

(36) Ye#EgD D v | D #H G fD . ~.

(37) # ] hUQP % # % N * +%}%&

(38) Rettangolo per il naso : 25 x 30 pixels Rettangolo per la bocca : 40 x 20 pixels In questo modo si possono memorizzare dei rettangoli di uguale dimensione per tutti i soggetti esaminati, rendendo più semplice l’analisi di ciascuna zona. Di seguito sono riportate le immagini bitmap relative alle 4 zone estratte dall’espressione felicit a` :. Figura 4.20: Occhio destro Figura 4.21: Occhio sinistro. c7c 7| . c#z .

(39).

(40) # 1 29246 2P6i8 F F o2Wq QPF2!q 2 >@? . NPOIL LFQ. L Q@R.S;UG"G"J. N L C N GIGIL N0OIJTS L. I dati vengono salvati su 4 files, uno per ciascuna zona, perché i rettangoli che individuano le zone sono di diversa dimensione (vedi sezione precedente). All’interno di ciascun file la struttura e` la seguente: Il nome del file .dat per il soggetto esaminato Una stringa contenente il nome del soggetto Un identificativo per ciascuna classe 1. normale, 2. felicità, 3. sorpresa, 4. rabbia, 5. disgusto, 6. tristezza, 7. paura. Il numero di misura ripetuta per lo stesso soggetto e la stessa classe Un identificativo per la zona (0: occhio sx, 1: occhio dx, 2: naso, 3: bocca) Il vettore di componenti RGB relative a ciascun pixel della fotografia (opzionale) Il vettore del valore di curvatura relativo a ciascun pixel. .

(41) # j24Q, 2 >@? . LFGIEHC O"NPOIL. c G fHIH LEG FE7D fD P{ G | D .

(42) c7C LD E wG #HIH LE0G LE D D P{ G F|}D . . m.

(43) # j24Q, 2. c 8 fHIH YG$K 7ELE fD

(44) P{ G F|}D .

(45) c G #HIH LE0G LE D

(46) D P{ | E | D . ~@.

(47) # j24Q, 2. c C &D . 0E wG f H0H FE0G L E D . D 4{ | E | D . c :8 fHIH G hK 7ELE fD P{

(48) | _E|}D . ~>.

(49) # j24Q, 2.

(50) z \ G fHIH FE0G

(51) FE D fD

(52) )E #| .

(53) z C

(54) LD 0E wG #HIH LE0G LE D

(55) D )E #| . ~:.

(56) # j24Q, 2. z c:8 fH0H G $K #EFE D

(57) wE 7| .

(58) z#z Y G fHIH FE0G

(59) FE D fD

(60)

(61) .

(62) z C

(63) LD 0E wG #HIH LE0G LE D

(64) D

(65) . ~. $.

(66) # j24Q, 2. C. z 78 fH0H G $K #EFE D

(67) .

(68) z G #HIH LE0G LE D

(69) D w| 7E0G LHID #E . ~. #. | D fD

(70) G 7| | #e#E 8 _D .

(71) # j24Q, 2. z

(72) C

(73) LD 0E WG fH0H FE0G LE D fD 9| 7E0Gk|}D D k G #| | fe 7E 8 _ D nC LHAD 7E . 8 F Q4 !7QP2Pq724. h 8 F< 7 j2P 1324i8L F2PL O7OR ug . 8 F Q4 >A@8@ @ @ @ @ @ @. ! Q42Pq 2, $ 8 < F @ @ >A@8@ @ @ A> @8@ @ @ @ @ @ @ @ @ B . j2P @ @ @ >A@8@ @ @ @. 1324i8F @ @ @ @ >A@8@ @ @. 24F7O O . @ @ @ @ @. >A@8@ @. u @ @ @ @ @ @ >A@8@.

(74) :8 D vG #E 0| #E. L’addestramento dei classificatori e` stato fatto a partire dalle registrazioni delle immagini del Prof. De Rossi svolte al centro interdipartimentale “E.Piaggio” con il sistema SURPHASER + Micropix CCD Camera.. Dovendo Kozlowski riportare lo strumento a Nuoro per l’assemblaggio finale, non e` stato possibile effettuare un numero di misure ripetute adeguato alla necessità di addestramento delle reti di classificazione.. Per ciascuna delle 7 espressioni sono state realizzate 50 copie, ottenendo un totale di 350 immagini da utilizzare con i classificatori. Le immagini ripetute dello stesso. ~ .

(75) # j24Q, 2 soggetto sono state ottenute artificialmente, introducendo del rumore con il seguente metodo: per ciascuna espressione, una volta individuati i 4 marker, e` stato individuato un quadrato di dimensione pari a 10 pixel attorno ad ogni marker, facendo variare casualmente il valore dei marker per le ripetizioni all’interno di tale quadrato.. In tal modo per una stessa espressione sono state indiduate le 4 zone su immagini con una diversa inclinazione ed una diversa distanza tra i vari marker.. ~~.

(76) h 24QP<<2 2 >@?. . LFCFEHL E O;EHS L. Gli sviluppi possibili possono comportare miglioramenti nella selezione dei 4 marker, unico punto del sistema in cui si deve agire manualmente. Si può, ad esempio, prevedere una individuazione automatica di punti quali le estremità degli occhi, il naso e la bocca e la conseguente inclinazione del volto. Un possibile approccio per la risoluzione di tale problema consiste nello studio effettuato da O’Mara[O’M02] Si devono attuare ulteriori strategie di presentazione degli ingressi, con crescente livello di complessità: con uno stesso soggetto, per tutte e 7 le espressioni facciali, compiere ripetute varianti di una stessa espressione (sorriso più o meno marcato, rabbia più o meno marcata); ripetere il punto precedente, acquisendo tutte e 7 le espressioni per diversi soggetti, ampliando in modo considerevole il numero di esempi da fornire ai classificatori.. ~

(77).

(78)