IMPLEMENTAZIONE SPAZIALIZZAZIONE BINAURALE

Ne g li u lt im i anni , i l s u ono 3D s t a div e nt a ndo s e m pre p iù una ca rat t e ris t ica import a nt e ne l le ap pl icaz ion i di i nt ra t t e ni m e nt o; il g rad o d i coi nv olg im e nt o ra g g iunt o t ram it e fi lm e v ide og a m e s s i bas a e s s e nz ia lm e nt e s u e ffe t t i a ud io re a lis t ic i e pe rv as iv i, c he pos s ono e s s e re cons ide rat i una s im ula z i one v irt ua le di u n v e ro s u ono ambie nt ale .

Se condo quant o e m e rg e in una de l le de f iniz i on i d i V irt ua l Re al it y , la s im ula z ione non coi nv olg e s olo un am bie nt e v irt ua le m a anche u na v e ra e prop ria e s pe r ie nz a imm e rs iv a; inv e ce di par lare d i pe rce z i one ba s at a s ulla re a lt à , pe r Vi rt ual Re al it y s i i nt e nde una re a lt à a lt e rnat iv a ba s a t a s ulla pe rce z ione . Un’e s pe r ie nz a imm e rs iv a s i av v ant ag g ia di a m b ie nt i che re a lis t ica me nt e r ip rod ucon o le re a lt à c h e de v ono e s s e re s im ulat e .

I l p rob le ma d i r ipr odu rre aud io 3D no n è affa t t o t riv ia le ; co n un s is t e m a ba s a t o s u cuff ie s t andar d, i l s u ono s e m bra e s s e re g e ne ra t o a ll ’i nt e rno de l la t e s t a de ll ’a s colt a t ore . C iò è r is olv i bile t ram it e la s pa z ial iz z az ione b inau rale c he è i n g ra do di v e ico lare una buona pe rce z i one re al is t ica t rid im e ns iona le di u na s org e nt e s onora S , p os iz ionat a da qua lc he part e at t orn o a ll ’as col t a t ore L. Al g io rno d’ og g i molt i p rog e t t i di aud io - re nde r ing us a no la s paz ia liz z a z io ne bina u rale pe r rip rod ur re le s org e nt i s onore anim a t e S, e t e ng ono s ot t o cont ro ll o la pos iz i one de ll ’as colt at ore L (che s pe s s o r im ane f is s a a l fine di s e mplifica re i l m od e l lo).

Tut t a v ia , pe r fru ire d i u n’e s pe r ie nz a im m e rs iv a, q ue s t o a pp rocc io no n è s ufficie nt e , i nfat t i è ne ce s s ario c on os ce re la p os iz io ne e l’o rie nt a z i one de ll ’a s colt a t ore in re laz io ne al lo s paz i o v irt ua le pe r pot e r fo rni re un s e g na le cons is t e nt e , cos ic ché le s org e nt i s ono r e pos s ano r im a ne re fis s e ne l lo s pa z io v irt ua le , ind ipe nde nt e m e nt e dai m ov i m e nt i de lla t e s t a, com e ac cade con l’a s colt o qu ot id iano.

È o ppo rt uno pe r ciò c ons ide ra re un s is t e m a ca pa ce di t racc ia re e de t e rm i nare la pos iz ione de lla t e s t a de ll ’as colt a t o re L ris pe t t o all o s paz io , e di m o dif ica re il s e g na le dire t t o al la cuf fie s u lla ba s e d i t ale t racciam e nt o. I l s is t e m a è dun que in g ra d o di v e r if icare la pos iz i one de lle s org e nt i S r is pe t t o al l’as colt at o re L e re a g ire a i mov ime nt i de l lo s t e s s o L.

I s is t e mi a udi o t i picame nt e us ano t e cnolog ie d i he a d -t rack i ng m a g ne t ici, com pl ice il fat t o che p os s ono c ont r ol lar e 36 0° di r ot a z ione e for nis con o ot t im e pe rfo rma nce . Sfo rt unat ame nt e , a caus a de l la ne ce s s it à d i ha rdw a re de d ica t o m olt o c omple s s o, que s t i s is t e m i s i pos s ono ut i liz z a re s o lam e nt e pe r s pe rim e nt a z ione e ri ce rca. P e r ò, g raz ie all’ inc re m e nt o de l la pot e nz a di ca l col o de i com put e r d ome s t ici, ne g li ult im i anni s i s t a s v iluppa n do una n uov a g e ne ra z ione d i he ad -t rack e r ot t ic i bas a t i s ull ’ut i liz z o di w e bca m s o s e ns ori d i prof ond it à come la M ic ros oft k ine ct .

La s oluz ione a dot t at a fa us o pe r l’a pp un t o de lla M i cros oft K ine ct pe r re g is t ra re i dat i re la t iv i al la t e s t a de ll’as co lt at or e , m e nt re i l pa pe r da cu i s i è t ra t t o s punt o: ([ 53] ) “ He a d in s pace : a he ad t rack ing bas e d bine u ra l s pat ia liz a t io n s y st e m” (Luca A . L udov ic o, D av ide A. M auro, e D a rio P iz z am ig l io, LI M ) us a

- 95 -

un’im ple m e nt az io ne bas a t a s u un s is t e m a di t ra cc iam e nt o v ia w e bcam e una s paz ializ z a z ione bina urale che s fr ut t a la conv oluz ione de i s e g nali.

3.3. 1 S p a z ia liz z a z io n e Bin a u r a le

La s pa z ia liz z az io ne b ina u rale è u na t e cnica che m ira a l la rip rod uz io ne d i un s uono re a le de ll ’amb ie nt e us ando e s cl us iv a m e nt e due ca na li (com e av v ie ne , de l re s t o, ne l la re g is t raz ione s t e re o). E’ bas at a s ull’as s unz io ne che il nos t ro udit o ha s o lo 2 r ice v it or i, le ore c chie ; pe rc iò , inv ia nd o un s e g nale ug ua le (o quas i ug uale ) a que l lo c he un as co lt at o re rice v e re b be in un am b ie nt e re ale , s i rie s ce a ind urre ne ll ’as colt a t ore la m e de s im a pe rce z ione , ot t e ne ndo c os ì un’e s pe rie nz a aud io v e rame nt e imm e rs i v a.

I l s is t e ma audio g e s t is ce v ari t a s k s im ult ane i de t t i “ c ue s ” (pri ncipa lm e nt e bas a t i s ui parame t r i fis ic i de l s e g nale d i int e re s s e ) pe r ot t e ne re u na ra ppre s e nt a z ione de l l’ac us t ica am bie nt a le .

La s pa z ia liz z az io ne b inau rale può e s s e re rag g iunt a t ram it e v ar i pro ce s s i com e ad e s e m pio: le e qua liz z az ion i e de la y , o la conv o luz i one co n la ris p os t a impuls iv a de lla t e s t a HRI R.

L’ult im o app rocc io è que l lo d i mag g ior e int e re s s e . Al fine di ot t e ne re que s t i impuls i , m olt i e s pe rime nt i che pre v e don o l ’us o di dum m y he a d¹³ s ono s t a t i fa t t i ne l t e m po e s ono s t at i c re at i dat a ba s e di ris pos t e im p uls iv e . M olt e d i e s s e us ano una d is t anz a fis s at a s olit a m e nt e di 1 m e t ro t ra S s org e nt e e L as colt at ore .

Ai fin i a ppl icat iv i , s i as s ume che l’h e ad t ra ck ing s ia una black box che re s t it uis ce a l l’ap pli caz ione un i ns ie m e di pa ra m e t ri rig ua rda nt i la pos iz ione de lla t e s t a , ad un rat e be n pre cis o.

I n input ci s o no d ue i ns ie m i di pa ram e t ri che s e rv ono a de f ini re : 1) la pos iz ione de ll ’as colt at o re , e

2) la pos iz ione de lla s org e nt e aud i o.

C ons ide ra nd o q ue s t e info rmaz io ni, i n s ie m e alla pos iz i one de l s e ns ore di t raccia m e nt o, è p os s ibile calc olare l a pos iz io ne re c ip roca de ll ’a s colt at o re ris pe t t o a l la s org e nt e , in t e rm in i di az i muth, e le v az io ne e dis t anz a . Q ue s t o è t ut t o ci ò d i cu i il s is t e ma ha bis og no pe r s ce g lie re q uale r is pos t a im p uls iv a us are pe r la s paz ial iz z az ione .

- 96 -

Figura 36 schema generale per la spazializzazione

Una v olt a che s i ot t ie ne la cor re t t a HRI R dal dat aba s e , è pos s ibi le e s e g uire la conv oluz ione t ra u n s e g na le audio m ono in in put e la r is pos t a im puls iv a s t e re o. D a l mom e nt o c he l e pos iz i on i s ia de l l’ as colt a t ore che de lla s org e nt e pos s ono cambia re ne l t e mpo, s i ut il iz z a un appo s it o m e ccanis m o di int e rp olaz i one che e ffe t t ua lo s w it ch t ra d ue di ffe re nt i HRI R pe r g arant ire dina m icit à a l s is t e m a . S istem a d elle Co o r d in a te

I l m e ccanis m o d i s paz ia liz z az ione us a u n s is t e m a di co ord inat e s fe riche che ha l’o rig ine a l ce nt ro de l la t e s t a de l l’as co lt at ore . La s org e nt e è ide nt if ica t a da una m is ura di d is t anz a e 2 a ng o li : l’az im ut h s ul p iano o riz z ont a le e l ’e le v az ione s ul pia no m e dia no. Le dis t anz e a ng o la r i s ono e s pre s s e in g ra di e s alv at e ne l la

- 97 -

pat ch t ra mit e v ariab il i int e g e r, m e nt re la d is t a nz a è e s pre s s a in m e t ri e e d i l s uo v alore è s alv at o t ramit e un f loat .

I l t ra cc ia m e nt o de lla t e s t a pre s e nt a c o ord inat e i n form a cart e s iana che ha n no l’o rig ine s ul co no di p ro ie z ione d e lla w e bca m . I n q ue s t o m od o la ra ppre s e nt a z ione de lle c oor dinat e de l s is t e m a di s paz ia liz z a z ione e que lle de l t raccia m e nt o de lla t e s t a s ono diffe re n t i e c’è bis og no d i una p roce d ura d i conv e rs ione che , pe r pr ima c os a, e s e g ue una r ot ot ra s la z io ne de l s is t e m a a l fine di ot t e ne re le nuov e co ord ina t e di t ra s laz ione , s ia de lla s o rg e nt e che de ll a t e s t a , de nt ro un s is t e ma di rife rim e nt o r e t t a ng ola re .

Ris pe t t o a i c ont e s t i in cui s i a d ot t a una w e bca m , ne lla s e g ue nt e imple m e nt a z io ne s i ut il iz z a una k ine ct , pe rciò le co ord ina t e de l s e ns ore s ono g ià re t t a ng olari , e d il ce nt ro de l s is t e m a coinc ide c on i l ce nt r o de l s e ns ore s t e ss o, qu ind i non c ’è bis og no de l l a conv e rs i one int e rm e d ia in cu i le coor dina t e de lla w e bcam s ono t ra s form at e ne lle c oor dina t e re t t ang olari.

I l pa s s ag g io al le c oo rdi nat e s fe ri che da que lle ca rt e s ia ne fa us o de l le s e g ue nt i formu le :

I l nu ov o s is t e ma d i c oo rdi na t e pu ò e s s e re im p ie g a t o pe r re cu p e ra re l ’HRI R corre t t a da l dat aba s e . P oiché il dat a ba s e include s o lam e nt e HRI R m is ura t e a una dat a dis t anz a, s i us an o s olo le c om pone nt i a z im ut h e d e le v az ione . D a l m om e nt o c he n on t ut t e le co ppie az im u t h -e le v az ione ha nn o un cor ris p onde nt e , s i s ce g lie la c or ris po nde nz a s ul la bas e d e lla m i nim a dis t anz a e ucl ide a .

Co n v o lu z io n e e In ter p o la z io n e

I l pr oce s s o di conv o luz i one av v ie ne t r a un s e g na le ane c oni co (cioè che è in g ra do d i a s s orbi re le on de s ono re s e n z a rif le t t e rle , pr iv o d i e co) e un ’HRI R bina u rale . I l pap e r “ He ad in s pac e : a he ad t rack ing ba s e d bine u ra l s pat ia liz a t ion s y s t e m” ut iliz z a il C I P I C dat a ba s e , ov v e ro un ins ie m e di r is pos t e impuls iv e pe r 45 s og g e t t i a 25 d iffe re nt i v a lor i di a z im ut h e 5 0 d iffe re nt i v a lor i di e le v a z ione . I l p roce s s o è e s e g uit o pr i m a una v olt a pe r il ca na le s in is t ro e p oi un’a lt ra pe r i l ca nale de s t ro. Az imut h e d e le v az ione s ono m is urat i ne l da t a ba s e con u na nume raz ione ad h oc

Uno de i p rob le mi c orre lat i a l l’ us o di HRI R pe r la s pa z ia liz z az ione è l’i nt e rpo la z io ne t ra d ue s e g nali c onv ol u t i co n due di ffe re nt i im pu ls i. Q ue s t o è un ca s o c omune pe r le app licaz i on i re a l -t im e pe rc hé qua ndo ci s i m uov e da un v a lore d i a z imut h a d un a lt ro , g li im pu ls i s ono m olt o dif fe re nt i. Ne c ons e g ue che i l s e g nale in out put cambia br us cam e nt e , a ff lig g e ndo n e g at iv am e nt e la qualit à pe rce p it e de ll ’int e r o s is t e m a . Un a pr oce du ra d i int e rp ola z i one bas t a s ul

- 98 -

cros s -fa de è ut i le pe r lim it are g l i art e fa t t i pr odot t i da l lo s w it ch t ra un im puls o e l’a lt ro.

Ne g li am bie nt i re al -t im e og ni ope raz ion e ridon da nt e dov re bbe e s s e re e lim i na t a pe r m ig l iora re la re at t iv it à e le pe rf orm ance . 40m s e c è il v alo re d i t e m po us a t o pe r de f ini re la du rat a de l cr os s fade s ce lt o t ra i s a m ple .

S im u la z io n e d ella D is ta n z a

Una de lle mag g ior i l imit az io ni de l C I P I C dat aba s e è que lla che pre s e nt a ca ndida t i s olo a u na ce rt a d is t anz a . P er s im ula re l’e f fe t t o dis t anz a s i us a una s e mplice pr oce dura , bas a t a s ulla le g g e de ll ’inv e rs o de l quad rat o. L’e s pre s s ione è la s e g ue nt e :

I l ra ng e de i v alor i di d is t anz a è lim it at o dal s is t e m a di t racciam e nt o de lla t e s t a t ra 0. 1 e 2 me t ri. C onv e nz io nalm e n t e 1m e t ro ide nt if ica la dis t anz a di rife r ime nt o de lle r is pos t e im puls iv e e in que s t o ca s o non s i ha g ua da g no. I l proce s s o pot re b be e s s e re ult e rio rm e nt e m ig liora t o ag g iung e ndo un f ilt ro ch e s im ula l’as s orb ime nt o de ll ’a r i a o t ram i t e l’ut il iz z o d i u n dat aba s e dov e HRI R s ono m is urat e a v arie d is t anz e .

3.3. 2 P a tc h P u r e D a ta – S p a z ia liz z a z io ne Bin a u r a le

I l t ra cc iam e nt o de lla t e s t a è i nt e s o com e una “ black box ” , i n q ua nt o al la pa t ch di P u re D at a a rriv an o t ut t e le i nfo rm a z i oni re la t iv e a lle co ord inat e de lla t e s t a t ram it e pa cc he t t i OS C prov e n ie nt i dal l’ap pl icaz io ne che s i occ upa de ll ’int e r fa cciame nt o con i l s e ns ore k i n e ct .

La pa t ch P ure D at a che im ple m e nt a l a s paz ializ z az ione , è u n’e v o luz io ne d i que lla ut il iz z at a pe r la rip r o duz io ne di a udit o ry icons m on ofon ica . L’i nt e rfa cc ia e la s t rut t ura di bas e r ima ng ono e s at t am e nt e le s t e ss e , s i ag g iung on o e s s e nz ialm e nt e due com p one nt i : u na p art e di og g e t t i P D de s t inat i a l ca lc olo de l ce nt ro ide de ll ’og g e t t o punt a t o , e u na s ub pat ch c he s i occ upa de ll ’int r oduz ione di t ut t i g li e ffe t t i d i s p az ializ z a z ione .

- 99 -

Figura 37 screenshot subpatch extra versione 3daudio (calcolo centroide in basso a sinistra, collegamenti a 3daudio_onech in basso al centro

Ca lc o lo d el Cen tr o id e

D a l m om e nt o che l’a ppl icaz i one di s pa z ializ z az ione ne ce s s it a de lla pos iz i one ne llo s pa z io de lla s org e nt e s ono ra , è o ppo rt uno ca lco lare il ce nt r oide corr is pon de nt e a cias cun og g e t t o ind i cat o, ov v e ro l’ int e ra s org e nt e s on ora v ie ne co nde ns at a i n u n uni co punt o ne llo s pa z io 3D , e pe r ot t e ne re u na m appa t ura la p iù fe de le pos s ibi le , t al e punt o de v e t rov ars i e s a t t a m e nt e a l ce nt ro de l pa ral le le p ipe do che c om pre n de l’ int e r o og g e t t o punt at o.

A liv e llo imple me nt at iv o , t ut t e le info rm az ion i rig ua rda nt i il pa ralle le pi pe d o che ric opre l ’og g e t t o punt at o arriv a n o dire t t a m e nt e da l Kine ct app li ca t ion Se rv e r s ot t o forma di me s s ag g io OSC e v e ng ono s com pat t at i e re s i dis ponib il i pe r l ’e la b ora z i one da ll ’og g e t t o P d ro ut e OS C .

P e r ca lco la re i l ce nt r oide , l ’i de a è que l la di t r ov are i l ce nt ro de l q ua dr ila t e ro cos t it uit o dai punt i di bas e P 1 ,P 2 ,P 3,P 4, fa ce nd o la m e d ia t ra i co rr is pe t t iv i v a lori d i X e Z n on ad iace nt i; m e nt re pe r quant o rig ua r da la Y , s i s om m a n o ris pe t t iv a m e nt e i v alori de g li at t ri but i He ig ht OfObje ct e He ig ht From F l o o r e s i div ide pe r 2 i l r is ult a t o.

- 100 -

Figura 38 calcolo del centroide

S u b p a tc h 3d a u d io _ on ec h

Q ue s t a s ubpat ch c om pre n de l’ int e ro a lg orit m o che pe rm e t t e di ot t e ne re la s paz ializ z a z ione b inaura le , l ’alg o rit m o che ag g iung e l’e ffe t t o d i riv e rbe ro e anche i l r ipr odut t o re re ads f~ ut iliz z a t o pe r r ip rodu rre i s e g n a li a udi o oppo rt una me nt e r ie lab ora t i.

I nna nz it ut t o s i ana liz z ano i 5 i nle t de lla s ubpat ch:

 inlet 1: riceve I dati provenienti da un oggetto pack che raggruppa ne ll ’or dine i v al or i:

 RX RY RZ ov v e ro i c oe ffi cie nt i di rot a z ione de lla t e s t a (che ne lla s e g ue nt e imple me nt a z ione v e rra nn o s e m pre m e s s i a 0 p oic hé i l s e ns ore di pr ofon dit à di c ui è d ot at a la k ine ct non è in g rad o di dis t ing ue re l’ or ie nt az ione de l la t e s t a in qua nt o s i r idu ce a un s ol o punt o);

 U s er p o s itio n X Y Z , ov v e ro le coo r dinat e de l l’ ut e nt e che s t a e ffe t t uando il punt am e nt o in que l pre c is o m om e nt o.

- 101 -

 inlet 2: riceve in ingresso I dati prov enienti da un oggetto pack che ra g g ruppa i v a lo ri sX s Y s Z che s ono ris pe t t iv a m e nt e le coord inat e X Y Z de l ce nt r oide pre ce de nt e m e nt e calc o la t o, e ra ppre s e nt ano cioè la pos iz ione de l la s org e nt e s ono ra.

 inlet 3: seleziona uno de i 4 preset differenti che si possono ut ilizzare pe r g e s t ire il r iv e rbe r o e la s imu laz ione de l l a dis t a nz a.

 inlet 4: riceve in ingress o, direttamente dalla outlet più a s inistra di rout e OS C , il me s s ag g io P d c ont e ne nt e il com m and o “ ope n fi le nam e . w a v ” corr is pon de nt e all ’og g e t t o in d icat o.

 inlet 5: riceve il commando d i on-off c he abilita e disabilita il rip rodut t o re re a ds f~ .

La s ubpa t ch 3dau dio_ one ch è m olt o am pia e d è conv e nie nt e pr oce de re ad una ra pida de s criz ione pe r s e z io ni.

Figura 39 screenshot 3daudio_onech – parte in alto a sinistra

Ne lla pa rt e in alt o a s in is t ra g l i inle t rig uarda nt i RX R YRZ , us e rpos it i onXY Z e s ource pos it i on s X s Ys Z s ono m anda t i a l oro v olt a i n in put a un’a lt ra s ubpa t c h _ coords m ng che s i occupa de lla co n v e rs ione de lle co ord inat e : da que lle