UNIVERSITÀ DI PISA
DIPARTIMENTO DI INGEGNERIA
DELL’INFORMAZIONE
SCUOLA DI INGEGNERIA
Anno accademico 2018/2019
Candidato: Relatori:
Domeneghetti Davide Ferrari Vincenzo
Carbone Marina
Uso di lenti liquide per ampliare la
profondità di campo nei visori indossabili
Video See-Through
Sommario
I visori indossabili per Realtà Aumentata sono d’interesse per la chirurgia, in particolare per gli interventi di chirurgia aperta tradizioneale dato che permettono al chirurgo di mantenere lo sguardo fisso sul paziente e gli permettono di lavorare sotto la guida dell’informazione virtuale aggiuntiva: come un target da raggiungere o una linea di taglio da seguire la cui traiettoria è stata pianificata prima dell’intervento a partire dalle immagini diagnostiche del paziente.
Una delle tipologie di detti visori sono i cosiddetti Video See-Through che sono dispositivi indossabili che permettono di fondere l’immagine reale, ripresa da telecamere montate esternamente ad un visore per realtà virtuale, all’immagine virtuale renderizzata da un calcolatore ed infine mostrare il risultato sullo schermo del visore. Questa tipologia di visori possono fornire, oltre che una guida in realtà aumentata, anche una magnificazione della scena visualizzata selezionando un’opportuna ottica della camera in funzione delle dimensioni del sensore e dell’angolo di vista offerto dal display.
Generalmente questi visori utilizzano ottiche a fuoco fisso, che intrisecamente non permettono di mettere a fuoco oggetti esterni alla profondità di campo offerta dall’ottica e quindi l’utente può utilizzarli solo in un intervallo di distanze prestabilite. L’utilizzo di ottiche mottorizzate (generalmente con attuatori a bobina mobile, voice coil actuator) e di algoritmi automatici per regolare la messa a fuoco automatica (phase detection o di ottimizzazione del contrasto) rendono poco confortevole l’esperienza all’utilizzatore perché spostare la messa a fuoco può richiedere fino a qualche secondo.
In questo lavoro è stato dimostrato che l’utilizzo delle lenti liquide selezionate nei visori VST in applicazioni di Realtà Aumentata si limita ad applicazioni che richiedono bassa accuratezza della registrazione degli oggetti virtuali con la scena reale, in quanto i parametri intrinseci della camera
non sono ripetibili (condizione necessaria per poter modellare la camera virtuale al fine di ottererne la coerenza con quella reale).
L’obiettivo di questa tesi è dimostrare la possibilità di ampliare la profondità di campo nei visori indossabile Video See-Through, anche per dispositivi che forniscono ingrandimento ottico della scena, ricorrendo a:
1) camere con lenti liquidi, che non necessitano di attuatori per la loro movimentazione, poiché tramite l’applicazione di un campo elettrico è possibile cambiare la curvatura della lente;
2) un sistema di controllo a ciclo aperto basato su un sensore di distanza.
Il controllo a ciclo aperto è stato ottenuto grazie a una scheda Arduino UNO che prende in ingresso la distanza da un oggetto inquadrato grazie a un sensore di distanza e manda la tensione adeguata, per ottenere una corretta focalizzazione alla lente della telecamera.Da ultimo sono stati valutati la velocità di messa e la replicabilità dei parametri intrinsici della camera al fine di stabilire se la tecnologia sviluppata è adatta ad applicazioni di realtà aumentata.
Dal lavoro di tesi emerge che è possibile realizzare sistemi ingrandenti indossabili basati sull’utilizzo di telecamere che montano ottiche con all’interno lenti liquide ed un controllo a ciclo aperto con un sistema di misura della distanza ottenuto mediante l’utilizzo di un sensore a tempo di volo in grado di:
• Mettere a fuoco a varie distanze ampliando così la profondità di campo offerta dall’ottica stabile,
• Mettere a fuoco in tempi rapidi (vedi paragrafo 5.4.3 e 6.3 e i risultati all’affermazione 2 del questionario),
INDICE
INTRODUZIONE ... 1
1 HEAD MOUNTED DISPLAY ... 2
1.1 Dispositivi Head Mounted Display generalità ... 2
1.1.1 HMD Optica See-Through ... 3
1.1.2 HMD Video See-Through ... 5
1.2 Confronto tra OST e VST ... 6
1.3 HMD realizzazioni commerciali per Realtà Aumentata e Ingrandimento ... 8
2 REALTÀ AUMENTATA ... 12
2.1 La Realtà Aumentata ... 12
2.2 Applicazioni Di Realtà Aumentata... 14
2.2.1 La realtà aumentata in ambito medico ... 19
2.3 Componeneti di un sistema di Realtà aumentata ... 23
2.3.1 Unità di elaborazione ... 24
2.3.2 Sistemi di tracking ... 24
2.3.3 Unità di visualizzazione ... 28
3 HMD VIDEO SEE THROUGH PROBLEMATICHE ... 31
3.1 Principali problematiche della AR e dei dispositivi HMD VST ... 31
3.2 Cenni di ottica geometrica, lenti sottili e formazione delle immagini ... 33
3.2.1 Ottica Geometrica e principio di Fermat ... 33
3.2.2 Rifrazione e legge di Snell ... 33
3.2.3 Lenti sottili e formazione delle immagini ... 35
3.3 Profondità di campo ... 38
3.4 Messa a fuoco e sistemi di messa a fuoco ... 40
3.4.1 Ottica fissa ... 40
3.4.2 Ottica motorizzata ... 41
3.5 Metodi di controllo dell’auto fuoco ... 42
3.6 Scopo della tesi ... 45
4 LENTI LIQUIDE ... 47
4.1 Generalità ... 47
4.2 Principali applicazioni tecnologiche ... 48
4.3 Descrizione di una lente liquida ... 50
4.4 Electrowetting ... 55
4.4.1 Tensione superficiale ... 55
4.4.3 Electrowetting ... 57
5 Dispositivo indossabile Video See Through monoscopico ... 61
5.1 See3Cam_30 ... 62
5.2 Sensore di distanza VL53L0X ... 64
5.2.1 Prove eseguite sul sensore ... 65
5.3 Driver MAX14574 ... 67
5.4 Composizione finale del dispositivo ... 69
5.4.1 Precisazioni sul montaggio di camera e sensore ... 70
5.4.2 Calibrazione della Tabella di corrispondenza(Look up Table) ... 71
5.4.3 Velocità di messa a fuoco della lente... 74
5.4.4 Validazione del dispositivo rispetto alla temperatura ... 77
5.5 Calibrazione della camera con lente liquida ... 82
6 DISPOSITIVO HMD VST STEREOSCOPICO ... 84
6.1 Calibrazione della tabella di corrispondenza ... 86
6.2 Calcolo dell’ingrandimento ... 87
6.3 Velocità di messa a fuoco del visore ... 91
6.4 Specifiche del visore ... 93
6.5 Prove qualitative eseguite con il visore ... 95
7 RISULTATI E CONCLUSIONI ... 99
7.1 Risultati del questionario ... 99
7.2 Conclusioni ... 103
APPENDICE ... 105
Appendice A ... 105
Grafici rappresentanti l’andamento delle misure eseguite dal sensore di distanza VL53L0X ... 105
Appendice B ... 107
Risultati del fitting dei valori della Look up table ... 107
Appendice C ... 109
Tabelle con i risultati delle calibrazioni ... 109
Appendice D ... 111
Risultati del test di Shapiro-Wilk ... 111
Appendice E... 112
1
INTRODUZIONE
In questo studio verranno descritti: il funzionamento dei dispositivi indossabili Video See-through, le loro caratteristiche, le loro attuali problematiche e i loro campi di utilizzo. Sarà dato particolare attenzione alle applicazioni in ambito medico, sia che riguardino l’uso della realtà aumentata sia che riguardino la capacità di dare vista ingrandita.
Verrà mostrato il funzionamento delle lenti liquidi con riferimenti al fenomeno dell’electrowetting e ai loro campi di utilizzo.
Si mostrerà come, a partire da questa tecnologia, siamo arrivati a sviluppare un sistema di messa a fuoco automatico che verrà montato su due dispositivi indossabili Video See-Through.
Il primo è un visore per realtà aumentata che monta una solo camera frontale per dare all’utente la visione della scena, mentre il secondo monta due camere per dare una visione stereoscopica ingrandita della scena.
Infine verranno discusse le prestazioni del sistema di messa a fuoco realizzato e la possibilità di usare i dispositivi indossabili Video See-Through per ottenere Realtà Aumentata e vista ingrandita.
2
1
HEAD MOUNTED DISPLAY
Gli Head mounted display sono dispositivi di visualizzazione indossabili che permettono di ottenere una “vista aumentata”:
• possibilità di aggiungere informazioni, Realtà Aumentata, • possibilità di fornire una vista ingrandita.
La loro importanza è dovuta al fatto che forniscono all’utilizzatore un punto di vista soggettivo diversamente da monitor e proiettori. Inoltre, il fatto che siano indossabili garantiscono all’utente la possibilità di muoversi liberamente nello spazio, o almeno di spostare lo sguardo e usare le mani. Tutto questo li rende adatti per procedure pratiche che vengono guidate da informazioni aggiuntive(Reltà aumentata, ingrandimento o entrambi). In questo capitolo verranno descritti i loro paradigmi di funzionamento: Optical See-Through(OST) e Video See-Through(VST)[i] e
verranno elencate alcune realizzazioni prototipali e comerciali. 1.1 Dispositivi Head Mounted Display generalità
Gli Head Mounted Display(HMD) sono dispositivi indossabili come un paio di occhiali, che al posto delle lenti hanno dei micro display su cui vengono proiettate le immagini. Sono i dispositivi più utilizzati per fare Realtà Aumentata, perché consentono un’immedesimazione nella scena migliore e offrono un punto di vista soggettivo, che permette di avere una cordinazione mano occhio pressochè naturale e di non distogliere lo sguardo dal campo operativo in modo da lavorare sotto la guida dell’informazione virtuale. I dispositivi HMD si dividono in Optical See-Through e in Video See-Through che differiscono per la modalità di visione della realtà.
3
1.1.1 HMD Optica See-Through
Gli HMD che implementano il paradigma Optical See Through(OST) sfruttano come display uno specchio semi trasparente, che facendo passare una frazione della luce incidente, permette la visione naturale dell’ambiente circostante. Allo stesso tempo, il display devia i raggi luminosi provenieneti da i monitor, che incidendo sugli occhi dell’utilizzatore formano l’immagine virtuale. In questo modo la fusione tra immagine reale e virtuale avviene a livello retinico senza necessitare di un’elaborazione da parte di un calcolatore.
Figura 1.1, schema di funzionamento di un dispositivo HMD Optical See-Trhough.
Questa soluzione garantisce una vista naturale per l’osservatore. Solitamente il display è posto vicino all’occhio, oltre la minima distanza di accomodamente dell’occhio umano, per questo motivo esiste un sitema di lenti che proietta l’immagine virtuale in avanti, in modo che venga focalizzata correttamente.
Tuttavia questa soluzione tecnologica pecca in termini di coerenza tra immagine reale e virtuale infatti non è sempre facile eseguire una corretta registrazione tra reale e virtuale, condizione necessaria in applicazioni che richiedono un’elevata precisione. Per un corretto funzionamento necessita di:
4
• Frequente ricalibrazione per stimare la posa della superficie semi-trasparente dell’HMD rispetto all’occhio dell’utente;
• Definizione di un modello proiettivo del punto di vista virtuale consistente con il modello proiettivo dell’occhio umano;
Infatti la posizione del display rispetto all’occhio dell’utente ha un grande effetto sulla percezione dell’allineamento tra reale e virtuale, questo porta a problemi di parallasse risolvibili conoscendo esattamente e in tempo reale la trasformazione tra i due sistemi di riferimento(eye tracking). Inizialmente, la calibrazione dei sistemi Optical See-Through richiedevano all’utente che indossava il visore di eseguire frequenti procedure di calibrazione offline basate sull’allineamento di marker reali con marker virtuali in posizioni note per ricavare la trasformazione occhio-display[ii]. Ad un
minimo spostamento del display l’intera procedura doveva essere rieseguita per ottenere nuovamente la calibrazione corretta. Per risolvere questo problema attualmente si sta cercando di integrare all’interno dei visori Optical See-Through una piccola telecamera in grado di tracciare la posizione dell’occhio[iii]. Inoltre, per avere una corretta registrazione sarebbe necessario
conoscere il modello proiettivo dell’occhio umano per definire correttamente il modello proiettivo del punto di vista virtuale, tenendo conto di diversi fattori legati alla morfologia e alla fisiologia dell’occhio come ad esempio l’accomodamento: quando infatti si vuole mettere a fuoco oggetti posti ad una certa distanza il cristallino si deforma in modo da cambiare la lunghezza focale del nostro sistema ottico andando così a variare quelli che sono i suoi parametri intrinseci.
5
1.1.2 HMD Video See-Through
Figura 1.2, schema di funzionamento di un dispositivo HMD VST.
I sistemi Video See-Through sono composti da un visore non trasparente che monta davanti una o due telecamere, per garantire una vista mono o stereoscopica, che riprendono il mondo reale. Un calcolatore combina i rendering degli oggetti virtuali alle immagini provenienti dalla camera e il risultato è proiettato sul dispaly del visore. Quindi l’utente non vede con i sui occhi ma attraverso la camera che proietta le immagini sul display che si trova davanti agli occhi dell’utente stesso. Quindi è il punto di vista della camera che determina quello che si vede. Inoltre le telecamere, essendo montate esternamente al visore, potrebbero inquadrare una scena sufficientemente diversa da quella che l’utenete vedrebbe ad occhio nudo da impedire una buona cordinazione occhio mano(errore di parallasse).
Questi sistemi garantiscono una coerenza ottima fra immagine reale e virtuale e inoltre la coerenza è indipendente da movimneti relativi fra utente e display, e dall’accomodamento dell’occhio dato che l’utente guarda il display. La maggior coerenza tra gli oggetti virtuali e la scena reale va però a discapito del senso della vista, infatti la visione appare meno naturale essendo dipendente dalle caratteristiche della camera e del display del visore: campo di vista(FOV), profondità di campo(DOF), capacità di mettere a fuoco, qualità e risoluzione dell’immagine, contrasto, profondità della scala dei colori, aberrazioni e distorsioni introdotte dall’ottica.
6
Per un corretto funzionamento di un sistema HMD Video See Through è necessario ottenere una corretta registrazione eseguendo i seguenti passi:
• Operare una calibrazione dei parametri intrinseci della camera: modellare la camera virtuale con gli stessi parametri della camera reale(angoli di vista verticali e orizontali, centri di proiezione e coefficienti di distorsione).
• Posizionare la camera virtule nello scenario virtuale riproducendo la posa1 della camera
reale rispetto agli altri elementi della scena reale, facendo attenzione a rispettare le relazioni fra i sistemi di riferimento dei dispositivi di tracking usati.
• Posizionare gli oggetti virtuali nell’immagine presentata sul display in base alle informazioni acquisite dai dispositivi di tracking.
Le prime due si ottengono attraverso una calibrazione offline e l’ultima è dipendente dal sistema di tracking usato.In questo modo, per ogni coppia di pixel corrispondenti sulla camera reale e su quella virtuale si può ottenere perfetta coerenza tra le due rette di proiezione (virtuale e reale) e quindi una perfetta corrispondenza dell’informazione virtuale rispetto a quella reale qualunque sia la posizione desiderata per gli oggetti virtuali e qualunque sia la posizione della camera reale. 1.2 Confronto tra OST e VST
Entrambi i paradimi presentano vantaggi e svantaggi. Il principale vantaggio degli OST è la possibilità di guardare la scena direttamente, seppur attraverso un schermo trasparente. Contrariamente nei VST la vista è mediata da una o due camere(vista mono o stereoscopica) questo limita: il campo di vista a quello delle camere, la risoluzione a quella della camera minore di quella umana, introduce aberrazioni (cromatiche, assiali, a cuscino, a barile, sferiche…) e spesso limita la profondità di campo2. Un aspetto di cruciale importanza per entrambi i paradigmi è il
1 La posa di un oggetto è la descrizione della sua posizione e orientamento nello spazio attraverso l’uso di matrici di
trasposizione a 6 gradi di libertà.
2 Quando le camere montano ottiche a fuoco fisso o senza auto fuoco la capacità di mettere a fuoco è limitata alla
7
tempo di latenza tra il tracking degli elementi presenti e il momento in cui viene presentata all’utente l’informazione virtuale. Per un VST che usa un sistema di tracking video based la latenza è dovuta al frame rate(fotogrammi al secondo) della camera, al tempo necessario per il tracking e il rendering degli oggetti virtuali, quindi dopo uno spostamento angolare dello sguardo gli oggetti virtuli saranno rappresentati coerentemente con la scena con un certo ritardo. Se il frame rate della camera è maggiore al tempo necessario al tracking e al rendering gli oggetti virtuali saranno sempre coerenti alla scena. Se si usa un sistema di tracking esterno il tempo di latenza dipenda dal tempo per il rendering. Nei sistemi OST il tempo di latenza dipende dal sistema di tracking e dal tempo per il rendering ma la visione non è condizionata dal frame rate della camera ed è percepita istantaneamente per cui qualsiasi rapido spostamento dello sguardo provocherà un disallineamento fra reale e virtuale che sarà compensato solo dopo qualche attimo. La calibrazione degli OST richiede informazioni sull’occhio dell’utente, mentre nei VST è la camera stessa il punto di vista. Questo rende notevolmente più facile la calibrazione di quest’ultimi. Nei VST però il punto di vista, come detto sopra, è quello della camera che è spostato rispetto a quello del’utente, ciò può portare ad avere una scarsa cordimazione mano occhio. Nella figura sottostante sono riportate le principali differenze fra OST e VST.
8
Figura 1.3, tabella riassuntiva dei principali vantaggi e svantaggi dei sistemi VST e OST.
Recentemente sono stati anche pensati approci ibridi[iv] in cui, su uno stesso dispositivo, sono
disponibili entrambi i paradigmi di visualizzazione (OST e VST). Il passagio fra i due paradigmi è possibile modificando la trasparenza di uno shutter ottico costituito da un display a cristalli liquidi montato davanti al display di un dispositivo OST. La trasparenza dello shutter è controllata elettricamente. Una volta oscurato, lo shutter impedisce la vista, e per mezzo del display semiriflettente vengono proiettate sulll’occhio dell’utente le immagini provienienti dalla camera montata esternamente.
1.3 HMD realizzazioni commerciali per Realtà Aumentata e Ingrandimento
Grazie alle loro caratteristiche i dispositivi indossabili (VST o OST) hanno trovato grande spazio in diverse applicazioni tecnologiche e sono stati prodotti diversi tipi di visori. Per esempio i Google
9
Glass3 sono un esmpio di visori HMD OST che vengono utilizzati per procedure di Realtà
Aumentata nel settore mannufattiriero, logistico e medico. Altri esempi di dispositivi HMD OST sono: Epson Moverio con un ampia gamma di prodotti4 e i visori prodotti da LumusVision5. Esempi
di dispositivi HMD VST sono: Vuvix WRap 9206, Visette45 SXGA7 e la gamma di prodotti della
TriVisio8.
Figura 1.4, alcune realizzazioni di dispositivi HMD, presenti in commercio.
Questi dispositivi possono trovare spazio nelle varie applicazioni di Realtà Aumentata, che verranno successivamente descritte, fra cui applicazioni in ambito chirugico . Invece è ancora praticamente inesplorata l’opzione di fornire vista ingrandita attraverso l’uso di dispositivi indossabili di tipo VST o OST. Per ora in commercio troviamo soprattutto occhiali ingrandenti come quelli prodotti dalla Zeiss®9. Ad ora la possibilità di ottenere una vista ingrandita è fornita
mediante l’uso di occhiali binoculari, come detto sopra, e microscopi. Una delle poche realizzazioni
3https://www.google.com/glass/start/ 4https://tech.moverio.epson.com/en/store.html 5https://lumusvision.com/products/ 6https://www.vuzix.com/products/blade-smart-glasses 7https://est-kl.com/manufacturer/cinoptics/visette-45-sxga.html 8https://www.trivisio.com/products 9 https://www.zeiss.com/vision-care/int/eye-care-professionals/products/other-zeiss-brand-products/magnifying-visual-devices/zeiss-magnifying-visual-devices-for-professional-users.html, 20/09/2019
10
di dispositivi HMD per ingrandimento è il Varioscope10 prodotto dalla Micromo®, che ha trovato
spazio in diverse procedure microchirurgiche: neurochirurgia spinale[v], chirurgia vascolare[vi-vii-viii]
e in chirurgia epatica[ix].
Varioscope è un sistema indossabile che fornisce una vista stereoscopica magnificata. L’ingrandimento fornito va da 3.6x a 7.2 ma può essere modificato cambiando gli oculari. Un sistema di motori stepper fornisce una messa a fuoco dinamica. La zona di lavoro va da 30 a 60cm. Tuttavia questo dispositivo è uscito dal commercio, il suo fallimento è dovuto al fatto che il sistema di messa a fuoco non permetteva di ottenere immagini sufficientemente stabili, causando affaticamento nell’utilizzatore.
Figura 1.5, un sistema Varioscope indossato da un chirurugo.
Un altro visore usato per ottenere una vista ingrandita è lo SPEX11. In questo caso l’ingrandimento
arriva fino a 24x, ed è di tipo digitale dato che questo dispositivo usa un sensore di immagine con risoluzione elevatissima(21MP).
10https://www.micromo.com/applications/optics-photonic-applications/life-optics-vario, 20/09/2019 11https://arpost.co/2018/05/31/re-imagining-augmented-reality-spex-hmd/, 20/09/2019
11
12
2
REALTÀ AUMENTATA
In questo capitolo verrà introdotto il concetto di Realtà Aumentata, d’ora in poi AR, verranno brevemente descritti: gli ambiti di utilizzo, con particolare riferimento a quello chirurgico e le componenti di un sistema per AR.
2.1 La Realtà Aumentata
La Raeltà Aumentata(AR) è un concetto generale che comprende tutte quelle applicazioni che hanno l’obbiettivo di fornire all’utente un numero maggiore di informazioni rispetto a quelle che sarebbe in grado di raccogliere attraverso i cinque sensi. Nel nostro caso si tratterà di AR visiva. I sistemi che sfruttano la AR si basano sulla coesistenza di elementi reali e virtuali nella stessa scena, in pratica avremo immagini virtuali sovrapposte a immagini reali al fine di aumentare le conoscenze dell’osservatore.Alla base di un sistema di Realtà Aumentata risiede la coesistenza di elementi fisici reali e oggetti virtuali, questi ultimi devono essere registrati (posizionati nella corretta posizione), possono essere tridimensionali e interattivi e devono essere processati in tempo reale[x] in modo da garantire coerenza con la scena reale. Nel 1994 Milgram, per descrivere
quanto ci fosse di virtuale in una scena reale e viceversa elaborò il concetto di Reality-Virtual Continuum[xi] secondo il quale il mondo virtuale e il mondo reale sono considerati come uno
stesso universo nel quale oggetti reali e virtuale si mescolano in modo graduale. Nel diagramma di Milgram, in figura 2.1, viene riportato sull’estremo sinistro del Continuum il mondo reale e sull’estremo destro il mondo virtuale. L’insieme delle possibilità intermedie tra i due estremi è definito Mixed Reality e si caratterizza in Realtà Aumentata e Virtualità Aumentata a seconda delle prevalenza di oggetti reali o virtuali.
13
Figura 2.1, rappresentazione semplificata del Continuum reale virtuale, da [i].
Nella Virtualità Aumentata il soggetto è immerso in un mondo completamente virtuale e può interagire con l’ambiente circostante attraverso opportune interfacce ed elementi reali dell’ambiente che vengono aggiunti con tecniche di realtà virtuale: uso di texture di oggetti acquisiti per mezzo di una camera nel mondo reale.
Figura 2.2, esempio di virtualità aumentata[xii].
Contrariamente un utente che utilizza la AR vede il mondo reale con l’aggiuntadi oggetti virtuali o informazioni riguardo al mondo circostante, mediante tecniche di realtà virtuale.
14
Figura 2.3, esempio di realtà aumentata in cui vengono mostrati i punti di interesse sovrapposti all’immagine di una via, da [xiii].
In generale sarebbe corretto parlare di Mixed Reality e fare distinzione a seconda del livello del contributo reale rispetto a quello virtuale, tra AR e Virtualità Aumentata.
Utilizzeremo l’espressione Realtà Aumentata in termini generici, attribuendogli il significato di Mixed Reality
.
La AR trova diversi impieghi in vari campi, dato che permette all’utente un’interazione più intuitiva, una comprensione maggiore del mondo reale, grazie alla fusione coerente tra realtà e oggetti virtuali. Nel paragrafo successivo saranno descritte alcune delle principali applicazioni della AR.
2.2 Applicazioni Di Realtà Aumentata
Col passare degli anni la Realtà Aumentata ha trovato sempre più spazio in diversi settori: da quello militare a quello industriale fino all’ambito medico[xiv] senza trascurare le applicazioni in
15
In campo industriale la AR trova spazio in diversi processi produttivi: progettazione, assemblaggio e manutenzione. Per esempio, in[xv] viene introdotto lo SpaceDesign MR un sistema che permette
di visualizzare e modificare o disegnare da zero il telaio di una vettura, figura 2.4.
Figura 2.4, in figura, è mostrata la realizzazione di un telaio di una macchina con il sistema SpaceDesign presentato in [xv].
In [xvi] viene mostrato come la Volkswagen intenda utilizzare sistemi di AR per calcolare e
confrontare immagini provenienti dai crash test sia reali che simulati. In [xvii] viene mostrato come
la AR possa migliorare I processi di saldatura. Un’importante slancio all’uso della AR è stato dato dalla Boeing che utilizzò la AR per migliorare la documentazione proiettando diagrammi schematici raffiguranti il cablaggio dei dispositivi direttamente su di essi[xviii], rendendo più efficace
il lavoro degli operatori.
Un’interessante applicazione della AR è la possibilità di dare una visione generale dell’avanzamento dei lavori di costruzione, dove viene mostrata un’immagine renderizzata raffigurante l’intera struttura e i singoli lavoratori, utilizzando dei dispositivi indossabili, vedono quale sia il loro compito di costruzione e sono guidati in esso[xix-xx]. Inoltre la AR trova spazio in
lavori di manutenzione di strutture o macchinari, in cui è richiesta un’alta specializzazione e abilità degli operatori. In queste operazioni la AR è utilizzata per conferire una sorta di vista a raggi X della struttura in modo da facilitare l’individuazione e la risoluzione di eventuali danni o
16
problematiche. Per esempio vengono utilizzati per l’ispezione di centrali elettriche come l’attuale AREVA[xxi] o per supportare la riparazioni di danni al sistema elettrico di autoveicoli[xxii].
Figura 2.5, esempio di utilizzo della Realtà Aumentata nel settore automobilstico.
In generale, al giorno d’oggi, l’uso della Realtà Aumentata è sempre più frequente nei processi produttivi di industrie in campo automotive e aeronatico, e il suo utilizzo ha portato a una riduzione degli errori e dei tempi di lavori [xiv].
Alcune delle applicazioni di realtà aumentata sono il risultato di studi compiuti in ambito militare, come gli head-up display(HUD) per i piloti dell’aviazione militare[xiv] e civile.
Figura 2.6, head up display che mostra i parametri di volo.
Più recentemente ATR® e elbit System® stanno collaborando per sviluppare sistemi HUD indossabili, che forniscono una vista aumentata grazie a una vista infrarossa dei parametri di volo, al fine di migliorare la sicurezza di volo in condizioni di scarsa visibilità. Questi dispositivi
17
forniscono un campo di vista(FOV) più ampio rispetto ai tradizionali HUD[xxiii]. Inoltre, in ambito
militare sono stati sviluppati sistemi di AR in grado di simulare scenari di guerra compreso il comportamento dei nemici in tempo reale, al fine di addestrare i soldati. Questo sistema si chiama BARS(Battlefield Augmented Aeality System) ed è descritto in [xxiv], supportato nel suo sviluppo da
studi come[xxv-xxvi] in cui vengono mostrati metodi per l’applicazione di elementi di AR in luoghi
aperti e tecniche che consentono la modifica dell’ambiente circostante attraverso la AR.
La AR potrebbe migliorare l’interazione fra persone che collaborano nello sviluppo di un progetto, si pensi all’interazione simultanea di più persone con un modello 3D, visualizzabile, [xxvii-xxviii-xxix].
Figura 2.7, uso della realtà aumentata in ambito collaborativo.
Praticamente, persone che lavorano nella stessa stanza o in ambienti separati vedono lo stesso modello 3D e possono comunicare e interagire con il modello, con la finalità di migliorare o sviluppare il progetto rappresentato dal modello 3D. In [xxx] vengono mostrati 4 campi in cui
possono essere applicati spazi a Mixed Reality condivisa: diagnostica a partire da dati provenienti da scansioni volumetriche, controllo dell’avanzamento dei lavori in ambito edile, pianificazione del traffico aereo e ferroviario, pianificazione e analisi dello sviluppo urbano partendo da dati georafici.
Numerosi studi[xxxi-xxxii-xxxiii] mostrano come la AR possa aiutare l’apprendimento. Sono stati
18
l’apprendimento di geometria e matematica e MARIE che utilizza la AR su schermo per supportare la formazione ingegneristica[xxxv].
In ambito televiso l’uso di AR è ormai ordinario, si pensi alle trasmissioni sportive in cui l’obbiettivo dell’AR è quello di migliorare la comprensione dell’azione da parte dello spettatore: facendo comparire linee fittizie sui campi da calcio, football, rugby, mostrado sullo schermo informazioni aggiuntive degli atleti(si pensi agli on board camera della Formula 1 in cui vengono mostrati giri motore, velocità, uso di acceleratore e freno), mostrando velocità e posizione relativa delle imbarcazioni durante una regata.
Figura 2.8, tracciamanto delle linea di fuorigioco in una partita di calcio.
Figura 2.9, on board camera di una vettura di Formula 1.
In ambito videoludico le applicazioni di realtà aumentata sono, comuni e utilizzate da un numero elevato di persone, basti pensare alla nota applicazione per smartphone Pokemon Go, in cui
19
camminando per la propria città è possibile attraverso il proprio smartphone vedere e interagire con i Pokemon. Oppure il recentissimo Harry Potter Wizards United.
2.2.1 La realtà aumentata in ambito medico
Ancora oggi le tecniche di AR per pratiche mediche non sono di uso quotidiano sebbene siano note le potenzialità della AR e siano in aumento gli studi a riguardo[xxxvi]. La possibilità di applicare
la AR riguarda i seguenti argomenti: trattamenti per il paziente, educazione dei medici e dei pazienti, riabilitazione, chirurgia e training.
Per quanto riguarda i trattamenti al paziente i principali ambiti indagati sono quello della radioterapia, che però soffre ancora di alcune limitazioni riguardanti: il comfort del paziente, alla facilità d’uso e alla selezione e all’accuratezza dei dati da visualizzare[xxxvii]; e quello dei trattamenti
endovascolare per cui è prensente anche in commercio un sistema chiamato VeinViewer Vision (Christie Medical Holdings, Inc, Memphis, TN), che proietta direttamente sulla pelle del paziente la corrispettiva parte del sistema circolatorio, con lo scopo di facilitare gli accessi a vene e arterie. I pareri sulla sua validità sono contrastanti, fra pareri positivi[xxxviii] e chi pensa siano necessari
ulteriori studi clinici[xxxix].
Figura 2.10,VeinViewer, il sistema di visione proietta la rete vascolare del paziente sulla pelle per facilitare l'inserimento dell'ago[xxxvi].
In ambito riabilitativo(sia fisico che mentale), ci sono diversi studi che mostrano come l’esecuzione di task motori guidati da sistemi di AR porti i paziente ad avere più motivazione nel ripetere gli
20
esericizi riabilitativi, che altrimenti possono risultare tediosi[xl-xli-xlii]. Inoltre alcuni di questi sistemi
sono utilizzabili direttamente a casa del paziente e il medico curante ha la possiblità di monitorare i progressi[xliii]. Un'altra area in cui viene applicata la RM è la riabilitazione neurologica, in[xliv] viene
presentano un sistema di riabilitazione neuromotoria che fornisce un feedback aumentato come parte di un processo di apprendimento per il paziente, aiutando il cervello a creare nuovi percorsi neurali e a adattarsi.
In chirurgia lo studio delle tecniche di AR sono legate soprattutto alla possibilità di: sovrapporre al paziente reale un’immagine virtuale, opportunamente registrata, che rappresenti la sua anatomia interna (spesso queste immagini virtuali derivano da scansioni volumetriche come TAC o MRI) in modo che il chirurgo sappia cosa si trova davanti, oppure fornire una guida per effettuare accessi chirurgici seguendo una traiettoria corretta.
Figura 2.11, utilizzo di realtà aumentata per guidare il chirurgo.
Un problema dell’uso della AR in chirurgia riguarda la difficolta di ottenere una buona registrazione dei tessuti molli che rende difficile la fusione fra immagine reale e virtuale, tuttavia sono presenti studi in cui sono stati usati sistemi di AR uniti a modelli di deformazione per i tessuti
21
molli in chirurgia epatica[xlv-xlvi-xlvii] e in [xlviii] viene proposto un modello di deformazione 3D degli
organi che è stato testato in dodici procedure chirurugiche con un riscontro positivo da parte dei chirurughi.
Per questo le prime applicazioni della realtà aumentata sono state in chirurgia ortopedica e maxilofacciale[xlix]. Queste pratiche richiedono un preciso posizionamento tra le strutture
anatomiche rigide. Per questo sono stati messi a punto sistemi basati sulla AR in cui il chirurgo indossando un visore può vedere i marcatori virtuali in modo da farli coincidere con quelli reali seguendo la pianificazione pre operatoria, migliorando il compito di riposizionamento.
Un’altra area di sviluppo per la AR è la chirurgia minimamente invasiva in cui si accede al target da piccole cavità ottenute in zona pelvica, addominale(laparoscopia) o toracica(toracoscopia). In queste procedure il campo di vista e la percezione dello profondità sono limitate dalla propietà della camera dell’endoscopio inserito all’interno del paziente, in[l] viene discusso come utilizzando
imaggini anatomiche del paziente (opportunamente registrate sulle immagini provenienti dalla camera dell’endoscopio), ottenute tramite scanner volumetrici, si possa migliorare la vista del chirurugo aumentando il campo di vista altrimenti limitato.
Figura 2.12, è mostrato un caso di studio sul corretto riposizionamento mascellare superiore negli interventi di chirurgia ortogratica
.
22
La AR viene usate anche in neorochirurgia per guidare l’accesso alla zona di interesse in applicazioni minimamente invasive. In [li] viene fatta una revisioni degli attuali studi riguardanti
l’uso di sistemi di neuro navigazione concludendo che gli attuali sistemi di neuro navigazione basati sulla AR sono affidabili e versatili per approci minimamnte invasivi in diverse malattie:neoplasie, problemi neurovascolari e idrocefalia.
La AR sta prendendo piede anche nel campo dell’addestramento di medici e chirurughi. Spesso le procedure mediche e chirurgiche richiedo notevoli capacità sensomotorie, cognitive e percettive, per questo l’uso di manichini, opportunamente studiati, e simulatori di AR sono diventate una valida alternativa alla formazione su pazienti e cadaveri. Manichini e simulatori prevedono task standardizzati, ciò rende le prestazione del tirocinante, valutabile e ripetibili migliorando l’accuratezza con cui si esgue un determinato compito[lii-liii-liv-lv-lvi]. Un esempio di simulatore di AR
è il sistema PalpSim con cui il tirocinante vede le proprie mani toccare il paziente o può tenere in mano un ago, avendo un ritorno tattile e di forza[lvii-lviii].
23
Oppure simulatori per chirurgia come il dV-Trainer della Mimic Thecnologies che emula fedelmente la da Vinci Surgeon’s Console[lix].
Figura 2.14, operatore imegnato nell’esecuzione di una task di allenamento[lix].
La realtà aumentata potrebbe trovare spazio anche nel campo dell’istruzione si pensi allo studio dell’anatomia o della dinamica dei sistemi biologici[lx]. Spesso lo studio in vivo dei sistemai
biologici non è possibile a causa di costi e problemi di sicurezza, per questo lo studio attraverso sistemi di AR potrebbe essere una valida alternativa sebbene presenti ancora delle problematiche irrisolte riguardanti lo sviluppo, l’utilizzabilità e l’implementazione iniziale di questi sistemi. Oltre a necessarie validazioni riguardo quali siano gli effetti di questo tipo di apprendimento e se le conoscenze acquisite siano trasferibili in un ambito lavorativo reale[lx].
2.3
Componeneti di un sistema di Realtà aumentata
I tre principali componenti di un sistema di Realtà Aumentata sono l’unità di elaborazione, il sistema di tracking e l’unita di visualizzazione.
24
Figura 2.15, componenti hardware di un sistema di AR.
2.3.1 Unità di elaborazione
L’unità di eleborazione permette di: identificare markers o caratteristiche di strutture presenti nell’immagini, elaborare i rendering degli oggetti virtuali, fondere immagine virtuale e reale e mostrare il risultato finale su schermo. Esistono diversi Framework per eseguire procedure di AR, come:ARToolKit[lxi], StudierStube[lxii], D’Fusion[lxiii],DWARF[lxiv]. Oltre alla possibilità di crearne di
propri.
2.3.2 Sistemi di tracking
Prima che il sistema di AR sia in grado di proiettare gli oggetti virtuali in modo corretto nell’ambiente reale, deve riconoscere la posizione dell’utente e degli oggetti utilizzati in una determinata applicazione. Ciò significa conoscere la matrice ti trasposizione, a 6 gradi di libertà che descrive lo spostamento tra sistema di riferimento globale a sistema di riferimento dell’utente. Il sistema di tracking dà la possibilità di tracciare la posizione dell’utente e di tutti i dispositivi in gioco al fine di allineare i sistemi di riferimento in modo da rendere coerenti l’informazione reale con quella virtuale, dopo l’operazione
di
registrazione. I principali sistemi di tracking utilizzati nella realizzazione di sistemi di AR, riportati in figura 2.16, sono:25
Figura 2.16, sistemi di tracciamento in realtà aumentata.
• Localizzatori meccanici: permettono di conoscere la posizione di un punto, previa risoluzione di un problema di cinematica diretta noti gli angoli ai giunti e le lunghezze dei link che costituiscono il braccio meccanico. Un esempio di questi localizzatori è[lxv].
Figura 2.17, braccio di misura CAM2ARM[lxv].
I principali vantaggi sono la buona precisione e robustezza del tracciamento e la facilità d’uso. Le principali limitazioni sono dovute all’elevato ingombro, alla possibilità di tracciare un punto per volta e l’impossibilità di tracciare oggetti fuori portata. Fanno parte di questa categoria anche le dime chirurgiche. Ormai questo tipo di tecnologie non sono più utilizzate.
• Localizzatori elettromagnetici: sono costituiti da più bobine di cui è possibile tracciare la posizione del baricentro attraverso l’emissione di un campo elettromagnetico e l’analisi
26
della corrente indotta sul sensore. Sono adatti per quelle applicazioni in cui non c’è una linea di vista libera tra camera e oggeto da tracciare, per questo sono adatti per tracciare strumenti che vengono inseriti all’interno del corpo umano come cateteri[lxvi]. Un esempio
di questi sensori è AURORA prodotto dalla Northern Digital Inc®[lxvii]. La principale
limitazione di questi localizzatori è che: strumenti metallici o ferromagnetici o apparecchiature che producono campi elettromagnetici se presenti in prossimità del localizzatore possono provocare distorsioni del campo elettromagnetico che possono portare a errori di localizzazione anche gravi[lxviii].
• Localizzatori ad ultrasuoni: sono costituiti da emettitore e ricevitore. Per misurare la distanza si utilizza il tempo di volo o la coerenza di fase. In breve, l’emettitore posto sull’oggetto da tracciare emette un impulso ultrasonico che viene captato dai ricevitori posti in punti noti, a questo punto attraverso tecniche di trilaterazione è possibile tracciare l’oggetto. Per determinare la posa di un oggetto( posizione e orientamento) sono necessari almeno tre emettirori accesi in sequenza nota[lxix]. Questi localizzatori non sono adatti a
monitorare spostamenti rapidi degli oggetti da tracciare, perché per evitare fenomi di eco è necessario aspettare tempi pari a tre o quattro volte il massimo tempo di volo tra emettitore e ricevitore il tutto moltiplicato per i tre emettitori, per cui una misura impiega tempi dell’ordine delle decine di millisecondi.
• Localizzatori a GPS: sono i sisemi di tracciamento satellitare presenti anche negli smartphone o smartwatch per le applicazione di navigazione. Sono in grado di dare la posizione del ricevitore con precisione di qualche metro sapendo il tempo di volo del segnale radio ricevuto da ciascun satellite, la posizione dei satelliti rispetto alla terra. Nota la distanza da almeno tre satelliti è possibile conoscere la posizione che è calcolata con metodi di trilaterazione. Sono utilizzabili all’aperto ma non vengono utilizzate in
27
applicazioni al chiuso perché i segnali elettromagnetici su cui si basa sono attenuati. La replica indoor non è praticabile perché data la velocità del segnale elettromagnetico e le piccole distanze a cui si possono collocare gli emettitore richiederebbero uno strumento di misura del tempo con una risoluzione temporale attualmente non raggiungibile(3.33x10^-12s).
• Localizzatori ottici: sono l’insieme di camere e software che permette il tracciamento degli oggetti. Si dividono in localizzatori che sfruttano markers o localizzatori video based. I primi sono in grado di tracciare la posizione di markers, ovvero di strutture anatomiche o oggetti(generalmente composti da iodio o gadolinio perché questi elementi danno un segnale elevato in immagini radiografiche o CT e sono facilmente riconiscibili nelle immagini di AR). Siccome necessitano di una vista diretta dei markers per funzionare non sono quindi utilizzabili in procedure di chirurgia minimamente invasiva perché in questo caso la camera è all’interno del corpo. I localizzatori video based utilizzano le immagini provenienti dalla camera per fare tracking. Possono sfruttare dei markers oppure essere marker less. I localizzatori marker less utilizzano algoritmi di computer vision per estrarre delle caratteristiche dall’anatomia, o più in generale dalla scena, e le utilizzano per fare tracking. La sua accuratezza dipende dall’angolo di vista e dalla distorsone dell’immagine e dalla robustezza dell’algoritmo.
Tutti questi sistemi di tracciamento lavorano in tempo reale, per cui è sempre possibile conoscere la posizione di un oggetto tracciato. Questo deve sempre verificarsi affinchè le applicazioni di AR funzionino correttamente.
28
2.3.3 Unità di visualizzazione
L’unità di visualizzazione è il dispositivo che consente di vedere la scena di realtà aumentata. Si possono classificare in egocentrici quando favoriscono il punto di vista dell’utilizzatore (è il caso dei dispositivi indossabili descritti nel capitolo 1) e si tratta di dispositivi indossabili; in esocentrici quando non favoriscono il punto di vista dell’utilizzatore e si tratta di schermi visualizzabili. Quindi la scelta del tipo di dispositivo di visualizzazione vincolerà la direzione lungo la quale l’utilizzatore dovrà guardare. I dispositivi di visualizzazione per AR si possono dividersi anche in base alla distanza tra osservatore e scena inquadrata in: head attached, hand held, spatial(figura 18).
Figura 2.18, classificazione delle tipologie di display in base alla distanza.
Gli head attached sono i dispositivi indossabili: visori di tipo Video Through e Optical see-Thruogh(descritti nel capitolo 1),i dispositivi virtual retinal display(VRD) che è una tecnologia di visualizzazione che va a “disegnare” direttamente sulla retina dell’occhio l’immagine rasterizzata, che viene visuallizzata come su un normale schermo che in questo caso è fluttuante nello spazio di fronte all’occhio[lxx],un esempio commerciale è il Nomad della MicroVision[lxxi];
29
Figura 2.19, schema di funzionamento di un dispositivo VRD[lxx].
gli head mounted projective display(HMPD): in cui l’obbiettivo è sostituito da una lente, un display miniaturizzato posto oltre il fuoco della lente necessario alla visualizzazione delle immagini di AR. La lente serve a formare un’immagine intermedia, dopo la lente di proiezione è presente un divisore di raggi posizionato a 45 ° rispetto all'asse ottico per piegare i raggi a 90°, uno schermo retroriflettente è posizionato su entrambi i lati dell'immagine proiettata, questo è in grado di riflettere i raggi direttamente nell’occhio dell’utente. L’utente può quindi vedere un’immagine di AR posta tra sé stesso e lo schermo riflettente [lxxii].
Figura 2.20, schema di funzionamento di HMPD[lxxii]. Un’applicazione pratica è presentata in [lxxiii], visibile nella figura sotto.
30
Figura 2.21, esempio di un HMPD realizzato in [lxxiii].
E ovviamente i dispositivi indossabili che implementano il paradigmi Video See-Through descritti nel capitolo 1, che sono quelli più utilizzati in applicazioni di AR. Gli hand held sono degli schermi su cui sono visualizzabili le immagini di AR, ed è possibile tenerli in mano come per esempio i moderni smartphone o i monitor per endoscopi. I display di tipo spaziale sono display basati su tecnologie Video See-Thorugh, Optical See-Through su sistemi di proiezioni. Questi schermi per la visualizzazione di AR sono fissi nell’ambiente e sono adatti a grandi presentazioni o presentazioni che richiedono una bassa interattività con l’utente. Si basano su tecnologie già esistenti come schermi di computer o televisori su cui è presentata l’immagine catturata da una camera con oggetti di AR sovrapposti. In questi dispositivi non ci sono problemi di disallineamento tra punto di vista dell’utente e oggetti virtuali a meno che non si usino schermi trasparenti(come l’ “invisible interface” di Ogi[lxxiv]) e gli osservatori si spostino.
31
3
HMD VIDEO SEE THROUGH PROBLEMATICHE
In questo capitolo andremo a elencare le principali problematiche dei sistemi di AR con particolare attenzione ai problemi degli HMD Video See-Through. Si darà molta importanza al problema della messa a fuoco e della limitata profondità di campo che questi dispositivi offrono. Daremo dei cenni di ottica geometrica che ci serviranno per spiegare quando un immagine è a fuoco e cosa è la profondità di campo. Da qui esporremo lo scopo della tesi.
3.1 Principali problematiche della AR e dei dispositivi HMD VST
Le problematiche riguardanti i dispositivi HMD e il loro uso in procedure di AR sono numerose e riguardano diversi aspetti tecnologici di questi dispositivi. Alcune delle più ricorrenti problematiche dei dispositivi HMD VST sono: ottenere una corretta visione binoculare, risoluzione dei display non adeguata, campo di vista limitato, messa a fuoco non stabile e profondità di campo limitata. Quelle appena elencate dipendono principalmente dalle camere e dai display montati sui visori. Altre problematiche dipendono dal sistema di tracking e di elaborazione delle immagini, andando più in dettaglio:
• Tracciamento e calibrazione, sono numerosi gli studi che cercano una soluzione a questa problematica, dall’uso di marker[lxxv-lxxvi] a metodi di auto-calibrazione in tempo reale.
• Latenza dovuta ai tempi di elaborazione dei rendering degli oggetti virtuali, porta ad avere errori di registrazione e per i dispositivi che implementano il paradigma VST ad avere ritardo tra il momento in cui viene eseguito un movimento e quando viene visualizzao sul display.
• Percezione della profondità, usare due camere nei dispositivi HMD VST risolve il problema ma complica la calibrazione. Inoltre l’uso di due telecamere sia che guardino all’infinito sia che siano convergenti a una determinata distanza(solitamente la distanza di lavoro), porta
32
ad avere zone in cui la disparità fra i punti presenti nelle due immagini sia talmente grande da portare ad effetti di diplopia12.
• Profondità di campo(DOF) limitata per cui non si riesce ad avere una corretta focalizzazione della scena. Può accadere che l’immagine sia nitida al centro, ma fuori fuoco ai bordi perchè fuori dalla profondità di campo. Inoltre per piccole profondità di campo può accadere che l’oggetto inquadrato sia più grande della profondità di campo, che quindi apparirà in parte a fuoco e in parte fuori fuoco. Questi effetti sono più evidenti quando si lavora con viste ingrandite.
• Sistemi di messa a fuoco lenti, non stabili (con oscillazioni). Non adatti a replicare la vista naturale, possono provocare quanto descritto di seguito.
• Stress e affaticamento dell’occhio, oltre che da quanto detto ai due punti precedenti può essere causato dal fatto di guardare un display con risoluzione e campo di vista diversi rispetto a quello dell’occhio[lxxvii].
• Aberrazioni ottiche: aberrazioni cromatiche, sferiche, da distorsione a cuscino o barile ecc…, introdotte dall’ottica della camera che provocano una distorsione dell’immagine catturata rispetto all’immagine reale(vista a occhio nudo).
• Aberrazioni geometriche dovute al parallasse, che possono comportare problematiche percettive sia a livello monoscopico che stereoscopico, dovute alla discrepanza tra i centri di proiezione delle camere e la posizione dell’occhio, che possono determinare ingrandimenti e rimpicciolimenti degli oggetti nella scena e una loro scorretta localizzazione spaziale. In [lxxviii] si mostra come l’adattamento richiesto per sopperire alla
disparità verticale in un dispositivo HMD VST, porti ad avere errori di percezione delle profondità in compiti manuali dopo la rimozione del dispositivo.
12 È un fenomeno ottico per cui viene percepito uno sdoppiamento della vista che può essere in senso orizzontale o
33
In questo studio sono di interesse le problematiche dovute alla messa a fuoco e alla profondità di campo. In seguito introdurremo alcune nozioni di ottica geometrica che ci aiuteranno a comprendere meglio queste problematiche.
3.2 Cenni di ottica geometrica, lenti sottili e formazione delle immagini
Per comprendere meglio le problematiche riguardanti la messa a fuoco e la profondità di campo nel seguito verranno introdotte nozioni base di ottica geometrica per capire: come si formano le immagini, il significato della profondità di campo, quando un oggetto è a fuoco.
3.2.1 Ottica Geometrica e principio di Fermat
L’ottica geometrica è una branca dell’ottica che assume che la luce si propaghi attraverso raggi rettilinei. Questa assunzione è vera quando la lunghezza d’onda della luce è molto minore della dimensione degli oggetti con cui interagisce. In queste condizioni gli unici fenomeni fisici che avengono sono: la propagazione rettilinea, la rifrazione e la riflessione. Con questi fenomeni è possibile spiegare il funzionamento di specchi, prismi, lenti e sistemi ottici formati da essi. Nell’ottica geometrica vale il Principio di Fermat che afferma che: ”di tutti i possibili cammini che un raggio di luce puo’ percorrere per andare da un punto all’altro, esso segue il cammino che richiede il tempo piu’ breve(minor cammino ottico)”.
3.2.2 Rifrazione e legge di Snell
Per questo studio sono di interesse le lenti e i sistemi ottici formati da essi. In questi sistemi la luce è soggetta al fenomeno della rifrazione. Il fenomeno della rifrazione si ha tutte le volte che un raggio luminoso passa da un mezzo ad un altro con densità diversa. Per esempio, dato un punto P nell’aria,(mezzo1) parte un raggio con direzione PA che incontra in A la superficie dell’acqua (mezzo2). Il raggio, invece che continuare secondo la direziona AB’, devia e si propaga nell’acqua secondo la direzione AB. Si dice che il raggio con direzione PA ha subito la rifrazione, vedere figura
34
3.1. Il raggio con direzione AB prende il nome di raggio rifratto. La superficie che separa i due mezzi si chiama superficie rifrangente.
Figura 3.1, in figura il raggio incidente in A con direzione PA viene rifratto nel mezzo 2 con direzione AB La rifrazione è regolata da due leggi:
1. Il raggio incidente, il raggio rifratto e la normale alla superficie rifrangente giacciono nello stesso piano;
2. Il rapporto tra il seno dell’angolo di incidenza i e l’angolo di rifrazione r è una costante detta indice di rifrazione relativo ed è dipendente dalla natura dei due mezzi.
Si dice indice di rifrazione assoluto il rapporto tra l’indice di rifrazione di un mezzo e l’indice di rifrazione nel vuoto (pari a 1) ed è dato dal rapporto 𝑐
𝑣 dove c è la velocità della luce nel vuoto e v
è la velocità della luce in un determinato mezzo. La seconda legge della rifrazione è detta anche
Legge di Snell e si esprime nel seguente modo:
𝑛2∗ sin(𝑟) = 𝑛1∗ sin(𝑖) (3.1)
Da qui si può vedere che: se n2 è uguale a n1 il raggio non viene deviato, se n2 è maggiore di n1 il raggio rifratto si avvicina alla normale e viceversa.
35
Figura 3.2, in figura viene mostrato l’effetto dell’indice di rifrazione sull’angolo di rifrazione del raggio incidente
3.2.3 Lenti sottili e formazione delle immagini
Una lente è un oggetto composto da materiale trasparente opportunamente sagomato in grado di deviare (convergere o divergere) i raggi luminosi. Una lente ha due superficie rifrangenti con gli assi centrali coincidenti e generalmente con raggi di curvatura diversi. La luce che attraversa una lente è deviata due volte: quando entra nella lente e quando esce. La forma delle curvature identifica il tipo di lente in biconvessa (fig. 3.3 in alto) se è più spessa al centro e in biconcava (fig. 3.3 in basso) se è più stretta al centro. La curvatura di una lente influenza il suo comportamento che possiamo dividere in: convergente se i raggi paralleli all’asse ottico che attraversano la lente si incontrano in un punto detto fuoco (una lente ha fuoco anteriore e posteriore) e in divergenti se i raggi paralleli all’asse ottico che attraversano la lente divergono.
36
Figura 3.3, nella prima figura viene mostrato il funzionamento di una lente convergente, nella seconda figura il funzionamento di una lente divergente.
Per capire meglio il comportamento delle lenti e come si formano le immagini si usa l’approssimazione delle lenti sottili. Questa approssimazione è valida quando lo spessore della lente è piccolo rispetto ai raggi di curvatura della superfici. In questo caso la posizione del fuoco posteriore è speculare, rispetto alla lente, alla posizione del fuoco anteriore. Mostriamo ora come avviene la formazione delle immagini. Consideriamo una sorgente luminosa puntiforme S. La sua immagine è data dal punto S’ dove si intersecano i raggi luminosi provenienti da S dopo essere stati rifratti dalla lente. Per trovare S’ scegliamo, tra gli infiniti raggi che partono da S, due raggi particolari, dei quali è facile determinare i corrispondenti raggi rifratti. Uno è il raggio SP parallelo all’asse, che è deviato dalla lente in modo da passare per il fuoco f. L’altro è il raggio che attraversa il centro O della lente, che procede senza essere praticamente deviato (poiché nella zona vicina al centro, la lente ha facce piane e parallele), figura 3.4. Se davanti alla lente si pone una sorgente non puntiforme, da ciascuno dei suoi punti partono raggi luminosi che, dopo la rifrazione, danno l’immagine dell’oggetto.
37
Figura 3.4, in figura si mostra in maniera schematica come viene proiettato un punto attraverso una lente convergente. La distanza dalla lente sottile a cui si forma l’immagine dipende dalla distanza focale e dalla posizione dell’oggetto rispetto alla lente. Ipotizzando che le lenti siano sottili (quindi che tutta la rifrazione abbia luogo quando i raggi attraversano il piano perpendicolare all’asse ottico e passando per il centro della lente), dalla similitudine tra i due triangolo SAO e OA’S’ si ottiene 𝑜𝑖 =
𝑞
𝑝. Il rapporto 𝑖
𝑜 è l’ingrandimento, cioè il rapporto tra la dimensione dell’immagine e quella
dell’oggetto. Essendo anche OLf e fA’S’ simili, si ha:
𝑖 𝑜 = 𝑞−𝑓 𝑓 (3.2) quindi: 𝑞 𝑝= 𝑞−𝑓 𝑓 (3.3) da cui: 1 𝑝+ 1 𝑞= 1 𝑓 (3.4)
la (3.4) è detta formula delle lenti sottili. Se conosciamo la distanza focale della lente e la distanza
p dell’oggetto dalla lente, sappiamo calcolare a che distanza q dalla lente si forma l’immagine. La
quantità 1𝑓 è detta potere diottrico della lente e si esprime in diottrie (D)[lxxix-lxxx].
38
3.3 Profonditàdi campo
La profondità di campo (Depth of Field DOF) è l’intervallo tra la minima e la massima distanza, lungo l’asse ottico, per cui un oggetto risulta a fuoco senza la necessità di cambiare l’accomodamento dell’occhio o nel caso di camere digitali senza cambiare la posizione dell’ottica. Gli oggetti esterni al DOF appaiono sfocati.
Figura 3.6, rappresentazione della profondità di campo nella prima figura è mostrato ciò che è a fuoco per un obbiettivo con una DOF stretta intorno al piano di focalizzazione indicato con una linea verticale. Nella seconda figura è mostrato ciò che è a fuoco con un obbiettivo con una DOF larga.
Come detto nel paragrafo (3.2) relativo alla formazione delle immagini il piano di focalizzazione dell’immagine è uno solo. Per quale motivo allora la zona in cui la scena ci appare a fuoco risulta essere un insieme di piani paralleli? Questo è dovuto al fatto che quando i raggi luminosi provenienti da un oggetto incidono sul piano di formazione dell’immagine, sia esso un sensore digitale a CCD, una pellicola fotografica o la retina dell’occhio, produrranno uno spot che non può essere risolto, chiamato: circolo di confusione (CdC). Per esempio, un sensore a CCD come quelli usati nelle camere digitali è composto da una matrice di celle fotosensibili. La dimensione di queste celle determina la dimensione del circolo di confusione. Inoltre, la dimensione del CdC unito al numero di celle determina la risoluzione del sensore. In questo tipo di sensori risulteranno
39
a fuoco tutti i punti le cui proiezioni cadono all’interno di una cella del sensore, come si vede in figura 3.7.
Figura 3.7, in figura è mostrato come la risoluzione del sensore, assimilabile al diametro del circolo di confusione, influenzi la DOF.
Qualsiasi sistema ottico ha una determinata DOF che sia l’occhio umane o una camera. Questa dipenda da: la distanza di messa a fuoco(piano focale p), l’apertura del diaframma(f/#), la lunghezza focale dell’obbiettivo(f) e il circolo di confusione (CdC). Per il calcolo della DOF è necessario conoscere la distanza iperfocale13(I) espressa come:
𝐼 =𝑙𝑢𝑛𝑔ℎ𝑒𝑧𝑧𝑎 𝑓𝑜𝑐𝑎𝑙𝑒2
diaframma∗𝐶𝑑𝐶
(3.5)
A questo punto possiamo calcolare la posizione del piano a fuoco più vicino indicato come
NearDOF e del piano a fuoco più lontano FarDOF:
𝑁𝑒𝑎𝑟𝐷𝑂𝐹 =𝐼+(𝑝−𝑓)𝐼p
(3.6)
𝐹𝑎𝑟𝐷𝑂𝐹 = 𝐼p
𝐼−(𝑝−𝑓)
(3.7)
13La distanza iperfocale è la distanza più ravvicinata alla quale una lente può mettere a fuoco mantenendo
accettabilmente nitidi gli oggetti all'infinito. Quando la lente mette a fuoco a questa distanza, tutti gli oggetti che si trovano a una distanza che va da metà della distanza iperfocale fino all'infinito saranno accettabilmente
40
NearDOF e FarDOF sono gli estremi che determinano la profondità di campo. La DOF non è
simmetrica rispetto alla distanza di focalizzazione.
3.4
Messa a fuoco e sistemi di messa a fuoco
Le camere usano sistemi ottici con lenti o sistemi di lenti per concentrare la luce proveniente dalla scena inquadrata direttamente sul piano dell’immagine (piano del sensore della camera), se la regolazione dell’ottica fornisce un risultato nitido si dice che l'immagine è a fuoco, in caso contrario si dice che è fuori fuoco. La messa a fuoco consiste nel movimento delle lenti sull’asse ottico al fine di ottenere un’immagine nitida della scena catturata. Si va quindi a modificare le distanze p dall’oggetto inquadrato e q dal sensore (piano immagine). Dato che in un sistema ottico il piano del sensore, sul quale si forma l’immagine, non si muove sarà il sistema di lenti(ottica) che dovrà muoversi per garantire la corretta focalizzazione della luce sul sensore. Da notare che la scena a fuoco non sarà solo quella ad una certa distanza di focalizzazione p ma quella interna all’intorno di p detto profondità di campo, vedere il paragrafo 3.3. Le ottiche si dividono in fisse e motorizzate, a queste ultime è affiancato un sistema per la messa a fuoco, che sceglie la posizione della lente. Questi si dividono in sistemi di auto fuoco a ciclo aperto (o attivi) o a ciclo chiuso (o passivi).
3.4.1 Ottica fissa
I sistemi a ottica fissa sono obbiettivi con una lunghezza focale fissa. Ne consegue che un sistema ottico di questo genere sia in grado di focalizzare in modo corretto solamente gli oggetti che si trovano ad una determinata distanza interna alla profondità di campo dell’obbiettivo. Dato che la profondità di campo è limitate non sono adatte per essere usate a distanze diverse: chi utilizza queste ottiche è costretto a spostarsi per mettere a fuoco oggetti a diverse distanze. Pensiamo di usare queste ottiche nei dispositivi indossabili Video See-Through descritti nel capitolo 1.
41
Un chirurgo o un qualsiasi operatore che utilizzi questo sistema potrà lavorare a una distanza determinata dalla profondità di campo dell’ottica. Se dovesse spostare lo sguardo per guardare qualcosa al di fuori della profondità di campo, questo apparirà offuscato. Questo potrebbe causare problemi durante l’esecuzione del compito.
In questa categoria inseriamo gli occhiali ingrandenti usati in chirurgia e odontoiatria, che sono composti da ottiche fisse con distanze di lavoro e ingrandimenti fissi. Possono passare da una distanza di lavoro a un’altra cambiando l’ottica.
3.4.2 Ottica motorizzata
Per ottiche motorizzate si intende quelle ottiche che hanno la possibilità di muoversi attraverso l’uso di motori stepper, motori voice coil, motori DC o motori piezoelettrici. Muovere l’ottica permette di ottenere la messa a fuoco a distanze diverse andando quindi ad aumentare la profondità di campo14 e quindi di lavoro. Per funzionare hanno bisogno di un sistema software di
controllo dell’auto fuoco che decida dove posizionare l’ottica. I motori stepper hanno il vantaggio di essere precisi facilmente controllabili e non richiedono energia per mantenere una data posizione dell’ottica. Tuttavia, hanno dimensioni non adatta all’integrazione in micro camere digitali e sono piuttosto lenti, circa 100ms15 per cambiare la loro posizione. I motori voice coil con
molla di ritorno (necessaria per riportare l’ottica in posizione di focalizzazione all’ infinito) hanno: posizionamento dell’ottica ripetibile, dimensioni adatte all’integrazione in micro camere digitali e costi bassi e hanno anche una buona velocità nel modificare la propria posizione, circa 10ms(sempre da 15) che li rende i più studiati per lo sviluppo di camere per smartphone. In generale, un motore voice coil è costituito da due parti. La parte fissa comprende due magneti permanenti, un guida per il cilindro interno e la base, mentre la parte in movimento è un cilindro 14 Di fatto la profondità di campo non aumenta ma l’immagine ci appare sempre a fuoco perché cambiando il piano di
focalizzazione si sposta anche la profondità di campo.
15 Tratto da AnalogDialog, (
