Dipartimento di Ingegneria dell’Informazione Corso di Laurea in Ingegneria Robotica e dell’Automazione
Integration of high-level and low-level planning in a
haptics-assisted indoor navigation system for
visually impaired people
Relatori:
Prof.ssa Lucia Pallottino
Prof. Matteo Bianchi
Ing. Federica Barontini
Candidato:
Alfredo Bagalà
Indice
Elenco delle figure iii
1 Introduzione 1
2 Mobilità indoor per persone affette da disabilità visiva 7
2.1 Classificazione dei dispositivi . . . 7
2.2 Alcuni dei principali dispositivi . . . 16
2.3 Focus del problema . . . 30
2.4 Dispositivo in fase di sviluppo . . . 33
3 Background 39 3.1 Pianificazione di alto livello . . . 39
3.1.1 Teoria dei Grafi . . . 41
3.1.2 Algoritmi di ricerca su Grafo . . . 43
3.1.3 Motion Planning . . . 49
3.1.4 Definizione degli Algoritmi di Motion Planning . . . 50
3.2 Localizzazione globale . . . 63
3.2.1 Pedestrian Dead Reckoning . . . 64
3.2.2 Visual Odometry . . . 66
3.2.3 Visual Inertial Odometry . . . 69
3.2.4 Filtro di Kalman . . . 71
3.3 Altri strumenti utilizzati . . . 78
4 Algoritmo di Motion Planning 81 4.1 Considerazioni Preliminari . . . 81
4.2 Descrizione dell’algoritmo . . . 82
4.3 Generazione della roadmap . . . 84
4.4 Grafo . . . 104
4.5 Ricerca su grafo . . . 106
4.6 Traiettoria d’uscita . . . 109
5 Risultati dell’algoritmo di Motion Planning 111 6 Algoritmo di Localizzazione 125 6.1 Considerazioni preliminari . . . 125
6.2 Camera . . . 127
6.3 ROS . . . 131
6.4 Implementazione algoritmo localizzazione . . . 140
7 Risultati dell’algoritmo di Localizzazione 145
8 Conclusioni 155
Appendice 163
Elenco delle figure
3.1 Esempi di tipici problemi di Motion Planning [47]: a) Piano Mover’s Problem, b) assemblaggio di un dispositivo. . . 40 3.2 Il problema del motion planning consiste nel trovare un path
ammis-sibile, quindi contenuto in Cf ree, tale per cui qstarte qgoalsiano
connet-tibili. . . 51 3.3 Suddivisione in celle: a) approssimata con dettaglio per mostrare un
esempio di dimensione mista delle celle; b) esatta, la suddivisione vie-ne riportata sia in versiovie-ne derivante dal tracciamento di livie-nee verticali - blu - che orizzontali - verde. . . 54 3.4 Suddivisione in celle: a) verticale; b) cilindrica; c) triangolare[47]. . . 56 3.5 Esempio di costruzione del grafo di visibilità[47]. . . 57 3.6 Esempio di come viene aggiunto un punto campionato al grafo a) se
appartiene a Cf ree; b) se si trova in una zona occupata[47]. . . 59
3.7 Esempio di a) costruzione della roadmap con metodologia PRM e b) grafo di visibilità[47]. . . 61 3.8 Illustrazione del problema della visual odometry: calcolare la posa
re-lativa Tk;k−1 rispetto alla scena ripresa e correlarla attraverso al
tra-sformazione Ckad un sistema di riferimento fisso[65]. . . 68
3.9 Illustrazione dei due approcci di gestione dei dati nella tecnica di VIO: a) liberamente accoppiati; b) strettamente accoppiati[66]. . . 70
3.10 Funzione di detection dei corner secondo l’algoritmo di Harris, pre-sente all’interno della libreria OpenCV. . . 79 4.1 Flow chart generale dell’algoritmo di pianificazione di alto livello. . . 83 4.2 Caso di connessione tra due punti attraverso una porta
consideran-do i soli nodi baricentrici delle celle: a) caso di suddivisione verticele dell’immagine; b) caso di doppia suddivisione. . . 87 4.3 Esempi di cammini ottenuti per connettere due nodi di partenza ed
arrivo nei casi di suddivisione: a) solo verticale, b) solo orizzontale; c) doppia-suddivisione. . . 89 4.4 a) Pattern ricercati nella correzione, b) riposizionamento corner. . . . 90 4.5 Esempio dell’affinamento del risultato della corner detection: a)
vie-ne riportata la suddivisiovie-ne senza la correziovie-ne dei corvie-ner; b) vievie-ne mostrato il risultato della suddivisione con la correzione dei corner. . 91 4.6 Processo di merge: nella parte superiore dell’immagine l’operazione è
andato a buon fine; in quella inferiore non vengono rispettati i vincoli e la suddivisione non varia. . . 94 4.7 Divisione delle celle, può coinvolgere solo una o entrambe le dimensioni. 94 4.8 a) Risultato della doppia-suddivisione in celle; b) risultato della
sud-divisione dopo merge e sud-divisione delle celle. . . 95 4.9 Esempio di adiacenze a) solo laterali, b) laterali ed in diagonale; c) tutti
i nodi a vista. . . 96 4.10 Calcolo delle adiacenze: sono validati solo gli archi che consentano di
connettere due nodi tramite un segmento e considerando una boun-ding box attorno l’oggetto del planning. . . 98 4.11 Esempio a confronto tra due diversi cammini: a) cammino seguendo i
soli nodi baricentrici; b) cammino ottenuto con l’introduzione dei nodi sui lati. . . 99
4.12 a) calcolo del nodo sul lato a comune tra due celle che però non è con-nettibile ad uno e entrambi i nodi baricentrici; b) aggiunta di un nodo fittizio per preservare la connettibilità rispetto ai parametri impostati. 101 4.13 Esempio di generazione erronea di una cella non rettangolare
cau-sata del non rilevamento di un corner. a) il nodo sul lato viene po-sizionato in maniera errata; b) soluzione al problema attraverso un campionamento del lato. . . 101 4.14 Situazione di calcolo dei costi del grafo: il costo associato all’arco sarà
pari alla sua lunghezza; il costo associato al nodo sarà inveramente proporzionale alla distanza dal più vicino ostacolo. . . 103 4.15 Esempio della situazione in cui viene calcolato il costo relativo alla
richiesta di cambio di orientazione. Nota la direzione per arrivare dal nodo genitore a quello attuale, viene privilegiata la prosecuzio-ne rettiliprosecuzio-nea o una rotazioprosecuzio-ne apparteprosecuzio-nente al range di angoli definito (collegamenti verdi); vengono pesati maggiormente gli altri casi. . . . 107 4.16 Calcolo curve cubiche di Bézier: P0 e P1rispettivamente punti
media-no ed a 3/4 del segmento genitore-media-nodo attuale; P2 e P3
rispettiva-mente punti mediano ed ad 1/4 del segmento nodo attuale-figlio . . . 110 5.1 a) Pianta del piano terra dell’edificio principale di Ingegneria a Pisa;
b)suddivisione dell’immagine; c) esempio di cammino calcolato. . . . 112 5.2 a) Pianta del primo piano dell’edificio principale di Ingegneria a Pisa;
b)suddivisione dell’immagine; c) esempio di cammino calcolato. . . . 113 5.3 a) Pianta del secondo piano dell’edificio principale di Ingegneria a Pisa;
b)suddivisione dell’immagine; c) esempio di cammino calcolato. . . . 114 5.4 a) Pianta del terzo piano dell’edificio principale di Ingegneria a Pisa;
b)suddivisione dell’immagine; c) esempio di cammino calcolato. . . . 115 5.5 a) Pianta del quarto piano dell’edificio principale di Ingegneria a Pisa;
5.6 a) Pianta del quinto piano dell’edificio principale di Ingegneria a Pisa; b)suddivisione dell’immagine; c) esempio di cammino calcolato. . . . 117 5.7 a) Pianta del seminterrato dell’edificio principale di Ingegneria a Pisa;
b)suddivisione dell’immagine; c) esempio di cammino calcolato, caso multi-goal senza priorità. . . 118 5.8 Sono mostrati tre diversi cammini ottenuti utilizzando diversi
crite-ri. a) cammino multi-goal migliore secondo i parametri impostati; b) smoothing del cammino cammino precedente; c) ottenuto seguendo una priorità di goal. Il punto indicato con 0 è il nodo di partenza. . . . 119 5.9 Errore nel calcolo del path, causato da una perdita di connettibilità
nel grafo. Nel dettaglio si nota, come i vincoli imposti non consen-tissero né di connettere le due celle, né di inserire il nodo sul lato. Aggiungendo ulteriori controlli nel software il problema è stato ovviato. 121 6.1 CAD del sistema complessivo supporto-camera (Intel Realsense D435i),
versione di aggancio centrale. In a) viene mostrato l’assieme completo; in b) viene riportato l’esploso del sistema. . . 129 6.2 CAD del sistema complessivo supporto-camera (Intel Realsense D435i),
versione di aggancio laterale. In a) viene mostrato l’assieme completo; in b) viene riportato l’esploso del sistema. . . 130 6.3 La figura mostra le due possibilità di aggancio della camera: sulla
sini-stra è riportato l’alternativa da porre al centro del petto sfruttando le cinghie dello zaino; sulla destra quello da collocare lungo gli spallacci dello zaino. . . 130 6.4 Esempio di trasformazione di un taglio dell’immagine depth in una
scansione laser[3]. In a) si vede il taglio sull’immagine depth ed in b) il corrispettivo sulla point cloud. . . 132 6.5 Differenza tra localizzazione tramite dati odometrici e amcl[2]. . . . 135 6.6 Schema del sistema per la localizzazione. . . 140
7.1 Mappa di riferimento costruita manualmente. . . 146 7.2 Risultato del primo test di localizzazione, utilizzando la mappa ideale.
La freccia indica il verso di percorrenza. . . 147 7.3 Mappa di riferimento costruita automaticamente. . . 148 7.4 Risultato del test di localizzazione, utilizzando la mappa ideale (curva
blu) e quella costruita automaticamente (curva gialla). La freccia indica il verso di percorrenza. Sono indicate delle zone richiamate nel testo per una puntuale descrizione. . . 149 7.5 Errore tra la localizzazione che ha come riferimento la mappa ideale
e quella con la costruzione automatica. In a) l’errore è espresso in termini assoluti, con una media di 0.37 m e deviazione standard di 0.21 m; in b) l’errore è diviso nelle componenti x (blu) e y (arancione) dell’immagine. . . 150 7.6 Mappa di riferimento per gli esperimenti 3 e 4. . . 151 7.7 Risultati dei due test condotti sulla mappa precedente. a) risultato
esperimento 3; b) risultato esperimento 4. . . 152 7.8 Mappa di riferimento per l’esperimento 5. . . 152 7.9 Risultato dell’esperimento 5, la freccia indica il verso di
percorren-za, Sono indicate delle zone richiamate nel testo per una puntuale descrizione. . . 154 8.1 Operazioni per generare l’input adatto all’algoritmo di planning. . . . 165
Capitolo 1
Introduzione
Nell’ordinarietà di un qualsiasi spostamento, ognuno di noi tende a costruirsi men-talmente un percorso fondato su dei punti di riferimento. Quando questi vengono a mancare è necessario, però, riuscire a pianificare con le informazioni a disposizione. Nei casi in cui questa esigenza nasca in ambienti noti, non sussistono particolari dif-ficoltà. Se, invece, ciò accade in ambienti con cui abbiamo poca familiarità o del tutto sconosciuti, l’operazione diventa sostanzialmente più difficile.
Muoversi in un ambiente sconosciuto, o dove i propri punti di riferimento non sussi-stono più per delle variazioni, è una sfida quotidiana per chiunque, ma per una persona con disabilità visiva questo risulta ulteriormente complicato. Va, infatti, notato come l’83% dell’informazione che ci consente di acquisire conoscenza del mondo circostante provenga dal senso della vista; l’11% venga acquisito dall’udito, il 3,5% dall’olfatto e solo l’1,5% e l’1,0% rispettivamente dal tatto e dal gusto.
Ne deriva quindi, in maniera lampante, come il nostro cervello dia particolare e pre-ferenziale spazio al senso della vista per tutte quelle che sono le attività basilari del nostro vivere, tra le quali la deambulazione.
Evidentemente la perdita totale o parziale della vista rischia di portare profonde li-mitazioni nell’autonomia dell’individuo con possibili gravi conseguenze. Infatti, "la riduzione o la perdita di autonomia nello svolgimento delle attività della vita
quoti-diana è una condizione gravemente lesiva della dignità della persona che è costretta ad avvalersi dell’aiuto di familiari o di altri anche per eseguire attività essenziali ed elementari" (ISTAT, "Conoscere il mondo della disabilità: persone, relazioni ed istitu-zioni", 2019).
Una piena integrazione nella società di una persona con disabilità visiva, deve perciò, necessariamente, tenere in considerazione il ripristino massimo delle proprie possibi-lità d’individuale autonomia.
Questa situazione non è relegata ad un numero ristretto di persone. Bensì, rifacendosi ai dati dell’Organizzazione Mondiale della Sanità, il 4% della popolazione mondiale, equivalente a circa 253 milioni di persone, è affetta da un deficit visivo. Di queste, cir-ca l’80% presenta malattie curabili od evitabili. La stragrande maggioranza dei cir-casi, infatti, riguarda persone ipovedenti. Ciononostante si stima che le persone cieche nel mondo siano ben 36 milioni. In Italia sono stati valutati 1.5 milioni i casi di persone ipovedenti e 200.000 le persone cieche.
Come dimostrano i numeri, il problema è vasto sia dal punto di vista dei casi, sia per l’eterogeneità con cui il deficit si manifesta. Tant’è vero che la seconda domenica di ottobre di ogni anno si celebra la giornata mondiale della vista, in modo da sensibiliz-zare le persone su un problema più che mai attuale.
La normativa italiana, tiene in considerazione tale condizione prevedendo l’abbatti-mento delle barriere architettoniche per i non vedenti attraverso “accorgimenti e se-gnalazioni che permettono l’orientamento e la riconoscibilità dei luoghi e delle fonti di pericolo” (art. 1 DPR 503/96). Ciononostante, la piena attuazione di quanto previ-sto dalla legge risulta molto lontana dal suo compimento e comunque non del tutto risolutiva dal punto di vista della libertà di movimento della persona.
Negli ultimi anni, diverse sono le tecnologie emerse per essere d’aiuto alle persone non vedenti. A fianco al classico bastone bianco ed il cane guida, che sono ad oggi gli aiuti più utilizzati, l’integrazione delle nuove tecnologie che permettono di essere indossate per il loro ridotto peso ed ingombro, ha dato un notevole impulso al setto-re. In particolare esistono diversi sistemi portatili, generalmente noti come Electronic
travel aids(ETAs), che sfruttano sensori e strumenti di feedback posti direttamente in-dosso all’utente per dare semplici indicazioni. L’indossabilità in questi sistemi riveste un ruolo chiave per poter rendere effettivo il loro impiego.
Il problema della mobilità, va innanzitutto distinto tra ambienti interni ed esterni. Questo è dovuto a varie difficoltà derivanti dall’uso delle tecnologie. Basti pensare, ad esempio, come oggigiorno la localizzazione outdoor sia semplice. Attraverso un qualsiasi smartphone è possibile accedere ai dati del Global Positioning System (GPS) per localizzarsi. Lo stesso non è possibile all’interno di un edificio, a causa del dete-rioramento del segnale. Altre saranno, quindi, le soluzioni da vagliare.
Questo lavoro di tesi si colloca in quel settore della ricerca che mira a realizzare stru-menti d’aiuto per persone non vedenti, in modo da aumentarne le capacità di mobilità in autonomia e sicurezza all’interno di edifici. In particolare, il presente elaborato fa parte di un più ampio progetto, nato negli anni precedenti[14, 27] al centro di ricerca interdipartimentale E. Piaggio dell’Università di Pisa.
L’obiettivo è quello di fornire un sistema di guida all’utente che possa essergli d’aiuto nrl muoversi all’interno di un edificio potenzialmente sconosciuto. Nella prima fase di sviluppo, è stato realizzato un dispositivo composto da una videocamera RGB-D, un elemento di feedback aptico ed un laptop per l’elaborazione. Prestando partico-lare attenzione alla sicurezza della persona, tali strumenti sono stati utilizzati per un riconoscimento di ostacoli fissi e/o mobili lungo il percorso e l’elaborazione di una strategia per poterli eventualmente evitare. Realizzando un dispositivo comodo ma efficace per la restituzione di un feedback aptico, il percorso calcolato viene trasfor-mato in semplici stimoli di guida all’utente.
Il sistema è stato poi testato e validato attraverso la sottomissione dello stesso a per-sone cieche. A loro sono stati proposti anche dei questionari che hanno denotato la loro propensione all’utilizzo del sistema di navigazione indoor sviluppato, in quanto intuitivo ed utile. Di seguito verranno dati maggiori dettagli sul sistema realizzato. Parallelamente alcune importanti indicazioni sono emerse dai questionari e dai test condotti per gli sviluppi al progetto. Essi hanno rappresentato delle fondamentali
in-formazioni per il presente studio. Compito dell’attività di tesi in esame, infatti, è stato quello di elaborare e realizzare un algoritmo di motion planning di alto livello da poter affiancare a quello di basso livello già sviluppato. Per effettuare tale operazione si è fatto ricorso ad alcune mappe a disposizione. Queste informazioni, infatti, risultano di facile reperibilità in particolare per gli edifici pubblici.
Primaria attenzione è stata poi posta alla ripetibilità dell’algoritmo anche in situazioni non ideali dell’immagine. Sono stati introdotti dei parametri customizzabili sull’utente stesso e dei valori di ottimizzazione in funzione di conclusioni emerse dalle interviste agli utilizzatori. Il tutto, è comunque sempre centrato attorno alla condizione impre-scindibile di sicurezza del cammino calcolato, tentando di renderlo parallelamente il più naturale possibile.
Per integrare la pianificazione di alto livello, è stata ispezionata una possibile meto-dologia di localizzazione indoor. Questa ha tentato di rispondere al problema senza richiedere ulteriore hardware o informazioni sull’ambiente rispetto a quello già a di-sposizione. Tale scelta è giustificata dalla volontà di mantenere la massima fruibilità ed indossabilità del sistema, indipendentemente da strutture esterne o conoscenze dif-ficilmente rintracciabili.
Nel Capito 2, verrà presentata una possibile classificazione dei dispositivi ad oggi svi-luppati, per poi focalizzarci sulla problematica specifica che ci si è posti e descrivere più dettagliatamente alcune delle proposte allo stato dell’arte. Infine, verranno fornite maggiori informazioni sul dispositivo sviluppato precedentemente a questa tesi. Suc-cessivamente, nel Capitolo 3 verrà esposto un background teorico degli strumenti sfruttati per il progetto. Il lavoro è stato poi suddiviso in due parti distinte. Nel Ca-pitolo 4verrà presentata la proposta che risponda al problema del motion planning e nel Capitolo 5 ne verranno valutate le performance. Nei Capiti 6 e 7, invece, verrà descritta rispettivamente la modalità con cui i dati ed i sensori a disposizione sono stati utilizzati per la localizzazione e l’analisi sui risultati ottenuti negli esperimenti condotti.
imperfezioni dell’immagine di partenza. Esso integra caratteristiche esplicitamente richieste dagli utenti, come una traiettoria segmentata, e misure di sicurezza per il cammino. Inoltre alcuni parametri sono stati resi customizzabili in base a preferenze del singolo individuo. Il metodo di localizzazione proposto ha condotto a dei risul-tati soddisfacenti. Non richiede l’utilizzo di strutture esterne ed anzi sfrutta solo i sensori già facenti parte del sistema, senza aumentarne il costo complessivo o dimi-nuirne l’indossabilità. Da quest’ultimo punto di vista, sono state proposte più modalità d’aggancio della camera in modo da poter scegliere la meno invasiva per l’utente. Il metodo andrà in futuro validato andando a quantificare esattamente l’errore di stima commesso. Le conclusioni rispetto l’elaborato sono riportate nel Capitolo 8, assieme ad alcune proposte per un futuro miglioramento.
Capitolo 2
Mobilità indoor per persone affette
da disabilità visiva
2.1
Classificazione dei dispositivi
Negli ultimi anni, diversi sono stati i tentativi di produzione di dispositivi atti a ren-dere maggiormente autonome le persone affette da disabilità visiva.
Sostanziale è sottolineare come quando si parla di autonomia dell’individuo, ci si ri-faccia a un concetto di libertà di gestione del proprio quotidiano e delle proprie scelte; il non dipendere più necessariamente dall’aiuto che può essere dato da altre persone. Data questa definizione è facile pensare come i dispositivi oggi in commercio abbiano una sfera d’utilizzo ampissima. Essi vanno da ausili per la lettura, fino a dispositivi per lo sport[55], passando per dispositivi informatici.
Tutti questi rappresentano delle vere e proprie tecnologie assistive. Con questo termi-ne si intendono "tutti quei prodotti e sistemi tecnologici utili ad aumentare l’autonomia funzionale e la qualità della vita delle persone anziane e con disabilità ()" (Tecnologie Assistive, edita dall’Inail nel settembre 2018).
Nella specificità di questa tesi, ci si concentrerà su dei dispositivi atti a facilitare la mobilità delle persone non vedenti.
La capacità di muoversi di una persona con disabilità visiva dipende strettamente dal-la conoscenza del luogo. È noto, infatti, come un non vedente si muova agilmente in posti noti. Questo perché ognuno di noi ha una "mappa mentale" dei luoghi co-nosciuti, che ci permette di localizzarci e spostarci in tale spazio. Per un cieco o un ipovedente questo concetto è chiave nella quotidianità. Infatti, essi, tendono ad ac-crescere la propria mappa ogni volta che visitano un luogo, in modo da poter trovare sempre maggior sicurezza nei movimenti ed identificare dei punti di riferimento. In ambienti familiari, come la propria abitazione, questo risulta più semplice, anche per la possibilità di poter sfruttare al meglio i sensi dell’udito e del tatto. In ambienti out-door questo è ulteriormente più difficile a causa della molteplicità di stimoli alla quale si è sottoposti.
I tentativi di facilitare tale sfera della quotidianità della persona sono diversi. Una distinzione che può risultare importante va fatta tra l’utilizzo in ambienti indoor od outdoor. In particolare la mobilità indoor è un argomento di studio molto trattato. La situazione di doversi muovere in un ambiente chiuso e sconosciuto, oltre ad essere molto frequente, presenta delle criticità che fanno si che il problema non risulti ancora risolto completamente.
Le principali difficoltà nella progettazione di un ausilio atto a guidare una persona in tale situazione sono le seguenti:
• la generazione di una traiettoria che rispecchi dei requisiti di sicurezza e naturalezza;
• la detection degli ostacoli e il calcolo di un’opportuna strategia per evitare lo scontro;
• la localizzazione dell’utente stesso all’interno dell’edificio; • la generazione di un opportuno feedback di guida.
Il primo di questi aspetti, risulta essere fondamentale qualora il sistema debba essere in grado di generare un percorso ben definito da far seguire all’utente. Diverse sono
le metodologie e applicazioni che calcolano una pianificazione di alto livello.
Nell’analisi di tale questione, va considerato come centrale l’utente attorno al quale si sta costruendo una soluzione. Ciò fa si che il problema della pianificazione si differen-zi dai casi di studio in cui la traiettoria debba essere generata per il movimento di un robot. Particolare attenzione va data alla sicurezza, cercando di determinare un path che consenta sempre di star lontani dagli ostacoli.
Bisogna, altresì, considerare come la pianificazione di alto livello debba essere neces-sariamente affiancata da una di basso livello. Essa consente di identificare gli ostacoli in tempo reale, soprattutto per gli elementi mobili e non conoscibili preliminarmente. Così facendo sarà possibile sviluppare un’opportuna strategia per evitare di scontrar-sici.
La localizzazione rappresenta un problema sostanziale nella progettazione di un siste-ma complessivo. Di particolare difficoltà risulta conoscere le coordinate globali di un utente all’interno di un edificio. La complessità principale deriva dall’impossibilità di utilizzare i dati del GPS, in quanto corrotti dalle rifrazioni dati dalla struttura stessa. Ciò fa si che si debba ricorrere a differenti tecnologie al fine di poter identificare l’uten-te e fargli seguire il riferimento desiderato, rappresentato in questo caso dal percorso precedentemente calcolato.
Infine, sarà necessario fornire uno stimolo alla persona, affinché sia a conoscenza del-la sua posizione, quanto meno redel-lativamente aldel-la traiettoria trovata od agli ostacoli presenti. In questo caso, ci sono differenti tipologie di strumenti che vanno a guidare l’utente. Essi sfruttano essenzialmente il senso dell’udito e del tatto. Andando a resti-tuire un comando audio per direzionare la persona si può decidere il grado di dettaglio dell’indicazione; volendo, è possibile inserire anche informazioni ausiliare sul tragitto o sulla presenza di ostacoli. Questa tipologia di strumenti, però, rappresenta spes-so un limite spes-sociale ed anche un intralcio alla percezione dell’ambiente circostante. Per tali motivi, diversi dispositivi sfruttano, invece, un feedback aptico. Esso con-sente mediamente di fornire un minor grado di informazioni. Di contro, progettata opportunamente la modalità di stimolazione, lascia maggiormente libero l’utente
nel-le interazioni sociali, senza risultare un intralcio nella spontaneità dei movimenti. Le classificazioni delle tecnologie assistive nello specifico caso di soggetti non vedenti possono essere molteplici. Come riportato in [62], una divisione tra i sistemi svilup-pati può riguardare le tecnologie che vengono utilizzate per ricevere informazioni sul mondo circostante. Ciò, spesso, porta a differenziare i dispositivi in:
• basati sulle camere; • non basati sulle camere; • ibridi.
Tale ripartizione prende spunto dal fatto che le videocamere sono una delle tecnologie più utilizzate per sopperire alla disabilità legata al senso della vista. Non è strettamen-te vero, in tale distinzione, che l’utilizzo delle camere precluda alla fruizione parallela di dati suppletivi provenienti da altre tipologie di sensori, particolarmente nel conte-sto della localizzazione globale.
I sistemi basati sul video stream della camera si differenziano a loro volta in funzione alla tecnologia o al numero delle camere stesse.
Studi hanno dimostrato la possibilità di utilizzo di singole camere, che non fossero dotate di informazioni sulle distanze dagli oggetti rilevati [17, 54]. In tali condizio-ni di lavoro vengono introdotti degli elementi di fiducia (Aruco, QR codes), un po’ come succede per i sistemi non basati sulle camere. In [36, 63] questa modalità vie-ne suggerita come alternativa all’ovie-neroso costo computazionale legato ad un’analisi complessiva e puntuale dell’intera immagine. In particolare nel primo dei due, è stata condotta una soddisfacente fase di testing sulla metodologia proposta, andando a va-riare la luminosità e la sfocatura del video.
Un’altra categoria è rappresentato dalle camere 3D. Esse si distinguono essenzialmente in RGB-D e camere a tempo di volo (ToF-camera). Entrambe sono in grado di cono-scere con precisione la distanza tra la camere ed un oggetto ripreso, il che permette il loro utilizzo anche per la fase di localizzazione, andando a sfruttare algoritmi di visual
odometry.
Le camere ToF vanno a proiettare un raggio infrarosso e misurano il tempo di volo una volta che questo, riflesse dall’oggetto inquadrato, viene ricevuto. Invece, le came-re RGB-D emettendo un raggio infrarosso e dotate di una o più camecame-re ausiliacame-re che inquadrano la stessa scena, usano l’immagine riscontrata attraverso diverse tecniche per estrapolare un dato di distanza. Questa difformità si traduce in un differente grado di accuratezza, maggiore generalmente nelle ToF, ma anche un range di utilizzo che varia dai 5m nelle ToF ai 10m delle RGB-D. Il risultato di queste ultime è, però, molto influenzato dalle condizioni ambientali di ripresa.
Gli studi [81, 37] rappresentano due esempi di utilizzo delle camere basate sul calcolo del tempo di volo. Il primo dei due ha portato alla realizzazione del Co-Robotic Cane, un dispositivo che utilizza le camere sia per il rilevamento degli oggetti circostanti, sia per migliorare la stima di posizione del soggetto tramite un modello a 6 gradi di libertà. Un algoritmo di ottimizzazione del grafo permette di affinare i risultati di ricostruzio-ne del mondo circostante e di usare alcuni degli oggetti inquadrati come waypoint intermedi nel tragitto.
Nel secondo, invece, viene descritto un interessante studio che va ad ottimizzare il consumo energetico intorno all’hardware scelto. Il dispositivo qui proposto, risulta essere in grado di ricostruire una mappa tridimensionale dell’ambiente con un basso consumo energetico. Il progetto, inoltre, essendo proposto come parte di un sistema per persone non vedenti, è in grado di analizzare le immagini e discernere tra zone sicure o meno, generando un feedback per l’utente in funzione di questa analisi. Svariati sono gli esempi anche di utilizzo di camere RGB-D. Esse hanno ricevuto un grande impulso nel loro utilizzo negli ultimi anni grazie al crollo dei prezzi di mercato rispetto alla mole e qualità di informazione che riescono a fornire. Volendo citare al-cuni notevoli esempi, basti pensare a quanto sviluppato da Xiao et al. [77]. In questo lavoro viene descritto un complesso sistema multi-sensore, in cui le camere rivestono un ruolo significativo sia per quanto riguarda il rilevamento di un percorso affidabile per l’utente, sia per aumentare il grado di confidenza della localizzazione. Sono
utiliz-zate due telecamere, che vanno ad integrarsi con una IMU, un pedometro ed un sensore GPS per guidare una persona cieca sia in ambienti indoor che outdoor. Di notevole rilevanza risulta essere anche il lavoro di Yang et al. [79], in cui più camere posizio-nate in diversi punti del corpo servono per avere i dati necessari all’identificazione di un percorso accessibile. In entrambi questi studi il feedback che viene restituito al-l’utente è aptico, anche se nel primo dei due esso è affiancato dalla possibilità di dare indicazioni anche attraverso un’auricolare. Un’altra importante caratteristica da no-tare da questi studi risiede nel posizionamento della camera. Risulta spesso difficile, infatti, sfruttare gli algoritmi proposti in situazioni effettive di vita reale a causa delle oscillazioni che il movimento dell’utente genera sull’immagine.
Per ovviare a tale condizione, diverse sono state le proposte. In [56] il problema viene risolto attraverso una soluzione software: andando a ricercare nell’immagine il ter-reno della mappa locale, esso viene continuamente allineato col piano orizzontale. Si evitano così situazioni di pericolo nell’identificazione di un possibile percorso per l’u-tente.
I sistemi, invece, non basati sulla camera sono già largamente usati in ambito indu-striale e/o per la guida di robot. Questi risultano essere sfruttati soprattutto per la navigazione indoor e sono basati su varie tecnologie: identificazione a radio frequen-ze (RFID); Near-Field Communication (NFC); Bluetooth Low Energy (BLE); antenne UlWideband (UWB); Wi-Fi. Esse vanno a sfruttare un insieme di dispositivi e tra-mite scambi di dati tra i differenti elementi, vanno a calcolare il posizionamento dei tag. Il numero di elementi necessari all’identificazione dipende tanto dalla tecnologia quanto dall’area che va coperta. Talvolta vengono anche richieste delle informazio-ni suppletive che forinformazio-niscano la conoscenza del posizionamento delle strutture fisse rispetto all’ambiente. Tutto ciò sottintende alla necessità di istallazione di apparati esterni o di conoscenze non sempre di facile reperibilità e/o replicabilità. Degli esem-pi possono essere la posizione delle antenne attive utilizzando l’UWB o una mappa dell’edificio in funzione alla potenza di ripetizione del Wi-Fi.
pas-sive.
Alghamdi et al. [9] hanno studiato la possibilità di utilizzare delle antenne attive per localizzare una persona col fine di progettare un sistema d’aiuto per non vedenti. Ne è stata analizzata in particolar modo la variazione diretta sulla capacità di conoscere la posizione dell’utente al degradarsi della potenza di trasmissione, raggiungendo dei buoni risulta fino ad un range di 70m. Tale metodologia di localizzazione è stata affian-cata poi da un sensore GPS. Ne sono state testarne le potenzialità anche in ambienti esterni con buoni risultati.
La tecnologia è stata sfruttata con gli stessi scopi anche nella versione formata da antenne passive. In particolare nello studio di Di Giampaolo [32] viene descritto un sistema indoor col quale è possibile localizzare l’utente attraverso una griglia di sen-sori posti in posizioni fisse e note nell’ambiente.
Le principali difficoltà nell’utilizzo di tali strumenti risiede nella necessità di preparare l’ambiente attraverso l’utilizzo di strutture esterne e nella loro alimentazione.
Esistono in letteratura anche esempi di utilizzo del NFC. Tale tipologia di risoluzione è strettamente legata ai dispositivi presenti nell’ambiente. Inoltre, la possibilità di co-municazione tra gli stessi risulta essere abbastanza bassa e l’accuratezza con cui si può effettuare una localizzazione degrada velocemente con la distanza. Per questo motivo essa è ancora poco utilizzata.
Differentemente, l’uso del BLE è un caso di studio di maggior interesse. Un esempio ne è l’articolo [18]. A differenza della tecnologia precedente il numero di elementi necessari è nettamente inferiore ed il range di funzionamento può arrivare fino a 75 m. Ciò nonostante il suo utilizzo è relegato a situazioni in cui sia sufficiente un’accu-ratezza di qualche metro e che sia in grado di funzionare anche in presenza di misure discontinue.
Le antenne UWB rappresentano una valida alternativa sia per l’utilizzo indoor che out-door. Esse sono dei dispositivi che comunicano ad alte frequenze e a bassa potenza. Forniscono un grado di precisione elevato che arriva intorno ai 0.10-0.15 m. Risultano, però, particolarmente soggette a disturbi elettromagnetici che ne fanno rapidamente
degradare le caratteristiche. Inoltre, consentono di rilevare il posizionamento dei tag nel sdr costruito dalle antenne fisse stesse. Un loro uso per una localizzazione rispetto un sdr globale, necessita della conoscenza del loro posizionamento assoluto. Anche in questo caso, l’alimentazione può rappresentare un limite nel loro utilizzo, nonostante il consumo energetico sia basso. Un esempio è stato presentato da Martinez-Sala et al. [57]. Essi hanno sviluppato il sistema SUGAR, in grado di localizzare e guidare una persona in ambienti indoor. Il sistema è completato da un planning basato sull’algo-ritmo A*, utilizzando una piantina in cui sono note le zone calpestabili. Il feedback all’utente è dato attraverso un’auricolare.
Diversi sono i lavori che utilizzano il Wi-Fi per ricavare informazioni di posizione. Essi sono basati sul Received Signal Strength Indicator (RSSI), un metodo di localizza-zione sul calcolo della forza del segnale ricevuto da un device rispetto a più punti di accesso alla rete. Queste informazioni, miste alla conoscenza della posizione di tali punti di accesso, vengono utilizzate per il calcolo attraverso il metodo della trilatera-zione. Un’estensione ai RSSI è rappresentata dai metodi basati sul fingerprint. Essi si compongono di una fase offline in cui i punti di accesso della rete sono arricchiti con suppletive informazioni e dettagli che poi verranno utilizzati per distinguerli. Questi metodi possono essere utilizzati online [73]; è possibile raggiungere livelli di preci-sione nella localizzazione anche inferiore al metro, nonostante sia stato dimostrato come gli algoritmi siano particolarmente influenzabili da disturbi dovuti alle rifrazio-ni sugli oggetti circostanti [45]. Per migliorare i risultati sono state suggerite diverse metodologie. Zhang et al. [84] hanno proposto di eliminare le oscillazioni dovute alle fluttuazioni del segnale attraverso l’addestramento di una rete. La metodologia propo-sta è propo-stata tepropo-state sia in ambienti interni che esterni, andando a raggiungere risultati affetti in media da un errore di 0.47 m e 19.9 m rispettivamente. Un’altra idea è stata proposta da Ashraf et al. [10], i quali hanno condotto degli studi soddisfacenti che vanno a mitigare l’errore dovuto alla diversità dei dispositivi utilizzati. Il metodo sii basa sulla considerazione che l’area di copertura di un Wi-Fi risulta unica e, quindi, sovrapponendo più aree di copertura tra di loro. Questo si è dimostrato anche efficace
nella riduzione della dimensione del database del fingerprint. In ultimo è interessan-te sottolineare lo studio [26]. Esso descrive una localizzazione indoor che utilizza il Wi-Fi come mezzo di correzione di una tecnica di dead reackoning attuata attraverso l’utilizzo di una IMU. La miglior localizzazione è stata ottenuta andando a confrontare i dati dell’RSSI attraverso un filtro a particelle, il cui risultato è utilizzato come misura per limitare il drift dell’errore che si ha con l’utilizzo esclusivo dei dati provenienti da un’unità inerziale.
In ultimo, la suddivisione proposta prevede i sistemi ibridi. Essi vanno a utilizzare dati provenienti da differenti sensori in modo da limarne reciprocamente i difetti. In genere la camera viene utilizzata col fine di riscontrare gli ostacoli in tempo reale, af-fiancata da strutture esterne i cui sensori siano d’aiuto nella localizzazione dell’utente.
Un altro tipo di differenziazione nasce dall’hardware deputato al calcolo computazio-nale. Interessanti e d’utilizzo comune sono schede a basso impatto economico come Arduino e Raspherry PI. Queste risultano essere delle ottime alternative in partico-lar modo in fase preliminare o di prototipazione, ma anche per la loro ecletticità e la presenza di un’ampia gamma di sensori dedicati. Altrettanto spesso vengono, invece, utilizzati dispositivi quali smartphone e tablet. Essi oggigiorno presentano una note-vole capacità di calcolo, affiancata da un esteso numero di sensori on-board. Tramite questi, per esempio, è possibile implementare alcuni algoritmi basati sulla camera, sul BLE o sull’accesso al Wi-Fi. Sono anche utilizzati per fare da tramite in una comunica-zione wireless, relegando il carico computazionale a terze parti. In casi in cui, infatti, i calcoli da eseguire risultano essere onerosi, spesso ci si affida all’utilizzo di computer portatili o ci si connette direttamente a dei server.
In ultimo, le tecnologie assistive per non vedenti legate al problema in esame, si dif-ferenziano per il feedback restituito all’utente. Come spesso specificato negli esempi portati, le principali vie per interfacciare il sistema con l’utente sono due: l’udito ed il tatto. Tra le tecnologie assistive viene delle volte utilizzata una terza via, cioè tramite
immagini. Naturalmente la sua fruizione è relegata ai casi in cui l’utilizzatore sia una persona ipovedente. In tali situazioni, la soluzione più adottata è quello dell’ingran-dimento, mostrando all’utente un’immagine del mondo circostante più semplice nella letture ed, eventualmente, evidenziando possibili pericoli.
Nella caso trattato, invece, le altre due vie sono le uniche percorribili. Come già sotto-lineato in precedenza entrambe presentano delle limitazioni. Se da un lato inviare un suono o una voce all’utente consente di poter gestire più semplicemente le informazio-ni da dare e il loro grado di accuratezza, questo andrebbe a limitare il principale senso che sopperisce al deficit visivo. Restituire un feedback aptico sembra essere, quindi, una soluzione migliore. Va innanzitutto studiato adeguatamente il punto in cui andrà effettuata la stimolazione. In tal senso diversi studi hanno testato la sensibilità del cor-po umano rispetto a delle stimolazioni tattili. In base alla zona sollecitata, infatti, ogni persona è capace di distinguere con un differente grado di precisione gli stimoli, il che ricadrà direttamente sulla varietà di comandi di guida da poter sottoporre. General-mente una delle parti del corpo più sensibile sono le mani. Tener impegnata una o due mani di una persona non vedente, però, oltre che risultare invasivo e limitarla, potreb-be anche condurre a delle situazioni di pericolo. Per questo motivo, spesso, le zone sfruttate sono altre. Per esempio andando a generare delle forze superficiali sulla pel-le, sempre prestando attenzione ad evitare di creare dei limiti ai movimenti dell’utente.
2.2
Alcuni dei principali dispositivi
Dopo aver descritto una possibile classificazione delle tecnologie assistive che possa-no essere d’aiuto per persone possa-non vedenti, delineandone le principali caratteristiche, è opportuno soffermarsi su alcuni dispositivi in particolar modo. Ciò per poter trarre delle opportune considerazioni preliminari rispetto al progetto proposto e successiva-mente poter anche effettuare un puntuale confronto.
bianco(white cane). Esso ha plurime funzioni per la persona, in quanto consente di conoscere maggiormente lo spazio che li circonda, prevenendo sostanziali pericoli e quindi aumentando la possibilità di movimenti. Non risulta particolarmente invasivo nella quotidianità, è semplice e comodo da usare. Le cose più importanti da sottoli-neare probabilmente, sono che permette all’utilizzatore di ampliare la propria mappa mentale del luogo, rendendolo autonomo e facendolo sentire più sicuro. Assieme ad esso, diversi sono (o dovrebbero essere) gli strumenti architettonici messi a disposi-zione nelle vie e negli edifici delle città per accrescerne l’accessibilità.
Per le sue caratteristiche, esso risulta un frequente compagno delle persone non ve-denti. Presenta, però, sicuramente dei limiti. Non è, infatti, possibile sfruttarlo per conoscere ostacoli sollevati da terra, come potrebbe essere una finestra aperta; natu-ralmente il range d’utilizzo è pari alla sua lunghezza, restituendo informazioni, sotto forma di vibrazioni, solo rispetto a ciò che viene toccato, senza ulteriori indicazioni sul mondo esterno. Inoltre, non fornisce indicazione di localizzazione se non relativa-mente agli ostacoli circostanti.
Dato il suo largo utilizzo, diversi sono i tentativi in commercio di dispositivi che ne tentano di migliorare le caratteristiche attraverso l’introduzione di strumentazioni hi-gh tech. In questa direzione va l’UltraCane [5], dispositivo attualmente in commercio. Esso è un tipico bastone bianco dotato di due sensori ad ultrasuoni a stretto raggio. Posizionati opportunamente, essi garantiscono la sicurezza di non andare a scontrarsi con ostacoli sopraelevati. Qualora venisse percepito un oggetto di fronte all’utente, all’altezza del busto o del visto, la persona sarebbe avvisata dal dispositivo attraverso la vibrazione di un tasto posto lungo l’impugnatura.
Nella stessa direzione si pone lo studio condotto sullo SmartCane [7]. Così come il precedente dispositivo, esso consta di un bastone bianco dotato di sensori ad ultra-suoni atti a ricevere informazioni sulla presenza di ostacoli. Inoltre, è dotato di un sensore per prevenire il passaggio dell’utente in zone calpestabili, ma bagnate. Ciò può risultare utile in quanto una zona con presenza d’acqua, può essere un elemento, oltre che fastidioso, di pericolo nel cammino. Il feedback in questo caso è di duplice
natura: una voce avverte sulla presenza di ostacoli e, nel caso in cui ci si avvicini trop-po, anche un feedback aptico sotto forma di vibrazione viene restituito all’utente. Un altro aiuto che spesso ricevono le persone non vedenti viene dai cani guida. Non sempre è possibile il loro impiego, sia per esigenze personali che per la difficoltà di una fase di addestramento comune tra cane e padrone, lunga e non semplice. A ciò si aggiungono dei costi di mantenimento non irrisori. Per sopperire a queste difficoltà sono stati sviluppati dei progetti al fine di fornire dei sistemi che sostituiscano l’ani-male.
Un esempio è rappresentato da uno studio condotto all’università di San Paolo [12]. Qui viene proposto un robot che faccia le veci di un cane guida, con il primario scopo di sviluppare una soluzione economica rispetto ad altre presenti sul mercato. Il robot è dotato di una serie di sensori i quali servono a rilevare gli ostacoli circostanti. Inol-tre, vengono sviluppati degli algoritmi di visione basati sul Deep Learning in modo da riconoscere degli oggetti riscontrabili nella quotidianità, sia in indoor che in outdoor. Ciò consente di rendere più robusto il sistema e migliorare la capacità di scelta nel percorso per evitare gli ostacoli. Il feedback dato all’utente è di tipo audio.
Un altro lavoro in cui si sfrutta un robot mobile come guida per l’utente è quello svi-luppato da Chuang et al. [19]. La soluzione proposta ha nelle camere la sensoristica principale. Esso sfrutta un addestramento tramite deep convolutional neural network per riconoscere delle linee colorate che andranno poste in una fase precedente lungo il percorso da seguire. Riconoscendo tali marker, il robot tenderà a seguire il percorso e così fungerà da guida alla persona attraverso un feedback aptico.
Generalmente, i dispositivi d’ausilio per persone non vedenti hanno come primario obiettivo quello di riconoscere gli ostacoli circostanti in modo da evitare di scontrar-sici. Anche gli esempi fin’ora proposti, infatti, pongono tale caratteristica come pri-maria per la sicurezza dell’utente. Essi si rifanno o amplificano le caratteristica dei due principali mezzi oggi utilizzati: il bastone bianco e il cane guida. Esistono, però, diverse altra soluzioni che mirano a raggiungere lo stesso scopo per vie e tecnologie differenti. In particolare diverse sono le soluzioni alternative le quali prevedono i
sen-sori direttamente indosso all’utente, piuttosto che su un altro ausilio. Questa modalità deve, necessariamente, prestare attenzione al non essere scomoda o particolarmente evidente. Le possibili tecnologie sfruttabili anche in questo caso sono molteplici. Per esempio anche nello studio di Cardin et al. [72] vengono impiegati dei sensori ad ultrasuoni, ma montati insieme a dei motori vibrotattili su una fascia addomina-le indossabiaddomina-le. Il sistema embedded preaddomina-leva i dati dai sensori, i quali vengono inviati tramite bluetooth ad un piccolo calcolatore. Quest’ultimo elabora le informazioni e, in caso di presenza di ostacoli, invia il controllo ai motori per comunicare all’utente eventuali variazioni di percorso. Anche in questo studio è stato preferito un feed-back aptico, piuttosto che audio, proprio nell’ottica di non inficiare la possibilità di percezione dell’ambiente da parte dell’utente attraverso l’udito. I test qui condotti hanno portato sostanzialmente dei buoni risultati, con un tempo di percorrenza che velocemente decresce dopo un primo esperimento di training. Da sottolineare, però, anche una nota negativa che li stessi autori mettono in evidenza: il raggio d’azione dei sensori ad ultrasuoni risulta essere molto limitato, consentendo un’accurata identifi-cazione degli ostacoli solo sul piano. Inoltre, il segnale risulta essere particolarmente dipendente dal materiale di cui è composto l’oggetto riscontrato. Proprio per queste limitazioni, ma anche per i positivi test condotti sul dispositivo ed in particolare sulla risposta degli utenti, gli autori si propongono in futuro di sviluppare un nuovo sistema in cui testare l’utilizzo di una camera per sostituire i sensori ad ultrasuoni.
Un’altra tecnologia molto diffusa negli ultimi anni, infatti, è quella delle camere RGB-D. Proprio sfruttando quest’ultima sono stati sviluppati diversi dispositivi di obstacle detection, alcuni dei quali pensati proprio come ausilio per utenti ciechi [59, 85]. Questo modello di camera rappresenta il sensore utilizzato nello studio di Wang et al. [74]. La ricerca risulta un evoluzione ad un’indagine precedente in cui il disposi-tivo proposto non aveva soddisfatto gli utenti per il suo eccessivo ingombro e per la scarsa durata della batteria del sistema. Per ovviare a questi punti critici è stato ne-cessario effettuare un trade-off tra rilevamento, calcolo e usabilità, dove quest’ultima caratteristica include anche la necessità di avere un dispositivo compatto. Ciò ha
por-tato a produrre un sistema dopor-tato di una camera, un piccolo computer di bordo e un pacco batterie d’alimentazione. Gli elementi di feedback sono costituiti da una fascia vibrazionale addominale ed un display braille aggiornabile. L’interazione con l’uten-te è ampliata ull’uten-teriormenl’uten-te dalla possibilità di restituire anche un feedback audio. Il dispositivo è stato progettato e testato al fine di svolgere diversi task sia in ambienti interni che esterni. In particolare è in grado sia di individuare lo spazio percorribile nell’inquadratura, sia di utilizzare le informazioni provenienti dalla depth camera per riconoscere alcuni particolari oggetti utili per frequenti operazioni quotidiane, come sedie libere o tavoli all’interno di un’aula. I test condotti hanno portato soddisfacenti risultati. Il sistema è stato provato da utenti non vedenti sia abbinato all’utilizzo del bastone, sia senza. In particolare i metodi di valutazione si sono basati principalmente su due fattori: il numero di contatti con oggetti circostanti ed il tempo di percorren-za rispetto al caso di una camminata autonoma dell’utente nello stesso ambiente. Il primo dei due fattori è considerato importante in quanto diverse sono le situazioni in cui entrare in contatto con ciò che circonda l’utente può risultare pericoloso o scon-sigliabile. Basti pensare al caso in cui questo avvenga con altre persone. Il secondo fattore, invece, risulta evidente per non incorrere in un dispositivo la cui fruizione sia limitante. I test sono risultati positivi, mostrando in una piccola percentuale di utenti un leggero aumento del tempo di percorrenza, legato alla poca familiarità col sistema. Gli esempi fin qui portato hanno come obiettivo quello di una localizzazione e conse-guente pianificazione locale. Non viene, quindi, affrontato il problema di conoscere il posizionamento dell’utente rispetto ad uno specifico sistema di riferimento o di effet-tuare una pianificazione di alto livello.
Quest’ultimo, risulta un problema spesso trattato in letteratura in particolar modo per quanto riguarda la robotica mobile. Diversi sono, però, negli ultimi anni gli studi con-dotti per adattarne le caratteristiche all’utilizzo come aiuto per persone non vedenti. Le strategia si basano tutte sulla ricerca di un percorso ottimo, principalmente attra-verso gli algoritmi di Dijkstra ed A*. La differenziazione alla base sta nella generazione del grafo su cui viene calcolato il cammino.
Yusof et al. [83] propongono una risoluzione del problema attraverso l’uso di una particle swarm optimization. In particolare viene costruito un ambiente costituito da vari waypoint precedentemente posizionati ed inizializzando randomicamente degli sciami di particelle viene ricercato il percorso ottimo.
Un requisito importante risulta spesso la sicurezza della traiettoria, ancor di più quan-do sia da sottoporre ad una persona. Ciò può facilmente essere correlato al mantenere un’opportuna distanza dagli ostacoli circostanti. Questo parametro diventa primario nella proposta di Abbadi et al. [6]. Il grafo su cui effettuare la ricerca del percorso vie-ne prodotto attraverso una suddivisiovie-ne approssimata in celle, andando ad aumentare la risoluzione nelle vicinanze degli ostacoli. Il requisito di sicurezza viene introdotto andando a pesare opportunamente le celle. Vengono proposte e confrontate tre mo-dalità: pesi uguali per tutte le celle, che portano quindi ad una classica ricerca del percorso più breve; pesi maggiori alle celle di dimensione inferiore, le più prossime agli ostacoli, e un’ultima in cui vengono anche pesati maggiormente gli archi che con-nettono celle di differenti dimensioni. Le ultime due situazioni consentono di dare un ruolo alla sicurezza direttamente nel costo totale del percorso da ricercare, portando implicitamente l’algoritmo a trovare come traiettoria ottima quella più sicura.
Conoscere la posizione globale dell’utente risulta fondamentale qualora si voglia at-tuare un planning di alto livello. In caso contrario la guida lungo la traiettoria calcolata sarebbe impraticabile.
Molti degli esempi riportati nella precedente sezione, ponevano come obiettivo princi-pale quello di localizzare l’utente all’interno di un edificio. Diverse sono le tecnologie già elencate che possono condurre a tale obiettivo, come le antenne UWB, il BLE o il Wi-Fi.
In particolare quest’ultimo è molto utilizzato in quanto è possibile sfruttare l’intensità del segnale come dati per algoritmi di localizzazione. É necessario conoscere i punti d’accesso alla rete e, se essi non fossero in numero sufficientemente elevato all’interno dell’edificio, si rischierebbe di non poter effettuare la stima in alcune zone. Un altro interessante esempio, oltre quelli proposti precedentemente, è lo studio condotto da
Evennou er al. [25]. Qui vengono applicate diverse tecniche di localizzazione attra-verso i dati del WLAN e l’utilizzo di una mappa del luogo. In particolare vengono confrontati vari metodi: basati su un database di misure precedenti; attraverso l’uti-lizzo di un filtro di Kalman; di un filtro a particelle e di un filtro a particelle modificato introducendo un diagramma di Voronoi. Gli esperimenti condotti hanno portato a concludere come gli ultimi due casi risultino essere i migliori in questo specifico pro-blema. L’utilizzo del database, infatti, produce una traiettoria parecchio discontinua e richiede informazioni preliminari difficili da reperire e riprodurre. Il filtro di Kalman, pur notando il fatto che esso risulti molto meno oneroso dal punto di vista computa-zionale, dà risultati peggiori del filtro a particelle. Ciò è conseguenza anche del fatto che quest’ultimo è stato modificato nella sua implementazione introducendo la con-dizione per cui non sia possibile attraversare un ostacolo lungo la traiettoria, in modo da evitare casi di ambiguità. Il calcolo computazionale sostanzialmente più elevato abbia condotto a dover cambiare l’hardware, affinché fosse possibile la stima in tempo reale. Questo problema è stato, infine, ridotto introducendo un diagramma di Voronoi della piantina. Il risultato viene utilizzato per far si che la ricerca avvenga solo su una porzione ristretta dalla mappa che corrisponde appunto allo scheletro generato. Con quest’ultimo procedimento i risultati sono stati i migliori ottenuti, considerando con-temporaneamente il costo dei calcoli e l’errore nella localizzazione. Non va trascurato come ciò limiti gli spostamenti localizzabili.
Nonostante la maggior parte dei metodi per la localizzazione non si basino sull’uso delle camere, è comunque possibile sfruttarle per conoscere la posizione dell’utente. In particolare nello studio condotto da Yang e Sanieie [78], ciò viene fatto sfruttan-do come feedback l’inquadratura di marker a realtà aumentata. Nello specifico viene analizzato il problema del posizionamento assoluto dei contrassegni nello spazio, che rischia di portare ad un processo lungo e difficoltoso. Per ovviare a ciò, viene proposto il così detto "Incremental Registration of AR Markers". Il metodo presuppone che nel-l’immagine inquadrata vi sia almeno un elemento registrato. Nel momento in cui un altro non registrato viene inquadrato nello stesso frame, ne viene calcolata la
posizio-ne relativa e vieposizio-ne aggiunto all’insieme in memoria. Lo strumento è stato testato con lo scopo di essere un componente di un sistema di guida per utenti in ambienti interni, con buoni risultati di precisione ed accuratezza. Viene notato come per un utilizzo in ampi spazi verrebbero richiesti un numero elevato di marker, il che può risultare un problema. La soluzione proposta prevede una disposizione diversa degli stessi: posi-zionandoli al centro del corridoio e sfruttando congiuntamente le informazioni della mappa, è possibile sviluppare la stima e, quindi, una guida, riducendo notevolmente la memoria richiesta.
Oltre alle tecnologie già citate, il metodo più classico di localizzazione si basa sull’u-tilizzo di un’unità inerziale (Inertial Measurement Unit - IMU). Sfruttandone i dati è possibile attuare una stima di posizione, dato un punto di partenza. Il problema nell’u-tilizzare questo metodo sta nel fatto che l’errore della stima diverge, per cui utilizzando questo sensore l’affidabilità è valida solo per brevi percorsi e piccoli tempi. Un esem-pio di questa strategia è data dallo studio di Jimenez et al. [38]. Viene sviluppata la metodologia nota come Pedestrian Dead Reckoning (PDR): i dati di una IMU vengono sfruttati insieme a conoscenze preliminari, come lunghezza della gamba dell’utilizza-tore e ampiezza del passo, per costruire un modello della camminata. Un opportuno filtro per una stima della posizione dell’utente genera i dati della localizzazione. La IMU viene posizionata in questo caso sul piede, consentendo di introdurre la strategia nota come zero velocity update per migliorare la stima della lunghezza del passo. Per quanto riguarda la fase di rilevamento del passo, sono state testate tre modalità: attra-verso l’uso degli accelerometri, dei giroscopi e dei magnetrometri. Il miglior risultato della detection risulta essere quello basato sull’accelerometro, con delle difficoltà le-gate, però, a basse velocità di camminata ed ai primi passi dopo essersi fermati. I test sul dispositivo sono stati condotti sia in ambienti interni che esterni con risultati po-sitivi considerando il fatto di non richiedere infrastrutture o sensoristiche ulteriori. Il posizionamento rilevato non è, però, sufficientemente accurato per poter usare il dato per la guida autonoma di un utente. Il PDR richiede, infatti, una periodica ricalibra-zione con conseguente utilizzo di ulteriori strumenti per evitare che l’errore continui
a crescere.
Oggigiorno l’oggetto più comune che ognuno di noi utilizza è sicuramente lo smart-phone. I cellulari di nuova generazione hanno ormai diverse caratteristiche che con-sentono l’utilizzo agevole a persone con problemi alla vista. È naturale pensare che ci siano delle soluzioni atte ad ampliare queste caratteristiche o a sfruttare i sensori presenti sul dispositivo per introdurne delle nuove.
Diverse sono le proposte che vanno ad integrarsi con i pacchetti forniti dai costruttori. Un esempio è l’app Selendroid [44]. Quest’applicazione è stata sviluppata su piatta-forma Android, come aiuto per le persone non vedenti. Risulta un utile strumento, dando la possibilità di interfacciarsi con diverse altre applicazioni, fungendo da trami-te per l’utrami-tentrami-te. Un sistrami-tema di detrami-tection del parlato trasforma le parole in un trami-testo da usare input di comando allo smartphone. Una volta che ci si collega all’applicazione desiderata, viene effettuato l’operazione richiesta ed eventualmente viene restituito un feedback audio. Ciò rende più agevole l’utilizzo del proprio telefono e consente anche di sfruttare con maggior semplicità applicazioni utili nel quotidiano, come pos-sono essere quelle legate alla navigazione outdoor.
Più specificatamente nell’ambito della mobilità si colloca lo studio di Croce et al. [22]. Rappresenta un’evoluzione di quanto da loro sviluppato in precedenza nel progetto chiamato ARIANNA (pAth Recognition for Indoor Assisted NavigatioN with Augmen-ted perception) [21]. La proposta è quella di usare un sistema in cui rivesta un ruolo centrale lo smartphone. Vengono sfruttate in particolar modo la camera del cellulare e la IMU in modo da affiancare al modello PDR degli algoritmi di computer grafica. Quest’ultimi si basano sul riconoscimento di alcuni path colorati da porre preceden-temente sul terreno. Essi rappresenteranno dei tracciati da seguire per la navigazione sia indoor che outdoor. L’informazione può essere arricchita attraverso l’utilizzo di alcuni marker in punti strategici come QRcode o, più preferibilmente, iBeacon. Tutte le informazioni vengono date come input a un filtro esteso di Kalman costruito op-portunamente col fine di stimare posizione e velocità per la guida di persone cieche. Da notare come il rilevamento del tracciato sia stato reso più robusto al variare delle
condizioni di luminosità. Infine, il feedback dato all’utente affinché segua opportuna-mente il percorso è di tipo aptico, dato dalla vibrazione del cellulare stesso. In fase di progettazione è stata posta l’attenzione anche al bilanciamento tra energia richiesta per il calcolo computazionale e durata della batteria, in modo da non inficiare il fun-zionamento normale del dispositivo.
Come fatto spesso notare, lo strumento di feedback riveste un ruolo principale nel-l’economia del dispositivo di guida per una persona non vedente. Sfruttare il senso dell’udito rischia di isolare ulteriormente l’utente rispetto al mondo circostante. Que-sto, oltre ad un limite sociale, può rappresentare un elemento di criticità in quanto po-trebbe condizionare la percezione di eventuali pericoli da parte dell’individuo stesso che non possono essere riscontrati dal dispositivo. Perciò, sempre più spesso vengo-no progettate opportune soluzioni basate su un feedback di natura tattile. Da questo punto di vista, il principale aiuto palpabile per una persona non vedente viene dal-la lettura deldal-la lingua braille. In diverse operazioni quotidiane è possibile riscontrare la scrittura di tali lettere per aumentare l’accessibilità, come nei tasti di un comune ascensore. Sfruttando tale idea, sono stati sviluppati dei display aggiornabili, come già visto in [74].
Più comunemente si trovano soluzioni differenti, in cui un elemento opportunamente azionato restituisce delle forze all’utente. Queste saranno facilmente riconoscibili dal-la persona come elementari comandi di guida. Quando si pardal-la di dispositivi aptici per la guida di non vedenti, un altro punto focale lo riveste il posizionamento dello stesso. Esso va, infatti, studiato in modo che la zona stimolata sia abbastanza sensibile da di-stinguere impulsi differenti, senza però diventare ingombrante. Un’altra caratteristica spesso richiesta è quella di lasciare le mani libere, sia per una questione di sicurezza, ma anche per un aspetto di comodità.
In questo senso diversi sono i dispositivi utilizzati che vanno a collocarsi in differenti parti del corpo. Lo studio di Akula et al. [8] propone un prototipo in cui il feedback aptico è dato da una scarpa. Su di essa sono montati dei sensori ad ultrasuoni. I dati sono elaborati da un Arduino, il quale attiverà i motori vibrazionali per far variare la
direzione di percorrenza qualora venga riscontrato un ostacolo.
Nel loro articolo Stock et al. [71] propongono, invece, l’utilizzo di dispositivo da indos-sare attorno alla caviglia. Esso è dotato di quattro motori equispaziati, la cui vibrazione indicherà una specifica direzione. La struttura del dispositivo è stampabile; tutti i mo-delli ed i codici sono resi open source. Il funzionamento si basa sull’utilizzo del GPS di uno smartphone. Una volta calcolata la propria posizione e nota la posizione target, grazie ad un’IMU posta sulla cavigliera stessa, viene calcolata l’orientazione affinché l’utente si ponga in direzione dell’obiettivo. A questo punto vengono opportunamente azionati i motori in modo da far ruotare la persona dell’angolo calcolato.
Fino a questo momento sono stati portati ad esempio dispositivi, tecnologi e metodo-logie differenti. Essi tendono a risolvere solo una parte del problema della mobilità delle persone non vedenti all’interno di strutture sconosciute e, delle volte, anche al-l’esterno. Come già menzionato il problema della navigazione indoor ed outdoor pre-senta difficoltà differenti. Concentrandosi su quella indoor, in quanto argomento di questo lavoro, per risolvere tutte le problematiche connesse sarà necessario avere un dispositivo indossabile, poco ingombrante e che non precluda movimenti o interazioni sociali. Prevedere una pianificazione di alto livello per il calcolo della traiettoria, af-fiancata ad una di basso livello per evitare scontri con altre persone o ostacoli. Attuare una strategia di localizzazione e restituire un opportuno feedback di guida. Nonostan-te il problema non risulti ancora avere una soluzione priva di inconvenienti, esistono delle proposte complete di tutti gli elementi appena descritti.
Per esempio lo studio di Wu et al. [76] propone un sistema che a partire da una pla-nimetria del luogo generi un path da seguire ed in cui la localizzazione si basa su una dead reackoning dell’utente. La planimetria viene utilizzata per estrarre automatica-mente le informazioni utili al processo. Viene ad essere formata l’immagine su cui effettuare la pianificazione. Il grafo viene generato attraverso una decomposizione in celle e successivamente vengono utilizzati gli algoritmi di Dijkstra o A* per la ricerca. In tempo reale questa viene affiancata da una pianificazione di basso livello basato sulla visibility graph. Per la localizzazione, vengono utilizzati i dati di un’IMU. La
pro-posta prevede un avanzato modello, basato su alcuni dati del singolo utente, in modo da sviluppare un algoritmo di dead reckoning sufficientemente affidabile per gli scopi. Inoltre, nel processo di estrazione di informazioni dalla mappa, vengono importati dei dati utili da poter usare come landmark per la correzione della stima, come ad esempio i numeri sulle porte.
Ricordando come il bastone bianco sia uno strumento molto utilizzato dalle persone non vedenti, lo studio di Ceipidor et al. [16] propone di integrare opportune sensoristi-che per ampliarne le caratteristisensoristi-che e renderlo capace di fornire maggiori informazioni utili alla mobilità. Questo lavoro è frutto di un progetto europeo e si presenta come uno sviluppo di uno studio precedente condotto dagli stessi autori [15]. Lo strumento proposto è un bastone bianco progettato affinché sia il più simile possibile ad uno nor-malmente in commercio. Su di esso vengono aggiunti due motori vibrazionali nella zona dell’impugnatura, i quali restituiranno un feedback aptico all’utente. Inoltre, è montato un ricevitore a radiofrequenze. Questo fa si che il bastone possa comunicare con una serie di antenne poste nell’ambiente, sia indoor che outdoor, e localizzarsi rispetto ad esse. La pianificazione di alto livello in questo caso viene effettuata a prio-ri, nel momento dell’installazione delle antenne. Il rilevamento di ostacoli lungo il percorso è delegato direttamente all’utente stesso attraverso l’utilizzo del bastone. In questa versione, rispetto alla precedente, è stato migliorata la modalità di localizza-zione introducendo dei tag a miglior risolulocalizza-zione. La scelta ha permesso di diminuire il numero delle antenne e, quindi, snellire l’installazione delle strutture esterne. La guida consterà di stimoli atti a mantenere l’utente lungo il path formato o a riportarlo lungo la traiettoria, qualora un ostacolo abbia provocato una deviazione. Il sistema si fonda sull’utilizzo di uno smartphone come mezzo di interfaccia, in grado di captare le indicazioni vocali e trasformarle in comandi per l’algoritmo. Inoltre, attraverso il Wi-Fi vengono scaricati i dati del luogo e viene sfruttato il BLE per comunicare col bastone.
Sempre nell’ottica di dare uno strumento familiare nell’utilizzo si pone lo studio di Li et al. [49]. Anche in questo caso il bastone bianco è dotato di un hardware a bordo
che ne amplifica le caratteristiche. Infatti, dei motori restituiscono un feedback apti-co all’utente. Tale vibrazione viene apti-controllata in modo da guidare la persona lungo un percorso ben definito. L’utente avrà la possibilità di selezionare una destinazio-ne attraverso un bottodestinazio-ne sul bastodestinazio-ne stesso; dopo di che verrà calcolata un opportuno percorso per raggiungere l’obiettivo. Durante il tragitto un algoritmo predittivo basato sulla visione e sul riconoscimento di oggetti, valuterà eventuali rischi comunicandoli al computer di bordo, montato sul bastone. Quest’ultimo, collegato ad una IMU per la valutazione della posa relativa tra bastone e utente, controllerà in maniera oppor-tuna la vibrazione dei motori, in modo da dare semplici e intuitivi feedback di guida. Il sistema è in grado anche di restituire un feedback audio. Possono essere inviate informazioni sul posizionamento dei waypoint calcolati, di pericolo o informazioni suppletive sulla localizzazione. L’algoritmo di localizzazione è sviluppato su un di-spositivo Google Tango a partire da una pianta del luogo. Un’ulteriore fonte di ricerca sviluppata nell’articolo è stata l’estrapolazione di tutte le informazioni utili diretta-mente dal CAD bidimensionale dell’edificio. È stato sviluppato un software in grado di ricavare l’immagine per effettuare la pianificazione e dei particolari, come i numeri delle stanze o oggetti riscontrabili lungo il percorso, come correzioni alla stima. Questo secondo esempio mostra, rispetto al precedente, una caratteristica importante: l’uso delle camere . Come sottolineato, il loro utilizzo in questo settore dell’ingegneria è particolarmente diffuso, soprattutto quelle basate su tecnologia RGB-D.
Nell’articolo di Lee e Medioni [48] essa è posta in degli occhiali indossabili insieme ad una IMU. Questo permette di utilizzare la visual odometry come primario mezzo di localizzazione, ma allo stesso tempo di riscontrare le zone attraversabili in tempo reale. Quest’ultima elaborazione è effettuata a partire da una ricostruzione tridimen-sionale dello spazio, andando successivamente a riconoscere la porzione di pavimento libera da ostacoli. La IMU che affianca la telecamera permette un riallineamento della scena per il mapping. L’interfaccia con l’utente avviene attraverso uno smartphone ed un indumento su cui sono posizionati quattro motori in grado di vibrare. Essi ser-vono a restituire il feedback opportuno in seguito all’elaborazione della scena da parte
di un laptop. Il planning di alto livello è abbastanza scarno andando ad indicare una successione di waypoint che lascino abbastanza libero l’utente, senza guidarlo su una traiettoria troppo stringente come si farebbe per un robot.
Anche Zhang et al. [85] propongono un sistema basato sulla visione. In questo caso le camere utilizzate sono due: una RGB-D per la ricostruzione tridimensionale ed una web cam per il riconoscimento di specifiche feature. La camera RGB-D insieme ad una IMU viene sfruttata per una localizzazione tramite visual inertia odometry, come sviluppato in [24]. I dati vengono forniti ad un filtro a particelle che utilizza la mappa del luogo per ricercare la posizione dell’utente. Questa viene corretta dal riconosci-mento dei numeri delle stanze. Anche in questo caso le informazioni vengono prese dalla pianta del luogo. Negli edifici pubblici americani è obbligatorio l’esposizione di tale informazione. Per questo motivo, è stato implementato un algoritmo di estrapola-zione grafica una volta che la mappa viene inquadrata. L’interfaccia utente-macchina è basata sull’audio.
Un ultimo esempio qui portato è il sistema sviluppato da Xiao et al. [77], anch’esso basato sull’utilizzo di camere. In questa proposta ne vengono utilizzate due: una mon-tata su degli occhiali ed una da porre all’altezza del busto. Il pacchetto di sensori in questo caso è molto ampio. Un aspetto di rilievo risulta il fatto che l’integrazione di tutta questa sensoristica consente di avere un sistema che non richieda l’utilizzo di ul-teriori strutture esterne. Il dispositivo è progettato per un utilizzo duplice: sia indoor che outdoor. Gli strumenti di feedback sono una fascia addominale aptica affiancata da un ritorno audio tramite auricolare. La localizzazione è stata lungamente sviluppa-ta in modo da renderla il più robussviluppa-ta possibile. In particolare si basa su diversi studi condotti precedentemente: una navigazione semantica [40], in cui la visual odometry e il mapping [24] sono affiancati da algoritmi specifici per scelte in mezzo alla folla [41] e di riconoscimento del contesto [82, 80]. Inoltre, viene introdotto un cosiddetto floor-plan digitalization [39] il quale consente di riconoscere delle feature specifiche presenti sulla mappa e visibili tramite la camera. Tutte queste accortezze dal punto di vista software ed i sensori consentono di sopperire mutualmente ai singoli limiti. È
