8. Esperimenti e Risultati
Gli algoritmi di assistenza implementati sono stati validati tramite esperimenti in un am-biente simulato. Ai partecipanti è chiesto di guidare un robot mediante un interfaccia aptica.
Per ognuna delle modalità di navigazione sviluppate (standard, costiera ed ottima) è stato creato un ambiente virtuale ad hoc all’interno del quale i partecipanti devono svolgere uno specifico task. Durante le prove, viene estrapolata una serie di indici di performance. Inoltre vengono confrontati gli indici di performance misurati e quelli percepiti dai partecipanti per quantificare il livello di usabilità, di comfort e di stress.
8.1. Configurazione esperimenti
L’ambiente di simulazione usato è V-Rep. I partecipanti guidano il robot youBot mediante l’interfaccia aptica Novint Falcon. Tramite questa interfaccia i partecipanti sono in grado di generare comandi di velocità di avanzamento e di imbardata. Inoltre i partecipanti possono ruotare il robot sul posto. Le dimensioni del robot virtuale sono le stesse del robot reale (58 cm di lunghezza e 38 cm di larghezza).
I partecipanti agli esperimenti hanno un’età compresa tra i 25 ed i 40 anni maschi e femmine. Sono stati considerati 9 partecipanti e sono stati suddivisi in due gruppi: nel primo gruppo (A) composto da 6, i soggetti non hanno nessuna familiarità pregressa con il sistema, nel secondo gruppo (B) i soggetti hanno già partecipato ad un esperimento simile. Tale suddivisione viene usata per valutare la facilità di apprendimento dell’intero sistema.
Durante gli esperimenti i partecipanti si trovano seduti di fronte ad una scrivania, sulla quale sono presenti due monitor. Un monitor per visualizzare l’ambiente contenente pareti ed ostacoli, e l’altro per visualizzare la mappa ed i feedback visivi. Questi feedback visivi (Figura 8.1) mostrano la modalità di navigazione corrente, le forze rese all’operatore e la posa ottima per la base del veicolo restituita dall’algoritmo sviluppato. Questi feedback visivi consentono ai partecipanti di comprendere meglio gli algoritmi implementati durante la fase di training. I feedback visivi vengono presentati solo durante la fase di training (familiarizzazione), mentre durante i test i partecipanti vedono l’ambiente in cui si muove il robot virtuale (Figura 8.2).
Figura 8.1.: Feedback visivi visualizzati su RViz
I partecipanti sono liberi di utilizzare l’interfaccia con la mano che preferisconono, ma non possono cambiare il punto di vista della scena. I partecipanti guidano il veicolo osservando l’ambiente mediante una camera montata a bordo del robot.
8.1.1. Esperimento 1 Standard Navigation
L’obiettivo di questo esperimento è quello di verificare la guida del robot mediante la modalità di navigazione standard. Vogliamo studiare se la modalità di navigazione standard permette, rispetto all’assenza di force feedback, di raggiungere il goal mantenendo il robot lontano dagli ostacoli e nel minor tempo possibile.
8.1 Configurazione esperimenti
Figura 8.2.: Esperimento 1: Ambiente virtuale su V-Rep relativo alla modalità di navigazione standard
nella prima troviamo ostacoli di forma cilindrica di diametro 40 cm disposti in modo casuale con passaggi di circa 1,2 m e distanziati tra loro circa 1,8 m; nella seconda zona troviamo una serie di muri orientati in modo da creare una serie di corridoi e restringimenti con passaggi che variano da 1,10 m fino circa a 70 cm; nella terza zona invece troviamo una serie di ostacoli formati da cubi di lato 40 cm che vanno a costituire una serie di pareti irregolari la cui distanza varia da 1 m fino 70 cm con un passaggio finale di 85 cm. L’arrivo viene rappresentato con un quadrato rosso e le pareti che delineano l’ambiente sono considerati ostacoli.
Ai partecipanti vengono forniti le seguenti istruzioni: guidare il veicolo dalla posizione iniziale fino all’arrivo. Il loro primo scopo è mantenere il veicolo lontano dagli ostacoli e se possibile nel minor tempo.
Il partecipante viene informato che riceverà un aiuto aptico per evitare di urtare contro gli ostacoli.
Durante le prove verranno misurate le seguenti quantità: numero di collisioni, velocità di collisione, distanza tra robot ed ostacoli, distanza percorsa, tempo per raggiungere il goal e la velocità media. Gli indici di performance percepiti si valutano ponendo ai partecipanti le seguenti domande (Tabella 8.1):
ID Domande Risposta
D1
Ritieni di aver svolto meglio il task (mantenere il veicolo entro distanze di sicurezza) con o senza
l’algoritmo di assistenza ?
(con Feedback; senza) D2 In quale zona pensi di aver avuto maggior aiuto ?
(zona 1,2,3; passaggi stretti; altro; nessuna ) D3 In quale zona pensi di aver prodotto maggiori
sforzi ?
(zona 1,2,3; passaggi stretti; altro; nessuna )
8.1.2. Esperimento 2 Optimal Navigation
L’obiettivo di questo esperimento è quello di verificare la modalità di navigazione ottima nella guida del robot mediante interfaccia aptica:
• in assenza di feedback aptico (solo feedback video (Figura 8.3))
• in presenza di feedback aptico con profilo di forza modalità M1
• in presenza di feedback aptico con profilo di forza modalità M2
Si vuole verificare l’influenza della modalità aptica sull’accuratezza del raggiungimento della posa ottima, confrontando allo stesso tempo l’usabilità delle due modalità aptiche (M1 e M2).
Ai partecipanti viene richiesto di raggiungere la posa ottima in modo più accurato possi-bile, nel minor tempo, minimizzando la distanza percorsa e senza sbattere contro le pareti. Il partecipante una volta visualizzata la posa ottima (Figura 8.4), esegue il task osservando la sola scena al simulatore. Durante il task il partecipante non può visualizzare la posa ottimale.
Figura 8.3.: Esperimento 3 Ambiente virtuale su V-Rep per la navigazione ottima
Nell’ambiente simulato viene visualizzata una parete sulla quale sono presenti due sfere di colore rosso che rappresentano i punti target per il braccio manipolatore. Tutti i partecipanti condividono gli stessi punti target, la medesima posa ottima e la medesima posa iniziale.
Nella prima modalità M1 i partecipanti vengono informati che riceveranno una forza, che spinge il robot verso (lungo la line-of-sight) la posa ottima. Quando il robot è sufficientemente vicino alla posa ottima, si attiverà una forza a correzione dell’orientazione.
8.1 Configurazione esperimenti
Figura 8.4.: Esperimento 3 Visualizzatore RViz durante la modalità di navigazione ottima
Nella modalità M2 i partecipanti vengono guidati verso la posa ottima mediante due segnali aptici a frequenza variabile. Essi ricevono inizialmente il suggerimento di quanto il robot si trova distante dalla posizione ottima. Una volta che il robot è sufficientemente vicino alla posizione desiderata, il sistema suggerisce al partecipante il verso di rotazione per correggere l’orientazione del veicolo. La frequenza del segnale diminuisce al decrescere dell’errore di posizione e dell’errore di orientazione. In questo modo l’operatore, quando il robot si trova sufficientemente vicino alla posa ottimale, viene stimolato ad impartire i comandi al robot con minore intensità consentendogli un maggior controllo del veicolo.
Si misurano le seguenti quantità: tempo per raggiungere la posa ottima, l’errore tra posa desiderata e finale e la distanza percorsa. Inoltre ai partecipanti viene chiesto di rispondere alle seguenti domande (Tabella 8.2):
ID Domande Risposta
D4
In quale modalità di navigazione pensi di aver raggiunto la posa ottima il più
accurato possibile ?
(solo video, M1, M2)
D5 Quale modalità di navigazione ottima
useresti sul tuo veicolo ? (solo video, M1, M2)
Tabella 8.2.: Questionario di valutazione relativo alla navigazione ottima
8.1.3. Esperimento 3 Coastal Navigation
In questo esperimento si vuole verificare la modalità di navigazione costiera durante la guida del robot mediante l’interfaccia aptica:
• in assenza di feedback aptico (NF)
• con feedback aptico ed un profilo di forza C1
Vogliamo studiare se la modalità di navigazione costiera rende più facile l’allineamento alle pareti rispetto al caso di assenza di feedback. Verranno inoltre studiate le differenze tra il profilo di forze C1 ed il profilo C2 per valutare gli effetti sulla guida del robot.
L’ambiente virtuale (Figura 8.5) è composto da una serie di tratti di pareti lunghi 100 cm orientati a 0 gradi fino a 270 gradi con una variazione di 10-20 gradi ogni 100 cm. Questi tratti di parete compongono il profilo che il robot deve costeggiare. Ai partecipanti viene chiesto di guidare il veicolo fino all’arrivo mantenendolo allineato con il profilo della parete, cercando di rimanere nella regione verde (essere sufficientemente vicini alla parete) e senza urtare contro la parete.
Figura 8.5.: Esperimento 3 Ambiente virtuale su V-Rep per la navigazione costiera
Il goal si rappresenta con un quadrato rosso, mentre con quadrati di colore verde si rappresenta la regione vicino alla parete in cui il veicolo deve navigare. Questi quadrati verdi sono visibili all’inizio e vengono tolti durante l’esperimento. Inoltre nella scena è presente un passaggio stretto ed un corridoio utilizzati nella prima fase di apprendimento del sistema.
I partecipanti dovranno eseguire 3 prove: una in assenza di feedback aptico e le altre due con feedback. I partecipanti sono informati che la forza restituita dal sistema tenderà a riportare il veicolo della condizione di buon allineamento, ma essi non sono a conoscenza dei due profili di forza.
Durante le prove, si misurano le seguenti quantità: errore di orientazione espresso in gradi e la distanza tra robot e parete. La distanza tra robot e parete viene utilizzata per valutare una correlazione tra l’errore di orientazione e la distanza con la parete. In questo modo, elevati errori di orientazione possono essere scartati durante l’analisi delle misure.
8.2 Risultati
ID Domande Risposta
D6
Hai notato delle differenze in termini di sensazione aptica tra la prima prova (C1 o C2) e
la seconda prova (C1 o C2) ?
(C1,C2,NF)
D7
Ritieni di aver allineato meglio il veicolo in assenza di force feedback, nella prima (profilo di
forza C1 o C2) oppure nella seconda prova (profilo di forza C1 o C2)?
(C1,C2,NF)
Tabella 8.3.: Questionario di valutazione relativo alla navigazione costiera
8.1.4. Protocollo per ogni obiettivo
Ad ogni partecipante viene inizialmente spiegato l’intero sistema e ciascuno è sottoposto ad una fase di apprendimento di durata massima di 8 minuti. In questo modo ogni partecipante può brevemente testare tutte le modalità di navigazione implementate.
Ogni partecipante esegue le prove con un ordine prefissato ed uguale per tutti (Tabella 8.4). Ogni partecipante inizia dall’esperimento T1 ed esegue le varie prove senza interruzioni fino al completamento (T8). Tra un esperimento ed il successivo, ad ogni soggetto viene chiesto di rispondere alle domande relative all’ultimo esperimento, che si è appena concluso, per un tempo massimo di 2 minuti. Tale procedura viene iterata fino al completamento dei tre esperimenti.
Experiment Trial ID Navigation Mode
Experiment 1 No force feedback T1 Standard with force feedback T2
Experiment 2 No force feedback T3 Optimal M1 profile T4 M2 profile T5 Experiment 3 No force feedback T6 Coastal C1 profile T7 C2 profile T8
Tabella 8.4.: Riassunto degli esperimenti eseguiti da ogni partecipante
8.2. Risultati
Al fine di valutare gli algoritmi di assistenza implementati, è stata effettuata un’analisi degli indici di performance misurati durante le varie prove precedentemente presentate. Ogni esperimento è volto a studiare le relazioni tra gli indici di performance misurati e le sensazioni percepite dai partecipanti rilevate mediante il questionario.
8.2.1. Risultati Esperimento 1
Lo scopo di questo esperimento è studiare se la modalità di navigazione standard consente, rispetto all’assenza di force feedback, di raggiungere il goal mantenendo il robot lontano dagli ostacoli e nel minor tempo possibile.
Tutti i partecipanti, in entrambe le prove, sono riusciti a raggiungere il punto di arrivo. Per quanto riguarda il numero di collisioni, in Figura 8.6 è possibile notare che la modalità di navigazione standard consente di ridurre drasticamente il numero di collisioni. Infatti, in assenza di feedback, più del 50% dei partecipanti ha guidato il veicolo contro gli ostacoli, urtando più di una volta (Tabella 8.5). Inoltre, nella modalità di navigazione standard, un solo partecipante ha fatto entrare il veicolo in collisione con l’ambiente. La velocità di collisione, grazie all’algoritmo sviluppato, si è ridotta notevolmente. Infatti, la velocità di collisione registrata (0.1736 m/s) si è più che dimezzata rispetto alla massima velocità del robot (0.411 m/s). Nella Tabella 8.5 riportiamo gli indici di performance misurati per ogni partecipante. Nella prima colonna si mostra il numero di collisioni (tra parentesi la velocità di collisione), nella seconda colonna la distanza percorsa dalla posizione iniziale fino all’arrivo, nella terza colonna si riporta la media ( tra parentesi la deviazione standard) della distanza tra robot e ostacoli e nelle ultime due colonne rispettivamente la velocità media ed il tempo per raggiungere l’arrivo.
8.2 Risultati Nu-muero di Col-lisioni Di-stanza Per-corsa (m) Di-stanza Osta-coli (m) Veloci-tà Media (m/s) Tempo di Na- viga-zione (sec) D1 D2 D3 A P1 0 - 0 23.06 -22.69 0.281 (0.1787) - 0.2807 (0.1618) 0.2194 -0.2080 130 -135 NF Z 2 Z 1 P2 3 (0.3399) - 0 29.39 -28.52 0.2861 (0.1656) - 0.3157 (0.1595) 0.2084 -0.2150 173 -166 F Z 3 Z 3 P3 0 - 0 24.55 -25.42 0.3052 (0.1397) - 0.3328 (0.1441) 0.1497 -0.1604 204 -206 F Z 2 Z 2 P4 1 (0.0722) - 1 (0.1736) 25.22 -25.03 0.3022 (0.1398) - 0.3045 (0.1391) 0.2072 -0.2078 159 -160 F Z 2 Z 1 P5 2 (0.2117) - 0 24.28 -23.85 0.2723 (0.1699) - 0.3171 (0.1605) 0.1918 -0.1807 161 -169 F Z 2 Z 3 P6 0 - 0 23.10 -23.748 0.2703 (0.1599) - 0.2865 (0.1519) 0.1907 -0.2092 146 -136 F Z 2 Z 1 B P7 1 (0.2551) - 0 23.56 -24.28 0.2678 (0.1624) - 0.322 (0.1467) 0.21 -0.2084 147 -160 F Z 2 Z 3 P8 1 (0.2044) - 0 23.57 -23.84 0.2581 (0.1676) - 0.3144 (0.1547) 0.2047 -0.1919 146 -163 F Z 2 Z 3 P9 0 - 0 22.84 -23.46 0.2673 (0.1693) - 0.3048 (0.1543) 0.2011 -0.1801 145 -168 F Z 2 Z 1
Tabella 8.5.: Esperimento 1 Indici di performance per ognuno dei partecipanti
Nella Figura 8.7 è possibile notare che la distanza tra robot e ostacoli è passata da 0.27 m a 0.30 m rispettivamente nella prova senza feedback e nella prova con la modalità di navigazione standard. La distanza tra robot ed ostacoli è aumentata quindi di circa 3 cm. Considerando le dimensioni del robot e le istruzioni fornite ai partecipanti, il risultato
ottenuto per mantenere il veicolo lontano dalle condizioni di pericolo si rivela alquanto buono.
Figura 8.7.: Esperimento 1 distanza tra robot e ostacoli senza e con feedback aptico
Per quanto riguarda la distanza percorsa dalla posizione iniziale fino all’arrivo (Figura 8.8), possiamo notare che non c’è una netta differenza tra le due guide. Infatti in entrambe le prove la distanza percorsa risulta essere circa di 24 m. Per quanto riguarda il tempo di navigazione (Figura 8.9), in media i partecipanti, nella modalità di navigazione standard, raggiungono l’arrivo con 5 secondi in più.
8.2 Risultati
Figura 8.9.: Esperimento 1 tempo di navigazione senza e con feedback aptico
Per quanto riguarda la velocità media (Figura 8.10) durante il task, i partecipanti (sia del gruppo A che del gruppo B), durante la guida in assenza di feedback, tendono a guidare il veicolo alla massima velocità ad eccezione di un partecipante che è stato particolarmente prudente. Invece, durante la guida del veicolo nella modalità standard, i partecipanti in media guidano il robot ad una velocità di poco inferiore rispetto alla prova in assenza di forza. Inoltre dalla Figura 8.10 si evince che la velocità del robot varia molto da un partecipante all’altro. Probabilmente questa variabilità è dovuta all’accettazione o meno da parte del partecipante degli stimoli aptici suggeriti dalla modalità di navigazione standard.
Figura 8.10.: Esperimento 1 velocità media del robot senza e con feedback aptico
Nella Tabella 8.6 viene infine mostrata la media degli indici di performance tra tutti i partecipanti nelle due condizioni (NF(no feedback), SN(standard navigation)). Si può
notare che le misure influenzate maggiormente dalla modalità di navigazione risultano essere la distanza tra gli ostacoli ed il tempo di navigazione.
Distanza Ostacoli NF 0.2789 (0.0162) SN 0.3087 (0.0167) Distanza Percorsa NF 24.3967 (2.0286) SN 24.5376 (1.6994) Velocità Media NF 0.1981 (0.0202) SN 0.1957 (0.0185) Tempo Navigazione NF 156.77 (21.50) SN 162.55 (20.76)
Tabella 8.6.: Esperimento 1 media e deviazione standard tra i partecipanti
Al termine dell’analisi delle misure, lo studio si è orientato verso sull’usabilità della mo-dalità di navigazione in esame. Grazie al questionario è stato possibile valutare le sensazioni percepite dai partecipanti durante la guida del veicolo. Osservando le risposte fornite dai partecipanti si possono fare le seguenti considerazioni:
• 1 partecipante su 9 ritiene di aver svolto meglio il task in assenza di feedback
• 8 partecipanti su 9 ritengono di aver avuto un maggior aiuto nei momenti di occlusione della visuale (Zona 2)
• 4 partecipanti su 9 ritengono di aver prodotto maggiori sforzi nella Zona 1
• 3 partecipanti su 9 ritengono di aver prodotto maggiori sforzi nei passaggi stretti ( Zona 3)
Dalle risposte fornite e dagli indici di performance misurati si evince che la modalità di navigazione standard offre all’operatore un effettivo aiuto per guidare il robot lontano dagli ostacoli sopratutto quando egli perde di vista il veicolo. Bisogna però tenere conto del fatto che molti partecipanti hanno esercitato una forza non trascurabile per guidare il veicolo nella zona 1 e nella zona 3. Alcuni di loro, infatti, nella zona 1, avevano la sensazione che il robot percorresse meno strada, quindi per raggiungere l’arrivo cercavano di guidare il veicolo vicino ai cilindri con il rischio però di urtare contro essi. Altri partecipanti invece hanno trovato un pò faticoso navigare in passaggi stretti ed irregolari coma la zona 3. Per queste ragioni, in termini di usabilità, è necessario migliorare la modalità di navigazione implementata per evitare eccessivi sforzi da parte dei partecipanti e per offrire una guida più naturale.
In termini di facilità di apprendimento, abbiamo cercato di valutare le differenze sugli indici di performance tra i partecipanti esperti (P7, P8 e P9) e gli altri. Infatti, osservando la Tabella 8.5 non abbiamo rilevato significative differenze in termini di distanza percorsa, distanza robot e ostacoli, e di tempo di navigazione, tra i partecipanti esperti e gli altri. Possiamo quindi concludere che la modalità di navigazione standard risulta essere facilmente comprensibile.
8.2.2. Risultati Esperimento 2
In questo esperimento si vuole quantificare il livello di aiuto aptico fornito ai partecipanti per guidare il veicolo verso la posa ottima. I partecipanti guidano in tre condizioni: assenza
8.2 Risultati
di forza, con profilo M1 e con profilo M2. Inoltre, si confrontano le due modalità aptiche M1 ed M2 in termini di usabilità.
Valutiamo adesso la modalità di navigazione ottima in termini di accuratezza. In Figura 8.11 e Figura 8.12 si mostrano rispettivamente l’errore di posizione e l’errore di orientazione ri-spetto alla posa ottimale: in assenza di feedback, in presenza di feedback con profilo M1 e M2.
Figura 8.11.: Esperimento 2 errore di posizione rispetto alla posa ottima in assenza di
feedback, con profilo M1 e con profilo M2
L’errore di posizione, calcolando la media tra tutti i partecipanti, risulta essere circa di 18 cm, di 14 cm e di 12 cm rispettivamente in assenza di feedback, con profilo M1 e con profilo M2.
Figura 8.12.: Esperimento 2 errore di orientazione rispetto alla posa ottima
Per quanto riguarda invece l’errore di orientazione, in media, i partecipanti commettono un errore di 5ř, 4ř e 3ř rispettivamente in assenza di forza, con profilo M1 e con profilo M2.
Si evince quindi che la modalità M2 consente di raggiungere la posa ottima in modo più accurato rispetto all’assenza di feedback ed al profilo M1.
Per quanto riguarda il tempo per raggiungere la posa desiderata (Figura 8.13), in me-dia i partecipanti impiegano un minor tempo per raggiungerla in assenza di feedback, ma commettono un errore più elevato rispetto alle altre prove. Infatti in media i partecipanti impiegano 68 s, 101 s e 92 s rispettivamente nelle prove in assenza di feedback, con profilo M1 e con profilo M2. Con il profilo M1 si può osservare dai grafici che i partecipanti tendono a portare a termine il task in un tempo molto più variabile rispetto alle altre modalità.
Figura 8.13.: Esperimento 2 tempo di navigazione per raggiungere la posa ottima. In
assenza di feedback aptico, con profilo M1 e con profilo M2
Osservando invece la distanza percorsa (Figura 8.14), i partecipanti tendono a compiere un tragitto mediamente più lungo, in assenza di feedback, quasi doppio rispetto alle altre prove.
8.2 Risultati
Figura 8.14.: Esperimento 2 distanza percorsa dal robot durante la fase di avvicinamento
alla posa desiderata in assenza di feedback, con profilo M1 e con profilo M2
In Tabella 8.7 si riportano gli indici di performace per ognuno dei partecipanti durante le tre prove. Nella prima colonna troviamo la distanza percorsa, nella seconda e terza colonna l’errore di posizione e di orientazione e nell’ultima colonna il tempo di navigazione.
Distanza Percorsa (m) Errore di posizione (m) Errore di orienta-zione (in gradi) Tempo di Naviga-zione (sec) D4 D5 A P1 2.2605 2.0596 -2.9371 0.2323 0.2015 -0.2649 2.1150 9.2903 -1.4493 52 138 -94 M2 M2 P2 2.2545 2.0392 -2.7131 0.1869 0.2646 -0.1934 3.5473 6.1697 -0.8751 58 114 -123 M2 M2 P3 8.0311 4.0172 -2.3290 0.0893 1.5053 -0.1107 2.3641 196.0210 -6.6043 67 103 -60 M2 M2 P4 2.4945 2.4692 -2.0639 0.1261 0.0290 -0.0245 0.3717 0.1087 -2.1868 46 158 -113 M1 M1 P5 8.1246 4.1415 -4.1598 0.1954 0.3050 -0.2062 6.1463 5.2683 -2.1030 59 - 55 - 47 M2 M2 P6 8.4037 4.3724 -4.2112 0.1932 0.2367 -0.1355 5.9409 0.8665 -8.8173 56 136 -60 M2 M2 B P7 7.9177 3.1007 -3.4387 0.1200 0.0180 -0.0567 13.4284 0.0576 -1.0613 120 75 -94 M1 M2 P8 7.9530 3.4546 -3.6540 0.3347 0.0032 -0.0374 9.4144 0.2613 -4.0058 81 57 -118 M1 M2 P9 8.3293 3.1187 -1.9757 0.1121 0.0087 -0.0157 3.3190 0.4262 -0.0002 80 73 -120 M1 M2
Tabella 8.7.: Indici di performance misurati durante il secondo esperimento relativo alla
navigazione ottima
Mentre nella Tabella 8.8 si riporta la media e tra parentesi la deviazione standard degli indici di performance tra tutti i partecipanti.
8.2 Risultati
Errore posizione (m) NF 0.1817 (0.0784)
M1 0.1449 (0.128)
M2 0.1241 (0.100)
Errore orientazione (gradi) NF 5.0239 (4.1917) M1 4.1744 (4.8549) M2 3.0753 (2.8902) Distanza Percorsa (m) NF 6.1922 (2.8992) M1 3.1993 (0.87640) M2 3.0785 (0.84860)
Tempo di Navigazione (sec)
NF 69 (22.58)
M1 101 (37.96)
M2 92 (29.45)
Tabella 8.8.: Media e deviazione standard degli indici di performance su tutti i partecipanti
Dalle risposte fornite dai partecipanti si evince che:
• nessuno di loro ha ritenuto di compiere meglio il task in assenza di feedback.
• 8 partecipanti su 9 preferiscono usare il profilo M2 invece del profilo M1
• 5 partecipanti su 9 hanno pensato di aver ccompletato meglio il task con il profilo M2
In termini di usabilità il questionario evidenzia una difficoltà da parte dei partecipanti nel comprendere il suggerimento aptico offerto dal profilo M1. Infatti, solo i partecipanti esperti (P7,P8, e P9) sono riusciti a completare i task commettendo degli errori di posizione e di orientazione relativamente bassi. Mentre, oltre la metà degli altri partecipanti hanno incontrato difficoltà a guidare il veicolo verso la posa desiderata con il profilo M1. Diversi i risultati ottenuti con il profilo M2 che è stato recepito facilmente da tutti.
Possiamo quindi concludere, che la guida del veicolo mediante il profilo M2 consente un posizionamento più accurato rispetto alle altre prove (assenza di feedback e profilo M1) anche se tale profilo, in media, rispetto all’assenza di feedback, richiede 24 secondi in più per com-pletare il task. L’errore di posizione e quello di orientazione con il profilo M2 diminuiscono di 4 cm e di 1ř rispetto alla guida in assenza di feedback.
8.2.3. Risultati Esperimento 3
In questo esperimento volevamo studiare la guida del veicolo durante la fase di inseguimento di “wall follow”. Durante le tre prove nessun partecipante urta contro la parete o esce dalla regione verde descritta precedentemente. Per valutare la qualità della modalità costiera, in Figura 8.15 si mostra l’errore di allineamento rispetto alla parete laterale nelle tre condizioni: in assenza di feedback, con un profilo C1 e con un profilo C2. Come si può notare, con il profilo C2 i partecipanti in media commettono un errore di allineamento più piccolo rispetto alle altre prove. Infatti l’errore di allineamento medio tra i partecipanti risulta essere 3.4ř
in assenza di feedback, di 2.6ř con il profilo C1 e 2.3ř con il profilo C2. Inoltre in assenza di
Figura 8.15.: Esperimento 3 errore di allineamento alla parete in assenza di feedback aptico,
con profilo di forza C1 e con profilo di forza C2
In Tabella 8.9 si riportano gli errori (tra parentesi la deviazione standard) di allineamento nelle tre prove.
Errore di allineamento (gradi)
NF C1 C2 A P1 2.8908 (3.0736) 3.0833 (3.1973) 2.4408 (2.6104) P2 4.3509 (4.9972) 2.7027(2.1288) 2.0662(2.4462) P3 3.1618 (3.3633) 2.5145 (3.2036) 3.2756 (3.6105) P4 2.1452 (3.2826) 2.0620 (2.3920) 2.0816 (2.8390) P5 4.4230 (4.3472) 3.1330 (2.7655) 2.6705 (2.3489) P6 2.6933 (2.7459) 2.3910 (2.3343) 2.2723 (2.1355) B P7 4.4515 (4.0744) 2.8795 (2.8828) 1.8647(2.2536) P8 3.2315 (3.1282) 2.6721 (2.6593) 1.9833 (2.7418) P9 3.5344 (4.5005) 2.3903 (2.7314) 2.0689 (2.7794)
8.2 Risultati
Errore orientazione (gradi) NF 3.4314 (0.8279)
C1 2.6476 (0.3492)
C2 2.3027 (0.4409)
Media della deviazione standard dell’errore di orientazione (gradi)
NF 3.7237
C1 2.6994
C2 2.6406
Tabella 8.10.: Esperimento 3 media e deviazione standard degli indici di performance
complessivi
Nella Tabella 8.10, si mostra l’errore di allineamento medio tra i partecipanti e la media della deviazione standard dell’errore di allineamento su tutti i partecipanti per valutare la tendenza del robot ad oscillare. Si può notare, infatti, che in assenza di feedback, i partecipanti tendono ad impartire un maggior numero di comandi al robot per ridurre l’errore di allineamento. Invece con i profili C1 e C2, i partecipanti, ricevendo un’informazione su quanto il robot è ben allineato, tendono a guidare il veicolo in modo più regolare.
Mediante il questionario si evince che:
• tutti i partecipanti sono stati in grado di riconoscere la differenza tra i profili C1 e C2
• 5 partecipanti su 9 hanno preferito il profilo C2
Entrambi i profili implementati consentono di ridurre l’errore di allineamento e di miglio-rare la guida del veicolo rispetto alla guida in assenza di feedback.
Per quanto riguarda l’usabilità del sistema, non abbiamo rilevato significative differenze sugli indici di performance tra i partecipanti esperti (P7, P8 e P9) e gli altri. Questo ci consente di affermare che i profili implementati sono facilmente comprensibili.
Possiamo concludere che l’algoritmo implementato, sia con profilo C1 che con profilo C2, riduce l’errore di allineamento e consentono all’operatore di completare il task con maggior facilità. Il profilo C2 consente, però, di ridurre maggiormente l’errore di allineamento ed inoltre è accettato maggiormente dai partecipanti.
