Individuazione della camminata utilizzando il
segnale del giroscopio di un dispositivo indossato
al polso
Laurea magistrale in Computer Engineering
Candidato: Relatori:
Marco PATTI Prof. Marco AVVENUTI
Ing. Guglielmo COLA
Anything you can imagine probably is doable, you just have to imagine it and work on it. Larry Page
Abstract
Negli ultimi anni la diffusione di dispositivi smart indossati al polso, come gli smartwatch o le fitness band, ha portato allo studio di soluzioni tecnologiche per monitorare e analizzare la camminata durante le attività giornaliere. Tuttavia, l’utilizzo di un singolo dispositivo indossato al polso richiede lo sviluppo di tecniche di riconoscimento avanzate per ottenere alti livelli di accuratezza. Il segnale proveniente dal polso, infatti, è affetto da molto più “rumore” rispetto a quello ottenuto da sensori posizionati alla vita o in tasca. Questo a causa delle oscillazioni del polso durante la camminata e ad altri movimenti che il braccio può compiere per svolgere contemporaneamente altre attività.
L’obiettivo principale di questa tesi è quello di valutare il contributo del giroscopio per individuare in maniera affidabile i singoli passi dell’utente. Il segnale del giroscopio, ossia la velocità angolare su tre assi, è stato studiato allo scopo di progettare e implementare un algoritmo di riconoscimento della camminata che migliori e renda più affidabili i risultati ottenuti da algoritmi già esistenti che utilizzano solo il segnale dell’accelerometro. In particolare, sono state studiate le caratteristiche del segnale del giroscopio relativamente agli istanti che identificano il ciclo della camminata e relativamente al tipo di camminata dell’utente.
Sono state analizzate le camminate di 15 utenti ai quali è stato chiesto di effettuare tre tipi di camminata: normale, veloce e con la mano in tasca. Questo per valutare la capacità dell’algoritmo proposto di riconoscere diversi pattern di camminata da parte dello stesso utente. Inoltre gli utenti, dopo aver camminato, hanno effettuato dei movimenti casuali con il braccio sul quale
era indossato il sensore, allo scopo di generare dei potenziali falsi riconoscimenti. È stato utilizzato un meccanismo di rilevamento delle anomalie (anomaly detection) per filtrare i passi falsi generati da queste porzioni del segnale.
I risultati ottenuti dimostrano l’efficacia del giroscopio nell’aumentare l’affidabilità di un algoritmo per l’individuazione dei passi con un dispositivo indossato al polso.
Keywords: accelerometro, anomaly detection, giroscopio, riconoscimento della camminata, sensore indossato al polso.
Abstract ... iii
Lista delle tabelle ... vii
Lista delle figure ... viii
1 Introduzione ... 1
1.1 Introduzione all’analisi della camminata ... 1
1.2 Analisi della camminata in medicina ... 1
1.3 Sport e fitness ... 2
1.4 Obiettivo della tesi ... 3
1.5 Struttura della tesi ... 4
2 Il segnale del giroscopio ... 5
2.1 Analisi del segnale del giroscopio ... 6
2.2 Analisi del ciclo di un passo ... 9
2.3 Analisi relativa al tipo di camminata ... 12
3 L’algoritmo utilizzato ... 15
3.1 Adattamento dell’algoritmo di Cola ... 16
3.2 Introduzione del segnale del giroscopio ... 16
3.3 I sensori utilizzati in base al tipo di camminata ... 20
3.5 Anomalie individuate dall’algoritmo ... 22
4 Individuazione delle anomalie ... 25
4.1 Estrazione delle feature ... 25
4.2 Tecnica di individuazione delle anomalie ... 26
4.3 Valutazione della tecnica di individuazione delle anomalie ... 28
5 Risultati e conclusioni ... 30
5.1 Valutazione della tecnica di individuazione della camminata ... 30
5.2 Valutazione della tecnica di individuazione delle anomalie ... 34
5.3 Conclusioni ... 37
Lista delle tabelle
Tabella 3.1 Valore medio di step detection rate per le due versioni
dell’algoritmo ... 21 Tabella 4.1 Lista delle feature ... 26 Tabella 5.1 Confronto delle tecniche di individuazione della camminata, in termini di detection rate ... 31 Tabella 5.2 Detection rate utilizzando i due segnali per ogni tipo di
camminata ... 33 Tabella 5.3 Feature selezionate nelle tre configurazioni ... 35 Tabella 5.4 EER e AUC per ogni configurazione ... 36
Lista delle figure
Figura 2.1 Assi del giroscopio dello Shimmer ... 5
Figura 2.2 Esempio di traccia dell’asse X del giroscopio ... 7
Figura 2.3 Esempio di traccia dell’asse Y del giroscopio ... 7
Figura 2.4 Esempio di traccia dell’asse Z del giroscopio ... 8
Figura 2.5 Esempio di traccia della norma del giroscopio ... 8
Figura 2.6 Heel strike e toe off ... 10
Figura 2.7 Fase di appoggio e di oscillazione ... 11
Figura 2.8 Camminata con braccia accavallate ... 13
Figura 2.9 Camminate con andature differenti ... 14
Figura 3.1 Algoritmo di riconoscimento degli zeri della velocità angolare 17 Figura 3.2 Rumorosità del segnale del giroscopio per camminate con mano in tasca ... 18
Figura 3.3 Singolo zero nelle camminate normali ... 19
Figura 3.4 Rumorosità del segnale del giroscopio sull’asse Z nell’intervallo compreso tra due cicli di camminate ... 23
Figura 3.5 Picco positivo e successivo zero della velocità angolare corrispondente ad un falso positivo ... 23
Figura 5.1 Curva ROC relativa alla tecnica di individuazione delle anomalie ... 34
1 Introduzione
1.1 Introduzione all’analisi della camminata
Una delle attività fisiche più comuni è camminare e l’analisi della camminata può fornire importanti informazioni riguardanti lo stato di salute di una persona. L’analisi della camminata ha un vasto campo di applicazioni, ad esempio nell’analisi delle prestazioni sportive, nella riabilitazione e nella diagnosi precoce di particolari patologie che influenzano le capacità motorie. Per studiare la camminata sono solitamente utilizzati sistemi avanzati, come i sistemi optoelettronici per l’analisi del movimento 3D (“3D motion
analysis”) o i cosiddetti force plate platform systems. Queste tecniche sono
però particolarmente costose e richiedono la supervisione da parte di personale specializzato. Di conseguenza non permettono una valutazione continuativa della camminata al di fuori di laboratori specializzati.
I dispositivi indossabili dotati di sensori inerziali, come accelerometro e giroscopio, permettono di portare, almeno in parte, l’analisi del cammino durante le normali attività quotidiane e senza il bisogno di alcuna supervisione.
1.2 Analisi della camminata in medicina
In campo medico è utile analizzare la camminata per valutare lo stato di salute delle persone. L’analisi delle caratteristiche della camminata fornisce risultati utili per valutare il benessere di una persona [1] che, con il semplice
passare degli anni o ad esempio successivamente ad un intervento chirurgico, può riportare dei cambiamenti sostanziali nel modo di camminare. Nel caso di una persona anziana la camminata può evidenziare l’avanzarsi di alcune malattie neurologiche, muscolari o scheletriche come ad esempio l’osteoporosi [2]. Dopo un’operazione chirurgica invece può essere utile, oltre ad un parere soggettivo di un medico, analizzare il segnale della camminata per valutare oggettivamente la percentuale di ripresa dell’utente. Alcune delle proprietà che possono essere facilmente analizzate dal segnale dell’accelerometro e del giroscopio sono la durata del passo, le percentuali di carico e la simmetria della camminata. Inoltre, l’analisi dello stato di salute del paziente in questo modo può essere effettuata anche a posteriori. Possono essere confrontate le caratteristiche del segnale di camminate registrate in più sessioni, ad esempio a distanza di settimane, per valutare la progressione di una malattia o la condizione fisica di un atleta dopo un infortunio [3].
1.3 Sport e fitness
L’inattività fisica è il quarto fattore di rischio della mortalità globale [4] ed è stimato che sia la causa principale approssimativamente del 21-25% dei tumori al seno e al colon, del 27% del diabete e di circa il 30% delle malattie cardiache. L’attività e la regolarità fisica è utile per ridurre l’obesità, i rischi per le malattie cardiovascolari, il diabete e le varie forme di cancro.
Con lo scopo di promuovere l’attività fisica e di ricercare stili di vita più sani, in questi anni numerose soluzioni tecnologiche sono state sviluppate per fornire agli utenti e ai medici misure oggettive relative all’intensità delle attività fisiche svolte. Numerosi orologi sportivi come il Garmin o il Polar, o i meno tecnici smartwatches come l’Apple Watch, sono in grado di fornire in tempo reale [5] all’utente informazioni relative alle attività fisiche svolte. Un runner professionista ad esempio è in grado di regolare il proprio ritmo
è adatta inoltre per capire il consumo energetico [7] durante gli allenamenti, per capire lo stato di forma dell’atleta [8] e anche per analizzare l’eventuale fase iniziale della manifestazione di un infortunio.
1.4 Obiettivo della tesi
L’obiettivo della tesi è quello di investigare tecniche innovative per ottenere un’accurata identificazione della camminata utilizzando un dispositivo indossato al polso equipaggiato di accelerometro e giroscopio. L’identificazione della camminata è fondamentale per effettuare l’analisi della camminata in modo accurato, in quanto consiste nell’estrazione delle informazioni rilevanti dai campioni forniti dai sensori.
In particolare, l’obiettivo della tesi è quello di valutare il contributo del giroscopio per riconoscere i singoli passi effettuati dall’utente con alti valori di accuratezza.
Molti studi sono stati effettuati in questo campo utilizzando però soltanto il segnale accelerometrico [9]. La novità presente nella tecnica proposta nella tesi è proprio l’introduzione e l’elaborazione del segnale del giroscopio ai fini di ottenere risultati migliori rispetto a quelli ottenuti da algoritmi che invece utilizzano soltanto l’accelerazione.
L’obiettivo quindi è quello di implementare un algoritmo che fornisca risultati accurati, che quindi abbiano un’alta sensitività e specificità. Per filtrare i movimenti casuali effettuati dagli utenti (ossia movimenti delle braccia non dovuti alla camminata), viene utilizzata una tecnica di rilevazione delle anomalie (“anomaly detection technique”).
1.5 Struttura della tesi
La tesi è organizzata nel seguente modo. Nel capitolo 2 viene descritto il segnale del giroscopio. Le caratteristiche della curva che descrive la velocità angolare sono analizzate in corrispondenza degli istanti che delimitano il ciclo di camminata e sono analizzate al variare del tipo di camminata. Nel capitolo 3 viene descritto l’algoritmo proposto per l’individuazione dei passi di una camminata utilizzando il segnale del giroscopio. Nel capitolo 4 viene descritta la tecnica utilizzata per l’individuazione delle anomalie. Il capitolo 5 infine contiene i risultati ottenuti e le conclusioni.
2 Il segnale del giroscopio
In questo capitolo viene analizzato il segnale del giroscopio relativo ad un sensore indossato al polso. In particolare vengono analizzate la forma d’onda e le principali caratteristiche utili per identificare i passi della camminata dell’utente. I dati presi in considerazione sono relativi ad uno Shimmer [10] in cui gli assi del giroscopio sono disposti come in figura 2.1.
Il giroscopio fornisce la velocità angolare, espressa in deg/s, attorno ai tre assi X, Y e Z.
2.1 Analisi del segnale del giroscopio
Il giroscopio misura la velocità angolare del braccio rispetto ad ognuno dei tre assi X, Y e Z. Dato che il braccio descrive un moto circolare attorno all’asse uscente dal corpo, l’asse Z è stato scelto per analizzare la camminata. Nell’algoritmo di Cola et al. [11] è stato analizzato il segnale dell’accelerometro relativo al sensore indossato in tasca e in particolare, dato che in tale posizione il sensore non ha un orientamento predefinito, è stato scelto di analizzare la norma dell’accelerazione. Questa scelta è stata effettuata perché la libertà del dispositivo di muoversi in tasca provoca una continua variazione del sistema di riferimento rispetto al quale viene registrata l’accelerazione. Questo rende indispensabile l’utilizzo della norma euclidea dei tre assi, che è indipendente dall’orientamento del dispositivo. Essendo invece lo scopo di questa tesi quello di utilizzare il segnale proveniente da un dispositivo indossato al polso, è stato considerato il fatto che il dispositivo al polso, se correttamente indossato, non si muove attorno ad esso ed è indossato sempre allo stesso modo. Per questo motivo non è stata analizzata la norma del giroscopio ma è stato analizzato il singolo asse Z che, come scritto precedentemente, descrive fedelmente i vari stati in cui si trova il braccio durante la camminata. In particolare dall’asse Z è facile individuare gli istanti in cui il braccio è fermo, ovvero i due istanti in cui il braccio si trova alla massima altezza da terra, e quello in cui si trova nel punto più basso dove la velocità angolare è massima.
Di seguito sono mostrati i grafici rappresentanti l’andamento del segnale del giroscopio su ognuno dei tre assi e quello della norma.
Figura 2.2 Esempio di traccia dell’asse X del giroscopio
Figura 2.4 Esempio di traccia dell’asse Z del giroscopio
in un nuovo punto in cui poi funzionare a sua volta come supporto. Le gambe quindi poi invertono i ruoli e la gamba che prima era stabile diventa mobile, mentre la gamba che era in movimento diventa stabile.
Il ciclo del passo è definito come l’intervallo di tempo o la sequenza di eventi o movimenti compresi tra l’istante in cui un piede tocca il terreno e l’instante in cui lo stesso piede tocca nuovamente il terreno.
Il ciclo del passo è composto da due fasi:
• Fase d’appoggio (“stance phase”): questa è la fase in cui il piede è in contatto con il terreno e occupa circa il 60% del ciclo di camminata. • Fase d’oscillazione (“swing phase”): questa, al contrario, è la fase in
cui il piede è in aria e occupa circa il 40% del ciclo di camminata. L’inizio della fase d’appoggio è identificato dal contatto del tallone con il terreno (“heel strike”), mentre la fine è identificata dall’istante in cui la punta dello stesso piede si solleva dal terreno (“toe off”).
I due istanti di heel strike e toe off, e di conseguenza le due fasi d’appoggio e d’oscillazione, sono facilmente individuabili dal segnale del giroscopio come si può vedere dalla figura 2.7.
Figura 2.6 Heel strike e toe off
Gli eventi di heel strike e toe off avvengono quando il braccio si trova nella posizione più lontana rispetto al busto. In particolare, nel primo caso il braccio si trova nell’estremità posteriore, mentre nel secondo caso nell’estremità anteriore al busto.
Negli istanti in cui il braccio arriva all’estremità anteriore o posteriore la velocità angolare è circa pari a 0 deg/s. È facile individuare dal segnale dell’asse Z del giroscopio gli attraversamenti nello zero che identificano gli istanti in cui il braccio è fermo.
Figura 2.7 Fase di appoggio e di oscillazione
Nel grafico della velocità angolare sull’asse Z mostrato in figura 2.7, è possibile discriminare all’interno di un segmento di camminata le fasi di appoggio e di oscillazione della gamba relativa al braccio sul quale è indossato il sensore. Le fasi di appoggio (“stance phase”) sono quelle con sfondo grigio, mentre le fasi di oscillazione (“swing phase”) sono quelle con sfondo bianco.
Nella fase di appoggio la velocità angolare parte da 0 deg/s e cresce fino ad un punto di massimo che identifica l’istante in cui il braccio ha la velocità massima, ovvero l’istante in cui il braccio si trova ad altezza minima da terra. Successivamente il segnale decresce fino ad arrivare di nuovo a un valore di 0 deg/s che identifica il momento in cui il piede si stacca da terra (“toe off”). La fase di appoggio è relativa all’intervallo di tempo in cui il braccio ruota in senso antiorario rispetto alla spalla.
Nella fase di oscillazione la velocità angolare parte da 0 deg/s e decresce fino ad un punto di minimo per poi crescere fino al successivo incontro con lo zero. Questa volta il primo zero identifica il toe off, mentre il secondo zero identifica l’heel strike. Questa è la fase in cui il braccio ruota in senso orario rispetto alla spalla.
2.3 Analisi relativa al tipo di camminata
L’andamento della velocità angolare è molto regolare per le camminate effettuate a qualunque velocità purché il braccio in cui è indossato il sensore si muova regolarmente. In particolare, la regolarità del segnale del giroscopio si perde nel caso in cui il braccio non effettui il classico moto circolare. Questo accade quando l’utente effettua una qualunque operazione durante la camminata, per esempio quando tiene in mano uno smartphone o quando cammina con le braccia conserte.
In questi casi l’ampiezza della velocità angolare sull’asse Z è molto piccola e, data la posizione del braccio, non viene seguito il classico pattern regolare della camminata mostrato in precedenza.
In figura 2.8 è possibile vedere l’irregolarità del segnale del giroscopio relativa ad una camminata effettuata con le braccia conserte. In particolare, in questa finestra il picco massimo e minimo della velocità angolare sono rispettivamente circa di 20 deg/s e -15deg/s. Questi valori sono molto più piccoli rispetto ai valori medi registrati in camminate in cui il braccio è libero.
Figura 2.8 Camminata con braccia accavallate
Analizzando il segnale del giroscopio è semplice individuare la variazione della velocità in quanto all’aumentare della velocità della camminata aumenta l’ampiezza della curva. Questo è facile da interpretare fisicamente perché quando aumenta la velocità della camminata, aumenta la velocità con cui oscilla il braccio. Di conseguenza aumenta la velocità angolare e dunque l’ampiezza della curva. È interessante tenere in considerazione questo aspetto perché può essere utile per studi futuri in cui vi è l’esigenza di discriminare i diversi tipi di andatura di un utente.
In figura 2.9 sono mostrati tre intervalli di camminata di un utente. Il primo intervallo è relativo ad una camminata con velocità normale, il secondo è relativo ad una camminata veloce, mentre il terzo è relativo ad una camminata normale effettuata con la mano in tasca. Come si può vedere, nelle camminate normali i picchi massimi e minimi assumono valori di circa
50 deg/s e -75 deg/s, mentre nella camminata veloce i valori sono circa di 100 deg/s e -100 deg/s. Utilizzando opportune soglie è quindi semplice discriminare i due tipi di andature dell’utente.
Figura 2.9 Camminate con andature differenti
Il segnale del giroscopio relativo alla camminata effettuata con la mano in tasca è molto più rumoroso rispetto agli altri due. Questa rumorosità è presente perché in questa posizione il sensore risente delle vibrazioni prodotte dalla gamba nel momento dell’impatto a terra [13].
3 L’algoritmo utilizzato
In questo capitolo viene presentato l’algoritmo utilizzato per l’individuazione dei singoli passi di una camminata. L’algoritmo usa i dati registrati dall’accelerometro e dal giroscopio di un sensore indossato al polso. Questo è stato implementato utilizzando come base di partenza l’algoritmo di Cola, il quale è un algoritmo per l’identificazione di segmenti di camminata che utilizza l’accelerometro di un sensore indossato in tasca. Il primo obiettivo è stato quello di adattare l’algoritmo di Cola per funzionare su un dispositivo indossato al polso, in modo da ottenere dei buoni risultati di partenza utilizzando soltanto l’accelerometro. Successivamente l’obiettivo è stato quello di introdurre l’analisi del segnale del giroscopio per migliorare i risultati, in termini di detection rate, ottenuti nella prima fase. Infine, è stato implementato un filtro basato sull’individuazione delle anomalie (“anomaly detection”) per filtrare le individuazioni di passi falsi dovuti a movimenti del braccio.
Con il termine detection rate si indica la percentuale di passi veri identificati, ovvero la sensitività dell’algoritmo.
Per l’implementazione dell’algoritmo è stato utilizzato il linguaggio Java, mentre per quanto riguarda l’analisi dei segnali e il machine learning è stato utilizzato il software MATLAB. È stato scelto MATLAB per la facilità e la velocità con il quale è possibile manipolare dati e visualizzarne le loro rappresentazioni grafiche.
3.1 Adattamento dell’algoritmo di Cola
Il primo cambiamento effettuato è stato quello di ricercare singoli passi e non segmenti di N passi. L’adattamento dell’algoritmo è stato implementato sfruttando gli studi effettuati in [14] in cui è stato confrontato il segnale dell’accelerometro relativo ad un dispositivo in tasca e ad un dispositivo indossato al polso. Da questi studi è emersa l’esigenza di modificare i valori di alcuni parametri utilizzati dall’algoritmo. Per trovare la migliore combinazione di questi parametri è stata effettuata una ricerca esaustiva. In particolare, è stato implementato un algoritmo che testa tutte le possibili combinazioni dei parametri da adattare per tutti gli utenti, considerando per ogni parametro un range di valori significativi. Da questa ricerca è stata scelta la combinazione dei valori che fa sì che mediamente, considerando tutti gli utenti, si ottenga il migliore risultato in termini di detection rate. I valori dei parametri dell’algoritmo che analizza l’accelerazione ottenuti in questa fase sono stati mantenuti per tutte le fasi successive della tesi.
3.2 Introduzione del segnale del giroscopio
Dopo aver analizzato la curva della velocità angolare sull’asse Z, è stato prodotto un algoritmo di individuazione dei passi che ne sfrutta le proprietà. In particolare, ogni gait cycle è composto da un gruppo di picchi positivi nella stance phase e da un gruppo di picchi negativi nella swing phase. Le due fasi sono delimitate dagli zeri della velocità angolare, ovvero dagli istanti relativi all’heel strike e al toe off in cui il braccio è fermo.
Figura 3.1 Algoritmo di riconoscimento degli zeri della velocità angolare
Nel dettaglio, l’algoritmo ricerca gli zeri della velocità angolare e, quando vengono individuati, ne effettua una validazione basata sulla porzione immediatamente precedente del segnale.
In particolare l’algoritmo ricerca gruppi di zeri. Un gruppo di zeri è un insieme di zeri in cui il primo e l’ultimo si sono presentati ad una massima distanza temporale. Il concetto di gruppi di zeri è necessario soprattutto nelle camminate con la mano in tasca in cui il segnale è molto più rumoroso rispetto ai casi di camminata normale o veloce. In questo tipo di camminata, come si può vedere dalla figura 3.2, il numero di attraversamenti nello zero all’interno di una finestra temporale che inizia dal momento in cui è stato individuato il primo zero è generalmente maggiore di 1.
Figura 3.2 Rumorosità del segnale del giroscopio per camminate con mano in tasca
Al contrario, generalmente nelle camminate normali il segnale in corrispondenza degli zeri è privo di rumore e quindi ogni gruppo di zeri, come si può vedere in figura 3.3, è composto da un singolo zero.
Figura 3.3 Singolo zero nelle camminate normali
Quando viene individuato il primo zero di un nuovo gruppo di picchi l’algoritmo lo identifica come valido, ovvero lo identifica come un passo, se si verifica una delle seguenti condizioni:
• non sono ancora stati individuati gruppi di zeri e prima di individuare lo zero è stato individuato un gruppo di picchi positivi o negativi. • è trascorso più di maxInterval ms dall’ultimo gruppo di zeri e prima
di individuare lo zero è stato individuato un gruppo di picchi positivi o negativi.
• è stato individuato lo zero dopo minInterval ms e prima di maxInterval
ms rispetto all’ultimo gruppo di zeri e, prima dell’individuazione dello
zero, è stato individuato un gruppo di picchi positivi (se il precedente gruppo di zeri era successivo ad un gruppo di picchi negativi) o negativi (se il precedente gruppo di zeri era successivo ad un gruppo di picchi positivi).
L’intervallo di tempo maxInterval, espresso in ms, indica l’intervallo all’interno del quale l’algoritmo considera uno zero come il consecutivo dello zero precedente. Ovvero, se viene individuato uno zero prima di
maxInterval ms dopo l’ultimo gruppo di zeri, allora il nuovo zero fa parte di
un nuovo gruppo di zeri che identifica il passo immediatamente successivo al precedente. Se invece lo zero viene identificato dopo maxInterval ms dall’ultimo gruppo di zeri allora vuol dire che il nuovo zero identifica un nuovo passo che però non è consecutivo al precedente. Quest’ultimo caso può verificarsi quando l’utente, dopo aver effettuato una camminata, si ferma e poi riparte. L’ultimo passo effettuato prima di fermarsi e il primo passo effettuato in ripartenza sono effettuati ad una distanza uno dall’altro maggiore di maxInterval ms.
L’intervallo di tempo minInterval, anch’esso espresso in ms, identifica l’intervallo di tempo minimo che deve trascorrere affinché un nuovo zero identificato venga considerato come il primo zero di un nuovo gruppo di zeri. Se uno zero viene identificato prima di minInterval ms rispetto all’ultimo gruppo di zeri, allora anch’esso fa parte di questo gruppo di zeri.
3.3 I sensori utilizzati in base al tipo di camminata
L’algoritmo proposto utilizza il segnale del giroscopio per le camminate normali e veloci dell’utente, mentre utilizza il segnale dell’accelerometro per le camminate effettuate con la mano in tasca. È stata effettuata questa scelta in quanto è stato analizzato il risultato dell’algoritmo in termini di detection
rate in entrambe le configurazioni per i vari tipi di camminata e, sebbene per
le camminate normali e veloci il risultato ottenuto utilizzando il giroscopio sia migliore rispetto a quello ottenuto utilizzando l’accelerazione, nei casi di camminata con mano in tasca i risultati sono pressoché uguali. Quando l’utente cammina con la mano in tasca, il braccio non effettua alcuna rotazione, o per lo meno effettua solo un piccolo movimento, attorno all’asse
del braccio è praticamente nulla. Di conseguenza l’analisi del segnale del giroscopio sull’asse Z per questi ultimi tipi di camminata è poco utile per il miglioramento dell’algoritmo di individuazione della camminata.
In tabella 3.1 è mostrato il valore medio dello step detection rate ottenuto per ogni utente nelle due configurazioni dell’algoritmo in cui viene utilizzato o solo il giroscopio o la combinazione di accelerazione e giroscopio rispettivamente per camminate normali – veloci e camminate con mano in tasca.
Solo giroscopio
Giroscopio per camminata normale e veloce e accelerazione per camminata
con mano in tasca Step detection
rate medio 99.6% 99.6%
Tabella 3.1 Valore medio di step detection rate per le due versioni dell’algoritmo
3.4 Distinzione del tipo di camminata
Le camminate normali e veloci di un singolo utente sono facilmente distinguibili dalla camminata con la mano in tasca analizzando l’ampiezza del segnale. In particolare l’ampiezza della velocità angolare relativa ad una camminata con la mano in tasca è inferiore rispetto a quella relativa ad una camminata in cui il braccio ruota normalmente.
Ogni persona però cammina in modi diversi, in particolare ognuno ruota il braccio con una velocità che, a parità di velocità della camminata, può variare. Di conseguenza non è possibile implementare un semplice algoritmo
che, sfruttando solo l’ampiezza del segnale del giroscopio, sia in grado di discriminare i diversi tipi di camminata per qualunque utente.
Non essendo stata la ricerca di una tecnica di classificazione dei tipi di camminata oggetto di studio di questa tesi, la distinzione tra camminate normali e camminate con mano in tasca è stata effettuata manualmente. Ovvero, è stato esplicitamente indicato all’algoritmo in quali intervalli utilizzare il giroscopio e in quali utilizzare l’accelerometro delimitando gli intervalli in base ai video prodotti nella fase di raccolta dei dati.
Utilizzando una tecnica di machine learning può però essere possibile individuare le feature dei segnali che sono utili per discriminare i tipi di camminate.
3.5 Anomalie individuate dall’algoritmo
Il funzionamento dell’algoritmo di individuazione della camminata che utilizza il segnale del giroscopio è basato sull’individuazione di zeri opportunamente validati dalla precedente presenza di picchi positivi o negativi. Questa tecnica permette di ottenere ottimi risultati in termini di
detection rate ma allo stesso tempo rileva alcuni passi falsi. Gli esperimenti
con i quindici utenti sono stati effettuati camminando avanti e indietro in un corridoio. Quando l’utente arriva in fondo al corridoio e nel frattempo che sta fermo, possono essere registrati dal giroscopio dei picchi positivi e negativi (e di conseguenza degli zeri) a causa di movimenti imprevedibili del braccio. In alcuni casi i valori dei picchi superano i valori delle soglie oltre il quale il successivo zero viene considerato valido e quindi vengono rilevati dall’algoritmo dei movimenti casuali del braccio come dei veri passi.
Per questo motivo è stata utilizzata una tecnica di anomaly detection per filtrare i passi falsi identificati dall’algoritmo e quindi per aumentare la
Figura 3.4 Rumorosità del segnale del giroscopio sull’asse Z nell’intervallo compreso tra due cicli di camminate
Figura 3.5 Picco positivo e successivo zero della velocità angolare corrispondente ad un falso positivo
In figura 3.4 è mostrato il segnale del giroscopio sull’asse Z relativo ad un intervallo che comprende una camminata effettuata a velocità normale, la sosta alla fine del corridoio e la successiva camminata effettuata con una velocità più sostenuta.
In figura 3.5 è mostrato il dettaglio dell’andamento della velocità angolare nell’intervallo centrale relativo alla pausa tra la camminata in un verso del corridoio e la successiva. In questo intervallo l’algoritmo identifica un picco positivo pari circa a 60 deg/s e successivamente trova uno zero. Questo zero è quindi considerato come un passo anche se in realtà è relativo ad una rotazione del polso che è stata effettuata nel frattempo che l’utente è fermo. Si può osservare però che il segnale in questo intervallo ha un andamento che si discosta evidentemente da quello assunto durante le vere camminate. Le feature che differenziano l’andamento del segnale tra gli intervalli relativi alle vere camminate e quelli in cui l’utente è fermo sono state estratte da una tecnica di machine learning che verrà descritta nel capitolo successivo.
4 Individuazione delle anomalie
In questo capitolo viene descritta la tecnica di individuazione delle anomalie [15] che è stata implementata con l’obiettivo di aumentare la specificità dell’algoritmo di individuazione dei passi. Inizialmente viene descritto il processo di estrazione delle feature (la cosiddetta “feature extraction”) necessario per ottenere le caratteristiche dei segnali dell’accelerometro e del giroscopio utili per la classificazione finale dei passi veri e dei passi falsi. Nella parte finale invece viene descritto il processo di classificazione dei passi dell’utente il quale utilizza l’algoritmo nearest-neighbour.
4.1 Estrazione delle feature
Il processo di estrazione delle feature viene effettuato per ogni singolo passo. Essendo l’algoritmo di individuazione della camminata in grado di individuare ogni passo dal segnale del giroscopio, le feature estratte sono relative ad ogni singolo passo, ovvero ai campioni di accelerazione e velocità angolare compresi tra lo zero che identifica l’heel strike e lo zero che identifica il toe off.
La lista delle feature utilizzate in questo studio sono rappresentate in tabella 4.1. Ognuna di queste feature, a parte la durata del passo, è stata calcolata per ognuno dei tre assi (x, y, z) e per la norma dei campioni dell’accelerazione e della velocità angolare.
Media deviazione standard curtosi
scarto interquantile (IQR) massimo minimo
mediana indice di asimmetria (skewness)
deviazione media assoluta (MAD)
scarto quadratico medio (RMS)
differenza massimo-minimo (P2P)
variazione assoluta media (AAV)
durata passo
Tabella 4.1 Lista delle feature
La lista è composta da feature statistiche comuni come media, mediana e deviazione standard. Sono inoltre presenti altre feature, come ad esempio la variazione assoluta media (Average Absolute Variation) la quale è utile in sistemi di analisi della camminata [16], che è calcolata nel seguente modo:
𝐴𝐴𝑉 = ∑ |𝑥()* − 𝑥(|
,-* (.*
𝑁
In totale quindi si ottengono 97 feature, 48 per sensore più la durata del passo.
Di seguito ci si riferirà alla lista delle feature di ogni passo con il termine
istanza di passo.
4.2 Tecnica di individuazione delle anomalie
L’approccio utilizzato per filtrare i passi falsi è basato sull’individuazione delle anomalie con una tecnica semi-supervised, dove il training set contiene solamente le istanze relative ai passi veri.
Ad ogni istanza di passo viene associato un Anomaly Score basato sulla distanza euclidea dal nearest-neighbour nel training set. L’Anomaly Score associato ad ogni istanza viene poi confrontato con una soglia 𝐴𝑆12 e da
come l’istanza del passo identificata dall’algoritmo, ed essendo 𝑛; l’istanza più vicina a 𝑔 nel training set, si può definire
𝑑𝑖𝑠𝑡@(A(𝑔) = 𝑑𝑖𝑠𝑡(𝑔, 𝑛;)
Vengono calcolate la media e la deviazione standard delle distanze di ogni istanza di passo nel training set e il relativo nearest-neighbour:
𝜇E = 1 𝑀H 𝑑𝑖𝑠𝑡@(A(𝑥() 7 (.* 𝜎E = J1 𝑀H(𝑑𝑖𝑠𝑡@(A(𝑥() − 𝜇E)K 7 (.*
Questi valori vengono poi utilizzati per normalizzare la distanza dell’istanza
di passo da classificare secondo la seguente formula
𝐴𝑆; =𝑑𝑖𝑠𝑡@(A(𝑔) − 𝜇E 𝜎E
Il risultato di questa normalizzazione corrisponde all’Anomaly Score (AS) relativo all’istanza di passo 𝑔.
4.3 Valutazione della tecnica di individuazione delle
anomalie
Per ogni utente le vere istanze di passo formano il training set, mentre le istanze relative ai passi falsi corrispondenti ai movimenti casuali del braccio effettuate nell’ultima parte dell’esperimento e ai passi falsi presenti negli istanti in cui l’utente è fermo tra una camminata e l’altra, vengono utilizzate come anomalie.
Di seguito si farà riferimento alle anomalie come istanze positive. Di conseguenza un positivo corrisponde ad un’istanza di passo che viene identificata come vera, ma che dovrebbe essere invece identificata e scartata. La tecnica di individuazione delle anomalie viene valutata in base ai seguenti parametri:
- Ogni istanza di passo relativa ad un passo vero viene utilizzata per stimare il valore di FPR (False Positive Rate) usando le istanze rimanenti relative ai passi veri come training set (approccio
leave-one-instance-out)
- La stima del valore di TPR (True Positive Rate) viene effettuata nello stesso modo ma utilizzando ogni istanza di passo relativa ad un passo falso
Quindi, il TPR rappresenta la percentuale di passi falsi che sono correttamente classificati come falsi, mentre il FPR rappresenta la percentuale di passi veri che sono erroneamente classificati come falsi. Avere un elevato TPR corrisponde ad avere un’elevata specificità, mentre avere un basso FPR corrisponde ad avere un elevato detection rate e quindi un’elevata sensitività.
È utile interpretare le performance del classificatore utilizzando la curva ROC (Receiver Operating Characteristic) [17], nella quale viene mostrata
ROC rispettivamente a FPR e a TPR, la classificazione è perfetta quando i punti (0,0), (0,1) e (1,1) appartengono alla curva. In questo caso il valore di AUC è pari a 1. Il valore di EER indica il punto in cui i valori di FPR e TPR sono uguali.
Capitolo 5
5 Risultati e conclusioni
In questo capitolo vengono mostrati i risultati ottenuti dall’algoritmo di riconoscimento della camminata che utilizza il segnale del giroscopio relativo ad un dispositivo indossato al polso. Nella prima parte vengono mostrati i risultati ottenuti in termini di detection rate dei passi veri. Nella seconda parte vengono descritti i risultati relativi alla tecnica di individuazione delle anomalie, il quale ha lo scopo di filtrare i passi falsi e aumentare quindi la specificità dell’algoritmo.
5.1 Valutazione della tecnica di individuazione della
camminata
Questa prima parte mostra il fatto che l’algoritmo che utilizza il segnale dell’accelerometro e del giroscopio relativo al sensore indossato al polso produce risultati migliori in termini di detection rate rispetto all’algoritmo di Cola basato sull’analisi del singolo segnale dell’accelerometro del sensore indossato in tasca.
Come è già stato spiegato nel capitolo 3, l’algoritmo implementato ricerca gli zeri della velocità angolare per individuare gli istanti relativi a heel strike e a toe off, i quali sono gli istanti in cui viene incrementato il conteggio dei passi effettuati dall’utente. L’analisi della velocità angolare viene effettuata soltanto nelle camminate normali e veloci. Nelle camminate effettuate con la mano in tasca invece viene analizzato il segnale dell’accelerometro in
Nella tabella 5.1 viene mostrato il detection rate ottenuto utilizzando l’algoritmo proposto in questa tesi e l’algoritmo modificato di Cola.
Detection rate UserID Algoritmo utilizzato Algoritmo di Cola modificato Delta u_01 98% 91.7% 6.3% u_02 100% 98.4% 1.6% u_03 100% 99.7% 0.3% u_04 100% 98.7% 1.3% u_05 100% 96.4% 3.6% u_06 100% 98.3% 1.7% u_07 100% 99.4% 0.6% u_08 100% 94% 6% u_09 100% 93.3% 6.7% u_10 98.4% 92.1% 6.3% u_11 100% 96.6% 3.4% u_12 100% 97% 3% u_13 100% 92.6% 7.4% u_14 100% 93.5% 6.5% u_15 100% 91% 9% Average 99.9% 94% 6%
Tabella 5.1 Confronto delle tecniche di individuazione della camminata, in termini di detection rate
Il confronto mostra che l’algoritmo proposto migliora l’accuratezza con cui vengono identificati i passi della camminata. L’algoritmo proposto in questa tesi raggiunge un detection rate pari al 99.9% contro il 94% ottenuto con l’algoritmo di Cola modificato. In particolare l’algoritmo di Cola nel peggior caso individua circa il 91% dei passi, mentre l’algoritmo proposto nel peggior caso individua circa il 98% dei passi.
La scelta di utilizzare il segnale dell’accelerazione per le camminate normali e veloci e il segnale del giroscopio per le camminate effettuate con la mano in tasca è dettata dai risultati ottenuti analizzando solo l’accelerazione e solo il giroscopio per i diversi tipi di camminata. Nella tabella 5.2 è mostrato il
u_01 97% 99.7% 96.7% 99.5% 99% 99% u_02 96.5% 99.6% 96.9% 99.7% 100% 99% u_03 100% 99.7% 96.8% 99.5% 98.2% 98% u_04 98.2% 99.6% 100% 99.1% 97.3% 97.5% u_05 100% 99.6% 99.1% 99.3% 98.3% 98% u_06 98% 99.6% 98,8% 99.4% 100% 99.4% u_07 98.3% 99.6% 98.9% 99.6% 100% 99% u_08 98.2% 99.6% 98% 98.9% 94.6% 95% u_09 97.3% 99.5% 98.9% 99.4% 98.3% 98.5% u_10 95.4% 99.8% 96.7% 99.4% 92.2% 91.4% u_11 96.3% 99.5% 98.4% 99.3% 100% 99.3% u_12 81.5% 99.6% 98.1% 99.2% 98.2% 97.7% u_13 20% 99.6% 88% 99.6% 98.2% 97.9% u_14 97% 99.5% 96.7% 99.6% 97.9% 98% u_15 95.4% 99.6% 91.1% 99.3% 98% 98% Average 91.3% 99.6% 96.9% 99.4% 98% 97,7%
Tabella 5.2 Detection rate utilizzando i due segnali per ogni tipo di camminata
Dai risultati qui sopra si può osservare che il valor medio del detection rate ottenuto utilizzando il giroscopio è migliore di quello ottenuto utilizzando l’accelerometro nei casi di camminata normale e veloce, mentre è pressoché uguale nel caso di camminata con mano in tasca.
5.2 Valutazione della tecnica di individuazione delle
anomalie
Come già è stato descritto nel capitolo 4.3, le performance della tecnica di individuazione delle anomalie possono essere analizzate utilizzando la curva ROC. In particolare dalla curva ROC è possibile interpretare le performance in termini di sensitività e specificità ed è quindi possibile valutare il trade-off relativo alla scelta della soglia da utilizzare.
Figura 5.1 Curva ROC relativa alla tecnica di individuazione delle anomalie
In figura 5.1 è presente la curva ROC ottenuta in tre configurazioni differenti:
- Utilizzando solo le feature dell’accelerazione - Utilizzando solo le feature della velocità angolare - Utilizzando le feature di entrambi i segnali
Feature estratte
Configurazione Accelerometro Giroscopio Solo
accelerazione
mediaZ, stDevY, stDevZ,
curtosiY, maxY, minY,
medianaY, MADX, RMSY,
RMSZ, P2PX, AAVZ
Solo giroscopio
mediaY, stDevX, curtosiX,
curtosiZ, curtosiM, maxX,
maxY, minX, minY, minM,
medianaZ, MADX, RMSX,
RMSM, P2PX, P2PY, P2PZ,
AAVY
Entrambi i segnali
mediaZ, stDevZ, maxY, minY,
medianaY, MADX, RMSY,
RMSZ, P2PX, AAVZ
curtosiX, curtosiM, maxX,
minX, minY,
Tabella 5.3 Feature selezionate nelle tre configurazioni
Le perfomance possono essere descritte analizzando la tabella 5.3 in cui sono mostrati i valori di EER e AUC per ogni configurazione.
Configurazione
Solo accelerazione Solo giroscopio Entrambi i segnali
AUC 99.95% 94.08% 99.95%
EER 0.64% 12.68% 0.73%
Tabella 5.4 EER e AUC per ogni configurazione
Come si può vedere dai risultati, il giroscopio non dà un contributo significativo per effettuare la classificazione di passi veri e passi falsi. Vengono utilizzate quindi solo le feature dell’accelerazione. Una motivazione riguardo il fatto che le caratteristiche del segnale accelerometrico abbiano un impatto maggiore rispetto a quelle del segnale del giroscopio, è il fatto che dal segnale dell’accelerazione è possibile individuare la posizione del braccio rispetto all’utente durante la camminata. Utilizzando il segnale del giroscopio invece è possibile individuare le rotazioni del braccio che, per la tecnica di anomaly detection, sembrano essere poco significative.
Analizzando i risultati relativi alla configurazione in cui vengono utilizzate le feature estratte dell’accelerazione, l’AUC è pari a 99.95%, mentre il valore di EER è pari a 0.64%. Questi valori sono stati ottenuti utilizzando un
Anomaly Threshold pari a 4.65.
La configurazione che utilizza soltanto le feature del giroscopio invece fornisce delle performance peggiori. Questo vuol dire che le caratteristiche del segnale del giroscopio non hanno proprietà, o un set di proprietà, utili per differenziare con un’elevata affidabilità un passo vero da un passo falso. Il contributo non significativo del giroscopio è confermato anche dai risultati ottenuti nella configurazione in cui vengono utilizzate le feature di entrambi i segnali, in cui non vi è alcun miglioramento.
accelerometrico, avevano mostrato che un sensore al polso fornisce risultati meno accurati rispetto a quelli ottenuti con tecniche basate su dispositivi posizionati in una tasca. Partendo da questo presupposto, questo studio ha valutato il possibile contributo del segnale del giroscopio, ossia la velocità angolare, allo scopo di individuare il ciclo di camminata in modo più accurato con un dispositivo indossato al polso.
L’obiettivo iniziale è stato quello di progettare e implementare un algoritmo che utilizza il segnale del giroscopio per aumentare il detection rate, ossia la capacità di rilevare i passi effettivamente compiuti dall’utente. Per valutare la tecnica proposta abbiamo utilizzato le tracce di camminate di 15 utenti, i quali avevano effettuato tre camminate con caratteristiche diverse: normale, veloce e con la mano in tasca. Abbiamo messo a confronto la tecnica proposta, basata sul giroscopio, con una tecnica della letteratura basata sull’accelerometro. I risultati mostrano che il giroscopio migliora nettamente il detection rate, soprattutto quando la camminata non è particolarmente veloce (miglioramento di circa 8 punti percentuali nella camminata a velocità normale).
Successivamente è stato affrontato il problema relativo all’individuazione erronea di passi (“passi falsi”). Questo problema è stato affrontato utilizzando una tecnica di anomaly detection, per apprendere il pattern tipico di camminata dell’utente e scartare così i passi falsi. In questo caso è stato dimostrato che le feature del segnale accelerometrico sono sufficienti per ottenere la quasi totale eliminazione dei falsi riconoscimenti.
Un possibile sviluppo futuro dello studio proposto in questa tesi potrebbe essere quello di valutare un utilizzo dinamico di accelerometro e giroscopio,
allo scopo di ridurre i consumi energetici. Ad esempio si potrebbe studiare un algoritmo che attiva il giroscopio, che ha un maggiore impatto sul consumo energetico, in base al tipo di camminata. In alcuni tipi di camminata, infatti, non è presente il movimento oscillatorio del braccio, ed il contributo del giroscopio in aggiunta all’accelerometro è trascurabile in termini di detection rate.
Bibliografia
[1] R. Baker, A. Esquenazi, M. G. Benedetti e K. Deeslovere, «Gait analysis: clinical facts,» European journal of physical and
rehabilitation medicine, 2016.
[2] D. L. Waters, L. Hale, A. M. Grant, P. Herbison e A. Goulding, «Osteoporosis and gait and balance disturbances in older sarcopenic obese new zealanders,» Osteoporosis International, p. 21(2):351–357, 2010.
[3] E. Arana-Arri, I. Gutiérrez-Ibarluzea, A. E. Mugaguren e J. A. Batarrita, «Prevalence of certain osteoporosis-determining habits among post menopausal women in the basque country,» Revista
Española de Salud Pública, p. 81(6):647–656, 2007.
[4] H. Vathsangam, A. Emken, E. T. Schroeder, D. Spruijt-Metz e G. S. Sukhatme, «Determining Energy Expenditure From Treadmill
Walking Using Hip-Worn Inertial Sensors: An Experimental Study,»
IEEE Transactions on Biomedical Engineering, 2011.
[5] E. M. Tapia, S. S. Intille, W. Haskell, K. Larson, J. Wright, A. King e R. Friedman, «Real-time recognition of physical activities and their intensities using wireless accelerometers and a heart rate monitor,»
2007 11th IEEE International Symposium on Wearable Computers,
[6] T. Öberg, A. Karsznia e K. Öberg, «Basic gait parameters: reference data for normal subjects, 10-79 years of age,» Journal of
rehabilitation research and development, 1993.
[7] M. L. Fruin e J. W. Rankin, «Validity of a multi-sensor armband in estimating rest and exercise energy expenditure,» Medicine and
science in sports and exercise, p. 36(6):1063–1069, 2004.
[8] Y. Wahab e N. A. Bakar, «Gait analysis measurement for sport application based on ultrasonic system,» Consumer Electronics
(ISCE), 2011 IEEE 15th International Symposium on, p. 20–24, 2011.
[9] A. Mannini, S. S. Intille, M. Rosenberger, A. M. Sabatini e W.
Haskell, «Activity recognition using a single accelerometer placed at the wrist or ankle,» Medicine and science in sports and exercise, p. 45(11):2193, 2013.
[10] «Shimmer. http://www.shimmersensing.com,» 2016.
[11] G. Cola, M. Avvenuti e A. Vecchio, «Improving the performance of fall detection systems through walk recognition,» Journal of Ambient
Intelligence and Humanized Computing, p. 5(6):843–855, 2014.
[12] A. Kharb, V. Saini, Y. K. Jain e S. Dhiman, «A review of gait cycle and its parameters,» International Journal of Computational
Engineering & Management, 2011.
[13] B. Lo, S. Thiemjarus, A. Panousopoulou e G. Z. Yang, «Bioinspired design for body sensor networks [life sciences].,» IEEE Signal
Processing Magazine, p. 30(1):165–170, 2013.
[14] G. Cola, M. Avvenuti, F. Musso e A. Vecchio, «Personalized gait detection using a wrist-worn accelerometer,» 2017.
[15] V. Chandola, A. Banerjee e V. Kumar, «Anomaly detection: A survey.,» ACM computing surveys (CSUR), p. 41(3):15, 2009.
letters, p. 27(8):861–874, 2006.
[18] M. A. Hall e G. Holmes, «Benchmarking attribute selection techniques for discrete class data mining,» IEEE transactions on
Ringraziamenti
Ringrazio il Prof. Marco Avvenuti e l’Ing. Guglielmo Cola per il supporto fornito nella realizzazione della tesi. Un particolare ringraziamento va a quest’ultimo che ha seguito lo sviluppo della tesi dall’inizio alla fine e che, con numerosi incontri e chiamate al telefono, mi ha sempre consigliato i percorsi migliori da intraprendere per portare a termine la tesi.
Ringrazio la mia famiglia per avermi supportato per tutto il percorso e per avermi guidato e permesso di arrivare a questo importante traguardo della mia vita.
Un altro importante ringraziamento va ad Hastega, l’azienda in cui lavoro da più di quattro anni, che mi ha permesso di crescere professionalmente in parallelo allo svolgimento del percorso universitario.
Infine, il grazie più grande va ad Andrea con il quale ho condiviso l’intero percorso, dal primo giorno fino ad oggi. Le giornate, e soprattutto le serate di studio, passate insieme a studiare dal primo all’ultimo esame hanno contribuito ad arrivare ad oggi, il giorno in cui questo lungo percorso è arrivato alla conclusione.
