INTERFACCE UOMO-MACCHINA BASATE SU SEGNALI BIOLOGICI

CAPITOLO II

INTERFACCE UOMO-MACCHINA BASATE SU SEGNALI

BIOLOGICI

2.1 INTRODUZIONE.

Un’interfaccia uomo-macchina (MMI, dall'inglese Man-Machine Interface), o anche umano-macchina (HMI, da Human-Machine Interface), è, letteralmente, il punto d’incontro tra uomo e macchina, come dire quell’area della macchina e quell’area dell’uomo che interagiscono nell’esecuzione di uno specifico compito (task). Il termine è largamente utilizzato nell’ambito della computer science, cioè lo studio dei fondamenti teorici dell’informazione e della computazione e la loro implementazione ed applicazione ai sistemi computerizzati. L’interazione può includere il tatto, la vista, l’udito, il trasferimento di calore o qualsiasi altra funzione fisiologica e cognitiva. Il comune personal computer, da questo punto di vista, ingloba quattro diverse interfacce uomo-macchina: la tastiera ed il mouse (tatto), il monitor (vista) e le casse (udito). Ogni volta che lavora con un qualsiasi sistema, l’utente deve essere in grado di controllarlo e di valutarne lo stato, così, per un’automobile, l’interfaccia è rappresentata da tutti quegli strumenti che il guidatore ha a disposizione per assolvere il compito di guidare e mantenere l’assetto dell’automobile stessa. La progettazione di una MMI deve tener conto della capacità dell’utente di fornire gli input necessari all’interfaccia e di interpretare gli output del sistema, oltre che del grado di difficoltà nell’apprendere come farlo. In questo senso, l’usabilità è il parametro che esprime la qualità dell’interfaccia uomo-macchina, ovvero quanto essa tiene in conto la psicologia e la fisiologia dell’utente e quanto rende il processo di utilizzo del sistema efficace, efficiente e soddisfacente[5]. Il tipico flusso di un’interfaccia uomo-macchina è riportato schematicamente in Fig 1. L’interesse di ricercatori e professionisti in campi come la robotica, ha dato notevole enfasi alla necessità di “umanizzare” l’interazione con la macchina e quindi di sviluppare interfacce sempre più intuitive. A tal scopo, sia l’hardware sia il software devono poter svincolare l’utilizzatore da restrizioni di carattere tecnico, permettendogli, così, di comportarsi in modo naturale nelle sue consuete modalità di espressione, ad esempio il gesto, la voce. Le già citate fonti di comunicazione con un personal computer sono tutte basate sui sensi, ma il corpo umano è molto più attivo e reattivo, essendo composto da cellule e tessuti che cambiano il proprio comportamento una volta stimolati. Questa ricchezza che la natura ci ha dato giustifica l’attenzione che è rivolta in maniera sempre crescente ai segnali biologici, per aumentare le nostre capacità interattive e comunicative[6]. Segnali elettrici provenienti da varie parti del nostro corpo possono essere usati come segnali di comando per il controllo di sistemi meccanici, il soggetto genera intenzionalmente tali segnali e il compito della MMI è di “capire” e processare i segnali stessi eseguendo il comando che più si avvicina all’intenzione dell’individuo. Diversi segnali biologici rispondono a queste esigenze, i più comuni sono quelli elettromiografici (EMG), elettrooculografici (EOC) ed elettroencefalografici (EEG). L’elettrooculografia è una tecnica che misura il potenziale a riposo della retina ed è impiegata nella diagnostica oftalmologica e nella registrazione dei movimenti dell’occhio. L’elettroencefalografia misura invece l’attività elettrica del cervello rivelata da elettrodi posizionati sullo scalpo. Il segnale elettroencefalografico è attualmente il più usato e la Brain-Computer Interface (BCI) è quell’interfaccia uomo-macchina che, senza far uso dei normali canali di comunicazione del sistema nervoso centrale, quali i nervi periferici e i muscoli, è in grado di stabilire una modalità di comunicazione diretta tra il cervello e il mondo esterno (Fig. 2). Le attività fisiologiche di diverse aree cerebrali possono essere messe in correlazione con le intenzioni del soggetto, o modulate dall’interazione dello stesso con l’ambiente circostante[7].

Figura 1.Flusso di un’interfaccia uomo-macchina.

Figura 2. Struttura tipica di un sistema BCI.

Tra le limitazioni legate all’uso di segnali elettroencefalografici v’è che essi sono il complesso delle attività di numerosi neuroni corticali ed hanno una bassa risoluzione spaziale e un basso rapporto segnale-rumore (SNR). Per rivelare le attività di singoli neuroni corticali si dovrebbe, d’altro canto, ricorrere a metodi invasivi[8]. Inoltre, le tecniche d’interfaccia basate sull’attività cerebrale richiedono un addestramento intensivo[9]. Ciò nonostante, la ricerca in quest’area offre buone prospettive come aiuto a quelle persone che presentano gravi disfunzioni motorie. È, infatti, dimostrato che individui che abbiano perso la capacità di parlare e muovere gli arti conservino, in ogni modo, intatta la propria capacità cognitiva e questo avviene, ad esempio, per pazienti affetti da patologie quali la Sclerosi Laterale Amiotrofica, traumi al cervello, paralisi cerebrale, danni alla colonna vertebrale, distrofia muscolare. Una valida alternativa ai segnali elettroencefalografici sono quelli elettromiografici (EMG), che possono essere misurati in modo più sicuro e conveniente, sono sempre una tecnica non invasiva, ma con SNR più grande e quindi migliore del caso degli EEG e, in più, l’implementazione di interfacce uomo-macchina è più funzionale alla tecnologia corrente. Proprio nell’intenzione di mostrare uno spaccato dello stato dell’arte circa l’impiego dei segnali EMG nella progettazione di interfacce uomo-macchina, sono descritti, di seguito, alcuni studi avanzati nei campi dell’interpretazione di gesti del braccio[10], del controllo elettrico di protesi per arti superiori[11], dell’interazione assistita con un personal computer[12].

2.2 SISTEMA DI ELABORAZIONE DEL SEGNALE PER L’INTERPRETAZIONE DI GESTI DEL BRACCIO BASATO SULL’ELETTROMIORAFIA.

Il lavoro è stato condotto da Osamah A. Alsayegh, presso il Dipartimento di Sistemi e Controllo della divisione ingegneristica del Kuwait Institute for Scientific Research e inserito nei Proceedings della Conferenza Internazionale dell’IEEE su Multimedia ed Expo del 2000. Esso si è prefisso di superare i limiti che affliggono le più intuitive o naturali interfacce esistenti, come l’ingombro, la non robustezza in presenza di rumore, l’impossibilità, in taluni, casi di stimare la forza, la pressione o lo sforzo che è prodotto dalla mano o dal braccio dell’utilizzatore, che sono molto importanti nell’interazione con le macchine. Con risposta a ciò, viene sviluppato un sistema di elaborazione del segnale volto a discriminare gesti del braccio. Per assicurare un comportamento dell’utente libero da vincoli, l’investigazione elettromiogafica è stata limitata a tre muscoli del braccio, il deltoide anteriore (AD), il deltoide mediale (MD) ed il bicipite brachiale (BB). I segnali ottenuti sono stati sottoposti ad elaborazione per estrarre dei parametri legati alle attività muscolari nel tempo. A partire da questi parametri in funzione del tempo, sono stati costruiti dei tracciati unici per ogni gesto esaminato. E’ stato, infine, eseguito un test sperimentale sulla capacità del sistema di riconoscere 12 diversi gesti del braccio, con il risultato che è stata conseguita una percentuale di successo pari al 96%.

2.2.1 Preparazione sperimentale.

Per raccogliere i campioni di dati EMG, sono stati reclutati tre soggetti maschi sani, senza storie di malattie neuro muscolari alle spalle. I dati sono stati acquisiti in un periodo di quattro settimane. Sono state eseguite 50 prove per ogni gesto, per un totale di 600 prove per i 12 gesti indagati. L’attività delle articolazioni della spalla e del gomito è stata registrata ricorrendo ad elettrodi cutanei bipolari. Il sistema di acquisizione e registrazione adoperato è stato il Biopac MP30 (Fig. 3), specificatamente progettato per lavorare con segnali fisiologici. Tale sistema è stato programmato per realizzare in tempo reale il seguente set di elaborazioni sul segnale EMG:

a. Campionamento ad una frequenza di 500 campioni/s (500 Hz). b. Filtraggio passa-alto digitale a frequenza di taglio fc = 30 Hz.

c. Filtraggio passa-basso con fc = 250 Hz.

d. Filtraggio elimina-banda a fo = 60 Hz.

L’amplificazione di rete è stata fissata a 2500. L’esperimento è consistito nell’esecuzione libera di figure nell’aria con il braccio. I 12 diversi gesti sono descritti in Fig. 4. La posizione articolare iniziale del braccio vede la parte superiore parallela al corpo e l’avambraccio a formare un angolo di 90° con questa. Nell’ esecuzione della figura “∪”, ad esempio, avambraccio e braccio sono entrambi paralleli al corpo a formare un angolo di 0° tra loro(Fig. 4j).

Figura 4.I 12 gesti del braccio indagati.

2.2.2 Elaborazione del segnale EMG.

L’elaborazione dei segnali EMG è basata sul concetto che ad ogni particolare gesto del braccio corrisponde un’unica coordinazione temporale delle attività fra i muscoli[13]. Gli istanti di attivazione e disattivazione e la durata temporale delle attività muscolari per diversi movimenti hanno diversi valori. Il processo di elaborazione è stato esplicato in tre fasi:

I. Per analizzare la coordinazione delle attività muscolari è desiderabile lavorare con dei segnali lenti che seguono la salita e la discesa dei pattern di attivazione muscolare. A questo scopo è stato fatto riferimento agli inviluppi dei segnali EMG. La Fig. 5 illustra come un segnale inviluppo sia stato estratto dal segnale EMG originario, preventivamente rettificato, normalizzato rispetto al corrispondente valore massimo di attività e, quindi, filtrato passa-basso.

II. Dall’inviluppo dei segnali sono stati ricavati dei punti di controllo e i loro corrispondenti istanti di tempo. Tali punti sono rappresentati dai massimi e minimi del segnale inviluppo. La Fig. 6, ad esempio, mostra i punti di controllo, con i corrispondenti istanti di tempo, dei tipici segnali inviluppo che riflettono le attività dei tre muscoli esaminati durante l’esecuzione della figura “zig-zag” (Fig. 4h).

III. Si effettua la costruzione del tracciato temporale utilizzando gli istanti di tempo ricavati nella seconda fase. Con riferimento alla Fig. 6, dove i punti di controllo si trovano agli istanti , t₀,t₁,...,t₅, si definiscono i parametri ϑ₁,ϑ₂e ϑ₃ ad ogni intervallo di tempo (ossia [t₀,t₁], [t₁,t₂], ecc.) come segue:

∫

= 1 j i t t MDmuscle dt EMG | | ϑ ,

∫

= j i t t ADmuscle dt EMG | | 2 ϑ , 1 , | | 3 =

∫

EMG dt j=i+ j i t t BBmuscle ϑ

dove EMG_MDmuscle , EMG_ADmuscle , EMG_BBmuscle rappresentano i segnali EMG rettificati e normalizzati rispettivamente dei muscoli deltoide mediale, deltoide anteriore e bicipite brachiale.

Figura 5.Processo di elaborazione del segnale EMG per ottenerne l'inviluppo.

Figura 6.Inviluppi dei segnali EMG dall’attività dei muscoli AD, MD e BB durante l'esecuzione del gesto "zig-zag".

I parametri calcolati in ogni intervallo di tempo sono graficati nello spazio delle caratteristiche, dando forma, in questo modo, al tracciato temporale per il rispettivo gesto. La Fig. 7 mostra i tracciati temporali di alcuni dei gesti esaminati che sono stati eseguiti dai tre soggetti dell’esperimento. I parametri estratti (ϑ₁,ϑ₂e ϑ₃) sono stati “fittati” in figure ellissoidali. In corrispondenza di un aumento della varianza dei parametri, l’ellissoide s’ingrandisce. In figura è visibile come ogni gesto abbia un unico tracciato temporale.

Figura 7. (a) Tre tracciati relativi a gesti di puntamento: verso destra, verso l'alto e verso sinistra. (b) Due tracciati realitvi ai gesti "zig-zag" e “∩”. Le traiettorie dei tracciati, dall’inizio alla fine, sono indicate con dei numeri.

La procedura di classificazione è stata portata avanti con la costruzione di vettori consecutivi delle caratteristiche per ogni gesto. Tali vettori descrivono il tracciato temporale del gesto. Si tratta di un tipo di classificazione contesto-dipendente, che è stato realizzato, in questo studio, all’interno della struttura del teorema di Bayes. Data Φ : , sequenza di N osservazioni (vettori delle caratteristiche), dove = [ ]T _{corrisponde al ksimo vettore dei parametri e (i = 1, 2,…,} M) sono le classi in cui questi vettori devono essere classificati. C_i: è una delle sequenze di queste classi che corrispondono alla sequenza di osservazione. La classificazione è effettuata nel modo seguente: a quella sequenza di classi C_i a cui una sequenza di osservazioni

N φ φ φ1, 2,..., k φ k k k 3 2 1ϑ ϑ ϑ ci iN i i c c c₁, ₂,..., Φ corrisponde. Ciò equivale ad includere nella classe , nella classe e così via. Dall’osservazione di una specifica la regola di Bayes la assegna alla sequenza di classi C_iper cui: 1 φ ci1 2 φ c_i2 Φ

(

Ci|Φ

)

> p

(

Cj|Φ

)

p , ∀i≠ j, che equivale a

(

Ci

) ( )

p Ci p

(

Cj

) ( )

pCj p Φ| > Φ| , ∀i≠ j.

Assumendo che tutte le classi siano indipendenti ed abbiano funzioni densità di probabilità gaussiane, la p

(

Φ|C_i

)

è calcolata come segue:

(

)

_∏

(

)

= = Φ N k ik k i p c C p 1 | | φ ,

dove la funzione densità di probabilità

(

ik

)

k _c pφ | è espressa come

(

)

( )

(

) (

)

_⎥ ⎦ ⎤ ⎢ ⎣ ⎡ _{− Σ −} ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ − Σ = _π − − _{φ µ} − _{φ µ} φ k k ik k _c f ₂1 1 2 3 2 1 exp 2 | ,

Si assume, inoltre, che tutti i gesti siano equiprobabili, ossia p

( )

C_i = 1/12. La tabella di Fig. 8 quantifica il successo riportato nella classificazione dei 12 gesti. Complessivamente, esso è pari al 96%. Dall’esperimento è emerso che i movimenti di tipo articolato (Fig. 4g-l) hanno un grado di successo più alto nella classificazione rispetto ai semplici movimenti di puntamento (Fig. 4a-f). Ciò è da mettere in relazione con la coordinazione più definita delle attività muscolari. I dati EMG consentono di esprimere queste attività molto distintamente proprio nei movimenti articolati.

Figura 8. Risultati del test sperimentale di riconoscimento di 12 gesti.

2.3 SVILUPPO DI UN SISTEMA PROTESICO EMG MULTI-DOF UTILIZZANDO IL

”MECCANISMO ARTICOLARE ADATTIVO”.

Gli autori, A. H. Arieta, R. Katoh, H. Yokoi e Y. Wenwei, del Laboratorio di Ingegneria di Precisione dell’Università di Tokyo e del Laboratorio di Biostrumentazione e Biomeccanismi dell’Università di Chiba, Bunkyo Ku, Hongo, hanno condotto questo studio che descrive un sistema protesico alimentato elettricamente, controllato da segnali elettromiografici rivelati sulla superficie della pelle del corpo umano. Lo studio si articola in due parti principali di cui una è la progettazione del meccanismo articolare, basata su un’architettura “orientata al tendine”. Questo meccanismo include convertitori meccanici di coppia-velocità e un meccanismo che aiuta la torsione articolare prossimale tramite attuatori distali. L’altra parte è il riconoscimento del segnale EMG. È stato proposto un controllore basato su un semplice processo di riconoscimento del pattern. Il sistema guida anche 12 servomotori per muovere il meccanismo articolare adattivo. L’efficacia del metodo presentato è supportata da risultati sperimentali.

2.3.1 Introduzione

Lo studio s’inquadra nello sviluppo della robotica come utile tecnologia d’impiego anche nel campo medicale. Ne sono un esempio i dispositivi alimentati elettricamente, di supporto nelle attività della vita quotidiana, nell’assistenza funzionale, o anche nella sostituzione funzionale, come le protesi. Partendo dalla limitazione principale nell’uso pratico di tali dispositivi, il lavoro si prefigge di superare alcune difficoltà legate all’acquisizione del proposito dell’utilizzatore, tramite i suoi segnali biologici, per generare un segnale di controllo appropriato per il dispositivo. Particolare attenzione è stata rivolta, nel progetto meccanico, alla leggerezza, alle piccole dimensioni e alla potenza. Le protesi di mani alimentate elettricamente, dotate di molteplici gradi di libertà (DOF, da Degrees Of Freedom) sono in grado di imitare i movimenti della mano naturale con maggiore

funzionalità di quelle alimentate dal corpo[14][15][16], per questo motivo è stata sviluppata una mano robot con 12 DOF utilizzando una tecnologia “orientata al tendine” con la quale realizzare un meccanismo articolare adattivo. Un prospetto del sistema è visibile in Fig. 9.

Figura 9.La mano protesica EMG.

Poiché è intrinsecamente difficile controllare una macchina con molti gradi di libertà, oltre al fatto che i segnali EMG sono poco stabili e difficoltosi da classificare, è necessario avvalersi di una buona interfaccia di controllo. Il controllore applicato al sistema protesico EMG elaborato si basa sul metodo di apprendimento On-Line sviluppato da Nishikawa et al.[17] che esplica la funzione adattiva. Esso, in altre parole, rileva il modello di segnale EMG utile al movimento della mano o del corpo, che sarà usato come traduttore delle intenzioni dell’utente e come controllo del dispositivo meccanico (Fig. 10).

Figura 10. Diagramma del meccanismo di apprendimento On-Line.

2.3.2 La mano protesica.

Per realizzare il livello funzionale della mano naturale, la mano protesica ideale dovrebbe avere 24 gradi di libertà. Questo è impedito, nella realtà, da restrizioni fisiche come peso, dimensioni e potenza. Occorrono protesi di diverse dimensioni (per bambini e per adulti), dello stesso ordine del peso della mano naturale, con una ridotta pressione nella cavità di inserimento e basso carico applicato all’avambraccio che le sostiene. Le mani protesiche mioelettriche convenzionali sul mercato hanno solo 1 o 2 DOF e 2-4 funzioni (afferrare, aprire la mano e pronosupinare il polso). I

ricercatori sono riusciti ad affinare metodi che permettono di ottenere la velocità di chiusura e il momento torcente che, ad esempio, richiede la presa di un bicchiere d’acqua, ma a discapito del peso, delle dimensioni, rendendo il dispositivo in pratica non adatto all’utilizzo per le protesi. Secondo lo studio riportato, non è necessario perseguire un’alta velocità simultaneamente ad un’elevata potenza, problema che causa un accrescimento delle dimensioni delle protesi. Se il meccanismo della mano possiede un convertitore di coppia, che si adatterà al momento torcente richiesto in accordo al compito della mano, il meccanismo aumenterà la propria forza di presa e velocità d’esecuzione senza comportare un aumento del peso. La protesi sviluppata fa uso di attuatori posti sull’esterno della mano ed impiega cavi e manicotti di trasmissione, dato che la parte maggiore del carico risiede nel motore posto all’interno della mano. Ciò riduce il carico sulla restante parte dell’arto dell’amputato, spostando il punto di equilibrio lontano dalla mano e nell’avambraccio. Per aumentare la potenza della presa, il progetto include un meccanismo prossimale di ausilio all’articolazione, in cui gli attuatori distali forniscono anche forza all’articolazione prossimale. Questo accorgimento ha reso, però, il sistema complesso, affetto da ritardi temporali e non lineare. Sono stati anche implementati due controlli di feedback (il controllo Bang-Bang e il controllo canonico PID [18]) quando è data una traiettoria desiderata, ma le risposte non lineari e ritardate nel tempo hanno evidenziato in tali controlli un consistente overshoot e fenomeni oscillatori.

2.3.3 Il controllore principale della mano protesica.

I requisiti del controllore della mano protesica EMG sono riassunti in:

1. Possibilità di cambiare lo stato interno e i parametri di sistema del controllore.

2. Possibilità di migliorare le funzioni motorie della mano protesica basata su sensori EMG. 3. Possibilità da parte dell’amputato di osservare il feedback del modello EMG.

4. Capacità del meccanismo di apprendimento di lavorare anche in presenza di scarsa valutazione. 5. Capacità del meccanismo di apprendimento di lavorare in tempo reale.

Il controllore messo a punto consta di tre unità (Fig. 10): unità di analisi, unità di classificazione e unità di supervisione.

Unità di analisi

Questa unità estrae il vettore delle caratteristiche V dal segnale mioelettrico S. Il segnale originario è elaborato usando l’algoritmo FFT. Il vettore delle caratteristiche è ottenuto campionando lo spettro di frequenza risultante dalla FFT per ogni sensore. Sono stati adoperati otto campioni per ogni canale.

Unità di classificazione

E’ l’unità che classifica il movimento previsto dell’avambraccio dal vettore delle caratteristiche V dell’unità di analisi e produce anche il comando di controllo θ per il meccanismo della mano protesica. I parametri di sistema di questa unità sono noti attraverso una valutazione Ψ operata dall’unità di supervisione. Per ogni movimento, il classificatore riceve un pacchetto di 16 vettori, che sono aggiunti al database di vettori che è utilizzato per calcolare i pesi della rete neurale. I pesi sono calcolati servendosi di un algoritmo di propagazione all’indietro.

Unità di supervisione

L’unità produce la valutazione Ψ su un’istruzione dell’amputato θ_teache sui vettori delle caratteristiche ζ , e queste valutazioni sono spedite all’unità di classificazione. L’unità di analisi rivela il segnale EMG dal sensore sull’avambraccio dell’amputato, producendo i vettori delle caratteristiche per l’unità di classificazione. Questa riceve i vettori delle caratteristiche, generando i comandi di controllo per la mano protesica. Se il movimento della protesi non è uguale al movimento atteso dall’amputato, l’operatore può aggiungere un nuovo set di dati per l’addestramento dell’unità di supervisione. L’unità valuta e aggiorna l’unità di classificazione fino a che non si realizza il movimento atteso. L’unità di classificazione cambia i propri parametri di sistema per individuare la funzione di mappatura in grado di denotare la relazione dei vettori delle caratteristiche e del comando motorio atteso. Alla fine, questo controllore arriverà a produrre la migliore funzione di mappatura per le particolari caratteristiche dell’amputato, tra i segnali EMG e il comando del motore della mano protesica.

2.3.4 Risultati sperimentali

Sono stati eseguiti degli esperimenti preliminari in cui si sono classificati dapprima 10 movimenti dell’avambraccio utilizzando due canali di elettromiografia superficiale e il classificatore, quindi la classificazione di otto movimenti dell’avambraccio su cinque soggetti normali. Infine, è stato eseguito un esperimento di classificazione di 10 movimenti dell’avambraccio su tre soggetti normali che avevano fornito buone prestazioni negli esperimenti precedenti. Il segnale EMG acquisito è stato amplificato 10000 volte fino ad un voltaggio di circa ±10. Il segnale amplificato è stato, quindi, digitalizzato mediante una scheda d’acquisizione Analogico-Digitale con una risoluzione di 12 bit e una frequenza di campionamento di 1600 Hz. Il segnale digitalizzato è stato mandato al controllore. Si è fatto uso di elettrodi del tipo asciutto posizionati nelle vicinanze del gomito, nella zona di origine dei muscoli dell’avambraccio, dove possono essere acquisiti diversi movimenti. La stessa disposizione si presta ad essere usata anche su soggetti amputati con diversa lunghezza dell’avambraccio rimanente. La Fig. 11 mostra la posizione degli elettrodi superficiali; il canale 1 è sito dal lato del radio, il canale 2 dal lato dell’ulna, il canale 3 è usato per la rivelazione del movimento del pollice. Sul gomito è posizionato l’elettrodo di riferimento.

Figura 11.Posizione degli elettrodi EMG superficiali.

In Fig. 12 è illustrata la preparazione sperimentale. Il classificatore di segnali EMG è implementato via software su un personal computer. La tastiera è usata per mandare il segnale “didattico” θ_teach all’unità di supervisione. Il feedback visivo è fornito mediante un modello antropomorfico di mano generato graficamente al computer. Questo sistema è utilizzato per addestrare la mano protesica,

così come per fornire informazione sugli stati interni dallo stato dell’interfaccia grafica. Il soggetto può monitorare la prestazione della mano e mandare un segnale θ_teach per correggere il movimento quando ritiene che non avvenga in maniera soddisfacente. Per valutare l’efficienza del classificatore nel distinguere movimenti diversi, è stato eseguito un test di abilità. Il soggetto del test controlla la mano protesica in accordo alle istruzioni presentate sul monitor (Fig. 12). Al soggetto è chiesto di eseguire un movimento per 3 s. In questo tempo, si calcola l’errore di classificazione confrontando l’istruzione corrente con l’uscita del classificatore. Prima di cominciare col test motorio, si esegue una sessione di addestramento in cui il sistema è calibrato sul soggetto in esame. Quando questi è in grado di controllare la mano grafica, il test può avere inizio. Il sistema è in grado di classificare fino a 10 movimenti differenti dell’avambraccio, che includono 4 movimenti del polso e 6 della mano. Ad ogni movimento è associato un ID. In Fig. 13 sono riportati i movimenti in questione con i relativi ID.

Figura 12.La preparazione sperimentale.

2.3.5 Il meccanismo articolare adattivo.

La Fig. 14 mostra un diagramma schematico del meccanismo articolare adattivo sviluppato nel presente studio. Una molla collega una struttura con una guida filare che può traslare proporzionalmente al carico applicato.

Figura 14. Meccanismo di trasmissione di potenza adattabile.

Nel caso di carico leggero (Fig. 15b), il filo è vicino al fulcro, aumentando la sua velocità angolare ed abbassando la coppia. Al contrario, in caso di carico pesante (Fig. 15c), la guida si allontana dal fulcro abbassando la sua velocità angolare e aumentando la coppia. Di conseguenza, la molla connessa alla guida realizza la funzione di trasmettere una potenza adattabile.

Figura 15.

Il modello matematico del meccanismo articolare adattivo è indicato nella Fig. 16. Il momento torcente τ di un’articolazione è calcolato in base alla forza F che tira il filo, in base all’angolo θ₁ compreso tra la linea ideale che congiunge il fulcro ad un punto d’azione e la linea ideale che congiunge il punto d’azione alla leva ed in base alla distanza L dal fulcro dello stesso punto d’azione:

1 sinθ τ =L⋅F⋅

Nel caso specifico, θ₁ è definito a partire da un angolo θ₂ tra la linea ideale fulcro-punto d’azione e la linea fulcro-forza di trazione, da un angolo β tra la linea ideale fulcro-puleggia e quella della forza di trazione e dalla distanza x dal fulcro alla puleggia:

(

)

(

)

⎟⎟_⎠⎞ ⎜⎜ ⎝ ⎛ − − − = − β θ β θ θ 2 2 1 1 cos sin x L x Tan

( )

x f = β

Qualora la molla fosse connessa ad un punto vicino al fulcro, β potrebbe approssimarsi con un valore costante. La distanza x è data dalle seguente equazione:

(

)

k F

x= cosθ1+θ2−β

Il parametro k qui rappresenta il modulo di Young di una molla nella direzione della linea fulcro-puleggia che congiunge la struttura alla guida. Queste equazioni fissano il valore della coppia τ nota la forza F, la distanza x e l’angolo θ₂. Dai precedenti esperimenti di simulazione era emerso un valore del rapporto coppia-velocità angolare pari a 1:6, confermato successivamente mediante un prototipo meccanico [18]. Il meccanismo elaborato ha un’altra funzione, oltre l’adattabilità di velocità e coppia. Come visibile in Fig. 15a, può essere ottenuta una funzione di movimento passivo disponendo il cavo esattamente al centro della rotazione dell’articolazione.

Figura 16. Modello matematico del meccanismo articolare adattivo.

Per confrontare il meccanismo proposto con quello convenzionale, in cui la guida (puleggia) è fissata a x = 1, 5, 9 mm dal supporto, sono stati eseguiti due esperimenti.

Esperimento 1

Ha previsto le due seguenti misure:

1. L’angolo dell’articolazione, quando il cavo è tirato ad una velocità costante e in assenza di carico.

2. Il momento torcente (coppia), quando il cavo è tirato con potenza costante e l’angolo è fissato a 45°.

Esperimento 2

Misura dell’angolo dell’articolazione e del momento torcente del meccanismo in condizioni in cui è posto un ostacolo in uno spazio di lavoro, in modo che il dito lo contatti in corrispondenza di un angolo di 45° dell’articolazione.

I risultati delle due misure del primo esperimento sono riportati in Fig.17(a) e (b) rispettivamente. In presenza di carico leggero (Fig. 17(a)), il meccanismo proposto si muove più velocemente rispetto a quello convenzionale per i casi in cui la guida è fissata a 5 e 9 mm dal fulcro (il tratto giallo identifica la risposta del meccanismo in esame). D’altro canto, quando c’è un carico pesante, il meccanismo presentato sviluppa un momento torcente più grande di quello del meccanismo convenzionale in cui il cavo è fissato a 1 e .5 mm dal fulcro.

Figura 17. (a) Risultati della simulazione per l’esperimento 1-(1). (b) Risultati della simulazione per l’esperimento 1-(2).

La Fig. 18(a) mostra, invece, i risultati del secondo esperimento. Il dito del meccanismo sotto esame si muove velocemente finché non contatta l’ostacolo, dopodichè si ha un aumento del momento torcente, poiché aumenta la distanza fra fulcro e guida (x). In Fig. 8(b) è riportata la t traiettoria del dito quando un oggetto libero da vincoli è posizionato nell’ambiente di lavoro. Si vede come il dito si muove lentamente una volta che ha contattato l’oggetto, generando una coppia elevata. Questi risultati confermano il raggiungimento dei propositi del meccanismo elaborato. Per migliorare ulteriormente le prestazioni è stato introdotto l’uso di un cavo elicoidale molleggiato come guida per il cavo dell’attuatore e dei servomotori in qualità di attuatori(Fig. 19).

Figura 19.

2.3.6 La mano protesica EMG.

La protesi sviluppata (Fig.20) è dotata di polso e di cinque dita. Ogni dito possiede tre articolazioni delle quali la interfalangiale distale e la interfalangiale prossimale sono azionate da un comune cavo tendineo, mentre la mediale è azionata da un motore. In questo modo, ogni dito ha 2 DOF con controllo attivo del movimento. Soltanto l’articolazione carpo-metacarpo del pollice è stata collegata direttamente tramite servomotore per realizzare il movimento di abduzione. Il polso è sostenuto da due motori per l’esecuzione della prono/supinazione e della flesso/estensione. In totale, la mano artificiale ha 12 DOF come controllo attivo del movimento. Tutte le articolazioni azionate tramite cavo tendineo fanno uso del meccanismo articolare adattivo in precedenza illustrato. Il peso complessivo dei servomotori è 280 g. Il peso del corpo in alluminio della mano è di 204 g. Il peso del controllore e della batteria è 100 g. Il peso della cavità di inserimento e della cavetteria è 623 g. Il peso dell’intero dispositivo è 1207 g, corrispondente, circa, al peso dell’avambraccio di una donna adulta. I risultati sperimentali hanno evidenziato che il sistema protesico basato su segnali EMG ha un grande potenziale nel riflettere le intenzioni umane per il controllo di un dispositivo meccanico con molteplici gradi di libertà. Il meccanismo realizzato è stato in grado di sviluppare una presa potente (400 Nm), sufficiente a mantenere una bottiglia di plastica con 400 cc di succo di frutta. La protesi ha, altresì, rivelato un’alta predisposizione nella presa efficiente di differenti oggetti (Fig. 21), da una tazzina da caffé ad una custodia per CD. Il controllore ha fornito 10 differenti modelli di movimento delle dita, basati su modelli di segnali EMG. Esso apre nuove possibilità per una manipolazione delle macchine sempre più libera da meccanismi pesanti e ingombranti. Uno sviluppo del seguente lavoro consiste nello studiare più dettagliatamente le prestazioni del controllore sviluppato e misurare anche la sua efficienza nelle attività della vita quotidiana dell’amputato.

2.4 INTERFACCIA REAL-TIME ASSISTIVA PER COMPUTER BASATA SU EMG PER DISABILI AGLI ARTI SUPERIORI.

Col supporto del Korea Insitute of Science and Technology (KIST) e del Brain Korea 21 (BK 21) Project del Ministry of Education and Human Resources Development, i ricercatori Changmok Choi e Jung Kim hanno potuto condurre il loro studio orientato alla progettazione di un’interfaccia real-time assistiva che consente ai disabili agli arti superiori di accedere ad un computer attraverso la residua attività muscolare, senza ricorrere alle interfacce computer standard (come mouse e tastiera). A tale scopo, sono stati estratti e filtrati, usando valore medio e varianza, dei segnali elettromiografici dalla parte inferiore dell’arto. Per controllare il movimento e il cliccaggio di un cursore in base ai segnali ottenuti, sono state classificate 6 categorie, impiegando una rete neurale multi-livello controllata, addestrata mediante un algoritmo di propagazione all’indietro. In più, è stata sviluppata una tastiera virtuale (su schermo) con la possibilità di inserire lettere romane e coreane. Tramite quest’interfaccia computer, l’utente può navigare in internet e leggere e scrivere un’e-mail. Un diagramma schematico del sistema realizzato è mostrato in Fig. 21.

Figura 21. Schema concettuale dell’interfaccia computer di Choi e Kim.

2.4.1 Introduzione

Il riferimento degli autori è alla recente attenzione dei ricercatori verso i segnali neurali, con interesse alla rivelazione del proposito dell’utente. Quelli cerebrali a livello del Sistema Nervoso Centrale (CNS) si dimostrano, infatti, buoni candidati in tal senso e più veloci di altri nel fornire l’informazione correlata al movimento. Si spiega, così, lo sviluppo di interfacce alternative a quelle cinematiche e dinamiche per consentire al disabile agli arti superiori di avere accesso ad un personal computer. Tuttavia, L’EEG [19], la tecnica non invasiva di registrazione dell’attività cerebrale, ha delle limitazioni nella bassa risoluzione spaziale e nel basso rapporto segnale-rumore (SNR), unitamente ad altre difficoltà tecniche e alla necessità di un addestramento intensivo delle interfacce, per così dire, neurali. I segnali elettromiografici, invece, possono essere misurati più opportunamente ed in modo più sicuro dei segnali a livello del CNS. L’EMG è anch’essa una tecnica non-invasiva, ma garantisce un migliore (più alto) SNR e, per tale motivo, è convenientemente utilizzata nella moderna tecnologia. Di qui, l’idea di sviluppare un’interfaccia computer basata sull’EMG, attraverso cui pazienti tetraplegici, o amputati della mano, possono eseguire delle operazioni ad un pc, come controllare il movimento di un cursore sullo schermo e premere dei bottoni, il tutto tramite l’attivazione muscolare nella parte inferiore del braccio. Per confermare l’utilità dell’interfaccia computer elaborata, è stato condotto uno studio sperimentale teso a valutare le prestazioni applicando la legge di Fitts, che è un modello che stima quantitativamente l’efficacia di un dispositivo di puntamento per computer. Già altri ricercatori

hanno presentato interfacce computer simili partendo da segnali EMG, ma si sono focalizzati più sull’implementazione dell’interfaccia, senza effettuare un’analisi quantitativa delle prestazioni del loro dispositivo.

2.4.2 Selezione del sito mioelettrico.

L’usabilità di un’interfaccia con un computer è tanto migliore quanto più l’utente è in grado di controllare il computer in maniera naturale e intuitiva. Su questo criterio si è basata la scelta di quattro diversi movimenti del polso (adduzione, abduzione, estensione e flessione) con i quali sono stati codificati altrettanti comandi per il movimento di un cursore (rispettivamente, “sinistra”, “destra”, “su, “giù”) su precisa intenzione dell’utente. Il controllo risulta intuitivo, data la corrispondenza tra la direzione del movimento del polso e quella del movimento del cursore. Per i comandi di “click” e di “stop”, la scelta è, invece, ricaduta rispettivamente sull’estensione e sul rilassamento del dito. In corrispondenza dalla parte bassa del braccio si trovano approssimativamente 20 muscoli, che insieme contribuiscono per larga parte al movimento di polso e dita[20]. Per realizzare l’interfaccia non sono stati richiesti tutti i movimenti del polso, bensì soltanto 6. Considerando i muscoli che un paziente tetraplegico può ancora debolmente attivare, la scelta è ricaduta su 4 muscoli[21], che sono: il flessore ulnare del carpo (o cubitale anteriore, FCU), l’estensore radiale del carpo (ECR), l’estensore ulnare del carpo (ECU) e l’abduttore lungo del pollice (APL). La selezione dei muscoli è avvenuta per palpazione, mantenendo nel tempo la contrazione muscolare. La Fig.22 mostra la posizione degli elettrodi sulla pelle della parte inferiore del braccio.

Figura 22. I siti mioelettrici per il prelievo di segnali EMG:

2.4.3 Raccolta dei dati ed elaborazione del segnale.

I segnali elettromiografici sono stati raccolti mediante l’utilizzo di elettrodi superficiali attivi (DE-2.1, Delsys) e di una scheda di acquisizione dati PCI 6034e, National Istrument™. Ogni segnale è campionato a 1 kHz ed amplificato 1000 volte. Sulla base della conoscenza che un segnale EMG può essere modellizzato come un processo gaussiano a media nulla[22,23], si può stimarne la varianza in maniera semplice per estrarre le caratteristiche e per effettuare il filtraggio passa-basso. Il modo è il seguente:

(

)

1 ˆ 1 2 2 − − =

∑

= N M M N i i σ

dove M_i è l’ampiezza del segnale i-esimo, N è il numero dei campioni in una finestra, e M il valor medio dell’ampiezza degli N campioni. La formula della varianza è la stessa di quella di un filtro a media mobile, se si eccettuano la radice quadrata e il denominatore. Poiché un processo di estrazione di radice acuisce la differenza fra lo stato di attivazione e quello di disattivazione del muscolo, l’utilizzo della varianza per estrarre parametri EMG caratteristici è più efficace rispetto al solo uso della media mobile. Per la similarità già evidenziata tra funzione varianza e funzione di un filtro a media mobile, la frequenza di taglio che è stata impiegata può essere definita riferendosi a un filtro a media mobile:

N f f s c 2 =

dove è la frequenza di campionamento. L’efficacia del filtro passa-basso aumenta sensibilmente se si utilizza un gran numero di campioni, a scapito di un ritardo temporale nella stima delle intenzioni dell’utente. Si evidenzia, pertanto, la necessità di un tradeoff tra efficacia del filtraggio passa-basso ed elaborazione in tempo reale. Al momento, non ci sono degli standard sul problema del ritardo percettibile, ma esistono dei lavori di ricercatori che lo hanno definito rispettivamente a 300 ms[24] e100 ms[25, 26]. Nello studio specifico, è stata definita una finestra di 100 campioni per il filtraggio passa-basso, che si è rivelato non solo efficace, ma neanche ha introdotto un ritardo temporale significativo.

s f

2.4.4 Riconoscimento del pattern.

Per riconoscere il proposito dell’utente è stata impiegata una rete neurale controllata, strutturata come segue: ƒ strati nascosti: 2 ƒ neuroni nascosti: 10 ƒ neuroni d’ingresso: 4 ƒ neuroni di uscita: 6 ƒ

L’addestramento della rete neurale è stato effettuato ricorrendo ad un algoritmo di propagazione all’indietro ed i parametri dell’addestramento sono stati:

ƒ velocità di apprendimento: 1.2 ƒ momentum: 0.8

La tabella di Fig. 23 mostra i vettori target per la discriminazione delle classi di movimento a partire dai segnali EMG. In più, è stato collocato un selettore alla fine della rete per selezionare il neurone maggiormente attivato a livello dell’uscita. L’intenzione dell’utente è identificata dalla corrispondenza del neurone più attivato con una classe di movimento.

2.4.5 La tastiera su schermo.

La Fig. 24 fa vedere la tastiera su schermo sviluppata per aiutare i disabili agli arti superiori ad inserire lettere romane e coreane su un computer. Le dimensioni di questa tastiera sono 6.2 cm × 10.6 cm, ed ogni bottone è un rettangolo 1.5 cm × 1.2 cm posto sull’interfaccia. In totale, questa comprende 15 bottoni, che rappresentato le lettere dalla ‘a’ alla ‘z’, ‘SPACE’ (→), ‘ERASE’ (←), ecc.. Per l’interfaccia, l’ispirazione è al cellulare della Samsung [27]. Il movimento del cursore è limitato in maniera discreta solo su ciascun bottone, in modo da facilitare all’utente l’uso dell’interfaccia.

Figura 24. La tastiera su schermo sviluppata.

2.4.6 Valutazione delle prestazioni.

Per valutare le prestazioni del sistema è stato messo a punto un test basato sulla legge di Fitts[28], la quale fornisce un modello per stimare quantitativamente l’efficacia di un dispositivo di puntamento per computer. L’esperimento è stato suddiviso in due sessioni, utilizzo dell’interfaccia computer sviluppata ed utilizzo di un mouse. Per questo studio sono stati reclutati 5 soggetti volontari (S1-S5) senza danni agli arti ed è stato condotto un esperimento accoppiato. Nel test impiegato, l’efficacia del dispositivo di puntamento è definita dall’ indice di prestazione (IP), che rappresenta quanto velocemente si riesca a eseguire le procedure di puntamento e di cliccaggio col sistema in esame. Un alto valore di IP significa che è possibile trasferire una grande quantità d’informazione (bits) al secondo.

2.4.7 Risultati.

I segnali EMG sono stati misurati dai muscoli FCU, ECR, ECU e APL, nella parte bassa del braccio del soggetto, durante l’esecuzione di differenti movimenti del polso per un periodo di 20 secondi, come visibile in Fig. 25. I segnali sono stati successivamente filtrati e la classificazione del movimento voluto dall’utente è stata effettuata per mezzo di una rete neurale multilivello controllata. In Fig. 26 sono riportati i risultati della classificazione, dove la linea continua rossa indica il movimento voluto dall’utente e le crocette verdi sono i risultati riconosciuti in valori numerici (0-5). La tabella di Fig. 27, infine, riassume la percentuale di successo della classificazione dei movimenti, tutti riconosciuti oltre il 96%.

Figura 25. Segnali EMG dai 4 muscoli FCU, ECR, ECU e APL.

Figura 26. Risultati della classificazione in base al selettore massimo.

Dal test sulla legge di Fitts, l’indice IP dell’interfaccia proposta ha riportato un valore di 1.341 bit/s, mentre, dall’altra parte, il valore di IP per l’esperimento condotto sul mouse è stato di 7.743 bit/s. Come riferimento, Pino et al.[29] hanno valutato le prestazioni di un dispositivo assistivo commerciale di puntamento Brainfingerf™ ( Brain Actuated Technologies[30]), riscontrando un valore di IP pari a 0.386 bit/s.