Sistemi di comunicazione alternativa basati su Brain Computer Interface: stato dell’arte e prospettive future

ALMA MATER STUDIORUM - UNIVERSITÀ DI BOLOGNA

CAMPUS DI CESENA

DIPARTIMENTO DI INGEGNERIA DELL’ENERGIA ELETTRICA E

DELL’INFORMAZIONE “GUGLIELMO MARCONI”

CORSO DI LAUREA IN INGEGNERIA BIOMEDICA

Sistemi di comunicazione alternativa basati su Brain-Computer

Interface: stato dell’arte e prospettive future

Elaborato in

Strumentazione Biomedica

Relatore Presentata da

Prof.ssa Elisa Magosso Federica Gregori

Correlatore

Dottor Davide Borra

PAROLE CHIAVE

BCI speller

Elettroencefalografia

Potenziale P300

Steady State Visually Evoked Potential

Graphical User Interface

INDICE

Introduzione 6

Capitolo 1: Brain-Computer Interface: concetti generali 9

1.1 Elettroencefalografia (EEG) 10

1.2 Classificazione delle BCI 12

1.2.1 BCI invasive e non invasive 12

1.2.2 BCI sincrone e asincrone 13

1.2.3 BCI dipendenti e indipendenti 14

1.3 Componenti di una BCI 15

1.3.1 Acquisizione del segnale 15

1.3.2 Elaborazione del segnale: estrazione delle caratteristiche 15 1.3.3 Dispositivo di output 17

1.3.4 Protocollo operativo 17

1.4 Algoritmi per l’estrazione delle feature del segnale EEG 18

1.5 Applicazioni BCI 20

1.6 Segnali su cui si basa il sistema BCI-spelling 25

Capitolo 2: Sistemi BCI finalizzati alla comunicazione 27

2.1 BCI-speller attuali 27

2.2 Potenziali Evocati 29

2.3 Potenziale P300 30

Capitolo 3: Brain-Computer Interfaces basate su P300 34

3.1 Matrice Speller: Paradigma originale Riga-Colonna (RCP) 34

3.2 Matrici speller: Successive modifiche del paradigma Riga- 37

Colonna 3.3 Matrici speller con presentazione di visi familiari e simboli 42

3.4 Matrici speller con predizione 43

3.5 Matrici speller con variazione della disposizione delle lettere 44

3.6 Indipendenza dallo sguardo 45

3.7 Conclusioni 50

Capitolo 4: Brain-Computer Interfaces basate su SSVEP 52

4.1 BCI basate su f-VEP 52

4.2 BCI basate su t-VEP 54

4.3 BCI basate su c-VEP 55

4.4 Speller SSVEP multi-fase 56

4.5 FlashTypeTM ₆₀

4.6 SSVEP-speller e dipendenza dallo sguardo 63

4.7 SSVEP- speller ed impatto del rumore di sottofondo 65

4.8 Conclusioni 66

Conclusioni 68

INTRODUZIONE

Il presente elaborato si occupa di delineare, sulla base della letteratura scientifica, le caratteristiche principali di una Interfaccia Cervello-Computer, nota anche con l’acronimo BCI (Brain-Computer Interface), ovvero un sistema che permette di tradurre le intenzioni dell’utente in comandi per il controllo di un dispositivo di output, come computer, sintetizzatori vocali, apparecchi di assistenza e neuroprotesi. In particolare, ci si è focalizzati sulle BCI-speller, sistemi che consentono la scrittura di un testo senza il coinvolgimento di processi motori (o riducendolo al minimo).

La volontà di compiere una qualsiasi azione, sia motoria sia cognitiva, si riflette in variazioni dell’attività neurologica del soggetto rispetto a quella di base. Un sistema BCI sfrutta le variazioni dell’attività cerebrale, registrandole e decodificandole. Sono molteplici le metodiche che consentono di acquisire segnali cerebrali. Tra questi, possiamo ricordare l’elettroencefalografia (EEG), l’elettrocorticografica (ECoG), la registrazione di potenziali di singoli neuroni, la magnetoencefalografia (MEG), la tomografia a emissione di positroni (PET), la risonanza magnetica funzionale (fMRI) e l’imaging ottico. Ad oggi, il metodo più utilizzato e promettente per applicazioni BCI è l’elettroencefalografia per le sue caratteristiche di non invasività, economicità, ed alta risoluzione temporale. Pertanto, qui sono state considerate solo applicazioni BCI che si basano su acquisizioni EEG. Il segnale EEG registrato viene successivamente elaborato al fine di estrarne le caratteristiche di interesse (come l’ampiezza dei potenziali evocati o ritmi della corteccia sensorimotoria) a seconda della specifica applicazione del sistema. Basandosi solamente sull’attività cerebrale e non necessitando, quindi, di un controllo motorio o nervoso periferico da parte dell’utente, questi sistemi si dimostrano particolarmente interessanti per pazienti affetti da disturbi neuromuscolari.

In questo elaborato ci si concentrerà, in particolare, sulle BCI-speller, ovvero sistemi di scrittura che hanno lo scopo di ristabilire una via di comunicazione alternativa non

l’utente viene posto di fronte ad una interfaccia grafica utente (GUI) costituita da lettere, simboli e numeri opportunamente presentati. Se l’attenzione dell’utente si concentra su uno di questi caratteri mentre esso viene presentato, illuminato o fatto lampeggiare ad una certa frequenza, dalla misurazione EEG si può rilevare un segnale dipendente dallo stimolo dell’interfaccia grafica; tale segnale cerebrale può quindi essere sfruttato per identificare e quindi selezionare il simbolo su cui si è focalizzato il soggetto.

In seguito, verranno presentati due potenziali cerebrali generati da questo tipo di stimolazione: i) il potenziale P300, ovvero una deflessione positiva nel tracciato EEG che si osserva con una latenza di circa 300 ms quando al soggetto viene presentato uno stimolo infrequente target (su cui il soggetto si concentra) immerso in una serie di stimoli non target più frequenti; ii) il potenziale SSVEP (Steady State Visual Evoked Potential) ovvero una risposta oscillatoria a una stimolazione visiva periodica, avente frequenza che rispecchia quella dello stimolo. Inoltre, poiché le caratteristiche di queste onde dipendono in buona misura dallo stimolo presentato attraverso la GUI, verranno esposte alcune tipologie di design di quest’ultima che permettono di evocare segnali con caratteristiche migliori e, di conseguenza, anche di migliorare le prestazioni generali di questi sistemi speller, come l’Information Transfer Rate (ITR) e l’accuratezza.

L’elaborato è stato quindi strutturato nel seguente modo:

Capitolo 1 – Il capitolo 1 introduce le BCI in linea generale, la loro storia e le possibili applicazioni. Inoltre, vengono esposti i componenti del sistema che permettono la traduzione dell’input nell’output, gli algoritmi per l’estrazione delle feature del segnale di interesse e alcuni di questi segnali.

Capitolo 2 – Il secondo capitolo si concentra sulle caratteristiche generali dei sistemi BCI-speller finalizzati alla comunicazione scritta, e descrive i potenziali P300 e SSVEP su cui molte BCI-speller si basano.

Capitolo 3 – Nel capitolo 3 vengono evidenziate alcune peculiarità comuni a tutti i sistemi BCI-speller basati sul potenziale P300, nonché le caratteristiche che le differenziano, i limiti associati al loro utilizzo e i possibili sviluppi futuri facendo riferimento ad alcune GUI.

Capitolo 4 – L’ultimo capitolo tratta i sistemi BCI-speller basati sul potenziale SSVEP, e, analogamente a quanto fatto nel Capitolo 3, ne mette in luce le peculiarità, lo stato dell’arte e le prospettive future.

Infine, le conclusioni riassumono i vantaggi e i limiti associati alle BCI basate su P300 e SSVEP ed individuano possibili sviluppi futuri.

CAPITOLO 1

BRAIN-COMPUTER INTERFACE: concetti generali

Con il termine Brain-Computer Interface (BCI, ovvero interfaccia cervello-computer) si indica un sistema costituto di componenti hardware e software che permette all’utente di interagire/comunicare con l’ambiente esterno senza la necessità di impiegare i muscoli periferici, ma sfruttando solamente specifici segnali generati dall’attività cerebrale.

L’idea di una tecnologia BCI in un primo periodo non venne presa in considerazione da un punto di vista scientifico poiché si riteneva che rilevare le intenzioni dell’individuo per mezzo dell’attività cerebrale fosse impraticabile. Inoltre, la ricerca nel campo dell’attività cerebrale veniva solitamente applicata all’analisi clinica di disordini neurologici o all’esplorazione delle funzioni cerebrali in laboratorio. Un altro limite che ha rallentato inizialmente lo sviluppo di questo tipo di tecnologia deriva dal fatto che essa veniva considerata troppo complessa a causa della sua ridotta risoluzione spaziale, della incerta affidabilità delle informazioni rilevate e della sua alta variabilità. Solo recentemente, gli sviluppi in diversi campi di ricerca, tra cui quelli neuroscientifico, psicologico, ingegneristico, informatico e tecnologico, hanno fatto sì che molti ostacoli legati allo sviluppo e alle applicazioni dei sistemi BCI venissero superati.

Negli ultimi trent’anni, l’attenzione di diverse attività di ricerca in tutto il mondo si è quindi focalizzata sullo sviluppo e sull’impiego di BCI in diversi contesti, mostrando quanto questo tipo di applicazioni sia tanto nuovo quanto promettente, anche se è ancora principalmente limitato al solo utilizzo in laboratorio [1].

1.1 Elettroencefalografia (EEG)

Come detto, le BCI sfruttano i segnali cerebrali, che riflettono l’attività elettrofisiologica dei neuroni dell’encefalo, al fine di ottenere informazioni circa la volontà del soggetto di compiere una certa azione.

L’attività elettrofisiologica è governata da trasmettitori elettro-chimici che consentono lo scambio di informazioni tra i neuroni. I neuroni generano delle correnti ioniche il cui flusso scorre al loro interno ma anche fra un neurone e l’altro. I potenziali elettromagnetici generati dal passaggio di queste correnti ioniche può essere rilevato grazie al posizionamento di elettrodi sullo scalpo, i quali percepiscono la differenza di potenziale originata da questa attività elettrica. Questo è il principio su cui si basa l’elettroencefalografia (EEG) e che viene sfruttato dalla maggior parte delle applicazioni BCI per ottenere le informazioni di interesse dall’attività cerebrale [1]. I vantaggi che hanno fatto sì che l’EEG sia ad oggi la tecnica di neuroimaging più utilizzata per queste applicazioni sono l’alta risoluzione temporale, il relativo basso costo associato alle apparecchiature, l’alta portabilità e la non invasività, che ne rende adatto l’utilizzo anche su soggetti sani in fase di ricerca [2].

Il sistema EEG è composto da elettrodi, amplificatori, da un convertitore Analogico/Digitale e da un dispositivo per la registrazione. Gli elettrodi acquisiscono il segnale dallo scalpo, mentre gli amplificatori aumentano l’ampiezza del segnale (di per sé molto debole) in modo che successivamente possa essere manipolato e digitalizzato dal convertitore in una maniera più accurata. Infine, un dispositivo di registrazione memorizza e permette di visualizzare i dati.

La configurazione minima per ottenere un segnale EEG si compone di tre elettrodi: uno attivo, posizionato al di sopra della regione dove si vuole misurare l’attività neuronale, uno di riferimento, disposto in una zona elettricamente neutra, e uno a massa. Il sistema EEG utilizza l’elettrodo a massa per misurare la differenza di potenziale nel tempo fra l’elettrodo attivo e l’elettrodo di riferimento. In genere si

utilizza una configurazione multicanale, che prevede più elettrodi attivi (anche fino a 128 o 256) distribuiti sullo scalpo. Gli elettrodi solitamente sono realizzati in argento-cloruro di argento (Ag-AgCl)

Inoltre, si rende necessaria l’applicazione di un gel fra l’elettrodo e lo scalpo al fine di ridurne l’impedenza all’interfaccia, che deve essere compresa fra 1kΩ e 10kΩ e dipende da diversi fattori come l’interfaccia elettrodo-elettrolita, l’area di superficie dell’elettrodo e la temperatura. In realtà, vi sono anche elettrodi, chiamati elettrodi “a secco”, che non necessitano del gel e sono realizzati in titanio e acciaio inossidabile. Per quanto riguarda l’ampiezza del segnale EEG, essa è dell’ordine dei microvolt e, di conseguenza, è molto sensibile alle diverse tipologie di rumore quali elettronico, termico, di fondo generati sia da fonti interne sia esterne [1].

Gli elettrodi vengono posizionati sullo scalpo seguendo delle linee guida riconosciute a livello internazionale dal sistema 10-20, che è stato standardizzato dall’American

Electroencephalographic Society. Il sistema 10-20 utilizza quattro punti di repere

cranici allo scopo di definire la locazione degli elettrodi. Il primo punto è detto “Nasion” e si trova all’attaccatura superiore del naso. L’altro punto di riferimento è detto “Inion” e si vede collocato sulla prominenza alla base dell’osso occipitale. Gli altri due punti di repere sono collocati in corrispondenza ai due punti preauricolari (A1 e A2). La distanza delle due linee ideali tra questi punti di repere (Nasion-Inion, A1-A2) viene suddivisa in intervalli del 10% o del 20% e, in base a questi intervalli, vengono applicati gli elettrodi lungo cinque linee (nel sistema internazionale a 19 elettrodi): due longitudinali esterne, due longitudinali interne e una centrale, come mostrato in Figura 1 [3].

Figura 1 | Posizionamento degli elettrodi sullo scalpo nel sistema internazionale 10-20 che prevede 19 elettrodi (21 elettrodi se si considerano anche gli elettrodi ai punti pre-auricolari che sono punti neutri). Tale sistema è stato successivamente ampliato per standardizzare il posizionamento di un numero superiore di elettrodi (Tratto da [1])

1.2 Classificazione delle BCI

1.2.1 BCI invasive e non invasive

I sistemi BCI si dividono in invasive e non invasive, e ciò dipende dalla modalità in cui l’attività cerebrale viene registrata.

Le BCI non invasive utilizzano elettrodi posizionati sulla superficie dello scalpo e sono attualmente le più diffuse poiché sono relativamente economiche e facili da indossare. Inoltre, sono caratterizzate da un’alta risoluzione temporale anche se inferiore rispetto alle BCI invasive in quanto la qualità del segnale viene diminuita dal rumore di fondo, dalla presenza dello scalpo, del cranio e da altri strati interposti fra gli elettrodi e l’origine del segnale. Metodi invasivi di registrazione dell’attività cerebrale sono stati introdotti per aumentare la qualità dei segnali cerebrali monitorati dalle BCI. Il loro funzionamento è permesso mediante l’impianto di microelettrodi nella materia grigia e ciò non rende queste applicazioni adatte ad un loro uso prolungato poiché la reazione

del cervello verso gli elettrodi potrebbe causare la formazione di tessuto cicatriziale, diminuendo la qualità del segnale. Infine, le BCI parzialmente invasive utilizzano elettrodi impiantati sotto la scatola cranica a contatto con la corteccia e non all’interno di essa come per le BCI totalmente invasive. Forniscono una migliore risoluzione spaziale e temporale rispetto alle BCI non invasive, maggiori ampiezze del segnale e sono meno vulnerabili ad artefatti. Tuttavia, anche per questa modalità di acquisizione, come per le invasive, è richiesto un intervento chirurgico per l’impianto e il loro uso prolungato può essere rischioso. [4]

1.2.2 BCI sincrone ed asincrone

Un’ulteriore suddivisione delle BCI può essere fatta fra le BCI sincrone ed asincrone. Quando viene utilizzato un sistema sincrono, le finestre temporali entro cui esso rileva ed elabora i segnali cerebrali in ingresso sono prestabilite. Solitamente, l’inizio di questi intervalli viene annunciato dal sistema che fornisce un messaggio di allerta per l’utente affinché si possa preparare per la fase di stimolazione. Qualunque segnale emesso al di fuori di questo intervallo passa inosservato al sistema, quindi non viene prodotto alcun comando di output. Le BCI sincrone sono caratterizzate da un design più semplice e sono meno affette da artefatti provocati dall’utente poiché egli può sbattere le ciglia e compiere movimenti oculari quando i segnali cerebrali non vengono analizzati.

Le BCI asincrone sono l’esatto opposto. Infatti, il sistema analizza continuamente i segnali cerebrali, anche se l’utente non sta utilizzando il sistema. Poiché il sistema è sempre attivo, l’utente non deve aspettare un messaggio di inizio della fase di stimolazione, avendo lui il controllo sul sistema. Se l’utente sta utilizzando il sistema, l’uscita del sistema saranno i comandi desiderati. In caso contrario, alcun output verrà generato. Il risultato di questo tipo di BCI è un’interazione più naturale e dinamica fra l’utente e il sistema, nonostante ciò richieda un design molto più complesso ed una valutazione più difficile [1, 2].

1.2.3 BCI dipendenti e indipendenti

Le BCI permettono all’utente di trasmettere un messaggio o un comando all’ambiente esterno senza ricorrere all’uso delle normali vie di output costituite da nervi e muscoli periferici. Per esempio, nelle BCI basate su una registrazione EEG, i messaggi vengono decifrati dall’attività EEG ed inviati al mondo esterno dal sistema BCI. Tuttavia, queste vie periferiche potrebbero essere coinvolte nella generazione dell’attività cerebrale. Per questo, le BCI si distinguono in dipendenti ed indipendenti.

Nelle BCI dipendenti, l’attività delle normali vie di nervi e muscoli periferici è necessaria al fine di generare l’attività cerebrale. Per esempio, una BCI dipendente presenta all’utente una matrice di lettere che vengono fatte lampeggiare una alla volta. L’utente seleziona una di queste lettere fissandola, cosicché il potenziale visivo evocato (VEP) registrato dallo scalpo mentre tale lettera viene fatta lampeggiare sia più forte rispetto ai VEP elicitati dalle altre lettere. In questo caso, quindi, il canale di output è l’EEG, ma la generazione del segnale VEP nell’EEG dipende dalla direzione dello sguardo e perciò dai muscoli extraoculari e dai nervi cranici che li attivano. Al contrario, le BCI indipendenti non dipendono in alcun modo da muscoli o nervi periferici. I messaggi non vengono trasmessi da queste vie periferiche e, in più, esse non sono nemmeno coinvolte nella generazione dell’attività cerebrale che porta tali messaggi. Una BCI indipendente presenta, per esempio, una matrice di lettere che vengono fatte lampeggiare una alla volta e l’utente seleziona una specifica lettera producendo un potenziale evocato P300 quando la lettera si illumina. Il canale di output è l’EEG come nell’esempio precedente, tuttavia la generazione del segnale P300 nell’EEG, in questo caso, dipende solo dall’intenzione dell’utente e non dall’orientamento degli occhi o da altri muscoli o nervi periferici. L’interesse della ricerca è orientata in particolar modo su questa ultima tipologia poiché essa fornisce una via di output totalmente nuova, che si può rivelare particolarmente utile per le persone con gravi disabilità neuromuscolari, a cui mancano tutti i normali canali di output (compreso il controllo dei muscoli extraoculari) [4].

1.3 Componenti di una BCI

Una BCI ha come input i segnali, acquisiti per mezzo di un sistema EEG, relativi all’attività cerebrale dell’utente e come output i comandi che serviranno a controllare un dispositivo. Il compito dei componenti di questo sistema è la traduzione dell’input in un output che abbia effetto sul mondo fisico esterno.

1.3.1 Acquisizione del segnale

In un sistema di BCI, l’input è un segnale EEG registrato dallo scalpo, dalla superficie del cervello oppure è un segnale dell’attività neuronale registrata direttamente mediante elettrodi in profondità nel tessuto cerebrale. In base al tipo di metodologia utilizzata per acquisire i segnali, si possono distinguere due tipologie di BCI: non invasive (è il caso delle BCI che si basano su segnali EEG e sono anche le più utilizzate in quanto la non invasività permette l’applicazione anche su soggetti sani in fase di ricerca) e invasive (come le BCI intracorticali). Alla registrazione dell’attività cerebrale, potrebbe essere necessario aggiungere una stimolazione artificiale. A tal proposito, è possibile distinguere le BCI che utilizzano input evocati o spontanei. Gli input evocati sono elicitati da una stimolazione sensoriale stereotipata fornita dalla stessa BCI, come avviene per quei segnali EEG generati da una luce che lampeggia. Al contrario, gli input spontanei non richiedono per la loro generazione una tale stimolazione esterna, come è il caso dei ritmi EEG nella corteccia sensorimotoria. Nella fase di acquisizione del segnale, l’input scelto viene acquisito dagli elettrodi dell’EEG, amplificato e digitalizzato [4].

1.3.2 Elaborazione del segnale: estrazione delle caratteristiche

L’input che è stato acquisito, amplificato e digitalizzato è quindi pronto per essere sottoposto a diverse procedure di estrazione delle caratteristiche di interesse del segnale stesso, come il filtraggio spaziale, la misura di ampiezza o l’analisi spettrale. L’obiettivo è quello di estrarre le caratteristiche chiave per poter decifrare il messaggio

o il comando dell’utente. Una BCI può utilizzare sia le caratteristiche estratte dal segnale nel dominio del tempo, sia quelle estratte nel dominio delle frequenze.

La seconda fase dell’elaborazione del segnale digitalizzato consiste nell’applicazione di algoritmi al fine di tradurre le caratteristiche estrapolate in comandi che rispecchiano il volere dell’utente. Un algoritmo efficace si adatta all’utente su tre livelli.

In primo luogo, quando l’utente utilizza per la prima volta il sistema, l’algoritmo si adatta alle feauture del segnale dell’utente. Se la feauture di interesse è l’ampiezza del potenziale P300, l’algoritmo di adatterà all’ampiezza caratteristica dell’onda P300 dell’utente. Un algoritmo che possiede soltanto questo primo livello di adattamento, quindi si adatta all’utente solo inizialmente, sarà efficiente solo se la performance dell’utente rimane molto stabile. Tuttavia, i segnali EEG e altri segnali elettrofisiologici mostrano variazioni legate all’ora del giorno, ai livelli ormonali, all’ambiente circostante, alla fatica, alla malattia e ad altri fattori.

Un secondo livello di adattamento si rende, quindi, necessario per limitare l’impatto di queste variazioni sull’efficacia dell’algoritmo. A questo proposito, una BCI efficace si adatta periodicamente a questi cambiamenti compiendo aggiustamenti online.

Infine, l’ultimo livello di adattamento dell’algoritmo consiste nel continuo adattamento ai cambiamenti spontanei della performance dell’utente. A differenza degli adattamenti precedenti che possono essere ottenuti anche per mezzo di una analisi offline, il terzo livello è realizzabile solo mediante una valutazione online poiché esso risponde alla continua interazione fra l’utente e la BCI. L’obiettivo di questo adattamento è di incitare l’utente a sviluppare e mantenere il più alto livello di correlazione possibile fra le sue intenzioni e le feature del segnale utilizzate dal sistema BCI per decifrare tali intenzioni. Questo obiettivo può essere raggiunto gratificando l’utente con performance migliori, per esempio muovendo il cursore o selezionando la lettera più velocemente quando le feature del segnale hanno una correlazione più forte con le intenzioni dell’utente [4].

La Figura 2 presenta lo schema di un tipico sistema BCI, in cui si può notare un ulteriore passaggio nella fase di elaborazione del segnale, ovverosia la classificazione. La strategia di classificazione del segnale EEG dipende dalla risposta che deve essere rilevata [5].

Figura 2 | Schema tipico di un sistema BCI (Tratto da [5])

1.3.3 Dispositivo di output

Per la maggior parte delle moderne BCI, il dispositivo di output è lo schermo di un computer, mentre il vero e proprio output consiste nella selezione di lettere, simboli target o icone che vi sono rappresentati. Oltre ad essere il prodotto finale dell’operazione svolta dalla BCI, questo output è anche il feedback che il cervello usa per mantenere e migliorare l’accuratezza e la velocità della comunicazione.

Per quanto riguarda, invece, le applicazioni BCI che come obiettivo hanno il controllo di una neuroprotesi, in quel caso il dispositivo di output è la mano o il braccio dell’utente stesso [4].

1.3.4 Protocollo operativo

Ogni applicazione BCI dispone del proprio protocollo operativo che definisce diversi parametri tra cui:

• La modalità di accensione e spegnimento del sistema. Il protocollo stabilisce se questo compito spetta all’utente oppure al tecnico di laboratorio;

• Se la comunicazione è continua o discontinua;

• Se la trasmissione del messaggio è innescata dal sistema (ad es. da uno stimolo che evoca un preciso potenziale cerebrale) o dall’utente;

• La sequenza e la velocità delle interazioni fra l’utente e il sistema; • Quale feedback viene mostrato all’utente.

Poiché in fase di ricerca il personale tecnico deve misurare l’accuratezza e la velocità della comunicazione della BCI, solitamente nei laboratori viene detto agli utenti quali messaggi o comandi mandare. Durante un utilizzo autonomo, invece, è l’utente a decidere il messaggio. Inoltre, in laboratorio solitamente il compito di accensione e spegnimento del sistema è affidato al personale competente e non all’utente. Tutte queste differenze fra il protocollo di laboratorio e quello domiciliare possono quindi complicare il passaggio dalla ricerca all’applicazione [4].

In Figura 2 è possibile notare come, nonostante il segnale di input provenga dall’attività cerebrale dell’utente, un sistema BCI, in particolare finalizzato allo

spelling (come verrà approfondito successivamente), funziona come un ciclo chiuso

continuo che include feedback e possibili stimoli esterni.

1.4 Algoritmi per l’estrazione delle feature del segnale EEG

Attività e risposte cerebrali diverse corrispondono a pattern diversi nei segnali cerebrali. La BCI può essere vista come un sistema di riconoscimento che classifica ciascun pattern in una classe in base alle sue caratteristiche. Il sistema BCI estrae dal segnale EEG delle feature che riflettono somiglianze con una certa classe, così come differenze rispetto alle altre classi. La progettazione di un set adeguato di feature è un problema impegnativo. Le informazioni di interesse per i segnali cerebrali sono immerse in un ambiente molto rumoroso e i segnali cerebrali comprendono un gran

numero di sorgenti simultanee. Un segnale che potrebbe essere di interesse potrebbe essere sovrapposto nel tempo e nello spazio a più segnali provenienti da diverse attività cerebrali. Per questo motivo, in molti casi, non è sufficiente utilizzare metodi semplici come un filtro passa banda per estrarre le feature desiderate.

Non tutte le informazioni che vengono rilevate dalla registrazione sono interessanti ai fini della ricerca. È per questo motivo che in alcuni casi si può rendere necessario l’utilizzo di tecniche di riduzione della dimensione come l’analisi delle componenti principali o l’analisi delle componenti indipendenti. Il risultato sarà una dimensione inferiore dei dati inziali, la rimozione di informazioni irrilevanti e ridondanti e costi computazionali inferiori.

I segnali cerebrali sono intrinsecamente non stazionari. L’informazione temporale che stabilisce quando una certa feature è stata rilevata deve essere ottenuta. Alcuni approcci dividono i segnali in brevi segmenti cosicchè i parametri possano essere estrapolati da ogni segmento anche se la lunghezza del segmento influenza l’accuratezza della

feature stimata.

I diversi metodi per l’estrazione delle feature del segnale in input vengono presentati nella Tabella 1, i quali possono agire operando una riduzione di dimensionalità, un filtraggio spaziale o attraverso rappresentazioni tempo-frequenza. [1].

Tecnica Metodo Proprietà

Riduzione della dimensione PCA (Analisi delle componenti principali) - Trasformazione lineare;

- L'insieme di osservazioni che potrebbero essere correlate viene trasformato in un insieme di variabili non correlate;

- Rappresentazione ottimale dei dati in termini di minimizzazione dell’errore quadratico medio

- Non garantisce sempre una buona classificazione;

- Valido metodo di riduzione del rumore e delle dimensioni. PCA richiede che gli artefatti non siano correlati con il segnale EEG.

Riduzione della

(Analisi delle componenti indipendenti)

- Si presuppone l'indipendenza statistica reciproca delle sorgenti sottostanti;

- Strumento potente e robusto per la rimozione di artefatti. È richiesto che gli artefatti siano indipendenti dal segnale EEG;

- Può corrompere lo spettro di potenza.

Spazio

CSP (Common Spatial

Pattern)

- Filtro spaziale progettato per problemi di 2 classi. Esistono estensioni multiclasse

- Buon risultato per BCI sincrone. Meno efficace per BCI asincrono;

- Le sue prestazioni sono influenzate dalla risoluzione spaziale. Alcune posizioni degli elettrodi offrono informazioni più discriminatorie per alcune attività cerebrali specifiche rispetto ad altre;

- Versioni migliorate di CSP: Wavelet Common Spatial Pattern, Common Spatio-Spectral Pattern, Common Sparse Spatio-Spectral Spatial Pattern.

Tempo-Frequenza

AR (AutoRegressive

Component)

- Modelli dello spettro;

- Risoluzione ad alta frequenza per segmenti di breve durata;

- Non adatto a segnali non stazionari;

- Versione adattiva di AR: Multivariate

Adaptive AR (Adatto a BCI online).

Tempo-Frequenza MF

(Matched Filtering)

- Rileva un modello specifico sulla base delle sue corrispondenze con segnali o modelli noti predeterminati;

- Adatto per il rilevamento di forme d'onda con caratteristiche temporali coerenti.

Tempo-Frequenza

CWT (Continuous Wavelet Transform)

- Fornisce informazioni sia in frequenza che nel tempo;

- Adatto a segnali non stazionari.

Tempo-Frequenza

DWT (Discrete Wavelet

Transform)

- Fornisce informazioni sia in frequenza che temporali;

- Adatto a segnali non stazionari;

- Riduce la ridondanza e la complessità di CWT.

1.5 Applicazioni BCI

Sebbene oggi i sistemi BCI siano proposti principalmente per scopi riabilitativi e terapeutici, nuove applicazioni riguardano l’utilizzo di BCI a scopo creativo e di intrattenimento.

Un esempio riguarda il Brain Painting (BP), ovvero una BCI che permette all’utente di dipingere delle immagini sullo schermo utilizzando solamente l’attività cerebrale. Dei test in laboratorio su pazienti affetti da SLA sono stati compiuti per la prima volta nel 2010 [6] tramite questa tecnologia, non solo emergono riscontri positivi sul paziente nella riabilitazione, ma gli permette anche di partecipare alla vita sociale attraverso mostre d’arte. In Figura 3 è possibile osservare un esempio di BP [7].

Figura 3 | Esempio di un'immagine di Brain Painting creata da un volontario sano (Tratta da [7])

Un altro esempio di applicazione BCI è per il controllo della Realtà Virtuale (VR). Affinché potessero essere applicati anche al controllo di un ambiente virtuale, la tecnologia legata ai sistemi BCI ha visto un avanzamento notevole sotto diversi aspetti. Innanzitutto, gli amplificatori per biosegnali dovevano essere funzionanti anche mentre il soggetto era in movimento e le registrazioni in real-time dovevano essere compiute con un dispositivo il più piccolo possibile al fine di ridurre l’ingombro e le collisioni. La Figura 4 mostra i componenti necessari di un sistema CI per VR [7]. Il soggetto è posizionato davanti alla parete di proiezione per evitare la presenza di ombre e viene equipaggiato di un tracker per la posizione che rileva il movimento del soggetto, di

occhiali virtuali per gli affetti in 3D e di un amplificatore di biosegnali con elettrodi per la registrazione EEG. Il PC XVR (eXtreme VR, VRmedia, Pisa, Italy) controlla il proiettore, il tracker e gli occhiali. L’amplificatore di biosegnali trasmette i dati EEG al sistema BCI, il quale è collegato al PC XVR via connessione UDP per scambiare i comandi di controllo.

Nel contesto dell’ingegneria biomedica e della neuroingegneria, l’utilizzo di un’interfaccia cervello-computer vede come suo ultimo e principale obiettivo quello di fornire a pazienti affetti da disturbi neuromuscolari la possibilità di comunicare con dispositivi medici esterni come neuroprotesi, sedia a rotelle, ma anche software per la sintesi vocale, al fine di migliorare non solo la qualità della vita di questi pazienti, ma anche ridurre il costo delle cure e la necessità di assistenza [1].

Diversi disturbi neuromuscolari possono far sorgere la necessità dell’utilizzo di un dispositivo ausiliario che permetta al paziente di comunicare con l’esterno. Un’applicazione BCI può rendersi necessaria qualora si voglia, per esempio, controllare una neuroprotesi. Uno studio recente di questo tipo è stato condotto nel 2019 [8] al fine di ristabilire la capacità di afferrare oggetti in particolare in quegli

individui che hanno subito dei danni alla spina dorsale a livello cervicale, le cui funzionalità non solo vegetative e degli arti inferiori, ma anche degli arti superiori sono state quindi compromesse. La neuroprotesi di questo progetto chiamato ‘MoreGrasp’ si basa innanzitutto sulla Stimolazione Elettrica Funzionale (FES) in cui vengono utilizzati piccoli impulsi elettrici per stimolare i muscoli del braccio ancora innervati ma paralizzati, permettendo così di generare dei modelli di prensione base, come la prensione palmare (la mano afferra l’oggetto con tutte le dita, chiudendole verso il palmo) e laterale (la mano afferra l’oggetto solo con alcune dita, per esempio quando si utilizza una penna). La tecnologia BCI acquisisce i segnali EEG registrati mentre l’utente immagina di compiere movimento senza però effettivamente eseguirlo o tentando un movimento e li traduce in comandi di output per controllare la neuroprotesi. L’obiettivo di questo progetto, che lo distingue dagli studi fatti in precedenza, è anche quello di mostrare l'applicabilità della tecnologia negli utenti finali nelle loro case e non solo in un ambiente controllato come quello del laboratorio. L’attenzione della ricerca è, inoltre, concentrata in buona misura sullo sviluppo di applicazioni BCI adatte a pazienti con malattie del motoneurone (nella terminologia anglosassone Motor Neuron Disease, MND) o che presentano sintomi similari. Con malattie del motoneurone si intende un insieme di patologie che affliggono i neuroni deputati al controllo del movimento muscolare, come la Sclerosi Laterale Amiotrofica (SLA), che causa nel paziente la perdita dell’uso dei muscoli volontari, in particolare dei muscoli scheletrici e della lingua.

Di conseguenza, questi pazienti trovano sempre maggiori difficoltà nel comunicare con l’ambiente esterno a mano a mano che la malattia progredisce, poiché essi perdono la facoltà di parlare e di utilizzare le mani per il linguaggio dei segni. È a questo punto che un canale di comunicazione non muscolare alternativo basato sulla tecnologia BCI può risultare di estrema utilità. L’ultimo esempio di applicazione BCI che si vuole presentare è, quindi, un sistema finalizzato allo spelling. Questi sistemi speller sono solitamente delle rappresentazioni grafiche di lettere, simboli e numeri controllati usando diverse tipologie di BCI per la battitura di parole. Può essere incluso anche un

output audio nei moderni sistemi per la sintesi vocale. Nonostante ci siano diversi paradigmi e diverse tipologie di BCI mirate allo spelling, tutti condividono caratteristiche comuni (Figura 5) (comuni anche a sistemi BCI con altre finalità) che verranno approfondite in seguito [2].

Figura 5 | Schema generale di un sistema BCI che mostra gli elementi comuni a tali sistemi, nonostante le diverse possibili finalità. (Tratto da [4])

Dalla Figura 5 è possibile constatare che, innanzitutto, i segnali derivanti dall’attività cerebrale vengono acquisiti da elettrodi posizionati sullo scalpo e processati al fine di estrarre delle specifiche caratteristiche del segnale (come l’ampiezza dei potenziali evocati o ritmi della corteccia sensorimotoria) a seconda della specifica applicazione del sistema. Queste caratteristiche, una volta estratte e classificate, sono tradotte in comandi che azionano un dispositivo o, come nello specifico caso di BCI finalizzate allo spelling, controllano una Graphical User Interface (GUI) per selezionare lettere, numeri e simboli e comporre così delle frasi [2, 4].

1.6 Segnali su cui si basa il sistema BCI-spelling

Come è stato asserito, quindi, una BCI traduce l’attività cerebrale in comandi utilizzati per controllare un dispositivo. Questa procedura non richiede l’utilizzo da parte dell’utente di muscoli volontari e ciò rende l’applicazione particolarmente interessante per pazienti con lesioni alla spina dorsale o affetti da Sclerosi Laterale Amiotrofica (SLA) che, nonostante la loro disabilità motoria, conservano le capacità cognitive e sensoriali.

Nonostante esistano diverse applicazioni BCI finalizzate ad esempio al controllo di video giochi, bracci robotici o sedie a rotelle, una delle sfide più stimolanti rimane quella di adattare questi sistemi al fine di creare un canale comunicativo non muscolare alternativo per ripristinare la capacità di espressione in suddetti pazienti. Il raggiungimento di questo obiettivo può permettere agli utilizzatori finali di compiere diverse attività sociali, migliorando così la qualità della loro vita e riguadagnando una certa indipendenza, riducendo così anche i costi sociali. Oltretutto, le persone disabili che riescono a comunicare potrebbero lavorare, ottenendo, di conseguenza, un posto gratificante nella società [5].

Solitamente, un’applicazione BCI di questo tipo, chiamata BCI-spelling, permette all’utente di comunicare con l’ambiente esterno utilizzando un’Interfaccia Grafica Utente (GUI da Graphical User Interface). La GUI presenta a video lettere, numeri o caratteri speciali. Con l’aiuto dei segnali cerebrali registrati ed analizzati dal sistema BCI, questi caratteri vengono selezionati dall’utente e vengono mostrati sullo schermo o su altri dispositivi di output [2].

La prima applicazione di BCI-spelling venne presentata da Farwell e Donchin nel 1988 [9], a cui susseguirono diversi sviluppi di applicazioni di BCI-spelling, grazie ai promettenti livelli di accuratezza e velocità di battitura.

A differenza delle normali tastiere, in cui l’utente seleziona una lettera premendola fisicamente, in questo caso il simbolo viene selezionato dall’utente guardandolo (o in

alcuni casi attraverso altre modalità sensoriali), ed esso viene scelto dal computer in base ai segnali cerebrali misurati e classificati [2].

Dalla registrazione EEG si rilevano diversi segnali dell’attività elettrofisiologica ma solo alcuni si rivelano utili per realizzare BCI speller. Nei prossimi capitoli, verranno quindi presentati alcuni dei principali sistemi utilizzati, approfondendo in particolare le prime due categorie:

• BCI - speller basati sul potenziale P300;

• BCI - speller basati su potenziali visivi evocati (VEP dall’inglese Visual

Evoked Potentials) e in particolare sul potenziale SSVEP;

• BCI - speller basati su Motor Imagery (MI);

• BCI - speller basati su potenziali corticali lenti (SCP dall’inglese Slow

CAPITOLO 2

SISTEMI BCI FINALIZZATI ALLA COMUNICAZIONE

Analogamente a quanto accaduto per l'elaborazione del testo, una delle forti motivazioni che hanno contribuito allo sviluppo di personal computer (PC), la comunicazione attraverso lo spelling è stata una delle prime applicazioni delle BCI [5]. In questo capitolo l’attenzione si focalizzerà sulle BCI-speller, analizzandone le peculiarità, nonché gli aspetti comuni e le differenze rispetto alle applicazioni BCI non finalizzate alla comunicazione presentate nel capitolo precedente.

Successivamente, si introdurranno alcuni segnali cerebrali rilevabili da una registrazione elettroencefalografica che possono essere utilizzati per questo tipo di applicazioni.

2.1 BCI-speller attuali

Come già anticipato nel Capitolo 1, per aiutare i pazienti affetti da MND a migliorare la propria vita sociale, è necessario introdurre una via di comunicazione alternativa. Un esempio di tali sistemi di comunicazione sono i sistemi speller basati sull’

eye-tracking, che sfruttano il movimento oculare per controllare un cursore su una tastiera

virtuale e selezionare le lettere desiderate [11]. Inoltre, anche un semplice battito di ciglia può essere utilizzato come metodo di comunicazione. Tuttavia, tali sistemi potrebbero non essere adatti per alcuni pazienti che hanno perso la capacità di controllare con precisione i movimenti oculari fini o che sperimentano movimenti incontrollabili della testa [2].

Una soluzione che consentirebbe a questi pazienti di comunicare consiste nell'utilizzo dei moderni sistemi BCI-speller, poiché viene a meno la necessità di eseguire movimenti.

Come per le altre applicazioni BCI discusse nel Capitolo 1, anche per le applicazioni finalizzate allo spelling il metodo più usato per misurare e registrare l’attività cerebrale è l’EEG. Anche in questi sistemi, le caratteristiche specifiche del segnale vengono estratte, analizzate e classificate dal computer attraverso algoritmi di elaborazione dei segnali; il risultato di tale classificazione può essere sfruttato per fornire un output che sostituisce, ripristina, migliora, o integra la funzione del sistema nervoso centrale. Di solito, un'applicazione di BCI-speller consente agli utenti di comunicare con l'ambiente utilizzando una GUI. La GUI visualizza lettere, numeri e caratteri speciali. Con l'aiuto del segnale cerebrale registrato e analizzato dal sistema BCI, l'utente seleziona il carattere desiderato e lo digita sullo schermo o su altri display di output. A partire dalla prima applicazione BCI finalizzata allo spelling [9], notevoli avanzamenti sono stati fatti in letteratura che hanno migliorato i livelli di precisione e velocità di battitura. Di conseguenza, le BCI-speller sono state ulteriormente sviluppate, con la finalità di consentire alle persone di comunicare direttamente attraverso le misurazioni e l'interpretazione diretta dell’attività cerebrale. In generale, la perdita di comunicazione nei pazienti affetti da MND influisce in maniera drasticamente negativa sulla loro qualità di vita. I soggetti che usano una BCI-speller possono essere più indipendenti e persino recuperare la propria vita sociale in misura relativamente elevata.

L'attività cerebrale misurata dal sistema viene interpretata con l'intenzione di selezionare il tasto desiderato mostrato sullo schermo. La logica su cui si basano queste applicazioni è sostanzialmente simile all’azione di premere un tasto su una tradizionale tastiera, senonché il target non viene premuto dall’utente fisicamente, ma esso viene selezionato dall’utente principalmente sfruttando la modalità sensoriale visiva (o altre modalità sensoriali in alcuni casi), e la lettera sarà scelta dal computer in base ai segnali cerebrali misurati e classificati.

Le prestazioni dei BCI-speller vengono comunemente misurate calcolando l'accuratezza e la velocità di trasferimento delle informazioni (Information

Transmission Rate, ITR) del sistema. L’accuratezza viene calcolata dividendo il

numero di comandi correttamente decodificati per il numero totale di comandi. L'ITR è stato introdotto da Wolpaw nel 2000 [13]: combina l'accuratezza e la velocità del sistema in una variabile ed è espresso come il numero di bit senza errori per unità di tempo. È importante notare che l'ITR può essere calcolato in modi diversi (ad es. a livello di comandi o di lettere) in tipi diversi di BCI. Può essere, quindi, utilizzato solo per confrontare le prestazioni di sistemi dello stesso tipo [2].

In linea di massima, le caratteristiche che distinguono le diverse BCI-speller derivano dal potenziale EEG che viene utilizzato e dal design della GUI impiegata (la quantità di simboli presentati potrebbe influenzare la prestazione).

Nei prossimi paragrafi verranno introdotti i potenziali evocati, con particolare riferimento ai segnali P300 e SSVEP in quanto si sono rivelati essere i potenziali che meglio si prestano ad una applicazione BCI finalizzata allo spelling [4].

2.2 Potenziali evocati

I potenziali evocati si mostrano nel tracciato elettroencefalografico come delle oscillazioni positive o negative, chiamate componenti, in risposta a determinati stimoli sensoriali, motori o cognitivi.

Le risposte evocate possono essere quantificate nel dominio dei tempi misurando diverse caratteristiche dei picchi, quali le ampiezze (entità della deflessione rispetto al livello di base), le latenze (ritardo temporale fra la presentazione dello stimolo e la comparsa dell’onda), polarità del picco (positiva o negativa) e la topografia (posizione sulla superficie cranica in cui è registrabile la massima ampiezza della componente) nel dominio dei tempi [12].

Si possono distinguere due categorie di potenziali evocati:

• Potenziali stimolo-correlati: dipendono dalle caratteristiche fisiche dello stimolo che li genera e l’entità della loro intensità e della loro durata è proporzionale allo

stimolo stesso. Si tratta di risposte ‘obbligate’ che nascono in maniera automatica per effetto dello stimolo presentato.

• Potenziali evento-correlati o ERP (Event Related Potential): si tratta di potenziali che possono essere generati durante o dopo un evento sensoriale, motorio o cognitivo e dipendono anche da meccanismi volontari e attentivi. Diversi ERP possono essere evocati utilizzando diversi tipi di stimoli e gli ERP evocati sono caratterizzati da una specifica latenza e/o topografia.

Nel seguito verranno descritto due ERP: il potenziale P300 e i potenziali visivi evocati VEP, sfruttati nelle BCI-speller.

2.3 Potenziale P300

L'onda P300 (Figura 6) è potenziale evento-correlato che si presenta come una deflessione positiva con un ritardo di circa 300 ms dopo che si è verificato un evento specifico. Il segnale P300 è di solito di ampiezza maggiore in corrispondenza alla regione parieto-centrale del cervello e può essere rilevato mediante EEG.

Figura 6 | Solo la scelta desiderata dall’utente elicita un potenziale P300 di larga ampiezza dopo 300 ms dalla presentazione dello stimolo (Tratto da [4]).

Il paradigma sperimentale particolarmente efficace per evidenziare il P300 è noto come paradigma " oddball ".

Questo paradigma è costituito da tre prerequisiti principali:

• Al soggetto viene presentata una serie di stimoli o eventi; ognuno di essi appartiene a una di due classi (ad esempio un evento desiderato o indesiderato); • Una delle classi è presentata meno frequentemente dell'altra classe (un evento raro rispetto a un evento frequente);

• Il soggetto deve prestare attenzione a uno degli stimoli quando si verifica (tipicamente lo stimolo raro che corrisponde anche allo stimolo desiderato, ad esempio contando quante volte lampeggerà una particolare lettera, che corrisponde all’evento raro).

Il potenziale P300 si manifesta in corrispondenza alla presentazione dell’evento raro, in particolare se il soggetto presta attenzione a tale evento.

Nonostante nei primi anni successivi alla presentazione del primo sistema BCI basato su P300 [9] esso non riscosse grande attenzione, recentemente, le BCI basate su P300 stanno emergendo come una delle principali categorie BCI. Le BCI basate su P300 hanno costantemente mostrato diverse caratteristiche interessanti: sono relativamente veloci, efficaci per la maggior parte degli utenti, semplici e non richiedono praticamente alcuna fase di training. Lavori recenti hanno dimostrato che le BCI basate su P300 possono essere utilizzate per una vasta gamma di funzioni diverse e possono essere impiegate da utenti disabili negli ambienti domestici, sebbene queste applicazioni si siano rilevate meno efficaci su persone che non possono controllare lo sguardo.

Inoltre, sono stati introdotti nuovi modi per far lampeggiare o per modificare gli stimoli che potrebbero ampliare gli ERP rendendoli maggiormente discriminanti delle classi e migliorare così la classificazione (Kaufmann et al., 2011[14]; Jin et al., 2012 [15]).

I ricercatori hanno anche sviluppato paradigmi che sfruttano stimoli sia visivi che uditivi per indurre un segnale P300 per diversi sistemi e applicazioni (Visual Evoked

Potential (VEP) e Auditory Evoked Potential (AEP)). Hill et al. [16] nel 2005 hanno

introdotto il primo P300 BCI basato su stimoli uditivi. Nel 2014, un nuovo speller uditivo, chiamato "charstreamer", è stato presentato da Höhne et al. [17] Per quanto riguarda altri tipi di stimolazione sensoriale, nello studio di Brouwer [18], è stata sviluppata una BCI tattile basata su P300 fissando piccoli motori a vibrazione in diverse posizioni intorno alla vita del partecipante. L'utente doveva concentrarsi sulla vibrazione nella posizione desiderata e ignorare gli stimoli applicati nelle altre posizioni per elicitare un segnale P300. Più recentemente, i ricercatori hanno iniziato a sperimentare il posizionamento di motori su diverse parti del corpo, come la schiena o la mano dell'utente, con l'obiettivo di migliorare le prestazioni tattili della BCI basata sull’utilizzo di P300 [19, 2].

Nel complesso, è verosimile che i sistemi BCI basati su P300 rimarranno importanti nel prossimo futuro [7].

2.4 Potenziale SSVEP

Il potenziale SSVEP (dall’inglese Steady-State Visual Evoked Potential) è un tipo di VEP (Figura 7) caratterizzato da fluttuazioni positive e negative nel segnale EEG che sono risposte a uno stimolo visivo.

Ad esempio, una luce lampeggia, un'immagine appare e scompare oppure viene presentato un motivo con una certa frequenza. Il potenziale SSVEP si presenta nel segnale EEG sotto forma di oscillazioni ritmiche, che nei sistemi BCI vengono ulteriormente elaborate per rilevare le loro caratteristiche uniche, come frequenza e ampiezza. Quando lo stimolo visivo esterno lampeggia a una specifica frequenza costante, viene indotto un SSVEP con una frequenza di picco corrispondente allo stimolo (e alle sue armoniche), principalmente nella corteccia visiva, situata nella regione occipitale del cervello, se il soggetto presta attenzione allo stimolo. Di solito, una tecnica di analisi della frequenza, come Fast Fourier Transform (FFT), viene utilizzata per rilevare la frequenza di stimolazione.

In un sistema SSVEP standard, prendendo ad esempio un'applicazione di spelling, gli stimoli che vengono presentati all’utente possono essere singole lettere o gruppi di caratteri o caselle di comando. Ogni stimolo lampeggia con una frequenza unica. Questo è noto anche come Visual Evoked Potential modulato in frequenza (f-VEP). Vale la pena aggiungere che anche gli stimoli tattili sono stati utilizzati per evocare una risposta di questo tipo in un sistema BCI [2].

Secondo Volosyak et al. [21], attualmente, l'approccio SSVEP fornisce il paradigma di comunicazione più veloce e affidabile per l'implementazione di un sistema BCI non invasivo. Questa asserzione suscita molto interesse in quanto alte velocità di trasferimento delle informazioni sono essenziali per una BCI al fine di diventare un dispositivo pratico sia per la comunicazione, sia per il controllo di un dispositivo esterno.

CAPITOLO 3

BRAIN-COMPUTER INTERFACES BASATE SU P300

Dall’introduzione della prima P300-BCI da parte di Farwell e Donchin nel 1988 [9], diverse BCI-speller sono state sviluppate negli anni con l’intento di migliorarne le caratteristiche e destinarne l’applicazione ad un utilizzo domiciliare da parte dei pazienti affetti da MND.

Nonostante anche altri aspetti siano importanti per lo sviluppo di un sistema BCI efficiente, qui si vuole concentrare l’attenzione, in particolar modo, sulle diverse modifiche e migliorie associate alle Graphical User Interfaces (GUI) di queste BCI, poiché è stato possibile constatare che le performance vengono influenzate, oltre che dal potenziale scelto e dall’elaborazione dello stesso, dal design e dalla facilità d’uso delle GUI da parte dell’utente [2], essendo il primo componente, e a volte l’unico, con cui l’utente finale si confronta.

In seguito, verranno quindi evidenziate alcune peculiarità comuni a tutti i sistemi appartenenti a questa tipologia di BCI-speller, nonché le caratteristiche che le differenziano, i limiti associati al loro utilizzo e i possibili sviluppi futuri facendo riferimento, per l’appunto, ad alcune GUI.

3.1 Matrice speller: Paradigma originale riga-colonna (RCP)

La prima speller basata su P300 è stata introdotta da Farwell e Donchin [9] e la Figura

8 mostra un design simile alla loro GUI. Consisteva in una matrice speller 6 × 6 di

simboli lampeggianti visualizzati su un monitor. Gli elementi sono stati organizzati in righe e colonne (paradigma riga-colonna, RCP) e intensificati in un ordine casuale, costituendo un cosiddetto paradigma "oddball". Poiché questa matrice consisteva di sei righe e sei colonne, erano necessari almeno 12 flash per eseguire il flash di ogni colonna e riga una volta. Il soggetto focalizzava la sua attenzione sulla lettera target e gli veniva chiesto di contare il numero di flash per aiutarlo a rimanere concentrato. Il

lampeggiamento della riga e della colonna che conteneva l’oggetto desiderato produceva un'onda P300 nei segnali EEG. Il segnale EEG veniva quindi elaborato e il segnale P300 veniva confrontato con l'ordine di occorrenza del lampeggiamento delle righe e delle colonne presentate.

L'analisi di questi dati ha prodotto la riga e la colonna esatte che hanno indotto il segnale P300, la cui intersezione era la lettera selezionata. La massima accuratezza raggiunta in questo studio è stata del 95% ad una velocità di 12 bit / min. Ciò significa che un target può essere selezionato dalla matrice in circa 26 s. Questo può sembrare tempo piuttosto lungo se paragonato ai sistemi di battitura convenzionali per le persone sane; tuttavia, può significare molto per una persona senza altre possibilità di comunicazione.

Farwell e Donchin [9] hanno così dimostrato che il potenziale P300 può essere usato per selezionare un target specifico usando le speciali disposizioni dei caratteri nella matrice, confermando che il potenziale P300 può essere usato per un sistema di comunicazione alternativo che non necessita dell’utilizzo delle normali vie periferiche [2].

I ricercatori hanno condotto numerosi studi per rendere questa Matrice Speller più veloce, per ottenere una migliore classificazione, accuratezza e facilità d'uso. Il design

Figura 8 | Matrice Speller moderna ispirata alla matrice sviluppata da Farwell e Donchin nel 1988, mostrata durante l’aumento della intensità luminosa della terza fila (Tratto da [2]).

della GUI proposta da Farwell e Donchin [9] porta, infatti, con sé diverse problematiche, che le ricerche degli anni successivi hanno cercato di risolvere:

• Problema dell’adiacenza: i flash vicini al simbolo target distraggono l’utente e talvolta causano un feedback errato, nonché l'aumento del problema dell'affollamento, che si riferisce alle difficoltà nell'identificare un bersaglio se molti oggetti simili lo circondano, come discusso da Fazel-Rezai et al. [7]; • Affaticamento: tanti flash possono affaticare l’utente. Le conseguenze sono il

progressivo peggioramento delle prestazioni del soggetto ed un difficile utilizzo prolungato;

• Velocità di battitura: dipende da quanti step si devono superare per creare il testo desiderato;

• Dipendenza dallo sguardo: affinché il target possa essere selezionato, è necessario che l’utente fissi tale oggetto. Tuttavia, non tutti i pazienti hanno intatta la funzionalità dei muscoli oculari [2];

• Dipendenza del segnale EEG da altri fattori, quali motivazione, livello di attenzione, stato mentale [7];

• Errore del doppio-flash: nella GUI di Farwell e Donchin, le colonne e le righe vengono fatte lampeggiare in un ordine casuale. Perciò può capitare che quando il lampeggiamento di una riga è seguito da quello di una colonna, la lettera che si trova nell’intersezione fra quelle particolari riga e colonna, essa lampeggia due volte in successione. Questo doppio flash può causare due errori: il secondo flash potrebbe non venire notato dall’utente non producendo quindi l’onda P300, oppure i potenziali elicitati dai due flash si potrebbero sovrapporre nel tempo, riducendone le ampiezze o cambiandone le morfologie. [22]

Vale la pena menzionare anche altre problematiche a cui si dovrebbe prestare attenzione quando si considera l’utilizzo di una nuova GUI o, più in generale, di una nuova BCI-speller, così da avere un quadro completo.

• Portabilità dell’apparecchiatura: all’aumentare della quantità di elettrodi necessari per l’acquisizione dei biopotenziali aumenta la difficoltà di trasporto e il tempo di set up;

• Facilità d’uso dell’interfaccia: la semplicità dell’interfaccia garantisce una maggiore facilità da parte dell’utente nell’utilizzare il dispositivo;

• Necessità di fare pratica: alcuni sistemi possono richiedere che l’utente faccia pratica;

• Necessità di utilizzare i muscoli periferici: il sistema che necessita di movimenti muscolari può non essere adatto a tutti i potenziali utenti;

• Ampiezza della risposta ERP evocata: alcune GUI potrebbero evocare un segnale troppo debole da rilevare [2].

3.2 Matrici-speller: Successive modifiche del paradigma riga-colonna

Al fine di risolvere le problematiche legate al design della GUI di Farwell e Donchin [9], sono state avanzate diverse proposte. Quelle che vengono presentate di seguito hanno come principale modifica il cambiamento dello stimolo lampeggiante.

In un sistema speller a singolo carattere (SC), viene fatto lampeggiare casualmente un carattere alla volta con un breve ritardo tra i flash (Figura 9). Lo speller SC ha un ritardo più lungo tra i flash rispetto all'RC e la classificazione dei target può essere effettuata con meno flash per target. Con un flash di 60 ms e 40 ms tra un flash e l’altro, sono necessari 54 s per far lampeggiare ogni carattere 15 volte se viene utilizzata una matrice di 36 caratteri. Contrariamente, per l'RC si hanno flash (che illuminano l’intera riga/colonna) della durata di 100 ms, a distanza di 60 ms l’uno dall’altro, richiedendo così solo 28,8 secondi per presentare 30 flash di ciascun carattere. Di conseguenza, il paradigma RC è circa due volte più veloce di SC [7]. Nello studio condotto da Guger et al. [23], nel 2009, sono stati confrontati gli speller di SC e RC, in cui i soggetti RC

hanno raggiunto un'accuratezza media dell'85,3% e i soggetti SC hanno raggiunto il

77,9% [7]. Sempre nello stesso studio è stata confermata l’assunzione di Sellers e Donchin [24], secondo la quale l’ampiezza di P300 aumenta con la diminuzione della

probabilità che il target venga presentato, ovvero aumentando gli stimoli distrattori. Allo stesso tempo, però, sono necessarie più fasi per selezionare il singolo stimolo, quindi riducendo l’Information Transfer Rate (ITR) [15].

Figura 9 | Paradigma SC, in cui viene illuminato ogni carattere della GUI singolarmente (Tratto da [7]).

Nello studio di Yeom et al. [25], (Figura 10) invece di un singolo carattere per volta, venivano fatti lampeggiare 6 stimoli alla volta in un ordine casuale nella matrice 6 × 6. In questo modo si è potuto evitare l’errore del doppio flash poiché nessun carattere veniva fatto lampeggiare due volte di seguito, e anche il problema dell’adiacenza poiché non venivano fatte lampeggiare due lettere adiacenti contemporaneamente. In altre varianti proposte, venivano aumentati i caratteri illuminati per volta; in tutti i casi i risultati mostrano un notevole aumento dell’ITR, accompagnato, però, da una diminuzione dell’accuratezza rispetto al paradigma RC [2].

L’obiettivo di eliminare il problema dell’adiacenza e del doppio flash è centrale anche nello studio condotto da Jin-he et al. del 2012 [15]. Il sistema menzionato in questo studio ha mostrato prestazioni interessanti con un’accuratezza media del 99,7% e ITR di 26,8 bit / min. Qui viene proposto un paradigma chiamato SBP (da Submatrix-Based

Paradigm) in cui la tradizionale matrice 6 × 6 viene suddivisa in quattro matrici più

piccole e ogni volta vengono fatti lampeggiare contemporaneamente 4 simboli per volta, con un simbolo appartenente a ciascuna sottomatrice, come in Figura 11a. In questo caso, la matrice prende il nome di SBP433 poiché è formata da quattro sottomatrici, ciascuna di dimensioni 3 × 3 e richiede perciò 9 flash per ogni sequenza di illuminazione. Nello stesso studio, sono state proposte anche le matrici SBP623 (Figura 11b) e SBP633 (Figura 11c). I risultati hanno evidenziato che aumentando il numero dei caratteri nella matrice, l’accuratezza peggiora (SBP433 99.7%, SBP623 99.4%, SBP633 98.6%), ma rimane comunque più alta dell’accuratezza di RCP (97.7%), dimostrando che dividere la Matrice Speller in matrici più piccole può essere conveniente non solo per quanto riguarda la prestazione, ma risulta anche più comodo per gli occhi degli utenti, specialmente quando viene mostrato un solo carattere per matrice alla volta. L’approccio proposto da Jin-he et al. [15] porta quindi con sé diversi vantaggi:

• Eliminare gli errori di adiacenza e del doppio flash;

• Possibilità di modificare la grandezza delle sottomatrici senza peggiorare il tempo di riconoscimento;

• Possibilità di modificare il numero dei caratteri per ogni sottomatrice a favore dell’accuratezza [15].

a)

b)

c)

Figura 11 | a) SBP con 4 sottomatrici 3 × 3 (SBP433), ogni prova richiede 9 flash, ovvero uno per ogni carattere

presente in ciascuna sottomatrice; b) SBP con 6 sottomatrici 2 × 3 (SBP623), richiede 6 flash; c) B) SBP con 6 sottomatrici 3 × 3 (SBP633), richiede 9 flash (Tratto da [15])

Il paradigma dei bordi (EP da Edges Paradigm) è stato introdotto da Obeidat et al. [26] per superare i limiti della Matrice Speller di Farwell e Donchin. La differenza tra le matrici speller di EP rispetto a quella di RCP erano i punti luminosi che venivano aggiunti a sinistra di ogni riga dispari, a destra delle righe pari, sotto le colonne dispari e nella parte superiore di quelle pari; il primo passo (selezione riga) è mostrato nella

Figura 12. Questi punti venivano intensificati aumentando l'illuminazione piuttosto

che facendoli lampeggiare. Per la selezione della lettera desiderata, il soggetto doveva prima concentrarsi sul bordo della riga che conteneva la lettera target. Quindi, durante la seconda fase, il soggetto doveva focalizzarsi sul punto del bordo corrispondente alla colonna che conteneva il bersaglio.

Figura 12 | Un esempio di GUI con paradigma dei bordi di Obeidat et al., 2015 [26], che mostra l'intensificazione del punto nel bordo accanto alla terza riga. La figura sopra mostra "BCI" come parola target durante lo spelling e "B"

come carattere già selezionato (Tratto da [2]).

Il paradigma dei bordi è stato uno dei paradigmi che ha ottenuto il maggior successo per risolvere il problema di adiacenza. Poiché solo i bordi delle righe e delle colonne lampeggiavano e non i caratteri, il lampeggiamento dei caratteri veniva evitato, risolvendo così il problema di adiacenza e l’errore del doppio flash, riducendo il fastidio che potrebbe derivare da un uso prolungato di un RCP lampeggiante. Sebbene l'ITR medio (13.7 bit/min) del sistema non fosse elevato come quello di altri sistemi presentati, mostrava comunque un'elevata accuratezza (93.3.%).

Un totale di 14 partecipanti ha risposto a un questionario valutando i livelli di affaticamento e comfort confrontando RCP ed EP. I risultati hanno mostrato che l'EP ha causato meno fatica ed era più comodo da usare rispetto all'RCP. I vantaggi di questo sistema erano notevoli e, per quanto riguarda l'ITR relativamente basso, può essere regolato mediante l'addestramento, ad esempio [2].

3.3 Matrici speller con presentazione di visi familiari e simboli

Numerosi studi hanno rivelato che la percezione visiva di volti familiari coinvolge fortemente diversi ERP, che possono essere sfruttati per migliorare la classificazione.

Nello studio di Kaufmann et al. [14] è stata descritta una matrice speller 6 × 6, in cui ogni carattere era sovrapposto ad un'immagine semitrasparente di un volto familiare famoso (paradigma FF, Familiar Faces) come in Figura 13. In questo studio, hanno usato i volti di Albert Einstein o Ernesto "Che" Guevara. I caratteri venivano illuminati dall'apparizione del volto familiare dietro la riga o colonna stimolata. Il paradigma è stato confrontato con una classica Matrice Speller, ed è emerso che il nuovo paradigma dei volti familiari mostrava una selezione più rapida del bersaglio e un'accuratezza elevata comparabile grazie al fatto che i volti familiari inducevano una risposta ERP più elevata.

Figura 13 |Rappresentazione di una matrice speller ispirata a quella proposta da Kaufmann et al. La figura mostra "BRAIN" come parola target durante lo spelling e "B" come carattere già selezionato, mentre viene illuminata la

quarta colonna da destra. Nello studio di Kaufmann i visi erano di personaggi famosi ed erano rappresentati traslucidi (Tratta da [14])

Il paradigma GFF (Green Familiar Faces) di Li et al. [27] si basa sul paradigma appena presentato, modificando il colore del viso familiare in verde, poiché è stato dimostrato che le facce di colore verde evocano una risposta ERP ancora più elevata. È stato studiato un approccio simile anche da Yeom et al. [28]. Un RCP classico e paradigma di intensificazione casuale (Yeom et al. [25]) sono stati confrontati con i due paradigmi proposti. Il primo paradigma presentava il lampeggiamento casuale di un'immagine del volto dell’utente, mentre il secondo paradigma presentava un lampeggiamento casuale di immagini di un altro volto.

Quasi tutti gli speller menzionati che usano facce familiari hanno mostrato prestazioni relativamente elevate, maggiore accuratezza e ITR più veloce. L'obiettivo dell'utilizzo di volti familiari era quello di avere stimoli visivi più efficaci che suscitassero un segnale ERP più forte comportando una classificazione più accurata [2].

3.4 Matrici speller con predizione

Un altro approccio per rendere la Matrice Speller più veloce ed efficiente era l'aggiunta di un modulo allo speller che prevedeva e suggeriva le parole per una selezione da parte dell’utente. Nel 2011, Ryan et al. [29] hanno sviluppato una matrice 8 × 9 che mostrava caratteri, numeri e altri comandi sullo schermo, con la capacità di prevedere la parola desiderata e stampare a video suggerimenti in una finestra a parte tra cui l'utente poteva scegliere. Un anno dopo, Kaufmann et al. [30] hanno fornito una matrice 6 × 6 con parole predette presentate direttamente all’interno della matrice, come in Figura 14. Le parole suggerite lampeggiavano all'interno della matrice una volta che erano state predette. L'utente poteva selezionare la parola desiderata nello stesso modo in cui veniva selezionata una lettera target. Più tardi, una matrice speller modificata è stata sviluppata da Akram et al. [31, 32], in cui il dizionario incorporato mostrava le parole suggerite sul lato dopo che l'utente selezionava alcuni caratteri. Ogni parola aveva un numero corrispondente. Il secondo passo della selezione era tramite una matrice numerica 3 × 3, in cui ciascun numero corrispondeva a una delle parole suggerite.