Facoltà di Ingegneria
Laurea Specialistica in Ingegneria Biomedica
TESI DI LAUREA
Sviluppo di una tecnica di classificazione della risposta
emotiva tramite analisi "single-trial" di potenziali
evento-correlati elettroencefalografici
Anno accademico 2017/2018
RELATORI
Prof. Alberto Landi
Ing. Marco Laurino
CONTRORELATORE
Prof. Enzo Pasquale Scilingo
CANDIDATA
1
Indice
Introduzione ... 3
CAPITOLO PRIMO La caratterizzazione sperimentale psico-fisica delle emozioni ... 5
1.1 La classificazione delle emozioni ... 6
1.2 La neurobiologia delle emozioni ... 10
1.3 Procedure sperimentali per la caratterizzazione delle emozioni ... 14
1.3.1 Gli stimoli emotivi ... 15
1.3.2 Le tecniche di autovalutazione ... 16
1.3.3 Misure delle risposte emozionali: fisiologiche, comportamentali ed esperienziali . 20 1.4 Misure elettroencefalografiche ... 23
1.4.1 Il segnale EEG – Generalità ... 23
1.4.2 Classificazione delle emozioni mediante analisi dei segnali EEG ... 26
1.5 Obiettivo della Tesi ... 28
CAPITOLO SECONDO Protocollo sperimentale, pre-elaborazione dei segnali EEG ed estrazione dei trials relativi alle risposte emozionali ... 31
2.1 Protocollo sperimentale ... 32
2.2 Pre-elaborazione dei segnali EEG ed estrazione dei single-trial ... 33
CAPITOLO TERZO Sviluppo di un metodo per la classificazione della risposta emotiva mediante analisi single-trial ... 44
3.1 Estrazione delle caratteristiche ... 44
2
3.1.2 Features estratte nel dominio della frequenza: densità spettrale di potenza (DSP) . 51
3.1.3 Indice di connettività cerebrale: indice di sincronizzazione di fase (PSI) ... 53
3.1.4 Indici di entropia: entropia differenziale ed entropia di Shannon ... 54
3.2 Selezione delle caratteristiche ... 55
3.2.1 Valutazione statistica delle features selezionate ... 58
3.3 Classificazione dei single-trial mediante metodi di classificazione supervisionata 59 3.3.1 L’algoritmo K-Nearest Neighbor (KNN) ... 60
3.3.2 L’algoritmo Support Vector Machines (SVM) ... 61
3.3.3. L’albero decisionale ... 62
3.3.4 L’ANN (Rete Neurale Artificiale) ... 63
3.4 Sviluppo di un sistema di multi-classificazione ... 64
Risultati ... 67
Discussione ... 74
Features selezionate ... 74
Utilizzo delle tecniche di classificazione singole ... 79
I benefici del multi-classificatore... 80
Conclusioni ... 82
Bibliografia... 84
3
Introduzione
Le emozioni ricoprono un ruolo fondamentale nella vita di ogni essere umano e lo sviluppo di strumenti in grado di caratterizzarle costituisce una delle maggiori sfide della ricerca scientifica. Diverse branche della scienza quali la psicologia, la filosofia, le neuroscienze e la biologia hanno contribuito al raggiungimento di questo obiettivo attraverso lo sviluppo di modelli e teorie per la categorizzazione delle emozioni e tentando di descrivere i processi neurali sottostanti la manifestazione di uno stato affettivo.
Nell’ambito dell’Ingegneria Biomedica, la ricerca di sistemi e algoritmi per il riconoscimento delle emozioni si è focalizzata negli ultimi anni sull’utilizzo del segnale elettroencefalografico come misura della risposta emozionale.
Le ragioni di questa scelta risiedono nelle caratteristiche di non invasività ed elevata risoluzione temporale dell’elettroencefalografia che consentono di registrare con precisione l’attività cerebrale associata alla manifestazione degli stati emotivi; in aggiunta, negli ultimi anni, si è avuto una grande sviluppo nel campo dell’analisi del segnale elettroencefalografico e si ha quindi la disponibilità di un elevato numero di tecniche di elaborazione dei segnali applicabili a tale tipologia di segnali.
Inoltre, la crescente presenza di sistemi robotici nella vita quotidiana e il progresso nell’ambito delle Brain Computer Interfaces (BCI) ha contribuito all’incremento dell’interesse della Bioingegneria verso lo sviluppo di sistemi per il riconoscimento automatico delle emozioni.
In questo lavoro di Tesi è stata effettuata l’analisi di segnali elettroencefalografici acquisiti in seguito a una stimolazione emotiva visiva con l’obiettivo di sviluppare una tecnica efficace di
4
classificazione degli stati affettivi, basata sulla classificazione non della risposta media su tutte le stimolazioni ma sulla risposta al singolo stimolo.
Nel primo Capitolo verrà realizzata una sintesi dei risultati della ricerca scientifica riguardante la caratterizzazione psico-fisica delle emozioni, con riferimenti alle teorie proposte per la classificazione, alla neurobiologia degli stati affettivi e alle procedure sperimentali esistenti per la classificazione degli stati emotivi, con l’obiettivo di fornire le conoscenze necessarie per approcciarsi alla successiva fase di analisi. Nel secondo Capitolo verranno descritti il protocollo sperimentale per l’acquisizione dei segnali elettroencefalografici e la fase di pre-elaborazione degli stessi necessaria per condurre la successiva analisi volta alla classificazione. Il Capitolo 3 sarà dedicato alla descrizione della procedura seguita per l’analisi svolta in ogni suo passaggio e allo sviluppo del sistema di classificazione proposto in questo lavoro. Infine verrà effettuata la descrizione dei risultati dell’analisi svolta con relativa discussione degli stessi.
5
CAPITOLO PRIMO
La caratterizzazione sperimentale psico-fisica delle emozioni
La capacità di provare emozioni costituisce una delle più importanti caratteristiche dell’essere umano. Per moltissimo tempo, lo studio delle emozioni è rimasto confinato a branche della scienza quali la psicologia e la filosofia ed è stato trascurato da altre discipline, quali la biologia e l’ingegneria. Negli ultimi anni le cose sono cambiate. Lo sviluppo delle neuroscienze, delle tecniche di neuroimaging, e uno sguardo più attento alle teorie evoluzionistiche hanno reso evidente quanto l’emozione sia cruciale per la sopravvivenza e per una buona qualità della vita dell’essere umano catturando l’interesse di diversi settori scientifici. Non è un caso che le strutture cerebrali maggiormente coinvolte nella percezione e nella regolazione degli stati affettivi, non solo risultano molto simili per organizzazione e sviluppo in tutti i mammiferi, ma costituiscono anche le componenti filogeneticamente più antiche. Questo conferma quanto le emozioni siano necessarie per la sopravvivenza e per la continuazione della specie. Le emozioni sono presenti in ogni istante della nostra esistenza e svolgono un ruolo fondamentale nei processi di decision-making. Per alcune emozioni questo è più evidente, basti pensare all’importanza di provare paura per evitare le situazioni di pericolo; per altre il ruolo nel garantire la sopravvivenza è più difficile da comprendere, ma ogni emozione ha la sua “utilità” in questo senso. L’emozione è inoltre strettamente legata alla memoria, in quanto lo stato emotivo di cui si fa esperienza in una particolare situazione si consolida nella memoria e viene richiamato ogni qualvolta ci si trova a fronteggiare una situazione simile, influenzando profondamente, anche se spesso in modo inconsapevole, ogni comportamento che ne consegue.
6
Lo studio delle emozioni appare dunque imprescindibile per la comprensione del comportamento umano e dei meccanismi psicofisiologici che lo sottendono, e non può assolutamente essere trascurato.
1.1 La classificazione delle emozioni
Per approcciarsi a questo campo, si parte allora dalla ricerca di una definizione di emozione. Definire un'emozione non è semplice, in quanto in essa sono racchiusi un elevato numero di processi. Nel corso degli anni neuroscienziati, informatici, filosofi, psicologi, e studiosi delle discipline più disparate si sono susseguiti nell'introdurre modelli e teorie che potessero definire l'emozione in modo esauriente. Tuttavia, essendo l'emozione un fenomeno complesso, non esiste una definizione in grado di caratterizzarla completamente. In ogni caso, si può considerare l’emozione come un insieme di risposte fisiologiche e comportamentali, sollecitate da numerosi stimoli, interni o esterni, e influenzate da fattori quali la personalità, le esperienze passate e l’ambiente. Per quanto riguarda invece la classificazione delle emozioni, esistono due principali correnti di pensiero: una prevede una classificazione di tipo categoriale, l'altra di tipo dimensionale. La prima è stata per anni il paradigma regnante nell'ambito della ricerca sulle emozioni e prevede una distinzione delle emozioni in categorie discrete e indipendenti. Potremmo immaginare le emozioni come uno spettro che varia da emozioni di base (innate, automatiche e rapide come i riflessi) ad emozioni altamente cognitive (che coinvolgono molti più processi corticali e sono emozioni sociali, ovvero richiedono la presenza di altre persone per poter essere provate) ad emozioni culturalmente specifiche. Le emozioni di base (ad esempio paura, disgusto, sorpresa, rabbia, sofferenza e gioia) e quelle altamente cognitive (come l'amore romantico, la vergogna, l'imbarazzo, l'orgoglio, la gelosia, il senso di colpa, l'invidia) sono emozioni universali anche se le seconde sono maggiormente variabili a seconda della cultura. Le emozioni culturalmente specifiche invece si verificano solo se si presentano
7
determinate condizioni (Evans; 2001). La classificazione di tipo categoriale, introdotta da Ekman (Ekman; 1992) considera le emozioni come entità discrete e indipendenti le une dalle altre in termini di comportamento e di manifestazioni fisiologiche e psicologiche. Suggerisce inoltre che ad ogni emozione sia associato un sistema neurale specifico. I ricercatori che nel corso degli anni hanno condotto indagini volte a dimostrare la veridicità di questa teoria, hanno effettuato esperimenti su animali, studi su espressioni facciali e risposte periferiche e studi delle risposte affettive nei bambini. La maggior parte degli esperimenti sugli animali è stata condotta osservando i comportamenti di animali ai quali venivano stimolati specifici percorsi neurali oppure misurando l’attività cerebrale dopo averli costretti ad assumere un determinato comportamento. In questo modo è stata costruita una classificazione delle emozioni e dei percorsi neurali associati ad esse (Panksepp et al, 1998). Tuttavia questo tipo di studi presenta un limite invalicabile: la tassonomia delle emozioni è stata realizzata basandosi esclusivamente sull'interpretazione di un comportamento. Pertanto, la validità di queste ricerche sarebbe dovuta essere confermata da studi sull’essere umano, i quali però si sono rivelati per lo più inconsistenti. I primi studi condotti su esseri umani si sono concentrati sull'osservazione delle espressioni facciali ed erano volti a dimostrare la loro universalità. Le espressioni sono difatti universali, anche se leggermente variabili, soprattutto in termini di intensità (Ekman, 1987). Studi successivi hanno poi avanzato l'ipotesi che ad ogni emozione di base fossero associate: un'espressione facciale e risposte periferiche caratteristiche. Quest’ipotesi è stata però ampiamente smentita. Per esempio, già nel 1993 Paul Ekman, osservò sia che non tutte le emozioni sono accompagnate da un'espressione caratteristica, ma anche che alcune espressioni sono associate a più di un'emozione (Ekman et al, 1993). Inoltre è stato anche dimostrato che non esistono specifici patterns di attivazione associati alle emozioni di base (Cacioppo et al; 2000). Si può dunque affermare che le espressioni facciali sono una delle caratteristiche delle emozioni, ma non esiste una specificità e dunque non sono una misura sufficiente, anche se associate con misure fisiologiche periferiche, a classificarle. Le ultime ricerche a sostegno del
8
modello categoriale si sono concentrate sullo studio delle risposte affettive nei bambini. È risultato evidente che le emozioni di base sono già grossomodo presenti appena dopo la nascita, mentre è assente una classificazione definita delle emozioni, possibile solo con l'apprendimento del linguaggio verbale (Posner et al; 2005). Questa teoria dello sviluppo della capacità di discernere le emozioni è stata confermata anche dal modello dimensionale. Il modello di tipo categoriale presenta dunque diversi limiti tra i quali l'impossibilità di comprendere i fondamenti neurologici alla base dell'insorgere di emozioni e di identificare specifiche risposte periferiche ed espressioni facciali associate alle emozioni di base. Inoltre, non spiega alcuni fenomeni come ad esempio la coesistenza tra più disturbi mentali (Posner et al; 2005). Il modello dimensionale, a differenza di quello categoriale, non considera le emozioni come entità a sé stanti, ma piuttosto definisce l’esperienza affettiva come “un continuum di stati altamente intercorrelati e spesso ambigui” (Posner et al; 2005). Questo modello si rivela più realistico e vicino al sentire comune. È raro infatti che una persona riesca a identificare in modo esclusivo un'emozione, mentre è più probabile che, ad esempio, una persona che si trova in un momento di gioia, provi anche altre sensazioni positive.
Esistono diversi tipi di modelli dimensionali, la maggior parte dei quali prevede due dimensioni (positivo-negativo, valenza-eccitazione, avvicinamento-evitamento). Tutti i modelli si sono rivelati consistenti e supportati da prove empiriche. Tra questi il modello che ha ricevuto il maggior consenso è quello introdotto da Russell nel 1980: il modello circonflesso delle
emozioni (Russell; 1980). Questo modello considera ogni emozione come la combinazione
lineare di due dimensioni:
1. Valence (Valenza), intesa come valenza in termini di piacevolezza-spiacevolezza; 2. Arousal (Eccitazione), intesa come intensità in termini di attivazione fisiologica
correlata.
Ad esempio, la felicità è uno stato che prevede una valenza molto positiva e un livello di eccitazione basso.
9
Figura 1 Rappresentazione grafica del modello circonflesso delle emozioni. L’asse orizzontale rappresenta la dimensione della valenza, l'asse verticale la dimensione dell'arousal. Figura presa da: Posner et al; 2005.
Il modello circonflesso delle emozioni è supportato da diverse prove empiriche: infatti i valori di molti parametri fisiologici variano al variare dei valori di valence e arousal. Il battito cardiaco accelera con l’aumentare dei livelli di arousal, e lo stesso vale per la conduttanza della pelle e per l’attivazione cerebrale. In modo analogo, l’attività del muscolo zigomatico maggiore, uno dei muscoli impegnati nella formazione del sorriso, è linearmente correlata ai valori positivi e l’attività del corrugatore, il cosiddetto muscolo della disapprovazione, ai valori negativi della valenza. Un altro modello molto diffuso, il cosiddetto modello di Ginevra, prevede l’aggiunta di una terza dimensione al modello di Russell: la dominance. Quest’ultima, tradotta letteralmente come dominanza, è intesa come sensazione di controllo su una situazione (Scherer et al 2016; Rodriguez et al; 2016). Queste evidenze, oltre alla possibilità di spiegare la
10
comorbilità tra diversi disturbi psichici, hanno favorito l’affermarsi del modello dimensionale rispetto a quello categoriale. In generale, è possibile affermare che le risposte emozionali riflettono le dimensioni piuttosto che gli stati discreti, ma bisogna tuttavia precisare che nessuno dei due modelli di classificazione risulta migliore in assoluto.
1.2 La neurobiologia delle emozioni
Come già accennato nel paragrafo precedente, la complessità dell’emozione rende impossibile darne una definizione completa e soddisfacente. Tuttavia, anche se la scienza non è in grado di spiegare che cos’è un’emozione, può però descrivere i meccanismi cerebrali che stanno alla base dello stato affettivo. Come è noto, l’esperienza emozionale include un insieme di risposte fisiopsicologiche e comportamentali. Tutti abbiamo esperienza di alcune di esse, basti pensare al rossore dovuto all’imbarazzo o alla sudorazione delle mani quando si è agitati. Quelli appena citati sono solo due esempi dei numerosi effetti fisiologici risultanti dall’interpretazione degli stimoli da parte del sistema nervoso centrale e dalla conseguente selezione della risposta emozionale. A questo proposito è opportuno fare una distinzione tra stato emotivo e sentimento (feeling). Il primo è costituito dall’insieme di risposte (fisiologiche e comportamentali) che derivano dalla discriminazione degli stimoli e, a dispetto dell’opinione comune, non ha carattere soggettivo, in quanto le modalità con cui il cervello processa le informazioni per selezionare la risposta emozionale sono uguali per tutti gli esseri umani e possono pertanto essere studiate senza sconfinare nell’ambito dei sentimenti. I sentimenti invece derivano dalla consapevolezza dello stato emotivo che si sta attraversando, e hanno carattere soggettivo. Quindi non sono richiesti sentimenti, ovvero consapevolezza dei propri processi cognitivi per produrre una risposta emozionale; i sentimenti entrano in gioco successivamente alla manifestazione dello stato emotivo (Le Doux et al; 2006). Proprio per questo le emozioni possono essere studiate in termini dei processi cerebrali ad esse associati, i quali costituiscono l’oggetto di studio della
11
neurobiologia delle emozioni. Per lungo tempo la ricerca delle basi neurali del comportamento emozionale si è concentrata attorno al concetto di sistema limbico. La nozione di sistema limbico affonda le sue radici nel concetto di lobo limbico, definito da Paul Broca negli anni ’50 come quella porzione di corteccia cerebrale che forma un limbus ovvero un margine attorno al corpo calloso. La definizione di sistema limbico è un’estensione di quella del lobo. Esso occupa la parte più profonda del cervello, costituisce la sua componente più antica in termini evolutivi, ed è stato considerato a lungo “il sistema delle emozioni”. Questa interpretazione è stata però superata in quanto diversi studi hanno reso evidente che molte altre regioni neurali sono coinvolte nei processi emozionali. Tuttavia il sistema limbico ricopre comunque un ruolo rilevante.
La discussione su quali e quante strutture facciano parte del sistema limbico è ancora aperta, pertanto in questa trattazione citerò solo quelle che raccolgono il consenso unanime della comunità scientifica.
Le strutture a cui faccio riferimento sono:
• la circonvoluzione del cingolo (o corteccia cingolata); • l’amigdala (o corpo amigdaloideo);
12 Figura 2 Sistema limbico
La prima costituisce la porzione corticale del sistema, la seconda e la terza le componenti subcorticali. Il ruolo di queste componenti nel processo emozionale è stato investigato mediante studi di diverso genere: esperimenti su animali, su soggetti sani e con lesioni cerebrali, utilizzando l’elettroencefalografia e le tecniche di neuroimaging. In linea generale si può affermare che lo stato emozionale è il risultato di un processo dinamico ben definito che si può riassumere grossolanamente in questo modo: immediatamente dopo la presentazione di uno stimolo, l’attività cerebrale derivante dall’identificazione dello stimolo viene processata dall’ipotalamo che scatena gli effetti fisiologici associati all’esperienza emozionale (ad esempio l’incremento del ritmo cardiaco); i segnali elaborati vengono inviati all’amigdala che si occupa di confrontarli con le esperienze passate.
L’amigdala risulta in particolare coinvolta nella manifestazione della paura, della reazione di sorpresa e in generale di emozioni negative (Mauss et al; 2009). Il sistema limbico e in particolare la corteccia cingolata è strettamente interconnessa con altre aree della corteccia cerebrale. Nel dettaglio, le strutture esterne al sistema che risultano maggiormente coinvolte nella regolazione degli stati affettivi sono:
13
il lobo frontale, implicato nelle emozioni di gioia, tristezza e disgusto (Murugappan et al; 2010);
il lobo temporale, implicato nelle emozioni di tristezza e paura (Murugappan et al; 2010),
l’insula, strettamente connessa con la sensazione di disgusto, (Phillips et al; 2003).
Figura 3 Strutture maggiormente coinvolte nel processing degli stati emozionali
Infine è interessante sottolineare che entrambi gli emisferi del cervello partecipano all’elaborazione delle emozioni, ma danno contributi di tipo diverso. È stata infatti riscontrata un’asimmetria nell’attività cerebrale dei due emisferi legata alla valenza degli stati emotivi di cui si fa esperienza: l’emisfero sinistro risulta maggiormente coinvolto nell’elaborazione degli stati emozionali positivi, mentre l’emisfero destro presenta una maggiore attivazione nell’elaborazione degli stati emozionali negativi.
L’emisfero destro svolge inoltre un ruolo rilevante:
nell’abilità di manifestare le proprie emozioni attraverso l’intonazione e il ritmo dato alla voce durante un discorso. È stato infatti osservato che pazienti con lesioni
14 all’emisfero destro manifestano aprosodia1.
nella capacità di cogliere le sfumature in un discorso e di riconoscere le emozioni attraverso l’osservazione delle espressioni facciali;
nella velocità e intensità di esecuzione di un’espressione facciale. La maggior parte delle persone sono infatti left-faced ovvero esprimono meglio e più velocemente le emozioni mediante la muscolatura del lato sinistro (controllata dall’emisfero destro).
1.3 Procedure sperimentali per la caratterizzazione delle emozioni
La conoscenza delle basi neurologiche legate all’insorgere e al manifestarsi delle emozioni e dei modelli di classificazione è fondamentale per condurre studi volti alla “misura” quantitativa degli stati emotivi.
Numerosi studi negli ultimi anni si sono concentrati sulla ricerca di un protocollo standardizzato per la comprensione delle emozioni. L’obiettivo è quello di ottenere una classificazione delle emozioni provate mediante l’analisi di risposte fisiologiche di diverso tipo. Il protocollo sperimentale seguito in questo tipo di studi prevede la somministrazione di stimoli in grado di provocare emozioni ai partecipanti e la contemporanea misura di risposte fisiologiche. I partecipanti devono poi effettuare un’autovalutazione delle emozioni provate. I dati acquisiti vengono elaborati e analizzati e le emozioni vengono classificate. Il confronto con i risultati ottenuti nell’autovalutazione consente di stimare l’accuratezza del metodo usato.
1 Aprosodia: condizione neurologica caratterizzata dall’incapacità di chi ne soffre di comunicare correttamente i
15
1.3.1 Gli stimoli emotivi
I metodi che vengono utilizzati per provocare nei partecipanti l’insorgere di un’emozione sono di diverso tipo. Possono essere utilizzati stimoli visivi (immagini) o audio-visivi (videoclip) da mostrare ai partecipanti a intervalli predefiniti, oppure stimoli audio (musica o suoni) da fare ascoltare, o ancora si può richiedere ai partecipanti di richiamare alla memoria esperienze passate dal forte contenuto emotivo (Murugappan; 2010). Gli stimoli vengono somministrati in numero ben preciso e ad intervalli predefiniti. Gli stimoli utilizzati possono essere definiti da chi conduce lo studio, oppure possono essere scelti all’interno di archivi di materiale standardizzato. In alcuni studi ad esempio sono state utilizzate colonne sonore di film che hanno vinto il premio Oscar (Lin et al; 2007), in altri sono stati scelti brani musicali di diverso genere (Stelios et al; 2012). Nella maggior parte dei casi però la scelta ricade sull’utilizzo di materiale standardizzato, che permette un maggior controllo sperimentale nella selezione degli stimoli, nonché la possibilità di confrontare i risultati di diversi studi (Lang et al;1997). Il materiale standardizzato citato è stato messo a punto dal CSEA, il Centro per lo Studio dell’Emozione e dell’Attenzione dell’Università della Florida, il quale ha messo a disposizione diversi archivi:
Il IAPS (International Affective Picture System), un set di immagini valutate da diversi soggetti, sia uomini che donne, in termini di valence, arousal e dominance (Lang et al; 2008);
Il IADS (International Affective Digital Sounds), un set di stimoli acustici (Bradley et al; 1999).
Questi sets sono stati costruiti in modo da riempire tutto lo spazio affettivo, e difatti contengono stimoli che coprono un ampio intervallo di categorie semantiche.
In aggiunta a questi due insiemi di stimoli, sono stati realizzati anche:
Il ANEW (Affective Norms for English Words), un insieme di indici emozionali per un grande numero di parole (valutate in termini di valence, arousal e dominance) in lingua
16 inglese (Bradley et al; 1999);
Il ANET (Affective Norms of English Text), un insieme di indici emozionali per un gran numero di brevi testi (come negli altri casi valutati in termini di valence, arousal e
dominance) in lingua inglese (Bradley et al, 2007).
Esiste infine anche un insieme di stimoli audio-visivi: l’International Standard Emotional Clips (www.stanford.edu). Per quanto riguarda invece la scelta del tipo di stimolo da utilizzare, ci sono diversi fattori da considerare, a partire dall’obiettivo dello studio in questione. In generale però, è stato dimostrato che gli stimoli visivi, rispetto a quelli audio, possono suscitare emozioni più facilmente, ma che per provocare emozioni più forti, la scelta migliore ricade sugli stimoli audio-visivi (Murugappan et al; 2009).
1.3.2 Le tecniche di autovalutazione
Dopo l’esperimento, ai partecipanti viene in genere richiesto di effettuare un’autovalutazione delle emozioni provate in risposta agli stimoli a cui sono stati sottoposti. L’autovalutazione è una fase fondamentale per stabilire l’accuratezza del metodo di classificazione utilizzato. Diversi sono gli studi che sono stati condotti per stabilire la validità delle diverse tecniche di autovalutazione. A prescindere dalla metodologia utilizzata, possono essere fatte delle osservazioni generali. Tutte le valutazioni dell’esperienza emotiva sono influenzate dalla percezione di sé che hanno gli individui che la effettuano. La consapevolezza e la coscienza delle proprie emozioni ma anche la volontà di comunicarle e riportarle possono compromettere i reports. Come è facilmente intuibile, ad esempio, soggetti affetti da alessitimia2 presentano notevoli difficoltà nel descrivere i propri stati emotivi (Lane et al;1997), mentre i soggetti con un fattore di desiderabilità sociale elevato3 hanno più difficoltà a registrare e riportare le
2 Disturbo che compromette la consapevolezza e la capacità descrittiva degli stati emotivi (da www.treccani.it). 3 Effetto di disturbo durante uno studio dovuto alla tendenza dei soggetti di dare risposte che possano risultare
17
emozioni negative (Welte et al; 1993). Non si riscontrano invece differenze di genere nella capacità di descrivere i propri stati emotivi, a dispetto degli stereotipi diffusi nella società (Barrett et al; 1998). Le differenze che sussistono tra i diversi individui non sono però superabili perciò, nello sviluppare tecniche di autovalutazione, ci si concentra su altri aspetti. In generale si può affermare che sono più attendibili le valutazioni che riguardano emozioni correnti o di cui si è appena fatta esperienza piuttosto che emozioni distanti nel tempo (Robinson et al; 2002). Inoltre risultano maggiormente affidabili i metodi che si affidano alle dimensioni per descrivere gli stati emozionali (Watson; 2000). Le tecniche di autovalutazione esistenti sono molteplici ma si possono suddividere in due categorie: verbali e non verbali. Il vantaggio principale nell’utilizzare un metodo visuale piuttosto che uno verbale risiede nella mancanza di interferenze linguistiche. A seguire la descrizione di due delle tecniche di autovalutazione più diffuse:
1. Il SAM (Self-Assessment Manikin), un metodo visuale;
2. la scala semantica differenziale, che rientra nelle tecniche verbali.
Il SAM è uno degli strumenti più utilizzati per l’autovalutazione dell’esperienza emotiva. È un metodo visuale che utilizza l’approccio dimensionale per descrivere le emozioni. In particolare costituisce una rappresentazione del modello PAD (Pleasure-Arousal-Dominance) introdotto da Mehrabian e Russell nel 1974. È costituito da tre righe, relative alle tre dimensioni e ciascuna riga è composta da cinque immagini che descrivono in modo semplice e intuitivo i diversi livelli di piacere, eccitazione e dominanza (Figura 4). La valutazione dell’emozione suscitata viene effettuata assegnando una ‘X’ sull’immagine che rispecchia maggiormente lo stato emotivo. Inizialmente il SAM veniva implementato utilizzando dei computer, ma successivamente si è diffusa una versione cartacea, utile quando bisogna effettuare un gran numero di valutazioni (Bradley e Lang; 1994). I risultati del SAM possono essere valutati graficamente direttamente in uno spazio bidimensionale chiamato spazio affettivo mostrando che, nonostante pleasure e
18
arousal non siano linearmente correlati, incrementi nei livelli di pleasure e displeasure sono
accompagnati generalmente da incrementi del livello di arousal (Lang et al; 1993).
Figura 4 SAM (Self-Assessment Manikin); presa da Bradley e Lang; 1994
Anche la scala semantica differenziale si affida all’approccio dimensionale per descrivere gli stati emotivi. Ideata da Mehrabian e Russell nel 1974, è costituita da 18 coppie di aggettivi bipolari (ad esempio unhappy-happy); ogni coppia deve essere valutata su una scala a 9 punti (Mehrabian e Russell; 1974). Una successiva analisi fattoriale consente di assegnare un valore alle dimensioni di piacere, eccitazione e dominanza (Figura 5). Risulta immediato osservare che l’applicazione di questa tecnica richiede un grande investimento in termini di tempo e sforzo da parte di chi la utilizza; richiede l’applicazione di tecniche statistiche per conoscere i risultati in termini di dimensioni ed inoltre è difficile da usare per chi non parla inglese (Bradley e Lang; 1994).
19
Figura 5 Scala semantica differenziale; presa da Bradley e Lang; 1994
Il SAM invece non presenta i problemi sopra citati. Innanzitutto copre l’intervallo completo delle emozioni possibili; inoltre è facile da usare e non dipende dalla lingua parlata o dalla cultura a cui appartiene chi lo utilizza; si può compilare in meno di 15 secondi e può essere utilizzato facilmente anche dai bambini. Per tutte queste ragioni, il SAM risulta essere lo strumento di autovalutazione più utilizzato nello studio delle emozioni.
20
1.3.3 Misure delle risposte emozionali: fisiologiche, comportamentali ed
esperienziali
La natura stessa dell'emozione come fenomeno costituito da una moltitudine di processi suggerisce che non può esistere una sola "cosa" che identifica e definisce un'emozione, e che dunque non esiste un gold standard nella misura delle risposte emozionali; piuttosto tutte le risposte sono rilevanti nella comprensione delle emozioni (Mauss et al; 2009). Il fine ultimo delle misure è l'associazione tra le emozioni provate in risposta ad uno stimolo e patterns discreti e invarianti di risposte. In questo senso è quindi importante chiedersi quale approccio è più indicato considerare, tra quello dimensionale e quello discreto. Un'attenta analisi delle risposte emozionali e numerosi studi hanno dimostrato che è comunque preferibile adottare l'approccio dimensionale che copre un più ampio intervallo di misure ed ha un maggior valore esplicativo. In sostanza, le risposte emozionali riflettono le dimensioni piuttosto che gli stati discreti, anche se esiste un numero ridotto di misure con un elevato grado di specificità. Le risposte emozionali coprono un'ampia gamma di misure, che possono essere suddivise in 4 gruppi:
misura della fisiologia periferica;
misura della reazione di sorpresa) (startle response); misure del comportamento;
misure dell'attività del sistema nervoso centrale.
Per quanto riguarda la prima categoria, gli indici che vengono comunemente utilizzati appartengono a due categorie: quelli che misurano la risposta elettrodermica (principalmente la conduttanza della pelle) e quelli che misurano la risposta cardiovascolare (ad esempio il battito cardiaco, la pressione del sangue , la risposta periferica totale, l’output cardiaco Questi parametri riflettono l’attività del Sistema Nervoso Autonomo e la loro analisi ha portato alla
21
conclusione che la singola misura, qualunque essa sia, non è associata a categorie emozionali specifiche. Piuttosto è auspicabile che la considerazione di misure multiple possa portare un grado accettabile di specificità nell'associazione di stati emozionale con patterns di attivazione del sistema nervoso autonomo. Tuttavia questo campo di ricerca è ancora agli esordi, e l’unica certezza è che le misure del sistema nervoso autonomo rispondono direttamente agli aspetti dimensionali e non a quelli categoriali. Passando alla seconda categoria, la misura dell'ampiezza della reazione di sorpresa in risposta ad uno stimolo risulta utile nella classificazione delle emozioni poiché l’intensità della reazione è correlata con i valori di valenza dello stimolo utilizzato per suscitarla. Sono diverse le azioni motorie conseguenti ad una reazione di sorpresa; tra queste vi sono il battito di ciglia e la tensione del collo e dei muscoli della schiena. Il parametro misurato generalmente è l'elettromiogramma associato al battito di ciglia; l'elettrodo viene posizionato sopra il muscolo orbicularis oculi. Lo stimolo usato è lo startle probe, un picco di rumore bianco nel range 95-110 dB con durata di 50 ms. L'ampiezza della risposta di sorpresa risulta associata alla valenza emozionale ed è più ampia nel caso di stimoli a valenza negativa. Questa caratteristica potrebbe essere una conseguenza della funzione protettiva della risposta di sorpresa, modulata dall'amigdala; essa costituisce un'interruzione di comportamento che facilita la vigilanza in caso di potenziale pericolo. L'area di ricerca relativa alla classificazione delle emozioni sulla base del comportamento si occupa di osservare tre caratteristiche del comportamento umano: le proprietà della voce, le espressioni facciali e la postura del corpo. Le proprietà della voce più frequentemente analizzate sono l'ampiezza e il
pitch (la frequenza fondamentale) che risultano entrambe correlate linearmente con l’arousal:
ad incrementi dei valori di queste due caratteristiche corrispondono incrementi nel livello di
arousal. Le espressioni facciali sono state le prime caratteristiche ad essere associate alle
emozioni e numerosi studi sono stati svolti in proposito. In generale esse appaiono particolarmente sensibili alla dimensione di valenza. L'associazione tra espressione ed emozione può essere ricercata:
22
ricorrendo a sistemi di riconoscimento automatico computerizzato delle azioni facciali, che consentono di codificare le espressioni (sulla base della rilevazione e successiva valutazione di numerosissimi movimenti muscolari e delle loro combinazioni) e associarle con le emozioni di base;
studiando i movimenti di gruppi specifici di muscoli misurati con un elettromiogramma. Tra i muscoli misurati citiamo il corrugatore e il muscolo zigomatico maggiore, di cui si è già trattato nel paragrafo relativo ai modelli di classificazione.
Un'ultima misura da prendere in considerazione è la postura del corpo. Nonostante finora siano stati condotti ancora pochi studi in merito, è emerso che la postura risulta legata a due emozioni in particolare: l’orgoglio e l’imbarazzo, associati rispettivamente ad una postura più e meno espansiva. Tutte le misure viste finora, si concentrano sull’osservazione, la misura e l’analisi di risposte fisiologiche, risposte che costituiscono però la conseguenza dell’attività cerebrale legata ai processi emozionali. Passiamo quindi all’ultima categoria di misure, che si focalizza sull’attività del sistema nervoso centrale. Per studiare l'attività cerebrale associata con gli stati emozionali è possibile ricorrere o a tecniche di neuroimaging funzionale (PET, fMRI) o all’elettroencefalografia. Le tecniche di neuroimaging consentono di visualizzare l'attivazione di diverse aree cerebrali in corrispondenza di particolari situazioni. L’insorgere di uno stato emozionale coinvolge tutto il cervello e non solo una regione, ma ci sono aree che svolgono un ruolo più importante di altre. Inizialmente gli studi fatti in proposito hanno evidenziato l'associazione tra specifiche emozioni e specifiche aree cerebrali (attivazione dell’amigdala quando si prova paura, attivazione della corteccia prefrontale mediale quando si prova tristezza, e dell’insula quando si prova disgusto). Successivamente è però apparso evidente che, più che riflettere specifiche emozioni, l'attività delle aree cerebrali fosse associata alle dimensioni e in particolare alle dimensioni di avvicinamento-evitamento. Le tecniche di neuroimaging risultano quindi utili nella localizzazione dell’attività cerebrale conseguente al manifestarsi di vari stati emotivi. Di contro, costituiscono una tecnica invasiva e che poco si presta ad essere utilizzata
23
in un ampio intervallo di condizioni sperimentali; inoltre non riescono a catturare gli aspetti temporali delle risposte emotive. L’elettroencefalografia al contrario dà la possibilità di valutare le risposte emotive con un’elevata risoluzione temporale e in modo non invasivo e questo costituisce un enorme vantaggio poiché le risposte neurali agli eventi affettivi rientrano nell’ordine dei millisecondi. Pertanto l'elettroencefalografia è stata ampiamente utilizzata come misura delle risposte emozionali. Una vasta parte di studi sull'EEG si sono concentrati, soprattutto negli anni '90 sul concetto di asimmetria frontale (ovvero l’asimmetria nell'attivazione dell'emisfero destro e sinistro del cervello). Inizialmente questi studi ipotizzavano che la maggiore attivazione dell'emisfero sinistro fosse legata e esperienze positive e quello destro a esperienze negative. Studi successivi invece hanno invece mostrato che l'asimmetria frontale è sensibile alle dimensioni di avvicinamento ed evitamento. Nello specifico l'attivazione dell'emisfero sinistro riflette gli stati correlati all'avvicinamento, l'attivazione dell'emisfero destro riflette gli stati correlati all'evitamento.
1.4 Misure elettroencefalografiche
1.4.1 Il segnale EEG – Generalità
L’elettroencefalografia misura l’attività elettrica della corteccia cerebrale mediante l’applicazione di elettrodi sullo scalpo. A gettare le basi per lo sviluppo di questa tecnica fu Hans Berger che nel 1924 effettuò la prima registrazione dei segnali elettrodi cerebrali su un essere umano, utilizzando delle strisce di metallo posizionate sullo scalpo e un galvanometro come strumento per la registrazione. Dal 1924 in poi vi è stato un crescente sviluppo delle modalità di registrazione e acquisizione dei segnali elettroencefalografici. I segnali elettrici cerebrali misurati mediante l’elettroencefalografia possono essere suddivisi in tre gruppi:
24
l’attività spontanea, i potenziali evocati e gli eventi bioelettrici associati ai singoli neuroni. L’attività spontanea è sempre presente nel cervello, e può essere misurata sullo scalpo o, in casi sperimentali, direttamente sulla corteccia cerebrale. Nel primo caso l’ampiezza dei potenziali varia tra i 10 e i 100 µV, nel secondo caso può raggiungere i 300 µV. Il range di frequenze interessato varia da 1 a 50 Hz. I potenziali evocati sono le componenti del segnale EEG che possono essere registrate immediatamente dopo la presentazione di uno stimolo. Gli eventi bioelettrici associati ai singoli neuroni possono essere registrati impiantando dei micro-elettrodi direttamente nelle cellule di interesse. Questo tipo di studi viene solitamente effettuato per creare modelli delle reti neurali. I componenti principali del sistema di registrazione dei segnali EEG sono:
gli elettrodi, allocati su una cuffia che viene posizionata sulla testa del paziente. Nonostante ne esistano diverse tipologie, gli elettrodi più comunemente usati sono quelli a coppetta, di diametro pari a 10 mm., costituiti da stagno o argento e rivestiti di cloruro di argento;
l’unità per l’elaborazione dei segnali;
l’unità di memorizzazione e visualizzazione dei segnali registrati.
Per favorire la conduzione del segnale bisogna assicurare un contatto ottimale tra l’elettrodo e la cute, per cui lo scalpo del paziente viene accuratamente pulito prima dell’applicazione degli elettrodi. In questo modo si cerca di incrementare il rapporto segnale-rumore e minimizzare l’effetto degli artefatti da movimento. Gli elettrodi vengono disposti seguendo lo standard Internazionale 10/20. Esistono due modalità di acquisizione dei segnali: unipolare (o monopolare) e bipolare. Nella modalità unipolare viene misurata la differenza di potenziale tra un elettrodo che si trova in un sito attivo, e un elettrodo di riferimento che si trova in un sito elettricamente neutro (ad esempio il mastoide); in questo modo la misura serve a quantificare l’attività elettrica assoluta del sito attivo. Nella modalità bipolare invece viene misurata la differenza di potenziale tra due elettrodi che si trovano entrambi in siti attivi; in questo modo
25
viene misurata la differenza tra le attività dei due siti. Una volta registrati i segnali acquisiti possono essere analizzati per estrarre le informazioni di interesse. L’attività cerebrale spontanea è caratterizzata da range frequenziali tipici: la banda delta che comprende le frequenze tra gli 0.5 e i 4 Hz ed è tipica nei bambini o del sonno ad onde lente dell’adulto; la banda theta che comprende le frequenze tra i 4 e gli 8 Hz e appare soprattutto durante il sonno; la banda alfa, che racchiude le frequenze comprese tra gli 8 e i 13 Hz ed è tipica della fase di veglia rilassata; la banda beta, che comprende le frequenze tra i 13 e i 30 Hz. Per quanto riguarda i potenziali evocati invece, essi consistono, come già accennato, in variazioni specifiche dei segnali bioelettrici conseguenti alla stimolazione (Landini et al; 2005). I potenziali evocati hanno un’ampiezza molto bassa, compresa tra 1 e 3 µV e pertanto non sono facilmente individuabili in quanto coperti dall’attività spontanea. Per poterli analizzare si procede in genere alla registrazione di segnali multipli, di cui viene successivamente effettuata una media (averaging) per aumentare il rapporto segnale-rumore. I potenziali evocati possono essere distinti in potenziali stimolo-correlati, ovvero che dipendono dalle caratteristiche fisiche dello stimolo (ad esempio intensità di uno stimolo acustico) e la cui latenza rientra nell’ambito temporale della percezione, e potenziali evento-correlati o ERPs (Event-related Potentials), che dipendono invece dal contenuto informativo dello stimolo. L’elettroencefalografia è una tecnica ampiamente utilizzata per le sue caratteristiche di non invasività, elevata risoluzione temporale, semplicità di acquisizione dei dati e costi limitati. Viene utilizzata sia in ambito diagnostico nella valutazione di pazienti con lesioni cerebrali, affetti da attacchi epilettici, o che presentano disturbi del sonno, e in questo caso l’analisi dei dati viene effettuata mediante ispezione visiva da parte del medico, che in ambito di ricerca sperimentale, soprattutto nelle neuroscienze, e in questo caso l’analisi dei dati è computazionale.
26
1.4.2 Classificazione delle emozioni mediante analisi dei segnali EEG
L’analisi dei segnali EEG per la caratterizzazione degli stati affettivi ha guadagnato negli ultimi 40 anni un sempre crescente interesse da parte della comunità scientifica. L’interesse verso lo sviluppo di tecnologie in grado di riconoscere gli stati emotivi a partire dall’analisi dell’attività elettrica cerebrale è dovuto in gran parte al progresso conosciuto dalle Brain Computer
Interfaces (BCI) (Jirayucharoensak et al; 2014). I sistemi BCI o interfacce neurali sono
dispositivi che misurano un segnale biomedico e predicono real-time un aspetto dello stato cognitivo del soggetto su cui il segnale è stato misurato. Alcuni di questi dispositivi, come ad esempio i sistemi di sintesi vocale permettono di migliorare la vita delle persone affette da disabilità. Le interfacce neurali possono essere impiegate dunque per controllare mentalmente dei dispositivi, ma anche per una maggiore comprensione degli stati mentali. Uno dei campi di ricerca che maggiormente ha usufruito dello sviluppo delle Brain Computer Interfaces è proprio il campo del riconoscimento automatico delle emozioni (Al-Nafjan et al; 2017). Un altro campo in cui lo sviluppo di tecniche per il riconoscimento degli stati emotivi risulta di grande interesse è quello del neuro-marketing, una branca del marketing che si pone come obiettivo quello di comprendere le risposte del consumatore a diversi stimoli sulla base della misura di alcuni parametri fisiologici, primo fra tutti il segnale elettroencefalografico, ai fini di elaborare strategie in grado di incentivare l’acquisto di determinati beni di consumo.
Le tecniche per la classificazione degli stati affettivi mediante l’analisi dei segnali EEG e più nello specifico degli ERPs, che sono state proposte, sviluppate e utilizzate negli ultimi decenni sono numerosissime e risultano caratterizzate da una elevata variabilità di alcuni fattori legati in primo luogo alle condizioni sperimentali in cui sono state condotte le ricerche volte al loro
27
sviluppo: tipo e numero di stimoli usati, tipo di elettroencefalografo e numero di elettrodi utilizzati per la misura, numero, genere, età, sesso e condizioni psicofisiologiche dei partecipanti.
Tuttavia, ai fini di fornire una rappresentazione generale delle tecniche di classificazione esistenti, si può affermare che la procedura seguita per il riconoscimento degli stati emotivi può essere suddivisa in alcuni passaggi, illustrati in Figura 6.
Figura 6 Diagramma di base del processo di classificazione delle emozioni.
La prima fase riguarda le modalità di acquisizione dei segnali EEG che, come già accennato possono differire per un certo numero di fattori; la fase successiva prevede la rimozione di rumore e artefatti dai segnali acquisiti. Le due fasi successive sono quelle che caratterizzano maggiormente la classificazione e riguardano la scelta delle caratteristiche da estrarre dai segnali acquisiti e del sistema di classificazione da utilizzare. Le caratteristiche utilizzate per lo sviluppo dei metodi di classificazione fanno parte di diverse categorie: possono essere estratte nel dominio del tempo, della frequenza, possono essere grandezze statistiche, indici di entropia, indici di connettività funzionale. Nonostante non sia ancora chiaro quale sia o siano le features più rilevanti per il riconoscimento degli stati emotivi, la DSP (densità spettrale di potenza) costituisce sicuramente la feature più popolare.
Per quanto riguarda le tecniche di classificazione, i classificatori che sono stati maggiormente utilizzati sono il KNN (K-Nearest Neighbor), il SVM (il Support Vector Machines), l’LDA
28
(Analisi Discriminante Lineare) e il NB (Naive-Bayes) (Al-Nafjan et al; 2017). Il loro utilizzo è ampiamente consolidato nell’ambito della caratterizzazione emotiva mediante analisi di potenziali evento-correlati. Più recentemente sono stati invece utilizzate reti neurali artificiali e tecniche di apprendimento profondo (Deep learning). In generale le tecniche di classificazione basate sull’estrazione di features nel dominio della frequenza e l’applicazione dell’algoritmo SVM risultano le più diffuse (Al-Nafjan et al; 2017).
1.5 Obiettivo della Tesi
Questo lavoro di Tesi ha come obiettivo lo sviluppo di nuovi algoritmi per la classificazione dello stato psicofisiologico nell’uomo mediante l’analisi di segnali elettroencefalografici. Come visto nei paragrafi precedenti, la stima degli stati emozionali può essere effettuata attraverso l’analisi di diversi tipi di risposte psicofisiologiche e comportamentali. Negli ultimi anni numerosi studi si sono focalizzati sull’utilizzo dei segnali elettroencefalografici per la caratterizzazione emotiva. I motivi di questa tendenza sono molteplici, in particolare: l’elettroencefalografia è una tecnica non invasiva e con una risoluzione temporale molto elevata che la rende adatta a valutare le risposte immediatamente successive agli stimoli emozionali. Pertanto, nonostante alcuni svantaggi come la ridotta risoluzione spaziale e la suscettibilità al rumore, sono stati sviluppati diversi algoritmi per il riconoscimento degli stati emozionali nell’uomo. La metodica EEG utilizzata per questo scopo si basa sull’analisi degli Event Related Potentials (ERPs), e gli stimoli sono raggruppabili in categorie seguendo l’approccio dimensionale e perciò a seconda dei loro livelli di valenza (positiva, negativa o neutra), arousal e dominance. Ad oggi, l’analisi di questi segnali viene effettuata innanzitutto raggruppando i
29
trials4 relativi agli stimoli appartenenti alla stessa categoria (ad esempio: stimoli con valenza positiva e arousal elevato), di questo campione omogeneo di trials viene stimato il trial medio. Si procede poi con la classificazione del trial medio estratto. Tutti i metodi presenti in letteratura si basano sull’estrazione di alcune caratteristiche dai segnali (estratte nel domino tempo e/o frequenza), relative al singolo elettrodo o a specifici insiemi di canali, e sulla successiva classificazione delle emozioni (in termini dimensionali o categoriali) mediante la valutazione di tali caratteristiche. Questo tipo di analisi fornisce dunque una stima delle emozioni elicitate in risposta a categorie di stimoli ma non a stimoli specifici, e richiede la disponibilità di un buon numero di trials per poter essere effettuata. Esiste un altro tipo di analisi, la cosiddetta analisi
single-trial. Essa prevede l’applicazione delle tecniche esistenti non più sui segnali relativi ad
un gruppo di stimoli, ma sui singoli trials, con i conseguenti vantaggi che ne derivano: riduzione del costo computazionale;
la stima e lo studio delle risposte emotive a singoli stimoli piuttosto che a intere categorie;
maggior passibilità di applicazione in contesti reali.
Lo sviluppo di una tecnica di analisi single-trial efficace e facile da implementare per la classificazione della risposta emotiva è l’obiettivo perseguito in questo lavoro di Tesi. Le motivazioni che hanno spinto la ricerca nello sviluppo di sempre nuovi e migliori metodi per il riconoscimento degli stati emotivi sono molteplici: il raggiungimento di una più profonda comprensione della natura umana e del ruolo delle emozioni nella nostra vita, nonché una maggior conoscenza dei disturbi dell’umore con la conseguente possibilità di migliorare le cure psichiatriche. Ma c’è anche un altro aspetto da considerare. Negli ultimi anni la presenza di sistemi robotici e computer nella nostra vita quotidiana è cresciuta in modo esponenziale e ha portato con sé la necessità di migliorare l’HMI (interazione uomo-macchina). Per poter
30
comunicare in modo naturale con l’utente, la macchina deve essere capace di riconoscere e replicare le emozioni umane. Da qui il bisogno di sviluppare sistemi automatici per la comprensione e il riconoscimento degli stati emotivi.
31
CAPITOLO SECONDO
Protocollo sperimentale, pre-elaborazione dei segnali EEG ed estrazione dei
trials relativi alle risposte emozionali
Tutti gli studi presenti in letteratura che sono stati effettuati con lo scopo di riconoscere e classificare le emozioni mediante l’analisi dei segnali elettroencefalografici seguono un flow-work che prevede diverse fasi, riassunte nello schema di Figura 7.
Figura 7 Diagramma di base del processo di classificazione delle emozioni.
In questo capitolo verranno descritti:
il protocollo sperimentale seguito per l’acquisizione dei dati;
la fase di pre-elaborazione dei dati, necessaria per la rimozione di rumore e artefatti, effettuata utilizzando il toolbox MATLAB “EEGLAB” (www.sccn.ucsd.edu/eeglab)
32
Tutte le analisi effettuate sono state implementate tramite MATLAB.
2.1 Protocollo sperimentale
I segnali elettroencefalografici sono stati registrati su venti soggetti sani. I segnali registrati sono ERPs, Potenziali Evento-Correlati, ovvero quelle variazioni del segnale EEG misurate a seguito della presentazione di uno stimolo, e le cui caratteristiche dipendono dal contenuto informativo dello stimolo stesso. Gli stimoli utilizzati sono stimoli visivi. Durante l’esperimento i soggetti sono seduti, e fissano un monitor sul quale viene proiettato un filmato. Il filmato, della durata di circa 12 minuti, consiste nella successione alternata di:
schermate bianche con una croce di fissazione nera al centro dello schermo (per focalizzare l’attenzione), accompagnata da un bip acuto;
le immagini che costituiscono gli stimoli.
Ogni immagine viene presentata per una durata di circa un secondo e l’ISI (Inter Stimulus Interval) è fisso ed è pari a 2 secondi (Figura 8).
33
Le immagini, in totale 202, sono state scelte all’interno dello IAPS (International Affective Picture System). Le immagini scelte sono suddivisibili in due categorie rispetto alla valenza: immagini a valenza neutra e a valenza negativa con arousal elevato. Le immagini a valenza negativa sono circa un terzo di quelle neutre e sono presentate secondo una sequenza pseudo-random (ovvero che segue alcune regole, come ad esempio quella secondo cui non possono essere presentate più di tre immagini neutre di fila). Inoltre ogni immagine è caratterizzata dalla presenza, in fondo a sinistra, di un rettangolo bianco (Figura 8). Sul monitor sul quale scorrono le immagini, in corrispondenza del rettangolo, viene posto un fotodiodo5, che rileva l’istante di presentazione dello stimolo e trasmette l’informazione all’elettroencefalografo con un ritardo trascurabile. L’utilizzo del fotodiodo è indispensabile per la corretta interpretazione dei dati; grazie a questo sistema infatti, è possibile selezionare con facilità i segmenti temporali dei segnali relativi alla presentazione degli stimoli. L’attività elettroencefalografica è stata registrata utilizzando il sistema GES300 della EGI, un elettroencefalografo ad alta densità a 128 canali. La frequenza di campionamento del segnale è fissata a 500 Hz. Al termine dell’esperimento viene effettuata un’autovalutazione mediante il SAM.
2.2 Pre-elaborazione dei segnali EEG ed estrazione dei single-trial
I segnali elettroencefalografici registrati sono comunemente contaminati da artefatti di diverso tipo. Gli artefatti possono essere fisiologici o non fisiologici. Gli artefatti fisiologici hanno origine da regioni non cerebrali, come ad esempio quelli relativi all’attività cardiaca, muscolare, al battito delle ciglia, e ad attività come masticare e tossire. Gli artefatti non fisiologici sono invece dovuti alla strumentazione (es: movimento degli elettrodi durante l’acquisizione) e a
5 diodo a giunzione che funziona come sensore ottico: colpito dalla luce, genera una corrente inversa, quindi
34
interferenze ambientali. Per poter estrarre dai segnali le informazioni utili, bisogna trattare i segnali in modo da aumentare il rapporto segnale-rumore. Pertanto, prima di essere analizzati, i dati EEG devono subire una fase di pre-elaborazione (Figura 7). In questa fase, indispensabile per una corretta interpretazione dei dati, gli artefatti vengono rilevati ed eliminati. La pre-elaborazione dei dati è stato effettuando utilizzando EEGLAB, un toolbox di MATLAB che consente di immagazzinare, visualizzare e manipolare dati EEG (Delorme et al; 2004).
Figura 9 Finestra di avvio di EEGLAB
I dati, in formato MFF sono stati importati in EEGLAB. La finestra di avvio consente di visualizzare immediatamente alcune informazioni relative ai dati importati, come ad esempio il numero di canali, la frequenza di campionamento, il numero degli eventi se si tratta di ERPs6, la lunghezza temporale del segnale (Figura 9). Successivamente è stata ridotta la frequenza di
35
campionamento da 500 Hz a 250 Hz (Change sampling rate) ed è stata selezionata
Tools-Remove baseline che rimuove da ogni canale la media del segnale. Mediante un filtro FIR7
passa banda, è stata selezionata la banda di interesse del segnale, quella compresa tra 1 e 45 Hz
(Figura 10). Nonostante alcuni studi in letteratura ritengano che l’attività cerebrale
prevalentemente correlata ai processi emozionali abbia una frequenza compresa tra 8 e 30 Hz, e che siano dunque le onde alfa e beta quelle maggiormente coinvolte (Gawali et al; 2012), si è preferito utilizzare l’intera banda relativa allo stato di veglia per avere una visione globale dell’attività cerebrale. Inoltre scegliendo la frequenza di taglio superiore a 45 Hz, si elimina anche il rumore a 50 Hz dovuto alla frequenza di rete.
Figura 10 Filtro FIR passa-banda
A questo punto è possibile visualizzare i canali EEG (Plot-Channel data (scroll)) e modificare opportunamente il numero di canali e il range temporale per favorire la visualizzazione. Mediante ispezione visiva vengono selezionati e poi rimossi, selezionando Reject, gli artefatti macroscopici (Figura 11).
36
Figura 11 Esempio di artefatti macroscopici nella finestra temporale (3, 5) secondi.
La fase successiva consiste nella rilevazione dei canali che presentano problemi di acquisizione (esempio in Figura 12) e la loro successiva interpolazione. L’interpolazione è una tecnica che consente di correggere i dati ritenuti affetti da errori sostituendoli con dati approssimati. Per una corretta selezione dei canali da interpolare, è importante conoscere la posizione degli elettrodi sullo scalpo. A questo proposito, è possibile visualizzare, selezionando Plot-Channel
locations, la distribuzione degli elettrodi (Figura 13).
Spesso infatti i canali intorno al vertex8 risultano ipovoltati poiché misurano una differenza
potenziale piccola, ma non devono essere inclusi nell’interpolazione. Lo stesso discorso vale per i canali esterni allo scalpo. Bisogna pertanto selezionare accuratamente i canali che presentano reali problemi di acquisizione. Per applicare la funzione interpolante, una volta individuati i canali di interesse, vengono selezionate le seguenti voci in cascata:
Tools-Interpolate electrodes.
37
Figura 12 Esempio di canale con problemi di acquisizione: il canale E118 appare tipicamente "piatto”.
Figura 13 Distribuzione degli elettrodi sullo scalpo.
Dopo l’interpolazione, viene applicata la routine ICA selezionando Tools-Run ICA e specificando il numero di componenti desiderate, in questo caso 60. L’ICA (Analisi delle componenti Indipendenti) è una tecnica di analisi statistica multivariata che viene utilizzata quando si vuole ottenere una riduzione del set di dati a disposizione al fine di consentirne una migliore interpretazione. A partire dalle variabili iniziali, l’ICA identifica nuove variabili
38
indipendenti tra loro. L’ICA è una tecnica ampiamente utilizzata per la separazione dei segnali elettroencefalografici, che sono segnali complessi, in componenti indipendenti. L’ICA è un’estensione dell’Analisi delle Componenti Principali. Rispetto alla PCA però risulta più potente poiché stima componenti indipendenti e con distribuzione non gaussiana, e non solo componenti incorrelate come nella PCA; l’indipendenza è una condizione più forte dell’incorrelazione poichè richiede l’assenza di correlazione sia al secondo ordine (come la PCA) che a ordini superiori. Un classico esempio per spiegare cosa fa l’ICA è quello del
cocktail party problem, ovvero della situazione in cui si vogliono separare le voci dei
partecipanti a una festa basandosi sulle registrazioni dei microfoni. L’ICA consente proprio di ottenere questo, attraverso una trasformazione lineare delle variabili iniziali in nuove variabili. Dopo aver implementato la procedura ICA, vengono cambiati gli elettrodi di riferimento (Tools-Re-reference). Gli elettrodi scelti sono quelli posti sui due mastoidi9 e corrispondono ai canali E57 e E100. Il passo seguente consiste nella visualizzazione e valutazione delle componenti ottenute con l’applicazione della ICA. La visualizzazione viene ottenuta selezionando:
• Plot- Component activation (scroll), che consente di visualizzare l’andamento dei segnali nel tempo;
• Plot- Component properties, che consente di visualizzare in un unico grafico tre proprietà: in alto a sinistra la localizzazione della componente sullo scalpo, in alto a destra la distribuzione del segnale nel tempo, in basso lo spettro di potenza.
Mediante ispezione visiva dei due tipi di plot, viene stabilito quali componenti rimuovere o accettare. Le componenti da rimuovere sono quelle relative ad artefatti di diverso tipo. Alcuni artefatti, così come l’attività cerebrale di interesse, presentano delle proprietà caratteristiche e
39
sono facilmente riconoscibili. A titolo di esempio, vengono mostrati, nella Figura 14, a sinistra il plot relativo a blink oculari, e a destra quello relativo all’attività alfa.
Figura 14 A sinistra una componente relativa a blink oculari (la distribuzione sullo scalpo è concentrata nell’area frontale); a destra una componente relativa all’attività di tipo alfa (lo spettro di potenza mostra un picco a 10 Hz, la localizzazione sullo scalpo è piuttosto diffusa).
Questa è una fase piuttosto delicata e non immune da errori. Alla fine di questa fase vengono visualizzati i segnali mediante Plot-Channel data (scroll) e, come già fatto nelle prime fasi della pre-elaborazione, vengono individuati eventuali artefatti macroscopici sfuggiti alla prima ispezione. Una volta segnati gli intervalli temporali inficiati da artefatti, vengono caricati i dati successivi all’interpolazione dei canali, vengono rimossi gli artefatti, e viene applicata nuovamente la routine ICA. Infine vengono di nuovo cambiati gli elettrodi di riferimento e analizzate le componenti. Alla fine di questa procedura i dati EEG risultano teoricamente privi di artefatti. Nella Figura 15 vengono mostrati i dati pre e post pre-elaborazione.
40
Figura 15 In alto i dati EEG prima della procedura; in basso i dati "puliti".
L’analisi dei segnali viene effettuata utilizzando il software MATLAB. I dati EEG, precedentemente trattati con EEGLAB, vengono importati in MATLAB sotto forma di strutture costituite da matrici e vettori di dati, ognuna contenente specifiche informazioni: il tipo e il numero di eventi, l’istante di presentazione dello stimolo, oltre che, naturalmente, i valori ad ogni istante dei segnali acquisiti, precedenti e successivi alla fase di pre-elaborazione (Figura
41
Figura 16 Struttura MATLAB contenente i dati EEG relativi ad un soggetto dello studio.
Per intraprendere l’analisi dei dati volta alla classificazione è necessario innanzitutto estrarre dalla struttura sopracitata i dati EEG riguardanti la risposta dei soggetti agli stimoli emotivi. L’estrazione richiede la stesura di codici personalizzati per ciascun soggetto. Ogni sessione di dati presenta infatti delle caratteristiche diverse riguardanti ad esempio la posizione e la logica di apparizione dei DIN che segnalano la presenza degli eventi. A titolo di esempio viene mostrato in Figura 17 il caso più semplice tra quelli affrontati, nel quale la comparsa di ciascuna immagine sul monitor viene segnalata da due DIN, uno all’inizio e uno al termine della presentazione dello stimolo.
42
Figura 17 Estratto di tracciato EEG che mostra la logica di apparizione dei DIN associati agli stimoli emotivi.
In questo caso dunque il codice è stato scritto in modo tale da selezionare le finestre temporali a cavallo tra i due DIN ed estrarre i dati relativi ad esse.
I dati estratti rappresentano le risposte a due diverse categorie di stimoli pertanto è necessario classificarli, facendo riferimento all’ordine di presentazione delle immagini, che è noto, in due categorie: risposte a stimoli avversivi e risposte a stimoli neutri.
Al termine della fase di estrazione, per ogni soggetto avremo due matrici tridimensionali contenenti i dati su cui sarà basata l’intera analisi. Le due matrici sono strutturate nel modo seguente:
𝑛𝑢𝑚𝑒𝑟𝑜 𝑑𝑒𝑖 𝑐𝑎𝑛𝑎𝑙𝑖 ∗ 𝑛𝑢𝑚𝑒𝑟𝑜 𝑑𝑒𝑖 𝑑𝑎𝑡𝑖 ∗ 𝑛𝑢𝑚𝑒𝑟𝑜 𝑑𝑖 𝑠𝑡𝑖𝑚𝑜𝑙𝑖
I canali ritenuti utili ai fini dell’analisi sono 105; vengono esclusi i canali esterni allo scalpo e quelli di riferimento (Figura 18).
43
Figura 18 Distribuzione degli elettrodi sullo scalpo; cerchiati in rosso i canali esclusi dall'analisi.
La finestra temporale scelta per l’analisi ha una durata di 500 millisecondi. Nello specifico comprende i dati relativi ai 500 millisecondi successivi alla presentazione dello stimolo. Il numero degli eventi è invece variabile per ogni soggetto ed è pari al numero di stimoli “sopravvissuti” alla fase di pre-elaborazione. La procedura descritta è stata eseguita sui dati relativi a tutti e 20 i soggetti.
44
CAPITOLO TERZO
Sviluppo di un metodo per la classificazione della risposta emotiva
mediante analisi single-trial
In questo Capitolo verrà descritta l’intera procedura seguita per ottenere una classificazione efficace degli stati emozionali mediante l’analisi dei single-trial estratti nella fase precedente. Le fasi seguite nell’analisi sono le seguenti:
estrazione delle caratteristiche salienti del segnale;
selezione delle caratteristiche più adeguate per la classificazione e valutazione statistica delle stesse;
applicazione di alcune tecniche di classificazione;
sviluppo di un sistema di multi-classificazione ai fini di incrementare l’accuratezza nel riconoscimento della risposta emotiva.3.1 Estrazione delle caratteristiche
L’analisi dei segnali EEG ai fini della classificazione della risposta emotiva si basa in primo luogo sull’estrazione di alcune caratteristiche (o features) salienti dal segnale. L’estrazione delle features è il processo attraverso il quale vengono estratte informazioni utili dal segnale EEG. La scelta delle caratteristiche da estrarre è una fase cruciale per il successo della classificazione, successo che dipende dalla qualità e dalla rilevanza delle informazioni estratte (Murugappan et al; 2010).
45
Prima di descrivere quali sono le features che si è scelto di estrarre in questa analisi, è opportuno precisare innanzitutto che ciascuna feature è stata estratta su due livelli:
1. a livello globale, ovvero su tutto lo scalpo; in questo caso la caratteristica in questione è stata dapprima calcolata su ciascun canale e successivamente ne è stato ricavato il valore medio mediante un’operazione di media aritmetica;
2. a livello locale, ovvero su diverse regioni cerebrali. Analogamente al caso precedente, un’operazione di media aritmetica sui canali opportunamente selezionati e ritenuti appartenenti a ciascuna specifica area ha permesso l’estrazione del valore medio di ogni feature. Le regioni prese in considerazione in questa analisi sono quattro: temporale, occipitale, centrale e frontale (Figura 19).
Figura 19-Distribuzione degli elettrodi sullo scalpo ed elenco degli elettrodi selezionati per le diverse regioni cerebrali
Inoltre, ciascuna feature è stata stimata per differenti bande frequenziali. Il range frequenziale costituisce infatti un fattore importante nella discriminazione delle emozioni. In particolare è
