Dati strutturati e di tipo relazionale - Predizione della struttura di un argomento con feature

2.6 Corpora

2.6.3 Dati strutturati e di tipo relazionale

Un altro importante limite della maggior parte degli approcci esistenti nell’ambito dell’argumentation mining è rappresentato dal modo in cui sono gestiti i dati strutturati e relazionali[95]. Nell’ultimo decennio, il machine learning ha attraversato la cosiddetta rivoluzione relazionale[51], al fine di estendere le proprie metodologie e algoritmi per gestire flussi di dati dal grande contenuto informativo, come alberi, grafi o sequenze. Approcci atti a fornire output strutturati, come i Conditional Random Fields o le Structured Support Vector Machines (SSVM), ad esempio, sono in grado di attuare tecniche quale la classificazione collettiva, ovvero le predizioni su un nuovo esempio mai visto prima possono essere prodotte collettivamente, prendendo in considerazione la struttura in- trinseca dei dati, come le informazioni di tipo sequenziale o i legami in termini di connessioni. Un esempio di facile intuizione è dato dai para- grafi all’interno di un documento testuale, dalle proposizioni consecutive in un dialogo e dai collegamenti all’interno di un social network. Co- me approccio in accordo con tale direzione, i Conditional Random Fields sono stati applicati da Goudas et al.[53] e Sardianos et al.[134] nel ten- tativo di risolvere il problema della argument component segmentation. In aggiunta, per quanto riguarda il problema della predizione di legami tra premise e claim, o tra differenti argomenti, può essere facilmente mo- dellato come un’attività di predizione dei legami all’interno di un grafo, dove i nodi rappresentano gli argomenti o i loro componenti. Più precisamente, nel presente scenario, un contributo significativo può essere

con molta probabilità dato dal cosiddetto statistical relational learning, un settore di ricerca il cui obiettivo consiste nel combinare la logica del primo ordine con tecniche di machine learning di tipo statistico, ovvero ricorrendo all’impiego di rappresentazioni simboliche e sub-simboliche. In particolare, mentre il machine learning di tipo statistico e i modelli grafici possono gestire incertezze a livello di dati, il potere espressivo della logica del primo ordine, invece, può essere sfruttato per modellare la background-knowledge di una dato dominio di interesse e per descrivere le relazioni tra le varie istanze dei dati. Tale tipologia di approccio è stata applicata con successo in una varietà di attività aventi molteplici affinità con l’argumentation mining. Ad esempio, la scoperta di legami in reti di ambito sociale e biologico rappresenta fondamentalmente un problema di predizione delle relazioni[52] e quindi assomiglia al problema di argument structure prediction quando si considera il grafo degli argomenti e i rispettivi collegamenti. Ancora, l’estrazione di informazioni e l’individuazione di entità all’interno di corpora testuali[32][122] condividono analogie con la argumentative sentence classification. Infine, le cosiddet- te sequence tagging e sentence parsing[123] possono offrire interessanti prospettive per la modellazione di dati testuali strutturati.

Capitolo 3

La Stance Classification come

strumento per l’Argumentation

Mining

Come osservato nei capitoli precedenti, alcune delle principali tematiche di ricerca attuali sono rappresentate dalla stance classification e dalla emergente argumentation mining. A tale proposito, il presente elaborato vuole inserirsi in entrambi i contesti, con la speranza di poter delineare un punto di contatto atto a svelare nuove possibilità applicative. Più precisamente, l’ambito di ricerca verte la propria attenzione sulla definizione di un framework, in grado di rispondere a molteplici questioni, quale, ad esempio, la sperimentazione di metodologie proprie della stance classification in attività ben specifiche della argumentation mining, o l’analisi nei medesimi ambiti delle informazioni qualitative espresse dalla stance, al fine di valutarne l’efficacia in qualità di feature aggiuntiva. Si delineano, quindi, i seguenti obiettivi.

• Effettuare un’analisi delle principali tecniche e metodologie di classificazione nell’ambito della stance classification. In particolar modo, solamente per mezzo di una piena comprensione dei vari approcci in merito, è possibile successivamente selezionare i più pro- mettenti tra loro, al fine di poter sperimentarli anche in altri ambiti, quale, ad esempio, l’argumentation mining.

• Nell’ottica di un particolare campo dell’argumentation mining, i.e. l’argument structure prediction, si ricerca l’individuazione di un possibile parallelismo tra quest’ultimo e la stance classification. Più precisamente, mediante l’osservazione dei processi di elaborazione del testo, specifici di ciascuno dei due settori di ricerca, si vuole vedere se gli input e gli output della stance classification possano essere mappati in accordo con il particolare problema selezionato dell’argument structure prediction.

• Come naturale conseguenza dell’obiettivo descritto precedentemente, risulta di particolare interesse valutare le tecniche e le feature specifiche per la stance classification in un diverso ambito di studio. • Infine, mediante un’attenta analisi dei risultati ottenuti, occorre discutere l’eventuale possibilità di sviluppo di tecniche ad hoc per il presente scenario di interesse.

Pertanto, tenendo conto della caratteristica sequenziale delle linee guida precedentemente elencate, occorre necessariamente affrontare un problema per volta, al termine di ciascuno dei quali sarà di notevole importanza effettuare delle opportune valutazioni in merito al suo corretto soddisfacimento e alle reali possibilità di completamento dei successivi. Procedendo con ordine, il presente capitolo si propone di risolvere il primo obiettivo descritto, con particolare attenzione a motivare con cura tutte le scelte implementative effettuate così da agevolarne la comprensione e da sottolineare i punti di difficoltà riscontrati. In particolare, il capitolo in questione è strutturato come segue. Inizialmente, il primo tema affrontato è rappresentato dalla delucidazione del processo di analisi delle feature impiegate nell’ambito della stance classification, se- lezionando in particolar modo quelle ritenute maggiormente adatte per il caso di studio in oggetto. Più precisamente, pedissequamente alla fase di selezione delle principali feature, si inserisce un’ulteriore fase di scrematura di queste ultime, individuandone, nello specifico, la miglior combinazione e di ciascuna la configurazione dei parametri più performante. Successivamente, si prosegue con la descrizione delle metodologie impiegate al fine di poter definire un classificatore consono per l’attività di stance classification, in merito allo specifico data-set di apprendimento e con particolare attenzione al raggiungimento di performance paragona- bili con lo stato dell’arte del presente settore di ricerca. In seguito, sulla

3.1. OBIETTIVO 63

base dei risultati di apprendimento del classificatore, si procede con la fase di predizione della stance sui dati contenuti nei corpora di interesse relativi alla argument structure prediction, con particolare attenzione a definire i target di riferimento per la stance classification per mezzo di un’analisi preliminare. Infine, si procede con un’ultimo esame dei dati costruiti, al fine di poter verificare la validità delle annotazioni aggiunte ed effettuare considerazioni sulle singole coppie in termini di coerenza della stance attribuita per lo stesso target di riferimento.

3.1 Obiettivo

Come primo passo nella direzione del traguardo imposto, occorre definire in dettaglio il contesto applicativo di interesse. In particolare, tra le molteplici fasi di elaborazione del testo appartenenti ad un sistema di argumentation mining, desta notevole interesse l’argument structure prediction, in quanto, come evidenziato ampiamente nella sezione 2.4.3, quest’ultima rappresenta un vero e proprio elemento di sfida, dove al momento è stato possibile ottenere dei risultati soddisfacenti solamente in scenari soggetti a forti ipotesi semplificative. Inoltre, sulla base di quest’ultimo fattore di notevole importanza, risulta preferibile selezionare dei corpora caratterizzati da un significativo quantitativo di dati e non soggetti a scenari fin troppo specifici, in modo tale da consentire la sperimentazione di tecniche e metodologie che non rientrano necessariamente all’interno dei contesti specifici propri dell’argumentation mining. Pertanto, come data-set di riferimento nell’ottica dei molteplici obiettivi elencati, sono stati selezionati quelli introdotti da IBM Research, ovvero CE-ACL-14 e CE-EMNLP-15, in quanto rappresentano i corpora di più grandi dimensioni per l’argument structure prediction e non ri- guardano un ambito applicativo altamente specifico dato che sono stati formulati considerando informazioni tratte da Wikipedia, riguardanti argomenti, i.e. topic, di diversa natura. Una volta definiti il contesto ed i dati di riferimento, è possibile passare all’introduzione del primo obiettivo proposto. Più precisamente, vista la volontà di voler sperimentare le metodologie proprie della stance classification nell’ambito della argument structure prediction, è evidente come l’analisi effettuata nel primo settore di ricerca debba selezionare tecniche, feature e dati il più possi-

bile conformi al secondo contesto di interesse. In altre parole, poiché i corpora di riferimento sono quelli introdotti da IBM Research e quindi contenenti elementi quali claim ed evidence, i.e. premise, occorre valutare con attenzione quali scenari applicativi propri della stance classification, con le relative metodologie e feature, presentino elementi di similarità dal punto di vista della tipologia dei dati contenuti nei presenti data-set di interesse. In secondo luogo, come obiettivo secondario, ma non in termini di importanza, si ricerca la definizione di un opportuno classificatore, in grado di presentare risultati comparabili con lo stato dell’arte della stance classification, al fine di limitare il più possibile eventuali errori di classificazione dovuti a motivi prettamente implementativi e non per via del particolare contesto di studio. Più precisamente, si delinea una serie di sotto-obiettivi, descriventi ciascuno i singoli passi da compiere per poter infine soddisfare il primo degli obiettivi generali introdotti all’inizio del capitolo.

• Ricerca di feature rilevanti: è opportuno considerare la natura dei dati di interesse relativi all’ambito della argument structure prediction, in modo tale da poter selezionare le feature, le tecniche e infine i data-set disponibili per l’attività di stance classification.

• Ottimizzazione: costruire un classificatore performante e al tem- po stesso efficiente, utilizzabile, pertanto, su data-set di diversa struttura e in grado di ottenere risultati soddisfacenti con riferimento alle metriche di classificazione usate.

• Costruzione di nuovi dati aggiuntivi: nello specifico ci si riferi- sce alla determinazione della stance per ciascuna coppia di target di interesse, così da arricchire ulteriormente i data-set di riferimento per l’argument structure prediction.

• Analisi dei dati: studio sia quantitativo che qualitativo nell’ambi- to delle coppie evidence-claim estratte e dell’omogeneità tra stance di evidence e claim, formanti una coppia, nei confronti dello stesso target all’interno del medesimo scenario di studio.

Nel documento Predizione della struttura di un argomento con feature di stance classification (pagine 61-67)