presenta un principale problema: il fatto di basarsi su un simile criterio di estrazione degli esempi negativi comporta inevitabilmente alla defini- zione di corpora significativamente sbilanciati in favore di questi ultimi, aspetto che può sicuramente rappresentare un ulteriore ostacolo per l’at- tività di argument structure prediction, come verrà sottolineato più volte successivamente all’interno del presente capitolo.
4.3
La
stance come strumento d’ausilio per
la
argument structure prediction
Al termine di questa fase preliminare di costruzione di nuove informazio- ni, utilizzabili per la argument structure prediction, vengono effettuate alcune ricerche sulla struttura dei dati, basate esclusivamente sui valori delle stance associate a ciascuna coppia. In particolar modo, l’obiettivo imposto verte essenzialmente sulla possibilità o meno di usufruire delle informazioni relative alla stance per contribuire positivamente alla fase di classificazione nell’ambito dell’argument structure prediction. In al- tre parole, si vuole valutare se la stance possa essere usata in qualità di feature aggiuntiva per il processo di discriminazione tra esempi posi- tivi e negativi. A tal fine, si ricorre alla definizione di due importanti indicatori atti a consentire la valutazione dell’attuabilità dell’idea prece- dentemente introdotta. Nello specifico, si individua il numero di coppie incrociate aventi stance opposta e stesso topic e si costruiscono le matrici di confusione relative alla stance per poter valutare se si possa usufruire di tale informazione aggiuntiva durante la fase di classificazione. Poiché il data-set Emergent prevede l’assegnazione di una terza classe, ovvero observing, risulta necessario tenere conto di tale fattore all’interno delle statistiche calcolate per ciascun data-set di interesse, in quanto quest’ul- tima rappresenta fondamentalmente una wild card. Più precisamente, le informazioni raccolte sono soggette a diversi filtri di gestione relativi alla classe observing. Pertanto, sulla base di tali criteri di selezione, si raccolgono le informazioni in esame su entrambi i data-set di interes- se (tabelle 4.1 e 4.9). Procedendo con ordine, nel calcolo delle coppie incrociate sono state definite le seguenti modalità di gestione:
• Ignore-observing: si considerano solamente le coppie aventi stan- ce differente e non uguale ad observing.
Data-set default ignore-observing no-filter
CE-ACL-14 17658 5785 31447
CE-EMNLP-15 63826 14288 113631
Tabella 4.1: Numero coppie estratte in base alle modalità di interpreta- zione della classe observing. Procedendo da sinistra verso destra, i campi default e ignore-observing fanno riferimento alle omonime strategie di selezione precedentemente indicate. Infine, la colonna no-filter riporta invece il numero totale di coppie incrociate senza l’applicazione di alcun filtro di selezione.
Analogamente a quanto definito nell’ambito del conteggio delle coppie incrociate negative, occorre stabilire una politica di gestione della classe observing. Per tale obiettivo, sono state definite le seguenti modalità di interpretazione:
• Default: le coppie aventi stance identica sono considerate come esempi positivi, ovvero sussiste un legame di tipo supporto tra evidence e claim.
• Overcome-observing: in aggiunta alla semplice uguaglianza tra stance si considerano come esempi positivi anche le coppie aventi una delle due stance pari ad observing.
• Ignore-observing: si escludono dagli esempi positivi tutte le cop- pie aventi almeno uno dei due valori relativi alla stance uguale ad observing.
Più precisamente, la tabella 4.2 riporta la tipologia di coppie indivi- duate come esempi positivi per ciascuna delle politiche di gestione della classe observing sopraelencate.
4.3. LA STANCE COME STRUMENTO D’AUSILIO PER LA ASP97 Modalità di selezione Tipologia coppie selezionate come esempi positivi Tipologia coppie selezionate come esempi negativi default for-for, against-against, observing-observing for-against, for-observing, against-observing, overcome-observing for-for, for-observing, against-against, against-observing, observing-observing for-against ignore-observing for-for, against-against for-against, for-observing, against-observing, observing-observing Tabella 4.2: Definizione coppie positive e negative per ciascuna modalità di gestione della classe observing.
Nell’ambito della argument structure prediction, la stance predetta nei confronti di un dato topic potrebbe rappresentare una feature importante per poter stabilire i legami tra claim ed evidence. A tal fine, costruire una matrice di confusione può essere un indicatore significativo. Di seguito (tabella 4.9), sono riportate le matrici di confusione associate a ciascun data-set di interesse, suddivise in base alle modalità di interpretazione introdotte precedentemente. In ciascun scenario, gli esempi positivi veri sono rappresentati dalle coppie appartenenti ai corpora di interesse. Vi- ceversa, tutte le coppie incrociate individuate nell’ambito di uno stesso topic sono trattate in qualità di esempi negativi. Purtroppo, come si può sempre osservare dalla tabella 4.9, i risultati ottenuti non sono soddisfa- centi, in quanto i valori appartenenti alla diagonale principale di ciascuna matrice non rappresentano la maggioranza rispetto agli altri. Pertanto, ne consegue che l’utilizzo della stance come strumento per la argument structure prediction non è sufficiente per poter distinguere correttamente la prevalenza degli esempi. Tuttavia, occorre sottolineare un aspetto di fondamentale importanza, rappresentato dalla distribuzione delle classi all’interno dei corpora di interesse. Come descritto ampiamente nella
precedente sezione, il forte sbilanciamento delle classi relative alla ar- gument structure prediction condiziona negativamente anche la presente valutazione, in quanto non è possibile confermare con certezza la validità di tutte le coppie evidence - claim considerate come esempi negativi.
Tabella 4.3: CE-ACL-14, default Predicted link no-link True
link 625 753
no-link 13789 17658
Tabella 4.4: CE-EMNLP-15, de- fault
Predicted link no-link True
link 2499 2669
no-link 49805 63826 Tabella 4.5: CE-ACL-14,
overcome-observing
Predicted link no-link True
link 1143 235
no-link 25662 5785
Tabella 4.6: CE-EMNLP-15, overcome-observing
Predicted link no-link True
link 4619 549
no-link 99343 14288 Tabella 4.7: CE-ACL-14, ignore-
observing
Predicted link no-link True
link 514 864
no-link 11449 19998
Tabella 4.8: CE-EMNLP-15, ignore-observing
Predicted link no-link True
link 1846 3322
no-link 37595 76036 Tabella 4.9: Matrici di confusione suddivise per data-set e per modalità di gestione della classe observing.
4.4
Definizione di classificatori per la
argu-
ment structure prediction
Una volta definito l’input per la argument structure prediction, si può procedere alla definizione dell’attività di classificazione, mediante l’intro- duzione di molteplici classificatori distinti. Inizialmente, si considerano set di feature molto limitati, in modo tale da costituire delle vere e pro- prie baseline di riferimento, per poi successivamente introdurre insiemi