Analisi e valutazione dei proli estratti

I lessici risultanti preservano sostanzialmente le stesse caratteristiche delle risorse LexIt e LexFr presentate nel capitolo 2. L'unica dierenza rilevante è l'aggiunta dello slot iobj incluso per quelle lingue in cui è necessario marcare la presenza dell'oggetto indiretto (3.2.1). Nelle tabelle in 3.6 presentiamo a confronto i proli sintattici del verbo inglese to play, di quello italiano giocare e di quello francese jouer, tra i quali è possibile rilevare evidenti corrispondenze sintattiche.

Etichetta Slot sintattico

0 costruzione zero argomentale

subj soggetto

obj oggetto

iobj oggetto indiretto

si riessivo

comp_* complemento introdotto da preposizione * fin_* subordinate nite introdotte da congiunzione * inf_* subordinate innite introdotte da congiunzione *

Tabella 3.5: Slot sintattici in UDLex.

La Tabella 3.7 invece elenca gli elementi lessicali che occorrono come oggetto dei tre verbi sopra citati15_{. Come si può evincere, nei lexical set inglese e francese i lemmi si}

possono ripartire in tre campi semantici: competere (chess, match in inglese, nale in

QdS Freq LMI subj#obj#compin 10 16.65 subj#obj 32 8.91 subj#compwith 4 6.80 subj#compin 6 4.85 subj#compat 2 2.53 subj#obj#comp_on 2 1.96 subj#compon 2 1.48 subj#obj#compwith 1 0.58 subj#0 19 -4.69 (a) play QdS Freq LMI subj#obj#compdans 13 25.04 subj#compavec 7 21.68 subj#obj#compavec 7 17.58 subj#comppour 6 16.64 subj#compdans 11 14.48 subj#comp`a 15 6.87 subj#compcontre 2 6.8 subj#compsur 4 3.074 subj#obj 26 -15.17 (b) jouer QdS Freq LMI subj#compin 13 23.19 subj#compcon 4 12.11 subj#compper 3 7.32 subj#0 12 2.96 subj#compa 5 1.01 subj#obj#compcon 1 0.53 subj#obj 8 -6.36 (c) giocare

Tabella 3.6: Proli sintattici dei verbi to play, jouer e giocare.

francese), causare rumore/musica (song, chanson) e interpretare un ruolo (role, part, movie, rôle, personnage). Viceversa, il verbo italiano giocare non è polisemico e quindi seleziona come oggetto solo elementi lessicali che appartengono al campo semantico della competizione. Inne riportiamo le classi semantiche assegnate a tale argomento, calcolate a partire dagli elementi lessicali estratti utilizzando la tassonomia di WordNet (Fellbaum, 1998).

I proli così estratti vengono salvati in un database SQL in cui sono riportate le tabelle di tutti i lessici costruiti, rinominate in modo da distinguere le varie lingue. Il fatto che tutti i database monolingui abbiano la stessa struttura rende ovviamente più semplice la migrazione a un database multilingua, in quanto grazie a un semplice script è possibile rinominare le tabelle con un nome appropriato (per esempio la tabella vlemma nel lessico dell'italiano sarà salvata come vlemma_it nel database nale). Questa scelta implementativa permette in linea di principio che una risorsa per una qualsiasi lingua costruita con il sistema UDLex possa essere inserita all'interno del database i maniera completamente automatica.

Inglese Italiano Francese

Lexical Set

role (86.42) partita (62.13) rôle (198.12)

track (7.09) ruolo (12.35) match (47.74)

servant (8.41) campionato (7.42) personnage (18.87)

track-s (7.09) gioco (7.17) morceau (12.13)

joke (6.6) incontro (7.07) saison (9.93)

movie (6.41) chanson (9.57) song (6.23) prol (6.87) music (6.23) performance (6.07) record (5.94) pilier (5.70) couple (5.82) intermédiaire (5.41) version (5.31) nale (4.55) Shakespeare (3.98) carte (4.81) part (3.79) jeu (3.09) Classe Semantica

ACT (6.87) OSSESSION (12.24) SHAPE (17.51)

ATTRIBUTE (6.63) ACT (6.75) BODY(11.71)

COGNITION(5.60) GROUP (0.43) COGNITION(5.37)

OBJECT (0.72) ATTRIBUTE(4.75)

COMMUNICATION (0.35) ACT(2.71)

Tabella 3.7: Proli semantici rispetto all'oggetto diretto obj di to play, giocare e jouer.

Valutazione

La metodologia standard per valutare l'accuratezza dei quadri di sottocategorizzazio- ne estratti automaticamente si basa sul confronto dei dati estratti rispetto a un corpus gold-standard (Preiss et al., 2007). Nonostante questo approccio risenta fortemente della grandezza limitata delle treebank (Poibeau and Messiant, 2008), dal momento che è pos- sibile che nei corpora non occorra un certo QdS che invece è incluso in un dizionario, tale analisi rappresenta sicuramente un punto d'inizio.

Per i nostri scopi, abbiamo selezionato due risorse gold standard:

• Valency Patterns Leipzig (ValPaL)  un database online che racchiude informazioni sulla valenza di un piccolo insieme di verbi per 36 lingue dierenti, incluso inglese (Goddard, 2013) e italiano (Cennamo and Fabrizio, 2013). L'obiettivo del progetto è sviluppare uno studio comparativo interlinguistico delle classi di valenza, selezio- nando come punto di partenza gli stessi verbi ad alta frequenza in ciascuna lingua, e scegliendo una rappresentazione della struttura valenziale che sia standard per ciascuna lingua (maggiori dettagli sono forniti nella sezione 1.4.3).

• Dicovalence (Mertens, 2010)  un lessico di valenza realizzato manualmente che contiene informazioni su più di 3 700 verbi francesi. La rappresentazione dei frame si basa sull'approccio pronominale (Van den Eynde and Mertens, 2003), una teoria

linguistica per cui ogni slot sintattico è rappresentato nei termini di quali pronomi lo lessicalizzino.

Per ogni lingua sono stati selezionati i 20 verbi più frequenti attestati anche nella risorsa gold standard. Dal momento che le rappresentazioni dei frame erano molto diverse tra i lessici, si è provveduto a vericare manualmente se un dato frame fosse presente nel gold standard o meno. Per esempio, ValPaL e Dicovalence usano un'etichetta specica per indicare i complementi locativi, senza indicare il tipo di preposizione che li introduce; viceversa, UDLex non specica la funzione del complemento, considerando come unica marca distintiva la preposizione che introduce il sintagma. In questi casi, un frame estratto viene giudicato ammissibile se la risorsa gold standard riporta un esempio che può essere riconducibile al trame estratto.

Tradizionalmente, per valutare l'accuratezza del sistema di acquisizione si ricorre alle misure di precision, recall e F-measure16_{. La metodologia standard prevede di ltrare i}

QdS estratti sulla base di una soglia di frequenza, al ne di escludere dalla valutazione quei frame inusuali dovuti a errori di tagging o parsing, che potrebbero incidere sull'accuratezza del sistema. Seguendo la procedura descritta in (Korhonen, 2002), calcoliamo per ciascuna coppia verbo-QdS la loro Maximum Likelihood Estimation, ovvero la frequenza relativa tra un frame scfi e un verbo vj :

f reqrel(scfi, vj) =

f(scfi, vj)

f(vj)

A questo punto, si calcolano precision, recall e F-measure considerando solo il sot- toinsieme dei frame estratti che hanno una MLE maggiore della soglia, e si ripete il procedimento per valori della soglia sempre più alti, al ne di ottenere una F-measure più alta.

Precision Recall F-measure

En_ValPaL 0.49 0.62 0.55

Dicovalence 0.37 0.63 0.47

It_ValPaL 0.55 0.51 0.53

Tabella 3.8: I risultati più alti ottenuti con soglie di frequenza MLE (Rambelli et al., 2017).

Dalla Tabella 3.8 osserviamo che la performance più alta è ricavata dall'inglese. Que- sto risultato è direttamente riconducibile alla dimensione ristretta della lista dei QdS ammissibili codicati in ValPaL (solo 21 frame distintivi e molto semplici). Tutti i frame sono attestati nel nostro database, tuttavia è molto alto il numero di frame estratti che non compaiono nella risorsa gold standard. Per esempio, il verbo to call è associato a un

16_{Per precision si intende la percentuale di QdS estratti dal sistema che sono corretti (nella risorsa}

unico QdS in ValPaL (frase (15) a.) in quanto rimanda al signicato specico di nomina- re, mentre grazie al sistema UDLex estraiamo 17 diversi frame, molti dei quali sono senza dubbio rilevanti in quanto specicano un dierente senso verbale (frasi (15) b.-(15) c.).

(15) a. They called him a fool. subj#cpred#obj b. I called for assistance.

subj#comp_for c. I called the hotel.

subj#obj

Un altro esempio di disallineamento tra la nostra risorsa e il database gold-standard è dato dalla codica del pronome riessivo si in italiano. ValPal ore una ne distinzione tra i diversi usi del pronome, come l'uso impersonale, gli intransitivi pronominali, il vero riessivo ecc. Catturare tali dierenza va ben oltre la capacità espressive del nostro lessico, che distingue solo tra QdS che contengono un pronome riessivo (come subj#si#0) da quelli che non lo contengono (subj#0). Di conseguenza, tutti questi frame vengono ricondotti a un'unica occorrenza.

Tra tutte le lingue, il francese è quello che ottiene la performance peggiore.Dicovalence è una risorsa molto dierente da ValPaL, con uno spettro di QdS ammissibili molto più alto (386 frame distinti). Di conseguenza, la rappresentazione della struttura argomen- tale è molto più specica: per esempio, il lessico riporta due entrate distinte tra il verbo appeler (chiamare) e la costruzione en appeler, che ha il signicato specico di chiamare in appello (16). Ovviamente, questa distinzione tra i due sensi è dicile da identi- care automaticamente (sebbene sia dubbio considerarli come due sensi completamente irrelati)..

(16) J'en appelle à votre bonté pour lui donner une deuxième chance. (Faccio appello alla vostra bontà per dargli una seconda possibilità.)

In conclusione vogliamo riaermare che questa valutazione non può essere comparata allo stato dell'arte sulla base delle dimensioni delle risorse costruite: estrarre informazioni da corpora di grandi dimensioni permetterebbe di avere una copertura più ampia delle costruzioni sintattiche ammesse da ciascun verbo, avendo misure statistiche più solide su cui poter fare adamento in fase di eliminazione del rumore.