Le Tabelle 7.1 e 7.2 riportano alcuni dei coseni ottenuti per i vettori dei verbi del modello M1 e per quelli del modello visivo MV, che utilizzano la stessa quantità di informazioni. In particolare, nelle tabelle sono riprodotti i 5 verbi più vicini semanticamente a un sottoset di verbi all’interno del modello testuale e all’interno del modello visivo.
Come si può vedere l’utilizzo di un modello visivo modifica in parte i vicini semantici dei verbi: è il caso della coppia accept-engage (cos. 0.5) o choose-
inform (cos. 0.375). Questo indica che l’utilizzo di informazioni di tipo visivo
permette di cogliere informazioni semantiche diverse da quelle individuate dal modello testuale.
accept choose marry reject 0,600 forget 0,436 think 0,219 withdraw 0,560 know 0,379 kill 0,193 determine 0,228 want 0,322 go 0,187
agree 0,181 try 0,264 say 0,174 decide 0,151 seem 0,251 succeed 0,160 Tabella 7.1: Vicini semantici di accept, choose e marry
all’interno del modello testuale M1
accept choose marry
reject 0,632 collect 0,400 succeed 0,400 agree 0,5 earn 0,375 forget 0,218 engage 0,5 inform 0,375 think 0,218 declare 0,433 allow 0,350 do 0,188 encourage 0,433 join 0,335 say 0,188
Tabella 7.2: Vicini semantici di accept, choose e marry all’interno
del modello visivo MV
Osservando la Tabella 7.3 inoltre, si nota che i coseni dei vettori visivi tendono ad avere valori di cosine similarity maggiori rispetto ai coseni testuali.
Coppie cos-testo cos-vis save protect 0,010 0,144 appoint elect 0,441 0,239 decide choose 0,165 0,213 pursue realize 0,065 0,365 win dominate 0,006 0,210
Tabella 7.3: Confronto tra i valori dei coseni testuali
( cos-testo) di M1 con quelli visivi ( cos-vis) per alcune delle coppie di verbi
Questo andamento del modello visivo nel presentare valori di cosine simila-
rity maggiori rispetto a quelli del modello testuale si evince anche dalla Figura
7.3 sopra presentata. Analizzando il grafico si nota una tendenza generalizzata all’interno nel modello visivo a rappresentare la somiglianza tra i vettori verbali con valori >0.15 mentre nel modello testuale i valori tendono a collocarsi al di sotto di tale media.
Dopo aver analizzato i risultati complessivi di cosine similarity tra i modelli, effettuiamo ora un ulteriore confronto considerando prima solo le co-occorrenze soggetto dei verbi e poi quelle in funzione di oggetto. E’ interessante in questo caso osservare come il coseno dei verbi composti solo da elementi in funzione di soggetto dimostra che, seppur di poco, il modello solo testuale M1 presenta prestazioni migliori rispetto a MV, come mostrato in Figura 7.4.
Figura 7.4: Confronto tra i coseni dei verbi costituiti
solo da occorrenze nominali in funzione di soggetto
Questo andamento è tuttavia previsto: infatti, molti dei soggetti verbali sono di tipo astratto e, come evidenziato già da altre ricerche (Köper e Schulte im Walde, 2017, Hill e Korhonen, 2014), i modelli visivi hanno tuttora delle grosse difficoltà nel riconoscere i nomi astratti mentre prestazioni decisamente migliori sono raggiunte relativamente ai nomi concreti. Poiché quindi il modello visivo non è in grado di rappresentare termini come theory o experience, la possibilità di rappresentare efficacemente il significato di un verbo tramite le sue occorrenze nominali si riduce. Come sottolineato da Hill e Korhonen pertanto è possibile affermare che i concetti astratti possono essere appresi (almeno fino a questo momento) solo tramite i modelli testuali mentre i modelli visivi e persino quelli multimodali non producono alcun miglioramento della loro rappresentazione.
A ulteriore supporto di quanto detto, si consideri la Figura 7.5, tratta da Hill e Korhonen (2014) in cui viene evidenziato il calo della performance dei
modelli visivi nel riconoscere i nomi e verbi astratti, in contrapposizione con quelli concreti.
Figura 7.5: Confronto tra le performance di apprendimento dei
concetti astratti rispetto a quelli concreti sulla base di informazioni di tipo percettivo
I valori dei coseni di MV subiscono invece un incremento rispetto ai valori in 7.4 se si considerano solo le co-occorrenze nominali dei verbi (Figura 7.6). In questo caso, tranne poche eccezioni (e.g destroy= 0.15 nel modello testuale mentre in quello visivo il valore della media scende a 0.01), si può vedere come MV presenti valori di coseno più alti rispetto a quelli di M1.
Figura 7.6: Confronto tra i coseni dei verbi costituiti
solo da occorrenze nominali in funzione di oggetto
Dopo il confronto tra i valori dei coseni del modello M1 con quelli del modello visivo, si analizzano adesso i risultati di quest’ultimo con il modello M2. Questo secondo modello testuale utilizza tutte le co-occorrenze nominali soggetto e oggetto dei verbi selezionati; di conseguenza i vettori di M2 codificano più informazioni rispetto a quelli di M1.
La Tabella 7.4 riporta i 5 verbi più vicini semanticamente a accept, choose e marry (come già mostrato nelle Tabelle 7.1 e 7.2) individuati all’interno del modello distribuzionale M2. Come si nota dal confronto con le due precedenti tabelle, M2 modifica i vicini semantici dei verbi; questo indica che la presenza di maggiori informazioni sul tipo di occorrenze che accompagnano il verbo, influisce fortemente nel definire il significato del verbo stesso e la sua somiglianza semantica con gli altri verbi.
accept choose marry
investigate 0,781 enjoy 0,467 choose 0,445 do 0,466 enter 0,466 know 0,299 make 0,332 leave 0,452 spend 0,132 take 0,323 marry 0,445 meet 0,119 declare 0,307 realize 0,395 argue 0,115
Tabella 7.4: Vicini semantici di accept, choose e marry all’interno
del modello testuale M1
Coppie cos-testo cos-vis save protect 0,123 0,632 appoint elect 0,680 0,226 decide choosev 0,303 0,288 pursue realize 0,049 0,365 win dominate 0,176 0,316
Tabella 7.5: Confronto tra i valori dei coseni testuali ( cos-testo) di
M2 con quelli visivi ( cos-vis) per alcune coppie di verbi
Dalla Tabella 7.5, in cui viene effettuato il confronto tra i valori dei coseni ottenuti per alcune coppie di verbi all’interno del modello M2 e nel modello MV, è possibile estrarre due tipologie di informazioni. La prima è che, rispetto ai valori registrati in 7.3, il modello testuale che considera tutte le occorren- ze oggetto e soggetto dei verbi, registra valori di cosine similarity maggiori rispetto a quelli riportati per il modello M1. Il secondo dato riguarda invece il confronto con il modello visivo: è infatti possibile osservare in questo caso che, generalmente, per le stesse coppie di verbi, i coseni di MV sono più alti di quelli registrati nel modello testuale. Questo indica che il nostro modello visivo,
Figura 7.7: Confronto tra il modello testuale M2 e quello visivo
stando alle analisi fino ad ora effettuate, è in grado di riconoscere efficacemente la similarità tra i verbi.
Il grafico in Figura 7.7 descrive la distribuzione dei coseni all’interno dei modelli di M2 e MV. Come si nota dal grafico, l’utilizzo di vettori testuali più ricchi di informazioni sembra giovare alla prestazione generale del sistema.
Figura 7.8: Coseni dei verbi formati solo da vettori soggetti. Il
confronto è effettuato tra il modello visivo e quello testuale M2
Infatti, anche se i valori dei coseni visivi sono più alti rispetto a quelli dei coseni testuali (come già registrato in Figura 7.3), in questo caso le due distri- buzioni tendono a collocarsi a poca distanza l’una dall’altra, senza presentare gap evidenti come invece mostrato dal confronto tra M1 e MV.
Un evidente calo delle prestazioni del modello testuale è invece registrato relativamente alla distribuzione dei coseni dei verbi composti solo da soggetti: in questo caso infatti, come si può notare dal grafico in Figura 7.8, il modello visivo risulta essere il migliore. Nonostante il deficit legato alla mancata rap- presentazione dei nomi astratti, MV presenta una media dei valori decisamente più alta di quella del modello M2, con una differenza tra le due medie di circa 0.1.
Figura 7.9: Coseni dei verbi formati solo da vettori oggetti. Il
Più equilibrata risulta essere la distribuzione dei verbi composti solo da complementi oggetto (Figura 7.9). E’ inoltre interessante notare come in alcuni casi il modello testuale M2 registri valori di cosine similarity negativi. Questi valori, anche se nell’ordine di cos > -0.018, costituiscono un indice della presenza di una correlazione di ordine inverso tra i verbi.