Alla fine degli anni 90 Langkilde e Knight presentarono una semplice struttu- ra basata su alberi per rappresentare la semantica di un’espressione naturale. Denominata rappresentazione astratta del significato(AMR), la teoria si di- scosta da altri formalismi, come ad esempio DRT, per un diverso trattamento della negazione, la mancanza di un adeguato trattamento della quantificazione universale, e soprattutto per l’assenza di una semantica formale basata sulla teoria dei modelli. Tuttavia, come sottolinearono Blackburn e Bos, le finalit`a di una teoria per la semantica del linguaggio naturale possono essere circo- scritte alla produzione di una rappresentazione sulla quale sia possibile fare inferenza su sistemi di deduzione automatica. Forse proprio per questo motivo AMR ha acquisito negli ultimi tempi una crescente attenzione: infatti AMR `e sia facile da interpretare nei costrutti che genera, sia veloce da annotare su grandi collezioni di testi.
Le strutture di AMR sono semplici e possono essere espresse con grafi diretti aciclici, che, essendo caratterizzati da un unico nodo root, sono per loro natura degli alberi. Il seguente vocabolario `e utilizzato nella definizione della sintassi:
variabili x, y, etc,e costanti c1, . . . , cn;
eventi e concetti descritti da propriet`a P1, . . . , Pm;
ruoli R1, . . . , Rq;
un’operazione di istanziamento “/” tale che x/Pidenota che x `e un’istanza
di Pi;
un’operazione di assegnamento di ruolo “:”.
Indicando poi con Ai le singole rappresentazioni, la sintassi di una AMR pu`o
essere definita come:
Definizione 2.8.1 A ::= c|(x/P )|(x/P : R1A1· · · : RnAn)
In questa definizione i di↵erenti tipi possono essere tutti considerati come denotazioni di proposizioni di↵erenti. Un’espressione come “Mr. Obama gave a speech.” pu`o essere espressa in AMR come:
2.8 Rappresentazione astratta del significato 43
(e/give : ARG0(x/person : named “M r Obama00) : ARG1(y/speech)) Se si restringe AMR al contesto di un’analisi senza polarit`a `e possibile poi sfruttare un’altra interessante sua caratteristica: l’inversione dei ruoli. Tale procedura, R(x, y) ˆ=Rof(y, x), permette di esprimere costrutti AMR
semanticamente equivalenti ma strutturalmente di↵erenti.
Sulla sintassi appena proposta `e possibile definire una funzione ricorsiva che trasforma i costrutti AMR in logica del primo ordine. Tuttavia, per ot- tenere un corretto trattamento degli assegnamenti di scopo, i ruoli non sono tradotti direttamente ma sono invece convertiti in espressioni . La semantica di base per l’AMR pu`o essere definita come:
Definizione 2.8.2 ||c, || = (c)
||(x/P ), || = 9x(P (x) ^ (x))
||(x/P : R1A1. . . : RnAn), || = 9x(P (x) ^ ||A1, y.R1(x, y)k| ^ · · · ^
||An, y.Rn(x, y)k| ^ (x))
Qui denota un’espressione . La struttura che ne risulta `e una formula chiusa poich´e la traduzione impedisce la presenza di variabili libere. Tuttavia attraverso la relazione di polarit`a `e possibile esprimere il concetto di negazione. Finora AMR `e stata trattata nella sua forma pi`u semplice. La relazione di polarit`a `e definita fra un concetto(che sar`a negato) e la costante “ ”. La presenza di tale relazione richiede uno specifico trattamento nell’assegnamento di un’interpretazione che impone delle modifiche sia sulla sintassi sia sulla semantica. Definizione 2.8.3 A ::= c|(x/P )|(x/P : R1A1· · · : RnAn)| (x/P : R1A1· · · : RnAn : polarity ) e Definizione 2.8.4 ||c, || = (c) ||(x/P ), || = 9x(P (x) ^ (x)) ||(x/P : R1A1. . . : RnAn), || = 9x(P (x) ^ ||A1, y.R1(x, y)|| ^ . . . ^||An, y.Rn(x, y)|| ^ (x))
||(x/P : R1A1. . . : RnAn : polarity ), || = ¬9x(P (x)^||A1, y.R1(x, y)||^
. . .
^||An, y.Rn(x, y)|| ^ (x))
Se la negazione `e assegnata al concetto radice allora il suo scopo si estende su tutti i sottostanti quantificatori esistenziali. In altri casi essa potrebbe essere invece pi`u interna, e la proposizione costruita equivarrebbe ad una situazione in cui una certa cosa non esiste.
Il trattamento della quantificazione universale invece `e decisamente pi`u problematico. Sebbene in generale i costrutti AMR non possono esprimere
quantificazione universale, `e possibile, attraverso la tecnica di estrazione dei concetti e la relazione di polarit`a, rappresentare alcune espressioni universal- mente quantificate. Per esempio, un espressione come “every boy played ” pu`o essere rappresentata come:
¬9x(boy(x) ^ ¬9e(play(e) ^ ARG0(e, x))) che `e logicamente equivalente alla pi`u tradizionale:
8x(boy(x) =) 9e(play(e) ^ ARG0(e, x)))
Tuttavia, data la natura delle AMR, non pi`u di un quantificatore universale `e esprimibile in questo modo, da qui l’impossibilit`a di esprimere espressioni tipo every boy played every guitar.
Concludendo AMR `e diversa dalle teorie formali di rappresentazione della semantica presentate in questo capito. Se da un lato essa permette di esplici- tare alcuni aspetti della struttura semantica, dall’altro l’impossibilit`a di rap- presentare scopi rende necessario un di↵erente modo di trattare la negazio- ne. Quest’ultima pu`o portare a cambiamenti nel significato quando associato all’inversione dei ruoli.
2.9 Sommario e riferimenti per approfondimenti
Nella tradizione linguistica i primi lavori sulla semantica possono essere riferiti ai lavori di Br´eal ed in particolare a [13]. Successivamente la discussione fu posta leggermente in secondo piano a cause della posizione abbastanza ambi- gua di Chomsky. I passaggi riportati sono estratti dal lavoro [26]. Solo dopo il lavoro di Kats e Fodor [77] la semantica riprese un ruolo di interesse all’inter- no della comunit`a linguistica. Nella definire il Projection Problem gli autori evidenziarono l’importanza di indagare maggiormente il legame che sussiste fra sintassi e semantica.
Parallelamente alla prospettiva linguistica la semantica `e stata analizzata lungo una dimensione di carattere prettamente filosofico. L’analisi filosofica del problema della significazione ha una storia pi`u antica della sua corrispetti- va linguistica. Leibniz col suo Calculus ratiocinator inizi`o una lunga tradizione che ebbe il suo culmine con l’avvento della logica matematica. In questo con- testo molti dei principi fondanti sono stati delineati dal lungo lavoro di Frege. Soprattutto in [49] Frege distinse per la prima volta il senso dal riferimento. Le di↵erenze fra intensione ed estensione furono oggetto di tentativi di forma- lizzazioni da parte dei filosofi del linguaggio come Russell e Tarski, solo per citarne alcuni. Tuttavia solo con il contributo di Montague si pot´e iniziare a modellare la questione semantica in un opportuno formalismo logico.
Fra i lavori alternativi alla teoria dei modelli definiti da Tarski vi fu l’ap- proccio definito da Carnap in [20, 21]. Al suo interno il significato era sempre caratterizzato da un valore di verit`a ma la definizione di mondi possibili era
2.9 Sommario e riferimenti per approfondimenti 45
qui realizzata in termini di descrittori di configurazione di stati. Nei suoi la- vori Carnap prov`o a fornire una semantica per la logica modale all’interno del contesto dei mondi possibili, questa ricerca fu poi proseguita da Kanger in [75, 74] e Kripke [79, 80] che distinsero i modelli dai mondi possibili che furono infine inglobati all’interno dei modelli. Tuttavia fu solo con Montague e la sua logica intensionale che i lavori di Carnap e Kripke poterono essere unificati.
Il lavoro di Montague sul trattamento formale della semantica del linguag- gio naturale `e concentrato in tre lavori English as Formal Language [110], Universal Grammar [111], ed infine The Proper Treatment of Quantification in Ordinary English [112].
Per la semantica lessicale approfondimenti sulla rivisitazione della compo- sizionalit`a definita da Fodor e Pylyshyn pu`o essere trovata in [48]. Il primo riferimento contenente una discussione sul contrasto fra i casi red apple e pink grapefruit pu`o essere trovato nelle note di Quine in [128]. Approfondimenti sugli argomenti proposti da Pustejovsky contro l’enumerazione, che pu`o esse- re vista come una variante dell’approccio della generazione selettiva, possono essere trovati in [125, 126, 127].
Il riferimento pi`u importante per la reificazione degli eventi `e sicuramente il saggio di Davidson [32], ma anche le note successive [31] sono un’interessante lettura. Mentre per approfondire la forma proposta da Parsons, che prende il nome di neo-Davidson, `e possibile consultare [141].
La teoria di rappresentazione del discorso `e stata originariamente svilup- pata da Kamp in [72] per trattare la risoluzione dei pronomi e le relazioni temporali. Mentre la versione standard della teoria, incorporante anche la semantica degli eventi di Davidson, `e invece proposta successivamente in col- laborazione con Reyle in[73]. Il lavoro pi`u recente di Lascarides e Asher su Segmented discourse representation theory `e [83]. Infine le note riportate sul ruolo dei riferimenti del discorso sono un semplice accenno alla discussione proposta da Hess in [63].
La teoria di rappresentazione astratta del significato `e stata dapprima in- trodotta con il lavoro di Langkilde e Knight [82]. Successivamente Bos prosegu`ı lo sviluppo di questa teoria nei lavori [8, 11].
3
Modelli neurali per il linguaggio naturale
In netto contrasto con la trattazione formale della tradizione di Chomsky, l’ap- proccio conosciuto come word embeddings, nel seguito denominato con il ter- mine vettori di parole, si basa sull’assunzione che le informazioni contestuali, da sole, o↵rano un’adeguata rappresentazione delle entit`a linguistiche.
Lo scopo dell’analisi distribuzionale `e l’acquisizione del significato sfrut- tando la distribuzione delle entit`a linguistiche all’interno di collezioni di testo. L’ipotesi fondamentale alla base di questo approccio `e spesso parafrasato con l’espressione “parole simili nel significato tendono ad essere caratterizzate da contesti simili”, o con “parole che occorrono nello stesso contesto tendono ad avere lo stesso significato”. L’idea qui `e di evidenziare una correlazione fra le caratteristiche della distribuzione associata ad una parola ed il suo significato, in modo da individuare quest’ultimo in funzione della prima.
Questo capitolo introduce i principi di base dell’analisi distribuzionale e discute i pi`u recenti modelli per il linguaggio costruiti con l’ausilio delle reti neurali. Questi modelli, conosciuti appunto con il nome di modelli neurali, saranno analizzati nelle varie sezioni cercando dove possibile di evidenziarne pregi e difetti.