Indice
Introduzione 12
1 Comunicazione e Predizione 15
1.1 La Linguistica Computazionale . . . . 16
1.1.1 Il Trattamento Automatico del Linguaggio Naturale . 18 1.1.2 Linguaggio Naturale e Ambiguit`a . . . . 20
1.2 Gli Studi Statistici . . . . 22
1.2.1 I Corpora . . . . 22
1.2.2 Chomsky e la Rinascita della Linguistica dei Corpora 24 1.3 La Predizione . . . . 25
1.3.1 La Word Prediction . . . . 26
1.3.2 Il Word Predictor . . . . 27
1.3.3 Gli Utenti di un Word Predictor . . . . 28
1.4 Il Progetto Precedente e il Nuovo Modulo di Predizione . . . 30
1.5 Organizzazione della Tesi . . . . 33
3
2 Predizione e Statistica 35 2.1 Metodi Formali per il Trattamento del Linguaggio Naturale . 35
2.2 Modelli Probabilistici . . . . 40
2.2.1 Modelli Frequency-based . . . . 41
2.2.2 Modelli Basati su Media e Varianza . . . . 44
2.2.3 Frequenza di Sequenze di Parole . . . . 46
2.3 Inferenza Statistica ed n-gram . . . . 47
2.3.1 Modelli n-gram . . . . 50
2.3.2 Smoothing . . . . 53
2.3.3 Modelli di Markov . . . . 54
2.3.4 Hidden Markov Models . . . . 57
2.4 Part-of-Speech Tagging . . . . 59
2.4.1 Introduzione al Part-of-Speech Tagging . . . . 60
2.4.2 Classificazione dei Part-of-Speech Tagger . . . . 62
2.4.3 Part-of-Speech Tagging con Metodi Statistici . . . . . 66
2.4.4 Markov Model Taggers . . . . 67
2.4.5 L’Algoritmo di Viterbi . . . . 72
3 Risorse Linguistiche 77 3.1 Il Sistema di Gestione di Basi di Dati Lessicali . . . . 78
3.2 Il Dizionario . . . . 80
3.2.1 Organizzazione Logica del Dizionario . . . . 81
3.2.2 La Struttura del Dizionario . . . . 83 4
3.2.3 Generazione e Gestione dei Dizionari . . . . 87
3.3 Il Linguaggio . . . . 88
3.3.1 Modalit`a di Flessione: Declinazione e Coniugazione . . 88
3.3.2 Modalit`a di Alterazione . . . . 89
3.3.3 Enclitici . . . . 91
3.3.4 Propriet`a Sintattiche e Semantiche . . . . 92
3.3.5 La Grammatica . . . . 93
3.4 Il Parser Sintattico . . . . 97
3.4.1 Caratteristiche del Parser Synthema . . . 100
3.5 Il Lemmatizzatore . . . 101
3.5.1 La Grammatica Statistica . . . 107
4 Il Progetto 112 4.1 Contributi di Questa Tesi . . . 112
4.2 Descrizione Generale . . . 113
4.2.1 Il Predittore: Architettura del Sistema . . . 115
4.2.2 Strumenti Utilizzati . . . 121
4.3 Analisi e Scelte di Implementazione . . . 122
4.3.1 Dizionario e Dimensioni . . . 123
4.3.2 Gestione dei Suggerimenti . . . 125
4.4 L’Algoritmo di Predizione . . . 128
4.4.1 Schema delle Funzioni Principali . . . 128
4.4.2 Descrizione Logica . . . 131 5
4.5 L’Interfaccia Utente . . . 135
4.5.1 Esempio di Funzionamento del Predittore . . . 138
4.6 Fase di Verifica e Test Effettuati . . . 146
4.6.1 Risultati Ottenuti . . . 147
4.6.2 Metodologia di Test . . . 148
4.6.3 Valutazione dei Risultati . . . 149
5 Conclusioni e Sviluppi Futuri 153
Appendice A 156
Appendice B 166
Bibliografia 180
6
