Fluency ed equivalenza semantica nell’output inglese e nell’ouput

Analizzando i dati esposti nella sezione 4.6 per le coppie di lingue italiano - inglese e italiano-tedesco, emergono leggere differenze nei punteggi medi ottenuti dall'output inglese e dall'output tedesco per i parametri valutati. In particolare, come già sottolineato in 4.6, per entramb e le applicazioni gli output in tedesco risultano leggermente più scorrevoli rispetto a quelli in inglese. La situazione si inverte invece per il parametro equivalenza semantica: sembra infatti che nonostante l a maggiore fluency, se confrontati con quelli in inglese, gli output in tedesco rispecchino meno fedelmente significato e intento delle frasi source, seppur di poco.

Considerando che in un sistema statistico di traduzione automatica (come quello alla base di GT e MsT) generalmente la qualità della traduzione è tanto maggiore quanto maggiori sono le dimensioni del corpus o dei corpora utilizzati per l’addestramento del sistema stesso, ci si poteva aspettare che l'output inglese risultasse qualitativamente s uperiore all'output tedesco, in considerazione del fatto che generalmente i corpora in inglese hanno dimensioni vastissime, di solito maggiori rispetto a quelle dei corpora utilizzati per l'addestramento nelle altre lingue.

Questa aspettativa è confermata dai risultati relativi all'equivalenza semantica, che indicano che le traduzioni verso l'inglese risultano più fedeli alle frasi originali, ma non dai punteggi medi relativi al parametro fluency. Tuttavia occorre ricordare che per il calcolo di tali punte ggi è stata effettuata una selezione delle risposte fornite dai valutatori, tale per cui, come sottolineato più volte, alcune risposte sono state escluse in quanto caratterizzate da disaccordo. Per la combinazione italiano -tedesco il numero di risposte escluse è stato superiore rispetto alla combinazione italiano - inglese e questo potrebbe avere in qualche modo influito sul calcolo della

media dei punteggi ottenuti dai diversi output per fluency ed equivalenza semantica. A questo proposito, si è notato, ad e sempio, che includendo tutte le valutazioni sulla fluency nel calcolo della media ottenuta da ogni app per ogni combinazione linguistica, i valori ottenuti dall'output inglese e da quello tedesco si equivalgono (attestandosi intorno a un punteggio medio di circa 3,2 per GT e di circa 3,6 per MsT). Al di là di questo, è importante sottolineare che la valutazione degli output in inglese e in tedesco è fondata su giudizi soggettivi forniti da valutatori diversi. I soggetti chiamati a valutare gli output in tedesco non sono gli stessi chiamati a valutare l'inglese: i valutatori di una combinazione linguistica potrebbero avere dato diverso peso a eventuali errori riscontrati nelle traduzioni rispetto a quelli dell'altra combinazione, oppure potrebbero avere una s ensibilità diversa nei confronti degli errori.

Un altro aspetto interessante che emerge analizzando gli output tradotti in tedesco e inglese da GT è la presenza di un termine inglese (“excuse”) all'interno di un output tedesco (“Excuse spricht Italienisch” , traduzione della frase source “Scusi, parla italiano?”; si veda Appendice 1). Una possibile spiegazione di questa “anomalia” è stata individuata in “Everything you ever wanted to know about Google Translate, and finally got the chance to ask”, un articolo pubblicato sul portale TAUS, dove viene illustrato il funzionamento di Google Translate. Secondo l'autore dell'articolo, l'ampia gamma di combinazioni linguistiche di traduzione offerte da Google Translate è resa possibile dal fatto che per molte di ques te combinazioni linguistiche l'inglese viene usato come “lingua ponte” nel processo traduttivo. Ciò significa ad esempio che per effettuare una traduzione dal finlandese allo zulu Google Translate tradurrà dapprima il testo source dal finlandese all'inglese e in un secondo momento tradurrà l'inglese in zulu (Greene, 2016). Questa strategia ha permesso a Google Translate di ampliare la sua rosa di lingue e combinazioni linguistiche di traduzione, includendo anche combinazioni per le quali non esistono ancora corpora paralleli allineati di dimensioni sufficienti all'addestramento. Tuttavia questo stratagemma aumenta le probabilità che insorgano errori nella traduzione (ibid.). L'articolo si riferisce al servizio di traduzione automatica offerto dalla piattaforma online Google Translate, ma appare probabile che lo stesso

meccanismo entri in atto nell'applicazione.

Detto ciò, la coppia linguistica italiano -tedesco dovrebbe disporre di un numero sufficiente di testi tradotti allineati da consentire la traduzione diretta dall'italiano al tedesco di parole di uso comune come “Scusi”. Tuttavia è possibile che nell'applicazione GT, ideata per la traduzione di testi di dimensioni ridotte o di conversazioni, la traduzione italiano -tedesco si basi almeno in parte sull'inglese come “lingua ponte”, forse a causa di un numero insufficiente di testi allineati relativi alla lingua parlata (si ricorda che originariamente Google Translate è nato come servizio per la traduzione di testi scritti). Questo spiegherebbe sia la presenz a di un termine inglese all'interno dell'output tedesco tradotto da GT, sia la somiglianza riscontrata fra la struttura sintattica di alcuni output in inglese e delle corrispondenti versioni in tedesco, sia infine la specularità di alcuni errori di traduzi one presenti in entrambi gli output. Per quanto riguarda questi ultimi aspetti, un esempio che sembra confermare questa teoria è rappresentato dalle frasi “What time served breakfast” e “Zu welcher Zeit das Frühstück serviert”, traduzioni della frase source “A che ora servite la colazione?” (si veda Appendice 1). Si può notare come in entrambi gli output tradotti il verbo servire sia coniugato al participio passato (rispettivamente “served” e “serviert”); questo errore può derivare dal fatto che l'italiano “servite” indica sia la seconda persona plurale dell'indicativo presente del verbo servire, sia il participio passato riferito a un soggetto femminile plurale. In inglese il verbo è stato tradotto erroneamente proprio come participio passato e lo stesso errore si ripresenta in tedesco. L'ipotesi è dunque che l'errore in tedesco sia dovuto a un errore già presente nell'output inglese che ha fatto da “ponte” nella traduzione fra italiano e tedesco.

Le stesse considerazioni sembrano valere per il funzionamento di MsT: anche per questa app alcuni degli output in tedesco sembrano rispecchiare la sintassi dei corrispondenti output in inglese, proprio come per GT. Ciò fa supporre che anche per MsT vi sia l'utilizzo dell'inglese come “lingua ponte”, ma anche in questo caso non sono state reperite informazioni certe a conferma di questa ipotesi.

Se le considerazioni finora espresse fossero corrette, confermerebbero l'idea secondo la quale, sia per GT che per MsT, l'output inglese dovrebbe risultare

leggermente migliore o almeno equivalente in termini di qualità rispetto a quello tedesco, che potrebbe contenere errori derivanti dal doppio passaggio linguistico in sede di traduzione.

5.3.5 Analisi delle principali problematiche riscontrate nelle