Traduzione e computer (4)
Cris%na Bosco
Informa%ca applicata alla comunicazione mul%mediale
2014-‐2015
Problemi nel valutare la MT
Prima di affrontare il problema della valutazione della MT occorre chiarire che la valutazione
della stessa traduzione in generale è un
problema complesso, non risolto e su cui ci sono molte proposte e modelli in parte in contrasto tra loro.
Problemi nel valutare la traduzione
Manca chiarezza in generale su come si deve valutare una traduzione perché:
-‐ è un problema estremamente complesso -‐ la valutazione della traduzione implica una
intrinseca ed ineliminabile componente soggeBva
-‐ si parla di metodologia della valutazione della traduzione solo a parCre dal 1959 (convegno della Federazione Internazionale TraduIori)
Problemi nel valutare la traduzione
Si propongono modelli diversi di valutazione della traduzione, che fanno riferimento a teorie diverse della traduzione.
In parCcolare per alcuni modelli la traduzione deve essere vista come un testo a se’ stante, per altri invece come un’enCtà dipendente dal testo originale.
Una varietà di parametri vengono proposC per confrontare frasi e interi tesC.
Problemi nel valutare traduzione
I modelli concordano tuIavia su alcuni principi fondamentali generali:
la valutazione deve cercare di misurare il
grado di adeguatezza della traduzione rispeIo
• al dato semanCco, sintaBco e pragmaCco del testo sorgente
• al quadro culturale del testo sorgente
• alle possibilità espressive del testo sorgente
• tenendo conto dello scopo comunicaCvo.
Problemi nel valutare la traduzione
L’interesse “teorico” dei modelli di valutazione è spesso inversamente proporzionale alla loro semplicità di applicazione.
Da una parte vi è la ricerca di esausCvità del mondo accademico, dall’altra gli imperaCvi di ordine
economico di chi si trova a gesCre il controllo di qualità in ambito professionale (traduzione giusta al momento giusto, nel posto giusto e al costo
giusto, con la giusta formaIazione).
Problemi nel valutare la traduzione
Livelli di qualità:
• qualità-‐traduzione: garanCsce la resCtuzione fedele del contenuto del testo di partenza e la correIezza sintaBca e ortografica del testo di arrivo, ma adaIo comunque solo ad una diffusione limitata.
• qualità-‐adaIamento: il testo viene rifinito fino ad
oIenere l’equivalenza totale, testuale e contestuale, sul piano del geosCle e del sociosCle.
• qualità-‐ediCng: è lo “zero difeB” pronto da
stampare, assemblato con le immagini, le foto ed i disegni.
Problemi nel valutare la traduzione
Metrica SAE (Society of AutomiCve Engineers) con 7 categorie di errore:
• errore terminologico, errore sintaBco, omissione, errore di concordanza o di morfologia, errore di ortografia, errore di interpunzione, altro.
Ogni errore è pesato come lieve o grave, cioè che può causare un malinteso o far compiere errore nell’eseguire le istruzioni descriIe.
La somma dei punC è divisa per il numero di parole.
Valutare la MT
Un problema messo a fuoco dal rapporto ALPAC è quello della valutazione dei risultaC prodoB dai sistemi di MT.
Non esiste tuI’ora una metodologia condivisa
ed universalmente acceIata per la valutazione in toto della MT. Esistono però delle metriche uCli anche per il confronto tra i sistemi e degli aspeB che devono essere consideraC.
Problemi nel valutare la MT
Uno dei principali problemi è la scelta di chi valuta:
-‐ Se il valutatore è completamente ignorante di MT non esprime una valutazione realisCca e non evidenzia le potenzialità dei limiC
-‐ Se è invece esperto di MT si rischia che si basi su campioni troppo scelC di linguaggio e che evidenzi problemi irrilevanC.
Passi di sviluppo e valutazione per MT
Nella costruzione di un sistema di MT, il primo
passo è la costruzione di un protoCpo di sistema (esperC).
Il secondo passo è lo sviluppo di un sistema che possa operare in un ambiente reale, con
associate uClity per pre e post ediCng (sviluppatori).
Il terzo passo è la valutazione da parte degli
acquirenC ed uClizzatori che possono esprimere giudizi su come il sistema modificherebbe il loro lavoro.
Valutazione dell’output
In tuB i passi occorre valutare l’output che il sistema produce sulla base di 3 parametri:
-‐ Fedeltà o accuratezza -‐ in che misura l’output conCene le stesse informazioni dell’input
-‐ Intelligibilità o chiarezza -‐ la facilità con cui si può comprendere il significato della
traduzione
-‐ S%le e registro -‐ in che misura l’output usa un linguaggio appropriato al contesto d’uso
Valutazione dell’output
Fedeltà o accuratezza -‐ in che misura l’output conCene le stesse informazioni dell’input.
Per verificare si possono applicare tecniche empiriche:
-‐ vedere se seguendo le istruzioni di un manuale tradoIo si possono fare le stesse cose che
seguendo l’originale (leggibilità ed equivalenza di effeIo sul leIore)
-‐ applicare la traduzione all’indietro
Valutazione dell’output
Intelligibilità o chiarezza -‐ la facilità con cui si può comprendere il significato della
traduzione.
Viene applicata a frasi isolate o a interi tesC, prendendo in considerazione anche la
coerenza o consistenza traduBva delle varie parC.
Si valuta con scale numeriche standard.
Valutazione dell’output
S%le e registro -‐ in che misura l’output usa un linguaggio appropriato al contesto d’uso.
È un faIore molto importante, sopraIuIo in cerC Cpi di documenC, che richiede una
valutazione difficile da quanCficare.
Vari faIori determinano infaB il Cpo di registro, come la scelta dei termini e il modo in cui ci si rivolge al leIore.
Analisi dell’errore
Il conteggio degli errori presenC nell’output di un sistema di MT fornisce informazioni molto uCli su come migliorarli.
Si traIa di quanCficare il lavoro da svolgere sull’output per renderlo acceIabile come traduzione. Si contano le aggiunte e
cancellazioni, le sosCtuzioni e si calcola la percentuale di parole correIe nel testo tradoIo. Non è un processo oggeBvo, dipende dal revisore e dal livello di
acceIabilità richiesto, e dai 3 parametri.
Analisi dell’errore
Si osservi che il semplice conteggio degli errori può non essere sufficiente: occorre anche
classificarli in base al fenomeno ed alla difficoltà di correzione.
Il risultato di queste analisi si rivela uCle per lo sviluppatore del sistema e per l’acquirente.
Ma serve anche a confrontare diversi sistemi di MT. Ma questo richiederebbe però
l’applicazione ad un benchmark condiviso.
Valutazione degli esperC
Durante lo sviluppo del protoCpo la valutazione è faIa dagli esperC allo scopo di decidere in che direzione procedere.
L’output mostra carenze che richiedono
modifiche dell’algoritmo o dei daC, perCnenC ad uno o più livelli di analisi o di generazione.
La valutazione viene ripetuta ad ogni modifica del sistema allo scopo di verificare i progressi, in accordo con i 3 parametri.
Valutazione degli esperC
Durante lo sviluppo del sistema la valutazione è faIa dagli sviluppatori che si devono
preoccupare del funzionamento del sistema in un ambiente reale, quindi correggere i
problemi correggibili, e costruire uClity per
supplire alle carenze del sistema che si decide di acceIare, cercando di bilanciare cosC e
benefici.
La valutazione viene faIa prima su piccoli frammenC di testo e poi su corpora.
Valutazione degli acquirenC
Spesso acquirenC ed uClizzatori intervengono
già nella fase di sviluppo, ad es. selezionando i daC su cui testare il sistema.
É una valutazione Cpo scatola-‐nera, solo sul risultato senza pensare al processo per
oIenerlo.
È una valutazione fortemente condizionata da interessi praCci ed economici che devono essere chiaramente definiC (Cpo di tesC,
utenC, pubblicazione o uso interno, quanCtà di tesC …)
Valutazione degli acquirenC
Per l’uClizzo di un sistema in un ambiente reale occorre anche gesCrne la compaCbilità
rispeIo a sistemi operaCvi ed eventuali sistemi di input e di output, come OCR ed editor di testo o stampanC e scanner.
Molto raramente un sistema di MT è una enCtà isolata, di solito è integrato in un sistema più ampio.
Valutazione dei traduIori
Gli uClizzatori dei sistemi di MT sono
principalmente i traduIori di professione, che sono quindi coinvolC nei processi di valutazione.
La loro valutazione riguarda i 3 parametri e
sopraIuIo in relazione alla quanCtà di lavoro di pre e post ediCng, e l’uClizzabilità delle relaCve uClity. Il sistema di MT deve garanCre facilità di revisione dell’input e dell’output.
