Traduzione e computer (4)
Cristina Bosco
Informatica applicata alla comunicazione multimediale
2014-2015
Problemi nel valutare la MT
Prima di affrontare il problema della valutazione della MT occorre chiarire che la valutazione
della stessa traduzione in generale è un
problema complesso, non risolto e su cui ci sono molte proposte e modelli in parte in contrasto tra loro.
Problemi nel valutare la traduzione
Manca chiarezza in generale su come si deve valutare una traduzione perché:
- è un problema estremamente complesso - la valutazione della traduzione implica una
intrinseca ed ineliminabile componente soggettiva
- si parla di metodologia della valutazione della traduzione solo a partire dal 1959 (convegno della Federazione Internazionale Traduttori)
Problemi nel valutare la traduzione
Si propongono modelli diversi di valutazione della traduzione, che fanno riferimento a teorie
diverse della traduzione.
In particolare per alcuni modelli la traduzione deve essere vista come un testo a se’ stante, per altri invece come un’entità dipendente dal testo originale.
Una varietà di parametri vengono proposti per confrontare frasi e interi testi.
Problemi nel valutare traduzione
I modelli concordano tuttavia su alcuni principi fondamentali generali:
la valutazione deve cercare di misurare il grado di adeguatezza della traduzione rispetto
• al dato semantico, sintattico e pragmatico del testo sorgente
• al quadro culturale del testo sorgente
• alle possibilità espressive del testo sorgente
• tenendo conto dello scopo comunicativo.
Problemi nel valutare la traduzione
L’interesse “teorico” dei modelli di valutazione è spesso inversamente proporzionale alla loro semplicità di applicazione.
Da una parte vi è la ricerca di esaustività del mondo accademico, dall’altra gli imperativi di ordine
economico di chi si trova a gestire il controllo di qualità in ambito professionale (traduzione giusta al momento giusto, nel posto giusto e al costo
giusto, con la giusta formattazione).
Problemi nel valutare la traduzione
Livelli di qualità:
• qualità-traduzione: garantisce la restituzione fedele del contenuto del testo di partenza e la correttezza sintattica e ortografica del testo di arrivo, ma adatto comunque solo ad una diffusione limitata.
• qualità-adattamento: il testo viene rifinito fino ad
ottenere l’equivalenza totale, testuale e contestuale, sul piano del geostile e del sociostile.
• qualità-editing: è lo “zero difetti” pronto da stampare, assemblato con le immagini, le foto ed i disegni.
Problemi nel valutare la traduzione
Metrica SAE (Society of Automitive Engineers) con 7 categorie di errore:
• errore terminologico, errore sintattico, omissione, errore di concordanza o di morfologia, errore di ortografia, errore di interpunzione, altro.
Ogni errore è pesato come lieve o grave, cioè che può causare un malinteso o far compiere errore nell’eseguire le istruzioni descritte.
La somma dei punti è divisa per il numero di parole.
Valutare la MT
Un problema messo a fuoco dal rapporto ALPAC è quello della valutazione dei risultati prodotti dai sistemi di MT.
Non esiste tutt’ora una metodologia condivisa
ed universalmente accettata per la valutazione in toto della MT. Esistono però delle metriche utili anche per il confronto tra i sistemi e degli aspetti che devono essere considerati.
Problemi nel valutare la MT
Uno dei principali problemi è la scelta di chi valuta:
- Se il valutatore è completamente ignorante di MT non esprime una valutazione realistica e non evidenzia le potenzialità dei limiti
- Se è invece esperto di MT si rischia che si basi su campioni troppo scelti di linguaggio e che evidenzi problemi irrilevanti.
Passi di sviluppo e valutazione per MT
Nella costruzione di un sistema di MT, il primo passo è la costruzione di un prototipo di sistema (esperti).
Il secondo passo è lo sviluppo di un sistema che possa operare in un ambiente reale, con associate utility per pre e post editing (sviluppatori).
Il terzo passo è la valutazione da parte degli acquirenti ed utilizzatori che possono esprimere giudizi su
come il sistema modificherebbe il loro lavoro.
Valutazione dell’output
In tutti i passi occorre valutare l’output che il sistema produce sulla base di 3 parametri:
- Fedeltà o accuratezza - in che misura l’output contiene le stesse informazioni dell’input
- Intelligibilità o chiarezza - la facilità con cui si può comprendere il significato della
traduzione
- Stile e registro - in che misura l’output usa un linguaggio appropriato al contesto d’uso
Valutazione dell’output
Fedeltà o accuratezza - in che misura l’output contiene le stesse informazioni dell’input.
Per verificare si possono applicare tecniche empiriche:
- vedere se seguendo le istruzioni di un manuale tradotto si possono fare le stesse cose che
seguendo l’originale (leggibilità ed equivalenza di effetto sul lettore)
- applicare la traduzione all’indietro
Valutazione dell’output
Intelligibilità o chiarezza - la facilità con cui si può comprendere il significato della
traduzione.
Viene applicata a frasi isolate o a interi testi, prendendo in considerazione anche la
coerenza o consistenza traduttiva delle varie parti.
Si valuta con scale numeriche standard.
Valutazione dell’output
Stile e registro - in che misura l’output usa un linguaggio appropriato al contesto d’uso.
È un fattore molto importante, soprattutto in certi tipi di documenti, che richiede una
valutazione difficile da quantificare.
Vari fattori determinano infatti il tipo di registro, come la scelta dei termini e il modo in cui ci si rivolge al lettore.
Analisi dell’errore
Il conteggio degli errori presenti nell’output di un sistema di MT fornisce informazioni molto utili su come migliorarli.
Si tratta di quantificare il lavoro da svolgere sull’output per renderlo accettabile come
traduzione. Si contano le aggiunte e cancellazioni, le sostituzioni e si calcola la percentuale di parole corrette nel testo tradotto. Non è un processo
oggettivo, dipende dal revisore e dal livello di accettabilità richiesto, e dai 3 parametri.
Analisi dell’errore
Si osservi che il semplice conteggio degli errori può non essere sufficiente: occorre anche
classificarli in base al fenomeno ed alla difficoltà di correzione.
Il risultato di queste analisi si rivela utile per lo sviluppatore del sistema e per l’acquirente.
Ma serve anche a confrontare diversi sistemi di MT. Ma questo richiederebbe però
l’applicazione ad un benchmark condiviso.
Valutazione degli esperti
Durante lo sviluppo del prototipo la valutazione è fatta dagli esperti allo scopo di decidere in che direzione procedere.
L’output mostra carenze che richiedono
modifiche dell’algoritmo o dei dati, pertinenti ad uno o più livelli di analisi o di generazione.
La valutazione viene ripetuta ad ogni modifica del sistema allo scopo di verificare i progressi, in accordo con i 3 parametri.
Valutazione degli esperti
Durante lo sviluppo del sistema la valutazione è fatta dagli sviluppatori che si devono
preoccupare del funzionamento del sistema in un ambiente reale, quindi correggere i
problemi correggibili, e costruire utility per
supplire alle carenze del sistema che si decide di accettare, cercando di bilanciare costi e
benefici.
La valutazione viene fatta prima su piccoli frammenti di testo e poi su corpora.
Valutazione degli acquirenti
Spesso acquirenti ed utilizzatori intervengono già nella fase di sviluppo, ad es. selezionando i dati su cui testare il sistema.
É una valutazione tipo scatola-nera, solo sul
risultato senza pensare al processo per ottenerlo.
È una valutazione fortemente condizionata da
interessi pratici ed economici che devono essere chiaramente definiti (tipo di testi, utenti,
pubblicazione o uso interno, quantità di testi …)
Valutazione degli acquirenti
Per l’utilizzo di un sistema in un ambiente reale occorre anche gestirne la compatibilità
rispetto a sistemi operativi ed eventuali sistemi di input e di output, come OCR ed editor di testo o stampanti e scanner.
Molto raramente un sistema di MT è una entità isolata, di solito è integrato in un sistema più ampio.
Valutazione dei traduttori
Gli utilizzatori dei sistemi di MT sono
principalmente i traduttori di professione, che sono quindi coinvolti nei processi di valutazione.
La loro valutazione riguarda i 3 parametri e
soprattutto in relazione alla quantità di lavoro di pre e post editing, e l’utilizzabilità delle relative utility. Il sistema di MT deve garantire facilità di revisione dell’input e dell’output.
