Traduzione e computer(4)

Cristina BoscoInformatica applicata alla comunicazione

multimediale2014-2015

Problemi nel valutare la MT

Prima di affrontare il problema della valutazione della MT occorre chiarire che la valutazione della stessa traduzione in generale è un problema complesso, non risolto e su cui ci sono molte proposte e modelli in parte in contrasto tra loro.

Problemi nel valutare la traduzione

Manca chiarezza in generale su come si deve valutare una traduzione perché:

- è un problema estremamente complesso- la valutazione della traduzione implica una

intrinseca ed ineliminabile componente soggettiva

- si parla di metodologia della valutazione della traduzione solo a partire dal 1959 (convegno della Federazione Internazionale Traduttori)

Problemi nel valutare la traduzione

Si propongono modelli diversi di valutazione della traduzione, che fanno riferimento a teorie diverse della traduzione.

In particolare per alcuni modelli la traduzione deve essere vista come un testo a se’ stante, per altri invece come un’entità dipendente dal testo originale.

Una varietà di parametri vengono proposti per confrontare frasi e interi testi.

Problemi nel valutare traduzione

I modelli concordano tuttavia su alcuni principi fondamentali generali:la valutazione deve cercare di misurare il grado di adeguatezza della traduzione rispetto

• al dato semantico, sintattico e pragmatico del testo sorgente

• al quadro culturale del testo sorgente• alle possibilità espressive del testo sorgente• tenendo conto dello scopo comunicativo.

Problemi nel valutare la traduzione

L’interesse “teorico” dei modelli di valutazione è spesso inversamente proporzionale alla loro semplicità di applicazione.

Da una parte vi è la ricerca di esaustività del mondo accademico, dall’altra gli imperativi di ordine economico di chi si trova a gestire il controllo di qualità in ambito professionale (traduzione giusta al momento giusto, nel posto giusto e al costo giusto, con la giusta formattazione).

Problemi nel valutare la traduzioneLivelli di qualità:• qualità-traduzione: garantisce la restituzione fedele

del contenuto del testo di partenza e la correttezza sintattica e ortografica del testo di arrivo, ma adatto comunque solo ad una diffusione limitata.

• qualità-adattamento: il testo viene rifinito fino ad ottenere l’equivalenza totale, testuale e contestuale, sul piano del geostile e del sociostile.

• qualità-editing: è lo “zero difetti” pronto da stampare, assemblato con le immagini, le foto ed i disegni.

Problemi nel valutare la traduzione

Metrica SAE (Society of Automitive Engineers) con 7 categorie di errore:

• errore terminologico, errore sintattico, omissione, errore di concordanza o di morfologia, errore di ortografia, errore di interpunzione, altro.

Ogni errore è pesato come lieve o grave, cioè che può causare un malinteso o far compiere errore nell’eseguire le istruzioni descritte.

La somma dei punti è divisa per il numero di parole.

Valutare la MT

Un problema messo a fuoco dal rapporto ALPAC è quello della valutazione dei risultati prodotti dai sistemi di MT.

Non esiste tutt’ora una metodologia condivisa ed universalmente accettata per la valutazione in toto della MT. Esistono però delle metriche utili anche per il confronto tra i sistemi e degli aspetti che devono essere considerati.

Problemi nel valutare la MT

Uno dei principali problemi è la scelta di chi valuta:

- Se il valutatore è completamente ignorante di MT non esprime una valutazione realistica e non evidenzia le potenzialità dei limiti

- Se è invece esperto di MT si rischia che si basi su campioni troppo scelti di linguaggio e che evidenzi problemi irrilevanti.

Passi di sviluppo e valutazione per MT

Nella costruzione di un sistema di MT, il primo passo è la costruzione di un prototipo di sistema (esperti).

Il secondo passo è lo sviluppo di un sistema che possa operare in un ambiente reale, con associate utility per pre e post editing (sviluppatori).

Il terzo passo è la valutazione da parte degli acquirenti ed utilizzatori che possono esprimere giudizi su come il sistema modificherebbe il loro lavoro.

Valutazione dell’outputIn tutti i passi occorre valutare l’output che il

sistema produce sulla base di 3 parametri:- Fedeltà o accuratezza - in che misura l’output

contiene le stesse informazioni dell’input- Intelligibilità o chiarezza - la facilità con cui si

può comprendere il significato della traduzione

- Stile e registro - in che misura l’output usa un linguaggio appropriato al contesto d’uso

Valutazione dell’outputFedeltà o accuratezza - in che misura l’output

contiene le stesse informazioni dell’input. Per verificare si possono applicare tecniche empiriche:- vedere se seguendo le istruzioni di un manuale

tradotto si possono fare le stesse cose che seguendo l’originale (leggibilità ed equivalenza di effetto sul lettore)

- applicare la traduzione all’indietro

Valutazione dell’outputIntelligibilità o chiarezza - la facilità con cui si

può comprendere il significato della traduzione.

Viene applicata a frasi isolate o a interi testi, prendendo in considerazione anche la coerenza o consistenza traduttiva delle varie parti.

Si valuta con scale numeriche standard.

Valutazione dell’outputStile e registro - in che misura l’output usa un

linguaggio appropriato al contesto d’uso. È un fattore molto importante, soprattutto in

certi tipi di documenti, che richiede una valutazione difficile da quantificare.

Vari fattori determinano infatti il tipo di registro, come la scelta dei termini e il modo in cui ci si rivolge al lettore.

Analisi dell’erroreIl conteggio degli errori presenti nell’output di un

sistema di MT fornisce informazioni molto utili su come migliorarli.

Si tratta di quantificare il lavoro da svolgere sull’output per renderlo accettabile come traduzione. Si contano le aggiunte e cancellazioni, le sostituzioni e si calcola la percentuale di parole corrette nel testo tradotto. Non è un processo oggettivo, dipende dal revisore e dal livello di accettabilità richiesto, e dai 3 parametri.

Analisi dell’erroreSi osservi che il semplice conteggio degli errori

può non essere sufficiente: occorre anche classificarli in base al fenomeno ed alla difficoltà di correzione.

Il risultato di queste analisi si rivela utile per lo sviluppatore del sistema e per l’acquirente.

Ma serve anche a confrontare diversi sistemi di MT. Ma questo richiederebbe però l’applicazione ad un benchmark condiviso.

Valutazione degli espertiDurante lo sviluppo del prototipo la valutazione

è fatta dagli esperti allo scopo di decidere in che direzione procedere.

L’output mostra carenze che richiedono modifiche dell’algoritmo o dei dati, pertinenti ad uno o più livelli di analisi o di generazione.

La valutazione viene ripetuta ad ogni modifica del sistema allo scopo di verificare i progressi, in accordo con i 3 parametri.

Valutazione degli espertiDurante lo sviluppo del sistema la valutazione è

fatta dagli sviluppatori che si devono preoccupare del funzionamento del sistema in un ambiente reale, quindi correggere i problemi correggibili, e costruire utility per supplire alle carenze del sistema che si decide di accettare, cercando di bilanciare costi e benefici.

La valutazione viene fatta prima su piccoli frammenti di testo e poi su corpora.

Valutazione degli acquirenti Spesso acquirenti ed utilizzatori intervengono già

nella fase di sviluppo, ad es. selezionando i dati su cui testare il sistema.

É una valutazione tipo scatola-nera, solo sul risultato senza pensare al processo per ottenerlo.

È una valutazione fortemente condizionata da interessi pratici ed economici che devono essere chiaramente definiti (tipo di testi, utenti, pubblicazione o uso interno, quantità di testi …)

Valutazione degli acquirenti Per l’utilizzo di un sistema in un ambiente reale

occorre anche gestirne la compatibilità rispetto a sistemi operativi ed eventuali sistemi di input e di output, come OCR ed editor di testo o stampanti e scanner.

Molto raramente un sistema di MT è una entità isolata, di solito è integrato in un sistema più ampio.

Valutazione dei traduttoriGli utilizzatori dei sistemi di MT sono

principalmente i traduttori di professione, che sono quindi coinvolti nei processi di valutazione.

La loro valutazione riguarda i 3 parametri e soprattutto in relazione alla quantità di lavoro di pre e post editing, e l’utilizzabilità delle relative utility. Il sistema di MT deve garantire facilità di revisione dell’input e dell’output.