Informatica applicata alla comunicazione multimediale Traduzione e computer Cristina Bosco Informatica applicata alla comunicazione multimediale 2016-2017

Problemi nel valutare la MT Prima di affrontare il problema della valutazione della MT occorre chiarire che la valutazione della stessa traduzione in generale è un problema complesso, non risolto e su cui ci sono molte proposte e modelli in parte in contrasto tra loro.

Problemi nel valutare la traduzione Manca chiarezza in generale su come si deve valutare una traduzione perché: è un problema estremamente complesso la valutazione della traduzione implica una intrinseca ed ineliminabile componente soggettiva si parla di metodologia della valutazione della traduzione solo a partire dal 1959 (convegno della Federazione Internazionale Traduttori)

Problemi nel valutare la traduzione Si propongono modelli diversi di valutazione della traduzione, che fanno riferimento a teorie diverse della traduzione. In particolare per alcuni modelli la traduzione deve essere vista come un testo a se’ stante, per altri invece come un’entità dipendente dal testo originale. Una varietà di parametri vengono proposti per confrontare frasi e interi testi.

Problemi nel valutare traduzione I modelli concordano tuttavia su alcuni principi fondamentali generali: la valutazione deve cercare di misurare il grado di adeguatezza della traduzione rispetto al dato semantico, sintattico e pragmatico del testo sorgente al quadro culturale del testo sorgente alle possibilità espressive del testo sorgente tenendo conto dello scopo comunicativo.

Problemi nel valutare la traduzione L’interesse “teorico” dei modelli di valutazione è spesso inversamente proporzionale alla loro semplicità di applicazione. Da una parte vi è la ricerca di esaustività del mondo accademico, dall’altra gli imperativi di ordine economico di chi si trova a gestire il controllo di qualità in ambito professionale (traduzione giusta al momento giusto, nel posto giusto e al costo giusto, con la giusta formattazione).

Problemi nel valutare la traduzione Livelli di qualità: qualità-traduzione: garantisce la restituzione fedele del contenuto del testo di partenza e la correttezza sintattica e ortografica del testo di arrivo, ma adatto comunque solo ad una diffusione limitata. qualità-adattamento: il testo viene rifinito fino ad ottenere l’equivalenza totale, testuale e contestuale, sul piano del geostile e del sociostile. qualità-editing: è lo “zero difetti” pronto da stampare, assemblato con le immagini, le foto ed i disegni.

Problemi nel valutare la traduzione Metrica SAE (Society of Automitive Engineers) con 7 categorie di errore: errore terminologico, errore sintattico, omissione, errore di concordanza o di morfologia, errore di ortografia, errore di interpunzione, altro. Ogni errore è pesato come lieve o grave, cioè che può causare un malinteso o far compiere errore nell’eseguire le istruzioni descritte. La somma dei punti è divisa per il numero di parole.

Valutare la MT Un problema messo a fuoco dal rapporto ALPAC è quello della valutazione dei risultati prodotti dai sistemi di MT. Non esiste tutt’ora una metodologia condivisa ed universalmente accettata per la valutazione in toto della MT. Esistono però delle metriche utili anche per il confronto tra i sistemi e degli aspetti che devono essere considerati.

Problemi nel valutare la MT Uno dei principali problemi è la scelta di chi valuta: Se il valutatore è completamente ignorante di MT non esprime una valutazione realistica e non evidenzia le potenzialità dei limiti Se è invece esperto di MT si rischia che si basi su campioni troppo scelti di linguaggio e che evidenzi problemi irrilevanti.

Passi di sviluppo e valutazione per MT Nella costruzione di un sistema di MT, il primo passo è la costruzione di un prototipo di sistema (esperti). Il secondo passo è lo sviluppo di un sistema che possa operare in un ambiente reale, con associate utility per pre e post editing (sviluppatori). Il terzo passo è la valutazione da parte degli acquirenti ed utilizzatori che possono esprimere giudizi su come il sistema modificherebbe il loro lavoro.

Valutazione dell’output In tutti i passi occorre valutare l’output che il sistema produce sulla base di 3 parametri: Fedeltà o accuratezza - in che misura l’output contiene le stesse informazioni dell’input Intelligibilità o chiarezza - la facilità con cui si può comprendere il significato della traduzione Stile e registro - in che misura l’output usa un linguaggio appropriato al contesto d’uso

Valutazione dell’output Fedeltà o accuratezza - in che misura l’output contiene le stesse informazioni dell’input. Per verificare si possono applicare tecniche empiriche: vedere se seguendo le istruzioni di un manuale tradotto si possono fare le stesse cose che seguendo l’originale (leggibilità ed equivalenza di effetto sul lettore) applicare la traduzione all’indietro

Valutazione dell’output Intelligibilità o chiarezza - la facilità con cui si può comprendere il significato della traduzione. Viene applicata a frasi isolate o a interi testi, prendendo in considerazione anche la coerenza o consistenza traduttiva delle varie parti. Si valuta con scale numeriche standard.

Valutazione dell’output Stile e registro - in che misura l’output usa un linguaggio appropriato al contesto d’uso. È un fattore molto importante, soprattutto in certi tipi di documenti, che richiede una valutazione difficile da quantificare. Vari fattori determinano infatti il tipo di registro, come la scelta dei termini e il modo in cui ci si rivolge al lettore.

Analisi dell’errore Il conteggio degli errori presenti nell’output di un sistema di MT fornisce informazioni molto utili su come migliorarli. Si tratta di quantificare il lavoro da svolgere sull’output per renderlo accettabile come traduzione. Si contano le aggiunte e cancellazioni, le sostituzioni e si calcola la percentuale di parole corrette nel testo tradotto. Non è un processo oggettivo, dipende dal revisore e dal livello di accettabilità richiesto, e dai 3 parametri.

Analisi dell’errore Si osservi che il semplice conteggio degli errori può non essere sufficiente: occorre anche classificarli in base al fenomeno ed alla difficoltà di correzione. Il risultato di queste analisi si rivela utile per lo sviluppatore del sistema e per l’acquirente. Ma serve anche a confrontare diversi sistemi di MT. Ma questo richiederebbe però l’applicazione ad un benchmark condiviso.

Valutazione degli esperti Durante lo sviluppo del prototipo la valutazione è fatta dagli esperti allo scopo di decidere in che direzione procedere. L’output mostra carenze che richiedono modifiche dell’algoritmo o dei dati, pertinenti ad uno o più livelli di analisi o di generazione. La valutazione viene ripetuta ad ogni modifica del sistema allo scopo di verificare i progressi, in accordo con i 3 parametri.

Valutazione degli esperti Durante lo sviluppo del sistema la valutazione è fatta dagli sviluppatori che si devono preoccupare del funzionamento del sistema in un ambiente reale, quindi correggere i problemi correggibili, e costruire utility per supplire alle carenze del sistema che si decide di accettare, cercando di bilanciare costi e benefici. La valutazione viene fatta prima su piccoli frammenti di testo e poi su corpora.

Valutazione degli acquirenti Spesso acquirenti ed utilizzatori intervengono già nella fase di sviluppo, ad es. selezionando i dati su cui testare il sistema. É una valutazione tipo scatola-nera, solo sul risultato senza pensare al processo per ottenerlo. È una valutazione fortemente condizionata da interessi pratici ed economici che devono essere chiaramente definiti (tipo di testi, utenti, pubblicazione o uso interno, quantità di testi …)

Valutazione degli acquirenti Per l’utilizzo di un sistema in un ambiente reale occorre anche gestirne la compatibilità rispetto a sistemi operativi ed eventuali sistemi di input e di output, come OCR ed editor di testo o stampanti e scanner. Molto raramente un sistema di MT è una entità isolata, di solito è integrato in un sistema più ampio.

Valutazione dei traduttori Gli utilizzatori dei sistemi di MT sono principalmente i traduttori di professione, che sono quindi coinvolti nei processi di valutazione. La loro valutazione riguarda i 3 parametri e soprattutto in relazione alla quantità di lavoro di pre e post editing, e l’utilizzabilità delle relative utility. Il sistema di MT deve garantire facilità di revisione dell’input e dell’output.

Valutazione e metriche Nel rapporto ALPAC si fa un primo tentativo di valutare la qualità della traduzione e il compito di valutare è affidato ad un gruppo di esperti umani che leggono il testo originale e quello tradotto e li confrontano. Riconoscendo che questo modo di valutare ha il difetto della componente di soggettività, in seguito vengono proposte metriche oggettive per la valutazione.

BLEU Bilingual Evaluation Understudy BLEU è un algoritmo che valuta la qualità di un testo tradotto da una macchina confrontandolo con una traduzione fatto da un umano. Per limitare la soggettività è preferibile il confronto con più traduzioni. Il risultato è compreso tra 0 e 1, dove 1 è la perfetta identità. La valutazione si basa sul numero di parole uguali nei due testi confrontati.

TER Translation Error Rate Anche TER valuta la qualità di un testo tradotto da una macchina confrontandolo con una traduzione fatto da un umano. La distanza tra i due testi è calcolata come numero di modifiche (inserimenti di parole nuove, cancellazioni, sostituzioni e spostamenti) necessarie a trasformare il testo prodotto dalla macchina in quello di riferimento. Il risultato è diviso per il numero di parole del testo di riferimento. Il valore migliore è 0.

TER Translation Error Rate Saudi Arabia denied this week information published in the American New York Times This week the Saudis denied information published in the New York Times 1 spostamento, 2 sostituzioni, 1 cancellazione 13 parole 4/13 = 0.31 = 31%