Traduzione e computer (3) Cristina Bosco Informatica applicata alla comunicazione multimediale 2013

Valutare la MT Un problema messo a fuoco dal rapporto ALPAC è quello della valutazione dei risultati prodotti dai sistemi di MT. Ma non esiste tutt’ora una metodologia condivisa ed universalmente accettata per la valutazione.

Problemi nel valutare la MT Uno dei principali problemi è la scelta di chi valuta: -Se il valutatore è completamente ignorante di MT non esprime una valutazione realistica e non evidenzia le potenzialità -Se è invece esperto di MT si rischia che si basi su campioni troppo scelti di linguaggio.

Passi di sviluppo e valutazione Nella costruzione di un sistema di MT, il primo passo è la costruzione di un prototipo di sistema (esperti). Il secondo passo è lo sviluppo di un sistema che possa operare in un ambiente reale, con associate utility per pre e post editing (sviluppatori). Il terzo passo è la valutazione da parte degli acquirenti, e utilizzatori che possono esprimere giudizi su come il sistema modificherebbe il loro lavoro.

Valutazione dell’output In tutti i passi occorre valutare l’output che il sistema produce sulla base di 3 parametri: - Fedeltà o accuratezza, al valutatore viene chiesto in che misura l’output contiene le stesse informazioni dell’input. In certi casi si può fare una prova pratica e vedere se seguendo le istruzioni di un manuale tradotto si possono fare le stesse cose che seguendo l’originale. In altri si applica la traduzione all’indietro.

Valutazione dell’output In tutti i passi occorre valutare l’output che il sistema produce sulla base di 3 parametri: - Intelligibilità o chiarezza, che misura la facilità con cui il valutatore può comprendere la traduzione. Sovente fatta su frasi isolate, meglio su interi testi, sulla base di scale numeriche standard.

Valutazione dell’output In tutti i passi occorre valutare l’output che il sistema produce sulla base di 3 parametri: -Stile e registro, in che misura l’output usa un linguaggio appropriato al contesto d’uso. È un fattore molto importante, soprattutto in certi tipi di documenti, che richiede una valutazione difficile da quantificare.

Analisi dell’errore Il conteggio degli errori presenti nell’output di un sistema di MT fornisce informazioni molto utili su come migliorarli. Si tratta di quantificare il lavoro da svolgere sull’output per renderlo accettabile come traduzione. Si contano le aggiunte e cancellazioni, le sostituzioni e si calcola la percentuale di parole corrette nel testo tradotto. Non è un processo oggettivo, dipende dal revisore e dal livello di accettabilità richiesto, e dai 3 parametri.

Analisi dell’errore Si osservi che il semplice conteggio degli errori può non essere sufficiente: occorre anche classificarli in base al fenomeno ed alla difficoltà di correzione. Il risultato di queste analisi si rivela utile per lo sviluppatore del sistema e per l’acquirente. Ma serve anche a confrontare diversi sistemi di MT. Ma questo richiederebbe però l’applicazione ad un benchmark condiviso.

Valutazione degli esperti Durante lo sviluppo del prototipo la valutazione è fatta dagli esperti allo scopo di decidere in che direzione procedere. L’output mostra carenze che richiedono modifiche dell’algoritmo o dei dati, pertinenti ad uno o più livelli di analisi o di generazione. La valutazione viene ripetuta ad ogni modifica del sistema allo scopo di verificare i progressi, in accordo con i 3 parametri.

Valutazione degli esperti Durante lo sviluppo del sistema la valutazione è fatta dagli sviluppatori che si devono preoccupare del funzionamento del sistema in un ambiente reale, quindi correggere i problemi correggibili, e costruire utility per supplire alle carenze del sistema che si decide di accettare, cercando di bilanciare costi e benefici. La valutazione viene fatta su corpora e non più su piccoli frammenti di testo.

Valutazione degli acquirenti Spesso acquirenti ed utilizzatori intervengono già nella fase di sviluppo, ad es. selezionando i dati su cui testare il sistema. Tipico dell’acquirente è una valutazione tipo scatola-nera, solo sul risultato senza pensare a come è stato raggiunto. Questa valutazione è fortemente condizionata da interessi pratici ed economici.

Valutazione degli acquirenti Spesso acquirenti ed utilizzatori intervengono già nella fase di sviluppo, ad es. selezionando i dati su cui testare il sistema. Tipico dell’acquirente è una valutazione tipo scatola-nera, solo sul risultato senza pensare a come è stato raggiunto. Questa valutazione è fortemente condizionata da interessi pratici ed economici, che devono essere chiaramente definiti (tipo di testi, utenti, pubblicazione o uso interno, quantità di testi …)

Valutazione degli acquirenti Per l’utilizzo di un sistema in un ambiente reale occorre anche gestirne la compatibilità rispetto a sistemi operativi ed eventuali sistemi di input e di output, come OCR ed editor di testo o stampanti e scanner.

Valutazione dei traduttori Gli utilizzatori dei sistemi di MT sono principalmente i traduttori di professione, che sono quindi coinvolti nei processi di valutazione. La loro valutazione riguarda i 3 parametri e soprattutto in relazione alla quantità di lavoro di pre e post editing, e l’utilizzabilità delle relative utility. Il sistema di MT deve garantire facilità di revisione dell’input e dell’output.