EXTRA Progetto e Sviluppo di un Ambiente per Traduzioni Multilingua Assistite Riccardo Martoglia Università degli Studi di Modena e Reggio Emilia Facoltà.

Presentazione sul tema: "EXTRA Progetto e Sviluppo di un Ambiente per Traduzioni Multilingua Assistite Riccardo Martoglia Università degli Studi di Modena e Reggio Emilia Facoltà."— Transcript della presentazione:

1 EXTRA Progetto e Sviluppo di un Ambiente per Traduzioni Multilingua Assistite Riccardo Martoglia Università degli Studi di Modena e Reggio Emilia Facoltà di Ingegneria – Corso di Laurea in Ingegneria Informatica Anno Accademico 2000/2001 Relatore: Prof. Paolo Tiberio Correlatore: Dott. Federica Mandreoli Controrelatore Controrelatore: Prof. Sonia Bergamaschi

2 Traduzione EBMT (Example-based) Translation Memory Testo da tradurre Testo tradotto Ricerca di frasi (Pre-traduzione) Allineamento TranslationMemory Suggerimenti per la traduzione Traduttore professionista esattaapprossimata ~ 50.000 frasi Codice Frase originaria (Lingua sorgente) Frase tradotta (Lingua destinazione) 5673 Welcome to the world of computer generated art! Benvenuti nel mondo della grafica generata al computer! 13543 The area to the left of the toolbox is where you work on your pictures. L’area a sinistra degli strumenti è dove si opera sulle immagini. 32567 Now press the right mouse button and draw over a figure. Ora premere il pulsante destro del mouse e disegnare una figura. ………

3 Progetto EXTRA (EXample-based TRanslation Assistant) Metrica di similarità tra frasi Flessibile (stemming) Flessibile (stemming) Rigorosa (edit distance) Rigorosa (edit distance) Efficace Efficace Indipendente dalle lingue Indipendente dalle lingue Algoritmi di ricerca di similarità tra frasi Completi (full-match e partial-match) Completi (full-match e partial-match) Efficienti (filtri ed indici ad hoc) Efficienti (filtri ed indici ad hoc) Portabili (query SQL / JDBC + stored procedure Java) Portabili (query SQL / JDBC + stored procedure Java) Algoritmi di allineamento Allineamento frasi e parole Allineamento frasi e parole Automatici Automatici Indipendenti dalle lingue Indipendenti dalle lingue Ambiente integrato Strumenti per gestione ed analisi Translation Memory Strumenti per gestione ed analisi Translation Memory Interfaccia utente grafica Interfaccia utente grafica Svolto in collaborazione con Logos S.p.A.

4 Metrica di similarità tra frasi Edit Distance L’edit distance ed(f 1,f 2 ) tra due frasi f 1 e f 2 è il minimo costo della sequenza di operazioni sulle parole (inserimenti, cancellazioni, sostituzioni) che trasformano f 1 in f 2. Esempio. f 1 : On completion of electrical connections, fit the cooktop in place from the top f 2 : After the electrical connection, fit the hob from the top stemming  complete electric connect fit cooktop place top  electric connect fit hob top  electric connect fit hob top O O O O O O ed(f 1,f 2 ) = 3  distanza tra le frasi di 3 (parole)

5 INSERT INTO FULLMATCH SELECT R2.COD AS COD2, R1.COD AS COD1, R1.TARG_SENT AS SUGG, ed (R1.STEM_SENT, R2. STEM_SENT, round (d*R2.LEN)) AS DIST ed (R1.STEM_SENT, R2. STEM_SENT, round (d*R2.LEN)) AS DIST FROM TM R1, Q R2 WHERE WHERE … AND ed (R1. STEM_SENT, R2.STEM_SENT, round (d*R2.LEN))>= 0 AND ed (R1. STEM_SENT, R2.STEM_SENT, round (d*R2.LEN)) >= 0 ORDER BY COD2, DIST, COD1 INSERT INTO FULLMATCH SELECT R2.COD AS COD2, R1.COD AS COD1, R1.TARG_SENT AS SUGG, ed (R1.STEM_SENT, R2. STEM_SENT, round (d*R2.LEN)) AS DIST ed (R1.STEM_SENT, R2. STEM_SENT, round (d*R2.LEN)) AS DIST FROM TM R1, TMq R1q, Q R2, Qq R2q WHERE R1.COD = R1q.COD AND R2.COD = R2q.COD AND R1q.Qgram = R2q.Qgram AND ABS (R1q.POS – R2q.POS) ≤ round (d*R2.LEN) AND ABS (R1.LEN – R2.LEN) ≤ round (d*R2.LEN) GROUP BY R2.COD, R1.COD, R1.STEM_SENT, R2.STEM_SENT, R1.LEN, R2.LEN HAVING COUNT (*) ≥ (R1.LEN – 1 – (round(d*R2.LEN) – 1) *q) AND COUNT (*) ≥ (R2.LEN – 1 – (round(d*R2.LEN) – 1) *q) AND ed (R1. STEM_SENT, R2.STEM_SENT, round (d*R2.LEN))>= 0 AND ed (R1. STEM_SENT, R2.STEM_SENT, round (d*R2.LEN)) >= 0 ORDER BY COD2, DIST, COD1 Ricerca di similarità tra frasi Full match Dato un insieme di frasi da pre-tradurre Q, un insieme di frasi della Translation Memory TM, e una massima distanza relativa d, per ogni frase f q in Q di lunghezza |f q | si ricercano tutte le frasi f TM in TM (i suggerimenti) tali che ed(f q,f TM,round(d*|f q |))≥0 (ordinate sulla base del risultato dell’edit distance). Filtri: basati sul concetto di q-gramma posizionale basati sul concetto di q-gramma posizionale garantiscono correttezza (assenza di false esclusioni) garantiscono correttezza (assenza di false esclusioni) garantiscono efficienza (pochi falsi positivi) garantiscono efficienza (pochi falsi positivi) filtri di lunghezza, conteggio e posizione filtri di lunghezza, conteggio e posizione

6 31: On completion of electrical connections, fit the cooktop in place from the top and secure it by means of the clips as shown. (complete electric connect fit cooktop place top secure mean clip show) LEN = 11 d = 0.3  Massima distanza ammessa = 3 parole Frase Cercata: Frasi in Translation Memory: CODSOURCE_SENTSTEM_SENTLEN 3572 This is computer generated art. be compute generate art 4 4631 The cooling fan switches on only when the oven or cooktop has reached a certain temperature. cool fan switch oven cooktop have reach certain temperature 9 5848 After the electrical connection, fit the hob from the top and hook it to the support springs, according to the illustration. electric connect fit hob top hook support spring illustrate 9 41780 On completion of electrical connections, put the cooktop in place and fix it by means of the clips as shown. complete electric connect put cooktop place fix mean clip show 7 Ricerca di similarità tra frasi Full match ed(31,3572)ed(31,4631)ed(31,5848)ed(31,41780) = 3

7 Ricerca di similarità tra frasi Partial match Estensione del concetto di Full match. Si ricercano match di similarità: tra qualunque sottoparte delle frasi da pretradurre (estratta automaticamente) tra qualunque sottoparte delle frasi da pretradurre (estratta automaticamente) rispetto a qualunque sottoparte delle frasi della Translation Memory rispetto a qualunque sottoparte delle frasi della Translation Memory non solo in modo esatto, ma anche approssimato non solo in modo esatto, ma anche approssimato utilizzando la stessa metrica di similarità vista per le frasi intere utilizzando la stessa metrica di similarità vista per le frasi intere I Partial match devono essere: di lunghezza superiore ad una soglia minima lMin di lunghezza superiore ad una soglia minima lMin di distanza non maggiore a dSub di distanza non maggiore a dSub non contenuti in altri Partial Match più ampi non contenuti in altri Partial Match più ampi che soddisfano le condizioni precedenti che soddisfano le condizioni precedenti TranslationMemory Query 1: Ricerca parole uguali Partial Match Query 2: Ricerca migliori partial match Nuovi filtri: conteggio (partial match) conteggio (partial match) posizione (partial match) posizione (partial match) lunghezza (partial match) lunghezza (partial match) inclusione inclusione ridondanza ridondanza

8 Ricerca di similarità tra frasi Esempi di suggerimenti di pre-traduzione Frase cercata: On completion of electrical connections, fit the cooktop in place from the top and secure it by means of the clips as shown. Frase con parte simile 1: After the electrical connection, fit the hob from the top and hook it to the support springs, according to the illustration. Traduzione completa 1: Dopo aver eseguito il collegamento elettrico, montare il piano cottura dall'alto e agganciarlo alle molle di supporto come da figura. Suggerimento 1 (Dist=0.33): collegamento elettrico, montare il piano cottura dall'alto Frase con parte simile 2: Secure it by means of the clips. Traduzione suggerita 2 (Dist=0): Fissare definitivamente per mezzo dei ganci.

9 Allineamento Allineamento parole: esempio di funzionamento.riciclaggiodelsimbolodalindicatocome,100%alriciclabileèimballod'materialeIl Uguaglianza (sigle, punteggiatura, parole) Somiglianza LCS (parole)Thepackingis100%recyclable,asindicatedbytherecyclingsymbol..

10 Allineamento Allineamento frasi: esempio di funzionamento IngleseFrancese According to our survey, 1988 sales of mineral water and soft drinks were much higher than in 1987, reflecting the growing popularity of these products. Cola drink manufacturers in particular achieved above-average growth rates. The higher turnover was largely due to an increase in the sales volume. Employment and investment levels also climbed. Following a two-year transitional period, the new Foodstuffs Ordinance for Mineral Water came into effect on April 1, 1988. Specifically, it contains more stringent requirements regarding quality consistency and purity guarantees. Quant aux eaux minérales et aux limonades, elles rencontrent toujours plus d’adeptes. En effet, notre sondage fait ressortir des ventes nettement supérieures à celles de 1987, pour les boissons à base de cola notamment. La progression des chiffres d’affaires résulte en grande partie de l’accroissement du volume des ventes. L’emploi et les investissements ont également augmenté. La nouvelle ordonnance fédérale sur les denrées alimentaires concernant entre autres les eaux minérales, entrée en vigueur le 1er avril 1988 après une période transitoire de deux ans, exige surtout une plus grande constance dans la qualité et une garantie de la pureté. IngleseFranceseMatchDist According to our survey, 1988 sales of mineral water and soft drinks were much higher than in 1987, reflecting the growing popularity of these products. Quant aux eaux minérales et aux limonades, elles rencontrent toujours plus d’adeptes. 2 :2460 En effet, notre sondage fait ressortir des ventes nettement supérieures à celles de 1987, pour les boissons à base de cola notamment. Cola drink manufacturers in particular achieved above-average growth rates. The higher turnover was largely due to an increase in the sales volume. La progression des chiffres d’affaires résulte en grande partie de l’accroissement du volume des ventes. 1 :1173 Employment and investment levels also climbed. L’emploi et les investissements ont également augmenté. L’emploi et les investissements ont également augmenté.1 :146 Following a two-year transitional period, the new Foodstuffs Ordinance for Mineral Water came into effect on April 1, 1988. Following a two-year transitional period, the new Foodstuffs Ordinance for Mineral Water came into effect on April 1, 1988. La nouvelle ordonnance fédérale sur les denrées alimentaires concernant entre autres les eaux minérales, entrée en vigueur le 1er avril 1988 après une période transitoire de deux ans, exige surtout une plus grande constance dans la qualité et une garantie de la pureté. 2 :1340 Specifically, it contains more stringent requirements regarding quality consistency and purity guarantees.

11 Ambiente integrato Strumenti aggiuntivi e interfaccia utente

12 Collezione 1 (35000 frasi): copertura totale 99% Collezione 2 (1500 frasi): copertura totale 71% Prestazioni del sistema Efficacia Efficienza Tempi di pre-traduzione di 420 frasi (Translation Memory di 35000 frasi)  Circa 1,5 secondi per frase I filtri e gli indici permettono una riduzione dei tempi di circa 70%

13 EXTRA Conclusioni Obiettivi conseguiti: è stata definita una metrica di similarità tra frasi efficace ed indipendente dai linguaggi è stato definito e affrontato il problema di ricerca di similarità tra frasi intere è stata estesa la ricerca di similarità alle parti di frasi sono stati mappati tali problemi in query SQL/JDBC portabili ed efficienti sono stati implementati in Java una serie di algoritmi di allineamento, automatici ed indipendenti dalle lingue è stato realizzato in Java un ambiente comune, che riunisce tali funzionalità sotto un’interfaccia comune e ne fornisce di aggiuntive Sviluppi futuri Proseguire il lavoro di ricerca: studiando estensioni della ricerca di similarità in ambito semantico migliorando ulteriormente le prestazioni (nuovi filtri …) studiando l’applicabilità del sistema ad altri ambiti