El Ingl és y el Espa ñol en la Ling ü´ıstica Computacional: Traducci ón Autom ática

(1)

Computacional:

Traducci ´on Autom ´atica

Felipe S ´anchez Mart´ınez yMiquel Espl `a Gomis

Dep. de Llenguatges i Sistemes Inform `atics Universitat d’Alacant

Curso 2020/21

(2)

´Indice

1 Traducci ´on autom ´atica

Aplicaciones de la traducci ón autom ática Automatizaci ón del proceso de traducci ón

2 Evaluaci ón de la traducci ón autom ática

Evaluaci ón humana de la traducci ón autom ática Evaluaci ón autom ática de la traducci ón autom ática Deficiencias de las medidas de evaluaci ón autom ática 3 Los problemas de la traducci ón autom ática

4 Funcionamiento de la traducci ´on autom ´atica

5 T écnicas de traducci ón autom ática

Traducci ón autom ática basada en reglas Traducci ón autom ática basada en corpus

Felipe S ´anchez Mart´ınez & Miquel Espl `a Gomis (Univ. d’Alacant) 67/106

(3)

(4)

Traducci ´on autom ´atica basada en reglas /1

La traducci ón autom ática basada en reglas es como usar un diccionario y una gram ática descriptiva para traducir desde un idioma que no conoces a otro

Arquitectura de transferencia:

SL text Analysis

Transfer

Generation SL IR

TL IR

TL text

IR = Intermediate Representation

(5)

Diferentes niveles de an ´alisis, representaciones intermedias diferentes:

SL analysis

TL generation

direct translation shallow transfer syntactic transfer

semantic transfer interlingua

SL TL

(6)

Traducci ´on autom ´atica basada en reglas /3

Larepresentaci ón intermedia(RI) proporciona un abstracci ón que permite la escritura de reglas de traducci ón

Traducci ´on directa: No hay RI

Transferencia morfol ógica: La RI suele consistir en formas l éxicas (combinaciones de lemas y cat. l éxicas) Transferencia sint áctica: La RI suele ser un árbol de an álisis

sint ´actico o un ´arbol de dependencias Semantic transfer: La RI consta de predicados

sem ´anticos

Interlingua: La misma RI (un predicado) es compartida por todos

los pares de idiomas

SL analysis

TL generation

SL TL

(7)

Sobre la representaci ´on intermedia

Como sugiere el tri ángulo, cuanto m ás se asciende hacia la c úspide, . . .

. . .menos transferencia hay que hacer . . .m ´as datos de la LO hacen falta . . .menos fiablees elan ´alisis

SL analysis

TL generation

SL TL

(8)

Traducci ´on autom ´atica basada en reglas /5

Traducci ´on directa

Mars satellites may have been created by third moon

SL analysis

TL generation

SL TL

(9)

Mars satellites may have been created by third moon Marte

SL analysis

TL generation

SL TL

(10)

Traducci ´on autom ´atica basada en reglas /5

Mars satellites may have been created by third moon Marte sat ´elites

SL analysis

TL generation

SL TL

(11)

Mars satellites may have been created by third moon Marte sat ´elites mayo

SL analysis

TL generation

SL TL

(12)

Traducci ´on autom ´atica basada en reglas /5

Mars satellites may have been created by third moon Marte sat ´elites mayo tener

SL analysis

TL generation

SL TL

(13)

Mars satellites may have been created by third moon Marte sat ´elites mayo tener estado

SL analysis

TL generation

SL TL

(14)

Traducci ´on autom ´atica basada en reglas /5

Mars satellites may have been created by third moon Marte sat ´elites mayo tener estado creado

SL analysis

TL generation

SL TL

(15)

Mars satellites may have been created by third moon Marte sat ´elites mayo tener estado creado por

SL analysis

TL generation

SL TL

(16)

Traducci ´on autom ´atica basada en reglas /5

Mars satellites may have been created by third moon Marte sat ´elites mayo tener estado creado por tercero

SL analysis

TL generation

SL TL

(17)

Mars satellites may have been created by third moon Marte sat ´elites mayo tener estado creado por tercero luna

SL analysis

TL generation

SL TL

(18)

Traducci ´on autom ´atica basada en reglas /5

Mars satellites may have been created by third moon Marte sat ´elites mayo tener estado creado por tercero luna

Traducci ´on palabra por palabra No hay an ´alisis gramatical

Errores flagrantes, p.ej. tercero luna en lugar de tercera luna

SL analysis

TL generation

SL TL

(19)

Transferencia morfol ´ogica avanzada

LO the professor ’s house

SL analysis

TL generation

SL TL

(20)

Traducci ´on autom ´atica basada en reglas /6

RILO the-DT.def professor-N.sg ’s-POS house-N.sg

An ´alisis: De formas superficiales en LO (p. ej. house) a formas l ´exicas en LO (p.ej. house N.sg)

SL analysis

TL generation

SL TL

(21)

RILM el-DT.def.f.sg casa-N.f.sg de-PR + el-DT.def.m.sg profesor N.m.sg

Transferencia

De lemas en LO (p.ej. house) a lemas en LM (p.ej. casa) Procesamiento depatrones de formas l ´exicasque necesitan ser procesadas conjuntamente; p.ej.

DT N1 POS N2→ el-DT N2de-PR DT N1

SL analysis

TL generation

SL TL

(22)

Traducci ´on autom ´atica basada en reglas /6

LM la casa del profesor

Transferencia

De lemas en LO (p.ej. house) a lemas en LM (p.ej. casa) Procesamiento depatrones de formas l ´exicasque necesitan ser procesadas conjuntamente; p.ej.

DT N₁ POS N₂→ el-DT N2de-PR DT N₁ Generaci ´on: De formas l ´exicas en LM a formas superficiales en LM

SL analysis

TL generation

SL TL

(23)

Transferencias morfol ´ogica avanzada

LM la casa del profesor

La calidad de las traducciones depende de:

La calidad delan ´alisis morfol ´ogico

Lospatrones de formas l ´exicasque son procesados conjuntamente

Es necesaria una regla para cada patr ´on de formas l ´exicas, p.ej.

DT ADJ N→ DT N ADJ

DT ADJ1 ADJ2 N→ DT N ADJ1y-CNJ ADJ2

. . .

SL analysis

TL generation

SL TL

(24)

Traducci ´on autom ´atica basada en reglas /8

Transferencia sint ´actica

LO: the old professor’s smart girlfriend’s red car

SL analysis

TL generation

SL TL

(25)

An álisis: De formas l éxicas en LO a un árbol de an álisis en LO

NP

GP

NP

GP

NP

ADJ old

NP N professor

POS

’s

NP

ADJ smart

NP N

girlfriend POS

’s

NP ADJ

red NP

N car

SL analysis

TL generation

SL TL

(26)

The transfer approach /5

NP

GP NP . . .

POS

’s

NP ADJ

red NP

N car

An álisis: De formas l éxicas en LO a un árbol de an álisis en LO

Transferencia: Reglas que operan sobre los nodos del árbol de an álisis en LO para obtener un árbol de an álisis en LM

Movimiento de adjetivos:

NP₁ ADJ NP2

−→ NP₁

NP2 ADJ

Traducci ón de la construcci ón del genitivo saj ón como un sintagma preposicional:

NP1

GP NP2 POS

’s NP3

−→ NP1

NP3 PP

PR de

NP2

SL analysis

TL generation

SL TL

(27)

An álisis: De formas l éxicas a un árbol de an álisis en LO Transferencia: Reglas que operan sobre los nodos del

árbol de an álisis en LO para obtener un árbol de an álisis en LM

Arbol en LO:´

NP

GP

NP

GP

NP ADJ

old NP

N professor

POS

’s

NP ADJ smart

NP N girlfriend

POS

’s

NP ADJ

red NP

N car

SL analysis

TL generation

SL TL

(28)

Traducci ´on autom ´atica basada en reglas /9

Arbol en LM (antes transferencia l ´exica):´

NP

NP NP

N car

ADJ red

PP

PR de

NP

NP NP

N girlfriend

ADJ smart

PP

P de

NP NP N professor

ADJ old

SL analysis

TL generation

SL TL

(29)

Arbol en LM (despu ´es transferencia l ´exica):´

NP

NP NP

N coche

ADJ rojo

PP

PR de

NP

NP NP

N novia

ADJ inteligente

PP

PR de

NP NP N catedr ´atico

ADJ viejo

SL analysis

TL generation

SL TL

(30)

Traducci ´on autom ´atica basada en reglas /10

Arbol en LM (despu ´es de la transferencia l ´exica):´

NP

NP NP

N coche

ADJ rojo

PP PR de

NP . . .

SL analysis

TL generation

SL TL

(31)

Generaci ón: De un árbol de an álisis en LM a formas superficiales en LM

Arbol en LM (despu ´es de la transferencia l ´exica):´

NP

NP NP

N coche

ADJ rojo

PP PR de

NP . . .

LM: el coche rojo de la novia inteligente del catedr ´atico viejo

SL analysis

TL generation

SL TL

(32)

Traducci ´on autom ´atica basada en reglas /11

La calidad de las traducciones depende de la calidad del an álisis morfol ógicoy delan álisis sint áctico

An álisis sint ácticos err óneos puede producir traducciones sorprendentes

Produce traducciones err ´oneas cuando los roles

sem ´anticos tienen distribuciones sint ´acticas diferentes en la LO y la LM (p.ej. me gusta nadar, I like swimming)

SL analysis

TL generation

SL TL

(33)

Transferencia sem ´antica

LO A Elisa le gustan mucho las flores

SL analysis

TL generation

SL TL

(34)

Traducci ´on autom ´atica basada en reglas /12

gustar[object=[Elisa], subject=[las flores], adv=[mucho]]

RI LO gustar[ experiencer=[Elisa], theme=[las flores], quant.=[mucho]]

An álisis: De un árbol de an álisis en LO a un predicado sem ántico en LO

SL analysis

TL generation

SL TL

(35)

RI LM like[ experiencer=[Elisa], theme=[flowers], quant.=[very much]]

like[ object=[flowers], subject=[Elisa], adv=[very much]]

Transferencia: De un predicado sem ´antico en LO a un predicado sem ´antico en LM

SL analysis

TL generation

SL TL

(36)

Traducci ´on autom ´atica basada en reglas /12

RI LM like[ experiencer=[Elisa], theme=[flowers], quant.=[very much]]

like[ object=[flowers], subject=[Elisa], adv=[very much]]

LM Elisa likes flowers very much

Transferencia: De un predicado sem ántico en LO a un predicado sem ántico en LM Generaci ón: De un predicado sem ántico en LM a formas superficiales en LM

SL analysis

TL generation

SL TL

(37)

La calidad depende de la calidad delan álisis morfol ógico, delan álisis sint ácticoy delan álisis sem ántico

SL analysis

TL generation

SL TL

(38)

Traducci ´on autom ´atica basada en reglas /14

Sistemas basados en reglas reales

Estos tipos de sistemas est ´an idealizados

La mayor´ıa de los sistemas son en realidad una mezcla de los diferentes tipos

Incluso un sistema sem ´antico puede usar traducci ´on directa para determinada secuencias de palabras

Un sistema de transferencia morfol ógica avanzada puede identificar la funci ón sint áctica en algunos contextos limitados

Un sistema sint áctico puede realizar an álisis sem ántico de roles para ciertos verbos dif´ıciles

(39)

Tarea: Averigua el tipo de sistema basado en reglas Intenta averiguar qu ´e tipo de sistema basado en reglas es Apertium (https://apertium.org):

1 Piensa en un divergencia entre la LO y LM (p.ej. orden lo de los adjetivos en los sintagmas nominales)

2 Prop ´on una oraci ´on sencilla (p.ej. “the red car”)

3 Compara su traducci ´on con la trad. palabra por palabra Para obtener la traducci ´on palabra por palabra, traduce las palabras de forma aislada introduciendo puntos y l´ıneas en blanco entre ellas

4 Complica en ejemplo (p.ej. a ˜nadiendo adjetivos) y vuelve al paso 3

(40)

Traducci ´on autom ´atica basada en reglas /16

Postedici ´on de la salida de un traductor basado en reglas

Las traducciones son m ´as predecibles que las producidas por sistemas basados en corpus

El sistema suele producir los mismos errores

Conocer errores t´ıpicos permite una postedici ón m ás r ápida Suelen permitir personalizar diccionarios (terminolog´ıa)

(41)

(42)

Traducci ´on autom ´atica basada en corpus /1

“Existing translations contain more solutions to more translation problems than any other existing resource” — Pierre Isabelle Objetivo

Aprender a traducir a partir de traducciones existentes (bitextos)

Para aprender a traducir a partir de bitextos:

1 Los textos deben estarsegmentadosen oraciones Los signos de puntuaci ón y la informaci ón de formato pueden ser útiles

(43)

“Existing translations contain more solutions to more translation problems than any other existing resource” — Pierre Isabelle Objetivo

Aprender a traducir a partir de traducciones existentes (bitextos)

Para aprender a traducir a partir de bitextos:

1 Los textos deben estarsegmentadosen oraciones Los signos de puntuaci ón y la informaci ón de formato pueden ser útiles

2 Las oraciones deben estaralineadas, es decir, deben identificarse las oraciones que son traducci ´on mutua

(44)

Traducci ´on autom ´atica basada en corpus /2

El alineamiento puede ser 1-1, 1-N o N-1

Imagen de Koehn (2010)

(45)

¿C ´omo aprender´ıais un diccionario biling ¨ue a partir de un bitexto como el siguiente?

gur ubhfo gur juvga ubhfo gur subjre

yn pifo yn pifo oynapi yn sybe

Necesitamos saber que palabras son traducci ´on de qu ´e palabras: alineamientos

(46)

Traducci ´on autom ´atica estad´ıstica /1

Inicializaci ´on: Todos los alineamientos son igualmente probables

(47)

Contamos “co-ocurrencias”

(48)

Traducci ´on autom ´atica estad´ıstica /1

El alineamiento m ´as probable: nos vamos quedando con las traducciones m ´as probables

(49)

El alineamiento m ´as probable: la estructura de

alineamiento que estaba “oculta” queda al descubierto

(50)

Traducci ´on autom ´atica estad´ıstica /2

the house the white house the flower

la casa la casa blanca la flor

A partir de los alineamientos a nivel de palabras se obtiene un diccionario biling ¨ue probabil´ıstico

p(la|the) = 0, 453 p(el|the) = 0, 334 p(casa|house) = 0, 876 p(blanco|white) = 0, 763

...

(51)

Advertencia

Utilizar siempre el equivalente m ´as probable proporcionado por un diccionario probabil´ıstico es traducirpalabra por palabra

Traducciones poco inteligibles

el oso apareci ´o tarde−→ the I dare appeared afternoon the computer expert’s large desk is full−→ el ordenador experto grande escritorio es lleno

menos mal que s ´olo sesenta y cinco personas murieron

−→ less wrong that only sixty and five persons died

(52)

Traducci ´on autom ´atica estad´ıstica /4

¿C ´omo podr´ıamos mejorar la inteligibilidad?

Una pista. Resultados encontrados en la web para las traducciones de:

(1) the bank of the river, (2) el oso apareci ´o y (3) cinco personas murieron

(1) “el banco del r´ıo” 4.500 “la rivera del r´ıo” 372.000 (2) “the I dare appeared” 0 “the bear appeared” 245.000 (3) “five persons died” 69.300 “five people died” 1.090.000

(53)

¿C ´omo podr´ıamos mejorar la inteligibilidad?

Modelo de lenguaje

Permite medir la probabilidad (fluidez) de un segmento de texto en una lengua dada

Modelo estad´ıstico basado en n-gramas (normalmente trigramas)

Se entrena a partir de un texto de la lengua a modelar suficientemente grande

F ácil de obtener: s ólo hay que calcular la frecuencia de aparici ón de los n-gramas

(54)

Traducci ´on autom ´atica estad´ıstica /6

Modelo de lengua de 3-gramas:

p(house|the red) = count(the red house) count(the red ∗)

¿C ´omo se calcula la verosimilitud de una traducci ´on usando n-gramas? (p.ej. con 3-gramas)

The potential of machine translation is clear

(55)

Thepotential of machine translation is clear

(56)

Traducci ´on autom ´atica estad´ıstica /6

The potentialof machine translation is clear

(57)

The potential ofmachine translation is clear

(58)

Traducci ´on autom ´atica estad´ıstica /6

Thepotential of machinetranslation is clear

(59)

The potentialof machine translationis clear

(60)

Traducci ´on autom ´atica estad´ıstica /6

The potential ofmachine translation isclear

(61)

The potential of machinetranslation is clear

(62)

Traducci ´on autom ´atica estad´ıstica /6

(63)

Traducci ón autom ática estad´ıstica basada en palabras El modelo de traducci ón y el modelo de lengua se combinan para mejorar la calidad de las traducciones

ptranslation model(source|target) × planguage model(target) El equivalente m ás probable seg ún el modelo de traducci ón se elige s ólo cuando la traducci ón resultante sea fluida

(64)

Traducci ´on autom ´atica estad´ıstica /8

Ejemplo de TA estad´ıstica basada en palabras LO: the red car

Opciones de traducci ´on (las m ´as probables primero):

the→ la, el, las, los, . . .

red→ rojo, rojas, roja, rojos, . . . car→ coche, autom óvil, auto, . . . Hip ótesis de traducci ón:

MT ML Puntuaci ´on

la rojo coche 0.82 0.15 0.12

el rojas coche 0.75 0.09 0.08

el rojo coche 0.78 0.45 0.35

el coche roja 0.69 0.52 0.36

el coche rojo 0.78 0.81 0.63

el autom ´ovil rojo 0.66 0.85 0.56 . . .

(65)

Problemas de la traducci ´on autom ´atica estad´ıstica basada en palabras:

(66)

Traducci ´on autom ´atica estad´ıstica /9

La unidad de traducci ´on es la palabra y el contexto se tiene en cuenta s ´olo indirectamente por parte del modelo de lengua

Phrasal verbs: fall out, fall apart, fall back, go over, go out, . . .

Expresiones multipalabra: as a matter of fact, as soon as possible, all in all, (es) echar de menos, (es) direcci ´on general, . . .

Colocaciones: dream of, make a decision, fast food, quick meal, make money, . . .

. . .

(67)

La unidad de traducci ´on es la palabra y el contexto se tiene en cuenta s ´olo indirectamente por parte del modelo de lengua

Phrasal verbs: fall out, fall apart, fall back, go over, go out, . . .

Expresiones multipalabra: as a matter of fact, as soon as possible, all in all, (es) echar de menos, (es) direcci ´on general, . . .

Colocaciones: dream of, make a decision, fast food, quick meal, make money, . . .

. . .

Los modelos basados en palabras ya no son el estado de la cuesti ´on pero se usan para calcular alineamientos a nivel de palabras

(68)

Traducci ´on autom ´atica estad´ıstica /10

Soluci ´on

Considerar segmentos de longitud variable como unidades de traducci ´on

(69)

Soluci ´on

Estos segmentos se pueden obtener de distintas maneras:

A partir de los alineamientos a nivel de palabra A partir de informaci ´on sint ´actica

(70)

Traducci ´on autom ´atica estad´ıstica /10

Soluci ´on

Estos segmentos se pueden obtener de distintas maneras:

A partir de los alineamientos a nivel de palabra A partir de informaci ´on sint ´actica

...

(71)

Traducci ón autom ática estad´ıstica basada en segmentos La unidad de traducci ón son segmentos de longitud variable sin ning ún significado sint áctico

Mart´ın se divierte con el juego nuevo

Martin has fun with the new game

Ventajas:

Puede traducir unidades multipalabra

Uso directo del contexto local (dentro de cada segmento) Cuanto m ás grande es el bitexto, m ás fiables es la traducci ón de los segmentos largos

(72)

Traducci ´on autom ´atica estad´ıstica /12

Los sistemas basados en segmentos combinan diferentes modelos:

(73)

Modelo de traducci ´on de segmentos: diccionario biling ¨ue probabil´ıstico de segmentos de longitud variable

(74)

Traducci ´on autom ´atica estad´ıstica /12

Modelo de lengualde la LM; como el usado por los sistemas basados en palabras

(75)

N ´umero de palabras en LM; para penalizar traducciones muy cortas

(76)

Traducci ´on autom ´atica estad´ıstica /12

N ´umero de segmentos biling ¨uesusados; para fomentar el uso de segmentos largos

(77)

Modelo de reordenamiento; para condicionar el posicionamiento de las palabras en LM

(78)

Traducci ´on autom ´atica estad´ıstica /12

Modelo de reordenamiento; para condicionar el posicionamiento de las palabras en LM

. . .

(79)

Postedici ´on de la salida de un traductor estad´ıstico

Comportamiento menos predecible que el de los sistemas basados en reglas

Traducciones parecidas a las que se encuentran en los corpus de entrenamiento (posibilidad de personalizaci ón) El sistema puede producir traducciones muy fluida pero no fieles al original (p.ej. se pierde una part´ıcula negativa) Presta siempre atenci ón a la oraci ón en LO, incluso cuando la traducci ón parezca perfecta

(80)

Traducci ´on autom ´atica neuronal /1

Red neuronal artificial

Gran cantidad deunidadesinterconectadas que se asemejan a las neuronas del cerebro

Cada neurona recibe varias entradas y produce una salida oactivaci ´on

Las neuronas se distribuyen en capas

La salida de una neurona se convierte en la entrada de muchas otras neuronas

La activaci ´on de una neurona depende de las entradas y de lafuerzade lasconexiones

(81)

Representaciones

Imaginad que con la activaci ón de 3 neuronas representamos todo el vocabulario, una representaci ón gr áfica 3D podr´ıa ser:

Palabras sem ´anticamente relacionadas cercanas en elespacio M ´as ejemplos:

https://rakeshchada.github.io/Neural-Embedding-Animation.html

(82)

Traducci ´on autom ´atica neuronal /3

Arquitectura codificador–descodificador

Una de las primeras arquitecturas de TA neuronal moderna:

codificador–descodificador:

Elcodificadorlee, una a una, las representaciones de las palabras de la oraci ón en LO y va construyendo una representaci ón de la oraci ón

Eldescodificadorpredice, una a una, las palabras de la oraci ón en LM a partir de la representaci ón de la oraci ón en LO y las palabras que ya ha producido

(83)

Codificador

Codificaci ´on de la oraci ´on en LO “My flight is delayed .” a partir de las representaciones de las palabras:

Un buen recurso para leer m ´as:

http://jalammar.github.io/visualizing-neural

-machine-translation-mechanics-of-seq2seq-models-with-attention/

(84)

Traducci ´on autom ´atica neuronal /5

Descodificador

Decodificaci ón de la traducci ón: “Mi vuelo est á retrasado .”

(85)

Nueva tecnolog´ıa, nuevo comportamiento La traducci ´on autom ´atica neuronal:

Trabaja con representaciones de toda la oraci ´on es dif´ıcil saber de qu ´e palabra en LO proviene cada palabra de la LM

Producen textos gramaticalmente muy naturales en LM Comenten errores con motivaci ´on sem ´antica: si una palabra no ha sido vista durante el entrenamiento, se sustituye. . .

. . . por otra similar: palacio→ castillo

. . . o por una par ´afrasis: Michael Jordan→ el jugador de los Bulls

a veces, con resultados peligrosos: T ´unez→ Noruega

(86)