Evaluaci´ on del sistema IMT

Para la estrategia descrita en la secci´on 2.2.2 y la aproximaci´on que emplea el algo- ritmo DRR adaptado a IMT, el cual puede verse en la secci´on 2.2.1.2, se ha empleado Λ con un tama˜no de 501 conjuntos de pesos, o lo que es lo mismo, de 501 grafos de palabras, incluyendo el grafo de palabras que emplea el conjunto de pesos dado por MERT.

La creaci´on de la lista de “N -best” grafos de palabras para cada una de las oraciones a traducir del conjunto de prueba a partir de estas dos estrategias es, con diferencia, el proceso con mayor coste de los experimentos realizados. Esto es debido a que se deben generar las caracter´ısticas de cada una de las hip´otesis adem´as de simular al usuario tantas veces como talla de la lista de “N -best” grafos de palabras por el n´umero de oraciones del conjunto de prueba, generando por tanto para este trabajo cerca de un mill´on y medio de traducciones (junto con su consecuente generaci´on del grafo de palabras y c´alculo del mejor camino) con su posterior c´alculo de WSR.

Los valores de BLEU, TER y WSR de los experimentos reportados se corresponden con el valor dado para todo el conjunto de prueba. Adem´as todos los experimentos se han realizado dentro del marco IMT, por lo que las oraciones de referencia fueron empleadas para adaptar los par´ametros del sistema despu´es de haber realizado la traducci´on de la oraci´on de entrada y evaluado su calidad. Esto hace que la calidad de la traducci´on reportada para todo el conjunto de prueba se corresponda con la media de cada oraci´on del conjunto de prueba, incluidas las primeras traducciones en las cuales el sistema IMT no estaba todav´ıa adaptado.

Para los experimentos preliminares que utilizan la estrategia descrita en la sec- ci´on 2.2.1.1 se han empleado en la mayor´ıa de experimentos 8 caracter´ısticas en el modelo log-lineal, aunque tambi´en se ha obtenido un resultado con 14 para verificar los resultados de la aproximaci´on.

Por otra parte, los diferentes algoritmos de la secci´on 2.2 utilizan un cierto n´umero de par´ametros libres los cuales han sido obtenidos bas´andose en los experimentos previos de [Mart´ınez-G´omez et al., 2012]:

Algoritmo DRR definido para post-edici´on en la secci´on 2.2.1.1: α = 0,02 y β = 0,01.

Algoritmo DRR definido para IMT en la secci´on 2.2.1.2: α = 0,02 y β = 0,01, muestreo basado en una distribuci´on gaussiana con σ2= 0,01 y µ = λM ERT, en

donde λM ERT es el conjunto de pesos obtenido empleando la t´ecnica MERT en

el conjunto de desarrollo descrito arriba.

Algoritmo Primera aproximaci´on en la secci´on 2.2.2: α = 0,02, muestreo basado en una distribuci´on gaussiana con σ2 = 0,01 y µ = λM ERT, en donde λM ERT

es el conjunto de pesos obtenido empleando la t´ecnica MERT en el conjunto de desarrollo descrito arriba.

3.3.

Evaluaci´on del sistema IMT

Hoy en d´ıa la evaluaci´on autom´atica de las traducciones es un problema muy dif´ıcil en traducci´on autom´atica, provocando que la evaluaci´on autom´atica haya evolucionado a

un campo de investigaci´on con identidad propia. Esto se debe al hecho de que dada una oraci´on de entrada puede existir un gran n´umero diferente de oraciones correctas como salida. Por lo tanto, no hay una oraci´on que pueda ser considerada como exclusivamente correcta, como si ocurre en el caso de reconocimiento del habla o texto. Del mismo modo este problema es aplicable al marco IMT, en el cual se basa este trabajo fin de m´aster.

En este TFM, las m´etricas de calidad empleadas para evaluar el rendimiento de los distintos sistemas, o empleadas a lo largo de las diferentes estrategias de adaptaci´on como m´etrica a optimizar por el algoritmo DRR definido para post-edici´on, son las siguientes:

WSR (Word Stroke Rate) [Toselli et al., 2011]: WSR se calcula como el co- ciente entre el n´umero de n´umero de palabras tecleadas o word-stroke, es decir, las palabras que el usuario necesitar´ıa introducir para obtener la traducci´on que tiene en mente y el n´umero total de palabras en la oraci´on. En este contexto, una palabra tecleada se interpreta como una sola acci´on, en la cual el usuario teclea una palabra completa que se asume de coste constante. Adem´as cada palabra tecleada tambi´en incluye el coste incurrido por el usuario cuando lee el nuevo sufijo proporcionado por el sistema.

WER (Word Error Rate): WER calcula el m´ınimo n´umero de ediciones (sus- tituciones, inserciones y borrados) necesarios para convertir las oraciones dadas como traducci´on en la oraci´on de referencia. Suele ser una medida pesimista al aplicarla a traducci´on autom´atica.

BLEU (BiLingual Evaluation Understudy) [K. Papineni and Zhu, 2002]: Esta puntuaci´on mide la precisi´on de unigramas, bigramas, trigramas y 4-gramas con respecto al conjunto de traducciones de referencia, aplicando una penaliza- ci´on a las oraciones demasiado cortas, denominada brevity-penalty. BLEU no es una tasa de error, por lo que es mejor cuanto mayor es el valor. BLEU puede ser multi-referencia o mono-referencia, pero debido a las restricciones del corpus hemos empleado BLEU mono-referencia.

TER (Translation Edit Rate) [Snover et al., 2006]: TER es una m´etrica de error empleada en traducci´on autom´atica que mide el n´umero de ediciones ne- cesarias para modificar la salida del sistema de modo que se convierta en la referencia. Se calcula como el m´ınimo n´umero de ediciones requeridas para mo- dificar las hip´otesis del sistema de forma que estas coincidan con la traducci´on de referencia, normalizado por el n´umero de palabras de la referencia. En este caso, las posibles ediciones incluyen inserciones, borrados, sustituciones por una sola palabra o reordenamiento de secuencias de palabras. En el art´ıculo original, los autores afirman que el TER mono-referencia se correlaciona tan bien con el juicio humano sobre la calidad de la traducci´on autom´atica como la variante 4- referencia del BLEU. Al igual que el BLEU, el TER puede ser multi-referencia, aunque hemos empleado en este trabajo TER mono-referencia.