6. SOLUCI ´ ON PROPUESTA
6.6. Fase 4: Predicci´ on sobre hechos que incluyen entidades nuevas
Considerando los buenos resultados obtenidos en el experimento anterior, en los que se observa que el modelo ha sido capaz de explotar la informaci´on ontol´ogica
proporcionada para inferir restricciones en las relaciones, se propone un experimento para comprobar si las restricciones inferidas son suficientemente buenas como para, dado un hecho compuesto por una entidad conocida y una entidad desconocida, determinar si este hecho es correcto o incorrecto.
Para ello, se parte de la idea de que si el modelo ha sido capaz de explotar la informaci´on proporcionada por el conjunto de clases de las entidades para infe- rir restricciones, puede considerarse que, dada una entidad nueva para la que no se tiene informaci´on contextual extra´ıda de las correlaciones pero s´ı se conoce su informaci´on ontol´ogica, el modelo sea capaz de aplicar la restricci´on asociada a la relaci´on sobre la entidad, permitiendo as´ı razonar sobre la misma. En la figura 21 se expone esta idea de manera ejemplificada.En el ejemplo, se observa que exis- te una tripleta conocida por el modelo (RichardBrautigan, prof ession, N ovelist), en la que se conoce la jerarqu´ıa de clases de las entidades sujeto y objeto. Por otra parte, la entidad V irginiaW oolf es desconocida por el modelo, lo que a nivel te´orico no permitir´ıa razonar sobre la misma. Sin embargo, dado que la entidad comparte por completo su jerarqu´ıa de clases con la entidad RichardBrautigan, se puede establecer la suposici´on de que, por analog´ıa, el modelo es capaz de estable- cer razonamientos sobre hechos que incluyan esta nueva entidad. Por ello, debido al parecido entre las entidades RichardBrautigan y V irginiaW oolf, existe la po- sibilidad de que el modelo sea capaz de determinar correctamente la veracidad del hecho (V irginiaW oolf, prof ession, N ovelist).
6.6.1. Metodolog´ıa
En este experimento, se parte de los mismos conjuntos de datos que en el ex- perimento anterior, de manera que se conocen previamente tanto los vectores de embedding de todas las entidades, como el vector que representa la jerarqu´ıa de clases de cada una de ellas.
Para generar el conjunto de entidades nuevas, se seleccionan aleatoria 1.500 enti- dades del conjunto total de entidades conocidas, as´ı como todas las tripletas correctas del conjunto completo de hechos que est´an formadas por una entidad del conjunto generado de entidades nuevas, y otra del conjunto de entidades conocidas. Ya que los hechos extra´ıdos son todos correctos, se genera mediante reemplazo aleatorio una tripleta incorrecta por cada tripleta correcta. Este conjunto generado ser´a el conjunto que usaremos para evaluar el funcionamiento del modelo sobre entidades nuevas. Los conjuntos de entrenamiento, validaci´on y test se componen ´unicamente por hechos formados por entidades conocidas.
Adem´as, en este modelo se desactiva el entrenamiento de la matriz deembeddings
E, de manera que se evite tanto que puedan aparecer duplicidades entre los vectores de embedding de las entidades conocidas y de las entidades nuevas, as´ı como para asegurar una mayor igualdad de condiciones entre los dos grupos de entidades. Los embeddings de todas las entidades (nuevas y conocidas) est´an recogidos en la matriz
E obtenida tras la tarea 4 del experimento anterior, y de igual manera la matriz de informaci´on ontol´ogica empleada,O es la misma que la obtenida tras la tarea 6.
Relation Solo entidades conocidas Entidades conocidas y nuevas nationality 0.53 0.32 profession 0.5 0.5 institution 0.56 0.58 cause of death 0.57 0.7 religion 0.55 0.55 ethnicity 0.36 0.32 TOTAL 0.53 0.41
Tab. 14: Resultados obtenidos por el modelo para el conjunto compuesto ´unicamente por entidades conocidas y para el conjunto compuesto tanto por entidades conocidas como por entidades nuevas.
6.6.2. Resultados
Se entrena un ´unico modelo empleando informaci´on ontol´ogica y sin entrenamien- to de la matriz de embeddings, con los mismos par´ametros que en el experimento anterior, pero reduciendo el n´umero de iteraciones a 300. Esto es debido a que al no ser necesario entrenar la matriz E, que es el par´ametro de mayor dimensi´on, la p´erdida del modelo converge de manera mucho m´as inmediata.
Una vez entrenado el modelo, se prueba sobre los dos conjuntos de test generados: el conjunto de test compuesto por hechos en los que ambas entidades son conocidas y el conjunto compuesto por hechos en los que una entidad es conocida y otra no. Los resultados obtenidos para ambos conjuntos se recogen en la tabla 14.
Observando los resultados, se comprueba que, si bien en algunas relaciones existe una gran diferencia en los resultados obtenidos por las predicciones, como en la relaci´onnationality, se comprueba que, en la mayor´ıa de las relaciones, los resultados obtenidos son muy similares en ambos conjuntos. Debido a que no se entrenan las representaciones vectoriales de las entidades, proceso durante el cual el embedding de la entidad se va actualizando y ajustando a las correlaciones obtenidas para la misma, la principal fuente de informaci´on del modelo en este caso pasa a ser la jerarqu´ıa de clases de las entidades. Estos resultados implican tambi´en que, de manera aproximada, el modelo ha sido capaz de inferir las restricciones de clases deseadas, de manera que, aunque se presente una nueva entidad sobre la que s´olo se conoce su jerarqu´ıa de clases, esta informaci´on resulta suficiente para establecer un razonamiento sobre la misma.
Tambi´en cabe destacar que, en algunas relaciones, los resultados obtenidos por el conjunto compuesto por entidades conocidas y nuevas obtiene mejores resultados que el conjunto compuesto enteramente por entidades conocidas. Esto a nivel l´ogico es inconsistente, ya que deber´ıa obtenerse un mayor acierto para el conjunto conocido. Sin embargo, este puede estar provocado por haber realizado un sub-muestreo en los conjuntos de datos para facilitar la comparaci´on. Al realizar la partici´on de datos de manera que ambos conjuntos de test tuvieran el mismo n´umero de ejemplos por relaci´on, sucede que se reduce en gran medida el n´umero de ejemplos disponibles para entrenamiento y validaci´on, particularmente para ´este ´ultimo. Aunque el conjunto de
validaci´on no es relevante para el aprendizaje, es muy determinante en la evaluaci´on, ya que a partir de ´el se obtienen los valores l´ımite o thresholds para cada una de las relaciones, que permiten determinar si un hecho es, o no, cierto. Por tanto, un conjunto de validaci´on peque˜no provoca que el l´ımite obtenido para una relaci´on tenga un car´acter muy local, por lo que al aplicar dicho l´ımite obtenido al conjunto de test, los resultados en t´erminos de precisi´on obtenidos pueden ser muy dispares.