Consultas sobre la matriz factorizada

2.7.1.- La medida de la similitud (producto escalar y cosenos de los ángulos)

Las medidas de similitud entre términos y documentos fueron introducidas en uno de los modelos pioneros llamado modelo espacio-vectorial (vector space model) desarrollado por Salton (1960). En él, cada documento estaba representado por un vector. Cada documento era descompuesto en patrones o características individuales que lo definían vectorialmente en un espacio multidimensional. Una vez y seguido este procedimiento, los documentos eran susceptibles de comparación mediante su producto escalar o el coseno del ángulo que dejan los dos vectores entre sí (véase la Figura 2.4). En los próximos apartados, desarrollaremos las medidas de similitud entre vectores. Esta forma de comparación se emplea en el análisis de la semántica latente una vez se cuenta con la matriz dimensionada, es decir, una vez se ha sometido la matriz a la descomposición del valor singular y se ha reducido a sus dimensiones más relevantes. LSA es una ampliación del modelo espacio- vectorial, pero comparando sólo dimensiones que marcan diferencias entre las relaciones de los términos y los documentos desdeñándose las dimensiones que no las remarcan. Además, en los modelos LSA, los patrones o características que definen las dimensiones de los vectores documentos son los términos que componen dichos documentos. A su vez, las dimensiones de los vectores que representan a los términos vienen definidos por los documentos en los que salen dichos términos.

Figura 2.4: El resultado final del proceso es un espacio vectorial en el que están representados palabras y documentos y al que se le pueden integrar documentos nuevos. Como se puede ver en la figura, cuando se compara la similitud semántica entre tres textos dentro del espacio semántico definido por LSA, tenemos que los textos 1 y 2 son parecidos porque forman un ángulo cerrado y por lo tanto su coseno es próximo a 1. La relación semántica de los textos 1 y 2 con el tercero es casi nula. De esta manera, dos textos o dos palabras son susceptibles de comparación en base a medidas operativas lo que permite describir las relaciones de significado.

2.7.1.1.- Producto escalar

Una medida de similitud entre dos vectores, sean estos términos o documentos, puede ser el producto escalar de ambos vectores. De esta manera, se extraerán aquellos componentes (no nulos) que comparten. Conviene recordar aquí que el producto escalar entre dos vectores se haya multiplicando las componentes de los vectores dos a dos y sumando todos los productos resultantes. Es decir, el producto escalar de dos vectores es un escalar que se obtiene como la suma del producto de las componentes de los vectores.

V.W = (Vx Wx) + (Vy Wy) + (Vz Wz)... (Vn Wn)

De esta manera tendríamos la comparación de, pongamos por caso, dos documentos a lo largo de sus componentes. Retomando el ejemplo de la playa, imagínese de nuevo el lector que dispusiésemos de estos términos distribuidos en tres documentos, formando la siguiente matriz de términos-documentos en la qué no se ha realizado descomposición en vectores y valores singulares ni ningún tipo de proceso (Tabla 2.6). Simplemente contamos con datos brutos

que nos servirán para ejemplificar la manera más sencilla de comprobar la similitud entre dos términos o documentos teniendo en cuenta simplemente las apariciones en la matriz.

Tomando como medida el resultado del producto escalar de los vectores de los términos y documentos que quisiéramos comparar obtendríamos ya una medida primitiva de similitud (Tablas 2.7 y 2.8). En cuanto a los documentos obtendríamos que D1 y D2 tendrían 5 de similitud mientras D1 con D3 y D2 con D3 tendrían 1 y 0 respectivamente. Si examinásemos los documentos encontraríamos que la alta similitud entre D1 y D2 es debida a la coincidencia de las palabras que aparecen en ellos (mar, playa, gaviota y barca). En cuanto a los términos, Mar-playa tienen un 3 mientras Mar-Madre tienen 0 (son ortogonales ya que no comparten ni un solo término). Sin embargo, esta medida es algo imprecisa pues su puntuación es relativa al número de componentes comunes (Gracia, 2002). No se aporta gran información si nos dicen que hay una distancia de 5 sino poseemos la información de cuantas apariciones conjuntas se han producido.

Tabla 2.6 . Martriz de ocurrencia brutas de 15 téminos en 3 documentos

Términos D1 D2 D3 Mar 2 1 0 playa 1 1 0 madre 0 0 1 ciudad 0 0 1 cangrejo 1 0 0 cubo 0 1 0 agua 0 1 0 casa 0 0 1 coche 0 0 1 reloj 0 0 0 obra 1 0 1 pino 0 0 1 manguera 0 0 1 gaviota 1 1 0 barca 1 1 0

Tabla 2.7. Comparación de los documentos de la tabla 6 empleando tanto el producto escalar como el coseno.

Tabla 2.8. Comparación de los términos de la tabla 6 empleando tanto el producto escalar como el coseno.

12 13 23 2 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 1 0 0 1 0 0 P.E. 5 1 0 COS. 0.68 0.12 0

Mar-Cangrejo Mar-Madre Mar-playa

2 0 2

0 0 1

0 0 0

P.E. 2 0 3

2.7.1.2.- Cosenos

En el apartado anterior, se apuntaban los problemas que generaba el producto escalar como medida de la similitud. La manera de solucionar este problema es desarrollar la relación que tiene el producto escalar con los módulos de los vectores y el ángulo que dejan entre ellos estos mismos vectores. El producto escalar de dos vectores V y W relaciona el módulo de los vectores con el ángulo que forman entre ellos. Esto se expresaría de la siguiente forma:

V.W = |V| |W| cos α

Otra forma de calcular la similitud sería a partir del ángulo que forman los dos vectores. Si los dos vectores son perpendiculares, el ángulo será 0. Si se solapan será 1. Despejando la anterior ecuación se obtiene que:

Cos α = V.W / |V| |W|

El coseno del ángulo entre los vectores es el producto escalar dividido entre el producto de sus módulos. El módulo viene representado por la raíz cuadrada de la suma de los cuadrados de sus componentes. Es equivalente decir que el ángulo es casi 0 a decir que su coseno es casi 1. Cuanto más se acerque el coseno a 1, mayor es la similitud entre los dos términos o los dos documentos. En nuestro ejemplo, los productos escalares entre los documentos son expresados de una manera más productiva (Tabla 7 y 8). Entre los documentos D1 y D2 el producto escalar de 5 pasa a expresarse como 0,68; la comparación D1 y D3 se expresa con el coseno como 0,12 y D2 con D3 permanece como 0. Respecto a los términos, Mar-Cangrejo, cuyo producto escalar es 2, se expresa como 0,66, así ocurre también con Mar-

Madre y Mar-Playa que pasan a representarse como 0 y 0,95 respectivamente.

La medida del coseno es la más utilizada en la técnica LSA (Haley et al.,2005) y es aplicada sobre la matriz ya factorizada o reducida aunque también se han probado otras como el coeficiente de correlación de Pearson, Spearman,

medidas de Minkowski, distancias euclídeas y de Manhattan (Deerwester et al.,1990; Laudauer et al., 1998; Nakov, 2000). Por ejemplo, Wild et al. (2005) obtuvieron mejores resultados por encima del coseno con la correlación de Spearman. Es importante recordar aquí que estas medidas se aplican sobre la matriz cuando ya ha sido sometida a los cálculos de entropía y se ha realizado la descomposición de los valores singulares.

2.7.1.3.- Distancia euclídea

Otra posible medida de la similitud entre dos vectores es el cálculo de la distancia entre ellos. Esta forma es tan sencilla cómo calcular el módulo del vector resta entre los vectores que representan los términos o documentos a comparar. En ocasiones, puede ser una buena alternativa al coseno sobre todo si se quieren comparar documentos que tienen mucha variabilidad en cuanto a su tamaño y contenido. En capítulos posteriores se profundizará en la conveniencia de su uso.

∑

= − = K i i i Vw Vw Vw Vw Dis 1 2 ) 2 1 ( ) 2 , 1 (

2.7.1.4.- La longitud de vector como medida de la representatividad

Es importante añadir al análisis una segunda medida que puede resultar muy interesante. Esta medida es la longitud del vector y puede decirnos cuanta información posee el análisis LSA de una palabra representada por un vector. Los términos sobre los que el análisis aporta más información tendrán vectores con mayor longitud. Uno de los indicadores que muestra esta longitud del vector es que ese término está bien representado en los documentos y podría representar bien alguno de los conglomerados que se forman dentro del universo semántico. Como una propiedad que se deriva de la representación semántica mediante esta medida, la longitud de un vector frase será mayor que la de un vector término y, a su vez, ambas longitudes serán siempre menores

que la del vector párrafo (Kintsch,2001). Recordemos que cada una de estas estructuras textuales configuran una unidad contextual la cual queda mejor representada con el mayor número de términos que giren sobre ese contexto (la frase representa mejor un contexto que un único término). En otras palabras, el propósito de analizar las longitudes de los vectores es estimar cuan familiares son los términos o documentos dentro del espacio LSA, de tal manera que si la longitud es baja, indicará que el término será poco conocido por el LSA y, como consecuencia, podrá argumentarse que ese término aporta o transmite muy poca información sobre ciertos contenidos del corpus. Kintsch ejemplifica esta idea mediante un ejemplo con dos términos: “Pelicano” y “Pájaro”. Supongamos que estas dos palabras tienen una longitud de vector de 0,15 y 2,04, respectivamente. Estos datos indicarían que LSA posee mucha más información sobre el término “pájaro” que sobre el término “pelícano”. No pasa desapercibido para el lector que el término “pájaro” represente mejor ciertos contenidos del corpus de lo que pudiera hacer el término más restringido como es “pelícano”, un tipo de “pájaro” (al menos en un corpus de contenido general). Este efecto de la longitud de vector hace reflexionar a Kintsch (2002) en lo que se refiere a modelar la comprensión de predicaciones simples, ya que uno de los dos términos de la predicación puede verse arrastrado por el otro si este tiene mucha más longitud de vector. Fruto de esta reflexión, Kintsch (2002) propone un modelo más completo para modelar las predicaciones.

Por su parte, Rehder et al. (1998) llevaron a cabo un análisis más riguroso y demostraron que la interpretación de la longitud de vector depende del tipo de corpus de referencia, del propósito de la medición y de los procedimientos de depuración y ponderación de los términos que se hayan llevado a cabo. Estos mismos autores hicieron un interesante estudio sobre la aportación que tienen ciertas medidas LSA, entre ellas la longitud de vector, como predictor del conocimiento específico que tienen los alumnos sobre un tema concreto. El método es muy sencillo, comparar cada informe producido individualmente por cada alumno sobre un tema escogido de biología sobre “el corazón” (la extensión del informe o ensayo no puede sobrepasar las 250 palabras al que los autores denominaron -E-), con un texto estándar sacado de

un libro sobre este mismo tema (y al que los autores denominaron -C-). Con estos datos, Rehder et al. (1998) calcularon algunos índices como el coseno entre cada vector y el texto estándar (cos EC), el producto escalar (E·C) , la distancia euclidiana (Dis EC) y también la longitud o módulo del vector ||E|| y correlacionaron estas medidas con un cuestionario que aplicaron a los alumnos sobre el tema de biología y que servía de referencia para establecer el nivel de conocimiento de cada alumno. Se esperaba, por tanto, que estas correlaciones establecieran un índice de efectividad entre la medida LSA y el nivel de conocimiento de los alumnos. La correlación que estos autores encontraron más alta fue la realizada con el producto escalar, lo que sorprende por el uso extendido del coseno. Una vez que todas las variables introducidas en el análisis de la correlación son interdependientes se optó por realizar una regresión introduciendo esos mismos factores, pero con las siguientes variantes (dada la relación entre estas variables en las fórmulas).

Dada la fórmula:

E·C = (cos EC) (|E|)(|C|)

Y dado también que |C| es una constante, ya que se trata siempre del mismo texto (su aportación a la regresión es constante y por lo tanto prescindible). Se puede resolver que una fórmula derivada de este particular para los propósitos de la regresión podría ser:

E·C’ = (cos EC) (|E|)

Esta nueva fórmula tendrá el mismo valor en la predicción del conocimiento. La conclusión a la que finalmente llegaron Rehder et al. (1998) fue que el producto escalar, E·C, puede verse afectado en función del coseno del ángulo entre los vectores (cos EC) y el módulo de E, (|E|). Además, si se predice el conocimiento con la fórmula de distancias euclidianas (Dis EC) pero con una transformación monotónica de esta, (Dis EC²), esta última, desarrollando las fórmulas, es equivalente a una predicción hecha con la combinación lineal de (cos EC) (|E|) y (|E|²).

Todo esto lleva a los autores a introducir todos estos posibles predictores en la regresión en busca de un predictor óptimo. Así pues introducen en la regresión: (cos EC) (|E|), (|E|), (|E|²), además de (cos EC) y E·C. Los resultados indicaron que las variables con más peso son (cos EC), el

coseno del ángulo entre los dos vectores y (|E|), el módulo o la longitud del vector de cada ensayo. Estas dos variables serían los predictores con más

peso. En otras palabras, aunque el producto escalar fuera la medida que más correlacionaba con el cuestionario, ello no implicaba predicciones adicionales a las proporcionadas por los componentes que lo describen: el coseno del ángulo entre los vectores y la longitud del vector del ensayo representado. Con esto, podemos tener un desglose mucho más útil para la predicción de la posesión del conocimiento. Si a esto añadimos que los resultados apuntan a que ambos factores son mutuamente independientes (no hay factor interacción), se llega a la conclusión de que (cos EC) y (|E|) resumen por ellos mismos la representación del conocimiento de las demás variables. El (cos EC) representa la dirección del vector dentro del espacio dimensional, es decir, la representación o “postura” de un objeto el dicho espacio, mientras que (|E|) crece según crece la representación de un vector en una o más dimensiones.

Además, según Rehder et al. (1998), es importante atender al protocolo de ejecución del propio análisis (el suyo con el tópico del corazón) para poder comprender en más profundidad que representa la longitud de vector y porque parece una medida eficiente de posesión de conocimiento:

1) El análisis está compuesto sólo de fragmentos que representan el tema del “corazón”, por tanto, las palabras que no se usan en este tema, no pueden afectar a las medidas, incluido a la longitud del vector.

2) Las palabras que son raras en los textos (incluidas las técnicas), son ponderadas con un peso superior a las más frecuentes bajo la asunción que estas serán las que diferencien unos textos de otros. Las palabras ponderadas de una manera mayor incrementan la longitud del vector.

3) Previamente al análisis, se han obviado aquellas palabras de alta frecuencia en la lengua como las palabras de función. (lista de palabras “stop”).

Partiendo de estas observaciones los autores establecen un sumario: La longitud de vector es una función fuerte y positiva del número de palabras raras (técnicas) sobre el corazón, una función positiva y moderada de las palabras comunes sobre el corazón, y una función que no se relaciona con las palabras que no pertenecen al tema del corazón. La longitud del vector, por tanto, supone una medida que muestra cuán bien está representado el conocimiento en un vector o, en otras palabras, cuanto conoce un vector sobre un corpus de referencia. Pero si manejamos un corpus en el que se representa un tema específico, como es el caso de Rehder et al. (1998), la traducción inmediata de lo anterior sería cuán bien y cuanto está representado el conocimiento de ese tema en el vector.

Una aplicación práctica a la longitud del vector sería la posibilidad de establecer protocolos para la utilización de palabras familiares. Si deseamos introducir términos que transmitan mucha información y que resulten familiares para el receptor, podemos optar por desechar aquellas palabras que no rebasan un umbral arbitrario de longitud de vector. Una aplicación muy válida valdría para seleccionar títulos para los enlaces en una página web, como señalan algunos autores (Blackmon y Mandalia, 2004; Blackmon, Polson, Kitajima y Lewis, 2002). Ello conllevaría una mejora sustancial en la navegación web teniendo en cuenta las posibles dificultades del usuario. Según estos autores, la longitud del vector, en un corpus de conocimiento general, sería más o menos equivalente a la familiaridad. Tanto es así que la equiparan como procedimiento de medida a la frecuencia de uso en los corpus normativos. En suma, la interpretación de la longitud del vector, aunque haya ciertas interpretaciones inmediatas, viene definida por el tipo de depuración a que se somete a los términos, el tipo de corpus que se analiza y el propósito de la medición. Según como se haya realizado el análisis y las relaciones sobre las que se quiera indagar, así será la interpretación de la longitud del vector.

2.7.2.- Comparaciones

Una vez que la matriz resultante se haya sometido a los ajustes de entropía, a la descomposición de los valores singulares y, una vez reducidas las dimensiones, es el momento a partir del cual pueden llevarse a cabo las comparaciones entre las distintas unidades del corpus. Una primera comparación que puede llevarse a cabo es contrastar los términos o documentos entre sí. Esto nos dará una idea de lo aproximado que los términos y documentos se encuentran dentro del espacio semántico vectorial. Se trata, simplemente, de calcular el coseno del ángulo que dejan entre sí los dos términos vectores o las distancias euclídeas.

Ha habido dos formas de comparar términos y documentos que se desprenden de los trabajos empíricos, a saber: Una, sobre la matriz factorizada total

X

¡, y otra sobre las matrices

T

k

s

k y

S

k

D

k (es decir, cada una de las matrices por separado ponderando cada una de sus dimensiones por los valores expresados en la matriz diagonal). Si bien la primera hace más sencillo el manejo de matrices en su implementación, pues sólo hay que manejar una sola matriz, la segunda es más económica en cuanto a recursos de memoria y velocidad y si cabe, más flexible a la hora de hacer correcciones (Kontostathis, Pottenger y Davison, 2005). En este escrito se mostrarán las dos formas, si bien se advierte que en la implementación de las aplicaciones, se prefirió esta segunda forma por las razones antes citadas.

Recordemos la anterior expresión:

X¡ = Tk Sk Dk’

La primera forma tendrá como base de comparación la matriz factorizada

X

¡ sobre la que se extraerán las medidas de similitud entre los vectores. Las comparaciones de términos y documentos se calcularán comparando filas y columnas de esta misma matriz y, cómo veremos también, los pseudodocumentos tendrán tantas dimensiones cómo términos o filas tenga

esta matriz. Por el contrario, la segunda forma tomará dos matrices para llevar a cabo estas comparaciones: para comparar términos, se compararán las filas de la matriz formada por la multiplicación de

T

k y

S

k. Esta nueva matriz tendrá vectores de una dimensionalidad menor a la matriz factorizada total

(X

¡

)

. Para contrastar documentos, se compararán las columnas de la matriz formada por la multiplicación de

S

k

D

k

‘

(en este orden).

2.7.2.1.- Comparaciones tomando la matriz factorizada

X¡

A).- Comparaciones término con término.

Supongamos, a modo de ejemplo, que deseamos poner a prueba la relación entre los términos “archivos” y “redundancia” extraidos ambos del ejemplo de corpus que se presentó previamente. También compararemos los términos “archivos” con “color”. Para ello, tendremos que recorrer la matriz de manera horizontal y dar con cada uno de los vectores que lo representan, esto es, los vectores de esos términos cuyas componentes se distribuyen a lo largo de los documentos.

Tabla 2.9. Comparación de los términos “archivos” y “redundancia” sobre la matriz Xi.

De esta forma, calculando el coseno del ángulo que quedaría entre estos dos vectores, se obtendría una medida de similitud entre los términos dentro del espacio semántico vectorial. En el caso de los términos “archivos” y “redundancia” nos encontramos que el coseno es 0,997, lo cual indica que los dos términos están próximos semánticamente, es decir, o bien aparecen juntos en los documentos (contextos), o bien no apareciendo juntos en ese están

A1 A2 A3 A4 B1 B2 B3 B4 archivos 0,301275326 0,248127069 0,229557343 0,21448577 -0,026364416 0,044351052 -0,009687197 -0,029748535 planos 0,301370485 0,246768437 0,228380987 0,215097091 -0,019034531 0,04897961 -0,007019395 -0,01843675 base 0,228025417 0,172039069 0,160047663 0,16829884 0,060526656 0,084177403 0,02196046 0,101648098 datos 0,287215581 0,229251995 0,212504054 0,207235981 0,012121814 0,065709221 0,004324762 0,029117033 0,9979 elementos 0,258767425 0,216381999 0,200004998 0,182988624 -0,039312405 0,027612052 -0,014386928 -0,051265863 redundancia 0,244612521 0,198865557 0,184128065 0,175127514 -0,008156059 0,044341663 -0,003042771 -0,00371208 frutos 0,008464695 -0,03994268 -0,03432216 0,023772413 0,238831199 0,151898104 0,086923948 0,368768843 largos 0,011268777 -0,04874006 -0,04183821 0,029970071 0,295303811 0,187977344 0,107477228 0,455994848 recogida 0,044292864 -0,01375 -0,00990381 0,05053339 0,252624357 0,167817669 0,09193332 0,391347835

asociado a otros términos que aparecen con ambos (Tabla 2.9). Por otro lado, tenemos nuestro segundo ejemplo (Tabla 2.10): “archivos” y “largos”. En este

In document La técnica del Ánalisis de la Semántica Latente (LSA/LSI) como modelo informático de la comprensión del texto y el discurso: una aproximación distribuida al análisis semántico (página 54-200)