Análisis Empírico

En este apartado se evalúa la forma en que son afrontadas las limi- taciones típicas de los sistemas de recomendación (dispersión, escalabi- lidad, primera valoración y oveja negra) en la metodología propuesta. Para ello, se simulan escenarios típicos donde dichas limitaciones son propensas a ocurrir. En este caso, se presta mayor atención al problema de la primera-valoración y al de la oveja negra., pues la dispersión ya está asociada de manera intrínseca a los datos de PSiS (la correlación de densidad del conjunto de datos empleado en el caso de estudio anterior fue sólo 0,116) y la escalabilidad es un problema que no procede conside-

rar en este contexto porque el modelo de recomendación fue concebido de manera off-line.

Para poder simular el problema de la primera-valoración, se ha crea- do un usuario U2, al que se le han asignado los valores menos frecuentes de la entidad Tourist. Juntamente con los datos de U2, se seleccionaron los puntos de interés con menos accesos (“Barcadouro”, con apenas 7 ac- cesos) entre todos grupos con objeto de poder conformar la transacción

y2. De esta manera, y2 está compuesta por información no frecuente, para la cual sería ciertamente difícil obtener tuplas similares. En la tabla 6.9 se detallan los datos de la transacción y2. Para este experimento, en el que es necesario obtener intervalos de distintas frecuencias, el atri- buto dateOfBirth fue discretizado utilizando el método de igual tamaño (equal-width) en lugar de el de igual frecuencia, tal atributo fue discreti- zado para, luego, considerar el valor más bajo (1933) del intervalo menos frecuente ([1933-1950[).

Tabla: 6.9: Los Datos de la Transacción y2

AvgDuration AvgCost . . . dateOfBirth religion 240 100 . . . 1933 Atheism

A continuación, se procede de la misma manera que en el apartado 6.1.3, por lo que se necesita encontrar el conjunto Rc ={r1, r2, r3, . . . , rN},

en el que los valores de todos los atributos de los términos anteceden- tes de las N reglas coincidan con los datos de y2. Después de aplicar la propiedad de la clausura hacia abajo el sistema encontró 23 reglas que poseen al menos tres atributos coincidentes con los valores de los atribu- tos de y2. No es de extrañar que en este escenario el sistema encuentre significativamente menos reglas (la mitad) que en el escenario descrito en el apartado 6.1.3.

La misma tendencia se repite cuando se considera el atributo etiqueta de las reglas para calcular el grado de pertenencia de los grupos en G. A pesar de haber encontrado el mismo número de grupos (siete) con valor de pertenencia mayor que cero, los grados de pertenencia obtenidos fueron significativamente más bajos que los descritos en el escenario anterior. En la tabla 6.10 se muestran los tres grupos que más se asemejan a y2.

Después de comparar la tabla 6.7 con la tabla 6.10, se ha observado que el grado de pertenencia más elevado, encontrado para y2, fue menor que el encontrado para y1 (8,5) en 2,8 unidades. De manera análoga,

6.2. Evaluación de las Recomendaciones en PSiS 173

Tabla: 6.10: Los tres primeros grupos relacionas a y2

ID AvgDuration AvgCost . . . dateOfBirth religion memb 5 51,26 0,73 . . . 1984,1 Budism 5,7 20 50,52 0,67 . . . 1946,2 Christianism 3 25 50,77 0,67 . . . 1975,9 Budism 1,39

el grado de pertenencia más bajo encontrado para y2 fue menor que el encontrado para y1 (5,79) en 4,42 unidades. Por lo tanto, se puede concluir que, a pesar de que y2 presenta una pertenencia más baja a los grupos, el mismo se relaciona con los grupos con un grado de pertenencia razonable (de al menos 1,37). Por lo tanto, se puede considerar que U2 es apto para recibir recomendaciones, ya que el sistema consulta la entidad

point_access para encontrar los puntos de interés con más accesos en

los tres grupos. En la tabla 6.11 se muestran los puntos de interés más accedidos en cada uno de los tres grupos.

Tabla: 6.11: Puntos de interés frecuentes en los grupos relacionados con

y2

clusterID pointID counter

5 1523 24 5 1531 22 5 1533 15 20 1613 32 20 1614 25 20 1889 19 25 1510 37 25 1566 31

Observando la tabla 6.11 se puede verificar que U2 recibiría una re- comendación, al igual que U1, compuesta por ocho puntos de interés, los cuales también son frecuentes en los grupos (i.e. atributo counter ). De esta manera, se permite concluir que los efectos del problema de la oveja negra no han afectado de manera significativa la calidad de la reco- mendación, pues las reglas de modelo se basan en reglas de clasificación consistentes que presentan alto valor de la medida de confianza.

Para poder simular el problema de la primera-valoración, se creó el usuario activo U3con los mismos datos que U1. Sin embargo, U3no tiene ningún acceso a puntos de interés y, aún así, va a solicitar recomenda-

ción. De esta manera, no habría ninguna información acerca de puntos de interés para componer la transacción y3. Por lo tanto, el sistema con- sidera únicamente los atributos del usuario. En la tabla 6.12 se presentan los datos de U3.

Tabla: 6.12: Datos de U3

dateOfBirth gender MaritalStatus country religion 1983 Female Married Brazil Atheism

A continuación, el sistema encuentra (comparando directamente los valores de los atributos) el grupo más similar a U3, el cual se muestra en la tabla 6.13.

Tabla: 6.13: El grupo más próximo a U3

clusterID AvgDuration AvgCost . . . dateOfBirth gender religion 18 51,49 0,67 . . . 1963,8 Male Atheism

Después de saber a qué grupo se asemeja más U3, el sistema encuentra (en la entidad point_access), el punto de interés más accedido por los miembros de este grupo.

Más tarde, los datos de dicho punto de interés se adjuntan a los datos de U3para poder componer la transacción y3, la cual va a tener la misma configuración de y1 e y2. A partir de ese momento, el sistema sigue su ciclo de la misma manera que en los dos escenarios anteriores.

De este modo, U3 va a recibir también recomendaciones de forma análoga a la realizada en los dos escenarios anteriores, por lo tanto, el problema de la primera-valoración no es un impedimento para que U3 reciba recomendación. El único requisito que se requiere es que dicho usuario se haya registrado en el sistema. Además, tal limitación no va a afectar de manera drástica la calidad de la recomendación facilitada.

6.2.5. Encuesta de Satisfacción

Con el objeto de evaluar la aplicación de la metodología en el PSiS, se ha realizado una encuesta de satisfacción de los usuarios respeto a la recomendación que han recibido en el sistema. Dicha encuesta consta de cuatro preguntas de opción múltiple, las cuales poseen cinco respues- tas posibles: totalmente en desacuerdo (totally disagree), en desacuerdo

6.2. Evaluación de las Recomendaciones en PSiS 175

(mostly disagree), neutro (neutral ), de acuerdo (mostly agree) y total- mente de acuerdo (totally agree). En la figura 6.7 se muestra una cap- tura de pantalla de una parte de la encuesta descrita en este apartado, la cual fue escrita en inglés para mantener el mismo patrón del resto del sistema.

Figura 6.7: Captura de pantalla de la encuesta

A continuación se especifican las cuatro cuestiones que componen dicha encuesta, las cuales, de hecho, son afirmaciones en las que el usuario debe expresar su valoración:

Cuestión 1: La recomendación facilitada me fue útil/interesante. Cuestión 2: Estoy interesado en visitar los puntos de interés que me fueron recomendados.

Cuestión 3: Me he quedado interesado en visitar más puntos de interés después de recibir la recomendación.

Cuestión 4: El proceso de recomendación me pareció inconveniente o aburrido.

La encuesta fue difundida en redes sociales y fue contestada por 105 usuarios de perfiles variados. La figura 6.8 muestra la distribución de valores de los atributos categóricos de los 105 usuarios que han contestado

a la encuesta. En dicha figura los usuarios están repartidos entre hombres (representados por el color azul) y mujeres (representados por el color rojo).

Figura 6.8: Distribución de los atributos categóricos de los usuarios En la figura 6.8 se puede observar que aproximadamente un 60 % de los usuarios del sistema son hombres. La distribución del atributo

MaritalStatus revela que 62 usuarios son solteros, 37 son casados y 7

divorciados. El atributo Religion muestra que la mayoría de los usuarios son católicos (62), pero también se presenta una cantidad significativa de ateos (27) y judíos (12). Por último, el atributo Country presenta usua- rios que pertenecen, básicamente, a cuatro países: España (38), Portugal (26), Brasil (21) y Colombia (6).

La figura 6.9 detalla la distribución del atributo referente a la edad de los usuarios, especificada en la línea horizontal inferior. Las frecuencias se indican en la parte superior de cada intervalo de valores.

Figura 6.9: Distribución del atributo referente a la edad de los usuarios Dicha figura muestra que la mayoría de los usuarios se encuentra en un rango de edades entre 19 y 40 años. Asimismo, se observa que el

6.2. Evaluación de las Recomendaciones en PSiS 177

usuario más mayor posee 61 años y que la edad media de todos usuarios es de aproximadamente 32 años.

Teniendo en cuenta que dichos usuarios han contestado a las cua- tro cuestiones especificadas anteriormente (respetando el mismo orden atribuido), en la figura 6.10 se detalla la cantidad de usuarios que han contestado a cada una de las cinco respuestas posibles: Totalmente en desacuerdo (más a la izquierda), en desacuerdo (en rosa), neutro (al cen- tro), de acuerdo (en azul) y totalmente de acuerdo (más a la derecha).

Figura 6.10: Distribución del atributo referente a la valoraciones de los usuarios

En la figura se puede advertir que la cuestión 4 no sigue la misma tendencia de distribución de las otras cuestiones debido a que consiste en una afirmación negativa respeto al proceso de recomendación (El pro- ceso de recomendación me pareció inconveniente o aburrido), a la que 57 usuarios (más de un 50 % del total) contestaron que no están de acuerdo en que la recomendación les ha parecido inconveniente. Asimismo, 27 usuarios (aproximadamente el 30 % del total) afirman que están total- mente en desacuerdo con que el proceso les ha parecido inconveniente. Por otra parte, 85 usuarios en la cuestión 1 y 91 usuarios en la cuestión 2 han valorado positivamente (totalmente de acuerdo o de acuerdo) la recomendación y los puntos de interés que les han sido sugeridos. Asimis- mo, 76 usuarios han considerado (totalmente de acuerdo o de acuerdo) que la recomendación fue, incluso, un factor determinante en despertar su atención por algunos puntos de interés del sistema. Por lo tanto, se puede concluir que la gran mayoría de los usuarios ha valorado de ma- nera positiva todo el proceso de recomendación, el cual les ha parecido

Capítulo 7

Conclusiones

Se finaliza esta Tesis con un resumen de las conclusiones obtenidas hasta el momento, así como un relato de las principales contribuciones alcanzadas por el mismo. Asimismo, en el apartado 7.2 se describen al- gunas direcciones futuras que pueden ser llevadas a cabo. Dicha Tesis propone una metodología de recomendación nueva que utiliza lógica bo- rrosa y clasificación basada en asociación.

Para realizar este trabajo, en primer lugar se consideró la revisión bibliográfica (presentada en los capítulos 2 y 3) respeto a la clasificación basada en asociación y a las principales limitaciones inherentes a cada categoría de métodos de recomendación. A partir de dicha revisión bi- bliográfica se pudo concluir que para lograr recomendaciones eficaces, los clasificadores asociativos, así como otros métodos de minería datos, ne- cesitan ser adaptados de acuerdo a las limitaciones inherentes al tipo de método de recomendación aplicado. Además se verificó que la precisión y el número de falsos positivos generados por los métodos de clasifica- ción están directamente relacionados con características específicas de los datos y con la forma en que se aplica cada método. Sin embargo, no se han encontrado trabajos específicos en la literatura acerca de cómo y qué características de los datos pueden afectar al resultado de los clasifi- cadores asociativos. Por otra parte, tampoco se han encontrado trabajos de sistemas de recomendación que analicen en detalle de qué forma los métodos propuestos en los mismos pueden minimizar problemas típicos relacionados con dichos sistemas. El estudio bibliográfico también permi- tió comprobar que la experimentación llevada a cabo en dichos trabajos

para evaluar los métodos propuestos, se limita, en su mayoría, a un único conjunto de datos. En general, se utiliza el conjunto de datos MovieLens u otro conjunto de datos relativo al dominio de películas.

Teniendo en cuenta dichas afirmaciones, este trabajo se ha centrado en investigar de qué manera pueden ser evitados o minimizados los pro- blemas más críticos y típicos inherentes a los sistemas de recomendación, considerando además escenarios reales de dichos sistemas, así como datos de sistemas de recomendación reales, incluyendo los de Book Crossing, que pertenece a un dominio que nunca ha sido utilizado para fines de ex- perimentación en sistemas de recomendación. Los resultados obtenidos en el caso de estudio presentado en el capítulo 5 también fueron determi- nantes en la definición de algunas direcciones tomadas en la metodología propuesta.

A continuación se describen los resultados obtenidos en la experi- mentación realizada en los capítulos 5 y 6, en los que se analiza la forma en que fueron alcanzadas las contribuciones aportadas por esta Tesis.