Resultados para la selección y ponderación de vecinos en Yelp

En esta sub-sección presentamos los resultados obtenidos en el conjunto de datos de Yelp; En este conjunto de datos, a diferencia de Foursquare sí existe una matriz de preferencias expli- citas pero también fue posible derivar una matriz de preferencias basadas en tips. Por lo tanto las combinaciones de estrategias en Yelp fueron evaluadas en estos dos tipos de matrices de pre- ferencias. En primer lugar, se muestran los resultados experimentales de las combinaciones de estrategias evaluadas en la matriz de preferencias explícitas y luego los relacionados a la matriz de preferencias derivada de los tips.

6.1.2.1. Resultados en la matriz de preferencias explícitas

La Figura 6.10 muestra los resultados experimentales obtenidos para la estrategia de selec- ción de vecinos derivada del grafo social (relación social nivel 1, nivel 2 y nivel 3) y la pondera- ción a través de los scorings propuestos evaluadas en la matriz de preferencias explícitas. Según

Figura 6.9: Porcentaje de usuarios involucrados en la búsqueda del vecindario y Cobertura para las diferentes estrategias de selección

100% 25% 70% 1% 29% 70% 4% 10% 16% 1% 6% 45% Red social(nivel 1) Red visita(nivel 1) Area visita(radio 1 km) Red visita(nivel 2) Area visita(radio 2 km) Area visita(radio 3 km) Condado Red social(nivel 2) Red visita(nivel 3) Estado Red social(nivel 3) Linea base 0 25 50 75 100 % de comparaciones (a) 2.5 5.0 7.5 10.0 12.5 5 10 20 30 50 100 150 200 250 300 Cantidad vecinos % Cober tur a Linea base Area visita(radio 1 km) Area visita(radio 2 km) Area visita(radio 3 km) Condado Estado Red social(nivel 1) Red social(nivel 2) Red social(nivel 3) Red visita(nivel 1) Red visita(nivel 2) Red visita(nivel 3) (b)

se observa en la figura, la selección de vecinos realizada a través de la relación directa de amistad «Red social (nivel 1)» combinada con los scorings genera mejoras en la etapa de estimación de preferencias ya que los errores producidos por todos los scorings están por debajo de los produ- cidos por la línea base. No se observa mucha variabilidad según el tamaño del vecindario. Existe una leve tendencia de disminución del error en vecindarios de gran tamaño. Entre los scorings, los que generan menor error en la estimación son s2 y los derivados de la red de visitas comunes s9 y s10. Si se considera a los usuarios con relación social indirecta, es decir amigos de mis ami- gos («Red social(nivel 2)»), se observa que los scorings generan errores mayores a los del nivel 1 de la red, pero siguen por debajo de la línea base, donde se destacan s8 y s9 con los menores valores para el error en vecindario de tamaño superior a 30 usuarios. En lo que respecta al nivel 3 de exploración, es decir seleccionar vecinos explorando la red social a 3 niveles de profundidad, se observa que los errores producidos por los scorings se aproximan a los de la línea base, siendo mayores en general cuando fueron combinados con las estrategias nivel 1 y nivel 2 en esta red social. En este nivel de profundidad se destaca s2 en vecindarios de hasta 50 usuarios, donde los errores están muy por debajo de los demás scorings pero se incrementa en vecindarios de tamaño superior o igual a 100 usuarios. También a este nivel de profundidad y en vecindarios de tamaño superior a 10 usuarios se destacan s5 y s6, scorings derivados del mismo grafo social.

La Figura 6.11 muestra los resultados experimentales obtenidos para la estrategia de selec- ción de vecinos derivada del grafo de visitas comunes (relación visitas comunes nivel 1, nivel 2 y nivel 3) y la ponderación a través de los scorings propuestos evaluadas en la matriz de prefe- rencias explícitas. Se puede observar que la selección de vecinos realizada a través de la relación directa de visitas comunes (nivel 1) y ponderados por cualquier scoring de los propuestos propor- ciona mejoras en la estimación de las preferencias ya que siempre producen errores por debajo de la línea base. En este nivel se destacan los scorings derivados del grafo social s5 y s6, mostrando que existe una influencia social positiva entre los usuarios. Luego también se observa un buen comportamiento de s2 y s14. Estos ponderan según las coincidencias positivas y negativas o se- gún las coincidencias temporales respectivamente. Además se observa que en general los errores producidos por los scorings tienden a incrementarse a medida que se incrementa el tamaño del vecindario. Con respecto a los vecinos seleccionados según el nivel 2 de esta red, también se observa que a medida que el tamaño del vecindario se incrementa los errores producidos por los scorings se incrementa aproximándose más a la línea base. Sin embargo, los errores más bajos los obtiene s2 en vecindarios de hasta 50 usuarios. También vuelven a destacarse s5, s6 y s14 al igual que en el nivel 1 de la red. Luego también se observa que el comportamiento de los demás scorings es similar entre ellos. En lo que respecta a la selección de vecinos según la red de vi- sitas nivel 3, es decir se tuvieron en consideración una mayor cantidad de usuarios al generar el vecindario. Se observa que existe un conjunto de scorings que generan errores muy aproximados al de la línea base en vecindarios de mayor tamaño (más de 50 usuarios) entre ellos se destacan los producidos por la red de visitas (s9 y s10). Por otro lado, se siguen destacando por sus buenos

Figura 6.10: Resultados experimental para selección en red social y ponderación segun scorings en la matriz de preferencias explicitas

Red social(nivel 1) Red social(nivel 2) Red social(nivel 3)

5 10 20 30 50 100 150 200 250 300 5 10 20 30 50 100 150 200 250 300 5 10 20 30 50 100 150 200 250 300 0.6 0.7 0.8 0.9 1.0 1.1 Cantidad vecinos MAE Linea base s1 s2 s3 s4 s5 s6 s7 s8 s9 s10 s11 s12 s13 s14 s15

Figura 6.11: Resultados experimental para selección en red de visitas y ponderación según sco- rings en la matriz de preferencias explicita

Red visita(nivel 1) Red visita(nivel 2) Red visita(nivel 3)

5 10 20 30 50 100 150 200 250 300 5 10 20 30 50 100 150 200 250 300 5 10 20 30 50 100 150 200 250 300 0.6 0.7 0.8 0.9 1.0 1.1 Cantidad vecinos MAE Linea base s1 s2 s3 s4 s5 s6 s7 s8 s9 s10 s11 s12 s13 s14 s15

desempeños los scorings s2, s5 y s6, ya que siempre produjeron errores por debajo del resto. La Figura 6.12 muestra los resultados obtenidos al aplicar la estrategia de selección según la distancia entre las áreas de visitas de los usuarios (considerando 3 distancias) combinando con las estrategias de ponderación o scorings propuestas. Se observa que los errores tienden dis- minuir a medida que se incrementa el tamaño del vecindario, similar comportamiento al de la línea base. También se observa que a medida que se incrementa el radio de distancia, existen scorings (s9, s10) que tienden a producir errores similares al de la línea base. Según la selección de vecinos realizada por «Área visita (radio 1km)», es decir considerando usuarios que tienen un área de visita a menos de 1 km de distancia a la del usuario objetivo, se observa que los scorings derivados de la red social producen errores por debajo del resto en cualquier tamaño de vecin- dario, donde para vecindarios de tamaño superior a 200 usuarios obtuvieron el mejor resultado. Además se destaca s2 a partir de vecindarios superior a 100 usuarios. En lo que respecta a los demás scorings, se observa que para vecindarios de tamaño menor a 50 usuarios, produjeron errores igual o superior al de la línea base, pero a partir de los 50 usuarios como tamaño del vecindario los errores estuvieron por debajo de la línea base. Con respecto a considerar como

Figura 6.12: Resultados experimental para selección con «Área de visita» y ponderación según scorings en la matriz de preferencias explicita

Area visita(radio 1 km) Area visita(radio 2 km) Area visita(radio 3 km)

5 10 20 30 50 100 150 200 250 300 5 10 20 30 50 100 150 200 250 300 5 10 20 30 50 100 150 200 250 300 0.8 0.9 1.0 1.1 Cantidad vecinos MAE Linea base s1 s2 s3 s4 s5 s6 s7 s8 s9 s10 s11 s12 s13 s14 s15

vecinos a aquellos usuarios a 2 km de distancia del usuario objetivo, en esta selección de veci- nos se vuelven a destacar la ponderación a través de s5 y s6 con similar comportamiento a lo producido en “radio 1”. También se observa s2 con un comportamiento irregular, ya que obtiene el mejor comportamiento para vecindarios de tamaño 5 y 10, luego en vecindarios de tamaño 50 genera un error superior al de la línea base, para luego disminuir en vecindarios de tamaño superiores. Por último con respecto al seleccionar vecinos según «Área visita(radio 3km)», se observa un comportamiento de los scorings similar a lo ocurrido en los otros dos radios (1 km y 2 km), donde se destacan s5 y s6 por generar los menores errores en la estimación de las pre- ferencias en cualquier tamaño de vecindario; s2 sigue comportándose de manera irregular pero produciendo errores similares al resto de los scorings y a la línea base.

6.1.2.2. Resultados en la matriz de preferencias derivada de los tips

La Figura 6.13, muestra los resultados experimentales obtenidos para la estrategia de se- lección de vecinos derivada del grafo social (relación social nivel 1, nivel 2 y nivel 3) y la ponderación a través de los scorings propuestos evaluadas en la matriz de preferencias deriva-

Figura 6.13: Resultados experimental para selección en red social y ponderación según scorings en la matriz de preferencias derivada de los tips

Red social(nivel 1) Red social(nivel 2) Red social(nivel 3)

5 10 20 30 50 100 150 200 250 300 5 10 20 30 50 100 150 200 250 300 5 10 20 30 50 100 150 200 250 300 0.2 0.3 0.4 0.5 Cantidad vecinos MAE Linea base s1 s2 s3 s4 s5 s6 s7 s8 s9 s10 s11 s12 s13 s14 s15

das de los tips. Según se observa en la figura, la selección de vecinos realizada a través de la relación directa de amistad «Red social(nivel 1)» combinada con los scorings genera mejoras en la etapa de estimación de presencias ya que los errores producidos por todos los scorings están por debajo de los producidos por la línea base. Entre los scorings se observa poca variabilidad con respecto a los tamaños de los vecindarios, pero a su vez los que generan menor error en la estimación son los derivados de la red de visitas comunes s9 y s10. Si se considera a los usuarios con relación social indirecta, es decir amigos de mis amigos («Red social (nivel 2)»), se observa que los scorings generan errores mayores a los del nivel 1 de la red, pero siguen por debajo de la línea base, donde se destacan s2, s8, s9 y s1, con los menores valores para el error en cualquier tamaño de vecindario. En lo que respecta al nivel 3 de exploración, es decir seleccionar vecinos explorando la red social a 3 niveles de profundidad, se observa que los errores producidos por los scorings se aproximan a los de la línea base en vecindarios de tamaño superior a 50 usuarios. En este nivel de profundidad y con vecindario menor a 50 usuarios se destacan s2, s9, s10, s14, s5 y s6, con menores valores del MAE que los demás scorings y la línea base.

ción de vecinos derivada del grafo de visitas comunes (relación visitas comunes nivel 1, nivel 2 y nivel 3) y la ponderación a través de los scorings propuestos evaluadas en la matriz de preferen- cias derivadas de los tips. Se puede observar que los vecinos seleccionados a través de la relación directa de visitas comunes (nivel 1) y ponderados por cualquier de los scorings propuestos pro- porcionan mejoras en la estimación de las preferencias ya que siempre producen errores por debajo de la línea base. En este nivel se destacan los scorings derivados del grafo social s5 y s6, mostrando que existe una influencia social positiva entre los usuarios. Luego también se observa un buen comportamiento de s2, s14, s1 y s7, ya que estos se distinguen de los demás scorings en todos los tamaños de vecindarios. Además se observa que en general los errores producidos por los scorings tienden a incrementarse a medida que se incrementa el tamaño del vecindario para luego estabilizarse en vecindarios superior a 100 usuarios. Con respecto a los vecinos seleccio- nados según el nivel 2 de esta red, también se observa que a medida que el tamaño del vecindario se incrementa los errores producidos por los scorings se incrementa aproximándose más a la lí- nea base. Sin embargo, los errores más bajos los vuelven a obtener s5 y s6. También vuelven a destacarse s2, s1, s7 y s14 al igual que en el nivel 1 de la red. Luego también se observa que el comportamiento de los demás scorings es similar entre ellos. En lo que respecta a la selección de vecinos según la red de visitas nivel 3, es decir se tuvieron en consideración una mayor can- tidad de usuarios al generar el vecindario, se observa que existe un conjunto de scorings como s8 y s9, que generan errores ligeramente superiores al de la línea base en vecindarios de mayor tamaño (más de 50 usuarios). Por otro lado, se siguen destacando por sus buenos desempeños los scorings s2, s1, s7, s5 y s6, ya que siempre produjeron errores por debajo del resto.

La Figura 6.15 muestra los resultados obtenidos al aplicar la estrategia de selección según la distancia entre las áreas de visitas de los usuarios (considerando 3 distancias) combinando con las estrategias de ponderación o scorings propuestas. Se observa que los errores tienen similar comportamiento a la línea base en cualquiera de los radios analizados. También se observa que en esta estrategia de selección en cualquier radio produjo peores resultados que las estrategias analizadas anteriormente (red social, red visita comunes). Según la selección de vecinos realiza- da por «Área visita (radio 1km)», es decir considerando usuarios que tienen un área de visita a menos de 1 km de distancia a la del usuario objetivo, se observa que para vecindarios menor o igual a 30 usuarios s2 obtuvo los mejores resultados. También se destacan por producir errores por debajo de la línea base s5, s6, s1 y s7, los demás scorings produjeron errores igual o lige- ramente superior a la línea base. Con respecto a considerar como vecinos a aquellos usuarios a 2 km de distancia del usuario objetivo, en esta selección de vecinos se vuelven a destacar la ponderación a través de s2, s5, s6 y s1, con similar comportamiento a lo producido en «radio 1». También se observa s2 ya que obtiene el mejor comportamiento para vecindarios de tamaño menor o igual a30 usuarios, luego en vecindarios de tamaño de vecindarios superiores genera un error similar al de la línea base. Por último con respecto al seleccionar vecinos según «Área visita(radio 3km)», aquí también el comportamiento de los scorings es similar a lo ocurrido en

Figura 6.14: Resultados experimental para selección en red de visitas y ponderación según sco- rings en la matriz de preferencias derivada de los tips

Red visita(nivel 1) Red visita(nivel 2) Red visita(nivel 3)

5 10 20 30 50 100 150 200 250 300 5 10 20 30 50 100 150 200 250 300 5 10 20 30 50 100 150 200 250 300 0.45 0.48 0.51 0.54 Cantidad vecinos MAE Linea base s1 s2 s3 s4 s5 s6 s7 s8 s9 s10 s11 s12 s13 s14 s15

Figura 6.15: Resultados experimental para selección con «Área de visita» y ponderación según scorings en la matriz de preferencias derivada de los tips

Area visita(radio 1 km) Area visita(radio 2 km) Area visita(radio 3 km)

5 10 20 30 50 100 150 200 250 300 5 10 20 30 50 100 150 200 250 300 5 10 20 30 50 100 150 200 250 300 0.3 0.4 0.5 0.6 Cantidad vecinos MAE Linea base s1 s2 s3 s4 s5 s6 s7 s8 s9 s10 s11 s12 s13 s14 s15

los otros dos radios (1 km y 2 km), donde se destaca s2, s5, s6 y s1, por generar los menores errores en la estimación de las preferencias en cualquier tamaño de vecindario.

6.1.2.3. Análisis

La evaluación de las combinaciones entre las estrategias de selección y ponderación de ve- cinos en las matrices de preferencias derivadas del conjunto de datos de Yelp mostró mayor diferencia con respecto a la línea base siempre en favor de las estrategias propuestas. También mostraron consistencia la mayoría de los resultados obtenidos en ambas matrices, es decir que el resultado producido por la combinación entre una estrategia y un scoring fue similar en las dos matrices de preferencias. Cuando la selección estuvo dada por la red social (nivel 1, nivel 2 y nivel 3), hubo una marcada diferencia de los resultados obtenidos por las combinaciones de las estrategias y la línea base. Esto se observó más en el nivel 1 de la red. Luego a medida que se exploraba más en profundidad la red (nivel 2 y nivel 3) los errores de los scorings tendieron a aproximarse a la línea base igualmente siendo menores, esto se observó en las dos matrices de preferencias analizadas. Entre los scorings no hubo mucha variabilidad de los resultados, entre

los cuales se destacaron s8 y s9.

También una de las ventajas de esta estrategia de selección es la reducción de usuarios in- volucrados en la generación del vecindario para estimar las preferencias, como se observa en la Figura 6.16(a), donde para el nivel 1, sólo considera aproximadamente el 1 % de los usuarios, mientras que a un nivel 2 este valor llega al 5 % y al 25 % en el nivel 3, es decir que involu- crando muchos menos usuarios en la búsqueda del vecindario produce mejores resultados que la línea base, pero a su vez en vecindarios pequeños (como máximo 50 usuarios) la cobertura fue ligeramente superior que el de la línea base para los nivel 2 y 3 con lo muestra la Figura 6.16(b). Con respecto a la estrategia de selección de vecinos a través de la red de visitas comunes, esta estrategia combinada con los scorings propuestos, obtuvo similar comportamiento que la estrategia de la red social, donde en combinación con cualquier scoring produjo menor error que la línea base en cualquier tamaño del vecindario y a cualquier nivel de exploración de la red. También se observó la tendencia a que los errores producidos por las combinaciones se aproximaron a la línea base a medida que se incrementaba el nivel de exploración. Esto se debe a que al aumentar el nivel de exploración se involucran más usuarios al momento de generar el vecindario del usuario objetivo dando lugar a la introducción de ruido en la estimación de las preferencias. También se observó que los scorings derivados del grafo social (s5 y s6) se destacaron dentro de los demás scorings, es decir que ponderar a los vecinos seleccionados por esta estrategia por la relación social parece ser una buena combinación ya que el MAE siempre estuvo por debajo de los demás en cualquier tamaño de vecindario y en los tres niveles de profundidad del grafo analizados. Este comportamiento se observó en ambas matrices de preferencias. En lo que respecta a la reducción del espacio de búsqueda de vecinos, esta estrategia según el nivel de profundidad de exploración de la red, obtuvo valores de usuarios involucrados por debajo de la línea base, por ejemplo en el nivel 3 de esta red obtuvo una reducción del 25 % de los usuarios involucrados, como lo muestra la Figura 6.16(a). Además también obtuvo valores de cobertura aceptables ya que en vecindarios de no más de 50 usuarios obtuvieron valores ligeramente superior a la línea base, como se observa en la Figura 6.16(b). Luego en vecindarios de mayor tamaño la cobertura se reduce, pero igualmente llegaron a valores aceptables para los niveles de exploración 2 y 3.

La combinación llevada a cabo entre la estrategia de selección que considera la distancia entre una área de visitas de los usuarios y los scorings, por lo general obtuvo valores de MAE muy próximos a la línea base. Esto se observó más en la matriz de preferencias derivada de los tips, mientras más se alejaban las áreas de visitas de los usuarios (radios 1km, 2 km y 3km) los errores tendieron a comportarse similar a la línea base. Las mayores diferencias de MAE se observó en la matriz de preferencias explícitas, donde la combinación de esta estrategia de selección con los scorings que miden vecinos cercanos (s5 y s6) en el grafo social obtuvieron los mejores resultados. En lo que respecta al análisis de las otras métricas consideradas para evaluar el desempeño de las estrategias, se observó en la Figura6.16 (a), que esta estrategia

Figura 6.16: Número de usuarios comparados para generar el vecindario 1% 5% 25% 100% 1% 19% 74% 2% 3% 4% Red social(nivel 1) Red visita(nivel 1) Area visita(radio 1 km) Area visita(radio 2 km) Area visita(radio 3 km) Red social(nivel 2) Red visita(nivel 2) Red social(nivel 3) Red visita(nivel 3) Linea base 0 25 50 75 100 % de comparaciones (a) 0 10 20 30 40 50 5 10 20 30 50 100 150 200 250 300 Cantidad vecinos % Cober tur a Area visita(radio 1 km) Area visita(radio 2 km) Area visita(radio 3 km) Linea base Red social(nivel 1) Red social(nivel 2) Red social(nivel 3) Red visita(nivel 1) Red visita(nivel 2) Red visita(nivel 3) (b)

reduce considerablemente el número de usuarios involucrados en la búsqueda de los vecinos necesarios para realizar la estimación de preferencias, ya que por ejemplo con un radio de 1km sólo se consideraron el 2 % de usuarios, luego este valor se incrementó llegando a un máximo del 5 % cuando el radio considerado fue de 3km, además también tuvieron buen desempeño en los valores de cobertura, donde en la Figura 6.16(b), se observó que en vecindarios de hasta 100 usuarios siempre estuvieron por arriba de los valores generados por las demás estrategias.