Análisis exploratorio de los datos

Para entender las asociaciones entre los 20 productos o categorías escogidas, se tuvo que considerar la construcción de 190 tablas de contingencia33 _{de dos} direcciones. La tabla 28 muestra una de esas tablas, la cual fue usada para estudiar la asociación entre los productos helado y colas. [Giu03]

33 _{Este tipo de tablas se emplean para registrar y analizar la relación entre dos o más variables, habitualmente}

Tabla 28. Ejemplo de una tabla de contingencia de dos caminos y el cálculo de los cocientes de las probabilidades.

COLAS HELADO Frecuencia Porcentaje Porcentaje de columna

Porcentaje de fila 0 1 TOTAL

0 41179 88.13 89.60 98.57 4779 10.23 10.40 96.56 45958 98.35 1 599 1.28 77.89 1.43 170 0.36 22.11 3.44 769 1.65 TOTAL 41778 89.41 10.59 4949 46727 100

Valor Limites de confianza al 95% Cocientes de las probabilidades34 _{2.4455 2.0571 2.9071}

Fuente: [Giu03]

En cada celda de la tabla de contingencia, se tiene la frecuencia absoluta, la frecuencia relativa (como un porcentaje) y la frecuencia condicional por fila y por columna. Debajo de la tabla se reporta la medida de asociación, los cocientes de probabilidades entre las dos variables, junto con el correspondiente intervalo de confianza. Una asociación es juzgada como significativa si el valor 1 es externo al intervalo de confianza. De acuerdo a los resultados mostrados en la tabla se puede decir que hay una fuerte asociación positiva entre los dos productos. Hay que recordar que el tamaño de la muestra es absolutamente grande (46727 transacciones), por consiguiente aun un cociente de probabilidad pequeño puede ser significante. [Giu03]

La tabla 29 muestra el resumen de los cocientes de probabilidades más grandes de los 190 posibles.

34 _{También conocidos en ingles como Odds Ratio. Es la razón entre la probabilidad de que un evento suceda y}

Tabla 29. Cocientes de probabilidad más grandes entre parejas de productos y el correspondiente intervalo de confianza

Producto 1 Producto 2 Cociente de

probabilidad Intervalo de confianza

Carne enlatada Atún 5.0681 3.9101 6.5689 Carne enlatada Mozarela 4.8847 2.9682 8.0386 Vegetales

congelados Pescado congelado 3.3610 2.9521 3.8265

Colas Cerveza 2.8121 2.6109 3.0289

Galletas Jugos 2.8094 2.6094 3.0248

Jugos Helado 2.5333 2.1018 3.0534

Colas Helado 2.4455 2.0571 2.9071

Salsa de tomate Pasta 2.3773 2.2446 2.5179 Galletas saladas Helado 2.2839 1.7061 3.0574 Galletas Galletas saladas 2.2833 2.0276 2.5713 Carne enlatada Arroz 2.1433 1.4762 3.1120

Arroz Pasta 2.1129 1.9618 2.2756

Galletas Helado 2.0211 1.7178 2.3781

Galletas saladas Jugos 2.0486 1.7633 2.3800 Pescado

congelado Mozarela 2.0785 1.4721 2.9347 Aceite Salsa de tomate 2.0713 1.8318 2.3420 Fuente: [Giu03]

Las asociaciones más grandes fueron detectadas entre los productos carne enlatada y atún, carne enlatada y mozarela, pescado congelado y vegetales congelados. En todos estos casos se observa que la pareja de productos son considerados como comida rápida. Luego sigue la relación entre dos bebidas: colas y cerveza. En general las asociaciones que se muestran en la tabla 3 parecen razonables desde el punto de vista del tema. En el cálculo de los cocientes de probabilidad, cada par de variables son consideradas independientes de las 18 restantes. Es posible relacionarlas dibujando un grafo cuyos nodos son las variables binarias del producto. Una arista es dibujada entre un par de nodos si el correspondiente cociente de probabilidad es significativamente diferente de 1, en otras palabras si el intervalo de confianza no contiene el valor 1. Dibujar este tipo de grafos puede ser muy útil en la fase exploratoria de los datos. [Giu03]

Es difícil visualizar un grafo con al menos 190 relaciones. Por lo tanto se mostrara un grafo que solo presenta las asociaciones positivas con un cociente de probabilidad de mayor que 2. Esto reduce el número de enlaces en el grafo. [Giu03]. La siguiente figura es ejemplo de ello.

Figura 17. Grafo que muestra las asociaciones positivas más fuertes entre productos.

Fuente: [Giu03]

Nótese que los productos asilados (leche, biscochos, agua, café y yogurt) de los otros, no están asociados positivamente con ninguno. Los otros productos están relacionados directa e indirectamente. Es posible individualizar al menos 3 grupos mediante las conexiones de los enlaces, pero también por las relaciones lógicas entre productos. Estos grupos son muy interesantes porque identifican medianamente el comportamiento de compra de los clientes. Hay un grupo con 5 nodos: atún, carne enlatada, mozarela, vegetales congelados y pescado congelado. Estos nodos relacionados altamente con otros, corresponden a los

productos de comida rápida: fácil y rápida de preparar. Un segundo grupo contiene 4 nodos: arroz, pasta, salsa de tomate y aceite. Este grupo puede ser identificado como comida comprada para platos comunes (comunes en los estándares de la región del mediterráneo). Un tercer grupo contiene otros 6 productos: cerveza, colas, jugos, helados, galletas y galletas saladas. Todos se relacionan con los productos que se consumen fuera de las comidas regulares. Este grupo parecer ser el menos homogéneo de los 3. [Giu03]

Hasta el momento no se ha detectado ninguna asociación negativa. Esto tiene importantes implicaciones, por ejemplo una promoción en pasta presumiblemente incrementara las ventas de este producto, pero es poco probable que decrementen las ventas de otros productos como arroz o agua. Las asociaciones negativas son raramente consideras en un análisis de la cestas del mercado. [Giu03]

2.4.4. Modelado y evaluación:

Modelos log-lineales

Lo modelos log-lineales son muy usados en la minería de datos descriptiva, estos investigan la asociación entre las variables consideradas. Ajustar un modelo log- lineal para las 20 variables binarias puede requerir muchos parámetros para ser estimado. Además el grafo de independencia condicional puede ser difícil de interpretar. [Giu03]

La figura 17 sugiere la existencia de 5 nodos asilados que pueden ser estimados independientes de los otros: leche, biscochos, agua, café y yogurt. Por lo cual se trato de adecuar un modelo grafico log-lineal a las restantes 15 variables, con el propósito de chequear si los resultados del análisis exploratorio pueden ser

confirmados. Se construyo una tabla35 _{que presenta la máxima probabilidad} estimada de los parámetros del modelo log-lineal, con estimaciones hasta el segundo orden, medida en una tabla de contingencia de 15 direcciones correspondientes a las 15 variables consideradas. [Giu03]

De esa tabla resultante, se vio que todas las interacciones mostradas en la tabla 29, siguen siendo fuertemente significativos, excepto por las relaciones arroz y pasta, galletas y helado, galletas saladas y jugos; que tienen un cociente de probabilidad estimado levemente mas bajo de 2. Además hay otras 14 asociaciones positivas (fuertes): 9 de ellas son de carne enlatada con: colas, galletas saladas, jugos, aceites, salsas de tomate, cerveza, vegetales congelados, pescado congelado y helado; otras 3 de ellas son de helado con: vegetales congelados, arroz, pescado congelado; las dos restantes son de: arroz con: mozarela y galletas saladas. La diferencia de esta tabla que presenta las probabilidades máximas estimadas de los parámetros log-lineales con la tabla 29 es que se tomaron en cuenta las dependencias condicionales entre las variables y además se encontraron interacciones que han sido más significativas. [Giu03] Reglas de asociación

La forma mas común de hacer un análisis de los datos de las cestas de mercado es usar reglas de asociación. Se considero empezar con un escenario simple. Considérense los productos helado y colas. El orden no es relevante al estudiar la asociación entre 2 productos. Las reglas de asociación se fueron construyendo de la siguiente forma. Se saca el valor de soporte36 _{de la regla “si helado, luego} colas”. [Giu03]

35 _{No mostramos esta tabla, pero se puede consultar en la fuente [Giu03].}

36 _{El soporte (support) de una regla es la frecuencia relativa que indica la proporción de transacciones en}

donde la regla es observada. Es obtenido dividiendo el número de transacciones donde se satisface la regla, por el del número de transacciones. Es una medida simétrica.

Soporte (helado colas) = 170 / 46727 = 0.0036

Este valor indica un bajo soporte para la regla. Esto significa que estos dos productos son compradas juntas ocasionalmente. El soporte corresponde a uno de las 4 frecuencias que se muestran en la tabla de contingencia (tabla 28). Un soporte de 0.036 indica que solo el 0.36% de las transacciones consideradas tenían ambos productos en la cesta. [Giu03]

La confianza37 _{de una regla, aun cuando es calculada para una asociación, donde} el orden no importa, depende del cuerpo y la cabeza de la regla (medida asimétrica):

Confianza (helado colas) = 170 / 769 = 0.22.

El cual corresponde a la frecuencia condicional de la segunda fila de la tabla 28 donde colas = 1. Y

Confianza (colas helado) = 170 / 4949 = 0.034.

El cual corresponde a la frecuencia condicional de la segunda columna de la tabla 28 donde helado = 1. La frecuencia en el primer caso, indica la proporción, de aquellos que también compran helado, de los que también compran colas; en el segundo caso, indica la proporción, de aquellos que también compran colas, de aquellos que también compran colas. [Giu03]

La elevación38 _{es una medida normalizada de una regla, de gran interés. Toma la} confianza de una regla y la relaciona con el soporte de la cabeza de la regla. [Giu03]

37 _{La confianza (confidence) de una regla (A B) expresa una frecuencia relativa, que indica la frecuencia (o}

Elevación (helado colas) = 0.22 / 0.11 = 2 Elevación (colas helados) = 0.034 / 0.017 = 2

Ya se analizaron los resultados que arroja una sola regla, pero no se pueden sacar conclusiones certeras de estos, hay que conocer los resultados que ofrecen las demás reglas, para poder hacer un análisis mas completo y sacar verdaderas conclusiones que permitan conocer mejor los hábitos de los consumidores. Para descubrir esto y obtener una descripción más comprensiva de las reglas de asociación, la cadena hizo el modelo con todas las reglas de asociación posibles. [Giu03]

Los resultados de las reglas más relevantes fueron organizados en distintas tablas39 según el criterio con el cual se estuviera midiendo la relevancia de las reglas.

Una primera tabla presenta en segundo orden, reglas de asociación con el valor de soporte más grande de las 190 reglas posibles. Para cada regla de esta tabla se muestra le medida de elevación, el soporte, y la confianza, así como también la frecuencia de ocurrencia, que es la frecuencia absoluta de la regla. [Giu03]

Según los resultados que se obtuvieron, se vio que la regla (helado, colas) no aparece entre las más frecuentes. Otras reglas tienen una medida de soporte más grande y la regla con el soporte mas grande es leche pasta, que aparece en aproximadamente el 50% de las transacciones. Esta es seguida por biscochos pasta, leche biscochos, agua pasta y leche agua; todas ocurren en aproximadamente el 39% de las transacciones. [Giu03]

38 _{La medida de elevación (lift) de una regla, es un radio entre la frecuencia relativa de ambos productos}

ocurriendo conjuntamente, y la frecuencia relativa del mismo evento pero asumiendo que los dos productos son independientes.

39 _{El resultado de estas tablas no se muestra totalmente, solo mostraremos un subconjunto de estos, donde se}

Tabla 30. Cocientes de probabilidad más grandes entre parejas de productos y el correspondiente intervalo de confianza

Relaciones Elevación Soporte

(%) Confianza (%) Frecuencia de ocurrencia Regla

1 2 1.13 49.84 75.86 3359 Leche pasta 2 2 1.13 49.84 73.97 3359 Pasta leche 3 2 1.18 39.9 79.77 2689 Bizcochos pasta 4 2 1.18 39.9 59.22 2689 Pasta biscochos 5 2 1.21 39.86 60.66 2686 Leche biscochos 6 2 1.21 39.86 79.68 2686 Biscochos Leche 7 2 1.15 39.72 77.55 2677 Agua pasta 8 2 1.15 39.72 58.95 2677 Pasta agua Fuente: [Giu03]

Cabe anotar que como la tabla anterior muestra las reglas con la mayor medida de soporte y esta es una medida simétrica, es obvio que la regla reciproca este siempre adyacente a la otra. [Giu03]

La segunda tabla muestra en segundo orden, reglas de asociación con el valor de confianza más grande de las 190 reglas posibles. Esta tabla muestra que por ejemplo la regla arroz pasta, tiene una confianza igual a 90.18%. Esto significa que si una transacción contiene arroz, esta también tendrá pasta cerca del 90% de las veces. Por otra parte la regla pasta arroz no se encuentra entre los resultados mas significativos; esta regla tiene una confianza de 36.18%. Esto puede ser interpretado diciendo que si una transacción contiene pasta también tendrá arroz el 36.18% de las veces. [Giu03]

Tabla 31. Reglas con la mayor medida de confianza.

(%) (%) ocurrencia 1 2 1.34 24.38 90.18 1643 Arroz pasta 2 2 1.32 2.34 89.27 158 Carne enlatada pasta 3 2 1.32 25.86 89.02 1743 Salsa de tomate pasta 4 2 1.30 9.88 87.75 666 Pescado congelado pasta 5 2 1.27 9.85 85.68 664 Aceite pasta 6 2 1.26 5.46 85.19 368 Mozarela pasta 7 2 1.29 5.61 84.94 378 Helado leche 8 2 1.29 9.56 84.85 644 Pescado congelado leche Fuente: [Giu03]

Una tercera tabla reporta las reglas con los valores más altos de elevación de las 190 posibles reglas. Nótese que las reglas pescado mozarela y helado galletas saladas vienen primero, ambas con un valor de elevación de 2.36; también se puede ver que la regla colas helado esta bien ubicada. [Giu03] Tabla 32. Reglas con la mayor medida de elevación.

Relaciones Elevación Soporte

(%) Confianza (%) Frecuencia de ocurrencia Regla

1 2 2.36 1.71 15.15 115 Pescado congelado mozarela 2 2 2.36 1.71 26.62 115 Mozarela pescado congelado 3 2 2.36 2.21 33.48 149 Helado galletas saladas 4 2 2.36 2.21 15.57 149 Galletas saladas helado 5 2 2.17 1.62 14.36 109 Pescado congelado helado 6 2 2.17 1.62 24.49 109 Helado

pescado congelado 7 2 1.98 3.65 55.28 246 Helado colas 8 2 1.98 3.65 13.06 246 Colas helado Fuente: [Giu03]

Esta tabla puede ser útil para comparar con la tabla de cocientes de probabilidades (tabla 29), que fue usada para construir el grafo exploratorio. Comparando las dos tablas se vio que productos similares aparecen en ambas, excepto por pasta que aparece solo en la tabla 29. Sin embargo las parejas son en algunos casos diferentes. Los productos aislados que se muestran en la figura 1- leche, biscochos, agua, café y yogurt, tienen una alta medida de soporte pero una baja medida de elevación, por consiguiente no se encuentran en los resultados de las reglas que tienen la mayor medida de elevación. [Giu03]

También se consideraron asociaciones con más de 2 productos. Los resultados que se obtuvieron considerando las reglas con un mayor soporte, revelaron que aparecían algunas de las reglas de la tabla 30, en los primeros lugares según este criterio. En lugares secundarios se veían algunas reglas de orden 3, que tenia por lo general productos que se consumen fuera de las comidas regulares y combinaciones de productos aislados como pasta, leche y biscochos. [Giu03] Para asociaciones de cuarto orden40 _{los valores de confianza fueron más bien} altos. Por ejemplo una transacción que contiene salsa de tomate, aceite y galletas saladas, también tendrá pasta; adicionalmente el valor de confianza para esta regla es del 100%. Sin embargo el soporte de esta regla es de solo el 1.41%. [Giu03]

40 _{En la fuente bibliografica [Bel04] aparece una tabla que muestra el resumen de los resultados para este tipo}

Otra metodología que se siguió para la construcción de las reglas se baso en árboles de decisión. Se escogió la categoría de pastas, pues es el tipo de productos más frecuentes y la cabeza mas frecuente en las reglas de asociación. Se construyo un árbol donde la variable pasta se utilizo como variable objetivo y los demás productos como los predictores. Entre los caminos que conducen a los nodos terminales, se consideraron aquellos caminos donde todas las variables tenían el valor 1. Estos caminos corresponden a las reglas con una alta confianza. Usando un árbol CHAID se obtuvieron las siguientes reglas: [Giu03]

Atún y salsa de tomate pasta Salsa de tomate y arroz pasta Arroz y biscochos pasta

Y sus respectivas medidas de interés son:

Elevación 1.41, confianza 95.24%, soporte 14.84% Elevación 1.44, confianza 96.80%, soporte 12.14% Elevación 1.40, confianza 94.23%, soporte 18.43%

Nótese que las tres reglas tienen valores de confianza altos. Esto se esperaba, ya que los modelos basados en árboles tratan de desarrollar las mejores reglas predictivas para la variable objetivo. [Giu03]

Comparación de los modelos

Como la idea de buscar patrones y reglas es muy reciente, hay muy poco consenso en la literatura de minería de datos en como medir sus rendimientos. Una idea es medir la utilidad de los patrones en términos de cuan interesante o inesperados son para el analista. [Giu03]

Las medidas de interés para las reglas también pueden ser usadas para evaluar el rendimiento. En este caso se consideraron las medidas: soporte, confianza y elevación para validar el conjunto de reglas. Pero las necesidades del usuario son las que imperan al decidir cual de estas utilizar para escoger un conjunto de reglas. El soporte se puede usar para evaluar la importancia de una regla en términos de su frecuencia en la base de datos; la confianza se puede usar para investigar las posibles dependencias entre las variables; y la elevación puede ser usada para medir la distancia de la situación de independencia. [Giu03]

Finalmente, un conjunto de reglas tienen que ser evaluadas sobre su capacidad para responder a las necesidades u objetivos del análisis. Aquí los objetivos primarios son reorganizar el diseño de ventas de las terminales y planear promociones para incrementar los ingresos. Una vez las asociaciones han sido identificadas, es posible organizar promociones. Por ejemplo, poniendo un producto en promoción, se incrementan las ventas de los productos asociados. [Giu03]

Los cocientes de probabilidades y los modelos log-lineales también pueden ser empleados para determinar una estructura de asociación global entre las variables de compra, para este caso hay ciertas medidas estadísticas para evaluar la calidad del modelo. Sin embargo estas tienen un propósito diferente. Los árboles de decisión también pueden ser vistos como un modelo global41 _{capaz de} reproducir una estructura de asociación. Sin embargo las reglas de asociación42 son mejores para este tipo de casos porque son más fáciles de detectar y de interpretar. Los modelos log-lineales y los árboles pueden ser mejor utilizados cuando se tiene el tiempo y el conocimiento necesario para implementar un modelo global. [Lar05]

41 _{Un modelo es una descripción global de o explicación de un conjunto de datos, tomando un alto nivel de}

perspectiva. Para este caso de estudio los modelos globales son los modelos log-lineales y los árboles de decisión.

2.4.5. Despliegue y utilización de los resultados de minería de datos:

Con los resultados arrojados por estos modelos, donde se pudo conocer cuales son los tipos de productos más vendidos, aquellos que por lo general se venden juntos, y las características de los clientes. La cadena de supermercados KENDALL emprendió una serie de acciones para mejorar los niveles de ganancia de la compañía, donde participaron desde los gerentes de departamentos hasta los vendedores. Algunas de las acciones emprendidas fueron las siguientes:

Se mejoro el diseño de la tienda virtual. Se desarrollo de forma que cuando un cliente esta utilizando este servicio, se le mostrara una lista de productos en los que posiblemente este interesado. [SBA+01]

Para esto la cadena puso en práctica otro proyecto que recomendara automáticamente a los clientes que estuvieran comprando, usando un sistema de compras remoto. En este caso la cadena animaba a los clientes a usar asistentes personales digitales (PDAs) para crear y transmitir sus órdenes a la tienda, la cual se encargaba de organizar los pedidos y de repartirlos. [SBA+01]

Este sistema recomendador suministra una fuente alternativa de nuevas ideas para los clientes, que visitan las tiendas con menos frecuencia. Estas recomendaciones fueren generadas usando las técnicas de minería de datos descritas anteriormente, emparejando los productos con los clientes, basados en las solicitudes esperadas del producto y en los gastos previos del cliente. [SBA+01]

Una prueba de este sistema fue hecho usando clientes de 2 tiendas, cada una con más o menos 1000 clientes. Las recomendaciones que hacia el

sistema solo las hacia con las categorías de productos que se trabajaron. [SBA+01]

La prueba fue conducida en 2 fases. Durante la primera fase de la prueba, usando solo una de las tiendas y una versión primaria del sistema, un total de 97 órdenes completas fueron procesadas de usuarios que usaban una PDA. De esas, 6 ordenes (6.1%) contenían al menos un producto escogido para la lista de recomendación. Es importante anotar que la lista de recomendada, contiene productos que no han sido comprados por el cliente previamente). El objetivo de este recomendador de productos es incrementar el ingreso comparable a las compras espontáneas que un comprador puede hacer mientras camina a través de la tienda o después de recibir algún tipo de propaganda por correo. Por esta medida los resultados