Sistema para la toma de decisiones en la producción empresarial basado en Business Intelligence

Tomar información de datos generados internamente y convertirla en insights útiles para la toma de decisiones es posible gracias a las herramientas de Business Intelligence. Dentro del proceso seguido para la realización de un proyecto de BI, la construcción de un data warehouse, en inglés Data Warehouse (en adelante DWH), es una etapa clave para el correcto uso de los datos.

Estructura del documento

Para ello, los datos almacenados en Staging se mapearán al DWH final, según el modelado multidimensional, con un esquema de estrella, propuesto por primera vez por Kimball [3]. En este capítulo, además de los subobjetivos y los objetivos de mejora derivados, se define el objetivo principal del Proyecto.

Objetivo principal

Objetivos de la Empresa

Objetivos Académicos

Inteligencia de Negocio

Beneficios de la Inteligencia de Negocio

Conozca su negocio: Las empresas hoy en día deben evolucionar y cambiar en función de las necesidades de los clientes. Mejor comprensión de los clientes: los usuarios generarán grandes cantidades de datos que habitualmente no se utilizan.

Data Warehouse

Introducción
Metodologías
Modelo en Estrella
OLAP vs OLTP
Procesos ETL

El modelo estrella es un tipo de diseño de base de datos orientado a un almacén de datos. Los datos agregados se calculan después de que los datos elementales se hayan almacenado en la base de datos multidimensional.

Tecnología BI

Ejemplos

En esta fase se aplican las reglas de negocio previamente definidas para el data warehouse. Carga de datos: Finalmente, los datos se almacenan en el DWH según el modelo de estrella previamente diseñado, utilizando tablas de hechos y dimensiones. PowerCenter: Según el informe de Gartner [14], es una de las herramientas más utilizadas para el proceso ETL.

BIRT: Es una herramienta de informes de código abierto desarrollada por la fundación Eclipse. Debido a que el TFG se realiza bajo el acuerdo FORTE con Avanttic, se han seleccionado herramientas de Oracle para el desarrollo del Data Warehouse, informes y cuadros de mando. En este capítulo se presentan las metodologías de trabajo que se utilizaron para la gestión y desarrollo de este proyecto.

Gestión del Proyecto

Artefactos de SCRUM

Product Backlog: conjunto de historias de usuarios que en conjunto definen todos los requisitos del proyecto del propietario del producto. Sprint Backlog: Subconjunto del Product Backlog que define las historias de usuario que desarrollará el equipo SCRUM en un sprint determinado. Esta reunión se realiza al final de cada sprint para valorar si las historias de usuario del stack del sprint se han cumplido y por tanto se ha obtenido un incremento de producto.

Gráficos de resultados (Burn Up o Burn Down): Gráficos que representan el progreso del desarrollo a lo largo del tiempo. En este TFG se utilizarán gráficos de tipo burn-in (estimación inicial vs estimación real).

Desarrollo del Almacén de Datos

Análisis de requisitos: Se realizó una captura de los requisitos de los usuarios finales de la aplicación (representantes del departamento de Avanttic Consultoría Informática S.L.). Para una comprensión precisa de los datos que sean útiles para los usuarios, se utilizará la matriz de arquitectura de bus desarrollada por Kimball [3]. Modelado de Datos: Tras el análisis inicial de necesidades, se realizó una transformación de los datos recogidos en el ERP siguiendo un diseño multidimensional del data warehouse, propuesto por Kimball [3], con la técnica del esquema de estrella o copo de nieve.

Extracción inicial de datos: Para esta tercera fase será necesario tener acceso a las fuentes de datos y haber realizado previamente el modelado. Actualización periódica de datos: Utilizando la misma herramienta que en la fase 3 se programaron cargas periódicas al DWH. Explotación de datos: Finalmente se crearon Dashboards e informes (fase final de un proyecto de BI) utilizando la herramienta OBI [7].

Tecnologías usadas en el proyecto

Marco tecnológico
Herramientas para el desarrollo del proyecto
Herramientas para la gestión del proyecto
Herramientas para el desarrollo de la memoria

Esta tecnología se ha utilizado para explotar los datos previamente ingresados en el DWH. Esta solución de Oracle se utilizó para crear análisis que luego se integran en los paneles de OBIEE12c. Para este proyecto se utilizó para crear la dimensión de fecha en el DWH.

Esta herramienta se ha utilizado para crear los esquemas de bases de datos que se han requerido en el proyecto. Este software se ha utilizado para crear el modelo lógico y relacional de los distintos esquemas creados en TFG. Draw.io se ha utilizado en TFG para crear todos los diagramas y figuras que se muestran en la memoria.

En este TFG se solicita a Mendeley [28] para marcar referencias de memoria.

Sprint 0: Preparación Inicial

Tareas
Resultados del Sprint
Revisión
Retrospectiva

Aunque este Sprint 0 se considera una fase previa al desarrollo del proyecto, en el Sprint 1 se volverán a realizar entrevistas específicas con los responsables del departamento de producción de la empresa. Estas segundas reuniones configuran el proceso de creación de un Data Warehouse como parte del análisis de necesidades del negocio, siguiendo la metodología de desarrollo explicada en el apartado 4.2. Si bien existen historias de usuario que tienen un nivel de prioridad mayor, se desarrollarán en el orden que determine la metodología de desarrollo utilizada en TFG, dado que el proyecto utiliza una adaptación de SCRUM, la escala de prioridad seleccionada va de 0 a 1000.

Generar, luego de reuniones con los usuarios finales, un modelado dimensional de los datos que serán almacenados en el Data Warehouse y utilizados en la aplicación de BI para realizar consultas. Tener los datos actuales de la base de datos de origen disponibles en el Data Warehouse. Después de llegar a esta historia de usuario, el propietario del producto puede consultar los datos actuales en el DWH según el modelo de datos definido en HU1.

Se utilizó una lista de los riesgos más comunes en proyectos de software para crear un plan de gestión de riesgos [29].

Sprint 1: Análisis de Requisitos y Modelado de Datos

Tareas
Revisión
Retrospectiva

Como resultado de las tareas incluidas en el Sprint 1, luego de entrevistas con el gerente de producción (5.2.2.1), se realizó un análisis del proceso de negocio que será incluido en el DWH. Las dimensiones obtenidas y los hechos que se utilizarán en el DWH se documentaron en Enterprise Bus Matrix (5.2.2.2) junto con el documento que muestra el modelo dimensional que se implementará en el próximo Sprint (5.2.2.3). Como resultado de esta tarea se obtuvo el proceso principal de negocio, el cual será analizado y almacenado en el data warehouse.

Seleccionar el proceso de negocio: Al ser un data warehouse con datos sobre la producción empresarial, el proceso de negocio seleccionado es el de la actividad que un empleado registra en el ERP. Identificar las tablas de hechos y de medidas: En este último paso se han identificado las dos tablas de hechos que formarán parte del data warehouse. Después de identificar las dimensiones y los hechos, el siguiente paso es desarrollar el modelo dimensional que se implementará en el almacén de datos.

En el segundo sprint del TFG, el primero de desarrollo, también ha habido optimismo en la planificación.

Sprint 2: Extracción Inicial de los Datos

Modificación de la Pila de Producto

Después de completar esta historia de usuario, el propietario del producto podrá acceder a los informes y al panel creados.

Tareas

Resultados del Sprint

Para realizar esta tarea se utilizó la herramienta Oracle SQL Developer. Respecto a las claves sustitutas que tienen dimensiones como claves primarias, se decide crear una secuencia para cada tabla de la base de datos. Dado que la fuente de datos es la base de datos del sistema ERP de la empresa, es conveniente desarrollar una capa provisional.

Se importó la principal fuente de datos de TFG, la base de datos donde reside el sistema ERP de la empresa y el esquema del área de preparación. Y la herramienta Oracle es capaz de realizar ingeniería inversa, como se muestra en la Ilustración 19, de una fuente de datos si se ha definido un esquema lógico. Después de importar los esquemas, se hicieron planes para asignar la fuente de datos a las tablas provisionales.

Finalmente, la Ilustración 41 describe el flujo de datos realizado para cargar la tabla de hechos hora-día.

Revisión

Retrospectiva

Sprint 3: Extracción Periódica de Datos

Tareas
Revisión
Retrospectiva

No será necesario cambiar todos los mapeos como se muestra en la Ilustración 45, porque al cambiar el modelo de datos importado en el Sprint anterior es posible indicar que las dimensiones están cambiando lentamente. En la Figura 46 se puede ver cómo el ODI en el modelo de tabla importado desde DWH se puede identificar con un tipo OLAP, en este caso la dimensión de cambio lento. Se creó una tabla en la que se almacenan los datos de cada plan de carga implementado.

Una vez instalado el agente, puede ver en la Ilustración 51 cómo ejecuta los escenarios del plan de carga. La Ilustración 53 describe cómo se ha configurado la herramienta ETL para enviar correos electrónicos notificando el final del programa de carga. Primer sprint en el desarrollo de TFG, donde la planificación ha sido pesimista.

Se destacó la adquisición de experiencia en el control de la herramienta ETL por parte del equipo de desarrollo, ya que en la tarea 1 prácticamente se cumplió el tiempo inicialmente estimado.

Sprint 4: Explotación de Datos

Planificación del Sprint
Desarrollo de Tareas
Revisión
Retrospectiva

Al completar las tareas enumeradas en la Tabla 23, fue posible cumplir con todas las historias de usuarios de la pila de productos. Como se puede ver en la imagen, luego de la numeración se crearon alias para las dimensiones y hechos. Más adelante, en la capa lógica, esto se modelará para realizar las operaciones de profundización en los paneles.

La Figura 57 muestra cómo se modelan las dimensiones y los hechos en la capa lógica que utilizará el servidor Oracle BI. Mientras que la Figura 62 muestra un análisis realizado comparando las diferentes partes del negocio. A la derecha verás el número de horas que trabajó cada área al año.

En el lado derecho de este tablero, como se muestra en la Ilustración 66, se puede ver un gráfico que muestra las horas trabajadas por año y las horas que se programaron en cada departamento de la empresa.

Cumplimiento de Objetivos

Propuestas de Mejora

Opinión Personal

Disponible en: https://www.kimballgroup.com/data-warehouse-business-intelligence-resources/kimball-techniques/dw-bi-lifecycle-method/. El sistema consta de dos claves principales: Conocer las horas asignadas a los clientes y sus proyectos/subproyectos. Su objetivo es visualizar y analizar las horas que se planificaron (desde el calendario personal) y las horas que realmente se completaron.