ATENEA. Documento de Arquitectura Software. 12 de Marzo de Katerin Bejarano Serna Alisson Rodríguez Beltrán

(1)

12 de Marzo de 2013

Katerin Bejarano Serna

Alisson Rodríguez Beltrán

ATENEA

(2)

Historial de cambios

Fecha Versión Descripción Responsable

12/03/2013 1.0.0 Creación del documento. Katerin Bejarano Alisson Rodríguez 21/03/2011 1.1.0 Elaboración del documento Katerin Bejarano Alisson Rodríguez

23/03/2011 1.2.0 Corrección y revisión del documento

Katerin Bejarano Alisson Rodríguez Julio Carreño 24/03/2011 2.0.0 Lanzamiento del documento. Katerin Bejarano

Alisson Rodríguez Tabla 1. Historial de cambios

(3)

Tabla de contenido

Historial de cambios ... 2 Lista de tablas ... 5 Lista de ilustraciones ... 6 1. Introducción ... 7 1.1. Propósito ... 7 1.2. Alcance ... 7

1.3. Definiciones, acrónimos y abreviaciones ... 7

1.4. Referencias ... 8 2. Representación arquitectónica ... 9 2.1. Modelo arquitectónico ... 9 2.1.1. Estilo arquitectural ... 9 2.1.2. Vistas de la arquitectura ... 10 3. Objetivos arquitectónicos ... 10 4. Vista Técnica ... 12

5. Vista de Modelo Dimensional ... 15

5.1. Modelo de Calidad de Servicio – Proceso de Ajustes ... 15

5.1.1. Vista Conceptual ... 15

5.1.2. Vista Lógica ... 15

5.1.3. Descripción de componentes ... 16

5.2. Modelo Cliente - Proceso de PQR ... 18

5.2.2. Vista Lógica ... 19

5.3. Modelo SD – Proceso de Ajustes ... 21

5.3.2. Vista Lógica ... 22

5.4. Modelo Reclamo - Proceso de PQR ... 24

(4)

5.5 Cubo Atenea Clientes ... 27

5.6 Cubo Atenea Reclamos ... 29

5.7 Cubo Atenea Saldo Disputa ... 31

5.8 Cubo Atenea Calidad Servicio ... 33

6. Vista de Diseño físico ... 34

6.1 Definición de estándares del entorno ... 35

6.2 Documentación de campos ... 36

6.3 Definición de estrategia de gestión del cambio ... 39

6.4 Definición de estrategia de índices ... 40

6.5 Definición de estrategia de particionamiento ... 40

6.6 Detalles de Base de Datos ... 41

7. Vista de Diseño de Data Staging ... 41

7.1 Documentación de campos ... 42

7.2 Definición del proceso de extracción y limpieza ... 43

7.3 Definición proceso de transformación ... 46

(5)

Lista de tablas

Tabla 1. Historial de cambios ... 2

Tabla 2. Definiciones, acrónimos y abreviaciones ... 8

Tabla 3. Descripción Sistemas Fuentes [36] [37] [38] ... 13

Tabla 14. Documentación Cubo Clientes ... 28

Tabla 15. Documentación Cubo Reclamos ... 30

Tabla 16. Documentación Saldo Disputa ... 32

Tabla 17. Documentación Cubo Calidad Servicio ... 34

Tabla 6. Formato de nombres ... 35

Tabla 7. Campos Tabla Empresa ... 36

Tabla 8. Campos Tabla Periodo ... 36

Tabla 9. Campos Tabla Calidad Servicio ... 36

Tabla 10. Campos Tabla Cliente ... 37

Tabla 11. Campos Tabla Mercado ... 37

Tabla 12. Campos Tabla Saldo Disputa ... 37

Tabla 13. Campos Tabla Localización ... 38

Tabla 14. Campos Tabla Causal ... 38

Tabla 15. Campos Tabla Estado Respuesta ... 38

Tabla 16. Campos Tabla Reclamo ... 38

Tabla 17. Estrategia para la gestión del cambio ... 39

Tabla 18. Índices Tablas Dimensión ... 40

Tabla 19. Índices Tablas de Hechos ... 40

Tabla 20. Usuarios DB... 41

Tabla 21. Campos archivo empresas ... 42

Tabla 22. Campos archivo reclamos ... 43

Tabla 23. Campos Archivo clientes ... 43

Tabla 24. Descripción proceso extracción y limpieza Clientes ... 44

Tabla 25. Descripción proceso extracción y limpieza Reclamos ... 45

Tabla 26. Descripción proceso extracció, transformación y carga Empresas ... 45

Tabla 27. Descripción proceso transformación Clientes ... 47

(6)

Lista de ilustraciones

Ilustración 1. Vistas Arquitectura ... 10

Ilustración 2. Vista de alto nivel de la arquitectura ... 12

Ilustración 3. Sistemas fuentes ... 13

Ilustración 4. Capa de Presentación ... 13

Ilustración 5. Capa la Aplicación ... 13

Ilustración 6. Capa de Presentación al usuario ... 14

Ilustración 7. Diagrama Multidimensional Cubo Clientes ... 27

Ilustración 8. Mapeo modelo lógico a cubo Clientes ... 28

Ilustración 9. Diagrama Multidimensional Cubo Reclamos ... 29

Ilustración 10. Mapeo modelo lógico a cubo Reclamos ... 30

Ilustración 11. Diagrama Multidimensional Cubo Saldo Disputa ... 31

Ilustración 12. Mapeo modelo lógico a cubo Saldo Disputa ... 32

Ilustración 13. Diagrama Multidimensional Cubo Calidad Servicio ... 33

Ilustración 14. Mapeo modelo lógico a cubo Calidad Servicio ... 34

Ilustración 15. Sistema ETL ... 41

Ilustración 16. Diagrama Extracción y limpieza Clientes ... 44

Ilustración 17. Diagrama Extracción y limpieza Reclamos ... 44

Ilustración 18. Diagrama Extracción, transformación y limpieza Empresas... 45

Ilustración 19. Diagrama Transformación Clientes ... 46

Ilustración 20. Diagrama Transformación Clientes (parte 2) ... 47

Ilustración 21. Diagrama consolidación de archivos ... 48

Ilustración 22. Diagrama Carga Clientes... 49

(7)

1. Introducción

1.1. Propósito

Presentar una descripción detallada del diseño arquitectural del modelo tecnológico

ATENEA y los diferentes Stakeholders que se ven involucrados. Se presentará una

visión de alto nivel para describir los elementos, relaciones y características

fundamentales en la arquitectura del sistema.

1.2. Alcance

Por medio de este documento se busca indicar los elementos internos que componen el

modelo tecnológico, así como los externos que se integran o prestan servicios a él y sus

correspondientes relaciones, todo esto mediante la utilización de diferentes vistas del

diseño y la selección de un estilo arquitectónico adecuado.

1.3. Definiciones, acrónimos y abreviaciones

Palabra Definición

Eficiencia Grado en que el software hace óptimo el uso de los recursos del sistema [12]. Ethernet Tecnología de redes de computadoras de área local [14].

Fiabilidad Cantidad de tiempo que el software está disponible para su uso [12]. HTTP Hypertext Transfer Protocol [17]

IP Internet Protocol.

ISO International Organization for Standardization LAN Local Area Network.

Oracle 11g Es un motor de base de datos, desarrollado por Oracle.

Portabilidad La facilidad con que el software puede ser llevado de un entorno a otro [14]. RUP Rational Unified Process.

SAD Software Architecture Description. SOAP Simple Object Access Protocol.

(8)

Stakeholder Personas o entidades que son impactados y/o impactan a la organización. Interesados en el sistema [14].

TCP Transmission Control Protocol. W3C The World Wide Web Consortium.

Windows 7 Sistema operativo desarrollado por Microsoft. Windows XP Sistema operativo desarrollado por Microsoft.

WLAN Wireless Local Area Network.

Tabla 2. Definiciones, acrónimos y abreviaciones

1.4. Referencias

(9)

2. Representación arquitectónica

2.1. Modelo arquitectónico 2.1.1.Estilo arquitectural

Para el desarrollo del sistema ATENEA se seleccionó un tipo de arquitectura basada en Data Warehouse. Debido al alcance del proyecto se definió que la arquitectura estará compuesta únicamente por data marts.

Este modelo arquitectónico permite analizar independientemente a un departamento específico del negocio dentro de la organización, asumiendo que este tiene sus propias necesidades, estructuras y requerimientos.

La arquitectura posee tres capas principales y una fuente de datos los cuales se describen a continuación:

 Sistemas fuentes: Corresponden a los sistemas que poseen los datos que se pretenden ser extraídos para su almacenamiento y análisis posterior.

 Capa ETL: Corresponde a una porción del ETL la cual se encarga de capturar los datos desde los sistemas fuentes de una o varias maneras y prepararlos para ser incluidos dentro de los datos del área de la organización.

 Capa de Presentación: En esta capa se encuentran los data marts. Es llamada de esta forma dado que los data marts son optimizados en su desempeño para el uso del usuario final.

 Capa de Aplicación: Esta capa corresponde a lo que los usuarios de negocio verán y utilizarán, es decir se enfoca en la interfaz gráfica de usuario [19].

(10)

2.1.2.Vistas de la arquitectura

Debido a que seguiremos la metodología de Kimball [18] a continuación se describen las cuatro (4) vistas que se manejarán:

Ilustración 1. Vistas Arquitectura

3. Objetivos arquitectónicos

Seguridad

 El sistema debe garantizar la autentificación y autorización para cada uno de los usuarios que deseen acceder a éste.

Disponibilidad

 Se debe asegurar que el sistema cumpla con una disponibilidad de por lo menos el 99.99%.

•Corresponde al diseño del conjunto de los principales componentes. Vista de la Arquitectura Técnica

•Corresponde al diseño de las dimensiones y las medidas. Vista de Modelo dimensional

•Corresponde al detalle especifico de la base de datos fisica. Vista de Diseño fisico

•Corresponde al diseño del sistema ETL. Vista de Diseño de Data Staging

(11)

Integración

 El sistema debe poder interactuar con diferentes sistemas externos (ETL, fuentes externas) para poder cumplir con sus funcionalidades.

Mantenimiento

 El sistema debe permitir la adición y extracción de módulos que permitan mejorar su uso, por medio de la generalización de éstos.

 El sistema debe ser fácilmente adaptable frente a requerimientos externos o cambios de tecnología.

(12)

4. Vista Técnica

El diseño de la arquitectura en un alto nivel se encuentra definido en capas, donde cada una cumple un papel principal en la administración de los datos que se recolectan. A partir de las condiciones y necesidades del cliente se definió la siguiente arquitectura.

Ilustración 2. Vista de alto nivel de la arquitectura

Descripción Sistemas Fuente:

Los sistemas fuentes son aquellos sistemas que proporcionan los datos disponibles para su recolección, transformación, almacenamiento y posterior análisis. En este caso los entes de vigilancia autorizados son quienes representan a estos sistemas. A continuación se presentan cada uno de ellos.

Ente de Vigilancia Descripción

Superintendencia de Servicios Públicos Domiciliarios (SSPD)

Organismo de carácter técnico, creado por la Constitución de 1.991 para que, por delegación del Presidente de la República, ejerza el control, la inspección y la vigilancia de las entidades prestadoras de servicios públicos domiciliarios. Comisión de Regulación de

Energía y Gas (CREG)

Entidad técnica que tiene como objetico lograr que los servicios de energía eléctrica, gas natural y gas licuado de petróleo (GLP) se presten al mayor número posible de personas, al menor costo posible

(13)

para los usuarios y con una remuneración adecuada para las empresas que permita garantizar calidad, cobertura y expansión.

Ministerio de Minas y Energía

Entidad pública de carácter nacional del nivel superior ejecutivo central, cuya responsabilidad es la de administrar los recursos naturales no renovables del país asegurando su mejor y mayor utilización, la orientación en el uso y regulación de los mismos.

Tabla 3. Descripción Sistemas Fuentes [36] [37] [38]

Sistemas Externos Fuentes

Componentes

Nombre Descripción

Superintendencia Archivos .xls, .csv publicados por los entes reguladores del sector eléctrico.

CREG

Ministerio de minas y energía

Ilustración 3. Sistemas fuentes

Capa ETL (Extracción, Transformación y Carga) Componentes

Obtener Se obtendrán los archivos a partir de una carpeta en donde estarán todos los archivos que deberá procesar el ETL.

Transformar Realizará procesos como: dividir, convertir, dar formato, decodificación de campos, fusión de información, duplicación e integración de datos a los archivos obtenidos.

Limpiar Realizará procesos de selección de los archivos

obtenidos.

Cargar Realizará procesos como: cargar, anexar, actualizar

directamente en la base de datos. Ilustración 4. Capa de Presentación

Capa Presentación

Componentes

Data Mart Contendrá los datos de un proceso en particular del departamento relación cliente de CODENSA.

Cubos ROLAP Contendrá la representación de los modelos

dimensionales. Se manejará un cubo por cada modelo definido.

(14)

Capa Aplicación IC Componentes

Análisis Corresponde a la aplicación analítica que permitirá al usuario final acceder a los datos e información almacenados en el sistema. Esta capa pretende ofrecer al usuario el manejo de funciones de análisis y generación de reportes que permitan generar soporte dentro del proceso IC con la definición de estrategias competitivas. Reportes

(15)

5. Vista de Modelo Dimensional

5.1. Modelo de Calidad de Servicio – Proceso de Ajustes 5.1.1.Vista Conceptual

(16)

5.1.3.Descripción de componentes

Id Diseño: DCS

Descripción: El diseño calidad servicio es un modelo dimensional que permite modelar requerimientos de análisis dado por ejecutivos de CODENSA para obtener medidas numéricas relevantes de la calidad del servicio de las empresas comercializadoras de energía en Colombia.

Hechos:

FACT_CALIDAD_ SERVICIO

Atributos Descripción

Cantidad_Revisiones_Exitosas Número de veces en que la visita a una residencia se ha podido llevar a cabo. Agregado: SUM.

Cantidad_Revisiones_NoExito sas

Número de veces en que la visita a una residencia no se ha podido llevar a cabo. Agregado: SUM.

Tiempo_Promedio_Revisiones Tiempo promedio de la duración de una revisión.

Agregado: AVG.

Cantidad_Incidencia_Indispo Cantidad de veces en las cuales no se ha proporcionado el servicio de energía. Agregado: SUM.

Tiempo_Promedio_Indispo Tiempo promedio en las cuales no se ha proporcionado el servicio de energía. Agregado: AVG.

Cantidad_Suspenciones Cantidad de suspensiones de energía realizadas a los clientes.

Agregado: SUM.

Dimensiones Atributos Descripción

DIM_EMPRESA Id_Empresa Identificador único de una empresa. Nombre_Empresa Nombre de la empresa.

Tipo_Servicio Tipo de servicio de la empresa (Generación, Transmisión, Distribución, o

(17)

Comercialización).

DIM_PERIODO Id_Periodo Identificador único de un periodo.

Año Año

Mes Mes del año.

Jerarquías: DIM_PERIODO * Año * Mes DIM_EMPRESA * Tipo_Servicio * Nombre_Empresa Requerimientos asociados: RQ04, RQ05, RQ32, RQ33, RQ34

(18)

5.2. Modelo Cliente - Proceso de PQR 5.2.1.Vista Conceptual

(19)

5.2.2.Vista Lógica

5.2.3.Descripción de componentes Id Diseño: DC

Descripción: El diseño cliente es un modelo dimensional que permite modelar requerimientos de análisis dados por ejecutivos de CODENSA para obtener medidas numéricas relevantes de los clientes de las empresas comercializadoras de energía en Colombia.

Hechos:

FACT_CLIENTE

Atributos Descripción

Cantidad_Clientes Cantidad de clientes suscritos a la empresa.

Agregado: SUM.

(20)

Agregado: AVG.

Valor_Consumo Valor total del KW consumido. Agregado: SUM.

Tarifa Tarifa básica ofrecida. Agregado: AVG.

DIM_EMPRESA Id_Empresa Identificador único de una empresa. Nombre_Empresa Nombre de la empresa.

Tipo_Servicio Tipo de servicio de la empresa (Generación, Transmisión, Distribución, o Comercialización).

DIM_PERIODO Id_Periodo Identificador único de un periodo

Año Año

Mes Mes del año.

DIM_MERCADO Id_Mercado Identificador único del mercado.

Tipo_Mercado Tipo de mercado (Regulado o No regulado)

Des_Mercado Estratos sociales o sector.

Ubicación Ubicación del mercado. Puede ser: Rural, urbano o centro poblado

Jerarquías: DIM_PERIODO * Año * Mes DIM_EMPRESA * Tipo_Servicio * Nombre_Empresa DIM_MERCADO * Tipo_Mercado * Ubicación * Des_Mercado

(21)

Requerimientos asociados:

RQ06, RQ07, RQ08, RQ09, RQ10, RQ11, RQ30, RQ31, RQ35, RQ36

5.3. Modelo SD – Proceso de Ajustes 5.3.1.Vista Conceptual

(22)

5.3.2.Vista Lógica

Id Diseño: DSD

Descripción: El diseño SD es un modelo dimensional que permite modelar requerimientos de análisis dado por ejecutivos de CODENSA para obtener medidas numéricas relevantes de los saldos en disputa de las empresas comercializadoras de energía en Colombia que se encuentran en la Superintendencia.

Hechos:

FACT_SALDO_DISPUTA

Cantidad_SD Cantidad de casos en saldo en disputa. Agregado: SUM.

(23)

Agregado: SUM.

Tiempo_Promedio Tiempo promedio en recibir respuesta del fallo de la superintendencia.

Agregado: AVG.

DIM_EMPRESA Id_Empresa Identificador único de una empresa. Nombre_Empresa Nombre de la empresa.

Tipo_Servicio Tipo de servicio de la empresa (Generación, Transmisión, Distribución, o Comercialización). DIM_PERIODO Id_Periodo Identificador único de un periodo

Año Año

Mes Mes del año.

DIM_MERCADO Id_Mercado Identificador único del mercado.

Tipo_Mercado Tipo de mercado (Regulado o No regulado). Des_Mercado Estratos sociales o sector.

Ubicación Ubicación del mercado. Puede ser: Rural, urbano o centro poblado Jerarquías: DIM_PERIODO * Año * Mes DIM_EMPRESA * Tipo_Servicio * Nombre_Empresa DIM_MERCADO * Tipo_Mercado * Ubicación * Des_Mercado

(24)

Requerimientos asociados: RQ39,RQ40, RQ41

5.4. Modelo Reclamo - Proceso de PQR 5.4.1.Vista Conceptual

(25)

Id Diseño: DR

Descripción: El diseño reclamo es un modelo dimensional que permite modelar requerimientos de análisis dado por ejecutivos de CODENSA para obtener medidas numéricas relevantes de los reclamos hechos por los clientes a las empresas comercializadoras de energía en Colombia. Hechos:

FACT_RECLAMO

Cantidad_Radicados Cantidad de reclamos recibidos. Agregado: SUM.

Dimensiones Atributos Descripción

DIM_EMPRESA Id_Empresa Identificador único de una empresa Nombre_Empresa Nombre de la empresa.

Tipo_Servicio Tipo de servicio de la empresa (Generación, Transmisión, Distribución, o Comercialización).

DIM_PERIODO Id_Periodo Identificador único de un periodo.

Año Año.

Mes Mes del año.

DIM_LOCALIZACION Id_Localizacion Identificador único de la localización. Departamento Departamentos de Colombia.

Municipio Municipios de los departamentos de Colombia.

DIM_CAUSAL Id_Causal Identificador único de causal. Causal Motivo presentado por el reclamo. Tramite Tipo de tramite puede ser:

(26)

Petición o queja Recurso de reposición

Reposición y subsidiario de apelación DIM_ESTADO_RESPUESTA Id_Respuesta Identificador único.

Tipo_Respuesta Respuesta emitida por el reclamo.

Jerarquías: DIM_PERIODO * Año * Mes DIM_LOCALIZACION * Departamento * Municipio DIM_EMPRESA * Tipo_Servicio * Nombre_Empresa Requerimientos asociados: RQ01, RQ02, RQ03, RQ12, RQ13, RQ14, RQ15, RQ16, RQ17, RQ18, RQ19, RQ20, RQ21, RQ22, RQ23, RQ24, RQ25, RQ26, RQ27, RQ28, RQ29, RQ37, RQ38

(27)

5.5 Cubo Atenea Clientes

Ilustración 7. Diagrama Multidimensional Cubo Clientes

Nombre Cubo Atenea Clientes

Dimensiones Asociadas Nombre en Modelo

Conceptual

Nombre en Modelo

Lógico (Relacional) Descripción

Empresa DIM_EMPRESA

Representa aquellas empresas del mercado energético de Colombia que pueden posibles

competidoras de la empresa CODENSA.

Periodo DIM_PERIODO Representa periodos de tiempo.

Mercado DIM_MERCADO Representa los mercados que son manejados por las

empresas del mercado energético de Colombia. Medidas Asociadas

Nombre Tabla de Hechos

Asociada (Relacional) Descripción

Cantidad_Clientes FACT_CLIENTE

Corresponde al número de clientes que posee una empresa del mercado energético.

Agregado: SUM.

Consumo FACT_CLIENTE Corresponde al consumo KW de energía que es

(28)

Agregado: SUM.

Valor_Consumo FACT_CLIENTE

Corresponde al valor del consumo en COP (Pesos Colombianos).

Agregado: SUM.

Tarifa FACT_CLIENTE

Corresponde a la tarifa medio manejada por las empresas competidoras.

Agregado: AVG. Modelos Asociados

DC (Diseño Cliente)

Tabla 4. Documentación Cubo Clientes

A continuación se presenta un diagrama que muestra el mapeo entre el modelo lógico y el cubo diseñado.

(29)

5.6 Cubo Atenea Reclamos

Ilustración 9. Diagrama Multidimensional Cubo Reclamos

Nombre Cubo Atenea Reclamos

Dimensiones Asociadas Nombre en

Modelo Conceptual

Empresa DIM_EMPRESA

Causal DIM_CAUSAL Representa aquellos motivos presentados por los

reclamos.

Localización DIM_LOCALIZACION

Representa la ubicación geográfica, en términos de departamentos y municipios, del origen de los

(30)

Estado Respuesta DIM_ESTADO_RESPU ESTA

Representa las repuestas asignadas a los reclamos por parte de las empresas competidoras. Medidas Asociadas

Asociada (Relacional) Descripción Cantidad_Radicado

s FACT_RECLAMO

Corresponde al número de reclamos radicados por las empresas competidoras. Agregado: MAX. Modelos Asociados

DR (Diseño Reclamo)

Tabla 5. Documentación Cubo Reclamos

(31)

5.7 Cubo Atenea Saldo Disputa

Ilustración 11. Diagrama Multidimensional Cubo Saldo Disputa

Nombre Cubo Atenea Saldo Disputa

Conceptual

Empresa DIM_EMPRESA

Mercado DIM_MERCADO Representa los mercados que son manejados por

las empresas del mercado energético de Colombia. Medidas Asociadas

Cantidad_SD FACT_SALDO_DISPU

TA

Cantidad de casos en saldo en disputa. Agregado: SUM.

Valor_Total FACT_SALDO_DISPU

TA

Valor total de los saldos en disputa. Agregado: SUM.

(32)

Tiempo_Promedio FACT_SALDO_DISPU TA

Tiempo promedio en recibir respuesta del fallo de la superintendencia.

Agregado: AVG. Modelos Asociados

DSD (Diseño Saldo Disputa) Tabla 6. Documentación Saldo Disputa

(33)

5.8 Cubo Atenea Calidad Servicio

Ilustración 13. Diagrama Multidimensional Cubo Calidad Servicio

Nombre Cubo Atenea Calidad Servicio

Conceptual

Empresa DIM_EMPRESA

Medidas Asociadas

Cantidad_Revisione s_Exitosas

FACT_CALIDAD_SE RVICIO

Número de veces en que la visita a una residencia se ha podido llevar a cabo.

Agregado: SUM. Cantidad_Revisione

s_NoExitosas

Número de veces en que la visita a una residencia no se ha podido llevar a cabo.

Agregado: SUM. Tiempo_Promedio_

Revisiones

Tiempo promedio de la duración de una revisión. Agregado: AVG.

Cantidad_Incidencia _Indispo

Cantidad de veces en las cuales no se ha proporcionado el servicio de energía.

(34)

Agregado: SUM. Tiempo_Promedio_I

ndispo

Tiempo promedio en las cuales no se ha proporcionado el servicio de energía.

Agregado: AVG. Cantidad_Suspencio

nes

Cantidad de suspensiones de energía realizadas a los clientes.

Agregado: SUM. Modelos Asociados

DCS (Diseño Calidad Servicio)

Tabla 7. Documentación Cubo Calidad Servicio

Ilustración 14. Mapeo modelo lógico a cubo Calidad Servicio

6. Vista de Diseño físico

A partir del diseño lógico definido, se realizaron actividades para definir las estructuras que dieran soporte a éste. A continuación se describen.

(35)

6.1 Definición de estándares del entorno

Entre los estándares definidos se encuentran las formas con las cuales se asignaran nombres dentro del sistema, en la siguiente tabla se especifican éstas.

Objeto Nombre

Tablas de dimensión

Estas deben llevar el siguiente formato: “DIM_NOMBRE”, donde la palabra DIM hace referencia a dimensión, NOMBRE corresponde al nombre de la tabla y se maneja un guion de piso entre palabras.

Tablas de hechos

Estas deben llevar el siguiente formato: “FACT_NOMBRE”, donde la palabra FACT hace referencia a los hechos, NOMBRE corresponde al nombre de la tabla y se maneja un guion de piso entre palabras.

Campos de las tablas

Los nombres asignados a los campos o columnas de cada tabla deben manejar la primera letra en mayúscula y un guion de piso entre palabras.

Índices Los índices deben manejar el siguiente formato: “NOMBRETABLA__NOMBREINDICE_IDX”.

Disparadores

Los triggers o disparadores deben manejar el siguiente formato:

“NOMBRETABLA_TRIGGER”.

Secuencias Las secuencias deben manejar el siguiente formato: “NOMBRETABLA__SEQ”.

Esquema (Base de datos)

El nombre utilizado para la asignación del esquema es: ATENEA.

(36)

6.2 Documentación de campos

Nombre Tabla DIM_EMPRESA

Descripción Representa las empresas competidoras dentro del mercado energético. Campos

Nombre Tipo Longitud/Escala – Precisión

Null Valor predeterminado

Id_Empresa Number - No -

Nombre_Empresa Varchar2 130 CHAR No - Tipo_Servicio Varchar2 130 CHAR Null “N/A”

Tabla 9. Campos Tabla Empresa

Nombre Tabla DIM_PERIODO

Descripción Representa los periodos de tiempo para los cuales los datos de medidas son definidos.

Campos Nombre Tipo Longitud/Escala

– Precisión Null Valor predeterminado

Id_Periodo Number - No -

Año Varchar2 5 CHAR No -

Mes Varchar2 15 CHAR No -

Tabla 10. Campos Tabla Periodo

Nombre Tabla FACT_CALIDAD_SERVICIO

Descripción Representa aquellas medidas que muestran la calidad de servicio prestado por una empresa.

Campos Nombre Tipo Escala –

Precisión

Id_Empresa Number - No - Id_Periodo Number - No - Cantidad_Revisio nes_Exitosas Number - No - Cantidad_Revisio nes_NoExitosas Number - No - Tiempo_Promedi o_Revision Number - No - Cantidad_Indice_ Indisponibilidad Number - No - Tiempo_Promedi o_Indisponibilida d Number - No - Cantidad_Suspen ciones Number - No -

(37)

Nombre Tabla FACT_CLIENTE

Descripción Representa las medidas que describen las actividades de los clientes de las empresas competidoras.

Id_Empresa Number - No - Id_Periodo Number - No - Id_Mercado Number - No - Cantidad_Cliente s Number - No - Consumo Number (10,2) No - Valor_Consumo Number - No - Tarifa Number - No -

Tabla 12. Campos Tabla Cliente

Nombre Tabla DIM_MERCADO

Descripción Representa los mercados (conjunto de clientes) de las empresas competidoras.

– Precisión

Id_Mercado Number - No -

Tipo_Mercado Varchar2 12 CHAR No -

Des_Mercado Varchar2 10 CHAR No -

Ubicación Varchar2 15 CHAR No -

Tabla 13. Campos Tabla Mercado

Nombre Tabla FACT_SALDO_DISPUTA

Descripción Representa las medidas que describen los casos de saldos en disputa presentados por las empresas competidoras.

Id_Empresa Number - No - Id_Periodo Number - No - Id_Mercado Number - No - Cantidad_SD Number - No - Valor_Total_SD Number - No - Tiempo_Promedi o_Solucion Number - No -

Tabla 14. Campos Tabla Saldo Disputa

Nombre Tabla DIM_LOCALIZACION

(38)

– Precisión

Id_Localizacion Number - No -

Departamento Varchar2 112 CHAR No -

Municipio Varchar2 50 CHAR No -

Tabla 15. Campos Tabla Localización

Nombre Tabla DIM_CAUSAL

Descripción Representa los tipos de causas o motivos de la presentación de reclamos por parte de los clientes de las empresas competidoras.

Id_Causal Number - No -

Causal Varchar2 95 CHAR No -

Tramite Varchar2 74 CHAR No -

Tabla 16. Campos Tabla Causal

Nombre Tabla DIM_ESTADO_RESPUESTA

Descripción Representa los tipos de respuesta que pueden ser asignados a los reclamos presentados por los clientes de empresas competidoras.

Id_Respuesta Number - No -

Tipo_Respuesta Varchar2 44 CHAR No -

Tabla 17. Campos Tabla Estado Respuesta

Nombre Tabla FACT_RECLAMO

Descripción Representa las medidas que describen el comportamiento de los reclamos presentados ante las empresas competidoras.

Id_Localizacion Number - No - Id_Causal Number - No - Id_Estado_Respu esta Number - No - Id_Periodo Number - No - Id_Empresa Number - No - Cantidad_Radica dos Number - No -

(39)

6.3 Definición de estrategia de gestión del cambio

Para cada tabla de dimensión se adaptaron un grupo de técnicas (de slowly changing dimension) que permitieran manejar los posibles cambios de los datos.

Tabla de Dimensión Estrategia del cambio

DIM_EMPRESA

En esta tabla se manejan las técnicas tipo 2 y tipo 3, con las cuales se captura el cambio en una nueva fila y se agregar una nueva columna para rastrear el valor activo del campo. Los campos que participan en esta estrategia son: Nombre_Empresa y Tipo_Servicio.

DIM_PERIODO

En esta tabla se maneja la técnica tipo 1. Los campos que participan en esta estrategia son: Año y Des_Periodo.

DIM_MERCADO

En esta tabla se manejan las técnicas tipo 2 y tipo 3, con las cuales se captura el cambio en una nueva fila y se agregar una nueva columna para rastrear el

valor activo del campo. Los campos que participan en esta estrategia son: Tipo_Mercado, Ubicación.

DIM_LOCALIZACION

En esta tabla se manejan las técnicas tipo 2 y tipo 3 de igual manera que algunas de las tablas anteriores. Los campos que participan en esta estrategia son: Departamento, Municipio.

DIM_CAUSAL

En esta tabla se manejan las técnicas tipo 2 y tipo 3 de igual manera que algunas de las tablas anteriores. El campo que participa en esta estrategia es: Causal. DIM_CASO_SUPER En esta tabla se maneja la técnica tipo 1. El campo

que participa en esta estrategia es: Tipo_Mercado.

DIM_RESPUESTA

En esta tabla se maneja la técnica tipo 2 y 3. El campo que participa en esta estrategia es: Respuesta.

(40)

6.4 Definición de estrategia de índices Índices de tablas de Dimensión

Los índices diseñados para este tipo de tabla se describen a continuación.

Nombre Índice Campo al cual hace

referencia Tabla

Tipo de Índice

ID_EMPRESA ID_EMPRESA DIM_EMPRESA Único

ID_PERIODO ID_PERIODO DIM_PERIODO Único

ID_LOCALIZACION ID_LOCALIZACION DIM_LOCALIZACION Único

ID_CAUSAL ID_CAUSAL DIM_CAUSAL Único

ID_RESPUESTA ID_RESPUESTA DIM_ESTADO_RESPUESTA Único

ID_MERCADO ID_MERCADO DIM_MERCADO Único

DIM_EMPRESA_TIPO_MERCADO TIPO_SERVICIO DIM_EMPRESA BTree

Tabla 20. Índices Tablas Dimensión

Índices en tablas de Hechos

Los índices diseñados para este tipo de tabla se describen a continuación.

Nombre Índice Campo al cual hace

referencia Tabla

Tipo de Índice FACT_CLIENTE_EMPRESA_BIX ID_EMPRESA FACT_CLIENTE Bitmap FACT_CLIENTE_MERCADO_BIX ID_MERCADO FACT_CLIENTE Bitmap FACT_CLIENTE_PERIODO_BIX ID_PERIODO FACT_CLIENTE Bitmap FACT_RECLAMO_EMPRESA_BIX ID_EMPRESA FACT_RECLAMO Bitmap FACT_RECLAMO_CAUSAL_BIX ID_CAUSAL FACT_RECLAMO Bitmap FACT_RECLAMO_LOCAL_BIX ID_LOCALIZACION FACT_RECLAMO Bitmap FACT_RECLAMO_PERIODO_BIX ID_PERIODO FACT_RECLAMO Bitmap FACT_RECLAMO_RESPUESTA_BIX ID_RESPUESTA FACT_RECLAMO Bitmap

Tabla 21. Índices Tablas de Hechos

6.5 Definición de estrategia de particionamiento

Dado al alto volumen de datos que se almacenan en las tablas de hechos es permisible definir particiones que faciliten la administración y acceso a subconjuntos de datos de forma rápida y eficaz, a la vez que se mantiene la integridad de la colección de datos.

Se utiliza el tipo de particiones por rangos, el cual mapea filas a particiones basadas en el rango de valores de una o varias columnas, este tipo es útil si los datos tienen rangos lógicos en los que pueden ser distribuidos. El método de particionamiento utilizado consiste en crear particiones en las tablas de hechos basadas en la llave foránea referente a la dimensión Periodo (DIM_PERIODO), la cual permite generar

(41)

subconjunto de datos enfocados en el tiempo, en los cuales se hace distinción de datos basados en el año al cual pertenecen las medidas.

6.6 Detalles de Base de Datos  Gestión de usuarios

Para el acceso a la base de datos se definieron los siguientes parámetros:

Usuario ATENEA Contraseña TGic2013 Tabla 22. Usuarios DB  Esquema Base de datos

Para obtener consultar el esquema definido ver archivo Base de Datos ATENEA.sql

7. Vista de Diseño de Data Staging

(42)

EXTRACCIÓN

Data Cleaning Son archivos de extensión .csv que contienen espacios en blanco, y formatos con datos no

deseados.

Reconstrucción Son archivos de extensión .csv y .xls que deben procesarse en el ETL.

TRANSFORMACIÓN

Data Cleaning Se limpian los espacios en blanco, y los datos no deseados dejándolos en un nuevo archivo .xls. Reconstrucción Divide, convierte, da formatos, decodifica campos,

fusiona información, filtra duplicados e integra los datos dejando los datos en archivos de extensión

.xls.

CARGA

Data Mart Carga, anexa, y actualiza directamente en la base de datos.

7.1 Documentación de campos

A continuación se especifica cada uno de los campos que posee los archivos extraídos de los sistemas fuentes para realizar el proceso de ETL.

Nombre proceso: Empresas

Descripción: Archivos .xls con la información correspondiente a las empresas. Campos:

Empresa Tipo

String String

Tabla 23. Campos archivo empresas

Nombre proceso: Reclamos

Descripción: Archivos .csv con la información correspondiente a los reclamos de cada empresa. Campos

(43)

String String String String String String BigDecimal Tabla 24. Campos archivo reclamos

Nom bre proc eso: Clientes Desc ripci ón

Archivos .csv con la información correspondiente a los clientes de cada empresa.

Campos Emp resa Vari able Cal cula da Estra to 1 Estra to 2 Estra to 3 Estra to 4 Estra to 5 Estra to 6 Total Reside ncial Indu strial Com ercia l Ofici al Otro s Total No Residenc ial Strin g Stri ng BigD ecim al BigD ecim al BigD ecim al BigD ecim al BigD ecim al BigD ecim al BigDec imal BigD ecim al BigD ecim al BigD ecim al BigD ecim al BigDeci mal

Tabla 25. Campos Archivo clientes

Para ver la descripción de campos de las fact tables y las dimensiones diríjase a la sección 5. Vista de Modelo dimensional.

7.2 Definición del proceso de extracción y limpieza  Extracción y limpieza del modelo de Clientes

Para la extracción de los datos correspondientes al modelo de Clientes se diseñó un proceso a partir de los componentes de la herramienta Talend, éste se muestra a continuación.

(44)

Ilustración 16. Diagrama Extracción y limpieza Clientes

Componentes Función

tFileList Itera sobre los documentos de tipo csv, ubicados en un directorio específico.

tFileInputDelimited Esquema del formato del archivo que contiene los datos de los Clientes.

tUnite Se encarga se concatenar los datos de los diferentes archivos entrantes.

tFilterRow Realiza filtros de datos realizando la limpieza de aquellos que son requeridos y aquello que no lo son. tFileOutputExcel Archivos de salida que contienen los datos extraídos

y limpiados en el proceso.

Tabla 26. Descripción proceso extracción y limpieza Clientes

 Extracción y limpieza del modelo de Reclamos

(45)

tFileInputDelimited Esquema del formato del archivo que contiene los datos de los Reclamos.

tFilterRow Realiza filtros de datos realizando la limpieza de aquellos que son requeridos y aquello que no lo son. tFileOutputExcel Archivos de salida que contienen los datos extraídos

y limpiados en el proceso. Tabla 27. Descripción proceso extracción y limpieza Reclamos

 Extracción, transformación y carga de Empresas

Ilustración 18. Diagrama Extracción, transformación y limpieza Empresas

tFileInputExcel Esquema del formato del archivo que contiene los datos de las Empresas.

tUniteRow Controla el ingreso de datos duplicados. tMap Realiza el mapeo del archivo de entrada a la base de

datos.

DIM_EMPRESA Tabla de la base de datos.

(46)

- Métodos de acceso a fuentes: Debido a que la información que se suministra al sistema está expuesta al público directamente en las páginas oficiales de los entes regulatorios no habrá sanciones legales ni limitaciones de la información pública.

7.3 Definición proceso de transformación

En la transformación se buscó cambiar los datos de origen en los formatos exactos y estructuras apropiadas para el almacenamiento en el data mart. Los pasos que se siguieron para realizar este proceso son:

I. Selección, división y unión de campos necesarios para convertir los datos en información estratégica.

II. Conversión, la cual consiste en estandarizar los campos para hacer los datos útiles. III. Revisiones de formato, correspondientes a cambios de tipos de datos, y longitudes.

El uso de la herramienta nos permitió mejorar la eficiencia y precisión. A continuación se especifica el proceso que se llevó a cabo para la transformación de los archivos de Clientes y Reclamos:

 Transformación de Clientes

(47)

tFileInputExcel Archivo fuente de Clientes.

tMap

Mapea los datos del archivo fuentes en varios archivo de Excel, donde cada uno de estos representa una ramificación de los tipos de mercado.

tUniqRow Controla el ingreso de registros no duplicados. tFileOutputDelimited Archivo con la lista de empresas.

tFileOutputExcel Archivo Excel con los datos de los clientes pertenecientes a una ramificación del mercado. Tabla 29. Descripción proceso transformación Clientes

Ilustración 20. Diagrama Transformación Clientes (parte 2)

tFileInputExcel Archivo Excel con los datos de los clientes pertenecientes a una ramificación del mercado.

tMap

Mapea los datos del archivo de entrada en varios archivo de Excel, agrupando según el dato del campo de la variable calculada.

tFileOutputExcel

Archivo Excel con los datos de los clientes pertenecientes a una ramificación del mercado según una variable calculada.

(48)

Tabla 30. Descripción proceso transformación clientes (parte 2)

Ilustración 21. Diagrama consolidación de archivos

En la anterior ilustración se muestra la consolidación de los archivos agrupados anteriormente.

7.3 Definición proceso de carga

Este proceso está definido por dos etapas:

I. Carga inicial: Momento en el que se aplica todos los datos desde el archivo fuente.

II. Añadir: Momento en que se agrega incondicionalmente datos entrantes, preservando los datos existentes en la tabla de destino.

La estrategia que se llevó a cabo en la implementación fue el mapeo de campos desde los archivos transformados hacia las dimensiones y las fact tables.

(49)

- Carga Clientes

Ilustración 22. Diagrama Carga Clientes

En este proceso se mapea los datos transformados de los Clientes en el formato deseado, para llevarlos a las tablas de almacenamiento correspondientes.

- Carga Reclamos

(50)

En este proceso se mapea los datos transformados de los Reclamos en el formato deseado, para llevarlos a las tablas de almacenamiento correspondientes.