La integración de información. Presente y futuro de la empresa moderna

(1)

“La integración de

información. Presente y

futuro de la empresa

moderna”

Ing. Josue Carralero Iznaga, MSc.

ISPJAE, Facultad de Ingeniería Informática, Departamento de Ingeniería de Software.

Complejo de Investigaciones Tecnológicas Integradas (CITI), Jefe del Programa de Investigación “Informática

Aplicada”.

(2)

Objetivos

Ofrecer un recorrido por las distintas técnicas y las

tecnologías fundamentales que se emplean para lograr el tratamiento integral de la información en la empresa moderna.

(3)

Agenda de trabajo

ü La empresa moderna (situación actual, estado

deseado),

ü Los niveles de integración de información,

ü Arquitectura para la integración de información

(Técnicas y tecnologías) y

(4)

Llegamos a situaciones

donde no sabemos

si gritar o correr!!!

La empresa moderna

Situación actual

(5)

Toma de decisiones Empresa integrada

Portal Desktop B2B _Móviles

Sistemas operacionales Trabajo disperso

La empresa moderna

(6)

Dpto 5 Dpto n Dpto 4 Dpto 2 Dept 3 Dpto 1 Sistemas operacionales Trabajo disperso

La empresa moderna

(7)

Dpto 5 Dpto n Dpto 4 Dpto 2 Dept 3 Dpto 1 Sistemas operacionales Trabajo disperso Imágenes unificadas de datos Procesos de negocio traducidos en tecnología

La empresa moderna

Estado deseado

(8)

¿Como llegar al estado

deseado?

(9)

Integración de información

Definición

“…La integración de información es la combinación de información de diversas fuentes con diferentes representaciones conceptuales y contextuales…”

(10)

Interacci ón del usuario Datos Aplicacione s Procesos de negocios

Integración de información

Niveles

(11)

Interacci ón del usuario Datos Aplicacione s Procesos de negocios Vista unificada de los datos (Bajo costo de implementación)

Integración de información

Niveles (Datos)

(12)

Vista unificada de las aplicaciones de negocio

a través del manejo y coordinación del flujo

de eventos (transacciones, mensajes o datos) entre las aplicaciones

Integración de información

Niveles (Aplicaciones)

(13)

Vista unificada de los procesos de negocio de la

organización (rompe con la visión departamental,

conocimiento de los procesos de la empresa)

Integración de información

(14)

Interfaz que permite a los usuarios tener acceso a la información integrada y

además colaborar y compartir datos

Integración de información

Niveles (Interacción del usuario)

(15)

Arquitectura de la integración

Capas

ü Las técnicas constituyen enfoques conceptuales

que definen el proceso de integración de datos,

ü Las tecnologías implementan una o varias

técnicas de integración de datos y definen como se realiza el proceso de integración,

ü Las herramientas son soluciones comerciales que

soportan una o varias técnicas o tecnologías y

ü Las aplicaciones de la empresa son construidas a

la medida de las necesidades, soportadas por las herramientas.

(16)

Tecnología datos distribuid os Propagación de datos Tecnología datos centralizado s Consolidación de datos Tecnología vista virtual de los datos Federación de datos Captura de los cambios en los datos

Arquitectura de la integración

Técnicas (Vistazo)

(17)

Tecnología

Consolidación de datos

Arquitectura de la integración

Técnica “Consolidación de datos”

(Características)

ü Captura la información de las

diferentes fuentes de datos y la

almacena en un único

repositorio central,

ü Existe un retraso, o latencia, en

cuanto a la actualización de la información y

ü Permite que “grandes

volúmenes de datos” sean

transformados,

reestructurados, limpiados

cuando viajan hacia las fuentes de datos destino.

(18)

Tecnología

Federación de datos

Arquitectura de la integración

Técnica “Federación de datos”

ü Provee una vista virtual única

de la información que es

recuperada de diferentes

fuentes de datos. Empleo de metadatos,

ü El acceso a los datos es en

tiempo real ya que los mismos se mantienen en su lugar de origen y

ü No permite recuperar grandes

volúmenes de datos y realizar grandes transformaciones a los mismos.

(19)

Tecnología

Propagación de datos

Arquitectura de la integración

Técnica “Propagación de datos”

ü Distribución de datos de una o varias fuentes de

datos a otros,

ü Permite que “grandes volúmenes de datos” sean

movidos de un sistema a otro y

ü Se emplean varios métodos que determinan el

(20)

Arquitectura de la integración

Técnica “Propagación de datos” (Métodos de intercambio)

ü Extracción de la carga: se extrae la totalidad de

los datos, los cuales son transportados a la fuente de datos destino,

ü Comparación de archivos: compara los datos

extraídos con los de la versión anterior; se crea un registro de cambios incrementales que son aplicados como actualizaciones al servidor de destino y

ü Propagación de datos modificados: se un archivo

de cambios incrementales para almacenar los cambios capturados. Capturar los cambios tal y como ocurrieron es usualmente más eficiente que comparar versiones de un archivo.

(21)

Arquitectura de la integración

Técnica “Captura de los cambios en los datos (CDC)”

ü Estrategia de integración de datos para

determinar los datos que han sido cambiados, está basada en la identificación, captura y entrega de los cambios,

ü Sin CDC, todos los datos deben ser accedidos en

y movidos a la fuente que lo necesite,

ü Existen dos variantes fundamentales: Orientada a

Lotes (Pull) y Orientada a Tiempo Real (Push) y

ü Utiliza varios métodos para localizar y capturar

los datos que han sido cambiados: Time-stamp

(marca de tiempo), Números de versiones,

(22)

Tecnología datos distribuid os Propagación de datos Tecnología datos centralizado s Consolidación de datos Tecnología vista virtual de los datos Federación de datos Modelo integrado de información (Enfoque híbrido) Captura de los cambios en los datos

Arquitectura de la integración

Técnicas (Resumen) •Grandes volúmenes de datos y

• Los datos son movidos

(23)

Arquitectura de la integración

Tecnologías (Vistazo)

ü Extraer, Transformar y Cargar (Extract, Transform

, Load, ETL),

ü Integración de Información Empresarial

(Enterprise Integration Information, EII),

ü Integración de Aplicaciones Empresariales

(Enterprise Application Integration, EAI),

ü Gestión de Contenido Empresarial (Enterprise

Content Management, ECM),

ü Replicación de Datos Empresariales (Enterprise

Data Replication, EDR),

ü Servicios Web y

ü Bus de Servicios Empresariales (Enterprise

(24)

Arquitectura de la integración

Tecnología “ETL” (Definición)

“…proceso que organiza el flujo de los datos entre diferentes sistemas en una organización y aporta los métodos y herramientas necesarias para mover datos desde múltiples fuentes, reformatearlos, limpiarlos y cargarlos en un repositorio destino. El repositorio destino debe estar preparado para soportar el proceso de carga por parte de la herramienta ETL. Esta tecnología soporta la técnica de consolidación de datos…”

(25)

Arquitectura de la integración

Tecnología “ETL” (Arquitectura)

Diferentes fuentes de datos

E Com bin ar Lim piar Org aniz ar Opt imiz ar Proc es ar

BI, Cuadros de mando, Reportes, Alertas

Repositorio destino

L

(26)

Arquitectura de la integración

Tecnología “EII” (Definición)

“…permite visualizaciones federadas (vistas

virtuales) de la información existente en sistemas dispersos y heterogéneos (Bases de datos, documentos XML, aplicaciones Web, etc.), sin la necesidad previa de mover físicamente los datos hasta un repositorio centralizado. Esta tecnología

(27)

Todo tipo de Fuentes de Información

Arquitectura de la integración

Tecnología “EII” (Arquitectura)

____ ____ ____ ____ _ _ Wrapper Ficheros Planos _ _ Wrapper Web <HTM L> _ _ Wrapper Web Services XML

e

Repositorio Virtual Cac_hé

_{Modelo Unificado}

Vistas

JDBC API _{WS (XML)} Nuevas aplicaciones EII

_ _ _ Metadatos Base de Datos Wrapper Modelo de datos exportado

(28)

Arquitectura de la integración

Tecnología “ECM” (Definición)

“…permite la integración de datos no

estructurados, se centra en la gestión de los documentos, información de la Web, y multimedia relacionados con los procesos de una organización. Proporciona la gestión de metadatos, control de versiones, plantillas y flujo de trabajo. Permite centralizar la información en un solo lugar y sobretodo mejorar la toma de decisiones. Esta

tecnología soporta la técnica de consolidación de

(29)

Arquitectura de la integración

Tecnología “EDR” (Definición)

“…permite la transferencia de datos entre base de datos; capta los cambios que ocurren en una base de datos y los propaga hacia otra. Se utiliza no sólo para la integración de datos, sino también para salvas y recuperación de bases de datos. Esta

tecnología soporta las técnicas de CDC y

(30)

Arquitectura de la integración

Tecnología “EAI” (Definición)

“…permite conectar entre sí aplicaciones, tanto adquiridas como de desarrollo propio, con el fin de que puedan apoyar mejor un determinado proceso de negocio. Esta tecnología soporta la técnica de

(31)

Arquitectura de la integración

Tecnología “EAI” (Antecedentes)

Comunicación Punto a Punto Aplicació n C Aplicació n A Aplicación B Desventajas de la Comunicación Punto a Punto

ü Incremento del número de

conexiones a medida que se incorporan aplicaciones,

ü Requiere desarrollo de

funciones complejas para comunicación,

transformaciones, etc.,

ü No hay gestión ni visibilidad

de los procesos de negocio y

(32)

Arquitectura de la integración

Tecnología “EAI” (Características)

ü Comunicación basada en mensajes con

posibilidades de: Almacenar

Transformar Enrutar

Entrega del mensaje

ü El transporte de mensajes puede ser de forma

(33)

Arquitectura de la integración

Tecnología “EAI” (Componentes de las

soluciones)

ü Message-oriented Middleware (MOM)

(asincrónica),

ü Servidor de aplicaciones (sincrónica),

ü Adaptadores,

ü Plataforma para el desarrollo de nuevos

adaptadores,

ü Flujo de trabajo y herramientas de gestión de

procesos y

(34)

Arquitectura de la integración

Tecnología “EAI” (Arquitectura Hub/ Spoke)

Aplicació n A Adaptador A Aplicació n D Adaptador D Aplicació n E A d a p ta d o r E Aplicació n B Adap tado r B Aplicació n C Ad ap tad_o r C Servidor Intermediario de Mensajes Motor de integración

(35)

Arquitectura de la integración

Tecnología “EAI” (Arquitectura Message Bus)

Aplicació n A A d a p ta d o r A Aplicació n D A d a p ta d o r D Aplicació n E A d a p ta d o r E Aplicació n B A d a p ta d o r B Aplicació n C A d a p ta d o r C Servid or Intermedia rio de Mensajes Motor de integració n Servid or Intermedia rio de Mensajes Motor de integració n Servid or Intermedia rio de Mensajes Motor de integració n Message Bus

(36)

Arquitectura de la integración

Tecnología “Servicio Web” (Definición)

“…conjunto de protocolos y estándares abiertos

que sirven para intercambiar datos entre aplicaciones. Estas aplicaciones pueden estar desarrolladas en lenguajes de programación diferente, ejecutada desde cualquier plataforma y pueden utilizar los servicios web para intercambiar datos ya que estos son interoperables, pueden ser desarrollados en una gran variedad de lenguajes. Además de permitir la integración de aplicaciones, las funcionalidades que exponen los servicios web pueden actuar como una fuente de datos a la cual se puede acceder y extraer información en el

(37)

Arquitectura de la integración

Tecnología “ESB” (Definición)

“…solución de integración distribuida, basada en

mensajes y en estándares abiertos, que garantiza

la interconexión entre aplicaciones y servicios que

están distribuidos por toda la organización. Permite configurar lógica de enrutamiento compleja, que soporta múltiples patrones de interacción y que permite transformar el formato de los mensajes.

Esta tecnología soporta la técnica de propagación

(38)

Arquitectura de la integración

Tecnología “ESB” (Antecedentes)

(39)

Arquitectura de la integración

Tecnología “ESB” (Antecedentes -

Continuación)

(40)

Arquitectura de la integración

Tecnología “ESB” (Características)

ü Definición de servicios independientemente de su

plataforma tecnológica real,

ü Incorporan capacidad de registro de servicios,

ü Alta extensibilidad y escalabilidad,

ü Balanceo de carga, recuperación a fallos,

ü Capacidades de auditoría,

ü Colección de adaptadores y

ü Alto uso de la configuración en vez de la

(41)

ü Mensajería distribuida,

ü Transparencia de las ubicaciones,

ü Transparencia del transporte,

ü Transformación de mensaje,

ü Calidad de servicio,

ü Patrones de intercambio de mensajes,

ü Enrutamiento basado en el contenido,

ü Orquestación de servicios y

ü Seguridad.

Arquitectura de la integración

Tecnología “ESB” (Funcionalidades)

(42)

Arquitectura de la integración

Tecnología “ESB” (Estándares)

ü Estándares de Transporte: HTTP(S), FTP, SMTP,

JMS, JMX, JDBC, RPC y SOAP.

ü Estándares de Conectividad: Simple Object

Access Protocol (SOAP), Universal Description, Discovery, and Integration(UDDI), y Web Services Description Language (WSDL).

ü Estándar de Orquestación: BPEL.

ü Estándares de Portabilidad: Web Services, J2EE y

.NET.

ü Estándares de Transformación: XSLT, Xpath,

(43)

Arquitectura de la integración

Tecnología “ESB” (Beneficios)

ü Integraciones más rápidas y económicas de los

sistemas,

ü Mayor flexibilidad ante cambios,

ü Basado en estándares,

ü Servicios predefinidos que ahorran costes de

desarrollo,

ü Más configuración que código a la hora de

integrar,

ü Mayor control del sistema,

ü Reglas de negocio manejadas por analistas de

negocio y

(44)

Arquitectura de la integración

Tecnologías (Resumen)

Técnicas

Tecnologías

Consolidación Federación Propagación CDC

Extraer, Transformar y Cargar (ETL) SI NO NO NO

Integración de Información Empresarial (EII)

NO SI NO NO

Gestión de Contenido Empresarial

(ECM) SI NO NO NO

Replicación de datos Empresariales (EDR) NO NO SI SI Integración de Aplicaciones Empresariales (EAI) NO NO SI NO Servicios web SI SI SI NO

(45)

Arquitectura de la integración

Herramientas (Vistazo – Gestión de

identidades)

ü Microsoft Forefront Identity Manager 2010,

ü Novell Identity Manager 3.6.1,

ü RadiantOne VDS Context Edition y

(46)

Arquitectura de la integración

Herramienta “Microsoft FIM 2010”

(47)

Arquitectura de la integración

Herramienta “Symlabs VDS” (Arquitectura)

(48)

Arquitectura de la integración

Herramientas (Vistazo – Integración)

ü Oracle Data Service Integrator,

ü Microsoft Bistalk Server,

ü Informatica,

ü SAP NetWeaver MDM, XI, PI,

ü Talend Suite (Open Source, Consolidación,

Federación, MDM),

ü Microsoft Office Sharepoint Server 2007, 2010 y

(49)

Arquitectura de la integración

Herramientas (Gartner Group - 2009)

(50)

Dpto 5 Dpto n Dpto 4 Dpto 2 Dept 3 Dpto 1 Sistemas operacionales Trabajo disperso Imágenes unificadas de datos Procesos de negocio traducidos en tecnología Procesos de negocio Transformació n Traducción Integración BPM Workflow Aplicaciones compuestas

ES

B

La empresa moderna

Estado deseado (Conclusiones)

(51)

(52)

Todo tipo de Fuentes de Información

Arquitectura de la integración

Tecnología “EII” (Arquitectura)

____ ____ ____ ____ _ _ Wrapper Ficheros Planos _ _ Wrapper Web <HTM L> _ _ Wrapper Web Services XML

e

Repositorio Virtual Cac_hé

_{Modelo Unificado}

Vistas

JDBC API _{WS (XML)} Nuevas aplicaciones EII

_ _ _ Metadatos Base de Datos Wrapper Modelo de datos exportado

(53)

Servicio web A Repositori o UDDI Servicio web B Servicio web B

Arquitectura de la integración

Tecnología “ESB” (Funcionalidades -

(54)

Servicio web A Repositori o UDDI Servicio web B Servicio web C

Arquitectura de la integración

Tecnología “ESB” (Funcionalidades –

(55)

Servicio web A Repositori o UDDI Servicio web B Servicio web C

Arquitectura de la integración

(56)

Servicio web A Repositori

o UDDI

Servicio web B Servicio web C Servicio web D