• No se han encontrado resultados

Laguna de datos en acción: Análisis de loop cerrado y en tiempo real de Hadoop

N/A
N/A
Protected

Academic year: 2021

Share "Laguna de datos en acción: Análisis de loop cerrado y en tiempo real de Hadoop"

Copied!
16
0
0

Texto completo

(1)

Laguna de datos en acción: Análisis de loop

cerrado y en tiempo real de Hadoop

(2)

Enfoque completo de Pivotal

Es más que solo Hadoop

(3)

¿Por qué existe Pivotal?

Un 70 % de los

datos generados

por los clientes

Un 80 % de los

datos se

almacena

Un 3 % se

prepara para

análisis

Un 0.5 % se

está analizando

Menos de un 0.5 %

en operaciones

Empresas

pioneras

Empresas

inteligentes

APROX. 20

VECES US$2.9

MIL MILLONES

APROX. 30

VECES

US$4 MIL

MILLONES

APRÓX. 7

VECES

US$290 MIL

MILLONES

APROX. 20

VECES

US$120 MIL

MILLONES

Empresas promedio

Elimine la brecha de

utilidad de los big data

(4)

El viaje hacia la empresa impulsada por los datos

Archiving

• Obtenga rentabilidad y

extienda la vida de los

sistemas existentes

• Migración de datos

Información

• Integre todos los datos

existentes para generar

información para el negocio

• Análisis de datos

Aplicaciones

• Construya aplicaciones

para asistir/tomar acciones

(automatizadas) a partir de

la información generada

• Aplicaciones impulsadas

por datos

Modelos de

negocios

• Aproveche los nuevos

datos y las nuevas visiones

para crear nuevos flujos de

ingresos

• Transformación del

negocio

Marco de

trabajo

repetible

• Plataforma para

experimentar la innovación

y los modelos de datos

impulsados por datos

• Plataforma de

experimentación

Laguna de datos

Plataforma como servicio

Administrador

Líderes de TI

Líder del negocio

ejecutivo

Director

P

ASOS

TE

C

N

OL

OGÍ

A

DE

ST

IN

O

(5)

Empresa impulsada por los datos:

más difícil de lo que parece

Operacionalización

Recopilación Sintetización Interfaz Procesamiento

Análisis

Transacciones

Operacionalización

Recopilación Sintetización Interfaz Procesamiento

Análisis

Transacciones

Operacionalización

Recopilación Sintetización Interfaz Procesamiento

Análisis

Transacciones

En tiempo real

Casi en tiempo real

Lote

Enrutamiento de llamadas predictivo,

predicción de fraudes, precios dinámicos,

recomercialización, análisis del flujo

Diseños de modelos de análisis,

análisis de transacciones, análisis de

tendencias

ETL, archiving, tendencias, trabajos

mensuales y semanales

(6)

Empresa impulsada por los datos:

imposible en sistemas aislados

Finanzas

Fabricación

Marketing

TI

Un crecimiento de datos

superior al 60 % desborda

(7)

Arquitectura de Pivotal Business Data Lake

Administración centralizada

Monitoreo

del sistema

Administración

de sistemas

Nivel de almacenamiento de datos

unificados

Servicios de

admón. de datos

MDM

RDM

Admón. de

políticas y

auditorías

Nivel de procesamiento

Administración de flujos de trabajo

Nivel de sintetización

Almacenamiento HDFS

Datos estructurados y no estructurados

En la memoria

Base de datos MPP

Orígenes

unificados

Acciones

flexibles

Recopilación

en tiempo real

Recopilación

de microlotes

Recopilación

de lotes

Información

en tiempo real

Información

interactiva

Información

de lotes

(8)

Centro de la laguna de datos de Pivotal HD

HDFS

HBase

Pig, Hive,

Mahout

Map

Reduce

Sqoop

Flume

Flujo de

trabajo y

administración

de recursos

YARN

ZooKeeper

Apache

Pivotal

Command

Center

Configuración,

implementación,

monitoreo,

administración

Spring XD

Pivotal HD

Enterprise

Spring

Marco de

trabajo de

ampliación

Servicios

de catálogo

Optimizador

de consultas

Canalización dinámica

ANSI SQL + análisis

HAWQ:

servicios de

base de datos avanzados

Área de almacenamiento en la memoria distribuida Transacciones de consulta Procesamiento de recopilación

Driver de Hadoop:

en paralelo con compactación

ANSI SQL + En la memoria

Pivotal GemFire XD:

servicios de base de datos en

tiempo real

Algoritmos de MADlib

Oozie

Extensiones

virtuales

GraphLab,

Open MPI

(9)

Valor de Pivotal HD

Optimizador de consultas basado en

costos

Cumplimiento de las normas ANSI SQL

Escalabilidad lineal incremental en

hardware COTS

Consultas de OLAP de análisis

exhaustivo

Administración y almacenamiento de

petabytes de datos

Tracciones y actualizaciones de baja

latencia

Eventos particionados en el lugar con

datos

Implementación activa-activa en WAN

OLAP

OLTP

SQL

(10)

Laguna de datos en acción

Análisis de loop cerrado en tiempo real con Pivotal HD

+

Simulación de Monte Carlo

de datos históricos

Gran

cantidad

datos activos

Rápidos

Datos del

mercado

Operaciones/

Ofertas

Umbral

de detección

Enviar corrección

Volver a calcular modelo

Desarrollo de modelo adaptable

en función de tendencias a

largo plazo

Puntuación de modelo en

(11)

El escenario del ayer

Tipo de aplicación

Base de datos

Sistema de archivos

distribuido Hadoop

Motor de consultas paralelas

Cuadrícula de datos en la

memoria para Hadoop

Cuadrícula de datos en la

memoria con capa de SQL

Cuadrícula de datos en la

memoria

Métrica de precios

Componente

de

Pivotal

Almacenamiento de datos:

terabytes

en niveles

Nodos

Nodos

Por definir

CPU y complementos

con restricciones

CPU y complementos

con restricciones

1

3

4

2

5

6

Greenplum DB

Pivotal HD

HAWQ

GemFire XD

SQLFire

GemFire

(12)

El escenario actual

Tipo de aplicación

Greenplum DB

Base de datos

Pivotal HD

Sistema de archivos

distribuido Hadoop

HAWQ

Motor de consultas paralelas

Cuadrícula de datos en la

memoria para Hadoop

SQLFire

Cuadrícula de datos en la

memoria con capa de SQL

GemFire

Cuadrícula de datos en la

memoria

Métrica de precios:

Componente

de Pivotal

Número

SKU

1

3

4

2

5

6

Unidad de

medida

Precio

GemFire XD*

(13)

Expertos líderes del mundo

Pivotal Labs – Pivotal Data Labs

Servicios según demanda

Pivotal Data Dispatch

LOTE

LOTE

CASI EN

TIEMPO REAL

CASI EN

TIEMPO REAL

HAWQ

Greenplum DB

Pivotal HD

EN TIEMPO

(14)

Modelo de centrado en el cliente

PIVOTAL HD ILIMITADO INCLUIDO

Solo

software

Basado

en cores

Basado

en suscripción

Licencias

flexibles

Incentivos

para clientes

(15)

¿Cómo funciona esto en la práctica?

Use la información

para mejorar su

producto de manera

iterativa

Cree la aplicación

correcta

Limpie, organice y

administre su laguna de

datos

Ponga a disposición las

herramientas adecuadas

Use los recursos de

manera inteligente para

computar, analizar y

comprender los datos

Recopile datos de

manera obsesiva

Almacenamiento

indefinido

Coloque los datos en

un lugar

Analice cualquier

cosa

Almacene

todo

(16)

Referencias

Documento similar