• No se han encontrado resultados

La tecnología detrás del Big Data

N/A
N/A
Protected

Academic year: 2021

Share "La tecnología detrás del Big Data"

Copied!
18
0
0

Texto completo

(1)

www.bsc.es

La tecnología detrás

del Big Data

Mario Macías, PhD

Autonomic Systems and e-Business Platforms

http://www.xaas.guru

(2)

“El Big Data es como el sexo para los

adolescentes:

todos hablan de ello,

nadie sabe del todo cómo funciona,

todos piensan que los demás lo hacen

todos dicen practicarlo”

Alguien en internet

La tecnología detrás del Big Data. Mario Macías. www.xaas.guru

De dónde venimos

La tecnología detrás del Big Data. Mario Macías. www.xaas.guru

Autor: René Descartes

Título: El Discurso del Método

Editorial: AKAL

Año:

2007

Nº de páginas: 96 págs.

Encuadernación: Tapa blanda

ISBN:

9788446027898

Lengua: Castellano

Localización: Filosofía 3.14(16)

Autor: René Descartes

Título: El Discurso del Método

Editorial: AKAL

Año:

2007

Nº de páginas: 96 págs.

Encuadernación: Tapa blanda

ISBN:

9788446027898

Lengua: Castellano

Localización: Filosofía 3.14(16)

Referencia

Integridad

Referencial

Integridad

Referencial

(3)

Si esto es una base de datos…

La tecnología detrás del Big Data. Mario Macías. www.xaas.guru

(4)

Trabajando con datos relacionales

La tecnología detrás del Big Data. Mario Macías. www.xaas.guru

Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: ….

Trabajando con MUCHOS datos relacionales

(5)

Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: ….

Trabajando con MUCHOS datos relacionales

Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: ….

Paralelismo

(6)

Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: ….

Trabajando con DEMASIADOS datos relacionales

La tecnología detrás del Big Data. Mario Macías. www.xaas.guru

Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: …. Autor: …. Titulo: … Editorial: … Localizacion: ….

LÍMITE DE LA ESCALABILIDAD

“Tenemos un problema

de Big Data cuando el

tamaño de los datos es

un problema”

(7)

Antes: almacén de datos

La tecnología detrás del Big Data. Mario Macías. www.xaas.guru

Ahora: caja de arena

vertedero de datos

• Redes sociales: fotos, comentarios,

“me gusta”, #hashtags…

• Agregadores de noticias, agencias de

información, “Open Data”…

• Ciudades sensorizadas: “Smart cities”

• Dispositivos móviles

(y un largo etcétera…)

• Redes sociales: fotos, comentarios,

“me gusta”, #hashtags…

• Agregadores de noticias, agencias de

información, “Open Data”…

• Ciudades sensorizadas: “Smart cities”

• Dispositivos móviles

(8)

Datos estructurados

La tecnología detrás del Big Data. Mario Macías. www.xaas.guru

Autor: René Descartes

Título: El Discurso del Método

Editorial: AKAL

Año:

2007

Nº de páginas: 96 págs.

Encuadernación: Tapa blanda

ISBN:

9788446027898

Lengua: Castellano

Localización: Filosofía 3.14(16)

Autor: René Descartes

Título: El Discurso del Método

Editorial: AKAL

Año:

2007

Nº de páginas: 96 págs.

Encuadernación: Tapa blanda

ISBN:

9788446027898

Lengua: Castellano

Localización: Filosofía 3.14(16)

Datos desestructurados

(9)

¿Cómo sacar información de los datos

desestructurados?

(10)

La tecnología detrás del Big Data. Mario Macías. www.xaas.guru

Los datos solo son datos

La tecnología detrás del Big Data. Mario Macías. www.xaas.guru

• Visión artificial

• Inteligencia artificial – “Machine

learning”

• Reconocimiento y procesamiento de

voz

• Etc…

• Visión artificial

• Inteligencia artificial – “Machine

learning”

• Reconocimiento y procesamiento de

voz

(11)

Big Data =

Muchos datos: “Big”

Limitaciones de tiempo

Límites de escalabilidad

Diversas fuentes

Desestructuración

Multidisciplinaridad

La tecnología detrás del Big Data. Mario Macías. www.xaas.guru

www.bsc.es

Las tecnologías detrás

del Big Data: algunas

(12)

Una pila de software para el Big Data

La tecnología detrás del Big Data. Mario Macías. www.xaas.guru

Sistema de ficheros distribuido

Sistema de ficheros distribuido

Sistema de ficheros

Un sistema de ficheros organiza cómo los datos están

guardados en una unidad de almacenamiento

La tecnología detrás del Big Data. Mario Macías. www.xaas.guru

txt

txt

jpg

jpg

mp3

mp3

Archivo gigantísimo

(13)

La tecnología detrás del Big Data. Mario Macías. www.xaas.guru

Archivo gigantísimo

Archivo gigantísimo

Arc

Arc

hiv

hiv

o g

o g

iga

iga

ntí

ntí

sim

sim

oo

Una pila de software para el Big Data

Sistema de ficheros distribuido

Sistema de ficheros distribuido

Modelo de programación

Modelo de programación

Map Reduce

Map Reduce

(14)

La tecnología detrás del Big Data. Mario Macías. www.xaas.guru

¿Cuántas veces se repite la palabra “pelota” según el

año?

(15)

Paso 1. Dividir el trabajo

La tecnología detrás del Big Data. Mario Macías. www.xaas.guru

Paso 2. Map

Año Libro

Apariciones

1920

15

1950

22

1955

33

1958

32

1960

40

Año Libro

Apariciones

1923

12

1950

20

1954

30

Decenas

de tablas

Algunas

contienen

datos

sobre los

mismos

años

Decenas

de tablas

Algunas

contienen

datos

sobre los

mismos

años

(16)

Paso 3. Reduce

La tecnología detrás del Big Data. Mario Macías. www.xaas.guru

Año Libro

Apariciones

1920

15

1950

22

1955

33

1958

32

1960

40

Año Libro

Apariciones

1923

12

1950

20

1954

30

1958

29

1959

35

Año Libro

Apariciones

1920

15

1950

42

1954

30

1955

33

1958

61

1959

35

1960

40

Map/Reduce. Visión general

La tecnología detrás del Big Data. Mario Macías. www.xaas.guru

Dat

o

s

Dat

o

s

DD

aa

ss

oo

tt

Map

Reduce

Map

Reduce

Planificador

(Scheduler)

Planificador

(Scheduler)

(17)

Una pila de software para el Big Data

La tecnología detrás del Big Data. Mario Macías. www.xaas.guru

Sistema de ficheros distribuido

Sistema de ficheros distribuido

Modelo de programación

Modelo de programación

Capa de abstracción

Capa de abstracción

(18)

www.bsc.es

¡Gracias por tu

atención!

Mario Macías, PhD

Autonomic Systems and e-Business Platforms

Referencias

Documento similar

If certification of devices under the MDR has not been finalised before expiry of the Directive’s certificate, and where the device does not present an unacceptable risk to health

In addition to the requirements set out in Chapter VII MDR, also other MDR requirements should apply to ‘legacy devices’, provided that those requirements

The notified body that issued the AIMDD or MDD certificate may confirm in writing (after having reviewed manufacturer’s description of the (proposed) change) that the

En estos últimos años, he tenido el privilegio, durante varias prolongadas visitas al extranjero, de hacer investigaciones sobre el teatro, y muchas veces he tenido la ocasión

Para ello, trabajaremos con una colección de cartas redactadas desde allí, impresa en Évora en 1598 y otros documentos jesuitas: el Sumario de las cosas de Japón (1583),

Sanz (Universidad Carlos III-IUNE): "El papel de las fuentes de datos en los ranking nacionales de universidades".. Reuniones científicas 75 Los días 12 y 13 de noviembre

Análisis de las características, herramientas, tecnologías y estándares relacionados con Big Data. Sectores que implementan en la actualidad soluciones Big Data en sus

En el siguiente apartado y posteriores incorporamos el sector turístico como objetivo de la gestión del Big Data, el turismo es una rama principal en la economía de nuestro país y