Conceptos básicos de Big Data

(1)

Conceptos básicos de

Big Data

TRC - C/Albasanz 25. 28037 Madrid.

Este documento no podrá ser reproducido, total o parcialmente, sin el permiso expreso de TRC Informática , S.L. Madrid - Castilla y León - Galicia - Levante

(2)

www.trc.es

Madrid - Castilla y León - Galicia - Levante

Correos electrónicos, mensajes de textos, datos en formularios de Internet, vídeos, compras y

facturación online, encuestas, máquinas que hacen mediciones climatológicas o de ingeniería,

blogs, Twitter, Facebook, Tumblr... Hay demasiada información digital disponible en el mundo de

hoy. Una tormenta constante que crece y se acumula. De hecho, cada día se generan 2,5 trillones

de bytes de datos, según IBM.

¿A dónde va todo esto? ¿Qué problemas genera? ¿Tiene alguna ventaja?

Es una definición utilizada en tecnología para referirse a la información o grupo de datos que por

su elevado volumen, diversidad y complejidad no pueden ser almacenados ni visualizados con herramientas tradicionales. Las dimensiones de estos datos obligan a las empresas a buscar soluciones tecnológicas para gestionarlos, pues un buen manejo del Big Data puede representar nuevas métodos para la toma de decisiones y oportunidades de negocio. El reto consiste en saber

distinguir lo válido de lo superfluo y sacar provecho de ello.

Phillip Carter, vicepresidente asociado de la consultora IDC, define el

Big Data como: “una nueva generación de tecnologías y arquitecturas diseñadas para extraer valor económico de grandes volúmenes de datos

heterogéneos habilitando una captura, identificación y/o análisis a alta

velocidad”.

Sin duda, se trata de una tendencia tecnológica emergente con una enorme y potente capacidad transformadora dentro de las empresas.

Volumen: El tamaño de la información.

Velocidad: Incluye tanto la media de velocidad en la que llegan los datos y también el tiempo en el que se debe actuar.

Variedad: Se refiere a la heterogeneidad de los datos, su representación y su semántica. Puede ser

estructurada o no estructurada.

Privacidad: Los usuarios deben sentir confianza para suministrar la información. Las empresas

deben tener procesos estrictos para su utilización. La protección de datos debe ser una prioridad.

Veracidad: Tiene que ver con la precisión y la confianza de los datos que se manejan.

Conceptos claves asociados al Big Data

asociados al Big Data

Conceptos claves

Big Data

(3)

Madrid - Castilla y León - Galicia - Levante TRC - C/Albasanz 25. 28037 Madrid.

www.trc.es

y posibilidades

¿De dónde vienen esos datos?

Objetivos, ventajas

Objetivos, ventajas y posibilidades

esos datos?

¿De dónde vienen

La información relativa al Big Data tiene varias fuentes:

Generados por las personas a través mensajes de texto, vídeos, notas de voz. Transacción de Big Data: registros de facturación y de llamadas telefónicas.

Redes sociales y web: correos electrónicos, redes sociales, blogs y contenidos de las páginas web. Machine to machine (M2M): Son las tecnologías que comparten datos con dispositivos: medidores de temperatura, de altura, presión, química, etc que transforman información en valores.

Biométrica: los datos biométricos usados en el mundo de la seguridad e inteligencia. .

El Big Data, calificado por los expertos como uno de los

motores de la empresa digital, permite crear servicios basados en el manejo de datos, la reducción de costes y de tiempo empleado, el incremento de la productividad, un mejor posicionamiento con respecto a la competencia y valor diferencial.

No sólo se trata de diseñar nuevas y enormes bases de datos, implica sacar el mejor rendimiento a la información que se tiene.

Complejidad: Tiene que ver con transformar datos operativos en grandes plataformas de Big Data y

la dificultad que implica gestionarlos en cualquier momento y desde cualquier lugar. La información

puede ser estructurada (base de datos, transacciones, claves, columnas, registros) o no estructurada (correos electrónicos, informes, hojas de cálculo)

Con tanta información disponible en Internet, las empresas tienen que ser capaces de determinar cuándo habla su cliente y poder recoger, procesar, asimilar y gestionar esa información. Debe

preguntarse ¿Qué nos están diciendo los datos? ¿Cómo los puedo usar para obtener beneficio?.

El valor de los datos se desvela cuando se pueden relacionar con otros y se puede generar información nueva, poderosa y que proporcione nuevas oportunidades..

(4)

Análisis del Big Data

www.trc.es

Big Data

Análisis del

y posibilidades

Objetivos, ventajas

Para el correcto análisis y gestión de Big Data existen plataformas, productos y sistemas..

La información que proporciona el Big Data ayuda a las empresas a conocer el patrón de comportamiento de los clientes y del mercado, por lo que se recomienda que los gerentes diseñen planes de aplicación de Big Data.

El aprovechamiento de Big Data puede servir para apoyar las campañas y estrategias de marketing, facilitar los procedimientos de control de calidad, ayudar en la auditoría, mejorar el servicio al cliente y el cumplimiento de normativas, gestionar mejor el riesgo, etc.

Hadoop es un software de código abierto que permite el

almacenamiento y distribución de ficheros con terabytes

y pentabytes de enormes dimensiones en los que la información no necesita estar estructurada.

Es escalable, permite seleccionar los datos susceptibles a los análisis, es tolerante a fallos e impide pérdidas de información, tiene menor coste por terabyte y brinda la posibilidad de análisis paralelos complejos.

Otro muy usado es Map Reduce: es un modelo de programación utilizado para dar soporte a la computación de grupos de datos de ordenadores. Es utilizado por Google.

Big Data Analytics: es el proceso de analizar grandes cantidades de datos en tiempo real para descubrir patrones ocultos, correlaciónales, desconocidos a información útil y que así las empresas tomen mejores decisiones para incrementar la rentabilidad de su negocio...

Los programas mas utilizados son Hadoop (implementado por Google), los llamados NoSQl y los almacenes de datos MPP (Procesos Masivamente Paralelos).

(5)

Cifras de interés sobre Big Data

www.trc.es

sobre Big Data

Cifras de interés

.- Un reciente informe de la empresa consultora Gartner estima que el Big Data representará 25 mil millones de dólares del gasto en IT en 2013. Además proyecta que para el año 2015, el sector Big

Data demandará 4,4 millones de puestos de trabajo en todo el mundo (científicos de datos, analistas

de bases de datos, profesionales vinculados al Cloud Computing). También calcula que en el 2016, el 30% de las empresas comercializará la información acumulada a través del Big Data.

.- El 4,8% de las empresas españolas utiliza el Big Data. Se espera que la cifra suba hasta el 7,6% en 2013 y que constituya el 19,4% en el 2014, según un estudio elaborado por la consultora IDC en junio de 2012. En ese informe se destaca que el Big Data es una fuerte tendencia en la tecnología y que en 2010 generaba 2.561 millones de euros en todo el mundo, una cifra que en 2015 será de 13.527 millones de euros.

Adicionalmente, creen que el mercado Big Data crecerá un 40% de media anual los próximos cinco años: 27,3% en servidores, 34,2% en software y 61,4% en sistemas de almacenamiento.

- Según una encuesta de la empresa EMC divulgada a finales de 2012, el Cloud Computing y Big Data

darán lugar a nuevos roles y responsabilidades en los departamentos de TI durante los próximos tres años.

.-Según la auditora Mckinsey and Company, habrá una escasez de talento en el sector de Big Data. En el año 2018, en Estados Unidos se necesitarán entre 140.000 a 190.000 personas con profundas habilidades analíticas, así como 1,5 millones de gerentes y analistas para la gestión de grandes volúmenes de datos y la toma de decisiones efectivas.

.- El CEBR (The Center of Economics and Business Research) espera que el valor del Big Data sea de 48,7 mil millones de euros en el Reino Unido en 2017.

Casos/ Ejemplos de aplicación de Big Data

El Big Data puede aplicarse en campos tan diversos entre sí como la investigación médica, la seguridad, la administración pública, logística y relación con el cliente. Los expertos consideran que puede revolucionar la ciencia, la investigación, la educación, el planeamiento urbano, el transporte inteligente, el ahorro de energía, la conservación del medio ambiente y los sistemas de riesgo de

análisis financiero.

(6)

www.trc.es

aplicación de Big Data

Casos / ejemplos de

.-La banca puede combinar los patrones de compra y pago de sus clientes con los datos de su nómina y las posibilidades de crédito. Hacer esto a gran escala le puede generar oportunidades de negocio

para ofrecer nuevos productos financieros.

.-Empresas de telefonía observan el comportamiento de sus clientes, cómo es el contrato, cuánto pagan, cuál teléfono utilizan, cada cuánto cambian el aparato. Así pueden extraer cuál es el plan más exitoso según rangos de edad, cuál teléfono es el más popular y qué le pueden ofrecer,

.-Los grandes almacenes por departamento utilizan los datos de sus clientes para ver cuánto se ha vendido durante las rebajas, cuál producto se ha vendido más en todo el país, cuál producto debe retirarse del mercado, cuáles son las quejas de sus clientes.

.-Una empresa de agricultura puede cruzar los datos metereológicos con el funcionamiento de sus sistemas de riego y así toma la decisión de cuáles días deberá regar y con cuánta agua.

.-Un hospital puede determinar las horas críticas, las patologías con mayor reincidencia, los materiales

que se utilizan más, cómo se puede rentabilizar la utilización de los quirófanos, la eficiencia energética,

la base de datos de los pacientes y su historia médica electrónica.

.-Las empresas eléctricas puede revisar la información que le proporcionan los medidores para

verificar el consumo y la demanda, verificar las tarifas según las zonas y puede ofrecer distintos