Este apartado pretender mapear los puntos anteriores contra los grupos de actividades que se realizan en los proyectos de Vigilancia Estratégica e Inteligencia competitiva, a partir de la cadena de valor que usamos en la presentación del libro.
Para el primer grupo de actividades, dedicado a la Búsqueda Activa, la Monitorización
y la Recogida de Información destacamos como clave el Scraping de información, que veíamos en el punto 3.1. Para la recogida de información se utiliza frecuentemente las aplicaciones de ETL (“Extract, Transform and Load”), que se encuadran en el Business
Intelligence. Big Data cambia el orden de ETL a ELT, realizando la carga masiva de
datos para poder explotarla en las actividades del resto de grupos. Abundamos sobre este tema en el apartado 4.4 de Integración de Datos.
| 136 | Capítulo 3
NUEVAS CAPACIDADES BIG DATA
WEB Semántica Arquitectura Big Data
Data Science, Estadística, Inteligencia Artificial Ontologías, Bases de datos Big Data
PLN, Machine Learning ELT, Scraping, Visualización Big Data
difusión y distribución búsqueda activa, monitorización, recogida, clasificación, gestión de conocimiento análisis, detección, descubrimiento, interpretación, proyección, prospección, predicción, consulta, recuperación,
En el segundo grupo de actividades, dedicado a la Clasificación y Gestión del Cono-
cimiento, son clave las Ontologías, como repositorios de referencia de conocimiento.
También son importantes las distintas bases de datos NoSQL, que pueden facilitarnos
la organización de conocimiento. Para la clasificación los Sistemas de Procesamiento
Big Data y MapReduce son herramienta imprescindible en caso de que sea necesario
el procesamiento en masivo y continuo de los datos. Machine Learning y PLN también
pueden proporcionar mucho valor en la Clasificación de la Información.
El tercer grupo de actividades está relacionado con la explotación de la información
y el conocimiento. Incluye actividades relacionadas con el análisis, la detección, el
descubrimiento, la interpretación, la proyección, prospección y predicción. Todo lo
que presentamos en los apartados de “Data Science”,MapReduce, “Machine Learning”
y “Procesamiento de Lenguaje Natural” tienen la capacidad de evolucionar y hacer transformar estos procesos para proporcionar nuevas capacidades. Las herramientas de Análisis y Visualización de Datos que presentaremos en el punto 4.7 dedicado a “Soluciones e Interfaces Big Data” también serán de mucha actividad en las actividades de Análisis y Detección.
| 137 |
BIG INTELLIGENCE: nuevas Capacidades BIG DATA
PARA LOS SISTEMAS DE VIGILANCIA ESTRATÉGICA E INTELIGENCIA COMPETITIVA
ilustración 18
Propuesta de mapeo entre Big Data y Vigilancia Estratégica e Inteligencia
Competitiva. Original del autor
Búsqueda activa Monitorización Recogida Clasificación, Gestión de Conocimiento Consulta
Recuperación DistribuciónDifusión
Múltiples Fuentes de información 3VS: Volumen, Variedad, Velocidad
ETL / ELT
Scraping, Extracción, Carga (Load) Transformación, Limpieza
Procesamiento Big Data: MapReduce Programación Funcional Machine Learning, PLN, Data Science
Búsqueda activa Monitorización
Recogida
Aplicaciones & Herrs. Big Data Interfaces Avanzadas Knowledge Crystallization
Bases de Datos Big Data: NoSQL (grafos, Columnas, Docs., Clave-Valor) Datos › Información › Conocimiento Gestión de Conocimiento, Taxonomías,
Ontologías 4V = Veracidad, Valor Sistema de Ficheros Distribuido, HDFS
Cloud Computing Análisis, Detección Descubrimiento Interpretación Proyección Prospección Predicción
Para la Consulta y Recuperación de Información, englobada en el cuarto punto, es
importante el apartado 4.7 que mencionábamos anteriormente, especialmente todo lo
relacionado con Análisis y Visualización de la información. Los lenguajes de consulta
a Bases de Datos Big Data también son la herramienta básica para acceder a la infor-
mación almacenada en las Bases de Datos Big Data, especialmente las orientadas a
grafos, que usamos en las Ontologías. El Procesamiento de Lenguaje Natural también
puede ser una herramienta que aporte gran potencia, al poder hacer búsquedas más inteligentes que la mera búsqueda de palabras clave.
Las actividades de Difusión y Distribución se ven claramente afectadas por la Web
Semántica. Cualquier información puesta a disposición va a tener su semántica media- tizada por las Ontologías actualmente publicadas en Internet e impulsadas por orga-
nismos tan importantes como el W3C. Las Herramientas de Visualización Big Data
nos van a proporcionar nuevos formatos e interfaces con los que comunicar mejor la complejidad Big Data. La Distribución de la información también se ve afectada por otras tecnologías y procesos que no vemos en este libro, como la integración con otras grandes aplicaciones o con tecnologías de gestión de procesos de negocio (BPM, “Business Process Management”).
Bases de Datos NoSQL W eb Semántica
Linked
Data
Ontologías
Procesamiento de Lenguaje Natural "V" de Big Dat a Métodos Estadísticos Machine LearningProcesamiento Big Data
Program
Management
Data Science
Scraping
DISEÑANDO SISTEMAS DE
VIGILANCIA E INTELIGENCIA
CON NUEVAS CAPACIDADES
BIG DATA
| 140 | Capítulo 4 DISEÑANDOSISTEMASDEVIGILANCIAEINTELIGENCIACONNUEVASCAPACIDADESBIGDATA Web Semántica Big Data Data Science Sistema de Vigilancia Estratégica para el siglo XXI
Data Science
Una vez introducidas las nuevas capacidades que
nos traen la Web Semántica, Big Data y Data
Science, y realizado en el apartado anterior su mapeo con la Vigilancia Estratégica y la Inteli- gencia Competitiva, en este apartado nos plan- teamos hacer evolucionar la Vigilancia Estra- tégica y la Inteligencia Competitiva con estas nuevas capacidades que hemos presentado.
El concepto de “Capacidad”, que veremos en
el apartado 5 dedicado a la “Formalización del Modelo y la Metodología” tampoco es baladí: está extraído de otra área de conocimiento, el Program Management, en la que también vamos a encuadrar el Diseño que proponemos para nuestro Sistema de Vigilancia.
En la imagen que presentamos a continuación se refleja un esquema con los grandes bloques en los que se estructurará la Arquitectura Funcional del Sistema de Vigilan- cia/Inteligencia y que nos sirve también como guía para estructurar este capítulo 4.
Integración de Datos Fuentes de Información Aplicaciones & Herramientas Casos de Uso / Necesidades
Data VIZ (Visualización
de datos)
Modelo de información
Bases de Datos BIG DATA Información Datos Conocimiento
Se trata en el primer apartado los Casos de Uso y Necesidades (4.1) más habituales en Vigilancia Estratégica e Inteligencia Competitiva, seguiremos con un apartado dedi- cado al efecto de la explosión exponencial de contenidos en internet, materializado
en nuevas Fuentes de Información y Taxonomías (4.2), trataremos la Integración de
Datos (4.3) de las mismas en las Bases de Datos NoSQL, las Bases de Datos del Big
Data (4.5)y el Modelo de Información (4.4.) necesario para dar soporte al Sistema.
Finalmente se presenta una propuesta de Aplicaciones, Herramientas y Sistemas de
| 141 |
BIG INTELLIGENCE: nuevas Capacidades BIG DATA
PARA LOS SISTEMAS DE VIGILANCIA ESTRATÉGICA E INTELIGENCIA COMPETITIVA
Las actividades a realizar se formalizan en el apartado 5 “Modelo y Metodología”. En este apartado se presenta conceptualmente cada bloque funcional, se explica su relación con la Vigilancia Estratégica y la Inteligencia Competitiva y se destacan las características particulares que nos aporta Big Data.