Top PDF Análisis Simbólico de Datos: una potente herramienta para Big Data

Análisis Simbólico de Datos: una potente herramienta para Big Data

Análisis Simbólico de Datos: una potente herramienta para Big Data

ceptos fundam entales de la teoría de objetos simboílicos y se em plean metodologías del analisis de tales objetos en la Encuesta Perm anente de Hogares, correspondien­ te al tercer trim estre del ano 2016. E n particular se tra b a ja con los hogares del G ran San Juan, region de Cuyo con dos propísitos: caracterizar a estos hogares y com parar a los encuestados en cuanto a su estado social, en relaciíon a variables de interíes, en particular su Nivel de Estudios. P a ra el prim er objetivo se define como objeto simbolico el hogar; m ientras que para el segundo proposito se tra b a ja con objetos de tipo even­ tos. Se destaca la posibilidad de tra b a ja r con bases individuales relacionales a fin de responder a diferentes propositos de estudio, como tam bien la generacion de objetos simbolicos que son descriptos por variables sim­ ples, m ultivaluadas, probabilísticas y del tipo intervalo. Con este trab ajo se logra com probar que los Datos Simbolicos son una herram ienta de gran utilidad para el m anejo y anílisis de grandes volumenes de datos, por lo que consideramos una herram ienta fundam ental para dos grandes íareas de la Ciencia de datos: D ata M ining y M achine Learning.
Show more

9 Read more

Desarrollo de una herramienta de análisis, procesado y visualización de fuentes de datos empleando técnicas de Big Data utilizando Apache Spark

Desarrollo de una herramienta de análisis, procesado y visualización de fuentes de datos empleando técnicas de Big Data utilizando Apache Spark

Según la conocida empresa multinacional estadounidense de tecnología y consultoría IBM, cada día se crean 2.5 quintillones de bytes de información y alrededor del 90% de todos los datos que existen hoy en el mundo fueron creados únicamente en los últimos dos años. La razón de por qué hay tantos datos tiene una sencilla explicación: la tecnología se ha extendido a todos los niveles de la sociedad, actualmente es raro ver (tomemos como referencia Estados Unidos o la Unión Europea para hablar de estos temas, evidentemente esto no se cumple, por ejemplo, en la mayoría de países de África) a alguien sin conexión a internet por cable en su hogar, sin un smartphone con conexión continua a internet o sin un ordenador portátil. La tecnología es ya una parte muy importante de la sociedad.
Show more

65 Read more

Minería de datos, minería de textos y Big Data

Minería de datos, minería de textos y Big Data

Esta línea de investigación se centra en la generación automática de resúmenes. Entre los enfoques existentes se ha puesto el énfasis en el extractivo cuyo resumen está formado por un subconjunto de sentencias de un documento seleccionadas apropiadamente. Actualmente, a partir del trabajo realizado en [8] se están analizando en la construcción de distintos tipos de resúmenes (1) el impacto de varias tareas de preprocesamiento de textos, (2) la participación de un conjunto amplio de métricas y (3) la incorporación de semánticas en el análisis [9]. Para llevar a cabo estos experimentos se desarrolló una herramienta de manipulación de documentos científicos programada en Python con MySQL utilizando las librerías NLTK, urllib y bs4, entre otras. Los experimentos están siendo realizados sobre artículos científicos publicados en PLOS ONE hasta tanto se consiga el acceso a las colecciones DUC.
Show more

5 Read more

Big Data. Análisis de grandes volúmenes de datos en Organizaciones

Big Data. Análisis de grandes volúmenes de datos en Organizaciones

Finalmente, destacar que UPS está desarrollando ORION (On-Road Integrated Optimization & Navigation), una herramienta que le permite conocer la mejor forma de entregar los paquetes mientras conoce en tiempo real las necesidades de los clientes. (Por ejemplo, alguien que no va a poder estar en casa cuando lo entreguen y dijo que si estaría) ORION combina mas de 250 millones de direcciones y puntos de datos, así como las preferencias de los consumidores, para dar a los conductores instrucciones personalizadas. Entre las ventajas de ORION es el menor gasto de gasolina y la reducción de emisiones de dióxido de carbono. Además, debido a esto se están pudiendo ofrecer otros servicios como la devolución en el mismo día o la alteración de la hora o del punto de entrega
Show more

45 Read more

Sobre el ‘big data’

Sobre el ‘big data’

Actualmente, existe un intenso debate acerca de la cuestión del big data, no solo por razones técnicas. Esto se debe también a que se suele presentar el big data como un elemento que conlle- va un cambio de paradigma epistemológico en la investigación científi ca que podría reemplazar al método tradicional, basado en plantear hipótesis. En este artículo realizo un escrutinio críti- co de dos afi rmaciones clave asociadas habitualmente con este enfoque, concretamente que los datos hablan por sí solos –un argumento que menosprecia el papel de teorías y modelos– y la prioridad de la correlación sobre la causalidad. Mi intención es, por una parte, reconocer el valor del análisis del big data como una herramienta heurística innovadora y, por otro, explicar de- talladamente qué podemos esperar de los macrodatos y qué no.
Show more

8 Read more

Blockhain la nueva base de datos no SQL en BIG Data

Blockhain la nueva base de datos no SQL en BIG Data

Como los grandes datos permiten el modelado predictivo de más y más procesos de la realidad, la tecnología blockchain podría ayudar a convertir la predicción en acción. La tecnología Blockchain podría unirse con grandes datos, en capas sobre la transformación reactiva-predictiva que está lentamente en marcha en la ciencia de los grandes datos para permitir el funcionamiento automatizado de grandes áreas de tareas a través de contratos inteligentes y la economía. El análisis predictivo de Big Data podría coincidir perfectamente con la ejecución automática de contratos inteligentes. Podríamos lograr esto específicamente agregando tecnología de bloque de bloques como la capa de pagos económicos incrustados y la herramienta para la administración de cuantos, implementada a través de contratos inteligentes automatizados, Dapps, DAOs y DACs. La operación automatizada de enormes clases de tareas podría aliviar a los humanos porque las tareas serían manejadas por un sistema de computación universal, descentralizado y distribuido a nivel mundial (Swan, 2015).
Show more

32 Read more

Estudio de las técnicas de análisis Big Data para datos hidroclimatológicos de una cuenca hídrica

Estudio de las técnicas de análisis Big Data para datos hidroclimatológicos de una cuenca hídrica

Inicialmente, la meta de Machine Learning era construir robots y simular las actividades humanas, despu´ es la aplicaci´ on de la inteligencia artificial estaba siendo generalizada para resolver problemas generales por una m´ aquina. La soluci´ on popular era alimentar un computador con algoritmos (o una secuencia de instrucciones) para que ´ este pudiera transformar los datos de entrada en la respuesta de salida. Esto era llamado con frecuencia un sistema basado en reglas o sistema experto. Sin embargo, no se puede encontrar facilmente algoritmos adecuados para muchos problemas, por ejemplo, para el reconocimiento de la escritura humana. No se sabe c´ omo transformar la entrada de una carta escrita a mano por una salida de una carta est´ andar reconocida; una alternativa es aprender de los datos y ese principio de aprendizaje es similar al de “ensayo y error” o “La sabidur´ıa de la multitud” [9, P´ ag. 15]. Esto quiere decir que teniendo solo una prueba, se incurrir´ıa en un alto margen de error, pero si se incluyen muchas pruebas, el error reducir´ a a un nivel de tolerancia aceptable o convergente. En orden para descubrir patrones y tendencias significativos, desde un enorme conjunto de datos, la estad´ıstica es la herramienta fundamental para a˜ nadir valor al muestreo, modelamiento, an´ alisis, interpretaci´ on y presentaci´ on de los datos.
Show more

80 Read more

Big Data Optimization: Framework Algorítmico para el análisis de Datos guiado por Semántica

Big Data Optimization: Framework Algorítmico para el análisis de Datos guiado por Semántica

de optimizaci´on a la hora de procesar grandes vol´umenes de informaci´on, sobre todo en tiempo de c´omputo, por ello es necesario realizar algoritmos optimizados para problemas de Big Data. Existen dos grandes tipos de problemas de optimizaci´on los llamados mono-objetivo y los multi-objetivo. Este trabajo se ha centrado en los problemas multi-objectivo ya que existen muchos en Big Data. Para ello hemos desarrollado jMetalSP que es una librer´ıa de algoritmos de optimizaci´on adaptados para Big Data, el cual est´a basado en jMetal [3], una herramienta para la optimizaci´on multi-ojetivo y Apache Spark [4]. Dentro de los algoritmos multi-objetivo desarrollados en jMetalSP, nos hemos centrado en los algoritmos din´amicos y en los interactivos, ya que facilitan reducir el espacio de b´usqueda de soluciones de un problema y por tanto, reducir el tiempo de c´omputo qued´andose sola con las ´areas preferidas por el analista (Decision Maker). Adem´as permiten abordar procesamiento en streaming (Velocidad), actuar ante cambios en el problema, datos o entorno (Variabilidad) y acercar el proceso de optimizaci´on al Decision Maker (Valor, Veracidad).
Show more

6 Read more

Arquitectura para la Gestión de Datos Imperfectos en la Era de Big Data

Arquitectura para la Gestión de Datos Imperfectos en la Era de Big Data

En el conjunto de datos se debe tener en cuenta la imperfección de la información para poder extraer modelos más cercanos a la realidad de acuerdo al contexto. Sin embargo, a pesar de la gran cantidad de técnicas existentes para dicho proceso, es común observar que se siguen utilizando Bases de Datos tradicionales para información clásica, y muy pocas toman en cuentan los datos imperfectos para su posterior análisis. Por otro lado, la Teoría Computacional de Percepciones (CTP por sus siglas en inglés) propuesta por Zadeh [7], proporciona una base teórica para modelar sistemas complejos que gestionen información imperfecta, convirtiéndose en una poderosa herramienta que permite formalizar procesos de naturaleza humana (tal como conversar, razonar y tomar decisiones). Mediante el uso de etiquetas lingüísticas se pueden representar valores imperfectos para ser almacenados en la base de datos o para hacer posible el uso de términos lingüísticos en las consultas que se asemejan más al lenguaje natural utilizado por los seres humanos, es decir, utilizar el enfoque de representar la información en forma lingüística (computación por palabras) basado en la percepción más que en forma de medidas basadas en números.
Show more

10 Read more

Big Data : análisis de herramientas y soluciones

Big Data : análisis de herramientas y soluciones

Es una herramienta para analizar grandes volúmenes de datos mediante un lenguaje de alto nivel -PigLatin- que está diseñado para la paralelización del trabajo. Mediante un compilador se traducen las sentencias en PigLatin a trabajos MapReduce sin que el usuario tenga que pasar a programar ni tener conocimientos sobre ellos. Así pues PigLatin es un lenguaje fácil de programar ya que se trata de un lenguaje textual y convierte las paralelizaciones en dataflows o flujos de datos, conceptos más sencillos para los usuarios no expertos o sin conocimiento en el mundo de la paralelización. Además también se encarga de optimizar de manera automática los programas escritos por el usuario, respetando la coherencia de los datos, antes de traducirlos a trabajos MapReduce. Adicionalmente, también permite la creación de funciones por parte del usuario para realizar procesamientos de propósito especial y que no se incluya en las operaciones básicas de PigLatin. [31]
Show more

156 Read more

Técnicas Big Data para el análisis de datos de tráfico de red sobre Hadoop

Técnicas Big Data para el análisis de datos de tráfico de red sobre Hadoop

La comprobación del correcto funcionamiento de la heurística explicada es una tarea difícil, pues no se conoce, a priori, las sesiones reales. No obstante, el algoritmo se utilizará como medio para predecir los momentos en los que hay clase en cada laboratorio. Como sí que se dispone de esta información, una precisa predicción sería un buen indicador de que la heurística es correcta. Con el objetivo de utilizar una herramienta de aprendizaje automático, se ha obtenido, para cada día de la semana, hora lectiva (de 9:00 a 20:00) y laboratorio, un vector con información resumida de las sesiones abiertas en esos periodos. Este vector contiene el número total de sesiones; la media, mediana y varianza de los tiempos de inicio de las sesiones con respecto al inicio de la hora; la media, mediana y varianza de las duraciones de las sesiones; y el porcentaje de sesiones que se iniciaron en Ubuntu. A cada hora se le ha asignado una de las siguientes clases: Clase 1, si comienza una lección de una hora; Clase 2, si comienza una lección de dos horas; y Clase 0, si no comienza ninguna lección en esa hora. En un principio se tuvo en cuenta una cuarta clase, la Clase 3, que representaba las horas en las que, no empezando ninguna lección, había clase (por ejemplo, la segunda hora de una lección que dura dos horas). Esto se hizo para evitar problemas de confusión de esta Clase 3 con la Clase 0. Sin embargo, tras examinar los resultados, se comprobó que la Clase 3 se clasificaba siempre como Clase 0. Por ello, se decidió unificar estas dos clases.
Show more

70 Read more

Datos Masivos / Big Data

Datos Masivos / Big Data

La tecnología Big Data es esencial en la disciplina de Analítica avanzada y procesado masivo de datos y una herramienta de uso cada vez más extendido en las empresas como habilitador de los análisis avanzados. De esta manera el objetivo de la asignatura es que el alumno aprenda los conceptos relacionados de Big data, desde sus origen e historia, características y diferencias respecto a sistemas tradicionales, su arquitectura paralela y las diferencias con otros sistemas paralelos y ecosistema del ciclo del dato básico, desde su adquisición del dato, almacenamiento al procesamiento. Se relacionará las capacidades que ofrece esta tecnología con los problemas que para los que esta especialmente indicada, las necesidades que cubre y los casos de uso que consiguen aportar valor diferencial a las empresas y la sociedad.
Show more

8 Read more

Datos Masivos / Big Data

Datos Masivos / Big Data

La tecnología Big Data es esencial en la disciplina de Analítica avanzada y procesado masivo de datos y una herramienta de uso cada vez más extendido en las empresas como habilitador de los análisis avanzados. De esta manera el objetivo de la asignatura es que el alumno aprenda los conceptos relacionados de Big data, desde sus origen e historia, características y diferencias respecto a sistemas tradicionales, su arquitectura paralela y las diferencias con otros sistemas paralelos y ecosistema del ciclo del dato básico, desde su adquisición del dato, almacenamiento al procesamiento. Se relacionará las capacidades que ofrece esta tecnología con los problemas que para los que esta especialmente indicada, las necesidades que cubre y los casos de uso que consiguen aportar valor diferencial a las empresas y la sociedad.
Show more

8 Read more

Datos Masivos / Big Data

Datos Masivos / Big Data

La tecnología Big Data es esencial en la disciplina de Analítica avanzada y procesado masivo de datos y una herramienta de uso cada vez más extendido en las empresas como habilitador de los análisis avanzados. De esta manera el objetivo de la asignatura es que el alumno aprenda los conceptos relacionados de Big data, desde sus origen e historia, características y diferencias respecto a sistemas tradicionales, su arquitectura paralela y las diferencias con otros sistemas paralelos y ecosistema del ciclo del dato básico, desde su adquisición del dato, almacenamiento al procesamiento. Se relacionará las capacidades que ofrece esta tecnología con los problemas que para los que esta especialmente indicada, las necesidades que cubre y los casos de uso que consiguen aportar valor diferencial a las empresas y la sociedad.
Show more

19 Read more

Datos Masivos / Big Data

Datos Masivos / Big Data

La tecnología Big Data es esencial en la disciplina de Analítica avanzada y procesado masivo de datos y una herramienta de uso cada vez más extendido en las empresas como habilitador de los análisis avanzados. De esta manera el objetivo de la asignatura es que el alumno aprenda los conceptos relacionados de Big data, desde sus origen e historia, características y diferencias respecto a sistemas tradicionales, su arquitectura paralela y las diferencias con otros sistemas paralelos y ecosistema del ciclo del dato básico, desde su adquisición del dato, almacenamiento al procesamiento. Se relacionará las capacidades que ofrece esta tecnología con los problemas que para los que esta especialmente indicada, las necesidades que cubre y los casos de uso que consiguen aportar valor diferencial a las empresas y la sociedad.
Show more

8 Read more

Big Data y universidades: análisis de movilidad de los estudiantes universitarios a partir de datos de Twitter

Big Data y universidades: análisis de movilidad de los estudiantes universitarios a partir de datos de Twitter

En este artículo se propone detectar población universitaria a partir de datos obtenidos por Twitter, y valorar hasta qué punto Twitter puede ser una herramienta de utilidad en estas y otras cuestiones relacionadas con la localización y movimientos de sus usuarios. Para ello, se ha trabajado en el área metropolitana de Madrid y el conjunto de su red universitaria, tratando de establecer las áreas de influencia de las distintas universidades madrileñas y estudiar las diferencias según el tipo de universidad. A continuación, se busca estudiar factores de la movilidad a los campus analizando los datos de tiempos de viaje según el modo de transporte, para a continuación realizar un análisis socioeconómico que muestre datos de tiempos de viaje según el tipo de universidad y el nivel adquisitivo de la zona donde residan los estudiantes. Finalmente, se pretende crear un modelo gravitacional con el que comparar un modelo teórico de asignación de estudiantes a las universidades y compararlo con los resultados de la asignación identificada a partir de Twitter. En este caso, partimos de la premisa de que los datos de Twitter se aproximan más a la realidad, que ese modelo teórico, que únicamente considera la proximidad y el tamaño de los campus, lo que permite mostrar que existen otros factores más allá de estos dos en la elección de los centros universitarios.
Show more

21 Read more

Big data para el análisis de tormentas severas

Big data para el análisis de tormentas severas

Tambi´ en se ha obtenido una significativa cantidad de puntos de reportes de ca´ıda de granizo de la red social Twitter. Para esto se realiz´ o un desarrollo utilizando la API REST de Twitter, haciendo una b´ usqueda por granizo como palabra clave y luego se los separa entre los que vienen con informaci´ on de ubicaci´ on de los que no. Cuando contienen la posici´ on son validados con datos de radar y los que pasan el filtro son incorporados a la base de datos de eventos. Por otro lado, los tweets que no poseen informaci´ on de ubicaci´ on se analiza el texto y a trav´ es de una t´ ecnica de extracci´ on de informaci´ on como es reconocimiento de entidades (o NER - Named-entity recognition) se trata de determinar la ubicaci´ on utilizando un buscador de top´ onimos. Para esto se utiliza la herramienta MITIE: MIT Information Extraction [15].
Show more

9 Read more

Big data. Un nuevo paradigma de análisis de datos

Big data. Un nuevo paradigma de análisis de datos

La computación en la nube ha su- puesto una reducción de costes, una mayor flexibilidad y una utilización óptima de los recursos, por lo que se considera que es una herramienta de ventaja competitiva de las empresas. Entre sus usos destaca la analítica de los big data. Kambatla et al. (2014) han indicado que una de las principales aplicaciones de la generación futura de sistemas distribuidos y de cálculo paralelo se encuentra en la analítica de los datos enormes. Los reposito- rios de datos para tales aplicaciones exceden actualmente la magnitud de exabytes y están creciendo rápida- mente en tamaño. Los datos residen en plataformas con capacidades com- putacionales y de red que varían am- pliamente. Ello hace que las considera- ciones de tolerancia a fallos, seguridad y control de acceso sean críticas.
Show more

7 Read more

Sistemas inteligentes: aplicaciones en minería de datos y big data

Sistemas inteligentes: aplicaciones en minería de datos y big data

Las técnicas de minería de datos son de gran interés para las organizaciones, ya que facilitan la adopción de decisiones tácticas y estratégicas, generando una ventaja competitiva. En el caso especial de las organizaciones que conceden créditos, es importante definir claramente los criterios de rechazo/aprobación. En este sentido, las reglas de clasificación son un instrumento adecuado, siempre que el conjunto de reglas sea fácil de comprender y de aplicar y además posea una tasa de acierto razonable. La simplicidad de la regla se logra generando antecedentes cortos, formados por pocas condiciones.
Show more

5 Read more

Mitos y Realidades del Big Data -Introducción al Big Data-

Mitos y Realidades del Big Data -Introducción al Big Data-

“Big Data” hace referencia al conjunto de información que es demasiado compleja como para ser procesada mediante.. TI tradicionales de manera aceptable.[r]

30 Read more

Show all 10000 documents...