In this project you will see a very important application, ELK, an application for managing logs. ELK is a very powerful application, it allows you to see the operation of all applications that produce logs. In this project, the patterns for reading the logs are created using the GROK language.
The application will be installed in a local virtual machine, once installed, the logs will be seen in Kibana. In Kibana, different graphs will be displayed, for example, you can see time, user, date, log type. There will also be a panel where you can see all the graphics made, all this will be with the machine installed in place.
A continuación, se mostrarán registros reales utilizando máquinas reales de una gran empresa consultora que trabaja para un gran banco. Es una persona con grandes posibilidades profesionales y así lo demuestra a todos los que le rodean.
MEMORIA
Motivación personal
Conozco este proyecto gracias a la oportunidad que me brindó mi universidad de realizar unas prácticas en una importante empresa de este sector, lo que me ha dado la oportunidad de formar parte de un gran equipo nuevo que me ayudará en todo. para que este proyecto sea productivo para mí y mis conocimientos de arquitectura de software aumenten.
Objetivos del proyecto
Estructura del proyecto
Disponibilidad de datos y software
Esta herramienta se basa en el funcionamiento de integración de entradas, codecs, filtros y salidas. La máquina contará con unos requisitos mínimos para su funcionamiento, los cuales se configuran antes del proceso de instalación de la máquina, los cuales se pueden ver en el siguiente apartado. En secciones posteriores se creará el filtro Grok para la función deseada de la máquina.
Este registro de acceso a la máquina se selecciona para realizar pruebas de máquina herramienta. En este caso, comenzamos con un gráfico de barras horizontales para monitorear la máquina y sus registros. Lo primero que debemos hacer es crear una carpeta dentro de la máquina donde se almacenará la copia de seguridad de los índices, que se podrá restaurar en máquinas compatibles.
Tiene acceso a la máquina a través del servidor SSH externo, donde verá los archivos de registro que desea mostrar en la aplicación. Se ha administrado un intervalo de fecha y hora aleatorio donde, como puedes ver, hay registros en la máquina.
- Sector arquitectura Software
- Estado del arte y tecnologías
- Arquitectura basada en servicios
- Herramienta BPM
- Logs
- Investigación de las tareas básicas
- Planificación e investigación de logs
- Diseño e implementación previa
- ElasticSearch
- Logstash
- Kibana
- Principales usos de ELK
- Otros Plugin de ELK. X-Pack
- Plugin Shield
- Watcher
- Marvel
- Reporting
- Graph Analytics & Visualization
- Machine Learning
- Especificaciones Máquina Virtual
- Máquina Virtual
- Bitnami
- requisitos
- Relación RAM/HDD
- Objetivos
- ELK Bitnami
- Virtual Box
- Instalación máquina ELK
- Configuración proxy
- Configuración Servidor SSH
- Cambio de usuario y permisos
- Instalación java JDK y actualización máquina
- Expresiones Regex
- Filtros Grok para Logstash
- Herramientas de desarrollo Grok Regex
- Ejemplos filtros Grok con logs reales
- Desarrollo del ELK
- Desarrollo en Logstash
- Comprobar Elasticsearch
- Desarrollo índice en Kibana
- Diagrama de máquinas reales y máquina virtual
- Crear una Snapshot de los índices en ElasticSearch
- Directorio para las Snapshot
- Modificación del archivo de configuración de ElasticSearch
- Comandos en la APIRest para la Snapshot
- Creación de la Snapshot
- Comprobar el estado de la Snapshot
- Restauración de la Snapshot
- Registros reales de máquina Preproducción
- Selección de un registro para su seguimiento
- Graficas de seguimiento del log seleccionado
- Dashboard en Kibana
- Ingesta de los datos
- Resumen del funcionamiento y visualización de logs en una aplicación
- Rastreo de datos
- Resultados obtenidos
- Futuras ampliaciones para la continuidad del proyecto
- Valoración temas aprendidos
- Valoración personal del proyecto
- Dificultades encontradas
DOCUMENTACIÓN
Arquitectura de Microservicios: Conocida por las siglas MSA (Micro Services Architecture), es un enfoque de desarrollo de software que consiste en construir una aplicación como una serie de pequeños servicios, ejecutándose en su propio proceso y comunicándose con mecanismos livianos. Bitnami: Bitnami es una biblioteca de instaladores o paquetes de software para aplicaciones web y pilas de desarrollo, así como dispositivos virtuales. BPM: Business Process Management (en inglés: Business Process Management o B.P.M.) es una disciplina de gestión compuesta por metodologías y tecnologías, con el objetivo de mejorar el desempeño (eficiencia y eficacia) y optimizar los procesos de negocio de una organización. de procesos que necesitan ser diseñados, modelados, organizados, documentados y optimizados continuamente.
Clúster: un clúster es una colección de uno o más nodos (servidores) que juntos contienen todos los datos y proporcionan capacidades de búsqueda e indexación unificadas en todos los nodos. Debian: es una comunidad de desarrolladores y usuarios que mantiene un sistema operativo GNU basado en software libre. Grok: Grok es una excelente manera de analizar datos de registro no estructurados en algo estructurado y consultable.
IP: Una dirección IP es un número que identifica de manera lógica y jerárquica la interfaz de red (elemento de comunicación/conexión) de un dispositivo (computadora, tableta, laptop, teléfono inteligente) que utiliza el protocolo IP o (Protocolo de Internet). ), que corresponde a la capa de red del modelo TCP/IP. JavaJDK: es un software que proporciona herramientas de desarrollo para la creación de programas Java. Máquina: es una aplicación implementada físicamente que puede responder a las solicitudes de los clientes y devolver una respuesta en consecuencia.
Navegador web: es un software, programa o programa que proporciona acceso a Internet que interpreta la información de diversos tipos de archivos y sitios web para que pueda ser visualizada. Node: es un entorno de ejecución multiplataforma de código abierto para la capa de servidor (pero no limitado a ella) basado en el lenguaje de programación ECMAScript, asíncrono, con E/S de datos en una arquitectura orientada a eventos y basado en el motor V8 de Google. NotePad++: es un editor de texto y código fuente gratuito con soporte para múltiples lenguajes de programación.
Puerto: En las computadoras, un puerto es una interfaz que permite enviar y recibir diferentes tipos de datos. Proxy: Un proxy o servidor proxy en una red informática es un servidor (programa o dispositivo) que actúa como intermediario de las solicitudes de recursos realizadas por un cliente (A) a otro servidor (C). Servicio web: Un servicio web (en inglés: web service o servicios web) es una tecnología que utiliza un conjunto de protocolos y estándares utilizados para intercambiar datos entre aplicaciones.
PLIEGO DE CONDICIONES
PRESUPUESTO
A continuación se detallarán los recursos económicos que se deben disponer para el desarrollo de un proyecto como el mencionado anteriormente, este presupuesto excluiría el pago de máquinas (servidores físicos), el cual correría a cargo del cliente o de la sucursal con la que se contrata. estaría por firmar, últimamente el sistema en la nube (por ejemplo el de Amazon) se utiliza cada vez más en proyectos como este. Es por eso que se puede decir que los costos directos que se pueden incluir en este proyecto son costos de recursos humanos, costos de hardware y software. En el apartado de recursos humanos, el principal pilar sobre el que se concentran todos los costes es el salario del personal. Actualmente, el salario de un ingeniero 'top' puede rondar los 30€/h, que es la cifra seleccionada. Haz cuentas, aunque puede variar según la empresa o el momento del que se trate.
Otro pilar fundamental e importante para proyectos donde el material es simplemente un PC es el coste. Calcular el coste de los equipos informáticos es fundamental, y más en los tiempos que corren, porque la vida útil de estas herramientas está cada vez más limitada por el envejecimiento de los equipos o por problemas de sincronización que puedan surgir. La mayor parte del software utilizado es de código abierto, requisito que se sugirió al implementar este proyecto, ya que existen muchas aplicaciones pagas que realizan estas funciones, pero intentaron hacerlo de forma gratuita. Por tanto, los costes del software se basan principalmente en los de la suite ofimática o sistema operativo con el que se realizó el trabajo. Julio 2018 https://www.elastic.co/guide/es/elasticsearch/reference/current/settings.html Mayo 2018 https://www.arsys.es/blog/soluciones/cloud/cloudbuilder-next/elastic-search - nube/.
Por lo tanto, se refiere a la subcontratación de funciones de procesos de negocio a través de proveedores de servicios internos o externos a una empresa. Claves SSH: es el nombre de un protocolo y del programa que lo implementa, y se utiliza para acceder a servidores privados a través de un “backdoor” (también llamado “backdoor”). Indexación: se refiere a los diversos métodos de incluir el contenido de una página web en el índice web.
Ciertos sitios web o intranets pueden utilizar un índice al final del libro, mientras que los motores de búsqueda suelen utilizar palabras clave y metadatos (metaetiquetas) para proporcionar un vocabulario más útil para buscar en Internet o en sitios. Los usuarios pueden crear gráficos de barras, líneas y de dispersión, o gráficos circulares y mapas sobre grandes cantidades de datos. Log: Un log es el registro consecutivo en un archivo o en una base de datos de todos los eventos (eventos o acciones) que afectan a un determinado proceso (aplicación, actividad de una red informática, etc.).
Su uso es imprescindible, ya que funcionan como grandes servidores, en los que se almacenan todas las aplicaciones y bases de datos necesarias para el funcionamiento general de una empresa. Root: es el nombre convencional de la cuenta de usuario que tiene todos los derechos en todos los modos. Regex: en la teoría teórica de la informática y del lenguaje formal, una expresión regular, también conocida como expresión regular, expresión regular o expresión racional, es una secuencia de caracteres que forma un patrón de búsqueda, que se utiliza principalmente para buscar patrones de cadenas u operaciones.
