IMPLEMENTACIÓN DE LECTURA DE DOCUMENTOS DIGITALES CON MACHINE LEARNING EN LA EMPRESA CLI GESTIONES ADUANERAS S.A. Actualmente es necesario un módulo de gestión documental dentro de un sistema con procesos administrativos. Este módulo gestiona todos los documentos digitales y funciona como un depósito de documentos crucial dentro de una organización.
Como parte de este proceso, los liquidadores deben abrir diversos documentos, entre los cuales dos de los más importantes son las Facturas Comerciales y los Documentos de Envío. Dentro de las Facturas Comerciales se encuentran los productos que se deben declarar, por lo tanto este documento puede tener un número ilimitado de páginas. Asimismo, dentro de los Documentos de Envío se encuentran los detalles de los contenedores y sellos que se requieren para DAM.
Ambos tipos de documentos pueden tener un número ilimitado de páginas, estos documentos también pueden ser digitales, escaneados o fotográficos, por lo que los personalizadores no pueden simplemente copiar el texto del documento, lo que hace que la finalización del DAM demore minutos, incluso horas, dependiendo del volumen de productos. . y contenedores con los que cuenta la oficina. Debido a estos problemas, se ha implementado dentro del módulo “Gestión de Documentos” un lector de documentos basado en aprendizaje automático e inteligencia artificial, el cual se encarga de extraer texto y datos específicos de diversos documentos, lo que permite reconocer el tipo de documento y almacenar los datos necesarios. por el área de asentamiento se puede utilizar en la construcción de la presa.
Aspectos Generales
Descripción de la Empresa /Institución
- Ubicación
- Accesibilidad
- Visión y misión de la empresa
- Historia
Corporación de Logística Integral (CLI) inició sus actividades como agencia aduanal (Géminis Agentes Afianzados de Aduanas) hace más de 30 años gracias a la estrategia de crecimiento vertical aplicada, hoy tiene la capacidad de ofrecer servicios propios en toda la cadena logística para entregar , fletes internacionales, trámites aduaneros, transporte de carga local. Como resultado de esta búsqueda continua, en 1995 fueron los primeros operadores logísticos del país en brindar el servicio de importación y exportación bajo la modalidad puerta a puerta, específicamente al grupo telefónico. Esta experiencia les ha permitido proporcionar mejoras significativas en los tiempos de tránsito, con la consiguiente reducción de costos operativos fijos y variables.
No contentos con esto, en 2001 también fueron los primeros en externalizar completamente la operativa del departamento de logística, gestionando la operación puerta a puerta de productos terminados para Procter & Gamble en Perú, Ecuador y Colombia, con supervisión permanente desde el exterior. . Esta exitosa experiencia les ha llevado a establecer, como en el caso anterior, tiempos de tránsito más cortos y grandes reducciones de costes. Es importante indicar que, como consecuencia del éxito en el mercado local, en el año 2001 iniciaron el plan de desarrollo regional, que actualmente cuenta con oficinas propias en Ecuador, las cuales aplican la misma filosofía de servicio.
Descripción De Una Actividad Específica
Computer Vision
- Características Principales
- Requisitos de entrada
Es un servicio de Azure que utiliza computación visual para etiquetar contenido (desde objetos hasta conceptos), extraer texto impreso y escrito a mano, reconocer elementos familiares como puntos de referencia y puntos de referencia, y moderar contenido. Ejemplo de uso del servicio Azure Computer Vision donde se muestra un resultado en texto sin formato y en formato JSON. Tomado de Microsoft Azure (https://azure.microsoft.com/es-es/products/cognitive-services/computer-vision/).
Extraído da documentação oficial do Shape Recognizer (https://learn.microsoft.com/es-es/azure/cognitive-services/computer-vision/overview-ocr).
Form Recognizer
- Características Principales
- Requisitos de entrada
Con solo algunos ejemplos, Form Recognizer se puede personalizar para reconocer documentos, tanto en las instalaciones como en la nube. La Figura 5 muestra el resultado de una factura comercial analizada por Form Recognizer. Los archivos PDF con texto incrustado son mejores para eliminar la posibilidad de errores de extracción y colocación de caracteres.
Los archivos PDF tienen dimensiones de hasta 17 x 17 pulgadas, lo que corresponde a tamaños de papel Legal o A3, o más pequeños. Como se muestra en la tabla 1, este servicio tiene 6 casos de uso, por lo que según el análisis realizado el que más se adaptó a la necesidad del negocio fue el caso de. Extracción y análisis de texto, marcas de selección y estructuras de tablas, junto con sus coordenadas rectangulares.
Modelo personalizado Extraiga y analice datos de formularios y documentos específicos para diferentes datos comerciales y casos de uso. Modelo de cuenta Procesamiento de datos automatizado y recuperación de información clave de recibos de compra. Conociendo los servicios de Azure utilizados en este proceso, se detallará paso a paso el análisis, creación y entrenamiento de modelos personalizados.
Creación de Modelos Personalizados
- Análisis de formatos de documentos
- Creación del modelo
- Etiquetado de pares clave-valor
- Entrenamiento y pruebas del modelo
- Integración
Dentro del contenedor se creó un archivo de factura y dentro de él una carpeta para cada proveedor como se muestra en la Figura 6. El contenedor se configuró con los permisos necesarios para que Form Recognizer tuviera acceso a los documentos almacenados. Para crear un nuevo modelo se utilizó la herramienta Form Recognizer Studio desarrollada por el mismo equipo de Azure para facilitar el uso del servicio Form Recognizer.
La Figura 8 muestra el espacio de trabajo donde aparecen las etiquetas amarillas, indicando que son texto analizado con OCR y que se pueden usar para etiquetar. A la izquierda están los documentos de muestra cargados en la cuenta de almacenamiento, en el medio el documento con los textos analizados con OCR y a la derecha la sección de etiquetas. Como se mencionó anteriormente, la lógica utilizada por el aprendizaje automático de Form Recognizer se basa en pares clave-valor.
Con Form Recognizer Studio este trabajo es muy sencillo, pues sólo debes seleccionar las palabras del documento y con un clic podrás indicar a qué etiqueta pertenece. Para ello, Form Recognizer solicita un ID de modelo, que se utiliza como identificador único, una descripción y el tipo de entrenamiento. En este caso, se utilizó el tipo de entrenamiento Plantilla, como se muestra en la Figura 10.
Para utilizar el modelo entrenado desde el módulo "Gestión de documentos" se utilizó la API REST proporcionada por Azure Form Recognizer. Para ello se realizó una solicitud POST al endpoint del servicio utilizando la clave privada proporcionada por Azure Form Recognizer como se muestra en la Figura 14. Si todo va bien, Form Recognizer devuelve un JSON con todos los datos obtenidos del análisis como se muestra en la figura 15.
En este punto hubo un problema, ya que el usuario puede cargar cualquier documento PDF, pero como la API Form Recognizer requiere un ID de modelo para realizar el análisis, primero fue necesario determinar si el documento pertenecía a una cuenta comercial para poder enviarlo. el ID del modelo correspondiente a Azure.
Modelado de base de datos
Cuando un usuario sube un documento, es necesario analizarlo para extraer datos y clasificarlos. Para esto se utilizó el servicio Computer Vision, que hace el trabajo de extraer todas las palabras y líneas del documento que pueden ser analizadas y validadas contra palabras clave de una tabla en la base de datos, es decir, una tabla que contiene palabras únicas del documento. . con un formato único utilizado para determinar si un documento cargado contiene esas palabras. Si el recuento de palabras coincide, sabrá qué documento es y qué ID de modelo utilizar.
Las tablas naranjas pertenecen al proceso de análisis con servicios de Azure.
Diccionario de datos
Antecedentes internacionales
- Simplificación de la incorporación de pacientes
- Acelerando el tiempo de las conclusiones
- Ahorrando tiempo en cada transacción
Durante años, las operaciones canadienses de Chevron han extraído manualmente datos clave de los informes de perforación y terminación, un proceso engorroso, lento y propenso a errores. La empresa ahora utiliza Form Recognizer, parte del servicio de inteligencia artificial aplicada Azure de Microsoft, junto con la plataforma UiPath Robotic Process Automation para extraer datos automáticamente y moverlos a sistemas back-end para su análisis. Los expertos en la materia ahora tienen más tiempo para centrarse en actividades de mayor valor, la información fluye más rápido y el control operativo se acelera, lo que permite a la empresa analizar su negocio de forma más rápida, precisa y profunda.
Con sede en Johannesburgo, Sudáfrica y con más de 150 años de historia, Standard Bank está profundamente involucrado en el comercio tanto en el continente africano como más allá. Pero cuando la debida diligencia manual en transacciones transfronterizas comenzó a consumir demasiado tiempo del personal, el banco decidió que necesitaba una nueva manera de avanzar. Con Form Recognizer de Azure Cognitive Services, Standard Bank ahora puede reducir significativamente el procesamiento y registro de pagos transfronterizos.
Standard Bank of South Africa utiliza Form Recognizer para automatizar transacciones internacionales complejas, mejorar el servicio al cliente y reducir significativamente los tiempos de procesamiento y los costos operativos.
Antecedentes nacionales
- Transformando recursos de manera sostenible
- Automatización de procesos de facturación y contratos
EY ayuda a los clientes a extraer datos de contratos y facturas utilizando Form Recognizer, ahorrando simultáneamente cientos de miles de horas de trabajo manual. El jefe de producto Parassery afirma: "Si el análisis de cada contrato dura una media de tres minutos, podemos ahorrar 1,5 millones de minutos o 250.000 horas de trabajo manual".
Objetivos
- Objetivo general
- Objetivos específicos
Clasifique documentos automáticamente para que el usuario pueda cargar documentos de forma masiva sin tener que clasificarlos individualmente.
Discusión y Aportes
Conclusiones y Recomendaciones
Obtenido de https://customers.microsoft.com/es-es/story/chevron-mining-oil-gas-azure-cognitive-services. Obtenido de Microsoft Azure: https://azure.microsoft.com/es-es/products/cognitive-services/computer-vision. Obtenido de https://customers.microsoft.com/es-es/story/minsur-artificial-intelligence-azure-cognitive-services-machine-learning-mining-oil-arkano-peru-es.
Obtenido de https://customers.microsoft.com/es-es/story standard-bank-of- south-africa-banking-capital-markets-azure-en-south-africa.
