Corrección radial automática de imágenes obtenidas con cámaras de ángulo ancho

Texto completo

(1)Universidad Central “Marta Abreu” de Las Villas Facultad de Ingeniería Eléctrica Departamento de Electrónica y Telecomunicaciones. TRABAJO DE DIPLOMA Corrección radial automática de imágenes obtenidas con cámaras de ángulo ancho. Autor: Dennier Hernández Victoria. Tutor: Dr. Rubén Orozco Morales. Santa Clara 2017 "Año 59 de la Revolución".

(2) Universidad Central “Marta Abreu” de Las Villas Facultad de Ingeniería Eléctrica Departamento de Electrónica y Telecomunicaciones. TRABAJO DE DIPLOMA Corrección radial automática de imágenes obtenidas con cámaras de ángulo ancho Autor: Dennier Hernández Victoria [email protected]. Tutor: Dr. Rubén Orozco Morales [email protected]. Santa Clara 2017 "Año 59 de la Revolución".

(3) Hago constar que el presente trabajo de diploma fue realizado en la Universidad Central “Marta Abreu” de Las Villas como parte de la culminación de estudios de la especialidad de Ingeniería en Telecomunicaciones y Electrónica, autorizando a que el mismo sea utilizado por la Institución, para los fines que estime conveniente, tanto de forma parcial como total y que además no podrá ser presentado en eventos, ni publicados sin autorización de la Universidad.. Firma del Autor Los abajo firmantes certificamos que el presente trabajo ha sido realizado según acuerdo de la dirección de nuestro centro y el mismo cumple con los requisitos que debe tener un trabajo de esta envergadura referido a la temática señalada.. Firma del Tutor. Firma del Jefe de Departamento donde se defiende el trabajo. Firma del Responsable de Información Científico-Técnica.

(4) i. PENSAMIENTO. Es mejor encender una vela que maldecir la oscuridad. Confucio.

(5) ii. DEDICATORIA. A toda mi familia que siempre ha estado ahí para mí. Especialmente dedicado a mis padres, a quienes debo todo y, a mis hermanos, que han estado junto a mí todo el tiempo..

(6) iii. AGRADECIMIENTOS. A mis padres, Ramón y Denia, que tanto han dado para hacerme quien soy. A mis hermanos, Ramón y Noreisy, que me han brindado un apoyo incondicional durante toda esta etapa. A toda mi familia, que desde el inicio estuvo ahí cuando me hizo falta. A mis vecinos por toda la ayuda brindada en estos 5 años. A mis amigos y compañeros de aula, sin los cuales hubiera sido muy difícil pasar la carrera y el tiempo en la Universidad no hubiera sido memorable. A mi tutor, Dr. Rubén Orozco Morales, que ha colocado todo su empeño en que esta tesis saliera con la mejor calidad posible, siempre estando dispuesto a prestarnos su completa atención. A los profesores de mi facultad, que completaron mi formación como futuro profesional, en especial al profe Yaniel Águila Valdivia, que no dudó nunca en prestar su apoyo y conocimientos y, por ser un gran amigo. A la Universidad Central “Marta Abreu” de Las Villas, por haber sido mi hogar durante todo este tiempo. A todo aquel que me ayudó a llegar aquí. Gracias..

(7) iv. TAREA TÉCNICA. En esta investigación se plantean las siguientes tareas técnicas. . Realizar un estudio bibliográfico sobre los distintos métodos existentes para la calibración de las cámaras de ángulo ancho con el fin de corregir radialmente las imágenes.. . Determinar las ventajas y desventajas entre uno y otros métodos de calibración y corrección radial para lograr la integración de los mismos de la forma más eficiente posible en tareas de mosaicos de imágenes.. . Confeccionar una interfaz gráfica en Matlab que integre tareas de calibración de cámaras, corrección radial de imágenes y construcción de mosaicos.. Firma del Autor. Firma del Tutor.

(8) v. RESUMEN. El sensado remoto tiene una gran importancia en la agricultura, la vigilancia, etc., una de las variantes utilizadas para el mismo es la realización de mosaicos utilizando las imágenes tomadas por cámaras acopladas a vehículos aéreos ligeros, las cuales en ocasiones brindan una imagen distorsionada debido al lente de ángulo ancho que utilizan. El presente trabajo se centra en las distintas técnicas existentes para la calibración de cámaras, la corrección de la distorsión radial y la construcción de mosaicos de imágenes (mosaicking), teniendo como objetivo general poner a punto diversas estrategias de corrección radial automática de imágenes para la construcción de mosaicos. Se programó una interfaz gráfica en Matlab capaz de integrar varios métodos de calibración y corrección radial, así como una herramienta de construcción de mosaicos. Como resultado, pudo realizarse la corrección de la distorsión radial a un conjunto de imágenes, la cuales luego fueron unidas en un mosaico, lo que permitió aumentar considerablemente el ángulo de visión que originalmente se poseía..

(9) vi. TABLA DE CONTENIDOS. PENSAMIENTO .....................................................................................................................i DEDICATORIA .................................................................................................................... ii AGRADECIMIENTOS ........................................................................................................ iii TAREA TÉCNICA ................................................................................................................iv RESUMEN ............................................................................................................................. v INTRODUCCIÓN .................................................................................................................. 1 CAPÍTULO 1. 1.1. REVISIÓN BIBLIOGRÁFICA................................................................. 5. Generalidades de Análisis Digital de Imagen .......................................................... 5. 1.1.1. Lentes ................................................................................................................ 5. 1.1.2. Aberraciones, Distorsión y Corrección ............................................................. 7. 1.2. Calibración de cámaras .......................................................................................... 10. 1.2.1. Antecedentes de calibración de cámaras ........................................................ 11. 1.2.2. Métodos más recientes de calibración de cámaras ......................................... 14. 1.1. Construcción de mosaicos de imágenes ................................................................. 16. 1.1.1. Antecedentes de construcción de mosaicos .................................................... 17. 1.1.2. Estado del arte en construcción de mosaicos .................................................. 19. 1.2. Conclusiones del capítulo ...................................................................................... 21. CAPÍTULO 2.. MATERIALES Y MÉTODOS................................................................ 22.

(10) vii 2.1. Materiales ............................................................................................................... 22. 2.1.1. Cámaras .......................................................................................................... 22. 2.1.2. Imágenes utilizadas ......................................................................................... 23. 2.1.3. Hardware y software ....................................................................................... 26. 2.2. Métodos de Calibración y Corrección .................................................................... 26. 2.2.1. SWARD Camera Calibration Toolbox ........................................................... 27. 2.2.2. Bouguet Camera Calibration Toolbox ............................................................ 29. 2.3. Método de construcción de mosaicos .................................................................... 33. 2.4. Diseño y Programación de La Herramienta ........................................................... 34. 2.4.1. GUIDE ............................................................................................................ 34. 2.4.2. Diseño y Programación de la interfaz ............................................................. 35. 2.5. Conclusiones del capítulo ...................................................................................... 37. CAPÍTULO 3. 3.1. RESULTADOS Y DISCUSIÓN ............................................................. 38. Pruebas de Calibración y Corrección Radial ......................................................... 38. 3.1.1. Método de Bouguet ......................................................................................... 38. 3.1.2. SWARD .......................................................................................................... 45. 3.2. Pruebas de construcción de mosaicos .................................................................... 46. 3.2.1. Utilización de la herramienta MicroMos con imágenes corregidas. radialmente.................................................................................................................... 47 3.3. Análisis del costo computacional ........................................................................... 50. 3.4. Conclusiones del capítulo ...................................................................................... 51. CONCLUSIONES Y RECOMENDACIONES ................................................................... 52 Conclusiones ..................................................................................................................... 52 Recomendaciones ............................................................................................................. 52 REFERENCIAS BIBLIOGRÁFICAS ................................................................................. 54.

(11) viii ANEXOS .............................................................................................................................. 59 Anexo I. Cámara Parrot Sequoia y su sensor de luminosidad ....................................... 59. Anexo II. Conjunto de imágenes patrón de calibración de la cámara Parrot Sequoia 59. Anexo III. Extracción de las esquinas durante la calibración con el toolbox de Bouguet. de la cámara Parrot Sequoia.............................................................................................. 60 Anexo IV. Conjunto de imágenes patrón de calibración de la cámara Nikon COOLPIX. S3100. 60. Anexo V. Códigos de Matlab para recortar bordes en las imágenes ........................... 61. Anexo VI. Objetivo ojo de pez ..................................................................................... 61. Anexo VII. Imagen tomada con un lente ojo de pez ...................................................... 62.

(12) 1. INTRODUCCIÓN. Junto con el desarrollo de la fotografía digital ha proliferado el sensado remoto (remote sensing) con importantes aplicaciones en la agricultura, la vigilancia, etc. Las imágenes obtenidas con cámaras fotográficas acopladas a vehículos aéreos ligeros (drones) son una de las variantes utilizadas para el sensado remoto, pero tienen la dificultad de brindar una imagen distorsionada radialmente debido al lente de ángulo ancho que utilizan. Se han desarrollado diversas técnicas para la corrección automática de la distorsión radial de las imágenes, las que en principio se basan en obtener un modelo matemático que caracterice al sistema lente-cámara a partir de utilizar imágenes patrones de calibración. Uno de los casos en que es necesario aplicar la corrección radial de las imágenes es en la construcción de mosaicos (mosaicking) de una secuencia de imágenes obtenidas cuando el dron realiza un vuelo recorriendo un área que excede en cientos de veces el campo visual de su cámara, pues para poder alinear las diversas imágenes en un mosaico estas deben estar corregidas. En la literatura científica consultada se puede apreciar que el fenómeno de la distorsión radial en las imágenes tomadas con cámaras de ángulo ancho es muy estudiado, por lo que no es de extrañar el sin número de técnicas y métodos con los que se cuenta en la actualidad y la diversidad de sus autores. En 1998 Jean-Yves Bouguet publicó el artículo „„Camera Calibration from Points and Lines in Dual-Space Geometry‟‟, en el cual se introduce un nuevo formalismo basado en un espacio dual o espacio plano y se demuestra su conveniencia mediante la aplicación sucesiva al problema de la calibración de cámaras, acercamiento que posibilita el desacople de. los.

(13) INTRODUCCIÓN. 2. parámetros intrínsecos de los extrínsecos y se deriva un conjunto de soluciones explícitas para la calibración de cámaras mediante un modelo de 5to orden [1]. En el 2000 fue publicado „„Geometric Camera Calibration Using Circular Control Points‟‟ por Janne Heikkila, en el cual se describe un procedimiento de calibración para precisar aplicaciones de visión de computación 3D. Este introduce una preferencia de corrección para control de puntos circulares y un método no recursivo para revertir el modelo de distorsión [2]. En el 2006, Davide Scaramuzza publica „„A Flexible Technique for Accurate Omnidirectional Camera Calibration and Structure from Motion‟‟ el cual propone un método que solo requiere que la cámara observe un patrón plano mostrado desde unas pocas orientaciones diferentes con el cual no se necesitan conocimientos del movimiento de antemano, ni un modelo específico para el sensor omnidireccional; no obstante, este método está concebido para cámaras omnidireccionales que poseen un ángulo sólido de cobertura de más de 160, las denominadas ojo de pez (fish-eye) [3]. Ese mismo año fue publicado „„A Generic Camera Model and Calibration Method for Conventional, Wide-Angle, and Fish-Eye Lenses‟‟ por Juho Kannala, el cual propone otro método de calibración de cámara para cámaras con lentes ojo de pez (ángulo súper-ancho), el cual posee un relativo alto nivel de precisión con puntos de control circular [4]. Es por ello que se plantea la siguiente interrogante: ¿Cómo realizar de forma automática y eficiente, la calibración del lente y la corrección radial de imágenes tomadas con cámaras de ángulo ancho mediante la utilización de una interfaz gráfica de Matlab con el fin de unir las imágenes corregidas en un mosaico? Por este motivo se plantean como objetivos del presente trabajo de diploma los que a continuación se muestran: Objetivo General: Poner a punto diversas estrategias de corrección radial automática de imágenes con fines de ser utilizadas en la construcción de mosaicos. Objetivos Específicos: . Profundizar en las causas de la distorsión radial de imágenes captadas con cámaras que utilizan lentes de ángulo ancho y los métodos que para su corrección existen, así como los disponibles para la realización de mosaicos de imágenes..

(14) INTRODUCCIÓN. . 3. Determinar los principales métodos de calibración de cámaras como primer paso en la corrección de la distorsión radial a partir de realizar una comparación entre sus principales características.. . Integrar los métodos seleccionados para calibración, corrección radial y construcción de mosaicos en una única interfaz gráfica para Matlab que facilite la utilización de los mismos.. Lo que deja las siguientes interrogantes científicas: . ¿Cuáles son los principales métodos que existen en la actualidad para la calibración de cámaras y la posterior corrección de la distorsión radial de las imágenes que con ella se obtienen?. . ¿Cómo integrar en una interfaz gráfica para Matlab los métodos seleccionados para la calibración, corrección de la distorsión radial de las imágenes y su posterior colocación en mosaicos?. Para la resolución de las cuales se plantean las siguientes tareas de investigación: . Realizar un estudio bibliográfico sobre los distintos métodos existentes para la calibración de las cámaras de ángulo ancho con el fin de corregir radialmente las imágenes.. . Determinar las ventajas y desventajas entre uno y otros métodos de calibración y corrección radial, para lograr la integración de los mismos de la forma más eficiente posible en tareas de mosaicos de imágenes.. . Confeccionar una interfaz gráfica en Matlab que integre tareas de calibración de cámaras, corrección radial de imágenes y construcción de mosaicos.. Con este proyecto se espera la obtención de una interfaz gráfica que sea capaz de integrar de forma eficiente los distintos pasos necesarios para la construcción de mosaicos de las imágenes luego de ser corregidas por el mismo. Con la ejecución de este proyecto se da solución a la problemática de poseer una herramienta integrada que permita con pocos recursos ser capaces de obtener un mosaico de imágenes tomadas con cámaras de ángulo ancho para uso principalmente en los campos agrícolas donde se necesitan imágenes muy amplias y de gran calidad.. Los resultados de la investigación poseen una aplicación.

(15) INTRODUCCIÓN. 4. práctica y teórica de gran trascendencia para todos los especialistas, investigadores y personal en general que utilicen cámaras de ángulo ancho en los vehículos aéreos no tripulados (VANT) ligeros y que necesiten de la captura de imágenes en terrenos de gran área. La facultad cuenta con los recursos necesarios para completar la investigación ya que se encuentran a nuestra disposición los softwares necesarios en los laboratorios de computación, así como los drones y las cámaras, al igual que los recursos humanos capacitados para colaborar en el proyecto, por lo que el mismo resulta viable. El Capítulo l se dedicará a la caracterización del marco teórico y al estudio comparativo de los distintos métodos que se usan en la actualidad para la corrección de imágenes y construcción de mosaicos de las mismas. El Capítulo II se utilizará para el diseño y confección de la herramienta (toolbox) en Matlab y el Capítulo III se dedicará al software diseñado y a la comprobación mediante la práctica del correcto funcionamiento de la misma evaluando los resultados obtenidos.

(16) 5. CAPÍTULO 1. REVISIÓN BIBLIOGRÁFICA. En este capítulo se realizará una revisión bibliográfica sobre el tema de la corrección de la distorsión radial de las imágenes tomadas con cámaras de ángulo ancho. En el primer epígrafe se abordará el tema de los lentes, las cámaras con lentes objetivo ojo de pez y las aberraciones. El epígrafe número dos se enfocará en el tema de la calibración de cámaras, en el cual se mostrará el motivo de su realización y una breve descripción de algunos de los principales métodos que para ello existen, así como la corrección de la distorsión. En el tercer epígrafe se estudiará el tema de la construcción de mosaicos y algunos de los métodos usados en la actualidad para ello. 1.1. Generalidades de Análisis Digital de Imagen. ¿Qué es el análisis de imágenes? En su acepción más amplia, el término hace referencia a un conjunto de técnicas destinadas a obtener datos relativos a un sistema objeto de estudio a partir de imágenes de dicho sistema. Los datos de interés suelen ser casi siempre numéricos. El análisis digital de imágenes, se entiende como el conjunto de operaciones matemáticas efectuadas con las imágenes matriciales obtenidas con cualquier tipo de sensor [5]. Imaginología digital La imaginología digital es un amplio conjunto de técnicas y procesos dedicados a la producción, transformación, manipulación, análisis, visualización, almacenamiento, etc., de imágenes obtenidas de diferentes maneras [6]. 1.1.1 Lentes Las lentes son objetos transparentes (normalmente de vidrio), limitados por dos superficies, de las que al menos una es curva. Una de las propiedades fundamentales de los lentes es su distancia focal o longitud focal, la cual es la distancia entre el centro óptico de la lente o.

(17) CAPÍTULO 1 REVISIÓN BIBLIOGRÁGICA. 6. plano nodal posterior y el foco (o punto focal) cuando se enfoca al infinito [7]. Objetivo Se denomina objetivo al dispositivo que contiene el conjunto de lentes convergentes y divergentes y, en algunos casos, el sistema de enfoque y/o obturación, que forman parte de la óptica de una cámara tanto fotográfica como de vídeo [8]. Su función es redireccionar los haces de luz para crear una imagen "óptica" en un soporte fotosensible, permitir un enfoque lo más preciso posible y mantener una colimación constante de los elementos ópticos. Algunos objetivos existentes son: el normal, con distancia focal entre 45-70 mm y con un ángulo de entre 40 y 65º, teleobjetivos, entre 70 a 300 mm, y con un ángulo de visión menor a 40°, superteleobjetivos, distancia focal mayor a 300 mm llegando incluso a 1200 mm; también existen los objetivos de ángulo ancho que son el caso de estudio de este documento, en los que a continuación se profundiza un poco [9]: Gran Angular Un lente gran angular captura un ángulo de visión más amplio que un lente normal. No existe un único objetivo gran angular, sino más bien una variedad de lentes que le dan cada vez más amplios ángulos de visión, algunos de los cuales están clasificados como súper o ultra lentes gran angular. Los objetivos gran angular poseen de 28 a 40 mm de distancia focal, y ángulos de captura entre 60 y 80 grados. Los ángulos más amplios tienden a mostrar distorsión, al igual que cuando se mira en un espejo curvo, sobre todo cuando se fotografía un sujeto en primer plano. Son muy útiles cuando usted no tiene tiempo para enfocar con precisión o componer la imagen correctamente, ya que ocupan toda la escena y la mayor parte estará en foco [9]. Súper Gran Angular Son gran angulares con distancias focales entre 12 y 28 mm y un ángulo de visión superior a 80° [10]. Objetivo Ojo de Pez Se denominan objetivo ojo de pez (ver Anexo VI) a aquellos cuyo ángulo de visión es extremadamente grande, de 180 grados o más [11]..

(18) CAPÍTULO 1 REVISIÓN BIBLIOGRÁGICA. 7. Este objetivo no corrige la distorsión lineal, lo que significa que las líneas rectas, especialmente en los bordes del visor, se curvan más allá del punto de la exageración. Algunos lentes de ojo de pez producen una imagen circular (ver Anexo VII) [12]. Estos proporcionan una gran profundidad de campo. El objetivo ojo de pez es una forma especial de objetivo gran angular, cuya distorsión se asemeja a una imagen reflejada en una esfera. En su origen fueron desarrollados para ser usados en meteorología para estudiar la formación de nubes, convirtiéndose rápidamente en objetivos populares para fotografía general por su apariencia distorsionada y única de la imagen. Normalmente, en estos objetivos y en ciertos gran angular extremos, el elemento frontal de estos objetivos es muy grande, y adopta forma semiesférica; esta condición hace imposible el uso de filtros en la parte delantera de los mismos, por lo cual algunos fabricantes optan por ubicar un anillo de filtros detrás de la montura, de tamaño reducido [12]. La distancia focal de estos objetivos suele ser muy corta (entre 4,5 y 17 mm). En el conjunto de estos lentes se pueden diferenciar dos tipos: . los que abarcan toda la superficie de exposición (película o sensor) formando por tanto imágenes rectangulares,. . los que forman una imagen circular.. En formato 35 mm los más usuales son: . 15 - 17 mm - imagen rectangular.. . 7,5 - 8 mm - imagen circular [12].. 1.1.2 Aberraciones, Distorsión y Corrección Las aberraciones son un problema de enfoque causadas por la incapacidad de un lente de captar luz de todas las áreas del lente y enfocarlas en un mismo punto, o la incapacidad de captar luz de todos los colores y enfocarla en un mismo punto. Las distorsiones son un problema de geometría causado por la incapacidad del lente de reproducir la forma exacta del objeto incluso cuando la imagen se encuentra enfocada [13]. Aberraciones Las aberraciones en sistemas ópticos generalmente conllevan a una degradación de la imagen. Ocurren cuando la luz proveniente de un punto de un objeto no converge hacia (o no diverge desde) un solo punto luego de transmitirse a través del sistema. Existen varios.

(19) CAPÍTULO 1 REVISIÓN BIBLIOGRÁGICA. 8. tipos de aberraciones, algunas de las cuales son: astigmatismo, aberración cromática, aberración esférica, aberración comática, aberración de curvatura de campo y, el caso de discusión, la distorsión, la cual también es un tipo de aberración [14]. Distorsión y Corrección Las imágenes adquiridas por lentes de ángulo ancho contienen distorsión geométrica de lente no lineal. La distorsión de los lentes puede ser clasificada en dos categorías. Una es la distorsión radial que causa que las coordenadas de la imagen sean desplazadas de su posición ideal hacia dentro o fuera del centro de la imagen, mientras otra es la distorsión tangencial, la cual causa que las coordenadas de la imagen sean desplazadas en la dirección perpendicular a la línea que las conecta al centro de la imagen. La distorsión radial es la más severa y común [15]. La distorsión radial puede ser clasificada en dos tipos [13], como se muestra en la Figura 1.1: . De cojín (distorsión positiva), cuando la amplificación incrementa gradualmente desde el centro del eje hacia las esquinas de la imagen.. . De barril (distorsión negativa), si la amplificación disminuye hacia las equinas.. Figura 1.1: Tipos de distorsión radial(Tomada y adaptada de [16]). En la distorsión radial se aprecia que una línea recta que pasa a través del centro de la imagen permanecerá recta, otras líneas en la imagen serán curvas, como se muestra en la Figura 1.2, y la distorsión más seria es observada cerca de los bordes de la imagen [15]..

(20) CAPÍTULO 1 REVISIÓN BIBLIOGRÁGICA. 9. Figura 1.2: Distorsión de barril [15]. Si se asume que el centro de la distorsión es conocido de antemano, se puede definir la distancia desde un punto distorsionado de la imagen distorsión como el radio distorsionado. hasta el centro de la. y la distancia correspondiente a un punto sin. distorsión de la imagen como el radio sin distorsión. .. Un simple modelo para la distorsión radial describe la relación entre. y. en forma. polinomial, concretamente, rd = f ( ru ) [17]. Ejemplo: Un polinomio de 2do orden como el de la expresión (1.1) puede causar la distorsión que se muestra en la Figura 1.3 para un valor de k = 0.33 y k= -0.33 respectivamente.. rd = r u + k1 r u2. (1.1). Siendo k1 el coeficiente de distorsión.. (a). (b). (c). Figura 1.3: Efectos de la distorsión radial en (a) imagen original, aplicándole un polinomio de segundo orden con (b) coeficiente positivo (distorsión negativa), (c) coeficiente negativo (distorsión positiva)..

(21) CAPÍTULO 1 REVISIÓN BIBLIOGRÁGICA. 10. Normalmente, los lentes de ángulo ancho sufren de distorsión de barril y, los teleobjetivos distorsión de cojín. También, el modelo de división describe la relación entre. y. como se muestra en. el ejemplo siguiente [17]: Ejemplo: Un denominador de primer orden como el de la expresión (1.2) causa los efectos que se muestran en la Figura 1.4.. rd = f ( ru) =. (a). (1.2). (b). (c). Figura 1.4: Efectos de la distorsión radial en (a) imagen original, aplicándole un denominador de primer orden con (b) coeficiente positivo (distorsión negativa), (c) coeficiente negativo (distorsión positiva). La función de corrección de la distorsión en ambos casos debe ser el inverso de la función que caracterice la misma, no el signo opuesto de k, ya que como se puede apreciar en los ejemplos, el signo de k solo influye en que la distorsión sea de cojín o de barril [17]. 1.2. Calibración de cámaras. Calibrar la cámara consiste en encontrar los parámetros que influyen en la transformación entre puntos 3D del entorno específico de la aplicación y puntos 2D de la imagen, esto es, los parámetros intrínsecos, tales como la longitud focal de la cámara, el centro de distorsión, los coeficientes de distorsión, etc., y los parámetros extrínsecos tales como los vectores de traslación y rotación que determinan la posición de la cámara en el entorno. En realidad, los sensores CCD son muy sensibles a cambios ambientales como la iluminación, y aunque los cambios no sean drásticos, pueden ser significativos en muchas aplicaciones..

(22) CAPÍTULO 1 REVISIÓN BIBLIOGRÁGICA. 11. En las cámaras más especializadas, las modificaciones de los valores intrínsecos son compensadas vía programación o electrónica, aunque en muchas ocasiones la excelente calidad de sus componentes, evitan dichas distorsiones. No obstante, estas cámaras no fueron diseñadas para actividades en las que se necesita una exacta representación geométrica de los objetos captados en la escena, ni se conocen sus parámetros, además de que son susceptibles a variaciones, por lo que es muy importante la calibración que se realice en ellas. Lo primero que se debe obtener es un cuerpo geométrico preciso con dimensiones conocidas, para usarlo como patrón de calibración, que corrientemente son cubos o pirámides con base cuadrangular o planos patrón. Las dimensiones de los objetos de calibración deben ser muy precisas y regulares. Además, los ángulos rectos deben ser exactos, porque de ellos dependen la medición de las distorsiones y rotaciones. Es difícil conseguir objetos de características tan estrictas, porque implican una fabricación especial y una supervisión muy exigente de calidad. Por supuesto, para que tales restricciones sean útiles, es necesario que la calibración se realice bajo condiciones controladas [18]. 1.2.1 Antecedentes de calibración de cámaras En 1987 R. Tsai [19] describe una técnica para la calibración de cámara tridimensionales (3D) para la metrología de visión artificial usando cámaras de TV de repuesto y lentes de dos etapas. La técnica de dos etapas está dirigida al cálculo de la posición y orientación externas de la cámara respecto al sistema de coordenadas de referencia del objeto, así como la distancia focal efectiva, distorsión radial de la lente y parámetros de escaneo de imágenes. Se establece un marco teórico, apoyado por prueba completa en cinco apéndices, y puede allanar el camino para futuras investigación sobre visión robótica 3D. Se describen los resultados de las pruebas utilizando datos reales. Se informan tanto de precisión como de velocidad. Los resultados experimentales son analizados y comparados con la predicción teórica. Con una ligera modificación, la calibración en dos etapas puede realizarse en tiempo real. J. Heikkila y O. Silven en 1997 [20] presentan un procedimiento de calibración de cuatro pasos, los cuales son: estimación lineal de los parámetros, estimación no lineal, un tercer paso de corrección de las proyecciones asimétricas, que es necesario si se usan puntos de.

(23) CAPÍTULO 1 REVISIÓN BIBLIOGRÁGICA. 12. control cuyas proyecciones son mayores de un píxel de tamaño y el cuarto paso que consiste en la corrección de la imagen. Hay un paso adicional para compensar la distorsión causada por las características circulares, y un paso para corregir las coordenadas de imagen distorsionadas. La corrección de la imagen se realiza con un modelo empírico inverso que compensa con precisión las distorsiones radiales y tangenciales. Finalmente, se presenta un método lineal para resolver los parámetros del modelo inverso. En 1999 Z. Zhang [21] ofrece una técnica flexible para calibrar fácilmente una cámara. Sólo se requiere que la cámara observe un plano patrón que se muestra en unas pocas (al menos dos) diferentes orientaciones. O bien la cámara o el patrón plano se pueden mover libremente. No es necesario conocer el movimiento. La distorsión radial de la lente es modelada. El procedimiento propuesto consiste en una solución de forma cerrada seguido por un refinamiento no lineal basado en el criterio de máxima verosimilitud. Tanto la simulación por ordenador y los datos reales han sido utilizado para probar la técnica propuesta, y se obtuvieron muy buenos resultados. En comparación con las técnicas clásicas, las que utilizan un equipo costoso tal como dos o tres planos ortogonales, la técnica que se propone fácil de usar y flexible. La teoría de Jean-Yves Bouguet [1] es aplicada en “Camera Calibration Toolbox for Matlab” [22]. En este toolbox se proponen inicialmente dos modos de operación (ver Figura 2.3). Esta ventana de selección, que se muestra al ejecutar la función calib.m, permite elegir entre los dos modos de operación del toolbox: estándar o de eficiencia de memoria. En el modo estándar, todas las imágenes usadas para la calibración son cargadas en memoria una vez y nunca se leen de nuevo desde el disco. Esto minimiza el número promedio de acceso al disco, y acelera el procesamiento de todas las imágenes y las funciones de despliegue de imagen. Sin embargo, si las imágenes son grandes, o son muchas, entonces se puede encontrar el mensaje de error Out of memory, si este es el caso, se puede usar el modo de eficiencia de memoria. En este modo, cada imagen es cargada una por una y nunca se almacena permanentemente en memoria. Si en algún momento en que se esté trabajando en el modo estándar aparece el mensaje de error Out of memory, se puede cambiar al otro modo, los cuales son completamente compatibles e intercambiables. Al elegir entre uno u otro modo de operación se presenta un cuadro con las funciones básicas del toolbox (ver Figura 2.4)..

(24) CAPÍTULO 1 REVISIÓN BIBLIOGRÁGICA. 13. Las descripciones de dichas funciones se encuentran anexadas al toolbox para ambos modos de operación. En el 2006 el Dr. Davide Scaramuzza propone el método denominado OCamCalib para la calibración de cámaras omnidireccionales. En el mismo se presenta una nueva técnica para calibrar las cámaras centrales omnidireccionales. El procedimiento propuesto es muy rápido y completamente automático, cuando al usuario solo se le pide coleccionar unas pocas imágenes de un tablero de ajedrez y hacer clic en sus esquinas. En contraste con acercamientos previos, esta técnica no usa un modelo específico de sensor omnidireccional. Solo se asume que la función de imagen puede ser descrita por una expansión de la serie de Taylor, cuyos coeficientes son estimados resolviendo un problema de minimización lineal de mínimos cuadrados de cuatro etapas, seguido de un refinamiento no lineal basado en el criterio de máxima probabilidad. Finalmente, se provee un toolbox que implementa el procedimiento de calibración propuesto [23]. Al ejecutar la función ocam_calib.m, en dicho toolbox se muestra el cuadro de funciones de la Figura 1.4:. Figura 1.4: Ventana de funciones del toolbox OCamCalib. Ese mismo año „„A Generic Camera Model and Calibration Method for Conventional, Wide-Angle, and Fish-Eye Lenses‟‟ [4] fue publicado por Juho Kannala, el cual propone un método de calibración de cámara para cámaras de lentes ojo de pez, donde se provee un relativo alto nivel de precisión con puntos de control circular. El método de calibración se basa en ver un objeto plano, el cual contiene puntos de control en posiciones conocidas. La ventaja sobre acercamientos previos es que también los lentes ojo de pez, teniendo un campo de visión posiblemente mayor que 180º, pueden calibrarse viendo un modelo plano simplemente. Además, se puede obtener una buena precisión si se usan puntos de control circulares..

(25) CAPÍTULO 1 REVISIÓN BIBLIOGRÁGICA. 14. El algoritmo de calibración consiste en los siguientes cuatro pasos: 1. Inicialización de los parámetros internos. 2. Retro proyección y cálculo de homografías. 3. Inicialización de los parámetros externos. 4. Minimización del error de proyección. 1.2.2 Métodos más recientes de calibración de cámaras En 2007 R. Hartley y S. B. Kang [24]proponen un método para calibrar simultáneamente la función de distorsión radial de una cámara y los otros parámetros de calibración internos. El método se basa en el uso de una rejilla de calibración plana (o, alternativamente, no plana) que se captura en varias imágenes. De esta manera, la determinación de la distorsión radial es un complemento fácil al popular método de calibración propuesto por Zhang [25]. El método es totalmente no-iterativo y, por lo tanto, es extremadamente rápido e inmune al problema de mínimos locales. Este método determina la distorsión radial en un modo libre de parámetros, no dependiendo de ningún modelo de distorsión radial particular. Esto lo hace aplicable a una amplia gama de cámaras, desde ángulo estrecho a lentes ojo de pez. El método también calcula el centro de distorsión radial, el cual es importante para obtener resultados óptimos. Los experimentos muestran que este punto puede ser significativamente desplazado desde el centro de la imagen o del punto principal de la cámara. N. Bellas et al. en 2009 [26] desarrollan la corrección de la distorsión de un lente ojo de pez en un tablero personalizado que incluye un Xilinx Virtex-4 FPGA. Se expresa la aplicación en un lenguaje de flujo de alto nivel, y se utiliza Proteus, para explorar rápidamente el espacio de diseño y generar el acelerador de flujo más adecuado para las restricciones de costo y rendimiento que se posean. Este trabajo muestra que las herramientas ESL apropiadas permiten un modelado y diseño rápidos de la vida real, el rendimiento de los sistemas críticos y sensibles al costo con complejos patrones de acceso a la memoria y mecanismos de interacción hardware-software. Ese mismo año W. Kim y C. Kim [27] proponen otro método para corregir la distorsión de lentes de ángulo ancho. La principal contribución de este trabajo es construir un método de corrección más potente basado en la modelo FOV. Primero se aumenta la resolución angular del modelo FOV basado en el modelo óptico de lente de ángulo ancho. A continuación, el modelo FOV se extiende al de lente de ángulo ancho circular refinando la.

(26) CAPÍTULO 1 REVISIÓN BIBLIOGRÁGICA. 15. curva de distorsión con un ángulo de polarización. Para validar el rendimiento del modelo FOV mejorado, se prueban varias imágenes y videos. El método propuesto es muy útil para las aplicaciones en tiempo real. En 2010 K. Daloukas et al. [28] presenta la implementación, optimización y caracterización de una aplicación de corrección de distorsión de un lente ojo de pez sobre tres plataformas: un procesador homogéneo multinúcleo convencional de Intel, un multinúcleo heterogéneo (Cell BE), y un FPGA que implementa un acelerador de flujo generado automáticamente. Se evalúa la interacción de la aplicación con aquellas arquitecturas que utilizan una métrica de rendimiento tanto de alto como de bajo nivel. En términos macroscópicos, se observa que las actuales corrientes multinúcleos convencionales no son eficaces para soportar la corrección de la distorsión en tiempo real. Las arquitecturas, como la Cell BE y FPGAs, ofrecen la potencia computacional y la escalabilidad necesarias, a expensas de un esfuerzo de desarrollo significativamente mayor. Entre estas tres plataformas, sólo el FPGA y una versión totalmente optimizada del código que se ejecuta en el procesador Cell puede proporcionar velocidad de procesamiento en tiempo real. B. F. Zhang et al. en 2011 [29] presenta un método de calibración de cámara fácil basado en puntos de rejilla plana en la base del método de calibración del modelo plano de Heikkila. Los parámetros intrínsecos y extrínsecos de la cámara se calibran con Matlab, se calcula la matriz de rotación y los vectores de traslación. Específico para el modelo de punto de rejilla plana, se utiliza el método de detección de esquinas de Harris para obtener las coordenadas de las esquinas, y calibrar los parámetros de la cámara basada en el modelo de cámara no lineal. Los resultados del experimento muestran que este método no sólo es simple en la práctica, sino que también puede satisfacer las necesidades de los sistemas de visión de computadoras. En 2013 W. G. Li y S. J. Duan [30] presentan un método de calibración de cámara basado en un tablero plano circular. Los centros de los círculos en el plano se consideran como los puntos característicos, que se utilizan para implementar la calibración de la cámara. La calibración propuesta es más precisa que muchos algoritmos de calibración anteriores debido al mérito de la coordenada del centro del círculo que se obtiene a partir de miles de puntos del borde de la elipse, que es muy fiable al ruido de la imagen causado por el algoritmo de extracción de los bordes. Los experimentos que se realizan muestran que el.

(27) CAPÍTULO 1 REVISIÓN BIBLIOGRÁGICA. 16. algoritmo propuesto puede obtener parámetros internos de alta precisión, así como los parámetros de distorsión de la lente. X. Ying et al. en2014 [17] afirman que, para una cámara real, los signos de las derivadas de primer y segundo orden de la función de distorsión deben permanecer sin cambios dentro del dominio factible de la variable independiente, aunque sobre todo el dominio, o fuera del dominio factible, los signos pueden cambiar muchas veces. Se relajan las restricciones diferenciales usando una estrategia deliberada, para obtener las restricciones de desigualdad lineal en los coeficientes desconocidos de la función de distorsión radial. Parece que las desigualdades lineales adicionales no son difíciles de tratar en los métodos actuales de corrección de distorsión radial. Algunas ventajas de este método son asegurar que la función de distorsión radial recuperada satisfaga las restricciones diferenciales dentro del tronco de visualización, así como hacer que la función de distorsión radial recuperada funcione bien en caso de extrapolación, causada por las características utilizadas para la corrección de distorsión usualmente distribuido sólo en la parte media, pero rara vez cerca del límite de la imagen distorsionada. Ese mismo año X. Ying et al. [31] presentan un método de optimización convexa para recuperar la función de distorsión que utiliza las mismas restricciones que requiere el método de Hartley-Kang, la teoría da como fruto el toolbox para Matlab llamado SWARD (Super-Wide-Angle-lens Radial Distortion). 1.1. Construcción de mosaicos de imágenes. La construcción de mosaicos de imágenes es un área activa de investigación en los campos de fotogrametría, visión por computador, procesamiento de imagen, y gráficos de computadora. Es el proceso de colocar juntas dos o más imágenes de la misma escena tomadas desde diferentes puntos de vista o direcciones con el objetivo de formar una única imagen que abarque toda la escena de forma coherente. Para poder realizar un mosaico de imagen correcto, es necesario que las imágenes implicadas no posean ningún tipo de distorsión, para que pueda formarse una estructura de imagen congruente [15]. Una cuestión muy importante en la construcción de mosaicos de imágenes es el alineamiento entre los puntos correspondientes así que las regiones superpuestas entre las imágenes combinadas no se repitan [32]..

(28) CAPÍTULO 1 REVISIÓN BIBLIOGRÁGICA. 17. El registro de imagen es el proceso de superposición de dos o más imágenes de la misma escena tomada en diferentes momentos, desde diferentes puntos de vista, y / o por diferentes sensores. Es la alineación de dos imágenes geométricamente, la de referencia y la detectada. Los datos pueden ser fotografías múltiples, datos de diferentes sensores tomados en diferentes momentos, o desde diferentes puntos de vista. El registro de imágenes es un paso muy importante entre todas las tareas de análisis de imágenes en las que se recibe la información final de la combinación de fuentes como en el mosaico de imágenes, la fusión de imágenes, la detección de cambios y la restauración de imágenes. El registro es necesario para la comparación o integración de los datos recibidos de diferentes mediciones. Los métodos de registro se pueden dividir en los siguientes tipos: algoritmos que usan el valor del pixel de la imagen directamente, por ejemplo, el método de correlación[33]; algoritmos que utilizan dominio de la frecuencia, por ejemplo, método basado en FFT [34]; algoritmos que utilizan características de bajo nivel, tales como bordes y esquinas, por ejemplo, los métodos basados en características [35]; algoritmos que utiliza características de alto nivel tales como objetos identificados, o relación entre características, por ejemplo, métodos gráficos. La homografía es el mapeo entre dos espacios que se utiliza a menudo para representar la correspondencia entre dos imágenes de la misma escena. La deformación de la imagen es el proceso, donde la manipulación digital de una imagen se puede hacer de tal manera que cualquier forma representada se ha distorsionado perceptiblemente. Puede usarse para eliminar la distorsión en la imagen y también para propósitos creativos (por ejemplo, morphing [36]). En este paso, las dos imágenes que van a crear mosaico se deforman, mediante la transformación geométrica. La mezcla de imágenes es la técnica que modifica los niveles de gris de la imagen en la vecindad de un límite para obtener una transición suave entre imágenes eliminando estas costuras y creando una imagen mezclada determinando cómo se presentarán los píxeles en un área superpuesta [37]. 1.1.1 Antecedentes de construcción de mosaicos Un paso muy importante en la construcción de mosaicos fue la aparición del algoritmo RANSAC [38] en 1981, el cual es usado ampliamente para resolver los problemas de correspondencias entre las imágenes..

(29) CAPÍTULO 1 REVISIÓN BIBLIOGRÁGICA. 18. Los mosaicos de imágenes pueden ser usados en diferentes aplicaciones Szeliski [39] y Szeliski y Shum [40] los usan para la construcción de ambientes virtuales y viajes virtuales, Hansen et al. [41] para estabilización de escena, e Irani et al. [42] [43] e Irani and Anandan [44] para la detección de cambios en la escena, compresión e indexado de video. Hay varios métodos para construir mosaicos de imagen. Uno es grabar una imagen en una larga película usando el panorama de la cámara. Otro es usando lentes con un campo de visión muy grande, tal como lentes ojo de pez, y un espejo parabólico. El algoritmo de construcción de mosaicos de imagen toma muchas fotos regulares para cubrir todo el espacio de visión. Luego, estas imágenes son alineadas y colocadas juntas. Para construir el mosaico de imagen panorámica, la transformación descriptiva entre dos imágenes debe ser calculada. Dai y Khorram [45] y I. Zoghlami et al. [46] usaron rasgos geométricos como esquinas, bordes, y líneas para derivar la trasformación descriptiva. Esto permite calcular la transformación con más precisión. Pero esto demanda un costo computacional muy alto debido a la búsqueda iterativa de los puntos correspondientes. Shum y Szeliski [47], Szeliski [38] [47] y Szeliski y Shum [40] minimizaron directamente las discrepancias en intensidades entre pares de imágenes luego de aplicar la transformación. D.G. Lowe propuso un algoritmo llamado Transformada de Característica Invariante de Escala (SIFT), que es una técnica para extraer puntos de características. Estas características son de características invariantes a escala local para reconocimiento de objetos [49], para reconocer objetos 3D [50] y también para la indexación de formas usando la búsqueda aproximada de vecinos más cercanos en espacios de alta dimensión [51]. También propuso un método para determinar características de imagen distintiva de puntos clave de escala invariante [52]. El algoritmo SIFT es robusto a variación de escala y rotación. Proporciona los puntos de característica que son precisos, estables, confiables y eficientes. Se propuso un método de mosaico de imágenes que también incluye el registro automático. S. Peleg et al. [53] propuso un método para el método de generación de imagen en mosaico utilizando colector plano, cilíndrico y general. La proyección múltiple ayuda en la rápida creación de mosaicos panorámicos de baja distorsión bajo movimientos de cámara muy leves[53]..

(30) CAPÍTULO 1 REVISIÓN BIBLIOGRÁGICA. 19. B. Rousso et al. [54] propuso el modelo de proyección de tubería que se utiliza para definir mosaicos de alta calidad incluso para los casos más difíciles de movimiento hacia adelante y zoom. El modelo también ayuda a eliminar la paralaje durante el movimiento complejo. En 2003 Dae-Hyun Kim publica el artículo “An efficient method to build panoramic image mosaics”, en el cual se describe un método eficiente para construir mosaicos de imágenes panorámicas con múltiples imágenes. Los algoritmos convencionales usaron puntos geométricos de características y optimización para computar la transformación descriptiva que es la relación entre dos imágenes consecutivas. Sin embargo, construir una imagen panorámica era muy consumidor de tiempo debido al cálculo iterativo involucrado. El método propuesto calcula la transformación descriptiva en áreas superpuestas de dos imágenes dadas mediante el uso de cuatro puntos semillas. El punto semilla es un punto sumamente texturizado en el área superpuesta de la imagen de referencia, el cual es extraído usando correlación de fase. Debido a que la región de interés (ROI) fue restringida dentro de las áreas solapadas de dos imágenes, se obtuvieron las correspondencias más exactas. Antes de seleccionar el punto semilla, los histogramas de las áreas solapadas fueron igualados para mitigar la variación de las condiciones de iluminación. Luego de seleccionar el punto semilla, el pesado block matching algorithm (BMA) fue usado para minimizar la distorsión de la imagen causada por la rotación de la cámara. Fue realizado un experimento empleando el método propuesto con varias imágenes y los resultados fueron comparados con la Relación Señal a Ruido de Pico (PSNR). Los resultados mostraron que el método propuesto construye mosaicos de imagen panorámica de alta calidad a alta velocidad [55]. 1.1.2 Estado del arte en construcción de mosaicos H. Bay et al. [56] propusieron un detector de características Speeded Up Robust Features (SURF), el cual tiene alta velocidad en los pasos de detección de características: detección, descripción y emparejamiento. Este detector es aproximadamente 5 veces más rápido que SIFT en términos de extracción de características. Este algoritmo es invariante rotacional. Se utiliza principalmente para la aplicación en tiempo real. J. Wang et al. [57] propone un algoritmo que utiliza el valor medio de clonación perfecta. Este utiliza el modelo de atención visual para extraer la región más destacada y utilizar la.

(31) CAPÍTULO 1 REVISIÓN BIBLIOGRÁGICA. 20. tecnología de registro regional para obtener coincidencia de imágenes. El papel obtiene automáticamente y con precisión las regiones más salientes y también reduce la complejidad del registro de imágenes y así mejora la calidad del mosaico de imágenes. D. Ghosh et al. [58], propusieron en su trabajo utilizar varias métricas en lugar de una sola para validar la confiabilidad del mosaico usando SIFT. Las métricas de rendimiento se basan en una simple comparación de píxeles, por lo tanto mantienen la sencillez computacional. En 2012 Deepak Kumar Jain et al., publica el artículo “Image Mosaicing Using Corner Techniques”, en el cual se propone un algoritmo de construcción de mosaicos de imagen basado en el método de esquina aleatoria. Se usan tres pasos de construcción de mosaicos de imagen automático. El primer paso es tomar dos imágenes de entrada y encontrar las esquinas en ambas imágenes y entonces usando homografía se encuentra su par de esquinas concordantes y se obtiene el mosaico final de salida [59]. La metodología del algoritmo se muestra en la Figura 1.5:. Figura 1.5: Metodología del algoritmo de Deepak Kumar Jain [Adaptación de 58]..

(32) CAPÍTULO 1 REVISIÓN BIBLIOGRÁGICA. 21. En 2013 Vimal Singh Bind en “Robust Techniques for Feature - based Image Mosaicing” [37] propone una nueva técnica de mosaico de imagen panorámica para tres dimensiones, imágenes rotacionales con variación de iluminación. Las imágenes de entrada se pasan a través de dos robustos algoritmos de costura, es decir, SIFT y SURF. La transformación de característica invariable de escala es invariante hacia la escala y la variación de rotación. También es robusto hacia un entorno ruidoso. El algoritmo SpeededUp Robust Features es muy similar a SIFT. Sin embargo, tiene las propiedades de invariancia de iluminación y buena velocidad computacional. Por lo tanto, el resultado de fusión de estos dos algoritmos eficientes da lugar a una imagen panorámica, que lleva todas las propiedades de ambos. El método propuesto muestra resultados superiores en comparación con ambos, SIFT y SURF. 1.2. Conclusiones del capítulo. La calibración no es más que el proceso de extraer los parámetros intrínsecos y extrínsecos de dichas cámaras, entre los que se encuentra incluido el factor de distorsión de las lentes. Para esto existen varios métodos, como los empleados por Davide Scaramuzza, Jean-Yves Bouguet, Juho Kannala, SWARD, Heikkila, etc. Estos utilizan para la calibración una o varias imágenes de un patrón de calibración, que consiste en una figura con características especiales, tales como medidas específicas y ángulos de 90º, utilizándose para ello generalmente tableros de ajedrez o parecidos. A estas imágenes se le detectan las esquinas utilizando algún algoritmo matemático, como el de Harris por ejemplo, y el centro de distorsión, con lo cual se pueden estimar los coeficientes de distorsión y los parámetros extrínsecos de las cámaras. Para corregir la distorsión radial se pueden utilizar el método polinomial o el de división, mediante los cuales se pueden anular los coeficientes de distorsión y de esta forma brindar una imagen más parecida a las del mundo real. Los métodos para construir mosaicos de imágenes también son muy variados. En la construcción de mosaicos se distinguen algunos pasos como el registro de imagen., la homografía, la mezcla y el montaje del mosaico. Estos métodos generalmente usan algún detector de características como SIFT y SURF, que son los más utilizados, así como el algoritmo RANSAC para la detección de homografías..

(33) 22. CAPÍTULO 2.. MATERIALES Y MÉTODOS. Este capítulo estará dedicado a la creación de una herramienta en Matlab que combine los procesos de calibración de cámaras, corrección de la distorsión radial y, construcción de mosaicos de las imágenes. En el primer epígrafe se hablará de los sensores utilizados para capturar las imágenes, de algunas características de dichas imágenes y, del software utilizado para su procesamiento, en este caso Matlab R2017a. El segundo epígrafe estará dedicado a los métodos que se utilizarán para resolver las problemáticas planteadas. El ultimo epígrafe de este capítulo se dedicará al diseño y programación de la herramienta. 2.1. Materiales. Para la realización de este capítulo se utilizaron varios materiales, tales como cámaras, imágenes, software y hardware (computadora). A continuación, una descripción de los mismos. 2.1.1. Cámaras. Parrot Sequoia Sequoia es un sensor (cámara) multiespectral diseñado para la agricultura (Ver Anexo I). Su diseño se basa en tres criterios principales: una excelente precisión, un tamaño y peso reducidos al máximo y una gran facilidad de uso. El sensor Sequoia está previsto para adaptarse a todos los tipos de drones, alas volantes y multirrotores, integrado en las barquillas estabilizadas o sin estabilizar. Su uso permite obtener imágenes de parcelas agrícolas en diversas bandas espectrales que miden el estado de la vegetación [60]. Nuestra Facultad cuenta con uno de estos sensores y los drones necesarios para tomar las imágenes aéreas. Algunas de las características de este sensor son:.

(34) CAPÍTULO 2. MATERIALES Y MÉTODOS. 23. . Cámara RGB 16 Mpx: fotografía en luz visible de sus cultivos.. . Cámara monocromática Verde 1,2 Mpx, longitud de onda de 550 nm, BW 40 nm.. . Cámara monocromática Rojo 1,2 Mpx, longitud de onda de 660 nm, BW 40 nm.. . Cámara monocromática Red-Edge 1,2 Mpx, longitud de onda de 735 nm, BW 10 nm.. . Cámara monocromática Infrarrojo cercano 1,2 Mpx, longitud de onda de 790 nm, BW 40 nm.. . Lente de protección desmontable.. . Un. GPS/GNSS. integrado. que. permite. localizar. el. aparato. mientras. toma fotografías. . Una memoria interna de 64 GB, correspondiente a 10 vuelos.. . Un puerto para tarjeta SD.. . Es una cámara de 72 gramos que se adapta a muchos tipos de drones.. . Posee un sensor de luminosidad (sensor de luz solar) que registra las condiciones de iluminación y calibra automáticamente los cuatro sensores monocromáticos.. También se utilizó una cámara Nikon COOLPIX S3100 con el objetivo de poseer otra fuente adicional para el trabajo, la cual posee las siguientes características [61]: . Cuerpo ultracompacto.. . Resolución máxima de 4320x3240.. . 14 Mpx efectivos.. . Tamaño del sensor de 1/2.3" (6.17 x 4.55 mm).. . Sensor tipo CCD.. . Longitud focal equivalente de 26–130 mm.. . Apertura máxima de F3.2–6.5. . Tamaño de pantalla de 2.7″.. . Dimensiones de 94 x 58 x 18 mm (3.7 x 2.28 x 0.71″).. 2.1.2. Imágenes utilizadas. En el presente trabajo se han utilizado distintas imágenes tomadas con las cámaras antes mencionadas. A continuación, una lista de las mismas:.

(35) CAPÍTULO 2. MATERIALES Y MÉTODOS. 24. Parrot-Sequoia (Resolución: 4608x3456) de 16 bpp pancromática (RGB) Patrón de Calibración La Tabla 2.1 muestra los datos de las imágenes patrón de calibración (ver Anexo II) tomadas por la cámara Parrot Sequoia utilizadas en su calibración. Las cuales son pancromáticas (RGB) y fueron tomadas en condiciones de poca iluminación. Tabla 2.1: Imágenes patrón de calibración de la cámara Parrot Sequoia. Nombre original. Nombre. para Tamaño. calibración Image1.jpg. 1,65 MB. IMG_160101_000139_0004_RGB.JPG. Image2.jpg. 1,56 MB. IMG_160101_000141_0005_RGB.JPG. Image3.jpg. 1,60 MB. IMG_160101_000142_0006_RGB.JPG. Image4.jpg. 1,52 MB. IMG_160101_000147_0009_RGB.JPG. Image5.jpg. 1,58 MB. IMG_160101_000154_0014_RGB.JPG. Image6.jpg. 1,65 MB. Image7.jpg. 1,59 MB. IMG_160101_000158_0016_RGB.JPG. Image8.jpg. 1,54 MB. IMG_160101_000159_0017_RGB.JPG. Image9.jpg. 1,59 MB. IMG_160101_000200_0018_RGB.JPG. Image10.jpg. 1,59 MB. IMG_160101_000138_0003_RGB.JPG. IMG_160101_000156_0015_RGB.JPG. Para construcción de mosaicos (Figura 3.4)      . campo_1.JPG campo_2.JPG campo_3.JPG campo_4.JPG campo_5.JPG campo_6.JPG. Tamaño: 2,32 MB Tamaño: 2,24 MB Tamaño: 2,19 MB Tamaño: 2,33 MB Tamaño: 2,15 MB Tamaño: 2,14 MB. Resolución: 4608x3456 Resolución: 4608x3456 Resolución: 4608x3456 Resolución: 4608x3456 Resolución: 4608x3456 Resolución: 4608x3456. Cámara Nikon COOLPIX S3100 (Resolución: 4320x3240) 8 bpp pancromática Patrón de Calibración.

(36) CAPÍTULO 2. MATERIALES Y MÉTODOS. 25. En la Tabla 2.2 se muestran los datos de las imágenes patrón de calibración (ver Anexo IV) tomadas con la cámara Nikon COOLPIX S3100 para su calibración. Tabla 2.2: Imágenes patrón de calibración de la cámara Nikon COOLPIX S3100. Nombre original. Nombre para calibración. Tamaño. DSCN1467.JPG. Image1.JPG. 5,71 MB. DSCN1468.JPG. Image2.JPG. 5,63 MB. DSCN1469.JPG. Image3.JPG. 5,65 MB. DSCN1470.JPG. Image4.JPG. 5,66 MB. DSCN1471.JPG. Image5.JPG. 5,67 MB. DSCN1474.JPG. Image6.JPG. 5,82 MB. DSCN1476.JPG. Image7.JPG. 5,63 MB. DSCN1477.JPG. Image8.JPG. 5,37 MB. DSCN1480.JPG. Image9.JPG. 5,74 MB. DSCN1481.JPG. Image10.JPG. 5,77 MB. DSCN1482.JPG. Image11.JPG. 5,61 MB. DSCN1483.JPG. Image12.JPG. 5,62 MB. DSCN1484.JPG. Image13.JPG. 5,58 MB. DSCN1496.JPG. Image14.JPG. 5,66 MB. DSCN1498.JPG. Image15.JPG. 5,59 MB.

(37) CAPÍTULO 2. MATERIALES Y MÉTODOS. 26. Para construcción de mosaicos (Figura 3.9) buena. 2.1.3. . uclv_1.JPG. Tamaño: 5,82 MB. . uclv_2.JPG. Tamaño: 5,95 MB. . uclv_3.JPG. Tamaño: 5,87 MB. . uclv_4.JPG. Tamaño: 5,85 MB. . uclv_5.JPG. Tamaño: 5,84 MB. . uclv_6.JPG. Tamaño: 5,86 MB. Hardware y software. Matlab es un software que se utiliza para investigación y para resolver problemas prácticos de ingeniería y matemáticas, con un gran énfasis en aplicaciones de control y procesamiento de señales. También proporciona una serie de soluciones específicas denominadas toolboxes. Estas son muy importantes para la mayoría de sus usuarios. y. son conjuntos de funciones que extienden el entorno Matlab para resolver clases particulares de problemas. Una de las características más importante de Matlab es su capacidad de crecimiento la cual permite convertir al usuario en un autor contribuyente, creando sus propias aplicaciones. Para el desarrollo de esta tesis se utilizó la versión de software Matlab R2017a, la cual es muy actual, este presenta un nuevo entorno gráfico y, como es lógico, muchas más funcionalidades, así como una extensa documentación. El trabajo se realizó en una computadora con SO Windows 7 Ultimate, Service Pack 1, un procesador Intel(R) Celeron(R) CPU G1830 @ 2.80 GHz 2.80 GHz, de 64 bits y una memoria RAM de 6,00 GB, con 5,88 GB utilizable. 2.2. Métodos de Calibración y Corrección. A continuación, una descripción más detallada de los toolbox de calibración de cámaras que se eligieron para la realización de las calibraciones, los cuales fueron el SWARD y el de Bouguet, ya que el de Scaramuzza es para cámaras omnidireccionales que no son nuestro objetivo, y en cuanto a cámaras de ángulo ancho el de Kannala es más complejo que el SWARD en cuanto a requerimientos para el usuario..

(38) CAPÍTULO 2. MATERIALES Y MÉTODOS. 27. 2.2.1 SWARD Camera Calibration Toolbox El SWARD se basa en el método de Hartley-Kang para encontrar el centro de la distorsión. En este se asume respecto a la distorsión radial que un punto en una imagen es movido radialmente desde su punto sin distorsión. hacia su punto distorsionado. . Así, la. distorsión se refiere a un centro de distorsión radial e de acuerdo a la relación (. ). (2.1). donde [ | ]. (2.2). con E siendo una transformación de coordenada 3D Euclidiana que mapea el punto X dentro de un sistema de coordenada de cámara. Sea. puntos con coordenadas en un patrón de calibración plano conocidas y. el punto. correspondiente en la imagen distorsionada. Los puntos del patrón de calibración. y los. puntos de la imagen sin distorsión. (en coordenadas de pixel) se relacionan por. homografía H de acuerdo a. . Los puntos. son luego distorsionados. radialmente fuera del centro de distorsión e para dar (. ).. (2.3). Notar que el factor de distorsión. es típicamente diferente para cada punto. Al multiplicar. esta expresión en la izquierda. por [ ]. (la matriz 3 x 3 de inclinación simétrica. representando el producto cruzado), resulta en [ ]. [ ]. desaparece cuando se multiplica por [ ] . Sin embargo, desde [ ]. [ ]. , donde el término e , se tiene. .. Finalmente, multiplicando en la izquierda por. (2.4) y observando que. [ ]. ,. porque [ ] es la inclinación simétrica, se obtiene ([ ] Escribiendo. [ ]. ) .. (2.5). , se obtiene la usual relación de matriz fundamental. La matriz F puede ser llamada matriz fundamental para la distorsión radial [24].. ..

(39) CAPÍTULO 2. MATERIALES Y MÉTODOS. 28. El SWARD utiliza la función cornerfinder.m de Jean-Yves Bouguet para detección de las esquinas. Par el cálculo de la homografía primero se calcula una suposición inicial mediante un método cuasi-lineal. Luego, si el número total de puntos es mayor que 4, se optimiza la solución mediante la minimización del error de re proyección (en el sentido de los mínimos cuadrados) .[62] La corrección de la distorsión radial se realiza utilizando el modelo de división, el cual describe la relación entre el radio distorsionado. y el radio sin distorsión. como sigue. [63]: ( ). (2.6). El trabajo con este toolbox es muy sencillo. Al arrastrar a la ventana de comandos de Matlab archivo main_gui_calibration.m se muestra el cuadro de funciones de la Figura 2.1:. Figura 2.1: Ventana de Calibración del SWARD. Al presionar el botón Image Input se brinda la opción de seleccionar desde cualquier directorio, una imagen patrón de calibración previamente tomada, cuando la imagen esté cargada se deben observar en el Command Window las siguientes líneas ===============Input an image================= Input Success! >> Luego se procede a presionar el botón Distortion Calibration, con el cual se procede a la detección automática de las esquinas, el cálculo del centro de distorsión, la calibración de la distorsión, la corrección radial de la distorsión en la imagen y al cálculo de la longitud focal de la imagen. Cuando todo este proceso termina se muestran tres figuras con el marcado de las esquinas, el centro de distorsión y la imagen corregida. Para guardar los resultados de la.

(40) CAPÍTULO 2. MATERIALES Y MÉTODOS. 29. calibración y la imagen corregida se presiona el botón Save Parameter, el en la carpeta output que se encuentra dentro del directorio de las funciones del toolbox, guarda los archivos camera_parameter.txt, data.mat y la imagen. Luego presionar el botón Quit y se sale del cuadro de funciones. Uno de los resultados que se muestra es el ttt, el cual es proporcional a la distorsión, de tal forma que mientras más cercano a cero sea su valor, mayor será la distorsión de la imagen y, mientras más cercano a 1 sea su valor menor distorsión presentará. Para corregir nuestras imágenes se ejecuta la función main_gui_correction.m, con la que se muestra el cuadro de la Figura 2.2.. Figura 2.2: Ventana de Corrección del SWARD. Como en la explicación anterior, se selecciona desde archivo la imagen a corregir, se hace clic en Load camera parameter, con lo que se cargan los parámetros que se salvaron durante la calibración, luego presionar Distortion Correct, al concluir la corrección de la distorsión se muestra la imagen corregida, con lo que se está listos para que al hacer clic en Save la imagen corregida se guarde en la carpeta output. Se puede apreciar, que como se menciona anteriormente, es un toolbox de fácil uso para cualquier usuario. 2.2.2 Bouguet Camera Calibration Toolbox Este es un toolbox de calibración de cámara muy robusto, con un gran número de funciones, para comenzar a trabajar con él, se debe de antemano colocar en el mismo directorio del conjunto de funciones nuestras imágenes patrón de calibración bajo el nombre ImageX.formato, siendo Image el nombre base de las imágenes, ejemplo: Image1.jpg; con las imágenes ya colocadas, se ejecuta la función calib.m o calib_gui.m, con las que se da a escoger en una ventana de selección (Figura 2.3), entre dos modos de trabajo, el modo estándar, en el cual todas las imágenes son almacenadas en memoria, o el modo de eficiencia de memoria, en el cual las imágenes son cargadas una por una, el cual es recomendable utilizar cuando se trabaja con muchas imágenes o con imágenes muy grandes, lo que prevé que se muestre el error de Matlab Out of memory..