Aplicación para la transformación de imágenes dióptricas y catadióptricas a panoramas cilíndricos

Texto completo

(1)Universidad Central “Marta Abreu” de Las Villas Facultad de Ingeniería Eléctrica Departamento de Electrónica y Telecomunicaciones. TRABAJO DE DIPLOMA Aplicación para la transformación de imágenes dióptricas y catadióptricas a panoramas cilíndricos Autor: Cesar Yoandri Rodríguez Bravo. Tutor: Dr. Rubén Orozco Morales. Santa Clara 2017 “Año 59 de la Revolución”.

(2) Universidad Central “Marta Abreu” de Las Villas Facultad de Ingeniería Eléctrica Departamento de Electrónica y Telecomunicaciones. TRABAJO DE DIPLOMA Aplicación para la transformación de imágenes dióptricas y catadióptricas a panoramas cilíndricos Autor: Cesar Yoandri Rodríguez Bravo. [email protected] Tutor: Dr. Rubén Orozco Morales. [email protected] Santa Clara 2017 “Año 59 de la Revolución”.

(3) Hago constar que el presente trabajo de diploma fue realizado en la Universidad Central “Marta Abreu” de Las Villas como parte de la culminación de estudios de la especialidad de Ingeniería en Telecomunicaciones y Electrónica, autorizando a que el mismo sea utilizado por la Institución, para los fines que estime conveniente, tanto de forma parcial como total y que además no podrá ser presentado en eventos, ni publicados sin autorización de la Universidad.. Firma del Autor Los abajo firmantes certificamos que el presente trabajo ha sido realizado según acuerdo de la dirección de nuestro centro y el mismo cumple con los requisitos que debe tener un trabajo de esta envergadura referido a la temática señalada.. Firma del Tutor. Firma del Jefe de Departamento donde se defiende el trabajo. Firma del Responsable de Información Científico-Técnica.

(4) i. PENSAMIENTO. La voluntad de ganar, el deseo de tener éxito, el deseo de alcanzar tu pleno potencial, estas son las llaves que abrirán la puerta a la excelencia personal.. Confucio.

(5) ii. DEDICATORIA. Dedico este proyecto: A mis padres Odalis Alejandra Bravo Puñales y Julio César Rodríguez Fonseca. Quienes han sabido guiarme en todas las etapas de mi vida y me enseñaron a superar cada obstáculo que se me presentara por difícil que este pareciera. A mis tíos Dulce María Bravo Puñales y Pablo Víctor Miranda Muñoz por llegar a asumir el papel de madre y padre en estos últimos cinco años. A mis tíos Clara Deisy Bravo Puñales y Augusto Bravo Puñales por brindarme todo su apoyo y ayuda. Como dedicatoria especial a mi tío MIGUEL ANTONIO RODRÍGUEZ FONSECA.

(6) iii. AGRADECIMIENTOS. Gracias a mi familia, en especial a mis padres, mi hermano, tíos y abuelos, por el gran esfuerzo, el cariño y la dedicación que me han brindado siempre y la confianza que han depositado en mí, al creer en mí para el cumplimiento de esta meta tan importante, que representa el inicio de mi vida como profesional. Espero hacerlos sentir orgullosos de este logro que considero que hemos alcanzado todos juntos. A mi tutor Rubén Orozco Morales, por brindarme su apoyo en la elaboración de este proyecto y guiarme durante toda esta etapa, demostrando que más allá de ser un tutor es un excelente profesional y amigo. A mi novia por ser paciente conmigo, sacrificarse y brindarme su amor para hacer esta etapa de mi vida inolvidable. A mis amigos, quienes independientemente si se encuentran lejos o cerca me han brindado su apoyo en cada momento. A mis compañeros de aula, con quienes estudié esta hermosa carrera. A mis profesores de la facultad, por impartirnos sus conocimientos y valores. A todas las personas que de una forma u otra han aportado con sus consejos y experiencias a mi formación tanto personal como profesional..

(7) iv. TAREA TÉCNICA.  Búsqueda bibliográfica sobre imágenes digitales y las propiedades de los lentes, sistematizando la información obtenida.  Determinación de los principales métodos de calibración de cámaras.  Determinación de los principales modelos y métodos de corrección radial de imágenes.  Poner a punto la programación en Matlab de los métodos de calibración de cámaras y corrección radial.  Revisión bibliográfica acerca de los modelos de sistemas dióptricos y catadióptricos.  Llevar a cabo la transformación de imágenes dióptricas y catadióptricas a panoramas cilíndricos.  Redacción del documento de trabajo de diploma con los principales resultados obtenidos.. Firma del Autor. Firma del Tutor.

(8) v. RESUMEN. En el mundo de la fotografía digital, técnicas como la calibración de cámaras y corrección radial de imágenes son prácticamente imprescindibles para la obtención de los parámetros de la cámara y de lograr una imagen lo más parecida a la realidad posible en cuanto a la geometría de los objetos. Con el desarrollo de los sistemas dióptricos y catadióptricos, que poseen un ángulo de visión que puede alcanzar los 360º en el plano xy, así como más de 180° en los planos xz y yz, se ha hecho necesario la creación de métodos que realicen la transformación de las imágenes captadas por estos sistemas a panoramas cilíndricos. La presente investigación se centra en el estudio e implementación de estos métodos y técnicas; teniendo como objetivo general: programar una herramienta capaz de transformar imágenes dióptricas y catadióptricas en panoramas cilíndricos. Además, se realiza una descripción de las características de las imágenes, propiedades de los lentes y principales tipos de objetivos. Como principal resultado, se realizó la programación en Matlab de una herramienta capaz de realizar las acciones de calibración de cámaras, corrección radial y transformación de imágenes dióptricas y catadióptricas en panoramas cilíndricos por medio de una interfaz gráfica..

(9) vi TABLA DE CONTENIDOS. PENSAMIENTO .....................................................................................................................i DEDICATORIA .................................................................................................................... ii AGRADECIMIENTOS ........................................................................................................ iii TAREA TÉCNICA ................................................................................................................iv RESUMEN ............................................................................................................................. v INTRODUCCIÓN .................................................................................................................. 1 CAPÍTULO 1. 1.1. Revisión bibliográfica ............................................................................... 4. Imágenes digitales y los distintos tipos de lentes ..................................................... 4. 1.1.1. Imágenes digitales............................................................................................. 4. 1.1.2. Propiedades e imperfecciones de los lentes ...................................................... 5. 1.1.3. Tipos de objetivos ............................................................................................. 7. 1.2. Calibración de cámaras .......................................................................................... 10. 1.2.1. Método de calibración de cámaras omnidireccionales OcamCalib ................ 13. 1.2.2. Método de Jean-Yves Bouguet ....................................................................... 14. 1.2.3. Método de Janne Heikkila .............................................................................. 15. 1.2.4. Método de Juho Kannala ................................................................................ 16. 1.2.5. Método SWARD............................................................................................. 16. 1.3. Estimación espacial de objetos............................................................................... 17. 1.4. Sistemas omnidireccionales ................................................................................... 17. 1.5. Conclusiones del capítulo ...................................................................................... 18. CAPÍTULO 2.. Creación de la herramienta para la transformación de imágenes dióptricas. y catadióptricas en panoramas cilíndricos y viceversa ......................................................... 19.

(10) vii 2.1. Software, cámaras e imágenes empleadas ............................................................. 19. 2.1.1. Matlab ............................................................................................................. 19. 2.1.2. Características de la cámara Parrot Sequoia ................................................... 20. 2.1.3. Otras imágenes utilizadas ............................................................................... 21. 2.2. Método de calibración y corrección radial ............................................................. 21. 2.2.1. Toolbox de calibración de cámaras y estimación de los parámetros de. distorsión (SWARD)..................................................................................................... 22 2.2.2 2.3. OcamCalib Toolbox for Matlab (Davide Scaramuzza) .................................. 23. Algoritmo matemático para la transformación de imágenes dióptricas y. catadióptricas a panoramas cilíndricos ............................................................................. 27 2.3.1. Transformación de imágenes catadióptricas ................................................... 27. 2.3.2. Transformación de imágenes dióptricas (objetivo ojo de pez) a sistema de. coordenados cilíndricas................................................................................................. 29 2.3.3. Imágenes del iris del ojo humano ................................................................... 30. 2.4. Programación del toolbox ...................................................................................... 32. 2.5. Conclusiones del capítulo ...................................................................................... 34. CAPÍTULO 3. 3.1. Calibración de imágenes omnidireccionales (OcamCalib) .................................... 35. 3.1.1 3.2. Comprobación del funcionamiento de la herramienta............................. 35. Resultados obtenidos con OcamCalib ............................................................ 36. Calibración (SWARD) ........................................................................................... 41. 3.2.1. Imágenes de la cámara Parrot Sequoia ........................................................... 41. 3.2.2. Imágenes Motorola RIZR Z3 .......................................................................... 42. 3.3. Corrección radial de imágenes ............................................................................... 44. 3.3.1 3.4. Corrección radial utilizando el método SWARD ........................................... 44. Obtención de imágenes cilíndricas y ojo de pez .................................................... 45.

(11) viii 3.5. Análisis de run time (costo en tiempo) .................................................................. 47. 3.6. Conclusiones del capítulo ....................................................................................... 48. CONCLUSIONES Y RECOMENDACIONES ................................................................... 49 Conclusiones ..................................................................................................................... 49 Recomendaciones ............................................................................................................. 51 REFERENCIAS BIBLIOGRÁFICAS ................................................................................. 52 ANEXOS .............................................................................................................................. 55 Anexo A. Imágenes obtenidas con el método de calibración de OcamCalib .............. 55. Anexo B. Calibración de la cámara Parrot Sequoia (método SWARD) ..................... 59. Anexo C. Calibración de la cámara Motorola RIZR Z3 .............................................. 60. Anexo D. Transformación de imágenes catadióptricas a cilíndricas ........................... 63. Anexo E. Transformación de imagen dióptrica a cilíndrica ........................................ 64. Anexo F. Imágenes resultantes de la calibración con el toolbox de Jean-Yves Bouguet 65. Anexo G. Corrección con el método SWARD de imágenes con diferentes grados de. distorsión ........................................................................................................................... 69 Anexo H. Iris del ojo.................................................................................................... 70. Anexo I. Imágenes utilizadas en el trabajo con el toolbox .......................................... 71.

(12) 1. INTRODUCCIÓN. En aplicaciones relacionadas con la manipulación digital de imágenes, un aspecto que cobra gran importancia, en el contexto de visión por ordenador, es el proceso de determinar las características internas, geométricas y ópticas de la cámara (parámetros intrínsecos) y la posición en 3D del marco de la cámara respecto a un cierto sistema de coordenadas (parámetros extrínsecos). En muchos casos, el rendimiento del sistema de visión depende de la exactitud de la calibración de la cámara [1]. Existen varios métodos de calibración de la cámara presentes en la literatura, los cuales generalmente se clasifican en dos grupos: calibración fotogramétrica (mediante el uso de patrones) y autocalibración (no utiliza patrones). En los últimos años la fotografía digital y la reconstrucción 3D ha tomado un gran auge y desarrollo, por lo que la calibración de cámaras cada vez se vuelve más importante. Con la aparición de lentes de ángulo ancho se ha logrado captar una visión de la escena más amplia. Este avance trae consigo la problemática de la distorsión geométrica de la escena. Por lo que se han desarrollado diversos métodos para modelar las distorsiones del lente, el más conocido fue el modelo propuesto por C. B. Duane [2], que describe las distorsiones radiales, de descentramiento y de prisma. Entre estas distorsiones, la distorsión radial es la más significativa en cámaras recientes. Otros de los modelos en función de la distorsión radial son: Basu y Licardie [3], quienes propusieron el modelo de distorsión logarítmica, Devernay y Faugeras [4] presentaron el modelo de distorsión de campo de visión, Fitzgibbon [5], con el modelo de división con un solo parámetro, Hartley y Kang [6], quienes propusieron el modelo no paramétrico, así como Claus y Fitzgibbon [7], que construyeron la función de distorsión racional para una amplia gama de distorsiones radiales..

(13) INTRODUCCIÓN. 2. Actualmente, uno de los métodos más eficaces para la calibración de cámaras y corrección de la distorsión radial es el SWARD (Super-Wide-Angle-Lens Radial Distortion), que emplea la misma imagen de entrada y las mismas restricciones que Hartley y Kang [6] para la corrección de la distorsión radial utilizando un patrón plano de calibración, la principal diferencia entre [6] y esta propuesta radica en el método de optimización que utilizan [8]. Con el objetivo de lograr captar un ángulo de visión cada vez más amplio se crean los sistemas dióptricos y catadióptricos, que logran una representación de la escena de hasta 360º en el plano xy. Estos objetivos son muy utilizados en aplicaciones de vigilancia, seguridad y robótica [9]. El principal problema de estos sistemas es la interpretación de la imagen tomada, pues la escena sufre gran deformación en comparación con la realidad. El principal aporte de esta investigación es proporcionar una herramienta capaz de realizar la calibración de cámaras tanto de objetivos normales, de ángulo ancho y de sistemas omnidireccionales, realizar la corrección radial de imágenes; así como realizar la transformación de las imágenes dióptricas y catadióptricas en panoramas cilíndricos. Teniendo en cuenta los aspectos anteriores se plantea el siguiente problema de investigación: ¿Cómo lograr una vista panorámica en coordenadas cilíndricas de las imágenes captadas por sistemas dióptricos y catadióptricos? Para dar solución al problema de investigación se propone como objetivo general programar un toolbox capaz de transformar imágenes dióptricas y catadióptricas en panoramas cilíndricos. Para dar cumplimiento al objetivo general se plantean los siguientes objetivos específicos: . Caracterizar las imágenes digitales y los tipos de lentes fotográficos.. . Sintetizar los distintos métodos de calibración de cámaras y corrección radial.. . Seleccionar los métodos más adecuados para su implementación en un toolbox.. . Crear una función capaz de obtener panoramas cilíndricos a partir de imágenes dióptricas y catadióptricas.. . Integrar en un toolbox con interfaz gráfica para Matlab las herramientas computacionales desarrolladas..

(14) INTRODUCCIÓN. 3. Teniendo en cuenta los objetivos específicos se plantearon las interrogantes científicas, a las cuales se les da respuesta en el desarrollo de la investigación: ¿Qué características presentan las imágenes digitales y los lentes fotográficos? ¿Cuáles son las particularidades más importantes de los principales toolboxes publicados para la calibración de cámaras? ¿Cómo seleccionar e implementar los métodos que más se correspondan a los objetivos de la investigación? ¿Cómo corregir la distorsión radial provocada por los lentes? ¿Cómo integrar en un toolbox para Matlab los métodos de calibración de cámaras y corrección radial, así como de transformación de imágenes dióptricas y catadióptricas en panoramas cilíndricos? El informe de la investigación se estructuró, en resumen, introducción, capitulario, conclusiones, recomendaciones, referencias bibliográficas y anexos. En el primer capítulo se explican las principales características de las imágenes digitales y los distintos tipos de lentes u objetivos, así como una descripción de los principales métodos de calibración y corrección radial. El segundo capítulo se dedicó a la programación e implementación del toolbox. Se describen el software utilizado, las cámaras y las imágenes empleadas. Además, se realiza un análisis de los métodos y funciones utilizadas. En el tercer capítulo se analizan los resultados de la calibración y de la corrección radial de las cámaras e imágenes respectivamente. También se realizó la transformación de imágenes dióptricas y catadióptricas a panoramas en coordenadas cilíndricas y viceversa. Por último, en los anexos se muestran las imágenes y gráficos resultados de los procesos de calibración, corrección radial y transformación de imágenes dióptricas y catadióptricas a panoramas cilíndricos desde diferentes ángulos de inicio..

(15) 4. CAPÍTULO 1. Revisión bibliográfica. En la actualidad el gran desarrollo que ha tomado la obtención de imágenes y de los objetivos de las cámaras ha hecho posible la obtención de fotografías digitales con una calidad cada vez mayor y de lentes con ángulo de visión más amplio. En el presente capítulo se realizará un estudio de las principales características de las imágenes y las afectaciones que las mismas experimentan, así como algunos procesos para su corrección. Se caracterizarán los distintos tipos de cámaras fotográficas, los lentes usados por las mismas, así como los principales parámetros de estas. Además, se hará una descripción de los métodos de calibración de cámaras, corrección radial y del proceso de conversión del sistema de coordenadas esféricas, que poseen las imágenes captadas con lentes catadióptricos y dióptricos, a sistema de coordenadas cilíndrico, que poseen las imágenes panorámicas. 1.1. Imágenes digitales y los distintos tipos de lentes. 1.1.1 Imágenes digitales Las imágenes digitales pueden ser obtenidas de diversas formas a través de dispositivos de conversión análogo-digital como los escáneres y las cámaras digitales. Algunas de las características que poseen estas imágenes constituyen a su vez sus principales ventajas, estas son: . La estabilidad en el tiempo, la transmisión y en el duplicado o copia.. . Prevalecen en el tiempo sin degradación.. . Permiten ser adquiridas y visualizadas casi instantáneamente, son transferidas inmediatamente a la computadora para ser analizadas o procesadas [10]..

(16) CAPÍTULO 1. Revisión bibliográfica. 5. Uno de los elementos que más daño causa en las imágenes digitales es el ruido, el cual es la degradación en la señal de la imagen provocada por perturbaciones externas. El ruido es un problema muy común en la producción de imagen: toda clase de componentes electrónicos pueden afectar el paso de datos a través de ellos, y los resultados pueden ser indeseables. El ruido puede tomar muchas formas diferentes, y cada tipo requiere un método diferente de atenuación. Estos tipos de ruido se clasifican de acuerdo al modelo de contaminación, en aditivo o multiplicativo; a la diseminación de ruido, en diseminado aleatorio causado por fluctuaciones aleatorias de diferentes procesos durante la producción de la imagen afectando todos los pixeles, e impulsivamente diseminado causado por disturbios imprevistos afectando a un porcentaje de los pixeles, periódicamente diseminado causado por las interferencias electromagnéticas periódicas en las partes electrónicas, o irregularmente diseminado cuando afecta solo parte de la imagen [11]. Una de las características de las imágenes digitales de mayor importancia para seleccionar una imagen sobre otra es la calidad de la misma, que, para los propósitos científicos, puede estar definida en términos de que bien la información deseada puede ser extraída de la imagen. Otra característica de gran relevancia es la fidelidad de la imagen, la cual se relaciona con la reproducción perfecta de objetos y tiene que ver con la capacidad de reproducir claramente las características más interesantes del objeto, además es inaceptable la distorsión, la pérdida significativa de información, conservando su forma geométrica, la colocación relativa y la cromaticidad [12]. Por causa del ruido y la manipulación (rotación, compresión, cambios en la resolución, etc.) las imágenes experimentan una degradación considerable que afectan la información de los pixeles y disminuye tanto la calidad como la fidelidad de las mismas [13]. 1.1.2 Propiedades e imperfecciones de los lentes El lente u objetivo de la cámara fotográfica, consiste en el sistema de lentillas y una o más aberturas reguladas por el diafragma. Se ha considerado que el lente siempre es el componente más importante de la cámara fotográfica. La función del sistema del lente y de los controles de abertura es regular:.

(17) CAPÍTULO 1. Revisión bibliográfica. . La cantidad de luz que alcanza el sensor.. . El índice de refracción (resolución límite).. . La profundidad del campo (DOF). [14]. 6. Los parámetros más importantes del lente son el diámetro de abertura (el diámetro de la abertura del diafragma) y la distancia focal (distancia del centro de los lentes al plano de formación de la imagen) [15]. Los lentes presentan varias imperfecciones que están relacionadas en su mayoría con la incidencia de la luz sobre ellos. . Astigmatismo: en los lentes astigmáticos el foco para rayos en distintos planos está a diferentes distancias del lente [16].. . Aberración cromática: es un tipo de distorsión provocada por la imposibilidad de un lente de enfocar todos los colores (longitudes de onda) en un único punto de convergencia. Causada por la dispersión de los materiales del lente. La aberración cromática puede ser minimizada usando un par acromático, en el cual dos materiales con dispersión divergente están pegados juntos para formar un solo lente, no obstante, no produce una corrección perfecta [17] [18].. . Aberración esférica: ocurre porque las superficies esféricas no son la ideal, dando como resultado la falla del foco en los márgenes de los lentes, es una aberración de tipo monocromática que responde a una función polinomial de tercer orden que afecta de manera diferente a cada longitud de onda. En sistemas del lente, el efecto puede ser minimizado usando combinaciones especiales de lentes convexos y cóncavos, así como también usando lentes asféricos [19].. . Distorsión radial: La imagen de un objeto cuadrado ya no es un cuadrado, esta distorsión puede ser positiva, cuando la magnificación incrementa gradualmente del centro hacia las esquinas (por lo que se le denomina distorsión de cojín), o negativa, si la magnificación decrece hacia las esquinas (por lo que se le denomina distorsión de barril) [20] [21]..

(18) CAPÍTULO 1. Revisión bibliográfica. 7. 1.1.3 Tipos de objetivos Existen diversos tipos de objetivos que se clasifican según el ángulo de visión de los mismos, lo que está directamente relacionado con el resultado de la imagen captada. Estas clasificaciones son:  Gran-angular o Ultra-angular: Se consideran gran-angulares los que proporcionan un ángulo visual comprendido entre los 60 y los 180º de ángulo sólido. La distancia focal varía desde los 18 a los 35mm. Con ellos, los objetos cercanos a la cámara aparecen muy grandes con relación a los objetos más alejados y con una fuerte distorsión en perspectiva. Los objetivos gran-angulares cubren cualquier plano de extensiones que se encuentre delante de la cámara, por lo que tienen una gran profundidad de campo, lo cual hace que los objetos se vean enfocados desde muy corta distancia hasta una gran distancia; esto es, no hace falta realizar el enfocado, razón por la cual son preferidos en aplicaciones como la vigilancia, el reconocimiento, drones, robots, visión por computadora, celulares, etc [22].  Normales: Son los que cubren un ángulo visual comprendido entre los 45 y 55º de ángulo sólido, lo que se aproxima bastante al campo visual del ojo humano inmóvil. Vienen a ser un término medio entre los gran-angulares y los teleobjetivos. Se caracterizan por la naturalidad que ofrece en la perspectiva. Su distancia focal puede ser 35 mm y en medio formato entre los 75 y 80mm. Se caracterizan por la poca distorsión radial y la naturalidad que ofrece en la perspectiva, excepto en la toma fotográfica realizada desde muy cerca. Estos objetivos, a su vez, son los que normalmente se fabrican con mayores aperturas de diafragma por lo que son muy luminosos, haciendo que el tiempo de exposición sea más pequeño que en los gran- o ultra-angulares [22].  Teleobjetivos: Se consideran teleobjetivos aquellos lentes con un ángulo visual menor de 31º de ángulo sólido. Su principal característica es el formar en la cámara imágenes grandes de objetos alejados. Sus distancias focales son siempre mayores que las de los objetivos normales estando desde los 80 mm en adelante. Dentro de los teleobjetivos se suele hacer las siguientes subclasificaciones: teleobjetivos cortos, cuando oscilan entre los 80 y 135mm de distancia focal; teleobjetivos normales, entre los 135 y 240mm; superteleobjetivos, entre los 240 y 500mm y ultratelefotos, más allá de los 500mm [22]..

(19) CAPÍTULO 1. Revisión bibliográfica. 8.  Zoom: Los objetivos zoom se distinguen de los demás porque tienen diversas distancias focales. Se usan mucho para variar el tamaño de la imagen sin variar las distancias. Suelen ser más grandes y pesados, pero a su vez pueden llegar a sustituir varios de los objetivos de distancia focal fija. Los objetivos zoom pueden ser de dos tipos en función de sus lentes, pueden ser varifocales o parfocales. Los objetivos parfocales son aquellos que mantienen el punto de enfoque sea cual sea su distancia focal. Es decir, si enfocamos en la distancia focal máxima, no habrá que volver a enfocar a medida que vamos reduciendo la distancia focal. En los varifocales hay que ir corrigiendo el enfoque a lo largo de todo el rango de distancias focales [23].  Dióptricos (Ojo de pez): Los objetivos ojo de pez son uno de los empleados en las cámaras omnidireccionales. Poseen un ángulo visual extremadamente grande con un ángulo sólido de 180º o más. Transforman la escena en una imagen hemisférica de aspecto circular con mucha más distorsión geométrica que la que producen el gran- o ultra-angular. Su lente tiene forma semiesférica. Su distancia focal es muy corta, por lo que su elemento posterior está muy cerca del plano focal. Existen dos tipos de objetivos ojo de pez: los objetivos ojos de pez circulares capturan una vista de 180º completa en todas direcciones y dan como resultado una imagen que concentra toda la información en un círculo central y que, normalmente, deja los bordes negros, Figura 1.1 b); y los ojos de pez diagonales, ese ángulo de visión de 180º se captura a lo largo de la diagonal de la película o sensor. Aunque no captan una imagen tan angular como los ojos de pez circulares, las fotos resultantes no tienen los bordes negros y no resultan tan artificial, Figura 1.1 c). [24]. a). b). c). Figura1.1. a) Cámara dióptrica. b) Imagen ojo de pez circular. c) Imagen ojo de pez diagonal..

(20) CAPÍTULO 1. Revisión bibliográfica. . 9. Catadióptricos: Los objetivos catadióptricos, al igual que los dióptricos, representan sistemas de cámaras omnidireccionales. Estos objetivos poseen un ángulo de visión de 360º en el plano xy, Figura 1.2. Están formados por una combinación de cámaras convencionales y espejos. Desde el punto de vista del modelo geométrico los sistemas catadióptricos han sido estudiados por Baker y Nayar [25], quienes demostraron que los espejos elípticos, parabólicos e hiperbólicos son los únicos que pueden ser combinados con cámaras convencionales constituyendo sistemas catadióptricos centrales (CSC, siglas en inglés). Esta propiedad relaciona los rayos incidentes en un sistema catadióptrico central de manera unívoca con los puntos de la imagen tomada por el sistema. Los sistemas catadióptricos más usuales son el hipercatadióptrico, compuesto de un espejo hiperbólico y una cámara perspectiva, en la que la proyección es una forma no lineal de mapeo y proporciona un marco matemático idealizado, que en realidad es bastante preciso para la estimación de movimiento 3D y problemas de reconstrucción con sistemas de cámara de alta calidad, y el paracatadióptrico formado por un espejo parabólico y una cámara ortográfica que supone que los objetos en el espacio 3D se proyectan ortogonalmente en el plano de la imagen. Estos sistemas, construidos bajo las restricciones geométricas correspondientes, se comportan como sistemas catadióptricos centrales [26].. a). b). Figura 1.2. a) Cámara catadióptrica. b) Imagen tomada por una cámara catadióptrica. El sistema hipercatadióptrico se comporta como central si se sitúa la cámara perspectiva en uno de los focos de la hipérbola generadora F en cuyo caso los rayos proyectados se.

(21) CAPÍTULO 1. Revisión bibliográfica. 10. comportan como si incidiesen en el otro foco F' que es el origen del sistema catadióptrico central, ver Figura 1.3.. Figura 1.3. Representación gráfica del sistema hipercatadióptrico. El uso de estos sistemas puede verse en aplicaciones como la localización, realidad virtual, navegación, edometría visual, etc. [26] 1.2. Calibración de cámaras. El proceso de calibración consiste en el ajuste de los parámetros intrínsecos y extrínsecos de las cámaras mediante un patrón y medidas ya conocidas con el propósito de minimizar las distorsiones geométricas que produce el lente. En la reconstrucción tridimensional esta función es sumamente importante, pues con ella se estiman parámetros necesarios para evaluar coordenadas espaciales en base a las de las proyecciones en las imágenes. Se clasifican en parámetros internos, dados por las características constructivas de las cámaras, y parámetros externos o extrínsecos, que vinculan el sistema de coordenadas asociado al objeto con el sistema centrado en la cámara. Un patrón de calibración es un dispositivo con un sistema de coordenadas propio, y puntos de coordenadas conocidas, cuyas proyecciones son identificables en la imagen con algún algoritmo simple. Las coordenadas de dichos puntos y sus proyecciones permiten plantear un sistema de ecuaciones, cuya solución da los parámetros [26]. En la literatura se presentan diversos métodos, los cuales difieren en la forma de capturar desde las imágenes los parámetros intrínsecos, como también si el proceso es automático 2D2D o manual 3D-2D. Poder extraer información métrica a partir de imágenes 2D del mundo 3D, aunque existen técnicas para inferir esta información desde imágenes captadas por.

(22) CAPÍTULO 1. Revisión bibliográfica. 11. cámaras no calibradas, a través de procesos iterativos de autocalibración, el proceso de calibración de cámara abre la posibilidad de realizar aplicaciones efectivas en visión, tal como realidad aumentada, reconocimiento, seguimiento y reconstrucción 3D, los cuales se basan en el conocimiento de calibración y pose de la cámara. La idea principal tras los procesos de calibración de cámara es describir el modelo de proyección que relaciona los sistemas de coordenadas que permiten obtener los parámetros de la cámara. En esencia el proceso de calibración de cámara consiste en determinar la geometría y características internas de la cámara, parámetros intrínsecos (tamaño horizontal y vertical de los píxeles, coordenadas de proyección del centro óptico, distancia focal), y los parámetros extrínsecos (rotación y translación), que representan la localización y orientación de la cámara relativa a una imagen en un sistema de coordenadas. Estos parámetros normalmente son calculados desde un patrón de calibración que contiene rasgos fácilmente detectables de manera precisa en la imagen capturada. Existen diversas técnicas de calibración de cámara. De acuerdo a la literatura estas pueden ser clasificadas en dos grandes categorías: Calibración fotogramétrica y autocalibración:  Calibración fotogramétrica: Se realiza mediante la observación de patrones cuya geometría en el espacio tridimensional es conocida con un buen nivel de precisión. Los patrones de calibración normalmente están posicionados en dos o tres planos ortogonales entre ellos. En algunos casos, basta con un único plano, cuya traslación es perfectamente conocida. Este tipo de calibración requiere una configuración elaborada, pero sus resultados son eficaces [27]. El método de calibración fotogramétrica propuesto en [28], primeramente, tiene en cuenta un modelo matemático de la cámara, su geometría, esta formulación matemática básicamente, trata de relacionar linealmente las coordenadas tridimensionales del punto en el mundo real (𝑋, 𝑌, 𝑍) con sus coordenadas 2D en el plano de la imagen (𝑥, 𝑦). Posteriormente se realiza un modelo del efecto de la distorsión causada por el lente. Este método recurre a tres alternativas distintas: 1. Establecer una transformación entre las coordenadas de la imagen 2D y las coordenadas del mundo real 3D..

(23) CAPÍTULO 1. Revisión bibliográfica. 12. 2. Fotografiar patrones con características o restricciones geométricas tales como colinealidad, coplanaridad, ortogonalidad, puntos de fuga, etc. Que facilitan la calibración sin necesidad de realizar mediciones auxiliares. 3. Utilizar haces proyectivos conocidos en su forma y en su posición.  Autocalibración: La autocalibración significa obtener los parámetros que definen la cámara (distancia focal, punto principal, posición en el espacio, etc.); por lo que se puede decir que consiste en la obtención de los parámetros de las cámaras dada una calibración proyectiva de las mismas. Al contrario que la calibración fotogramétrica, no se utiliza ningún patrón de calibración ni objeto cuyas dimensiones sean conocidas, sólo la información contenida en las imágenes. Una vez que se conocen los parámetros intrínsecos de la cámara es posible obtener una reconstrucción métrica de la escena 3D [29]. Este método se basa en el movimiento de la cámara observando una escena estática, a partir de sus desplazamientos y usando únicamente la información de la imagen. La rigidez de la escena impone en general restricciones sobre los parámetros de la cámara. Tres imágenes tomadas por una misma cámara con parámetros intrínsecos fijos son suficientes para obtener tanto los parámetros extrínsecos como intrínsecos [28]. La calibración de los sistemas catadióptricos se realiza atendiendo a dos objetivos y enfoques distintos: El primero aborda la calibración interna del dispositivo necesaria para reconstruir información de la escena. Esta calibración interna supone un paso de laboratorio previo a su utilización, y debido a su influencia en el comportamiento posterior del sistema se antepone la precisión a la eficiencia en su desarrollo [30]. Existen diversos modelos geométricos y analíticos para abordar este tipo de sistemas, Svoboda y Pajdla [31] proponen un modelo diferente para cada espejo, Geyer y Daniilidis [32] han propuesto el modelo unificado de la esfera, el cual permite tratar con cualquier sistema catadióptrico central. Este modelo ha sido posteriormente desarrollado por Barreto y Araujo [33], el que llegó a convertirse en el modelo geométrico más usado. La mayoría de los métodos de calibración para sistemas catadióptricos centrales desarrollados tratan el sistema catadióptrico como un todo. Existen.

(24) CAPÍTULO 1. Revisión bibliográfica. 13. no obstante métodos que separan la calibración de la cámara convencional del cálculo de los parámetros del espejo [30]. El segundo enfoque plantea la autocalibración externa del sistema catadióptrico que calcula la orientación de la cámara respecto al entorno, como paso previo a aplicaciones de localización y control visual que requieren que la cámara se mantenga vertical. Esta calibración externa está orientada a ser utilizada durante la ejecución de la aplicación y no previamente con vistas a poder ser desarrollada para un sistema en tiempo real. El objetivo de esta segunda parte es obtener de forma automática la orientación general a partir de una única imagen tomada sin restricción de verticalidad y utilizarla para transformar la imagen en otra equivalente a la que se habría obtenido en posición vertical. Se parte asimismo del supuesto de que se conoce previamente la calibración interna del sistema. El método utilizado consiste en calcular los puntos de fuga de las proyecciones de los contornos rectos que, en las imágenes omnidireccionales son cónicas. Como las rectas verticales y horizontales son predominantes, la mayoría de las cónicas fugan a unos pocos puntos que se intentarán identificar y que son función de la orientación [30]. 1.2.1 Método de calibración de cámaras omnidireccionales OcamCalib Para la calibración de las cámaras se han desarrollado diversos métodos, los cuales son desarrollados y creados en distintos softwares y empleando diversas herramientas y funciones matemáticas complejas. Algunos de estos métodos son elaborados en Matlab a través de la creación de un toolbox, estas herramientas nos permiten conocer la ubicación del objeto en el espacio respecto a la cámara, y algunos hasta corrigen la distorsión que sufren las imágenes. Uno de los tipos de cámaras utilizadas en la toma de imágenes para ser utilizadas en la reconstrucción 3D son las omnidireccionales, la calibración de este tipo de cámaras puede estar clasificada en dos categorías diferentes. El primero incluye métodos que necesitan conocimiento previo acerca de la escena, como la presencia de patrones de calibración. El segundo grupo cubre técnicas que no usan este conocimiento. Esto incluye métodos de calibración de rotación pura o la moción plana de la cámara fotográfica, y los métodos de autocalibración, que es realizado en correspondencia del punto y restricción epipolar a través de minimizar una función. Todas las técnicas mencionadas permiten obtener resultados precisos de calibración, pero se enfocan en tipos particulares de cámaras. Uno de.

(25) CAPÍTULO 1. Revisión bibliográfica. 14. los métodos que se utiliza para calibrar cualquier clase de cámara omnidireccional es el denominado OcamCalib, publicado en 2006 por Davide Scaramuzza [34], el mismo nos ofrece una técnica sencilla, fácil y práctica de calibración. Este se implementa en un toolbox para Matlab que requiere una interacción mínima del usuario. La calibración se realiza por medio de un patrón situado en posiciones arbitrarias. El usuario recibe sólo instrucciones de recabar algunas imágenes de este patrón y marcar esquinas. El método tiene implícito un algoritmo matemático complejo que está fundamentado principalmente en la expansión en serie de Taylor, el cual es transparente para el usuario. Las ventajas fundamentales de esta técnica son: la mayoría de los pasos para realizar la calibración se ejecutan de forma automática, aunque también nos brindan la opción de introducir los parámetros necesarios de forma manual; se necesita de 6 a 10 imágenes, para llevar a cabo este proceso y muestra una estimación de las posiciones en que fue ubicado el patrón, ver Anexo A [34]. 1.2.2 Método de Jean-Yves Bouguet El método de Bouguet [35]introduce un nuevo formalismo en base a un espacio dual, el cual resulta muy conveniente en la calibración de cámaras fotográficas. Este modo permite desacoplar los parámetros intrínsecos de los extrínsecos y lo deriva en un conjunto de soluciones explícitas para la calibración intrínseca de la cámara fotográfica usando polinomios de hasta un quinto orden. En un sentido más amplio, este método provee un entorno general para abordar problemas implicando reconstrucción de escenas en tres dimensiones con restricciones conocidas de la estructura, tales como el paralelismo u ortogonalidad, descubriendo representaciones muy compactas y explotables en el espacio dual. Este acercamiento puede evitar las técnicas iterativas tradicionales (costosas computacionalmente). Con esta técnica se demuestra que con el uso de líneas y planos se dan soluciones cerradas y simples para ambos parámetros, intrínsecos y extrínsecos [35]. Las principales características del toolbox en Matlab son: un objeto plano de calibración, la correspondencia de puntos requiere marcado manual en las esquinas del objeto y la parte de la calibración es completamente automática. El mismo, cuenta con varias funciones, tales como: . Extract grid corners: Extracción de las esquinas.. . Calibration: Calibración..

(26) CAPÍTULO 1. Revisión bibliográfica. . Show Extrinsic: Visualización del estimado de los parámetros extrínsecos.. . Analyse error: Análisis de los principales puntos de error.. . Recomp. Corners: Recalcular las esquinas usando parámetros estimados.. 15. Cada una de estas funciones cuenta con variables de entrada y salida por ejemplo en Extract grid corners el número de cuadros a lo largo de los ejes (𝑥, 𝑦), tamaño de los cuadros en milímetros y la imagen son variables de entrada, a la salida tenemos el conjunto de puntos detectados en 2D y el grupo de los puntos conocidos en 3D; y en la función Calibration a la entrada tenemos las variables de salida de la anterior y los parámetros intrínsecos (distancia focal de la cámara, punto principal de coordenadas, coeficientes de distorsión, etc.) y extrínsecos (ángulo de rotación, vectores de traslación y la matriz de rotación calculada) son obtenidos a la salida [36]. Las imágenes y representaciones graficas obtenidas luego del proceso de calibración con este toolbox se presentan en el Anexo F. 1.2.3 Método de Janne Heikkila Este método de calibración es para ser usado primordialmente con patrones con puntos de referencia circulares, aunque sirve también para puntos pequeños sin geometría específica. Se presume que el modelo de la cámara fotográfica incluye ocho parámetros intrínsecos y seis parámetros extrínsecos, en el que cada cuadro tiene los parámetros extrínsecos separados y los intrínsecos son comunes. El radio de los puntos de control y el factor de conversión están asumidos para ser conocidos por adelantado, así como los puntos de control de las coordenadas 3D. Debido al mapeo no lineal de los modelos de la cámara fotográfica, los parámetros no están calculados de forma directa, lo que produciría una solución óptima en un sentido de mínimos cuadrados, se usa una técnica iterativa de búsqueda para estimar el vector con los coeficientes de la función radial de distorsión del lente; por lo que se necesita tener valores iniciales de los parámetros de la cámara fotográfica para garantizar que un mínimo global puede ser logrado. Este problema es resuelto al ignorar la distorsión del lente y destinar un cálculo lineal para el resto de los parámetros [37]. En este método se incluye una función para la corrección radial de las imágenes, el cual describe un mapeo entre las coordenadas de los objetos en tercera dimensión y las coordenadas de las imágenes en 2D. Este proceso debería producir una estimación imparcial y mínima varianza de los parámetros de la cámara; lo cual se torna difícil de lograr debido a.

(27) CAPÍTULO 1. Revisión bibliográfica. 16. las diferentes fuentes de error que afectan el proceso de obtención de las imágenes. Esta técnica de calibrado utiliza coordenadas con puntos de control circular y la ejecución del mapeo va desde las coordenadas internas de la imagen y hacia atrás para la visión de las líneas de coordenadas o plano 3D. Al usarse los cuadros ponderados el número de iteraciones se duplica [37]. Al igual que los modelos anteriores este método esta implementado en un toolbox para Matlab. 1.2.4 Método de Juho Kannala Este método se concentra en el modelaje geométrico preciso de cámaras. El mismo se centra en la calibración para lentes omnidireccionales, usando un patrón plano con puntos. El método de calibración se basa en un modelo genérico de la cámara fotográfica que será adecuado para los diferentes tipos de cámaras fotográficas omnidireccionales como para cámaras fotográficas convencionales. La calibración consta de cuatro pasos: inicialización de los parámetros internos, la superposición de la proyección y el cálculo de la homografía, inicialización de los parámetros externos y minimización del error de proyección. Este es un método con resultados con nivel relativamente altos. Es adecuado, además, para cámaras convencionales de ángulo ancho y estrecho [38]. 1.2.5 Método SWARD El método SWARD (Super-Wide-Angle-Lens Radial Distortion) de calibración de cámaras cuenta una función para la corrección de la distorsión radial negativa de los lentes de una sola imagen de un patrón plano usando las restricciones de monotonicidad de la función de distorsión radial. En este método se hace referencia a Hartley-Kang [6], en el que se requieren cerca de veinte imágenes de un patrón plano llevado en posiciones y orientaciones diferentes, para obtener resultados satisfactorios de la corrección de la distorsión radial usando un método de mínimo cuadrado. Sin embargo, este utiliza tan solo una imagen del patrón con distorsión radial, obteniendo buenos resultados, tanto de los parámetros de la cámara como de la corrección de la distorsión. SWARD consta con un toolbox para Matlab, que realiza la calibración y la corrección completamente automática, solo requiere de una interacción mínima del usuario al accionar el botón del toolbox que indica la función a realizar (Image input (introducir la imagen), Load camera parameter (cargar los parámetros de la cámara),.

(28) CAPÍTULO 1. Revisión bibliográfica. 17. Distortion correct (corregir la distorsión) y Save (salvar)) [8] [39]. Las imágenes resultantes del proceso de calibración y corrección se muestran en los anexos B, C y G. 1.3. Estimación espacial de objetos. La estimación espacial de objetos se realiza tomando como referencia los parámetros extrínsecos de la cámara (matrices de rotación y traslación). Entre las principales aplicaciones de esta técnica se encuentra la reconstrucción tridimensional a partir de múltiples imágenes calibradas. La reconstrucción 3D es el proceso mediante el cual objetos reales son reproducidos en la memoria de un computador, manteniendo sus características físicas (dimensiones, volumen y forma). Dicho de otra forma, es el proceso por el cual se recupera la forma y las apariencias de un objeto tridimensional o de una escena volumétrica mediante el análisis de la información digital proporcionada por diferentes tipos de sensores. El objetivo de la reconstrucción 3D es la generación de nuevas vistas y el modelado tridimensional de objetos o de escenas a partir de la información (analógica o digital) proporcionada por cámaras pasivas o bien de sensores de rango (infrarrojos, LIDAR, etc.) Existen diversas técnicas de reconstrucción 3D y métodos de malla, cuyo objetivo principal es obtener un algoritmo que sea capaz de realizar la conexión del conjunto de puntos representativos del objeto en forma de elementos de superficie. La eficiencia de las técnicas utilizadas define la calidad final de la reconstrucción. Si suponemos un conjunto de puntos mal representado, existirán puntos definidos que no cumplan las condiciones óptimas para la malla que representa la superficie del objeto [40]. 1.4. Sistemas omnidireccionales. Los sistemas omnidireccionales más conocidos son los catadióptricos y los dióptricos, el primero implica tanto la reflexión como la refracción de la luz, mientras que el segundo está relacionado con la refracción solamente. Estos sistemas captan las imágenes en un sistema de coordenadas esférica, lo que proporciona gran distorsión en las imágenes captadas; para su interpretación se realiza la transformación a los formatos tradicionales, preferentemente a coordenadas cilíndricas. Para lograr dicha transformación se realiza un análisis del modelo.

(29) CAPÍTULO 1. Revisión bibliográfica. 18. de cámara que se emplea y se crean algoritmos matemáticos complejos que permiten la manipulación de las imágenes. Estos métodos y modelos incluyen un gran costo en cómputo producto a su complejidad, pues tienen en cuenta la geometría de los lentes y espejos, así como las propiedades de refracción y reflexión de la luz. 1.5. Conclusiones del capítulo. Las imágenes digitales poseen características peculiares que permiten la manipulación de las mismas para su realce y manipulación. Además, permiten obtener una visualización de la escena captada casi en el mismo instante en que son tomadas. Esta escena puede sufrir modificaciones en la imagen resultante producto a las imperfecciones que presentan los lentes acoplados a las cámaras (astigmatismo, aberraciones y distorsión radial). Entre los distintos tipos de objetivos se encuentra los dióptricos y catadióptricos que pueden llegar a tener un campo de visión de 360º en el plano xy. Los cuales son muy empleados debido a su visión omnidireccional en aplicaciones de robótica y sistemas de vigilancia. Estos sistemas captan imágenes en coordenadas esféricas que experimentan un alto grado de distorsión por lo que necesitan métodos de conversión de esférica a cilíndrica los que son complejos y computacionalmente costosos, existiendo actualmente varios enfoques para resolver este problema. Los métodos de calibración también son diversos y presentan sus peculiaridades, como es tipo de cámara y objetivo para el que fue implementado. Por ejemplo, el método de Davide Scaramuzza [34] es casi automático e ideal para cámaras omnidireccionales, el de Jean-Yves Bouguet [36] es muy interesante y novedoso pues está basado en un espacio dual, estas dos técnicas de calibración también son capaces de encontrar la posición de la imagen en el espacio, el método de SWARD [39] es muy ventajoso para las cámaras con lentes ojo de pez, ya que necesita una sola imagen y corrige la distorsión geométrica con gran precisión. La calibración es esencial en técnicas de reconstrucción tridimensional, ya que proporciona los parámetros necesarios para la ubicación en el espacio de los objetos a partir del conocimiento de las matrices de rotación y traslación de la cámara y posteriormente realizar la reconstrucción del objeto o la escena..

(30) 19. CAPÍTULO 2. Creación de la herramienta para la transformación de imágenes dióptricas y catadióptricas en panoramas cilíndricos y viceversa. En el presente capítulo se procede a la programación en el software Matlab de la herramienta para la obtención de panoramas cilíndricos a partir de las imágenes originadas por sistemas dióptricos y catadióptricos. Se realiza una descripción de las imágenes utilizadas. Se explica el procedimiento seguido en la utilización de los toolboxes para la calibración de cámaras y corrección radial SWARD [8] [39] y OcamCalib [34]. 2.1. Software, cámaras e imágenes empleadas. 2.1.1. Matlab. Matlab es un lenguaje de computación técnica de alto nivel y un entorno interactivo para desarrollo de algoritmos, visualización de datos, análisis de datos y cálculo numérico [41]. La versión que se utilizó para la programación del toolbox fue MATLAB R2013a (8.1.0.604), lanzada el 15 de febrero de 2013. La plataforma en que se instaló fue: . Sistema Operativo: Windows 7 Ultimate 64bit.. . Procesador: Intel(R) Core (TM) i3-4160 CPU @ 3.60Hz.. . Espacio en disco: 6GB para el instalador y 10GB para la instalación.. . RAM: 4GB..

(31) CAPÍTULO 2. Creación de la herramienta para la transformación de imágenes dióptricas y catadióptricas en panoramas cilíndricas y viceversa. 2.1.2. 20. Características de la cámara Parrot Sequoia. La Parrot Sequoia es una de las cámaras adquiridas por la universidad para ser acoplada a los vehículos aéreos no tripulados para la toma de fotografías aéreas, la cual se muestra en la Figura 2.1. Algunas de sus principales características son las siguientes: . Cámara RGB de 16Mpx para fotografía en el espectro de luz visible.. . Cuatro cámaras monocromáticas sincronizadas de 1,2Mpx cada una en las bandas estrechas de las gamas: verde (500nm, BW 40nm), rojo (660nm, BW 40nm), límite del rojo (735nm, BW 10nm) y cercano al infrarrojo (790nm, BW 40nm).. . Sensor de luminosidad (fotómetro) que registra las condiciones de iluminación y calibra automáticamente los cuatro sensores monocromáticos. Además, tiene un puerto para tarjeta SD de hasta 32GB como almacenamiento adicional.. . Un GPS/GNSS integrado que permite localizar el aparato mientras toma fotografías.. . Una memoria interna de 64 GB.. . Razón de disparo (photo rate) de un cuadro por segundo.. . E/S mediante USB-2 con un consumo de cámara más sensor de 5 + 1 = 6 W.. . Peso (cámara + sensor) de 72 + 35 = 107 g. [42]. En la Tabla 2.1 se muestran las principales características de las imágenes tomadas por esta cámara: Tabla 2.1. Resolución de las imágenes (Sequoia) Cámara. Resolución mínima. Resolución máxima. Fila x Columna. Formato. Sensores monocromáticos. 0.3Mpx. 1.2Mpx. 1200x960. .tif. Cámara RGB. 12Mpx. 16Mpx. 4608x3456. .jpg.

(32) CAPÍTULO 2. Creación de la herramienta para la transformación de imágenes dióptricas y catadióptricas en panoramas cilíndricas y viceversa. a). 21. b). Figura 2.1. a) Cámara multi-espectral Parrot Sequoia, b) sensor de luminosidad. 2.1.3. Otras imágenes utilizadas. La Tabla 2.2 relaciona las distintas resoluciones y formatos de las imágenes que fueron utilizadas en los procesos de calibración, corrección y transformación cilíndrica, ver Anexo I. Tabla 2.2. Resolución y formato de las imágenes. Nombre de la Imagen. Resolución. Fila x Columna. Formato. VMRImage. 0.8Mpx. 1024x768. .jpg. 18-05-17_1256. 2Mpx. 1600x1200. .jpg. Ramalingam06_1. 1.5Mpx. 386x385. .png. RoadFisheye_Big. 25Mpx. 5161x5000. .jpg. YardOriginal. 1.2Mpx. 1800x645. .tif. Img01. 0.5Mpx. 801x601. .jpg. In05. 0.3Mpx. 640x480. .jpg. In09. 2Mpx. 1920x1080. .jpg. IrisEye05_Tisse02. 0.06Mpx. 245x245. .png. 2.2. Método de calibración y corrección radial. Todos los métodos explicados en el epígrafe 1.2 fueron implementados y evaluados; no obstante, los resultados que arrojaron los métodos de Bouguet [36], Heikkila [37] y Kannala.

(33) CAPÍTULO 2. Creación de la herramienta para la transformación de imágenes dióptricas y catadióptricas en panoramas cilíndricas y viceversa. 22. [38] no fueron totalmente satisfactorios para las pretensiones de este trabajo, por lo que se descartaron. Por tal motivo, el trabajo de evaluación solo se concentró en los métodos SWARD [8] [39] y de Scaramuzza [34]. 2.2.1 Toolbox de calibración de cámaras y estimación de los parámetros de distorsión (SWARD) El método SWARD [8] [39] está basado en la propuesta de Hartley-Kang [6], la cual asume que la distorsión es hacia el lado radial. El procesamiento de la imagen se divide en varios pasos: 1. Proyección: los puntos son proyectados encima del plano de la imagen por medio de mapeo según la ecuación: 𝑥̃ 𝑢 = [𝐼|0]𝑋. (2.1). donde 𝑿 está expresado en el cuadro de coordenadas de la cámara 2. Distorsión radial: el punto distorsionado 𝑥̃ está dado ̃𝑥 𝑑 = 𝑒̃ + 𝜆(𝑥̃ 𝑢 − 𝑒̃ ). (2.2). donde 𝜆 representa la relación de distorsión y ẽ el centro de distorsión. 3. Muestreo de pixel: los detalles del sistema de coordenadas de los pixeles conforman la matriz de calibración 𝑘.. 𝑥 𝑑 = 𝑘𝑥̃ 𝑑. (2.3). Partiendo de estos cálculos posteriormente se realiza la estimación del centro de distorsión. Cuya estimación se realiza desplazando los puntos con un mayor grado de distorsión hacia los menos distorsionados [39]. Atendiendo a estos parámetros SWARD realiza tanto la calibración de la cámara como la corrección radial de lentes con un alto grado de distorsión, principal ventaja que posee este método sobre otros [8] [39]. Para ejecutar las funciones de calibración y corrección radial se carga en Matlab dichas funciones y se desplaza hacia la ventana de comando el archivo main_gui_calibration.m, este ejecuta la interfaz, que contiene cuatro botones como se muestra en la Figura 2.2 [39]..

(34) CAPÍTULO 2. Creación de la herramienta para la transformación de imágenes dióptricas y catadióptricas en panoramas cilíndricas y viceversa. 23. Figura 2.2. Interfaz para la calibración del Toolbox SWARD. Luego de haber cargado la imagen del patrón mediante el botón Image Input; se obtienen los parámetros de distorsión de la cámara, el centro de distorsión, la distancia focal y las imágenes correspondientes a las distintas etapas del proceso al accionar el botón Distortion Calibration, finalmente se salvan los parámetros de calibración, distorsión y la imagen corregida a través del botón Save Parameter [39]. Para realizar la corrección primeramente se debe ejecutar la función main_gui_correction.m, mostrándose de esta forma la interfaz [39], Figura 2.3.. Figura 2.3. Interfaz para la corrección de imágenes SWARD. Luego de haberse mostrado la interfaz e ingresado la imagen a corregir mediante el botón Image Input, se cargan los parámetros anteriormente calculados en el proceso de calibrado de la cámara (centro de distorsión, coeficiente de distorsión (k1) y distancia focal (ff)) a través del botón Load camera parameter, y la corrección se realiza al accionar el botón Distorstion Correct, mostrando la imagen ya corregida [8] [39]. 2.2.2 OcamCalib Toolbox for Matlab (Davide Scaramuzza) “OcamCalib Toolbox for Matlab” método desarrollado por Davide Scaramuzza [34] permite al usuario calibrar cualquier cámara central omnidireccional, el modelo empleado para el desarrollo de este toolbox supone lo siguiente: . El sistema de la cámara y el espejo es un sistema central, de modo que existe un punto en el espejo donde cada rayo reflejado se intersecta. Este punto es considerado el origen del eje del sistema de coordenadas de la cámara fotográfica (𝑋, 𝑌, 𝑍).. . La cámara y los ejes del espejo están bien alineados, es decir, sólo los desvíos pequeños de la rotación son considerados en el modelo.. . El espejo es giratoriamente simétrico con relación a su eje..

(35) CAPÍTULO 2. Creación de la herramienta para la transformación de imágenes dióptricas y catadióptricas en panoramas cilíndricas y viceversa. . 24. La distorsión del lente de la cámara fotográfica no ha sido considerada porque las cámaras omnidireccionales con espejos usualmente necesitan distancia focal grande para focalizar la imagen en el espejo. Para los modelos objetivos ojo de pez, la distorsión del lente de la cámara está integrado en la función 𝑓, ecuación 2.9.. Para la elaboración del modelo ideal de cámara omnidireccional centrada se parte de la suposición que la cámara y los ejes del espejo están perfectamente aliados, como se mencionó. El parámetro p es un punto de pixel de la imagen, y (𝑢, 𝑣) las coordenadas del pixel con relación al centro de la imagen omnidireccional, Figura 2.4. P será el vector correspondiente del espacio 3D partiendo de un punto de vista efectivo, y (𝑥, 𝑦, 𝑧) sus coordenadas con relación al origen [34].. Figura 2.4. Modelo gráfico de la cámara omnidireccional centrada ideal. Al estar la cámara y los ejes de los espejos perfectamente alineados, 𝑥 y 𝑦 son proporcionales a 𝑢 y 𝑣, así: 𝑥 𝑢 [𝑦 ] = 𝛼 [ ] 𝑣. (2.4). La función para estimar la calibración debe trazar un mapa del punto p de la imagen dentro de su vector 𝑷 correspondiente en el espacio 3D, como sigue: 𝛼⋅𝑢 𝑥 𝑃 = [𝑦] = [ 𝛼 ⋅ 𝑣 ] 𝑓(𝑢, 𝑣) 𝑧 De esta forma se puede incluir α a la función 𝑓 quedando: 𝑢 𝑥 𝑃 = [𝑦] = [ 𝑣 ] 𝑓(𝑢, 𝑣) 𝑧. (2.5). (2.6). Esta simplificación es admitida porque P es un vector y no un punto. Como el espejo es giratoriamente simétrico 𝑓(𝑢, 𝑣) depende solo de la distancia del punto al centro de la imagen.

(36) CAPÍTULO 2. Creación de la herramienta para la transformación de imágenes dióptricas y catadióptricas en panoramas cilíndricas y viceversa. 25. 𝜌 = √𝑢2 + 𝑣 2. (2.7). 𝑢 𝑥 𝑃 = [𝑦] = [ 𝑣 ] 𝑓(𝜌) 𝑧. (2.8). Entonces, se puede simplificar (2.6) en:. Para la calibración lo que se necesita es la función 𝑓(𝜌). El modelo describe la función 𝑓(𝜌) por medio de un polinomio, en el que cuyos coeficientes son los parámetros de calibración a ser estimados. Es decir: 𝑓(𝜌) = 𝛼0 + 𝛼1 𝜌 + 𝛼2 𝜌2 + 𝛼3 𝜌3 + 𝛼4 𝜌4 +. ... (2.9). Así es que los parámetros a estimar son 𝛼0 , 𝛼1 , 𝛼2 , 𝛼3, 𝛼4… La descripción anterior, como se mencionó, considera espejos perfectamente alineados; en la realidad ocurren pequeñas desviaciones en el ajuste del sistema cámara-espejo. Además, por el proceso que digitaliza la cámara, los pixeles no pueden ser cuadrados. La consecuencia natural de estos problemas es que el borde externo circular del espejo aparece como una elipse, Figura 2.5. Figura 2.5. Modelo gráfico de la cámara omnidireccional centrada real. Teniendo en cuenta lo anterior se modelan los errores de desalineación y digitalización a través de una transformación afín: 𝑐 𝑢′ [ ′] = [ 𝑒 𝑣. 𝑥𝑐 ′ 𝑑 𝑢 ] ⋅ [ ] + [ ′] 𝑦𝑐 1 𝑣. (2.10). La ecuación 2.10 relaciona las coordenadas reales producto de la deformación (𝑢 ′, 𝑣 ′) con las coordenadas ideales sin deformación (𝑢, 𝑣) [34]. Este toolbox de calibración cuenta con el archivo ocam_calib.m, el cual al cargarlo hacia la ventana de comando ejecuta la interfaz mostrada en la Figura 2.6, un punto importante es que las imágenes que se utilizarán deben estar contenidas en el mismo directorio que los archivos del toolbox [34]..

(37) CAPÍTULO 2. Creación de la herramienta para la transformación de imágenes dióptricas y catadióptricas en panoramas cilíndricas y viceversa. 26. Figura 2.6. Interfaz del Toolbox OcamCalib de Davide Scaramuzza El primer paso para la calibración consiste en cargar las imágenes mediante el botón Read names, todas las imágenes, así como los parámetros resultados de la calibración son cargados en variable, en la Tabla 2.3 se presenta un conjunto de las variables usadas. La fase más importante para calibración es la extracción de las esquinas, ya que los resultados de este proceso dependen de la posición de las esquinas del patrón; este paso puede realizarse de forma manual o automática [34]. En el paso de calibración y la búsqueda del centro de las imágenes se efectúa por defecto mediante un polinomio de orden 4, ecuación 2.11; se escoge este orden porque se demostró mediante resultados experimentales hechos con diferentes modelos de cámaras omnidireccionales que este orden devuelve los mejores resultados [43], no obstante, este orden puede ser modificado por el usuario. 𝐹 = 𝑎0 + 𝑎1 𝜌 + 𝑎2 𝜌2 + 𝑎3 𝜌3 + 𝑎4 𝜌4. (2.11). Como un modo para minimizar el promedio de error por pixel y los coeficientes del polinomio, se realiza el refinamiento de la calibración, con lo que se obtienen resultados más precisos de los parámetros de calibración. Esta acción comienza con refinamiento no lineal de los parámetros de calibración, se realiza usando el toolbox de optimización de Matlab y en particular la función lsqnonlin. El mismo se efectúa en dos pasos, el primero es refinar los parámetros extrínsecos de la cámara, las matrices de rotación y la traslación de cada patrón representado por la cámara; y el segundo refinar los parámetros intrínsecos. Este proceso necesita de iteraciones ya que estos parámetros no son independientes [34]..

(38) CAPÍTULO 2. Creación de la herramienta para la transformación de imágenes dióptricas y catadióptricas en panoramas cilíndricas y viceversa. 27. Tabla 2.3. Variables mostradas en la ventana de comando. 2.3. Nombre. Variable. Nombre de la base de las imágenes. calib_name. Formato de las imágenes. format_image. Imagen a calibrar. I. Numero de imágenes cargadas. n_ima. Coeficientes del polinomio. ss. Coordenada 𝑥 del centro. xc. Coordenada 𝑦 del centro. yc. Alto del patrón (mm). dX. Ancho del patrón (mm). dY. Parámetros afín. c, d, e. Algoritmo matemático para la transformación de imágenes dióptricas y catadióptricas a panoramas cilíndricos. En este epígrafe se abordará la transformación, según la geometría, de las imágenes obtenidas con sistemas dióptricos, catadióptricos e imágenes del iris del ojo humano a sistemas de coordenadas cilíndricas. 2.3.1 Transformación de imágenes catadióptricas En la literatura actual se describen varios modelos de transformación de imágenes adquiridas por sistemas catadióptricos a panoramas cilíndricos, entre los más establecidos se encuentra el descrito por A. Torii y R. Klette [9], el cual describe los siguientes ejemplos: Dos de los casos de este tipo de geometría se muestra en la Figura 2.7.