Metodología de Integración Orientada a las Técnicas de Visión Estereoscópica e Iluminación Estructurada para Obtener Atributos 3D en la Inspección de Objetos Edición Única

Texto completo

(1)

(2) © Luis Ismael Minchala Avila, 2011.

(3) INSTITUTO TECNOLÓGICO Y DE ESTUDIOS SUPERIORES DE MONTERREY CAMPUS. MONTERREY. PROGRAMA DE GRADUADOS EN MECATRÓNICA Y TECNOLOGÍAS D E INFORMACIÓN. TECNOLÓGICO DE MONTERREY. METODOLOGÍA D E INTEGRACIÓN ORIENTADA A L A S T É C N I C A S D E VISIÓN E S T E R E O S C Ó P I C A E ILUMINACIÓN. ESTRUCTURADA PARA OBTENER. ATRIBUTOS 3D E N L A INSPECCIÓN D E O B J E T O S. TESIS P R E S E N T A D A C O M O REQUISITO. PARCIAL. PARA. OBTENER EL GRADO ACADÉMICO DE: M A E S T R O E N CIENCIAS C O N ESPECIALIDAD EN. AUTOMATIZACIÓN. POR: LUIS. ISMAEL MINCHALA. MONTERREY, N. L. AVILA. MAYO. D E 2011.

(4) INSTITUTO TECNOLÓGICO Y D E ESTUDIOS SUPERIORES D E M O N T E R R E Y CAMPUS MONTERREY P R O G R A M A D E G R A D U A D O S E N MECATRÓNICA Y TECNOLOGÍAS D E INFORMACIÓN. TECNOLÓGICO DE MONTERREY M E T O D O L O G Í A D E INTEGRACIÓN ORIENTADA A L A S TÉCNICAS D E VISIÓN ESTEREOSCÓPICA E ILUMINACIÓN. ESTRUCTURADA. P A R A O B T E N E R ATRIBUTOS 3D E N L A INSPECCIÓN D E OBJETOS. TESIS P R E S E N T A D A C O M O REQUISITO P A R C I A L P A R A O B T E N E R E L G R A D O ACADEMICO DE: M A E S T R O E N C I E N C I A S C O N E S P E C I A L I D A D E N AUTOMATIZACIÓN. POR: Luis Ismael Mínchala A v i l a. MONTERREY, N.L.. M a y o de 2011.

(5) I N S T I T U T O TECNOLÓGICO D E ESTUDIOS SUPERIORES D E M O N T E R R E Y DIVISIÓN D E MECATRÓNICA Y TECNOLOGÍAS INFORMACIÓN P R O G R A M A D E G R A D U A D O S E N MECATRÓNICA Y TECNOLOGÍAS D E INFORMACIÓN. Los miembros del comité de tesis recomendamos que la presente tesis del Ing. Luis Ismael Mínchala Avila sea aceptada como requisito parcial para obtener el grado académico de Maestro en Ciencias con Especialidad en Automatización.. Mayo de 2011.

(6) Metodología de integración orientada a las técnicas de visión estereoscópica e iluminación estructurada para obtener atributos 3D en la inspección de objetos por. Ing. Luis Ismael Mínchala Avila. Tesis Presentada al Programa de Graduados de la División de Mecatrónica y Tecnologías de la Información como requisito parcial para obtener el grado académico de. Maestro en Ciencias especialidad en. Automatización. Instituto Tecnológico y de Estudios Superiores de Monterrey Campus Monterrey Mayo de 2011.

(7) E l buen ejemplo, la honestidad y l a perseverancia son un legado que se los debo a mis formadores, quienes con amor y comprensión han sabido enrumbarnos a nosotros, sus hijos, por el camino del bien. Gracias Papi y M a m i por ser mi infinita fuente de inspiración, a ustedes va dedicado éste trabajo con el que culmino una importante etapa de formación profesional..

(8) Reconocimientos. L a consecución no solo de éste trabajo, sino de una productiva estancia en México se las debo a muchas personas valiosas que tuve la oportunidad de conocer en el I T E S M . Quiero agradecer de manera especial al Dr. Luis Eduardo Garza Castañón por su intenso apoyo en l a fase de investigación, adicionalmente me es grato reconocer el importante aporte de los miembros del comité de tesis: D r . Francisco Palomera Palacios y M S c . Luis Rosas Cobos. A los grandes amigos que he conocido en México les debo un agradecimiento especial, ya que permitieron que el período de estudios de maestría además de ser enriquecedor en conocimiento, sea un espacio de crecimiento personal; y sobre todo gracias a esa increíble persona que me supo apoyar a pesar de l a distancia que nos separa, Alejandra.. L u i s ISMAEL MÍNCHALA AVILA. Instituto. Tecnológico y de Estudios Superiores de. Mayo 2011. v. Monterrey.

(9) Metodología de integración orientada a las técnicas de visión estereoscópica e iluminación estructurada para obtener atributos 3D en la inspección de objetos. Luis Ismael Minchala A v i l a , M . C . Instituto Tecnológico y de Estudios Superiores de Monterrey, 2011. Asesor de l a tesis: D r . Luis Eduardo Garza Castañón. Resumen E l control de calidad al final de las líneas de manufactura es un punto neurálgico en el proceso de fabricación de un producto, más aún si se considera que mayoritariamente se realiza de manera manual. Disminuir los errores de estimación en mediciones de distancias y formas, además de aumentar el número de piezas inspeccionadas por unidad de tiempo en una línea de producción es el objetivo de muchos trabajos de investigación, por lo que en el desarrollo de esta tesis se propone una metodología que permita i m plementar un sistema de inspección tridimensional en una línea de manufactura. E n esta tesis se plantea la captura de información relacionada con l a geometría de los objetos y a través de sus características tridimensionales emitir un reporte con información de distancias y formas dentro de rangos establecidos de tolerancia propios del sistema de visión, que permitan decidir si éstos continúan el proceso de fabricación o deben ser redireccionados para su reparación o desecho. Las soluciones actuales a esta problemática se enfocan principalmente en inspeccionar los objetos en 2D, mientras que las soluciones de tres dimensiones son extremadamente costosas y se basan en técnicas de visión estereoscópica o iluminación estructurada por separado, teniendo como base la triangulación para generar información del espacio tridimensional. E n este trabajo de investigación las dos técnicas anteriores se fusionan para establecer un enfoque de sensor 3D, que analiza en detalle las características tridimensionales de los productos y las partes que lo componen. Los resultados se cuantifican a través de las diferentes.

(10) respuestas que nos brinda un prototipo construido para desarrollar esta metodología, compuesto por dos cámaras para visión estereoscópica y un haz de luz estructurado. L a integración de las técnicas de visión estereoscópica e iluminación estructurada, que es el principal aporte de éste trabajo de investigación, considera la simplificación del problema de correspondencia de puntos que presentan el par de imágenes estéreo, a través del análisis del patrón de luz estructurado que se encuentra proyectado sobre el objeto bajo análisis, lo que permite reducir la complejidad de los algoritmos y mejorar los tiempos de procesamiento en el software.. vil.

(11) Índice general. Reconocimientos. v. Resumen. vi. índice de tablas. xi. Indice de. figuras. Lista de símbolos. xn xiv. Capítulo 1. Introducción. 1. 1.1. Introducción. 1. 1.2. Definición del Problema y Motivación. 3. 1.3. M e t a. 4. 1.4. Objetivos. 5. 1.5. Hipótesis. 6. Capítulo 2. Fundamentos de visión estereoscópica e iluminación estructurada para el cálculo de posición de objetos en el espacio. 7. 2.1. Aspectos generales de una configuración estereoscópica. 7. 2.2. Herramientas matemáticas para localización espacial 2.2.1.. Representación de l a posición. 10 10. 2.2.2.. Representación de la orientación. 11. 2.2.3.. Coordenadas y matrices homogéneas. 15. 2.3. Modelo de l a cámara. 16. 2.3.1.. Matriz de transformación para perspectiva. 17. 2.3.2.. Proyección ortogonal y de perspectiva débil. 20. 2.3.3.. Estimación de puntos 3D utilizando sistemas de visión artificial. 21. 2.4. Estimación de l a matriz de calibración con un enfoque práctico 2.4.1.. Ejemplo de calibración de dos cámaras y cálculo de posición 3D. 2.5. Iluminación estructurada 2.5.1.. 22 24 25. Triangulación Activa. 26. VIII.

(12) 2.5.2.. Iluminación estructurada. 28. 2.6. Trabajos relacionados. 30. 2.7. Aporte al conocimiento. 32. Capítulo 3. Construcción y calibración de un prototipo para pruebas experimentales. 34. 3.1. Diseño y construcción del prototipo . .. 34. 3.1.1.. Cámaras. 36. 3.1.2.. Proyector luz estructurada. 38. 3.1.3.. Circuito de control y comunicación con la P C. .. 39. 3.2. Ventajas de l a configuración estereoscópica con iluminación estructurada. 40. 3.3. Calibración del sistema de visión. 43. 3.3.1.. Adquisición de las imágenes. 43. 3.3.2.. Pre-pr(*cesamiento de las imágenes. 44. 3.3.3.. Barrido del ángulo del láser. 46. 3.3.4.. Correspondencia de puntos. 47. 3.3.5.. Cálculo de las matrices de calibración. 49. 3.4. Validación de l a calibración del sistema. 52. Capítulo 4. Desarrollo de una metodología para inspección de objetos con visión estereoscópica e iluminación estructurada 4.1. Evaluación del desempeño del prototipo. 58 58. 4.1.1.. Precisión del sistema. 58. 4.1.2.. Pruebas de precisión sobre un objeto de manufactura. 63. 4.1.3.. Operación bajo diferentes condiciones de iluminación. 65. 4.2. Metodología utilizada en el desarrollo del proyecto. 66. 4.3. Metodología para la integración de visión estéreo e iluminación estructurada para la inspección de objetos y adquirir atributos 3D. 68. 4.3.1.. Selección de los componentes del sistema. 70. 4.3.2.. Configuración del ambiente de trabajo. 71. 4.3.3.. Desarrollo y pruebas de algoritmos de Pre-procesamiento de imágenes. 72. 4.3.4.. Validación de la calibración del sistema. 74. 4.3.5.. Decodificación de información tridimensional. 74. Capítulo 5. Conclusiones y trabajos futuros. 76. 5.1. Conclusiones. 76. 5.2. Trabajos futuros. 78. Apéndice A . Algoritmo de calibración en M a t l a b. IX. 79.

(13) Apéndice B . Programación Basic del microcontrolador. 82. Bibliografía. 85. x.

(14) Índice de tablas. 2.1. Datos de dos cámaras distintas y de puntos en el espacio. 25. 2.2. Resultados obtenidos con el software implementado en Mathscript de L a b V I E W y / o Matlab. 26. 3.1. Heurísticas para la localización de los puntos de inflexión. 50. 3.2. Puntos de calibración en el espacio y coordenadas en el par de imágenes estéreo. 55. 3.3. Resultados de la validación de l a calibración del sistema. 56. 4.1. Resultados de la medición de distancias sobre el rectángulo de prueba. .. 60. 4.2. Resultados de la medición de distancias sobre la pieza de la figura 4.2. .. 62. 4.3. Resultados de la medición de distancias sobre l a pieza manufactura de la figura 4.4. 65. XI.

(15) Índice de figuras. 2.1. Configuración de un par de cámaras en el espacio. 8. 2.2. Configuración estéreo con una cámara y un proyector de luz. 9. 2.3. Representación de un vector en un sistema coordenado cartesiano derecho. 10 2.4. Representación de un vector en un sistema de coordenadas polares y cilindricas. 11. 2.5. Representación de un vector en un sistema de coordenadas esféricas. . .. 12. 2.6. Orientación de un sistema móvil OUV con relación a uno fijo OXY.. . .. 13. .. 14. 2.7. Rotación del sistema OUVW. con respecto a los ejes OX, OY y OZ.. 2.8. Transformación de perspectiva. 17. 2.9. Transformación de perspectiva. E l sensor de la cámara está en el centro de l a proyección. 18. 2.10. Comparación de proyecciones: perspectiva y ortogonal. 20. 2.11. Arquitectura de un sistema de triangulación activa básico. 27. 2.12. Patrón de franjas codificado y proyectado sobre un objeto cilindrico. . .. 27. 2.13. Proyección de un patrón tipo rejilla sobre objetos 3D [15]. 28. 2.14. Concepto de Iluminación Estructurada. 29. 2.15. Sistema propuesto en [6]. 30. 2.16. Sistema propuesto en [21]. 31. 2.17. Arquitectura del sistema propuesto en [11]. 32. 3.1. Disposición de las cámaras y el patrón de iluminación en el prototipo. .. 35. 3.2. Arquitectura del sistema de visión 3D prototipo. 36. 3.3. Sistema prototipo implementado. 37. 3.4. Comparación U S B - I E E E 1394. 39. 3.5. Proyector de luz estructurada. 40. 3.6. Circuito de control y comunicación. 41. 3.7. P C B del circuito de control y comunicación. 42. 3.8. Problema de correspondencia analizado con correlación cruzada. 43. 3.9. Simplificación del problema de correspondencia a través de la redundancia del sistema de visión. 44. 3.10. Diagrama de flujo del algoritmo de calibración. XII. 45.

(16) 3.11. Adquisición de imágenes en L a b V I E W. 46. 3.12. Preprocesamiento de las imágenes. 46. 3.13. Esqueletización de l a imagen preprocesada.. 48. 3.14. Conectividad entre píxeles. 49. 3.15. Formaciones de las submatrices 5 x 5 y 3 x 3 para el criterio de las heurísticas. 51. 3.16. Diseño del patrón de calibración. 52. 3.17. Puntos de calibración en la pieza. 53. 3.18. H M I implementado en L a b V I E W para el proceso de calibración. 54. 3.19. Dispersión del error en las mediciones de distancia realizadas sobre el objeto patrón. 57. 4.1. Objeto de prueba para mediciones longitudinales. 59. 4.2. Medición del angho de una pieza tridimensional. 61. 4.3. Reconstrucción "del patrón de calibración en 3D. 63. 4.4. Objeto de manufactura utilizado para comprobar la precisión del sistema. 64 4.5. Preprocesamiento fallido de l a imagen. Sistema funcionando en un ambiente con demasiada luz. 66. 4.6. Preprocesamiento exitoso sobre una de las imágenes capturadas del par estéreo. 66. 4.7. Pasos seguidos a lo largo del camino de investigación. 67. 4.8. Metodología para la integración de las técnicas de visión estereoscópica e iluminación estructurada para inpección de objetos en 3D 4.9. Selección del lente de l a resolución y el lente de l a cámara. 69 70. 4.10. Niveles de procesamiento en aplicaciones que involucran imágenes digitales. 73 4.11. Decodificación de puntos de inflexión. XIII. 75.

(17) Lista de símbolos. Punto en el espacio con coordenadas ( P , P , P ) Rayo de proyección entre P y el centro coordenado de l a cámara 1 Distancia medida en un sistema coordenado cartesiano desde el origen hasta la punta del vector con coordenadas ( P , P, P) Ángulo formado por el eje de las abscisas en un sistema coordenado cartesiano y l a proyección de un vector v, en el plano xy Ángulo formado por el eje z y un vector v en el espacio Matriz de transformación homogénea w. x. w. w. y. z. W. W. X. W. y. w. z. Punto del espacio proyectado en la cámara, con coordenadas (r, c) Matriz de transformación de coordenadas espaciales a coordenadas de la imagen (r, c), luego de la adquisición Matriz de transformación para perspectiva Columnas de una submatriz de 5 x 5 de la imagen original para aplicar las heurísticas que permiten encontrar los puntos de inflexión Renglones de una submatriz de 5 x 5 de la imagen original para aplicar las heurísticas que permiten encontrar los puntos de inflexión Columnas de una submatriz de 5 x 5 de la imagen original para aplicar las heurísticas que permiten encontrar los puntos de inflexión Renglones de una submatriz de 3 x 3 de la imagen original para aplicar las heurísticas que permiten encontrar los puntos de inflexión. Field of View, ó campo de visión. Focal length Bus de comunicación estándar para cámaras digitales Industrial and Instrumentation specification for Digital Cameras. XIV.

(18) Capítulo 1. Introducción. 1.1.. Introducción. L a geometría de un objeto es invariante con respecto a rotaciones, suciedad e i n cluso condiciones de iluminación. Además, la forma de un objeto es l a característica que normalmente es requerida en los propósitos de inspección de calidad. L a mayoría de técnicas actuales para control de calidad utilizando visión artificial, basan su funcionamiento en imágenes adquiridas por una sola cámara y un exhaustivo procesamiento de las mismas en una P C o en un procesador con una aplicación de visión artificial embebida corriendo en tiempo real, que comunica la decisión de la inspección realizada sobre el objeto al sistema (normalmente de control) para que éste realice l a clasificación de manera adecuada. A pesar de que la iluminación juega un rol fundamental en las aplicaciones de visión artificial 2D, el objetivo fundamental en estas aplicaciones es homogeneizar l a cantidad de luz sobre los objetos a analizar, eliminar reflejos y sombras, etc. Los atributos que se pueden obtener del procesamiento de imágenes 2D tienen que ver principalmente con mediciones de longitudes, diámetros, determinación de color y textura [25]. Resulta, sin embargo, muy complicado obtener información de la forma de los objetos con una sola imagen de los mismos, por lo que la construcción de una representación 3D a partir de imágenes 2D sería una aproximación con muchos detalles perdidos [14]. E n el momento, en el que detalles de la forma de los objetos se vuelven importantes, ganan un significante protagonismo las técnicas de procesamiento de más de una imagen del mismo objeto capturadas con más de una cámara, y a través de una configuración particular de las mismas (por ejemplo, visión estereoscópica) es posible decodificar detalles 3D de partes claves del producto para su posterior procesamiento. Existe sin embargo, otro enfoque, que al igual que la visión estereoscópica, basa el análisis de las características de forma de los objetos en cálculos a partir de triangulaciones, desde un punto de iluminación y una cámara apuntando el objeto en cuestión. E n este caso además de l a cámara existe un haz de luz estructurado, proyectando un patrón. 1.

(19) específico de iluminación: punto, línea, rejilla, etc. Gracias a esta técnica es posible capturar características 3D con una sola cámara [15]. Los sistemas de inspección visual 3D son en l a actualidad bastante especializados y por tanto relativamente costosos, considerando que muchas empresas del sector industrial que requieren solucionar problemas relacionados con inspección automática prefieren continuar trabajando en modo manual en lugar de invertir en un sistema de visión 3D. Estos sistemas, por otra parte, basan su principio de operación en técnicas de visión estereoscópica o iluminación estructurada por separado. Existen, sin embargo una gran variedad de técnicas para adquirir modelos de objetos 3D, con un variado rango de costos de hardware y diferentes niveles de precisión y detalle en la geometría de los modelos capturados como se menciona en [4, 6, 10, 11, 22]. Durante el desarrollo de esta investigación se trabajará en el concepto de un sensor 3D que basará su funcionamiento en la combinación de las técnicas de visión estereoscópica e iluminación estructurada, a través del análisis de imágenes estéreo adquiridas por cámaras de idénticas características y la alineación de las imágenes proyectando patrones conocidos en los objetos a analizar, emitidos por un sistema de iluminación estructurado. E l énfasis en l a información 3D de un objeto se justifica porque representa el detalle de l a forma geométrica de éste y por tanto posee mucho más valor que l a información 2D que representa las variaciones locales de reflectividad solamente [23]. E l concepto de sensor 3D va de l a mano con el concepto de triangulación activa [30], en donde existe una fuente de luz estructurada que ilumina el objeto. L a ventaja de utilizar iluminación estructurada radica en el uso de un patrón de luz conocido, como por ejemplo un punto láser proyectado en la superficie a analizar, o también una línea, una rejilla o un patrón senoidal con frecuencia variable para lograr una triangulación de fase [15]. Los trabajos desarrollados en [6, 10, 11, 13, 18, 22] utilizan variadas técnicas de adquisición de características tridimensionales, utilizando principalmente visión estéreo o iluminación estructurada por separado, a excepción de [18] que contempla combinar las dos técnicas para l a reconstrucción del relieve facial. E l presente trabajo, por otro lado tiene por meta el procesamiento de las imágenes del par estéreo para adquirir los atributos 3 D , simplificando el problema de correspondencia de puntos a través de l a búsqueda del patrón de iluminación estructurada (línea) en el objeto bajo análisis en las dos imágenes de manera simultánea utilizando procesamiento multihilo (multithread) en L a b V I E W . Los resultados de l a investigación, se cuantificarán a través de las diferentes respuestas que nos brinde un prototipo construido para desarrollar una metodología que permita obtener atributos de objetos en 3D utilizando la fusión de las técnicas de ilumi2.

(20) nación estructurada y visión estereoscópica. Este prototipo utilizará una configuración de dos cámaras dispuestas en formato estéreo, un haz de luz estructurado para resaltar las características 3D del objeto y que a su vez servirá como patrón conocido en el par de imágenes estéreo para simplificar el problema de correspondencia. L a implementación de los algoritmos de visión artificial, triangulación, calibración de cámaras, interpolación, ingeniería inversa, etc., se realizarán en la plataforma de desarrollo L a b V I E W 2009.. 1.2.. Definición del Problema y Motivación E l control de calidad al final de una línea de producción se lleva a cabo de diversas. maneras: • Manual. U n operador al final de una línea de producción se encarga de analizar detalladamente las características, forma, dimensiones, etc., del producto y decide si éste debe continuar o no con el proceso de fabricación. • Muestra aleatoria [20]. Se elige una muestra del total de un lote de producción y se aprueba o no el lote completo para su distribución en base a l a cantidad de objetos que hayan pasado la inspección. Es posible notar que a pesar de que los métodos estadísticos normalmente son confiables, existirán de todas maneras productos defectuosos en el mercado. • Semiautomática. U n operador inspecciona el producto asistido por algún sistema automático. • Automática. Se encuentran difundidas técnicas de visión 2D para reconocimiento de patrones, análisis de color, textura, etc. • No se realiza. Uno de los principales problemas en los procesos de control de calidad tiene que ver con los tiempos de inspección y l a precisión con la que éste pueda realizarse. E n la actualidad existen numerosos sistemas de visión 2D que solucionan parte de los procesos de inspección para control de calidad, sin embargo no cubren áreas específicas, como la automotriz por ejemplo, en l a que se requiere un análisis detallado de las piezas (altos y bajos relieves, agujeros, etc.) que se usarán en ensambles completos de vehículos y que por supuesto no pueden fallar, de manera que no se ponga en riesgo l a vida del usuario. Es posible por tanto, notar que una parte importante en un proceso de producción tiene que ver con la inspección de objetos al final de una línea de producción.. 3.

(21) L a inspección de l a forma de los objetos, de manera particular está vinculada con el campo de aplicaciones de visión artificial 3D e ingeniería inversa [15]. E l método activo sin contacto más ampliamente usado en el campo de visión 3D es el de los sistemas de iluminación estructurada. Estos sistemas están compuestos comúnmente por una cámara y un proyector de luz estructurada [23]. Sin embargo el costo de estas aplicaciones han limitado su expansión a nivel industrial, por lo que una solución de costo moderado y que pueda inspeccionar objetos en tiempos mucho menores que lo que lo haría un operador de manera manual tendrá muy buena acogida en el mercado. A pesar de que el estado del arte actual en visión 3D permite la adquisición de una gran variedad de objetos; operadores eficientes y procedimientos con tiempos de retardo más bajos siguen siendo una meta de investigación en los trabajos que se están llevando a cabo, como por ejemplo: A Simple, Low Cost, 3D Scanning System Using 11. the Láser Light-Sectioning. Method" [6] y "3D real time camera" [13], por citar un par de. trabajos de investigación realizados en esta área. De allí, se han encontrado varias áreas de mejora para la adquisición de modelos 3D, identificados en [4], como se menciona a continuación: • Planificar métodos para adquisición de datos. • Captura confiable y procesamiento robusto de información para un gran número de clases de objetos, ambientes, y objetos con superficies particulares. • Automatización de todos los procedimientos, para minimizar l a interacción del usuario con el sistema. • Retroalimentación en tiempo real de la superficie adquirida. • Métodos para evaluar la precisión global del modelo. Adicionalmente y no menos importante, resulta interesante mencionar que el campo de los sistemas de visión 3D, no sólo es posible aplicarlos a nivel industrial para procesos automáticos, como los de control de calidad que es el caso específico de este trabajo de investigación, sino que también se puede encontrar una enorme área de aplicación práctica en la robótica móvil y l a robótica industrial, por lo que el aporte científico, que este trabajo brinde será de gran utilidad para los estudiantes, profesionales e investigadores involucrados o que deseen involucrarse en el campo de aplicaciones de visión artificial.. 1.3.. Meta. L a meta de este trabajo de tesis es desarrollar una metodología para l a integración de las técnicas de visión estereoscópica e iluminación estructurada en el campo de i n 4.

(22) spección de objetos para adquirir características 3D. Esta metodología se aplica a un prototipo desarrollado en la etapa de investigación y que consta de dos cámaras de idénticas características, un haz de luz estructurado y objetos conocidos construidos con alta precisión (patrones de calibración) de forma que permitan calibrar el sistema y además comprobar su exactitud. E l software que despliega los resultados de las mediciones 3D se implementará con L a b V I E W como plataforma de desarrollo.. 1.4.. Objetivos E l objetivo general de este trabajo de investigación es alcanzar la meta estableci-. da en la sección 1.3, para lo cual adicionalmente se requiere cumplir con los siguientes objetivos particulares:. • Construir un prototipo que incluya dos cámaras y un sistema de iluminación estructurada para evaluar resultados con diferentes objetos. • Evaluar el desempeño en l a adquisición de atributos 3D, de sistemas de iluminación estructurada basados en patrones de punto y línea. • Implementar un Interfaz Hombre Máquina (HMI) para la interacción del usuario con el sistema. Las utilerías con las que el H M I debe contar son las siguientes: • U n a ventana de visualización del proceso de captura de imágenes en tiempo real. • Panel de control para calibración de cámaras, control del ángulo del haz de luz estructurada y ejecución y paro de la aplicación. • U n a ventana flotante que presente los datos del perfil del objeto en 3D. • Salida en un archivo de texto con los resultados de la medición 3D. • Desarrollar una metodología de calibración de cámaras en formato estéreo, al igual que el patrón de iluminación estructurado. Esta metodología debe contemplar el desarrollo de las siguientes actividades: • Hallar matrices de calibración individuales para las cámaras y el haz de luz. • Combinar las matrices de calibración individuales para ajusfar el sistema de adquisición 3D de forma que sea posible adquirir atributos de l a geometría de objetos. • Desarrollar y utilizar algoritmos de autocalibración de L a b V I E W .. 5.

(23) 1.5.. Hipótesis L a combinación de sistemas de iluminación estructurada y visión estereoscópica. son eficientes para adquirir l a geometría tridimensional de objetos de manufactura para implementar procesos de inspección automáticos que permitan tomar decisiones de control de calidad en líneas de producción. L a tesis busca responder además, las siguientes preguntas de investigación: • ¿Puede un sistema de triangulación activa monitorear l a forma de los objetos en tiempo real? • ¿La precisión del sistema de inspección 3D de bajo costo se adaptará a los requerimientos de l a industria? X • ¿Será posible utilizar cámaras de diferentes especificaciones y lograr una calibración óptima del sistema completo?. 6.

(24) Capítulo 2. Fundamentos de visión estereoscópica e iluminación estructurada para el cálculo de posición de objetos en el espacio. Presentar la relación cuantativa entre imágenes 2D y sus estructuras 3D del mundo real, a través de las matemáticas e ingeniería involucradas es el principal objetivo de este capítulo. E n la sección 2.1 se encuentra el detalle de una configuración estéreo general. L a sección 2.2 detalla sistemas coordenados para representar posición y orientación, a la vez que se presentan los conceptos de coordenadas homogéneas y matrices de transformación homogéneas. L a sección 2.3 presenta la modelación matemática de cámaras para adquisición de imágenes, y l a forma en la que utilizando configuración estereoscópica es posible calcular la posición tridimensional de puntos definidos en el espacio. L a sección 2.4 presenta en detalle el cálculo de matrices de calibración de dos cámaras distintas y la estimación de puntos en el espacio utilizando estas matrices y Matlab como herramienta de desarrollo. Las características técnicas y de diseño de i l u minación estructurada se presentan en la sección 2.5. Finalmente l a sección 2.6 contiene breves descripciones de aplicaciones e investigaciones relacionadas al área de inspección tridimensional utilizando técnicas de visión estéreo o iluminación estructurada.. 2.1.. Aspectos generales de una configuración estereoscópica. E n l a figura 2.1 se ilustra la configuración general de dos cámaras observando el mismo espacio tridimensional. A menudo, en el manejo de gráficos por computadora el uso de un sistema coordenado derecho resulta lo más común, con el eje Z correspondiente al rayo que deja el lente de la cámara hacia el campo de visión (FOV ~ Field of View) [14]. De l a figura 2.1, se puede notar que las dos cámaras observan un mismo espacio de trabajo, siendo éste el espacio tridimensional con su propio sistema de coordenadas 7.

(25) W adjunto a él. Intuitivamente, resulta sencillo notar que la localización del punto en el espacio de trabajo puede ser obtenido simplemente determinando la intersección de los dos rayos de las imágenes P w. 0 y P. 1. w. 0.. 2. Para poder realizar la configuración estéreo general ilustrado en la figura 2.1, se deben considerar los siguientes aspectos: • Debemos conocer la posición de la cámara C\ en el espacio de trabajo W y algunas de las características internas de l a cámara, como la distancia focal. • De manera similar, debemos conocer la posición de la cámara C2 en el espacio de trabajo W y sus parámetros internos. • Es necesario identificar la correspondencia del punto 3D, de las imágenes ( P , 1. w. P con los puntos 2D. P).. 2. • Se requiere de alguna formulación que calcule P de los dos rayos de las imágenes w. P. w. O y P. l. w. 0.. 2. 8.

(26) Antes de entrar en el detalle de los puntos citados, se describen a continuación variantes a la configuración estéreo general presentanda en la figura 2.1: • L a configuración mostrada en la figura 2.1 consiste de dos cámaras calibradas a las coordenadas del espacio de trabajo. Las coordenadas de un punto 3D son calculadas a través de la intersección de dos rayos de las imágenes correspondientes a los puntos en ellas. • U n a de las cámaras puede ser reemplazada por un proyector el cual ilumina una o más puntos de la superficie utilizando un haz de luz o un patrón especial (Iluminación Estructurada).. E l proyector puede ser calibrado de idéntica manera. a una cámara, como se ilustra en la figura 2.2 [14]. • E l conocimiento previo del modelo del objeto puede reemplazar una de las cámaras. E n muchos casoS la información del modelo del objeto agrega suficiente información que permite decodificar información tridimensional a partir de una sola imagen.. Figura 2.2: Configuración estéreo con una cámara y un proyector de luz.. 9.

(27) 2.2.. Herramientas matemáticas para localización espacial. E n l a sección 2.1 se resaltó la importancia de hallar una formulación matemática que permita calcular. w. P de los dos rayos de las imágenes P w. O y P. l. w. 0.. 2. Las. herramientas matemáticas de localización espacial que se presentan en esta sección son de aplicación general, siendo los campos de aplicación principales los de visión 3D, robótica y realidad virtual.. 2.2.1.. Representación de l a posición. L a localización de un cuerpo rígido en el espacio precisa de especificar tanto su posición como su orientación. Ambas deben ser establecidas en relación a un sistema de referencia definido* E n un plano bidimensional, la posición de un cuerpo rígido está ligada a dos grados de libertad y, por tanto, la posición del cuerpo quedará definida por dos componentes independientes. E n el caso de espacio tridimensional será necesario emplear tres componentes. Coordenadas cartesianas Si se trabaja en un plano, con un sistema coordenado OXYZ. de referencia aso-. ciado, un punto p vendrá expresado por las componentes (x,y,z). correspondientes a. los ejes coordenados del sistema OXYZ,. como se ilustra en la figura 2.3.. Figura 2.3: Representación de un vector en un sistema coordenado cartesiano derecho.. 10.

(28) Coordenadas polares y cilindricas Para un plano, es posible también caracterizar la localización de un punto p de un vector utilizando como referencia la distancia desde el origen del sistema coordenado hasta el punto de interés y el ángulo que forma el rayo trazado desde el origen hasta el punto p, y el eje x. Para el caso tridimensional se aumenta la coordenada z para caracterizar la localización del punto p. Esta situación se ilustra en la figura 2.4.. x. Figura 2.4: Representación de un vector en un sistema de coordenadas polares y cilindricas.. C o o r d e n a d a s esféricas Es posible también utilizar coordenadas esféricas para realizar la localización de un vector en un espacio tridimensional. Considerando el sistema de referencia OXYZ, vector cualquiera p tendrá como coordenadas esféricas (r, 0,0),. un. donde r es la distancia. medida desde el origen hasta el extremo del vector p; la componente 9 es el ángulo formado por l a proyección del vector en el plano OXY. y el eje OX, y finalmente la. componente 0 es el ángulo formado por el vector p y el eje OZ, como se ilustra en la figura 2.5.. 2.2.2.. Representación de l a orientación. U n punto en el espacio queda completamente definido a través de los datos de su posición. Sin embargo, en el caso de un sólido rígido, se requiere conocer adicionalmente. 11.

(29) Figura 2.5: Representación de un vector en un sistema de coordenadas esféricas.. su orientación con respecto al sistema de referencia. Una orientación en el espacio tridimensional viene definida por tres grados de l i bertad o tres componentes linealmente independientes. Para poder describir de forma sencilla la orientación de un objeto respecto a un sistema de referencia, es habitual asignar solidariamente al objeto un nuevo sistema, y después estudiar la relación espacial existente entre los dos sistemas, el de referencia fijo y el nuevo. Para simplificar este análisis, se utilizan las matrices de rotación. M a t r i c e s de r o t a c i ó n Considérese un sistema OXY de referencia fija y un sistema móvil OUV solidario al objeto cuya orientación es de interés. U n vector p del plano se puede representar como: (2.1) Adicionalmente, se presentan las siguientes igualdades: (2.2) Realizando la sustitución de la expresión 2.1 en la ecuación 2.2, se obtiene: (2.3) 12.

(30) Donde:. es la matriz de rotación, que define la orientación del sistema OUV con respecto al sistema OXY,. y que sirve para transformar las coordenadas de un vector en un. sistema a las del otro. E n el caso de un sistema de dos dimensiones, la orientación viene definida por un único parámetro independiente, como se ilustra en la figura 2.6.. Figura 2.6: Orientación de un sistema móvil OUV con relación a uno fijo OXY.. P a r a el caso tridimensional el razonamiento es similar. Supóngase ahora que los sistemas OXYZ. y OUVW. son coincidentes en el origen. U n vector p del espacio podría. estar referido, como se estudió en la sección 2.2.1, a cualquiera de los dos sistemas de. •. la siguiente manera:. Y de manera similar al caso bidimensional, es posible establecer la siguiente equivalencia:. (2-6) Donde:. 13.

(31) es la matriz de rotación que define la orientación del sistema OUVW al sistema OXYZ.. con respecto. Resulta de gran utilidad establecer la expresión de matrices de. rotación que relacionen giros sobre un eje únicamente, como se ilustra en la figura 2.7.. Figura 2.7: Rotación del sistema OUVW. con respecto a los ejes OX, OY y OZ.. Las matrices de rotación pueden componerse para expresar la aplicación continua de varias rotaciones [2]. Es importante considerar el orden en que se realizan las rotaciones, pues el producto de matrices no es conmutativo.. 14.

(32) 2.2.3.. Coordenadas y matrices homogéneas. P a r a representar de manera conjunta la posición y l a orientación de un sólido en el espacio, se introducen las coordenadas homogéneas. U n elemento de un espacio n-dimensional, se encuentra representando en coordenadas homogéneas por n + 1 dimensiones, de t a l forma que un vector p ( x , y, z) vendrá representado por p(wx, wy, wz, w), donde w tiene un valor arbitrario y representa un factor de escala. A partir de l a definición de las coordenadas homogéneas surge inmediatamente el concepto de matriz de transformación homogénea. Se define como matriz de transformación homogénea, T a una matriz de dimensión 4 x 4 que representa l a transformación de un vector de un sistema de coordenadas a otro.. (2.7) Donde, R-3 3 representa una matriz de rotación como las que se presentaron en l a X. sección 2.2.2, P 3 i por otro lado es un vector de posición en coordenadas cartesianas X. similar a los presentados en la sección 2.2.1, f i 3 indica la transformación de perspecX. tiva, que se detalla más adelante para el caso de cámaras en configuración estéreo, y W i x i se usará como herramienta de escalamiento global.. L a ecuación 2.7 puede ser utilizada para representar la orientación y l a posición de un sistema O'UVW. resultado de rotar y trasladar el sistema original OXYZ. según. R-3x3 y P 3 x i respectivamente. Asimismo, esta matriz puede servir para conocer las. coordenadas (r ,r ,r ) x. y. z. del vector r en el sistema OXYZ. (ru, rv, rz) en el sistema. a partir de sus coordenadas. O'UVW:. (2.8). L a principal ventaja de las matrices homogéneas reside en su capacidad de representación conjunta de posición y orientación. Esta representación se realiza utilizando al mismo tiempo l a matriz de rotación R-3 3 y el vector de traslación P 3 i en una misX. X. ma matriz de transformación homogénea [2]. Se debe considerar sin embargo, el orden de las transformaciones puesto que se pueden producir resultados diferentes. U n a aplicación de gran utilidad en nuestros propósitos de visión 3D, que las m a trices de transformación homogéneas nos ofrecen es la transformación de perspectiva. Supóngase un lente situado sobre el plano OXZ cuya distancia focal es / situado sobre. 15.

(33) el eje O Y , como se ilustra en la figura 2.8. Es posible comprobar que el punto r(x, y, z) se ve en el plano del lente como un punto r'(x', y', z') cuyas coordenadas vienen dadas por la siguiente expresión:. (2.9) Es posible representar esta transformación de perspectiva, utilizando una sola matriz de transformación homogénea del tipo:. (2.10). 2.3.. Modelo de la cámara E n la ecuación 2.11 se presenta el modelo algebraico utilizado para calibrar sis-. temas de visión con imágenes en perspectiva. A lo largo de esta sección nos dedicaremos a determinar los componentes de la matriz C a partir de configuraciones fijas del sisJ. W. tema de visión.. (2.11). 16.

(34) 2.3.1.. M a t r i z de transformación para perspectiva. E n la figura 2.8 se ilustra la problemática general de perspectiva en un sistema de visión. E l conjunto de ecuaciones 2.12 presenta el álgebra de la transformación de perspectiva. Las coordenadas de la imagen [ P , F. X. P ,]. F. y. T. se encuentran en las mismas. unidades que las coordenadas del espacio tridimensional, y no en píxeles. L a transformación a píxeles se desarrolla en detalle más adelante.. (2.12) U n a transformación de perspectiva sencilla se ilustra en la figura 2.9, que a su vez se define únicamente en términos del parámetro / , la distancia focal. L a matriz ,Tl{f) F. se presenta en la ecuación 2.13 en su forma de 4 x 4 elementos, de forma que se pueda combinar con otras matrices de transformación. Nótese que la matriz tiene rango 3, y 17.

(35) no 4, por lo que no es invertible.. (2.13). Figura 2.9: Transformación de perspectiva. E l sensor de la cámara está en el centro de la proyección.. U n a transformación alternativa puede definirse colocando el origen de l a cámara en el centro de l a imagen de manera que P F. la figura 2.9 en l a que P F. Z. Z. = 0, a diferencia de lo que se muestra en. = / . L a matriz de proyección, por tanto quedaría modificada. de l a siguiente manera:. (2.14). E l caso más general, involucra la no coincidencia del sistema coordenado general W y el de la cámara C. U n a rotación y traslación son necesarias para convertir el punto. 18.

(36) del mundo. w. P a las coordenadas de la cámara. P. Tres parámetros de rotación y tres. de traslación se requieren para lograr esto:. (2-15). Es posible por tanto, combinar las transformaciones para modelar el cambio de coordenadas de W a C, seguido de una transformación de perspectiva. L a tercera fila de l a matriz se descarta puesto que únicamente se obtendrá el valor constante para P.. F. Z. P. F. está en el plano de la imagen por lo que una transformación de escalamiento. será necesaria para convertir a las coordenadas de píxeles de P. 1. (2.16). L a transformación de números reales a píxeles, incluyendo l a dirección opuesta del eje vertical está dada por:. (2.17) siendo dx y dy el tamaño vertical y horizontal, respectivamente, de capa píxel en l a imagen, pero en unidades del mundo real. E l resultado final para la matriz de calibración de la cámara que transforma los puntos 3D en coordenadas de píxeles de imagen está dada por:. (2.18). 19.

(37) Resulta muchas veces complicado ejecutar este cálculo con precisión suficiente, puesto que en la práctica se requieren medir ángulos y distancias, por lo que muchas veces es recomendable y preferible utilizar un procedimiento definido para calibración de la cámara, como se detalla más adelante en este capítulo.. 2.3.2.. Proyección ortogonal y de perspectiva débil. Si simplificamos el problema de proyección de la sección 2.3.1, proyectando cada punto del mundo, W, paralelamente al eje óptico y directamente sobre el plano de la imagen, obtendremos una situación similar a la que se ilustra en la figura 2.10. L a proyección ortogonal se puede observar como una proyección de perspectiva considerando una distancia focal, / , igual a infinito.. Figura 2.10: Comparación de proyecciones: perspectiva y ortogonal.. (2.19). 20.

(38) A menudo, una transformación de perspectiva puede ser aproximada por una de perspectiva ortogonal a través de un escalamiento uniforme en el plano real de la imagen. Proyectar un punto lejano en la coordenada z y aplicar un escalamiento uniforme ha sido llamado perspectiva débil. U n factor de escala adecuado se encuentra por la relación de la distancia del objeto, P , W. Z. y la distancia focal, / , de la cámara. a través de la expresión s = wp-. L a transformación de perspectiva, queda por tanto representada como sigue:. (2.20). 2.3.3.. Estimación de puntos 3D utilizando sistemas de visión artificial. E n la figura 2.1 se ilustra la configuración general estéreo de dos cámaras. Resulta sencillo allí observar que el punto P W. puede ser estimado de la intersección de los dos. rayos que salen de los centros de proyección de las cámaras. Por tanto, si utilizamos las matrices de calibración de perspectiva estudiadas en las secciones anteriores, para dos cámaras, podremos estimar las coordenadas reales tridimensionales de un punto en el espacio, [x, y, z] a partir de las coordenadas de imagen obtenidas con las cámaras previamente calibradas,. [ri,Ci]. y. [r2,C2J.. Tomando como referencia la ecuación de calibración de una cámara, presentada en l a expresión 2.11, podemos plantear un sistema de ecuaciones para la estimación de un punto en el espacio, con un procedimiento similar al que se muestra a continuación:. (2.21). Las variables desconocidas son las coordenadas del punto en el espacio, [x, y, z], y 21.

(39) si eliminamos las coordenadas homogéneas s y t de las ecuaciones anteriores, es posible plantear el siguiente sistema lineal de ecuaciones:. (2.22) Errores de aproximación en los modelos de las cámaras y el truncamiento de coordenadas continuas a píxeles, pueden producir inconsistencia en la solución de las ecuaciones 2.22. U n a solución apropiada planteada en [14], menciona calcular la distancia más corta entre los rayos de las imágenes hacia el punto en el espacio tridimensional. Si la distancia de este segmento es lo suficientemente pequeña, se asigna el punto medio como el punto de intersección de los rayos de l a imagen, [x, y, z].. 2.4.. Estimación de la matriz de calibración con un enfoque práctico. Se presenta a continuación l a manera de encontrar los elementos de l a matriz de calibración presentada en la ecuación 2.11, utilizando un enfoque práctico. E l campo de visión de la cámara y el enfoque deben permanecer fijos y, con el uso de un patrón de calibración, con dimensiones conocidas, procedemos a plantear un problema de optimización para ajusfar los parámetros de calibración de nuestra cámara. Se toma un juego de coordenadas Pj, r. Pj,. w. donde Pj = [ P , T. T. nada del píxel en l a imagen donde se visualiza el punto 3D Pj w. r. 1. P¿[ es la coorde-. = [ P, W. X. Py,. W. Pz]-. W. E n [14] recomiendan un mínimo de 6 puntos para una calibración adecuada, siendo 25 o más lo ideal para mejorar el proceso de optimización a través de mínimos cuadrados. De manera similar a l a que utilizamos para eliminar el factor de escala en las ecuaciones 2.22, definimos dos ecuaciones que modelan l a geometría del rayo de una de las cámaras (ecuación 2.23). Cabe destacar en este punto, que este análisis y el método en si, puede ser aplicado a otra cámara con una ubicación diferente, y una vez obtenidas las matrices de calibración de las cámaras es posible proceder a los cálculos de posición de objetos en el espacio, como se mencionó en l a sección 2.3.3.. 22.

(40) E n virtud de que se pueden tener varios rayos desde el centro de la imagen a diferentes puntos en el espacio y generar siempre para cada rayo el conjunto de ecuaciones planteadas en l a expresión 2.23, es posible obtener 2n ecuaciones diferentes a partir de n puntos de calibración. Se puede utilizar notación matricial para reescrbir nuevamente la expresión 2.23 de la siguiente forma, considerando n puntos de calibración: A. 2 n X. i i Xiixi. —. b „xi 2. (2.25). Resulta sencillo notar, analizando brevemente l a expresión 2.25 que existen 11 incógnitas y más de 12 ecuaciones, por lo que el sistema es redundante y nuestro problema se vuelve principalmente de optimización. E n la sección 2.3.3 se mencionó que las ecuaciones de los rayos de las cámaras apuntando hacia un punto no siempre tendrán solución, y en virtud de que nuestro análisis partió de las ecuaciones en esa sección planteadas, existe una gran posibilidad de que el sistema de ecuaciones 2.25 no sea consistente. Se trata por tanto, de hallar l a solución que más se acerque a una solución real del sistema, en caso de que fuera consistente. E n [12], se detalla el proceso de proyección ortogonal y l a minimización del error en el cálculo de sistemas de ecuaciones 23.

(41) inconsistentes a través del algortimo de mínimos cuadrados, que es justamente lo que utilizaremos en nuestra aplicación práctica. E l proceso de proyección ortogonal y minimización del error para la estimación de l a solución de un sistema como el presentado en l a expresión 2.25, trata de proyectar el vector al cual queremos representar en el espacio columna de nuestra matriz de coeficientes a través de la ortogonalización del mismo en este espacio generado. A pesar de la complejidad aparente del criterio, la aplicación del algoritmo para dar solución a nuestro problema y lograr los resultados esperados es muchísimo más simple de lo que aparenta. A continuación se presenta el algoritmo de solución del sistema de ecuaciones 2.25 a través de mínimos cuadrados:. (2.26) Si utilizamos Matlab o L a b V I E W como herramienta de desarrollo para implementar el método de mínimos cuadrados para l a solución del sistema de ecuaciones 2.25, basta utilizar el comando x = A\B. A continuación se presenta un ejemplo de calibración de dos cámaras diferentes y el cálculo de posición 3D utilizando l a teoría hasta aquí presentada.. 2.4.1.. Ejemplo de calibración de dos cámaras y cálculo de posición 3D. E n l a tabla 2.1 se presenta un conjunto de datos que representan varios puntos 3D, en milímetros, y las coordenadas correspondientes en el par de imágenes estéreo, imagen 1 e imagen 2 capturadas por dos cámaras distintas. E n el Anexo 1 se presenta el detalle de l a solución de este ejemplo utilizando el Mathscript de L a b V I E W 2009, y los resultados generados por el sistema se analizan en esta sección. E l Mathscript de L a b V I E W 2009 posee una estructura idéntica a la que el Matlab ofrece, en lo que a creación de archivos se refiere, por lo que el código del Anexo 1 podría ejecutarse sin problema también en ésta platafoma. Los resultados de calcular los puntos en el espacio partiendo de los datos del par de imágenes estéreo, y luego de haber hallado las matrices de calibración del sistema C\ y C , como se detalla en l a sección 2.4, se presentan en l a tabla 2.2. Las columnas 2. 8,9 y 10 muestran el error generado en la estimación del punto en el espacio, al que se hace referencia en la columna correspondiente; resulta sencillo notar que a pesar de que 24.

(42) Tabla 2.1: Datos de dos cámaras distintas y de puntos en el espacio. el método de calibración utilizado es eficiente y que l a estimación del error se realiza sobre los mismos puntos utilizados en la calibración del sistema pueden existir errores de hasta 0,1721 mm, lo que nos indica como primer resultado experimental previo a la implementación práctica que el error de estimación de los puntos en el espacio con una configuración estereoscópica será mayor que cero. E n la sección 3.4 se presentan los resultados de precisión del sistema experimental utilizando el mismo enfoque de éste ejemplo.. 2.5.. Iluminación estructurada. L a mayoría de los problemas de inspección industrial, ingeniería inversa y realidad virtual requieren información sobre l a forma geométrica de los objetos en el espacio tridimensional [15]. Los sensores ópticos 3D trabajan con fuentes de luz, lentes, fotodiodos y cámaras de video para brindar información de l a geometría de un objeto, de manera tan precisa como las limitaciones físicas de los componentes del sistema lo permitan. U n a práctica bastante común en visión 3D es proyectar un patrón conocido en la superficie del objeto a analizar y observar este patrón (triangulación activa). Para interpretar la información 3D del objeto, se requieren conocimientos y experiencia en. 25.

(43) Tabla 2.2: Resultados obtenidos con el software implementado en Mathscript de L a b V I E W y / o Matlab. el manejo de imágenes bidimensionales y adquisición de imágenes.. 2.5.1.. Triangulación Activa. L a triangulación, en geometría, es el uso de triángulos para determinar posiciones de puntos, medidas de distancias o áreas de figuras. L a aplicación práctica de este principio matemático, para la obtención de l a información geométrica mediante triangulación activa por proyección de luz estructurada, consiste en lo siguiente: • U n patrón es proyectado sobre el objeto bajo prueba, en una "dirección de iluminación" específica, y es observado desde una diferente "dirección de observación". E l ángulo formado entre las dos direcciones es llamado ángulo de triangulación 0, figura 2.11. • E l patrón puede ser un punto de un láser, para medición de distancias locales, ó un patrón de franjas, para una medición completa de la forma del campo de visión adquirido, como se ilustra en l a figura 2.12. De la ubicación del patrón en l a imagen, a través de triangulación se evalúa la distancia del detalle sobre el objeto, que queremos resaltar y decodificar. U n cambio en la distancia hacia el objeto se codificaría como un desplazamiento lateral del patrón. Proyectar una 26.

(44) línea sobre la superficie del objeto brinda la posibilidad de observar un perfil de la superficie. Para adquirir l a superficie completa, haría falta un 'sean' de la línea láser sobre el objeto.. Figura 2.12: Patrón de franjas codificado y proyectado sobre un objeto cilindrico.. L a técnica de triangulación por medición de fase (pmt), por otro lado proyecta un patrón tipo rejilla sobre el objeto o un patrón sinusoidal con diferentes desplazamientos de fase. A través del uso de está técnica es posible adquirir la forma de la superficie de un objeto sin un 'sean', debido a que en el caso de un patrón tipo rejilla, por ejemplo, en un objeto curvado la cámara captaría líneas de rejillas curvadas también. Asimismo, si el patrón posee una diferencia de fase, con por lo menos tres exposiciones de éste es posible derivar la distancia de capa punto del objeto (figura 2.13). 27.

(45) Figura 2.13: Proyección de un patrón tipo rejilla sobre objetos 3D [15]. 2.5.2.. Iluminación estructurada. L a iluminación tiene un papel fundamental en un sistema de visión artificial, puesto que ayuda a simplificar considerablemente el análisis e interpretación de las escenas. A l implementar una buena iluminación, se consigue una buena formación de la imagen a adquirir, y esto facilita su procesamiento. Por el contrario, una mala iluminación puede aumentar complejidad a los algoritmos de procesamiento. E l problema en visión artificial es ubicar correctamente la iluminación, los sensores y los cuerpos a examinar para resaltar las características visuales de los objetos. L a iluminación estructurada, particularmente utiliza la proyección de patrones de luz específicos, como puntos, franjas o rejillas sobre la superficie de trabajo. E n función de cómo se deforme este patrón de luz es posible detectar las singularidades de l a pieza y / o objeto bajo análisis. Por tanto, el término iluminación estructurada se define como' la proyección de un patrón de luz simple o codificado sobre la escena iluminada [24]. Este método de iluminación posee dos ventajas importantes con respecto a metodologías de iluminación tradicionales para 2D: • Establece un patrón de luz conocido sobre la superficie de trabajo y las diferencias con este patrón indican la presencia de un objeto, simplificándose así el problema de detección de un objeto. • Analizando la forma en que el patrón de luz es distorsionado, es posible obtener información de las características tridimensionales del objeto (figura 2.14). Los métodos tradicionales de luz estructurada para el sensado de profundidad, por 28.

(46) Figura 2.14: Concepto de Iluminación Estructurada.. lo general, están basados en la introducción de información geométrica en la técnica de iluminación a fin de facilitar la extracción de la profundidad de la escena de análisis. U n a de estas técnicas consiste en la proyección de una línea sencilla de luz sobre la escena y la imagen bidimensional es adquirida por medio de una cámara digitalizadora que se encuentra a un ángulo de toma adecuado. L a información de profundidad se adquiere del desplazamiento relativo de los d i ferentes puntos de l a línea de luz. U n a particularidad del método de línea sencilla es la necesidad de procesar múltiples imágenes para reconstruir la escena completa. L a totalidad de la escena puede cubrirse ya sea moviendo la fuente de luz o bien, dejando el sistema de iluminación fijo y recorrer la escena. U n a variación de este método de luz estructurada consiste en la proyección de múltiples líneas sobre la escena con una regularidad o un patrón definido. Lo anterior es logrado mediante el uso de una rejilla de difracción diseñada para el caso. L a técnica de múltiples líneas tiene la ventaja ob29.

(47) via de requerir en principio una sola imagen para lograr la reconstrucción de la escena completa. Esta ventaja, en términos computacionales, representa una simplificación en el manejo de los "buffers" o memoria R A M . Sin embargo, la complejidad de los algoritmos de reconstrucción aumenta considerablemente pues es necesario resolver ciertas dificultades inherentes al método, entre las cuales destaca la posible confusión entre las diferentes líneas. E l principio de extracción de profundidad mediante el desplazamiento relativo de plintos de luz conduce al diseño de algoritmos demasiado complejos para poder aspirar a su implantación en tiempo real [26].. 2.6.. Trabajos relacionados. A continuación se presentan algunas referencias de trabajos de investigación relacionados con el campo de adquisición y análisis de imágenes 3D. E l uso de sistemas de escaneo tridimensional para adquirir características externas de un objeto arbitrario posee muchas aplicaciones en el campo industrial, por lo que el trabajo presentado en [6] se enfoca en analizar objetos con formas geométricas sencillas como: cilindros, rectángulos, etc. E l sistema propuesto utiliza un haz de luz estructurada de la fábrica StockerYale tipo línea con un costo de U S D 2500 (el láser únicamente) una tarjeta NI PCI-1411 y una cámara TM-200 C C D de alta resolución. L a técnica utilizada es la de escaneo progresivo del láser a través del objeto y capturas consecutivas de la cámara (Light Sectioning [17]) para resolver las características 3D en software a través de un programa escrito en Matlab.. Figura 2.15: Sistema propuesto en [6]. 30.

(48) E n [13] se detalle el esfuerzo de un grupo de investigadores por generar un concepto de cámara tridimensional utilizando como patrón de iluminación señales senoidales consecutivas con fases distintas, de forma que sea posible implementar la técnica de triangulación por medición de fase (pmt), para ello emplean un proyector de alta definición (Ferroelectric Crystal Display - F L C ) muy costoso. Gracias a la proyección perfecta de patrones senoidales con intervalos de tiempo entre cada patrón de tan solo 3fis y un procesamiento de la imagen en computadoras dedicadas es posible presentar la información 3D de las escenas en tiempo real. L a medición de perfiles en piezas de manufactura es el principal objetivo del sistema propuesto en [21]. E l objeto es rotado en frente de un sistema de iluminación estructurado: proyección de luz estructurada tipo línea y una cámara que observa el objeto en un ángulo diferente, llamado ángulo de triangulación. Para la reconstrucción de la geometría del objeto §e implementa en Matlab una aproximación por mínimos cuadrados a través de un círculo cuya curvatura es estimada en función de las distancias calculadas por el sistema.. Por otro lado, en [11] se describe la técnica utilizada para adquirir la superficie completa de un objeto en una escena sin la necesidad de rotar o mover el sistema y / o el objeto. L a configuración del sistema es novedosa y propone utilizar una cámara de alta resolución, un proyector de luz estructurada D L P que emita una secuencia de luz codificada en código Gray, y el tercer elemento para completar el sistema consiste de un arreglo de espejos que permita tener capturas de diferentes ángulos del objeto bajo análisis, como se ilustra en la figura 2.17. L a ventaja inmediata que este sistema. 31.

(49) presenta es la supresión de múltiples capturas de la imagen para su reconstrucción tridimensional.. Figura 2.17: Arquitectura del sistema propuesto en [11]. 2.7.. A p o r t e al conocimiento. E n la sección anterior se presentan brevemente trabajos relacionados con la temática de inspección de objetos utilizando los enfoques de visión estereoscópica e iluminación estructurada. E n virtud de que existe gran cantidad de literatura formal y trabajos realizado en éstas áreas, con resultados y metodologías diferentes, se han identificado las siguientes contribuciones, no mencionadas, ni tratadas en ningún trabajo citado en ésta investigación, que el presente trabajo de tesis aborda: • Metodología de integración de dos técnicas de visión 3D: visión estereoscópica e iluminación estructurada. Se estudia con detalle ésta metodología en l a sección 4.3. • Sencillez en la calibración del sistema y en la implementación práctica de los algoritmos. E n la sección 2.4 se presentó el algoritmo de calibración de las cámaras y un ejemplo práctico.. 32.

(50) • No se requieren proyectores de luz estructurada costosos, ni patrones de luz estructurada complejos como rejillas ó franjas, ni codificación a través de triangulación por medición de fase (pmt). Estos resultados se abordan con mayor profundidad en el capítulo 4. • L a redundancia que el sistema ofrece al estar compuesto por tres diferentes sitemas de visión 3D asegura continuidad en la operación en una línea de producción, en caso de que uno de los componentes falle. Las ventajas que la redundancia del sistema ofrece se presentan en la sección 3.2. • Simplificación del problema de correspondencia de imágenes en imágenes capturadas por el sistema de visión estereoscópico.. 33.

(51) Capítulo 3. Construcción y calibración de un prototipo para pruebas experimentales. E n el capítulo anterior se expusieron los conceptos relacionados con visión estereoscópica e iluminación estructurada desde un enfoque enteramente matemático. E l objetivo principal de éste capítulo, es detallar la aplicación de las matemáticas e i n geniería involucradas en sistemas de visión 3D a través de pruebas experimentales de calibración en un sistema prototipo cuyo diseño y construcción se discuten más adelante. L a sección 3.1 presenta el diseño y construcción del prototipo para las pruebas experimentales que se desarrollan a lo largo de éste trabajo de investigación. L a justificación de l a arquitectura elegida y sus ventajas se exponen en la sección 3.2. L a tercera sección está dedicada al problema de calibración del sistema y el Pre-procesamiento de las imágenes del par estéreo. Finalmente l a sección 3.4 presenta los diferentes resultados de precisión alcanzados en la calibración a través de pruebas de medición realizadas sobre los mismos objetos utilizados en el proceso de cálculo de las matrices de calibración de las cámaras.. 3.1.. Diseño y construcción del prototipo. L a arquitectura elegida para obtener los atributos espaciales de un objeto, se bosqueja en l a figura 3.1. Resulta sencillo notar allí que el sistema de visión 3D planteado es un sistema redundante. Las razones por la que se asevera que el sistema es redundante, tienen que ver con el hecho de que se forman simultáneamente 3 diferentes sistemas de visión artificial para obtener atributos 3D, mismos que se detallan a continuación: • Sistema de iluminación estructurada con una cámara. Utilizando cualquiera de las dos cámaras que se muestran en la figura 3.1, y el proyector del patrón de luz estructurada es posible construir un sistema de visión 3D basándose en los conceptos de triangulación activa que se detallan en l a sección 2.5.1, y cuya aplicación se comenta en [16] y [21]. Ejemplos de calibración de éste sistema se presentan en [9]. 34.

(52) Figura 3.1: Disposición de las cámaras y el patrón de iluminación en el prototipo.. • Sistema de visión estéreo. Claramente se puede obsevar que usando las dos cámaras del sistema de la figura 3.1 y el procesamiento de las dos imágenes en un computador, será posible adquirir la geometría de un objeto situado en el espacio de trabajo (área calibrada [31]). Se vuelve, sin embargo relativamente compleja l a correspondencia de puntos entre las imágenes adquiridas por cada cámara para aplicar los conceptos del capítulo anterior, relacionados con l a ubicación de puntos y / o patrones en el par de imágenes estéreo. Fácilmente podemos suponer que el esfuerzo computacional se incrementa debido al procesamiento adicional para solucionar el problema de correspondencia en las imágenes, lo cual no aplica en el primer sistema, descrito anteriormente. E n [1] se detallan las limitaciones de los sistemas de visión estéreo, al igual que sus ventajas. • Sistema de visión estéreo + iluminación estructurada. Se debe precisamente a éste sistema l a configuración de l a figura 3.1, cuya justificación se menciona en detalle en la sección 3.2. L a ubicación de las cámaras no está sujeta a restricciones de ningún tipo, más bien se pretende situarles de forma que se cubra l a mayor cantidad de volumen del objeto bajo análisis. E l proyector de luz estructurada, sin embargo se propone ubicarlo en el plano yz, forma que el procesamiento posterior de las imágenes resulte menos complejo. E n l a figura 3.2 se ilustra la configuración del sistema prototipo. L a implementación del sistema bosquejado en la figura 3.2 se muestra en l a figura 3.3. Los componentes principales del sistema se describen en las siguientes secciones. 35.

(53) Figura 3.2: Arquitectura del sistema de visión 3D prototipo.. 3.1.1.. Cámaras. Las cámaras que se eligieron para el desarrollo del proyecto son de la firma U n i brain, modelo Fire-i Digital Camera. Las especificaciones principales son las siguientes: • T i p o de dispositivo: I I D C FireWire Digital Camera • Inter fase: FireWire, 2 puertos (6 pines) • Velocidad: AQQMbps - T i p o de sensor: S O N Y ® Wfine 1/4" • Escaneo: Progresivo • Resolución: (H x V) 640 x 480 • Distancia focal: 4,65. mm. 36. CCD.

(54) Figura 3.3: Sistema prototipo implementado.. • Á n g u l o h o r i z o n t a l de visión: 42° • Á n g u l o v e r t i c a l de visión: 32° • C o l o r : Monocromática - R B G 24 bits A pesar de que en sistemas de visión estéreo se recomienda utilizar cámaras idénticas para facilitar los cálculos de las matrices de calibración, la metodología que se desarrolla a lo largo de éste trabajo, no propone esa restricción principalmente debido a la estimación de las matrices de calibración a través de un criterio de minimización del error, como se detalla en la sección 2.4. L a elección de un bus de comunicación I E E E 1394 en lugar de uno U S B en las cámaras a utilizar tiene que ver con los siguientes aspectos: • Velocidad de transferencia efectiva: A pesar de que la especificación de U S B 2.0 permite alcanzar un ancho de banda de hasta 480 Mbps [8], el encabezado del protocolo de comunicación resta velocidad a la transmisión de datos de los dispositivos, además de ser un bus compartido dentro del P C . Por otro lado, la 37.