Modulo de seguimiento de objetos móviles para la asistencia en el manejo de una silla de ruedas

Texto completo

(1)MODULO DE SEGUIMIENTO DE OBJETOS MÓVILES PARA LA ASISTENCIA EN EL MANEJO DE UNA SILLA DE RUEDAS.. IVÁN FERNANDO MONDRAGÓN BERNAL. UNIVERSIDAD DE LOS ANDES FACULTAD DE INGENIERÍA DEPARTAMENTO DE INGENIERÍA ELÉCTRICA Y ELECTRÓNICA MESTRÍA EN INGENIERÍA ELECTRÓNICA BOGOTÁ D.C. 2005.

(2) MODULO DE SEGUIMIENTO DE OBJETOS MÓVILES PARA LA ASISTENCIA EN EL MANEJO DE UNA SILLA DE RUEDAS.. IVÁN FERNANDO MONDRAGÓN BERNAL. Tesis para optar al titulo de Magíster en Ingeniería Electrónica y de Computado res. Director Alain Gauthier Ph. D.. UNIVERSIDAD DE LOS ANDES FACULTAD DE INGENIERÍA DEPARTAMENTO DE INGENIERÍA ELÉCTRICA Y ELECTRÓNICA MESTRÍA EN INGENIERÍA ELECTRÓNICA BOGOTÁ D.C. 2005.

(3) Bogotá D. C. Enero 20 de 2005.. Doctor ALAIN GAUTHIER Coordinador Departamento de Ingeniería Eléctrica y Electrónica Universidad de los Andes La ciudad. Por medio de la presente coloco a su disposición el proyecto titulado “Modulo de Seguimiento de Objetos para la asistencia en el manejo de una silla de ruedas”, dirigido por el doctor Alain Gauthier, con el objeto de cumplir con el último requisito para optar por el título de Magíster en Ingeniería Electrónica y de Computadores.. Agradezco la atención a la presente. Atentamente,. ________________________________ Ing. Iván Fernando Mondragón Bernal.

(4) IEM-II-07-04. Nota de Aceptación. __________________________________ __________________________________ __________________________________ __________________________________ __________________________________. __________________________________ Presidente del Jurado. __________________________________ Jurado. __________________________________ Jurado. Bogotá D.C. diciembre 15 de 2004.. iv.

(5) IEM-II-07-04. A mis Padres Eduardo y Alicia, A mi tía Stella., A mis hermanos Nohora, Olga, Nelson y Javier, A sus esposas y esposos Juan, Rafael, Swinda y Eliana, y a mi sobrina Natalia. A mi querida Claudia Cristina A toda mi familia y a los futuros miembros de esta. A ellos estas palabras por brindarme su cariño, confianza y por sus enormes sacrificios y esfuerzos, además de ser y dar la fuerza que te motiva a seguir adelante. A mis amigos por ser los compañeros de andanza a través de los caminos que da la vida y por permitir que estos hayan sido los mejores. A mi Querida Colombia.. Iván Fernando.. v.

(6) IEM-II-07-04. AGRADECIMIENTOS El autor expresa sus agradecimientos a:. Ingeniero Alain Gauthier, Ph. D, Director de la investigación, por su valiosa colaboración orientación y asesoría a lo largo de los estudios de maestría y el desarrollo del proyecto.. Ingeniero Carlos Francisco Rodríguez, Ph, D. Por sus consejos y asesorías durante la ejecución del proyecto y por promover y apoyar el intercambio investigativo fundamental para este trabajo. Al laboratorio de percepción avanzada de la Escuela Politécnica de la Universidad de São Paulo y en especial a ingeniero Jun Okamoto, por acogerme y permitirme conocer de cerca su trabajo y los aportes realizados a esta investigación. A la Red Iberoamericana de Robótica, proyecto PARTI, subprograma VII CYTED, por el apoyo brindado al intercambio de investigación con la Universidad de São Paulo.. A los ingenieros,. Diego Alejandro Patiño y Cesar Augusto Peña, por su constate ayuda y. asesoría.. A mi familia, por su gran apoyo y valiosos consejos, por los cuales siempre estaré agradecido.. A mis amigos y demás personas que participaron con sus aportes en la realización de este trabajo. vi.

(7) IEM-II-07-04. TABLA DE CONTENIDO. INTRODUCCION………………………………………………………………………………. 12 OBJETIVOS……………………………………………………………………………………...14 1.. MODELO CINÉMATICO Y ESTRATEGIA DE CONTROL.............................................15 1.1.. Cinemática de la silla de ruedas:....................................................................................15. 1.2.. Estrategia de control.......................................................................................................17. 1.2.1. 2.. Determinación del ángulo y la distancia del objetivo:...........................................22. SISTEMAS DE DETECCIÓN DE OBJETIVOS MÓVILES ...............................................23 2.1.. Detección mediante Uso de Juego de Leds Intermitentes. .............................................23. 2.2.. Detección Mediante Uso de Ultrasonido y Transponder Ultrasónico............................25. 2.3.. Utilización de Laser Range Finder:................................................................................26. 2.4.. Detección mediante uso de visión (panorámica) en conjunto con ultrasonido .............28 o Laser Range Finder.. 2.5. 3.. Sistemas seleccionados: .................................................................................................31. SISTEMA DE VISIÓN OMNIDIRECCIONAL ...................................................................32 3.1.. Cámaras omnidireccionales tipo catadioptricas. ............................................................33. 3.2.. Espejo de resolución vertical constante: ........................................................................36. 3.3.. Construcción...................................................................................................................39. 3.4.. imágenes panorámicas polares y cilindricas ..................................................................41 vii.

(8) IEM-II-07-04. 3.4.1. 4.. OBTENCIÓN DE PARÁMETROS LEY DE CONTROL E IMPLEMENTACIÓN ...........45 4.1.. Determinación del ángulo de la persona ........................................................................46. 4.2.. Tratamiento de imágenes panorámicas ..........................................................................50. 4.2.1.. Segmentación de imágenes panorámicas en espacio de colores RGB:.................51. 4.2.2.. Segmentación de imágenes en espacio de colores HSV:.......................................52. 4.2.3.. Segmentación del objeto en imágenes panorámicas tipo polar:.............................53. 4.3.. 5.. Desdoblado o imágenes cilíndricas:.......................................................................42. Determinación de la distancia del objeto .......................................................................54. 4.3.1.. Distancia mediante uso de sensores de ultrasonido. ..............................................54. 4.3.2.. Estimación de la distancia del Objeto Segmentado: ..............................................55. SOFTWARE DESARROLLADO E IMPLEMENTACIÓN.................................................58. CONCLUSIONES .........................................................................................................................62 BIBLIOGRAFIA…………………………………………………………………………………64 ANEXOS. viii.

(9) IEM-II-07-04. LISTA DE FIGURAS. Figura 1. Modelo Cinemático de la Silla de Ruedas. 16. Figura 2. Objetivo del control para seguimiento de una persona. 17. Figura 3.Esquemático para la simulación del controlador en Simulink de Matlab 6.5®. 18. Figura 4.Definición de bloques para la simulación del controlador. 20. Figura 5.a). Simulación de seguimiento de la trayectoria. b) error en los ejes x y y. 21. Figura 6.Sistema de Seguimiento mediante LEDS. 23. Figura 7. Medición mediante Ultrasonido. 26. Figura 8. LASER RANGE FINDER Marca SICK y ejemplo de señal obtenida. 27. Figura 9. Sistema de Visión Panorámico. 29. Figura 10. Izquierda. Sistema de proyección perspectivo. Derecha. Sistema de Proyección. 35. catadióptrico. Figura 11. Relación Punto en el espacio y plano de cámara Figura 12. Izquierda, Espejo de Resolución vertical constante. Derecha, Espejo. 38 con. 41. curvatura Hiperbólico Figura 13. Izquierda. Espejo Resolución Vertical Constante. Derecha. Espejo Hiperbólico. 42. Figura 14. Imagen Polar e Imagen Cilíndrica Obtenida. 43. Figura 15. Imagen Panorámica Espejo Hiperbólico. 45. Figura 16. Imagen Panorámica espejo de resolución vertical constante. 44. Figura 17. Ejemplo Marca a Seguir. 45 ix.

(10) IEM-II-07-04. Figura 18. Espacio de Colores RGB y HSV. 47. Figura 19. Segmentación de Color Rojo en el espacio RGB. 48. Figura 20. Componentes HSV de marca a seguir. 49. Figura 21. Segmentación es Espacio de Colores HSV. 49. Figura 22. Filtro de Mediana. 49. Figura 23. Imagen Cilíndrica Obtenida. 51. Figura 24. Segmentación de Marca Color Rojo mediante operación R-G-B. 51. Figura 25. Segmentación de Marca Color Rojo mediante operación S*S. 53. Figura 26. Segmentación de Marca Color Rojo mediante operación S*S en Imagen. 54. Panorámica tipo Polar Figura 27. Anillo de ultrasonidos en la silla de ruedas y su cono de medición. 55. Figura 28. Medición de distancia a partir de imagen segmentada. 56. Figura 29. Interfaz de control, procesamiento y ejecución.. 59. Figura 30. Diagrama de flujo sistema Implementado. 59. Figura 31. Diagrama de Flujo tratamiento de imágenes. 60. Figura 32. Envió velocidades a motores. 61. x.

(11) IEM-II-07-04. RESUMEN. Palabras Claves: •. Robótica. •. Visión Omnidireccional. •. Silla de Ruedas. •. Control. •. Seguimiento de Objetos. •. Sensores de Ultrasonido. Resumen: Este trabajo desarrolla un modulo de seguimiento de objetos para ser utilizado como asistencia para el manejo de una silla de ruedas para usuarios con problemas motrices. El sis tema utiliza una fusión sensorial entre los datos obtenidos mediante el tratamiento de imágenes panorámicas (imágenes tipo polar y cilíndrico)y los datos obtenidos por el uso de sensores de ultrasonidos. Mediante el uso de estos dos sensores y la información obtenida se busca seleccionar al sujeto que porte una marca especial y segmentarlo del resto de espacio, con el fin de hacer el seguimiento de esta marca con el sistema robótico, mediante la aplicación de un algoritmo de control desarrollado. Finalmente implementa un prototipo y se realizan pruebas de seguimiento en espacio s interiores.. xi.

(12) IEM-II-07-04. INTRODUCCIÓN. Los sistemas robóticos son cada día más comunes en diversas aplicaciones, expandiendo su área de cobertura constantemente. Una de estas áreas donde se ha involucrado con gran fuerza es el área de la salud y se aprecian considerables desarrollos hacia el área de terapia y apoyo a pacientes con problemas de movilidad.. En lo concerniente a estas áreas, el elemento más. utilizado ha sido la silla de ruedas, dado su adaptabilidad a diversos tipos de pacientes con diferentes deficiencias o incapacidades.. La Universidad de los Andes, consciente de este problema, ha venido desarrollando en conjunto con el Instituto de Ortopedia Infantil “Roosevelt” un sistema robótico en forma de silla de ruedas con el fin de ser utilizado como herramienta de apoyo para niños con problemas de movimiento o incapacidades que le dificultan o imposibilitan el manejo de una silla de ruedas convencional.. De acuerdo al usuario y teniendo en cuenta muchas de las actividades que un paciente realiza en el instituto, se ha n desarrollado métodos de control que permitan dar seguridad en el movimiento del sistema robótico y a su vez realizar tareas tales como atravesar puertas, navegar en medio de un corredor y poder acceder a algunas rampas. Consciente de que estas tareas no son las únicas, se han propuesto el desarrollo de otras funciones que faciliten el diario vivir de los pacientes.. La función que presenta mayor dificultad para el usuario de una silla de ruedas, es el acompañar o seguir a una persona (ya sea un doctor, enfermera o familiar), dado que constantemente se debe. 12.

(13) IEM-II-07-04. estar haciendo movimientos y correcciones a la trayectoria de la silla lo que ocasiona que una persona con dificultad de movimiento, no pueda responder o se fatigue rápidamente.. Es por esto, que se plantea la generación de un modulo que acople los trabajos previos en cuanto a seguridad al usuario y su vez permita hacer el seguimiento de un sujeto en un ambiente interno tipo hospital. Para ello se busca aprovechar los recursos existentes en la silla y ampliar sus aplicaciones (Sensores de Ultrasonido, Visión, Control por PC).. Por esta razón este proyecto se enfoca a generar un método de seguimiento de objetos basado en técnicas de tratamiento de imágenes y su fusión con datos de ultrasonido. A su vez se desarrolla una mejora significativa del sensor de visión al utilizar sistemas de visión omnidireccional, ampliando sus prestaciones de cobertura y sin la necesidad de agregar componentes de mayor costo para el proyecto y prototipo final.. 13.

(14) IEM-II-07-04. OBJETIVOS. OBJETIVO GENERAL. Diseño e implementación de un modulo de asistencia en la conducción de una silla de ruedas mediante el seguimiento de objetos y/o personas apoyado en los sistemas ya desarrollados y que garantice la seguridad al usuarios en la silla de ruedas.. OBJETIVOS ESPECÍFICOS : •. Desarrollar un algoritmo de seguimiento de la trayectoria de objetos móviles.. •. Diseño y/o selección del sistema de sensores que permitan la detección y seguimiento de objetos móviles tales como radares o sistemas de detección por luz (lidar), cámaras, ultrasonidos entre otros.. •. Mediante la fusión sensorial con los sistemas de infrarrojo, ultrasonido y visión, dar seguridad durante el seguimiento de objetos, tales como no chocar con obstáculos o evitar caer en huecos o espacios reducidos para la silla. •. Efectuar pruebas de funcionamiento, ajustes respectivos e implementar un prototipo.. 14.

(15) IEM-II-07-04. 1.. MODELO CINÉMATICO Y ESTRATEGIA DE CONTROL. 1.1. CINEMÁTICA DE LA SILLA DE RUEDAS:. Para desarrollar un modelo cinemático de la silla de ruedas se debe tener en cuenta sus principales características, estas son: •. Sistema de locomoción basado en dos ruedas traseras a la silla en posición paralela, donde cada una tiene control independiente de movimiento.. •. Simetría y centro de gravedad alrededor de un punto muy cercano al punto medio en el eje centra de las dos ruedas principales.. •. Dos ruedas libres de apoyo en la parte delantera de la silla.. •. Motores de control independiente para las dos ruedas de tracción trasera.. Teniendo en cuenta estos aspectos y con el fin de diseñar una estrategia de control adecuada que permita hacer el seguimiento de objetos, se busca un modelo cinemático adecuado para una silla de ruedas. A partir de la revisión bibliográfica, se encuentra que el modelo más adecuado para representar este tipo de sistemas, este es el modelo del monociclo, el cual se obtiene a partir de la figura # 1. [1], [2]:. 15.

(16) IEM-II-07-04. Figura 1. Modelo Cinemático de la Silla de Ruedas. En este modelo, la silla se representa por un eje central conectado a dos ruedas con sistema de tracción independiente y en el cual todo la más se encuentra en el punto medio del eje que une a las dos ruedas. En este sistema cada una de las ruedas puede tener su velocidad dada, lo que en conjunto dará una velocidad lineal al igual que un desplazamiento angular. En cualquier instante de tiempo es posible determinar tanto la dirección y velocidad lineal como angular de la silla, ya partir de esta diseña una estrategia de control. La cinemática completa de la silla se presenta a continuación:.  x&   12 (v1 + v2 )cos θ  0 0  y&   1 (v + v )sin θ  0 0   2 1 2       θ&  =  1l (v1 − v2 )  + 0u1 + 0u 2 (1)         0  1  v&1   1 v&2    0 0 0. De donde se tiene que V=(v1+v2)/2 ω=(v1-v2)/l. (2). Con lo cual el sistema se puede reducir a:.  x&  cos θ  0  y&  =  sin θ v + 0ω       θ&   0  1. 16. (3).

(17) IEM-II-07-04. El cual corresponde al modelo del monociclo. En este modelo teóricamente no se tiene deslizamiento de las ruedas, y por tanto el objeto solo podrá hacer movimiento de translación en la dirección V y giro sobre su eje, en la dirección de la velocidad ω. Este modelo se trabaja por su menor dimensión y se recuerda que en cualquier momento es muy fácil obtener la velocidad de cada rueda que permita realizar los movimientos especificados.. 1.2. ESTRATEGIA DE CONTROL. Una vez se ha especificado el modelo cinemático de la silla, es posible diseñar una estrategia de control para el seguimiento de la trayectoria (desconocida) de un objeto cualquiera o una persona, y la cual tiene como base en el trabajo realizad por Argüiros[2]. Para ello se tiene en cuenta la figura # 2.. Figura 2. Objetivo del control para seguimiento de una persona. En este, la silla de ruedas o el sistema robótico, se encuentra en un punto con coordenadas M=(x,y) con respecto al eje de referencia O y se encuentra en la dirección θ con respecto al eje x de este mismo sistema de referencia.. 17.

(18) IEM-II-07-04. Por su parte el objetivo realiza una trayectoria T desconocida para la silla y que en un instante dado de tiempo se encuentra en las coordenadas T=(x T,yT) con respecto a O. El objetivo de control en este caso es permitir que la silla de ruedas siga y mantenga al objetivo a una distancia determinada tanto en x, como en y y que para el instante dado de tiempo es hacer que el objetivo se encuentre en un punto N con coordenadas N=(x N,yT) con respecto a O en N=(x MN, yMN) con respecto a la silla o punto M. Este punto N es la distancia a la cual se desea que la silla se encuentre con respecto al objetivo a seguir, y por tanto lo que se busca es que la distancia entre el punto N y la trayectoria T sea constante. Es decir se desea que la trayectoria del objetivo se encuentre a una distancia y ubicación dado por el punto N de la silla. De esta forma se puede definir el objetivo del control: Meta del Control: Especificar las velocidades de la silla (v, ω), que mantengan el objetivo en la posición constante (N) con respecto a la silla.. En términos del error el objetivo del control mantener constante la distancia entre el punto N con el punto T y por tanto: def. e = ( ex , e y ) = ( xN − xT , y N − yT ) Donde : x N = x + x MN cos θ − y MN sin θ y N = y + x MN sin θ + y MN cosθ. (4). Se puede encontrar que el cambio en el error de seguimiento se puede expresar por:. e& = B(θ )u − χ& T  cos θ B(θ ) =   sin θ. − ( x MN sin θ + y MN cos θ )   xMN cosθ − y MN cos θ .  x&  ; χ& T =  T   y& T . De donde se puede encontrar que:. u (e, θ ) = B −1 (θ ) Ae A = Matriz Hurwitz.. Si A = -k? 18. ⇒ u (e, θ ) = −kB −1 (θ )e. (5).

(19) IEM-II-07-04. Donde A es una matriz Hurwitz,, Si puede relacionar al control con la distancia y el ángulo medidos desde la silla si se tiene en cuenta que el error es: e x = x MN cosθ − y MN sin θ − r cos(θ + φ ) e y = x MN sin θ + y MN cosθ − r sin( θ + φ ). (6). Y finalmente se puede encontrar la ley de control en función de la distancia r y el ángulo φ del objetivo con respecto a la silla. Esta es:.  k [xMN ( x MN − r cos φ ) + y MN ( y MN − r sin φ )]  −   v( r ,φ )   x MN   = u (r , φ ) =   k ( y − r sin φ )  ω ( r , φ ) MN   −   x MN  . (7). Por tanto se ha obtenido una ley de control que permite mantener al objetivo a una distancia definida (posición dada por x MN, yMN), con respecto a la silla de ruedas y que se encuentra en función de la distancia r y del ángulo φ medidos desde la silla de ruedas.. Una vez se ha definido el modelo, se realiza una simulación para comprobar su efectividad. En este caso se genera una trayectoria del objetivo, no conocida para la silla. El sistema implementado en Simulink de Matlab 6.5 se presenta a continuació n:. 19 Figura 3.Esquemático para la simulación del controlador en Simulink de Matlab 6.5®.

(20) IEM-II-07-04. En este sistema, la distancia y el ángulo se determinan mediante el bloque operador, el cual hace un cálculo de estos a partir de la posición del objetivo y de la silla en el instante dado. En una implementación real este bloque no existiría y la info rmación será obtenida a partir de los sensores.. El controlador se implementa en el bloque con el mismo nombre, esto bloques se definen en archivos .m de Matlab y se presentan en la figura 4.. function. function sys=controlador(c1,c2). sys=operador(c1,c2,c3,c4,c5). xmn = 1;. xres=c3-c1;. ymn = 1;. yres=c4-c2;. k = 1;. sys(1)=sqrt(xres*xres+yres*yres);. r = c1;. sys(2)=c5-atan2(yres,xres);. fi = c2;. sys(3)=xres;. sys(1) = -k*(xmn*(xmn-r*cos(fi))+ymn*(ymn-. sys(4)=yres;. r*sin(fi)))/xmn; ys(2) = -k*(ymn-r*sin(fi))/xmn; Figura 4.Definición de bloques para la simulación del controlador. Una vez implementado el modelo y definiendo una distancia de la silla al objetivo de 1 metro, tanto en x como y se realizan las simulaciones para un tiempo de 30 segundos con lo que se obtiene la figura 5 a), en la que se muestra el seguimiento de una trayectoria y la figura 5.b) donde se muestra el error del seguimiento tanto en el eje x como en el eje y.. 20.

(21) IEM-II-07-04. Figura 5.a). Simulación de seguimiento de la trayectoria. b) error en los ejes x y y. 21.

(22) IEM-II-07-04. Como se aprecia en las simulaciones, la silla sigue bastante bien a la trayectoria del objetivo y a la distancia especificada manteniendo el error lo mínimo posible.. Una vez se ha comprobado el controlador con la simulación, se puede pensar en implementar este en la silla de ruedas, pero antes el sistema de control deber ser capaz de determinar con exactitud la distancia y el ángulo del objetivo con respecto a la silla. En las siguientes secciones se definirá este proceso:. 1.2.1. Determinación del ángulo y la distancia del objetivo:. Como ya se ha presentado, para el control es necesario tener información de la distancia y el ángulo de la persona con respecto a la silla. En cuanto al ángulo la silla cuenta actualmente con sensores de ultrasonido que pueden dar esta información con cierto grado de precisión. Para la obtención del ángulo se pueden utilizar otra serie de sensores o combinación de ellos, y para determinar configuraciones útiles y óptimas se realiza una revisión de proyectos similares que ya han trabajado en este aspecto. En el capítulo 2 se presenta los principales sistemas para la determinación de los parámetros deseados. 22.

(23) IEM-II-07-04. 2.. SISTEMAS DE DETECCIÓN DE OBJETIVOS MÓVILES. La estrategia de control definida en el capitulo 1 de este trabajo, demanda la medición de la distancia del objetivo a seguir y su posición (ángulo) con respecto al eje de referencia de la silla o sistema robótico. A continuación se hace un análisis de los más importantes sistemas implementados en proyectos realizados alrededor del mundo, en los cuales se tiene como fin el seguimiento de objetivos móviles por parte de robots, incluidos algunos proyectos con sillas de ruedas. Durante esta revisión se encuentran que los siguientes sistemas para la detección y seguimiento de objetos más adaptables al sistema robótico de la silla de ruedas de la universidad de los Andes son: •. Detección Mediante Uso de Juego de Leds Intermitentes.. •. Detección Mediante Uso de Ultrasonido y Transponder Ultrasónico o Láser Range Finder. •. Detección mediante uso de visión (panorámica) solamente o en conjunto con sistemas de ultrasonido o Láser Range Finder. La idea en estos sistemas es poder determinar la ubicación (ángulo) y la distancia del objetivo con respecto a la silla en un instante dado de tiempo. Estos sistemas se describen brevemente a continuación:. 2.1. DETECCIÓN MEDIANTE USO DE JUEGO DE LEDS INTERMITENTES.. En este sistema, la persona u objeto a seguir (objetivo), llevan un sistema de Leds infrarrojos o de luz de componente básica, con un sistema intermitente, el cual es el elemento identificador del. 23.

(24) IEM-II-07-04. y permite a partir de la información obtenida con un sensor de visión (cámara). extraer. características tales como ángulo del objetivo con respecto al eje central de la cámara y de acuerdo a la configuración de los Leds, es posible la determinación de la distancia. En la figura # 6 se aprecia el sistema de Leds.. Figura 6.Sistema de Seguimiento mediante LEDS. En trabajos realizados en el “Intelligent Robot Laboratory at the University of Tsukuba” se han experimentado con este método [3], [4], [5]. El sistema consiste de un dispositivo con dos juegos de les infrarrojos, que trabajan a una frecuencia determinada, y que es cargado por el objetivo a seguir. Con el sensor de visión del robot, se hace un muestreo a una frecuencia por lo menos dos veces mayor a la empleada con los Leds y que permita obtener por lo menos dos imágenes del sistema, en los cuales los Leds estén emitiendo en una ocasión y en otra se encuentre apagados. Mediante el tratamiento de estas imágenes es posible determinar la posición angular del emisor con respecto al eje central de la cámara, y a partir de la relación entre la distancia vertical de los dos emisores, determinar la distancia del emisor, para ello se realizan procesos de que comprenden diferencias de imágenes, segmentación y umbralización.. 24.

(25) IEM-II-07-04. Finalmente en experimentos realizados por Ohya y Nagumo en la universidad de Tsukuba [5], se aprecia que el seguimiento del objeto es adecuado siempre y cuando la distancia al emisor no sea muy grande (limitada a 3 metros, pero realizada con seguimiento a 24 cm) dado que a una distancia mayor no es posible identificar fácilmente los Leds emisores y a su vez es necesario la utilización de filtros que permitan detectar los luz infrarroja emitida. La medición de distancia y determinación de la posición mostraron ser adecuados siempre y cuando la distancia se ajuste a los parámetros definidos.. 2.2. DETECCIÓN. MEDIANTE. USO. DE. ULTRASONIDO. Y. TRANSPONDER. ULTRASÓNICO.. Mediante sistemas de ultrasonido, empleando el método del eco (tiempo de vuelo entre emisión y rebote de señal) es posible medir la distancia a un objeto. Si además se utilizan dos receptores con una distancia entre ellas conocida, es posible mediante el cálculo del desfase en recepción de los dos receptores (triangulación), estimar no solo la distancia sino el ángulo entre el punto medio de los dos receptores, aunque no es posible distinguir un objeto específico entre otros.. En trabajos realizados en la Universidad de Tsukuba, se implemento un método para la estimación de la posición de una persona empleando solamente ultrasonidos. [5].[6]. En este sistema tanto el objetivo como el seguidor, llevan sistemas de emisión-recepción de ultrasonido. El seguidor emite una señal de ultrasonido y queda en espera a la señal de rebote, la cual será sensada con dos o más receptores de ultrasonido. En el objetivo, cuando se recibe la señal producida por el seguidor, se emiten dos pulsos con un intervalo definido. En el receptor del seguidor, se puede recibir tantos los pulsos por rebote de la señal emitida por esta, como los emitidos codificadamente o con intervalo de tiempo definido, enviado por el objetivo. Al recibir. 25.

(26) IEM-II-07-04. la señal de objetivo en los múltiples receptores del seguidor, se calcula la diferencia de tiempo entre la recepción en los ultrasonidos y de esta forma es posible conocer tanto la distancia como la ubicación del objetivo con respecto al seguidor. En la figura # 7. se aprecia como funcionaria el método de ultrasonidos y transponder.. Figura 7. Medición mediante Ultrasonido. 2.3. UTILIZACIÓN DE LASER RANGE FINDER:. Este es un sistema ampliamente utilizado para seguimiento de objetivos, reconocimiento de ambientes y generación de mapas. Es un dispositivo comercial, el cual utiliza el tiempo de vuelo de un haz de láser mientras realiza un barrido angular de 180 grados. Este dispositivo permite obtener información sobre la ubicación y distancia de todos los objetos que se encuentran en un campo visual de 180º y a una distancia máxima de 80 metros. En la figura # 8 se muestra el detector y un ejemplo de un barrido de un cuarto y la señal entregada por el sistema.. 26.

(27) IEM-II-07-04. Figura 8. LASER RANGE FINDER Marca SICK y ejemplo de señal obtenida. Como se aprecia en la figura # 8 se obtiene información angular y distancia con este elemento, sin la necesidad de utilizar más dispositivos o sensores. Este dispositivo, en el mercado colombiano posee un costo aproximado de US$ 7000 1 .. En trabajos realizado por Edwin Prassler en el “Research Institute for Applied Knowledge Processing (FAW), Alemania” [7], se utiliza este sensor para la detección de objetos con una silla de ruedas. Para ello, se hace una estimación o extrapolación de la posición de la persona en el tiempo, teniendo en cuenta el movimiento del objeto, velocidad, trayectoria y aceleración. De esta forma con la estimación futura del objeto, el sensor detecta si este realiza esa trayectoria y hace su seguimiento, dando muy buenos resultados en pruebas realizadas en ambientes con gran numero de personas [8]. 1. Precio dado por el distribuidor oficial en Colombia a Octubre de 2003.. 27.

(28) IEM-II-07-04. De igual forma la NASA [9] a desarrollado robots para asistencia y seguimiento de astronautas en exploración de superficies (viajes a Marte) y ha empleado el uso de este sensor, con excelentes resultados, siempre y cuando el objetivo a seguir se encuentre dentro de la zona de cobertura del sensor y no se de la presencia de interferencias (otro astronauta). En el trabajo realizado por Kimberly Shillcutt, NASA/JSC [9] se muestra que el seguimiento es excelente a excepción del momento en que el astronauta esta descendiendo dado que el plano del sensor se encuentra sobre el plano del astronauta, dando lugar a oclusión del objetivo.. 2.4. DETECCIÓN MEDIANTE USO DE VISIÓN (PANORÁMICA) EN CONJUNTO CON ULTRASONIDO O LASER RANGE FINDER. Este es una de los métodos más empleados, dado que los sistemas de visión complementan características de los sensores de movimiento y/o distancia. Es así como si se desea el seguimiento de un objetivo (persona) en ambientes de gran presencia de otras personas, se necesita un sistema que no solo obtenga la información de la ubicación de la persona, sino que a su vez puede distinguir al el objetivo deseado.. En este sistema se hace empleo de sensores de ultrasonido o Laser Range Finder, para la determinación de la distancia y se complementa con el uso de un sistema de visión, que permita identificar al objetivo y a su vez su ubicación angular con respecto al seguidor.. En este esquema se emplean diversas clases de sistemas de visión, las cuales consisten de: •. Cámaras CCD de proyección perspectiva estándar y de bajo ángulo de visión (< 50º). •. Sistemas de paneo de cámara, para permitir el movimiento de la cámara hacia donde se encuentra el objetivo (rastreamiento servo visual).. 28.

(29) IEM-II-07-04. •. Utilización de cámaras panorámicas o el acople de espejos y/o lentes convexos con cámaras CCD normales, que permitan la obtención de imágenes panorámicas.. Estos tres sistemas son ampliamente conocidos y se ha puesto especial interés en los últimos años a los sistemas de visión panorámica a partir de lentes o espejos. Este sistema a su vez posee algunas ventajas sobre los otros métodos, ya que elimina la necesidad de implantar sistemas electromecánicos controlados (rastreamiento servo visual) y que permitan el movimiento exacto de la cámara en la dirección deseada. A su vez amplia el campo de visión de una cámara de visión estándar a 360º de visibilidad horizontal en las imágenes obtenidas.. El sistema de visión panorámica, se logra mediante la utilización de lentes cóncavos o espejos convexos, y cámaras perspectivas estándar. Las imágenes que se obtienen poseen 360º de visión horizontal y entre 30 y 130º aproximadamente de visión vertical. En la figura # 9 se aprecia un sistema de visión omnidireccional compuesto de una cámara de proyección perspectiva y un espejo hiperbólico.. Figura 9. Sistema de Visión Panorámico. En este sistema. La detección se realiza mediante la segmentación del objeto a partir de técnicas tales como diferenciación de imágenes consecutivas (cuando el fondo no presenta cambio. 29.

(30) IEM-II-07-04. significativo), mediante tratamiento estadístico de colores del objeto o marca a seguir o mediante técnicas que segmentan algún color o característica particular del objeto. Dado que los sistemas de visión y en especial lo sistemas a color son muy vulnerables a los cambios lumínicos, la extracción de características tal como la distancia o dimensiones del objetivo, no es precisa y en ocasiones no se puede realizar, por lo cual se hace necesario la utilización de elementos que determinen con mejor precisión estos valores. Es así como se han realizado sistemas en los cuales se emplean sensores láser o cinturones de ultrasonidos para la estimación de las distancias a los objetos circundantes al robot (y posibles objetivos a seguir) y se emplea sistema de visión para definir o seleccionar entre los objetos circundantes medidos, cual corresponde al deseado. En este sentido se encuentran trabajos realizados utilizando ultrasonido y trabajos utilizando sensores láser combinados con sistemas de visión panorámica.. En la universidad de Tsukuba,, Japon [3], desarrollaron un sistema de seguimiento en cual mediante un el sistema de Laser Range Finder SICK se encuentra la distancia al robot y mediante un sistema de detección de bordes selecciona a la persona a seguir al hacer una fusión de la información obtenida con los dos sensores. Del igual forma en proyectos realizados en el “Research Institute for Applied Knowledge Processing”, Alemania [10] han implementado un sistema, en el cual mediante tratamiento estadístico o del histograma del color del objeto a seguir en el espacio de colores HSV se determina la posición del objeto y mediante el uso del sensor láser SICK se obtiene con precisión la posición angular y la distancia de este. Según las pruebas realizadas por los dos institutos este sistema permite una buena adquisición de los datos del objeto y solo se ve influenciada ante grandes cambios en la luminosidad del ambiente para el sistema de visión y la posible oclusión del objeto con respecto al barrido láser. Por su parte en el “Institute of Computer Science, Foundation for Research and Technology en, Grecia” [2] implemento un sistema similar utilizando un anillo de ultrasonidos y un sistema de visión omnidireccional. La determinación de la posición de la persona se hace mediante la. 30.

(31) IEM-II-07-04. comparación del color del objeto con un color previamente definido utilizando una técnica llamada “Color Indexing Scheme ”. Este proceso se hace para tres regiones (cabeza, torso y piernas). Una vez identificado el objetivo (se ha obtenido la posición), se utiliza el sistema de anillos de ultrasonido para determinar la distancia.. Con este sistema han logrado un buen. seguimiento del objetivo a un frecuencia de 3 Hz (imágenes procesadas) y solo presentando inconvenientes cuando el color del objeto se confunde fácilmente con el color de fondo de la imagen.. Finalmente en trabajos realizados en el “Laboratorio de Percepción Avanzada de la Universidad de São Paulo, Brasil” [11],. se ha utilizado un sistema en el cual a partir de visión. omnidireccional se hace el rastreamiento de una marca definida a la que se le hace un proceso que utiliza la minimización del error generado por la suma del cuadrado de diferencias entre la región de referencia y la región actual. Para ello es necesario hacer una la conversión de las imágenes panorámicas obtenidas en imágenes perspectivas similares a las que se obtendrían con sistemas de cámaras estándar con paneo. En este proceso no se determina la distancia del objeto, sino la proporción en píxeles que este tiene y se compara con la región deseada en la imagen de referencia dado la sensación de proximidad o lejanía del objetivo.. 2.5. SISTEMAS SELECCIONADOS:. De los sistemas mencionados en las secciones precedentes, todos son factiblemente realizables, aunque se da preferencia a aquellos que emplean los sensores de visión y/o ultrasonido, ya que actualmente la silla de ruedas posee un sistema de 4 sensores de ultrasonido distribuidos alrededor del la silla (uno por cada costado). A su vez esta equipada con un sensor de visión. 31.

(32) IEM-II-07-04. (cámara web cam y ccd Logitech 510), la cual posee una cobertura de 43º y se conecta a través de un puerto USB al computador.. Por su parte, el sistema de seguimiento utilizando Leds como marcas posee un alcance muy pequeño, para poder identificar con facilidad la posición de la marca de los objetos. A su vez hace necesario la implementación de sistemas de rastreamiento servo visual para la cámara dado su limitado grado de visión.. En cuanto a los sistemas de transponder en el objetivo, no se desea este dado los costos que genera el uso de más sensores y el desarrollo del dispositivo que debería llevar el objetivo y de igual forma se descarta la utilización de sistemas de barrido láser, dado sus costos prohibitivos para esta fase del proyecto.. Finalmente los sistemas basados en visión panorámica, permiten ampliar el grado de visión del sistema de unos pocos grados a 360º de visión horizontal, con una aceptable reducción de la resolución de las imágenes obtenidas. Su costo de implementación es bajo dado que solo se utiliza un espejo convexo en combinación con cámaras estándar y no hace necesario el uso de sistemas electromecánicos para hacer control de la posición de la cámara cuando el objetivo se encuentra fuera del rango de visión de esta.. Teniendo en cuenta estos aspectos y la estrategia de control desarrollada en el capítulo 1 de este trabajo, se opta por sistemas de seguimiento basados en sensores de ultrasonido para la determinación de distancias y utilización de visión para la determinación de posición o ángulo del objetivo mediante la segmentación de una marca que lleva el objetivo. Dentro del sistema de visión se puede utilizar una cámara estándar de proyección perspectiva, así como su combinación con espejo convexo para obtener sensor de visión panorámica.. 32.

(33) IEM-II-07-04. 3.. SISTEMA DE VISIÓN OMNIDIRECCIONAL. Tradicionalmente en sistemas robóticos que emplean métodos de visión artificial, se utilizan cámaras CCD de proyección perspectiva o estándar. Estas cámaras hacen una proyección perspectiva de un plano perpendicular al eje central del foco. Por lo general son sistemas con un grado de visión reducido (menor a 50º) y que hacen necesarios aplicar movimientos tipo “Pan and Till” cuando se desea cubrir un área mayor al área de cobertura de una sola imagen.. Por su parte, los sistemas de visión omnidireccional poseen campos de visión que comprenden todas las direcciones alrededor del punto de vista o centro de imagen. Esto representa una mejora significativa con respecto a las cámaras de proyección perspectiva o estándar y a su vez permite desarrollar, mejorar o implementar muchas aplicaciones en visión por computador.. Se encuentran muchos tipos de sistemas de visión omnidireccional, siendo los más comunes aquellos basados en cámaras rotativas, lentes ojos de pescado o espejos. Para este trabajo se desarrolla el sistema de visión omnidireccional que combina cámaras con espejos, llamado en la literatura óptica. como “sistema catadrioptico (catadioptric systems)” y en especial en lo. concerniente al diseño y desarrollo de la curvatura del espejo.. El presente capitulo se encuentra basado en los trabajos realizados en el “Instituto técnico superior de la universidad técnica de Lisboa” principalmente en los trabajos realizados por José Santos Víctor y , José Gaspar [12],[13] y en trabajos realizados en el Laboratorio de percepción avanzada de la Escuela Politécnica en la Universidad de São Paulo[11].. 33.

(34) IEM-II-07-04. 3.1. CÁMARAS OMNIDIRECCIONALES TIPO CATADIOPTRICAS.. Las cámaras omnidireccionales. de tipo catadióptrico, combinan cámaras convencionales. (perspectivas) con espejos, con el fin de obtener campos de visión específicos. Principalmente se utilizan espejos de tipo convexo tales como cónicos, esféricos o hiperbólicos. Estos espejos permiten el seguimiento de características con puntos de vista variable y que se encontrarían fuera del campo de visión en cámaras estándar. Otra gran ventaja es que evita el uso de partes móviles a diferencia de los sistemas “Pan and Tilt” y permitiendo que la posición del sensor sea fija con respecto al sistema robótico.. El método más común para modelar una sola cámara es mediante el uso del modelo de proyección de la cámara [12], esta dado por la siguiente ecuación ~ (8) ~ = P~M m donde m es la proyección del punto en el espacio tridimensional M, P es la matriz de proyección que transforma de las coordenadas en el espacio tridimensional a las coordenadas de la cámara. En los sistemas de visión panorámica, se encuentra una transformación adicional dada por la presencia del espejo entre la proyección de la escena en la cámara y el espacio tridimensional. Por tanto el modelo queda defino por:. ( ). ~ ~ = P~F~ M m. (9). Don P posee el mismo significado para el modelo de cámara de proyección y F, es una función que tiene en cuenta la proyección de los rayos en el espejo. Esta función es dependiente de la curvatura del espejo y por lo general es no lineal. Esta ecuación relaciona el punto del espejo donde un rayo proveniente de un punto M en el espacio tridimensional es reflejado y dirigido. 34.

(35) IEM-II-07-04. hacía el centro óptico de la cámara. En la figura # 10 se muestran los dos sistemas de visión y la relación entre las imágenes generados y el espacio tridimensional. Figura 10. Izquierda. Sistema de proyección perspectivo. Derecha. Sistema de Proyección catadióptrico.. Por tanto los sistemas de visión omnidireccional tipo catadióptrica se pueden explicar mediante el modelo de proyección perspectiva, complementado por una parte no lineal dada por la función F, que a su vez esta dada por la curvatura de la superficie del espejo. Dependiendo de la cámara empleada y el espejo utilizado, los rayos incidentes a la superficie del espejo pueden todos interceptarse o no en un punto virtual.. En los sistemas de visión panorámica se pueden utiliza diversas curvaturas del espejo. Entre ellas encontramos esféricas, parabólicas e hiperbólicas. Estas permiten conocer la función de proyección del espejo y el plano del espejo. Dado que se busca ubicar la cámara en el centro único de proyección que dan estas formas y que se puede determinar a partir de la curvatura definida y el radio del espejo empleado.. De igual forma, se pueden desarrollar curvaturas. compuestas no definidas por una función específica y. que permiten. obtener diferentes. propiedades en el modelo de proyección de acuerdo a sus propiedades ópticas [12],[13] y [14].. 35.

(36) IEM-II-07-04. Entre estas diferentes propiedades se destacan las que permiten mantener ciertas características del espacio tridimensional en forma constante. Estas son: •. Resolución vertical constante: Permite que objetos a una distancia fija de la cámara, siempre poseen el mismo tamaño, independiente de su posición vertical.. •. Resolución horizontal constante: Permite que el plano de tierra (piso) sea reflejado bajo una transformación Euclidiana escalada.. •. Combinación: Se puede desarrollar el espejo para que la parte interna presente resolución horizontal constante y la externa presente resolución vertical constante.. •. Curvatura definida que permite obtener mapeamiento con corrección de curvatura.. Es de anotar que las curvaturas generadas para garantizar los diversos tipos de resolución son perfiles compuestos que no se pueden expresar directamente por una curvatura de tipo hiperbólico, parabólico o esférico.. Al diseñar un espejo convexo se debe tener en cuenta que características se desea que mantenga la imagen (resolución vertical, horizontal, etc), el tipo de cámara que va a tomar la imagen, la distancia del espejo a la cámara ent re otras. La curvatura del espejo se puede encontrar al solucionar una ecuación diferencial que relaciona la ubicación de un punto en el espacio tridimensional con la curvatura del espejo y con el plano visual de la cámara normal.. El proceso empleado en el diseño del sistema de visión panorámico, utilizando espejos convexos, se encuentra basado los trabajos realizados en el “Computer Vison Laboratory at Institute of Systems and Robotics, Instituto Superior Técnico, Lisboa-Portugal”, principalmente en la Tesis doctoral de José Antonio da Cruz Pinto Gaspar [12] y en “Laboratorio de Percepción avanzada” en la Universidad de São Paulo, Brasil [11] y [15].. 36.

(37) IEM-II-07-04. 3.2.. ESPEJO DE RESOLUCIÓN VERTICAL CONSTANTE:. Dependiendo de la aplicación en la cual se utiliza el sistema de visión omnidireccional, se van a encontrar diferentes requisitos del espejo. La meta es diseñar una curvatura del espejo que se ajuste a la resolución del sensor, de tal formar que se cumplan las propiedades deseadas en la imagen obtenida.. El proceso de formación de la imagen es determinado por la trayectoria de los rayos que inician en un punto tridimensional del espacio circundante al sistema de visión, los cuales son reflejados en la superficie del espejo y finalmente se interceptan con el plano de la imagen de la cámara perspectiva. Este proceso depende no solamente de la curvatura del espejo sino del la función de proyección que especifica el tipo de sensor de la cámara. En general se busca hacer la correspondencia entre una distancia y en el espacio y la correspondiente distancia en píxeles medida en el sensor de imagen. En general se debe tener en cuenta que si se utiliza cámaras de resolución constante (estándar) se encuentra que hay una relación lineal entre la distancia al espacio tridimensional y la distancia medida en píxeles. En general esta relación lineal entre la distancia del sensor dada en píxeles (ρ) y la correspondiente distancia real medida en metros (y), esta relación esta dada por: y ( ρ) = aρ + b. (10). Donde los parámetros a y b determinan el campo visual del sensor.. En el procedimiento de diseño de espejos con resolución vertical constante, se busca preservar la relación relativa de distancia vertical de puntos ubicados a una distancia fija d, desde el eje óptico de la cámara. En otras palabras, si se tiene un cilindro de radio d, alienado con el eje de la cámara, se busca asegurara que relaciones de distancias medidas en en la dirección vertical a lo. 37.

(38) IEM-II-07-04. largo de la superficie del cilindro, permanezcan sin cambio cuando son medidas en la imagen obtenida. En la figura 11, se aprecia el sistema de resolución vertical constante deseado.. Figura 11. Relación Punto en el espacio y plano de cámara. Se puede encontrar una relación entre la altura del punto, el ángulo sobre el espejo y la curvatura de este. En la figura anterior se presenta la relación entre un punto en el espacio 3d del cilindro de radio constante d, la curvatura del espejo y el plano de cámara. h (t ) = F (t ) − cot(φ )( d − t ). 38. (11).

(39) IEM-II-07-04. Igualando los ángulos incidente y coincidente, se puede encontrar una relación entre la cur vatura local F’(t) del espejo y la cot(t), dada por la ecuación (4). 2tF ' ( t ) − F (t )(1 − F ' ( t ) 2 ) h (t ) = F (t ) + (d − t) 2F (t ) F ' ( t ) + t (1 − F ' (t ) 2 ). (12). Solucionando esta ecuación con respecto a F’(t) se encuentra:  t ( d − t ) + F ( t ) (F (t ) − h(t ) )  t (d − t ) + F (t ) (F (t ) − h( t ) ) F ' (t ) + +   +1 = 0 F ( t )( d − t ) − t ( F ( t ) − h(t ) )  F ( t )( d − t ) − t ( F ( t ) − h(t ) )  2. (13). Finalmente se puede introducir la restricción que las distancias a lo largo de la dirección vertical h(t) se deben transformar en forma equivalente a las coordenadas de los píxeles en forma radial. A su vez se debe tener en cuenta la linealidad del sensor de captura. Para ello definimos la relación entre la altura real y la altura medida en píxeles (radial) debe satisfacer la siguiente ecuación: h ( ρ) = aρ + b. (14). Finalmente se puede remplazar la distancia radial en píxeles ρ por las coordenadas radiales del espejo dadas por la variable t (radio variable del espejo), usando la ecuación de proyección perspectiva dada por: ρ=. ft F (t ). (15). Finalmente el proceso para determinar la curvatura del espejo que satisfaga las condiciones dadas, consiste en integra la ecuación (13) mientras t varias de 0 al radio deseado del espejo y reemplazando la h(t) y el cambio de variable dado por las ecuaciones (14) y (15).. Al solucionar utilizando Matlab se encuentra la curvatura deseada (es posible a su vez utilizar el aplicativo de Matlab realizado por José A. Cruz Pinto Gaspar y Claudia Decco, en la. 39.

(40) IEM-II-07-04. Universidad de Lisboa [13]). Al utilizar este aplicativo o resolver la ecuación diferencial se obtienen los datos deseados para media curvatura del espejo.. 3.3. CONSTRUCCIÓN. Con los datos para media curvatura del espejo, se desarrolla un sólido de revolución con ayuda del Software Solid Edge®. A continuación se procede a realizar él maquinado de la pieza en un torno de control numérico y si es necesario se realiza un baño en cromo a pieza obtenida con el fin de mejorar su reflejo como espejo y protegerlo de la corrosión.. En el caso de este proyecto, la curvatura se diseño para mantener una resolución vertical constante de un elemento ubicado a 2 metros de distancia, con un ángulo visual comprendido entre 45º a 105º con respecto al eje central del espejo y con un radio de 2.5 cm. El espejo se construyó en Acero 10-45 en un torno de control numérico y posteriormente se le dio un baño en cromo duro de 50 µm de espesor.. Adicionalmente en visita realizada al laboratorio de percepción avanzada de la universidad estatal de São Paulo, Brasil, se desarrolló un espejo de curvatura hiperbólica definida, que permite obtener imágenes de 360 grados con corrección en la transformación de acuerdo al perfil específico del espejo. El espejo realizado pose una curva dada por la curva hiperbólica dada por (6)..  x2  y = 39.3  1 +  − 43.9  186 . (16). El espejo posee un radio de 2 cm. con un ángulo de visión de 121º verticales. Este espejo esta basado en el trabajo realizado por Valdir Grassi Junior en la USP [11].. 40.

(41) IEM-II-07-04. Este espejo fue desarrollado en los laboratorios de manufactura avanzada de la Universidad de São Paulo, en un torno de ultra alta precisión y con herramienta cortadora en punta de diamante. El material empleado fue aluminio. El espejo obtenido en el maquinado no necesita baño ni brillo adicional pero es muy susceptible a perdida de sus características en su manejo directo.. Los espejos realizados se muestran en la figura 12 a continuación:. Figura 12. Izquierda, Espejo de Resolución vertical constante. Derecha, Espejo con curvatura Hiperbólico. Una vez finalizada la construcción de los espejos, estos se acoplan a la cámara actual del sistema robótico (Logitech ClickSmart 510) mediante la utilización sistema de soporte para la cámara y el espejo y su acople a la silla de ruedas. Dependiendo del espejo utilizado se van a encontrar diversas propiedades en la imagen obtenida. En el Anexo A se presentan los planos de construcción y montaje del espejo a la silla de ruedas. A continuación se muestran las imágenes obtenidas utilizando los dos espejos realizados para este proyecto:. 41.

(42) IEM-II-07-04. Figura 13. Izquierda. Espejo Resolución Vertical Constante. Derecha. Espejo Hiperbólico. En la figura anterior se aprecia que el espejo de curvatura hiperbólica presenta una mayor deformación del objeto en forma radial, pero a su vez posee un mayor ángulo de cobertura horizontal. De igual forma el espejo de resolución vertical constante mantiene una mejor proporción de los objetos ub icados a una misma distancia y a diferente altura, es decir mantiene una proporción radial de la altura de los objetos, pero a su vez su grado de visión horizontal es menor.. 3.4. IMÁGENES PANORÁMICAS POLARES Y CILINDRICAS Al utilizar el espejo diseñado con una cámara convencional se obtienen imágenes del tipo polar., en la cual se aprecia la captura del espacio tridimensional en la curvatura del espejo. Con estas imágenes se pueden realizar un procesos de desdoblado (convertir la imagen polar a cilíndrica) y sobre la imagen obtenida realizar procesos de tratamiento de tratamiento de imágenes perspectiva estándar. De igual forma se puede realizar los procesos de directamente sobre la imagen polar, evitando el desdoble de la imagen, pero se el desdoblado permite una mejor comprensión del espacio capturado por la imagen panorámica.. A continuación se presenta el método general para realizar el desdoblado de la imagen. 42.

(43) IEM-II-07-04. 3.4.1. Desdoblado o imágenes cilíndricas:. Imágenes panorámicas polares se pueden convertir en imágenes cilíndricas mediante un proceso de desdoblado (dewarping) [12]. Este consiste en la conversión de los píxeles de una imagen en su espacio RGB en coordenadas polares con su correspondiente proyección a coordenadas cartesianas en RGB, el proceso de conversión se basa en la ecuación (17).. I (u , v ) = I 0 ( R cos(α ) + u0 , R sin(α ) + v0 ). (17). Donde (u0 ,v 0 ) es el centro de la imagen, α es una función lineal de u con valores comprendidos entre 0 y 2π (una función angular en coordenadas polares) y R es una función lineal de v que define el radio a cubrir en la imagen polar. Para la ejecución de este desdoblado se utiliza un programa (librería) desarrollado en Borland C++ Builder®, que permite la conversión de polar a rectangular. Cabe aclarar que en este proceso se debe hacer el desdoble de cada una de las componentes de la imagen original con una matriz tridimensional y que depende directamente de la resolución de la imagen.. En la figura 14a se muestra una imagen polar obtenida con el espejo de resolución vertical constante y en la figura 14b la imagen cilíndrica obtenida.. Finalmente en el proceso de. desdoblado se aprecia que las zonas más cercanas al centro de la imagen polar, al ser tratadas, van a tener menor resolución que las zonas externas. Esto se da debido que al utilizar un sistema polar, entre más cercano al centro se encuentre, los píxeles deben cubrir una mayor área del espacio tridimensional. De igual forma se aprecia que en el espejo se tiene una región muy pequeña de autorreflexión (la cámara se refleja), que al ser desdoblada se aprecia como una región oscura en la parte superior de la imagen cilíndrica.. 43.

(44) IEM-II-07-04. Figura 14. a. Imagen Polar e Imagen b. Cilíndrica Obtenida. En la figura anterior se aprecia que los elementos verticales se transforman linealmente, pero los horizontales presentan distorsión. Si se utiliza el espejo con curvatura hiperbólica, se puede emplear su curvatura definida al hacer el desdoble, este mejora las relaciones verticales y horizontales de las imágenes obtenidas, siendo posible obtener imágenes panorámicas con características perspectivas como las obtenidas por una cámara convencional [11].. Este proceso es lento computacionalmente dado que hace. necesario la solución de una ecuación diferencial para el mapeo de cada píxel. Sin embargo también es posible aplicar la ecuación de conversión de coordenadas polares a cartesianas sin tener en cuenta la corrección de la curvatura del espejo. A continuación se muestra este desdoble realizado para el espejo hiperbólico y su comparación con el espejo de resolución vertical constante:. 44.

(45) IEM-II-07-04. Figura 15. Imagen Panorámica Espejo Hiperbólico. Figura 16. Imagen Panorámica espejo de resolución vertical constante. Como se aprecia el espejo de resolución vertical constante mantiene una mejor relación del aspecto vertical de los objetos y como este sistema se enfoca a su utilización en seguimiento de personas, se ha decidido utilizar principalmente este espejo para las funciones de detección de personas, las cuales se desarrollaran en las secciones siguientes.. 45.

(46) IEM-II-07-04. 4.. OBTENCIÓN DE PARÁMETROS LEY DE CONTROL E IMPLEMENTACIÓN. En este capitulo se muestra los diversos métodos desarrollados para la obtención de los parámetros necesarios para aplicar la ley de control obtenida en el capítulo 1 de este trabajo. Se desarrollan técnicas para obtención de la posición o ángulo de un objeto con respecto a la silla, a partir de tratamiento de imágenes obtenidas mediante el sistema de visión panorámica desarrollado en el capítulo 3. De igual forma se muestran dos métodos implementados para determinar la distancia del objetivo.. 4.1. DETERMINACIÓN DEL ÁNGULO DE LA PERSONA. Para la determinación del ángulo de la persona a seguir se plantea hacer la detección de este, mediante la utilización de visión o tratamiento de imágenes con le fin de detectar una marca tal como un chaleco reflectivo de color Rojo o Naranja. El Objetivo en este caso es detectar el chaleco, mediante su segmentación del resto de la imagen adquirida en el sistema de visión de la silla de ruedas y posteriormente poder determinar ángulo con respecto a la silla o centro de la imagen de la cámara. Figura 17. Ejemplo Marca a Seguir. 46.

(47) IEM-II-07-04. Cuando se trabaja con imágenes en color, se encuentran diversos espacios. o formas de. representarlas, unas de los más conocidos son el espacio RGB (Red, Green, Blue) y el espacio HSV (Hue, Saturation, Value), Estos poseen las siguientes características [16] •. RGB: Un color se obtiene por la mezcla de unos colores primarios aditivos: Rojo, azul y verde (RGB) empleando un sistema de coordenadas cartesianas cuyos ejes son estos colores y con valores de 0 a 256 en intensidad de componente. •. HSV: Componentes de color HSV (Matiz/Hue, Saturación/Saturation y Valor/Value), El modelo HSV es la proyección de cubo del modelo RGB por su diagonal mayor. En la siguiente figura se muestra como estos espacios formas una imagen a color:. Figura 18. Espacio de Colores RGB y HSV. 47.

(48) IEM-II-07-04. En la imagen adquirida se busca poder extraer la información del chaleco, que permita obtener el ángulo donde se encuentra la persona con respecto al eje central de la cámara. Para este tratamiento inicialmente se trabaja con las componentes RGB (rojo, azul y verde) de la imagen. Como los colores de una imagen, son la combinación del estos tres, se puede llegar al extraer un solo color al hacer operaciones algebraicas con estas componentes. Es así como para el color rojo o naranja, característico del chaleco, se puede trabajar con la componente fundamental Roja. Más exactamente se resta de la componente fundamental rojas, las dos componentes restantes (Azul y Verde), como se muestra en la imagen a continuación. Figura 19. Segmentación de Color Rojo en el espacio RGB. Como se ve, la imagen obtenida es en escala de grises y es una representación de las partes de la imagen que solo poseen una componente roja fundamental del espacio RGB.. 48.

(49) IEM-II-07-04. De igual forma se puede trabajar con la segmentación a partir de las compones HSV de la imagen. Las componentes HSV de una imagen de prueba se presentan a continuación:. Figura 20. Componentes HSV de marca a seguir. De estas componentes se aprecia que la que mejor realza las características del chaleco es la componente de saturación (S), dado los fuertes valores de saturación que pueden tener los colores cercanos al rojo, por lo que se decide enfatizar esta característica al realiza operación algebraica S*S con esta única componente. A continuación se presenta la muestra de esta operación. Figura 21. Segmentación es Espacio de Colores HSV. 49.

(50) IEM-II-07-04. Como se observa se genera una imagen en escala de grises que realza las partes de la imagen con niveles altos de saturación. Una vez se han obtenido las imágenes segmentadas en escala de grises, se realiza un filtrado con el de eliminar algunos ruidos presentes. Para esto se utiliza un filtro de mediana con ventana de 9*9, el cual presenta buenos resultados a un costo computacional bajo [17].. Figura 22. Filtro de Mediana. Una vez se ha filtrado la imagen en escala de grises se hace un proceso de umbralización, el cua l consiste en convertir todos los valores por encima de una valor de 120 (escala de 0 a 255) en 255 o color blanco y los valores inferiores en color negro (0).. 4.2. TRATAMIENTO DE IMÁGENES PANORÁMICAS Como se presento en el capitulo 3, al utilizar el espejo diseñado con una cámara convencional se obtienen imágenes del tipo polar y de estas se pueden obtener imágenes cilíndricas. Estas. 50.

(51) IEM-II-07-04. permiten ampliar la cobertura espacial de la cámara perspectiva estándar de 42 grados horizontales a 360 grados, con lo cual se amplia el grado de visión del roboot sin la necesidad de hacer varias tomas o sistemas “Pan and Till”. Dado que las imágenes obtenidas se pueden representar en cualquiera de los espacios de colores ya mencionados, se pueden aplicar las mismas técnicas de segmentación desarrollados para imágenes perspectivas estándar. A continuación se presentan estas técnicas de segmentación enfocadas a diferenciar la marca o chaleco seleccionado de una imagen en sistemas omnidireccional.. 4.2.1. Segmentación de imágenes panorámicas en espacio de colores RGB:. A partir de la imagen cilíndrica (capitulo 3) se realiza el mismo proceso de restar las componentes verde y azul a la componente roja. La imagen en. escala de grises muestra. solamente los elementos que poseen una componente roja básica. Para eliminar ruidos producidos o elementos no deseados, se pasa la imagen en escala de grises por un filtro de mediana con mascara de 9*9 píxeles. Para poder definir con mejor claridad los elementos en color rojo puro, se hace un proceso de umbralización de la imagen que ha sido filtrada, con lo que se obtiene una segmentación definida de aquellos elementos con componente roja básica. En las figuras 23 y 24, se presenta la imagen panorámica tipo cilíndrica y su segmentación mediante operación R-GB. Figura 23. Imagen Cilíndrica Obtenida. 51 Figura 24. Segmentación de Marca Color Rojo mediante operación R-G-B.

(52) IEM-II-07-04. Es de aclarar que este sistema de segmentación se puede aplicar a los otros componentes o a una marca con combinación de esto, pero a mayor composición de colores en la marca se aumenta el tiempo de procesamiento computacional. De igual. forma se puede aplicar en imágenes. perspectivas estándar, pero el ángulo de cobertura será menor.. Una vez se obtiene la imagen umbralizada se puede determinar la columna de píxeles correspondiente al centro de masa y los bordes laterales de la región segmentada. Con el píxel del centro de masa se obtiene el ángulo al que se encuentra el objeto, mediante la aplicación de ecuación (18).. ( PixelC .M . − anchoI )180 2 φ= anchoI. 2. (18). Donde PixelC.M. es el valor de los píxeles correspondientes a la columna del centro de masa de la región segmentada y anchoI es el número de píxeles correspondientes al ancho de la imagen. Las imágenes panorámicas obtenidas poseen una resolución de 144*720 píxeles, es decir que cada grado horizontal se representa por dos píxeles de la imagen.. Los valores de las columnas correspondientes a los bordes laterales de la región segmentada pueden ser utilizados para obtener un valor aproximado de la distancia del objeto, como se mostrara más adelante.. 4.2.2. Segmentación de imágenes en espacio de colores HSV:. Cuando se utilizan el espacio de colores RGB para la segmentación del objeto, se aprecia que este es muy susceptible a la iluminación del lugar, razón por la cual se implementó un algoritmo que. 52.

(53) IEM-II-07-04. creaba la matriz binaria mencionada en la sección anterior con base en el modelo de colores HSV (Hue, Saturation, value ) [16] el cual brinda una mayor robustez ante este problema.. La nueva matriz binaria se obtiene al utilizar la componente de saturación mediante la operación S*S, con lo que se obtiene una nueva imagen de grises. De igual forma se le aplica un filtro de Mediana con ventana de 9*9 píxeles y umbralización de la imagen con el fin de obtener la imagen segmentada y poder calcular el píxel del centro de masa de la región deseada y de esta forma el ángulo del objeto. En la figura 9 se presenta la segmentación de la figura 6 mediante el método S*S en el espacio de colores HSV.. Figura 25. Segmentación de Marca Color Rojo mediante operación S*S. Este método es menos susceptible a los cambio de iluminación, pero no siempre puede diferencia claramente de regiones con brillos o valores de Saturación altos. Además implica un proceso de transformación de las imágenes adquiridas generalmente en formato RGB al espacio de Colores HSV. 4.2.3. Segmentación del objeto en imágenes panorámicas tipo polar:. Dado que el desdoblado de imágenes genera un gran gasto en tiempo computacional, se puede aplicar las técnicas de segmentado directamente en las imágenes polares. El proceso para obtener. 53.

(54) IEM-II-07-04. el ángulo es igual al utilizado en las imágenes cilíndricas, solo que en este caso es necesario obtener dos coordenadas para el centro de masa y de esta forma aplicar la ecuación (19). φ = tan. −1. (PixelC.Mx. − anchoI 2 ) (PixelC.My. − altoI 2 ). (19). Donde PixelC.Mx.y PixelC.y es el valor de los píxeles de la columna y fila respectivamente del centro de masa y anchoI y AltoI es el número de píxeles de ancho y alto de la imagen. Las imágenes polares obtenidas poseen una resolución de 480*480 píxeles. En la figura 26 se muestra la segmentación utilizando S*S en imágenes polares.. Figura 26. Segmentación de Marca Color Rojo mediante operación S*S en Imagen Panorámica tipo Polar. 54.

(55) IEM-II-07-04. 4.3. DETERMINACIÓN DE LA DISTANCIA DEL OBJETO. El modelo de control a utilizar necesita del ángulo y la distancia del objeto con respecto al sistema robótico seguidor. En la sección anterior se desarrollaron método para obtener la posición angular, quedando por determinar la distancia del objeto. A continuación se muestran dos métodos para la obtención de este valor. 4.3.1.. Distancia mediante uso de sensores de ultrasonido.. El sistema robótico de la silla de ruedas cuenta con un sistema de 4 anillos de ultrasonido SRF08 [18],[19] y [20] con capacidad de medición hasta 10 metros. Estos sensores poseen un cono de medición definido y pueden dar con gran exactitud la distancia al objeto más cercano dentro de este cono, utilizando el principio del eco, o tiempo de vuelo entre emisión y recepción de un pulso ultrasónico y su rebote en el objeto. En la figura 27 se muestra el anillo de ultrasonidos, su disposición en la silla y su cono de medición.. 55 Figura 27. Anillo de ultrasonidos en la silla de ruedas y su cono de medición.