Aportaciones

8.2.1.

Atributos para describir los ademanes

Los atributos de movimento han sido extensamente utilizados como una descripci´on suficiente de los ademanes. En pocas ocasiones los atributos de postura han sido considerados junto con los de movimiento para representar los ademanes. Hasta este momento, en la literatura no existen reportes que demuestren la conveniencia de dicha combinaci´on. En este trabajo, por primera vez se reporta evidencia emp´ırica sobre la utilidad de la informaci´on de postura-movimiento.

Se consideraron 4 atributos de postura y 3 de movimiento. Los atributos de postura son los sigu-

ientes: f ormapara describir la orientaci´on y la forma de la mano,derechaque representa si la mano

se encuentra a la derecha del rostro, arriba si la mano se encuentra arriba del rostro y torso, si la

mano est´a sobre el torso del usuario. Los 3 atributos de movimiento que se consideran son:∆x y∆y

que describen el desplazamiento de la mano en el planoXY y∆area´ para estimar el movimiento en

profundidad. Cuando se compara la combinaci´on de estos atributos con una representaci´on que utiliza s´olo atributos de movimiento se obtienen mejores resultados de reconocimiento cuando se consideran:

Ademanes de un ´unico usuario de frente y a una distancia fija de la videoc´amara. Ademanes ejecutados a diferentes distancias.

Ademanes realizados con diferentes ´angulos de rotaci´on respecto a la videoc´amara. Ademanes de m´ultiples usuarios.

Este trabajo es una aportaci´on en la definici´on de los atributos para describir los ademanes, el cual es uno de los problemas m´as importantes a resolver para dotar a las m´aquinas con la capacidad de reconocerlos. Los atributos propuestos no consideran magnitud absoluta de movimiento y centran la descripci´on en la forma del usuario, por lo que son menos sensibles a las variaciones experimentales mencionadas arriba, sin necesidad de procesamiento extra de las observaciones obtenidas. Lacombi- naci´on de la postura y movimiento no s´olo es importante para la clasificaci´on visual de los ademanes. Tambi´en es importante para entender los procesos mentales y f´ısicos involucrados en la ejecuci´on y entendimiento de los ademanes.

En la realizaci´on de los ademanes considerados en este trabajo se supone la mano como un ob-

jeto r´ıgido –i.e., no articulado o sin movimiento de los dedos. Sin embargo, la combinaci´on postura-

movimiento puede aplicarse tambi´en a otros tipos de ademanes. Por ejemplo, considere ademanes que involucran movimiento de los dedos –por ejemplo, las se˜nales de “V” de la victoria, mostrando el pul- gar o que indique cantidades. En este caso, se pueden considerar adem´as de la postura, el movimiento de la mano y ´estos pueden describirse de forma relativa a su orientaci´on y a la posici´on de los dedos.

8.2.2.

Modelos de reconocimiento

En este trabajo se presentan dos nuevos modelos para representar y clasificar los ademanes: los clasi- ficadores Bayesianos din´amicos simples y las redes l´ogico-probabilistas.

Los clasificadores Bayesianos simples din´amicos son una extensi´on a los modelos ocultos de Markov. Este modelo relaja la suposici´on de dependencia condicional entre los atributos que de- finen el adem´an dada la clase; esto se hace factorizando dichas variables como lo hace un clasificador Bayesiano simple. La descripci´on gr´afica de un clasificador Bayesiano simple din´amico hace m´as clara la relaci´on de los atributos y por tanto posibilita un mejor entendimiento del proceso modela- do. En toda la experimentaci´on los clasificadores Bayesianos simples din´amicos muestran resultados de clasificaci´on competitivos con los modelos ocultos de Markov. Adem´as, estos modelos requieren un menor n´umero de iteraciones del algoritmo Expectaci´on-Maximizaci´on para su entrenamiento. Esta reducci´on es importante si se desea implementar el aprendizaje en l´ınea de los ademanes de un usuario. Las redes l´ogico-probabilistas son una extensi´on a las redes Bayesianas. Estos modelos consid- eran variables l´ogicas en t´erminos de cl´ausulas de Horn para incluir informaci´on determinista dentro de la red. En este trabajo las redes l´ogico-probabilistas se utilizaron para describir los atributos de movimiento como variables aleatorias y la postura como variables determin´ısticas. Desafortunada- mente, la ejecuci´on de la mayor´ıa de los ademanes no cumpli´o con las suposiciones deterministas

definidas en este modelo, lo cual afect´o su desempe˜no. Sin embargo, mediante la relajaci´on de las relaciones deterministas, este modelo present´o resultados competitivos en comparaci´on a los modelos ocultos de Markov y los clasificadores Bayesianos simples din´amicos. Aunque los resultados con las redes l´ogico-probabilistas no son del todo satisfactorios, este modelo ofrece un nuevo punto de vista y una nueva avenida de investigaci´on para la representaci´on de los atributos de los ademanes.

La definici´on que se presenta en este documento para los clasificadores Bayesianos din´amicos simples y para las redes l´ogico-probabilistas es lo suficientemente general para aplicarse a otros prob- lemas que requieran el an´alisis de datos en secuencia. Por ejemplo, ambos modelos pueden aplicarse en el reconocimiento de se˜nales realizados con la mano, as´ı como tambi´en en el reconocimiento de actividades que requieren el an´alisis de postura y movimiento de todo el cuerpo de un individuo.

8.2.3.

Implementaci ´on del sistema de an´alisis visual

Se presentaron 2 sistemas de an´alisis visual para la extracci´on de las observaciones de postura- movimiento de los ademanes. El proceso general es similar en ambos sistemas. Inicialmente se localiza el rostro del usuario para detectar su mano derecha y comenzar el seguimiento de la misma por medio de color. El sistema No. 1 es una aproximaci´on basada ´unicamente en una distribuci´on general de color de piel, producto de un muestreo de im´agenes de m´ultiples usuarios bajo diferentes ambientes y condi- ciones de iluminaci´on. El sistema No. 2 presenta un enfoque adaptivo para el manejo de ambientes con iluminaci´on variable. Dado que este sistema utiliza informaci´on obtenida en l´ınea sobre el color de piel del usuario, es m´as robusto cuando la iluminaci´on blanca produce colores poco saturados. Aunque no se realiz´o una evaluaci´on cuantitativa para comparar los diferentes algoritmos implementados, estos resultados muestran la necesidad de explorar algoritmos adaptivos para el manejo de ambientes con iluminaci´on variable y m´ultiples usuarios.

8.2.4.

Aplicaci´on de los ademanes en la teleoperaci ´on del robot m ´ovil

En este trabajo se desarroll´o una interfaz de comunicaci´on para el control a distancia de un robot m´ovil. Aunque en la literatura se menciona frecuentemente como una aplicaci´on factible de los ademanes, esta idea parece ser poco implementada en la realidad. Sin embargo, el desarrollo de una interfaz funcional humano-robot de este tipo puede mejorar considerablemente el entendimiento de un sistema de reconocimiento de ademanes y del comportamiento del robot desde el punto de vista del usuario. Por un lado, ofrece una perspectiva sobre la utilidad y flexibilidad de los ademanes considerados. Por otro lado, permite estudiar la percepci´on del usuario hacia el robot y las habilidades que es necesario

implementar para que ´este realice eficazmente las tareas requeridas por el usuario. Este desarrollo es posiblemente uno de los primeros sistemas orientados al control de un robot m´ovil a distancia por medio de ademanes implementados hasta el momento.