Eduardo Quintana Contreras
Y APROBADA POR EL SIGUIENTE COMIT´E
Dr. Jes´us Favela Vara Director del Comit´e
Dra. Ana Isabel Mart´ınez Garc´ıa Miembro del Comit´e
Dra. Veneranda Guadalupe Garc´es Ch´avez Miembro del Comit´e
Dr. Hugo Homero Hidalgo Silva Coordinador del programa de posgrado en Ciencias de la Computaci´on
Dr. David Hilario Covarrubias Rosales Director de Estudios de Posgrado
EDUCACI ´
ON SUPERIOR DE ENSENADA
PROGRAMA DE POSGRADO EN CIENCIAS EN CIENCIAS DE LA COMPUTACI ´ON
SISTEMA DE ANOTACIONES AMBIENTALES PARA ASISTENCIA A PERSONAS CON PROBLEMAS DE MEMORIA
TESIS
que para cubrir parcialmente los requisitos necesarios para obtener el grado de MAESTRO EN CIENCIAS
Presenta:
EDUARDO QUINTANA CONTRERAS
RESUMENde la tesis deEDUARDO QUINTANA CONTRERAS, presentada como requisito parcial para la obtenci´on del grado de MAESTRO EN CIENCIAS en CIENCIAS DE LA COMPUTACI ´ON. Ensenada, Baja California, noviembre de 2011.
SISTEMA DE ANOTACIONES AMBIENTALES PARA ASISTENCIA A PERSONAS CON PROBLEMAS DE MEMORIA
Resumen aprobado por:
Dr. Jes´us Favela Vara Director de Tesis
La p´erdida de memoria afecta a un n´umero significativo de personas. Existe una variedad de estrategias y herramientas para luchar contra este trastorno y alargar el tiempo de independencia de los individuos. Entre ellas, estrategias comunes involu-cran adaptar el entorno de los individuos, colocando etiquetas en cajones o quitando puertas para que el contenido sea visible. Otras herramientas m´as sofisticadas emplean dispositivos computacionales.
Las herramientas existentes utilizan diversas tecnolog´ıas para presentar informaci´on a los usuarios, sin embargo, tienen ciertas limitaciones, pues no pueden mostrar in-formaci´on espont´anea, es decir, sin la necesidad de especificar una hora y fecha para recordarle algo al usuario, o mostrarle alg´un mensaje. Existen t´ecnicas de visi´on por computadora que permiten reconocer elementos en el entorno, como por ejemplo los marcadores visuales, sin embargo, ´estos generan contaminaci´on visual y debe colocarse un marcador por cada objeto o ubicaci´on a la que se desee asociar contenido virtual.
En esta tesis se propone el ANS, un sistema de anotaciones ambientales enfoca-do en asistir a personas con problemas de memoria y a sus cuidaenfoca-dores. Dicho sistema est´a dirigido a entornos interiores y contiene tres subsistemas principales: (1) el Admi-nistrador de Etiquetas, utilizado para la creaci´on, edici´on y eliminaci´on de etiquetas, (2) la aplicaci´on Servidor, encargada de ubicar al usuario a nivel de cuarto y de realizar la b´usqueda de etiquetas en el entorno, y (3) la aplicaci´on Cliente, ejecutada en un dis-positivo m´ovil, que notifica al usuario sobre alguna etiqueta y presenta la informaci´on asociada a ´este (texto, audio o im´agenes).
La identificaci´on de estas etiquetas se realiza en tiempo real, enviando im´agenes desde un dispositivo m´ovil a un servidor, que utiliza el algoritmo SURF para el reco-nocimiento de objetos. Se utiliza la ubicaci´on del usuario para reducir el espacio de b´usquedas de etiquetas, calculada tambi´en con el algoritmo SURF.
Se realiz´o una evaluaci´on del ANS, con el objetivo de analizar su funcionamiento en condiciones parecidas a las del uso esperado del sistema. Entre otras cosas, se deter-min´o que las notificaciones audibles son m´as efectivas que las notificaciones vibratorias para avisar sobre la presencia de etiquetas en el entorno.
ABSTRACT of the thesis presented by EDUARDO QUINTANA CONTRE-RAS, as a partial requirement to obtain the degree of MASTER IN SCIENCES in COMPUTER SCIENCE. Ensenada, Baja California, november 2011.
AMBIENT ANNOTATIONS SYSTEM FOR ASSISTING MEMORY IMPAIRED PEOPLE
Memory loss affects a significant number of people. There are several strategies and tools to cope with this disorder and lengthen the patients’ independence. Some of these include adaptations to their physical environment, such as placing labels on drawers or removing cabinet doors to make items visible. Other more sophisticated tools use computing devices.
Existing tools use a variety of technologies to display information to users; however, they have certain limitations, since they can’t display spontaneous information, i.e. without specifying a time and date to send the user a reminder or show some message. There are computer vision techniques used to recognize items in the environment, such as visual markers, however, they cause unwanted visual disorder and a marker needs to be placed on each object or location of interest.
This thesis proposes the ANS, an ambient annotation system focused on assisting people with memory problems and their caregivers. This system is aimed at indoor environments and includes three major subsystems: (1) Tag Manager, used for creating, editing, and deleting tags, (2) the Server application, responsible for calculating the user’s location at a room level and performing the tag search in the environment, and (3) the Client application running on a mobile device, which notifies the user about tags in the environment and presents their associated information (text, audio or images).
The tag identification is done in real time, sending pictures from a mobile device to a server, which uses the SURF algorithm for object recognition. The user’s location is used to reduce the tag search space; this location is calculated using the same algorithm. We evaluated the ANS to analyze its performance in conditions similar to those expected for the target user. Among other things, we determined that audio notifications are more effective than vibrating notifications to notify the user about tags in the environment.
This thesis describes the ANS design, implementation and evaluation.
A mis padres:Felipe y Elizabeth, por su apoyo incondicional
A mi hermanoFelipe
Agradecimientos
Un especial agradecimiento a mi director de tesis, Dr. Jes´us Favela Vara. Gracias por brindarme su apoyo, consejos y confianza durante la realizaci´on de este trabajo.
A los miembros de mi comit´e de tesis, Dra. Ana I. Mart´ınez Garc´ıa y Dra. Veneranda Gpe. Garc´es Ch´avez. Gracias por sus valiosos comentarios que contribuyeron a mejorar
este trabajo, as´ı como por su tiempo para la revisi´on del mismo.
A los investigadores y personal del Departamento de Ciencias de la Computaci´on. Gra-cias por contribuir en mi formaci´on.
A Yessica. Gracias por tu paciencia, cari˜no y apoyo.
A todos mis familiares. A mis amigosSelene yArmando. A mis amigos de Cd. Obreg´on, Sonora. Gracias por sus palabras de aliento y apoyo.
A mis compa˜neros, que me brindaron su ayuda en todo momento e hicieron m´as f´aciles las desveladas: Daniel, Jos´e, Mois´es, Gabriel, Mart´ın, Ram´on, H´ector, Karina, Pa´ul, Miguel, Gerardo, Ulises, Jessica y Limberg. Gracias por su amistad y por todos esos momentos inolvidables.
Al Centro de Investigaci´on Cient´ıfica y de Educaci´on Superior de Ensenada.
Contenido
P´agina
Resumen en espa˜nol I
Resumen en ingl´es III
Dedicatoria IV
Agradecimientos V
Contenido VI
Lista de Figuras IX
Lista de Tablas XIII
Lista de Pseudo-C´odigos XIV
I Introducci´on 1
I.1 Planteamiento del problema . . . 3
I.2 Objetivos del estudio . . . 5
I.2.1 Objetivo general . . . 5
I.2.2 Objetivos espec´ıficos . . . 5
I.3 Metodolog´ıa . . . 6
I.4 Organizaci´on de la tesis . . . 7
II Sistemas para Asistencia a la Memoria 9 II.1 Demencia . . . 9
II.1.1 Tecnolog´ıas de asistencia para la demencia . . . 12
II.1.2 Administraci´on de la vida diaria . . . 16
II.2 Trabajos relacionados . . . 18
II.3 Resumen . . . 22
III Realidad Aumentada M´ovil 24 III.1 Introducci´on . . . 24
III.2 Anotaciones de realidad aumentada . . . 25
III.2.1 Dimensiones de las anotaciones . . . 27
III.3 Arquitectura de un sistema de RA m´ovil . . . 32
III.4 Seguimiento . . . 33
III.4.1 Seguimiento basado en sensores . . . 34
Contenido
(continuaci´
on)
P´agina
III.4.3 Otros m´etodos de seguimiento . . . 40
III.4.4 Seguimiento h´ıbrido . . . 41
III.4.5 Repositorios . . . 45
III.5 Despliegue . . . 45
III.5.1 See-through HMD . . . 46
III.5.2 Despliegue basado en proyecci´on . . . 48
III.5.3 Despliegue port´atil . . . 48
III.6 Interacci´on . . . 50
III.7 Resumen . . . 51
IV Sistema de Anotaciones Ambientales 52 IV.1 Arquitectura del sistema . . . 53
IV.2 Algoritmo SURF . . . 56
IV.2.1 Im´agenes Integrales . . . 57
IV.2.2 Detector Fast-Hessian . . . 58
IV.2.3 Descriptor de puntos de inter´es . . . 59
IV.2.4 B´usqueda del vecino m´as cercano . . . 60
IV.2.5 Distancia Euclidiana . . . 62
IV.2.6 Consistencia geom´etrica . . . 62
IV.2.7 Resoluci´on de im´agenes y par´ametros del algoritmo . . . 63
IV.3 Manejo de objetos . . . 65
IV.4 Manejo de espacios . . . 66
IV.5 Secuencia de im´agenes . . . 69
IV.6 Administrador de Etiquetas . . . 71
IV.6.1 Administraci´on de espacios . . . 72
IV.6.2 Asociaci´on de im´agenes . . . 74
IV.6.3 Creaci´on de etiquetas . . . 78
IV.7 Aplicaci´on Servidor . . . 85
IV.7.1 Obtener coincidencias . . . 86
IV.7.2 B´usqueda de etiquetas . . . 86
IV.7.3 Sincronizaci´on del repositorio . . . 89
IV.7.4 Leer puntos de inter´es . . . 90
IV.7.5 Leer etiquetas . . . 90
IV.7.6 Actualizar repositorio de puntos de inter´es . . . 90
IV.7.7 Actualizar repositorio de etiquetas . . . 91
IV.7.8 Implementaci´on . . . 91
IV.8 Aplicaci´on Cliente . . . 93
Contenido
(continuaci´
on)
P´agina
IV.8.2 Sincronizaci´on del repositorio . . . 97
IV.8.3 Configuraci´on . . . 97
IV.8.4 Implementaci´on . . . 98
IV.9 Resumen . . . 99
V Evaluaci´on del ANS 101 V.1 Objetivo . . . 101
V.2 Variables . . . 101
V.3 Hip´otesis . . . 103
V.4 Dise˜no del experimento . . . 103
V.4.1 Actividades . . . 105
V.4.2 Infraestructura del experimento . . . 107
V.5 Desarrollo del experimento . . . 108
V.6 An´alisis de datos . . . 108
V.6.1 Resultados . . . 109
V.7 Discusi´on . . . 113
V.8 Resumen . . . 116
VI Conclusiones y Trabajo Futuro 118 VI.1 Resumen . . . 118
VI.2 Aportaciones . . . 120
VI.3 Trabajo futuro . . . 121
REFERENCIAS 123
Lista de Figuras
Figura P´agina
1 Parte del equipo de hardware requerido por AI Goggles. . . 21
2 Arquitectura b´asica de un sistema de Realidad Aumentada M´ovil. . . . 32
3 Algunas bibliotecas de marcadores para realidad aumentada. . . 36
4 Ejemplo del funcionamiento de Google Goggles. Izquierda: El usuario apunta con la c´amara de un tel´efono m´ovil hacia el puente Golden Gate. Derecha: La aplicaci´on Google Goggles reconoce el puente y presenta informaci´on asociada a ´este. . . 43
5 Ejemplo del funcionamiento de Sekai Camera. (a) Muestra el men´u de un restaurante. (b) Presenta diversas Air Tags encontradas en el entorno del usuario. . . 44
6 Diagramas de VST-HMD y OST-HMD. . . 47
7 Arquitectura del Sistema de Anotaciones Ambientales (ANS). . . 53
8 Arquitectura detallada del ANS. . . 54
9 Usando im´agenes Integrales se requieren solamente tres sumas y cuatro accesos de memoria para calcular la suma de la intensidades dentro de una regi´on rectangular de cualquier tama˜no. . . 58
10 Precisi´on a diferentes resoluciones de imagen de consulta y de repositorio. 65 11 Tiempo de b´usqueda utilizando un repositorio de im´agenes y un reposi-torio de objetos. . . 66
12 Ejemplo de una secuencia de tres im´agenes utilizada para obtener la localizaci´on del usuario. . . 67
13 Cambios en la precisi´on y falsos positivos al disminuir el n´umero m´ınimo de puntos de inter´es considerados. . . 69
14 Cambios en la precisi´on y falsos positivos al incrementar el n´umero de puntos de inter´es considerados. . . 70
Lista de Figuras
(continuaci´
on)
Figura P´agina
16 Cuadros de di´alogo para (a) crear y (b) editar espacios. . . 74 17 Ventana Espacio. (1) Asociar imagen(es); (2) Eliminar imagen; (3)
Eli-minar todas; (4) Guardar cambios; (5) Cancelar cambios; (6) Im´agenes asociadas; (7) Vista previa. . . 75 18 Cuadros de di´alogo para (a) confirmar cambios realizados en el espacio
y (b) mostrar el progreso de la actualizaci´on de un espacio. . . 76 19 Ejemplo de entradas en una Matriz de Semejanza de un espacio con
n im´agenes asociadas. Para cada rengl´on se muestra en la izquierda la imagen de entrada, seguida de las cuatro im´agenes m´as parecidas dentro del espacio. . . 77 20 Ventana Creaci´on de Etiqueta. (1) Guardar; (2) Informaci´on textual;
(3) Segmento de audio; (4) Fecha; (5) Disponibilidad; (6) Mostrar m´as. 79 21 Ventanas para agregar (a) texto y (b) audio a una anotaci´on. . . 81 22 Ventana para programar una fecha y/o per´ıodo de disponibilidad de una
etiqueta. . . 81 23 Ventana Espacio. (1) Editar etiqueta; (2) Eliminar etiqueta; (3)
Repro-ducir audio; (4) Clonar etiqueta; (5) Disponibilidad de etiqueta. . . 83 24 VentanaEdici´on de Etiqueta. (1) Guardar; (2) Segmento de audio; (3)
Fe-cha; (4) Disponibilidad. . . 85 25 Interfaz principal de la aplicaci´on Cliente. En la pantalla del dispositivo
m´ovil se despliega el video obtenido por la c´amara. En la parte superior derecha se muestra la imagen de la ´ultima consulta realizada. . . 94 26 Despliegue de etiqueta en la pantalla del dispositivo m´ovil. En el cuadro
de di´alogo desplegado se muestra la informaci´on textual asociada a la etiqueta identificada. Adem´as, se presentan tres botones, con los que el usuario puede reproducir el segmento de audio, ver el objeto de inter´es encontrado, y continuar con las consultas. . . 95 27 Se˜nalizaci´on/Despliegue del objeto de inter´es. (a) Objeto de inter´es
Lista de Figuras
(continuaci´
on)
Figura P´agina
28 Men´u de opciones de la aplicaci´on Cliente. (a) El usuario puede especifi-car la direcci´on IP del Servidor y el tipo de notificaci´on que desea recibir al identificar una etiqueta. Tambi´en puede actualizar el repositorio de etiquetas. (b) Especificaci´on de la direcci´on IP. . . 98 29 Etiquetas creadas para la evaluaci´on del ANS. La informaci´on textual
y audible asociada a estas etiquetas indica al usuario que realice alguna actividad extra, sin que afecte el curso natural de la tarea. . . 104 30 Mapa de ubicaciones y actividades de la Tarea 1. (1) Laboratorio de
C´omputo M´ovil y Ubicuo; (2) Laboratorio; (3) Oficina de un investiga-dor; (4) Oficina de secretarias. . . 105 31 Mapa de ubicaciones y actividades de la Tarea 2. (1) Laboratorio de
C´omputo M´ovil y Ubicuo; (3) Oficina de un investigador; (4) Oficina de secretarias; (5) Sala de Juntas. . . 106 32 Equipo de hardware utilizado en la evaluaci´on del ANS. Izquierda: El
usuario se cuelga el dispositivo m´ovil del cuello, con la c´amara de ´este hacia el exterior. Centro: El usuario porta la videoc´amara Looxcie en la oreja derecha. Derecha: El usuario se coloca un auricular en la oreja izquierda. . . 107 33 Gr´afica que muestra el n´umero de VP, FN y FP resultantes por cada
participante. . . 110 34 Gr´afica que muestra el n´umero de notificaciones vibratorias y audibles
reconocidas por los participantes. . . 110 35 Comparaci´on entre im´agenes capturadas con la c´amara del tel´efono m´ovil
(arriba) y la videoc´amara Looxcie (abajo). . . 111 36 Gr´afica que muestra el n´umero de VP, FN y FP obtenidos con im´agenes
del dispositivo m´ovil y de la videoc´amara Looxcie. . . 112 37 (a) Gr´afica que muestra la preferencia de los participantes sobre el tipo
Lista de Tablas
Tabla P´agina
I Matriz de precisi´on (tiempo, en milisegundos). . . 65 II Precisi´on (tiempo, en segundos) para obtener la ubicaci´on de un usuario
utilizando un secuencia de hasta cinco im´agenes. . . 68 III Precisi´on (P) y falsos positivos (FP) al analizar una imagen y una
se-cuencia de dos im´agenes, variando el n´umero m´ınimo de puntos de inter´es considerados (#MPI). . . 71 IV Orden en que los participantes llevar´an a cabo las tareas, as´ı como
tam-bi´en el tipo de notificaci´on utilizado en cada una. . . 105 V Etiquetas identificadas por el ANS, para cada participante. . . 109 VI Valores obtenidos a partir de las 1002 consultas realizadas en la
eva-luaci´on. VP: Verdaderos positivos, FP: Falsos positivos, FN: Falsos ne-gativos, VN1: Verdaderos negativos resultantes de la Revisi´on de Con-sistencia Geom´etrica (ver Secci´on IV.2.6), VN2: Verdaderos negativos
determinados mediante el n´umero m´ınimo de puntos de inter´es conside-rados. . . 110 VII Valores obtenidos a partir de las im´agenes capturadas con la videoc´amara
Looxcie, con una separaci´on de 1 segundo entre cada una. VP: Verdaderos positivos, FP: Falsos positivos, FN: Falsos negativos, VN: Verdaderos negativos. . . 111 VIII Respuestas de los participantes respecto a las afirmaciones del
Lista de Pseudo-C´
odigos
Pseudo-C´odigo P´agina
1 B´usqueda exhaustiva . . . 61
2 Distancia Euclidiana . . . 62
3 Revisi´on de consistencia escalar . . . 63
4 Consultas (etiquetas y ubicaci´on) . . . 88
Introducci´
on
La enfermedad de Alzheimer es la causa m´as com´un de demencia, causando aproxi-madamente dos terceras partes de los casos. Se ha estimado que hasta el 50 % de las personas mayores a 85 a˜nos se encuentran en alguna etapa de Alzheimer (Alzheimer’s Association, 2007). El n´umero de personas afectadas por la demencia sigue creciendo al incrementar la proporci´on de adultos mayores (Goodman et al., 2002). La demencia afecta las habilidades cognitivas, tales como la memoria. Sus s´ıntomas, incluso en etapas tempranas, pueden causar muchos problemas y limitar severamente la independencia de una persona. En etapas posteriores pueden impedir que la persona lleve a cabo acti-vidades b´asicas de la vida diaria (Fearnley y HEBS, 1996). Adem´as, mucha gente mayor sufre de disminuci´on de la eficiencia en memoria de corto plazo y en memoria prospec-tiva (habilidad para recordar recordar) (Huppertet al., 2000). Estas observaciones son preocupantes por s´ı solas, pero son a´un m´as pertinentes si se toma en cuenta el hecho de que la poblaci´on mundial est´a envejeciendo.
del cuidado a personas con demencia, a nivel mundial, se ha estimado en US$608 mil millones (Wimo y Prince, 2010).
Actualmente, en M´exico residen m´as de 9.2 millones de personas mayores de 60 a˜nos, en 2030 ser´an 20.3 millones, y se espera que para la mitad del siglo alcancen 33.5 millones (Bush, 2006). No todas estas personas sufrir´an de problemas de memoria asociados a la vejez, sin embargo, si la gente mayor pudiera usar y sentirse c´omoda con una herramienta de apoyo antes de que ocurra cualquier problema de memoria prospectiva, podr´ıan prolongar su independencia.
La realidad aumentada (RA) es una variaci´on de los ambientes virtuales, o realidad virtual, como son llamados com´unmente. Con las tecnolog´ıas de realidad virtual, el usuario queda completamente inmerso en un ambiente sint´etico, donde no puede ver el mundo real. En contraste, la RA permite al usuario ver el mundo real aumentado con objetos virtuales superpuestos en ´este. Por lo tanto, la RA complementa la realidad, en lugar de reemplazarla totalmente (Azuma, 1997).
La RA es una interfaz de usuario apropiada para aplicaciones de c´omputo m´ovil, dado que proporciona una presentaci´on intuitiva de informaci´on. La interacci´on con las entidades generadas por computadora ocurre en tiempo real, proporcionando una retroalimentaci´on natural al usuario. Una aplicaci´on com´un de la RA es la navegaci´on de informaci´on. Las anotaciones del mundo real se presentan directamente dentro de la vista del entorno. Un ejemplo t´ıpico son las etiquetas que contienen informaci´on textual o ilustrada (Rekimoto, 1997).
computaci´on y servicios basados en localizaci´on, y computaci´on de vestir (wearable computing).
Los tel´efonos m´oviles de gama alta se han convertido en dispositivos computacionales capaces, equipados con pantallas a color de alta calidad, c´amaras digitales de gran resoluci´on, y gr´aficos 3D en tiempo real. Pueden intercambiar informaci´on mediante conexiones de banda ancha, y sensar la ubicaci´on usando el Sistema de Posicionamiento Global (GPS). Esto permite una nueva clase de aplicaciones de realidad aumentada, las cuales usan la c´amara del tel´efono para realizar consultas sobre objetos en la proximidad visual del usuario. Apuntar con una c´amara proporciona una forma natural de indicar inter´es y buscar informaci´on disponible sobre una ubicaci´on en particular. Una vez que un sistema reconoce el objetivo del usuario, puede aumentar la visi´on con gr´aficos e hiperv´ınculos que provean m´as informaci´on o servicios (Takacset al., 2008).
I.1
Planteamiento del problema
Existe un n´umero de estrategias que los pacientes de Alzheimer y sus cuidadores adop-tan para mantener su independencia y sentido de control. Algunas de ´estas incluyen adaptaciones a su entorno f´ısico, tales como remover puertas de muebles o colocar puertas transparentes (Beard et al., 2009).
Organizaciones como el National Institute of Health en Estados Unidos incluyen en su lista de recomendaciones para la seguridad del hogar de personas con Alzheimer co-locar se˜nales tales como “NO TOCAR”, en electrodom´esticos potencialmente calientes como un horno o una cafetera, o colocar fotos en puertas de cuartos importantes para una identifiaci´on m´as f´acil.
de las personas con problemas de memoria. Estas herramientas pueden ser desde notas sencillas, hasta sistemas de recordatorios diarios para la toma de medicamentos. Algunas de las herramientas de apoyo a la memoria m´as efectivas vienen en forma de dispositivos computacionales (Goodman et al., 2002).
Al dise˜nar una herramienta de apoyo a la memoria, se vuelve dif´ıcil crear funciones intuitivas para un usuario que puede tener capacidad cognitiva limitada. Mientras que existen muchos adultos mayores que pueden aprender f´acilmente a usar tel´efonos ce-lulares, smartphones, y computadoras, otros encuentran estos dispositivos dif´ıciles de utilizar (Goodman et al., 2002). La utilidad de una herramienta de apoyo est´a direc-tamente relacionada con la capacidad de interacci´on que le permite a un usuario con problemas de memoria, particularmente en el caso de individuos sin deterioro cognitivo generalizado (Morrison et al., 2004).
Otro aspecto cr´ıtico en el dise˜no de la herramienta de apoyo es qu´e tan f´acil es apren-der a usar el dispositivo. Wilson y Moffat (1984) indican que un usuario con problemas de memoria enfrenta problemas significativos al usar organizadores electr´onicos, y que puede ser necesaria la asistencia de un cuidador o per´ıodos de entrenamiento largos o repetitivos.
La realidad aumentada es un ´area en crecimiento, debido en gran medida a la pro-liferaci´on de tel´efonos m´oviles con c´amara, GPS y br´ujula digital. Estas aplicaciones proporcionan a los usuarios informaci´on relevante en su campo de visi´on. Sin embargo, el uso en interiores de estas aplicaciones paraaumentar1 objetos cercanos al usuario no
es posible, dado que no puede calcularse la ubicaci´on del usuario con exactitud. Adem´as, la mayor´ıa de las aplicaciones de RA no permiten a los usuarios finales asignar su propia
1Se refiere al proceso de presentar informaci´on virtual previamente asociada a objetos en el entorno;
informaci´on a una ubicaci´on espec´ıfica, a menos que ´esta se haga de dominio p´ublico. Una alternativa para la realidad aumentada en interiores es el uso de etiquetas RFID (acr´onimo de las palabras inglesas Radio Frequency IDentification) o c´odigos QR (acr´onimo de las palabras inglesasQuickResponse) sujetos a objetos. Este enfoque es relativamente simple, pero requiere modificaciones en el entorno para posicionar las etiquetas y que el usuario est´e cerca de los objetos de inter´es para que la etiqueta sea identificada.
En el presente trabajo se propone un sistema de anotaciones ambientales para asis-tencia a personas con problemas de memoria, limitado a entornos interiores y con una ejecuci´on cercana a tiempo real, que haga uso de algoritmos de reconocimiento de im´agenes para la identificaci´on de objetos de inter´es.
I.2
Objetivos del estudio
En esta secci´on se presentan los objetivos de este trabajo de tesis.
I.2.1
Objetivo general
Dise˜nar, implementar y evaluar un sistema de anotaciones ambientales para interiores, con la finalidad de asistir a personas con problemas de memoria.
I.2.2
Objetivos espec´ıficos
Seleccionar y adaptar una t´ecnica basada en visi´on para reconocer objetos de inter´es.
Dise˜nar una interfaz para que el cuidador realice las anotaciones. Evaluar la funcionalidad del sistema.
I.3
Metodolog´ıa
La metodolog´ıa que se plantea para el presente trabajo de investigaci´on consta de seis etapas principales: revisi´on de literatura, prueba de tecnolog´ıa, determinaci´on de par´ametros, desarrollo e implementaci´on de tres aplicaciones, evaluaci´on de las aplica-ciones, y documentaci´on.
1. Se realiz´o una revisi´on del estado del arte respecto a herramientas de apoyo para personas con problemas de memoria y sobre proyectos de anotaciones ambientales y realidad aumentada. Estas ´areas son muy din´amicas, y adem´as, algunos de los proyectos aqu´ı mencionados se encuentran en desarrollo, por lo tanto, fue necesario realizar una actualizaci´on constante de informaci´on. Tambi´en fue necesario llevar a cabo una revisi´on de la literatura sobre algoritmos de reconocimiento de im´agenes, como SURF (Bay et al., 2008), SIFT (Lowe, 2004) y sus variaciones, as´ı como tambi´en sobre estrategias para asistir a personas con problemas de memoria. 2. Se realizaron pruebas con diversas implementaciones del algoritmo SURF, con la
finalidad de encontrar la m´as eficiente en cuanto a recursos computacionales se refiere.
3. Se realiz´o una serie de experimentos para determinar los par´ametros del algoritmo SURF y la resoluci´on de imagen para conseguir un compromiso de tiempo y precisi´on aceptable.
4. Se desarrollaron tres aplicaciones como parte del sistema:
anotaciones, las cuales se actualizan inmediatamente en el dispositivo m´ovil que porta el usuario.
Aplicaci´on Servidor: Se encarga de identificar objetos de inter´es en el entorno del usuario.
Aplicaci´on Cliente: Presenta la informaci´on de las anotaciones ambientales. Estas aplicaciones se desarrollaron en forma paralela y siguiendo un proceso ite-rativo. Despu´es de cada implementaci´on, se realizaron pruebas de software para detectar y solucionar problemas de dise˜no y funcionalidad.
5. Una vez finalizada la implementaci´on del sistema se realiz´o una evaluaci´on para analizar el funcionamiento del sistema en condiciones parecidas a las del uso esperado del sistema.
6. Durante el transcurso de la tesis, se llev´o a cabo la documentaci´on y redacci´on de la misma, de acuerdo a las actividades previamente realizadas.
I.4
Organizaci´
on de la tesis
Esta tesis est´a constituida por seis cap´ıtulos, descritos a continuaci´on:
de un sistema de RA.
En el Cap´ıtulo IV se describe la arquitectura del sistema de anotaciones ambientales y los tres subsistemas que lo componen, la aplicaci´on Servidor, la aplicaci´on Cliente y el Administrador de Etiquetas. Se explica el algoritmo SURF, utilizado para el reconoci-miento de objetos. Se detalla una serie de experimentos para determinar los par´ametros del algoritmo y la resoluci´on de im´agenes a utilizar en el sistema. Se explica tambi´en el procedimiento para comparar im´agenes, adem´as de tres enfoques para mejorar el rendi-miento, en cuanto a t´erminos de tiempo y precisi´on, de la comparaci´on en un repositorio de im´agenes. Por ´ultimo, se explica la selecci´on de la plataforma para implementar el sistema y el lenguaje de programaci´on utilizado.
La evaluaci´on del ANS se describe en el Cap´ıtulo V. Este cap´ıtulo comienza es-pecificando el objetivo general de la evaluaci´on, para despu´es describir el dise˜no del experimento. Posteriormente, se explican las actividades realizadas durante la evalua-ci´on y se muestra un an´alisis de los resultados obtenidos. Finalmente, se presentan las conclusiones obtenidas a partir de este an´alisis.
Cap´ıtulo II
Sistemas para Asistencia a la Memoria
II.1
Demencia
La demencia aparece como resultado del proceso de alguna enfermedad. Es un t´ermino usado para describir diferentes trastornos cerebrales que tienen en com´un la p´erdida de funciones cerebrales, la cual es usualmente progresiva, y eventualmente severa. La demencia afecta la memoria, razonamiento, comportamiento y emoci´on de todos los grupos en la sociedad, y no est´a asociada a alguna clase social, g´enero, grupo ´etnico o ubicaci´on geogr´afica. Aunque la demencia es m´as com´un entre la gente mayor, las personas j´ovenes tambi´en pueden verse afectadas (Alzheimer’s Disease International, 1994).
La causa de la demencia es una serie de enfermedades que producen cambios en el cerebro, resultando en la p´erdida definitiva de neuronas. La enfermedad de Alzheimer es la causa m´as com´un de demencia, seguida de la demencia vascular (Alzheimer’s Disease International, 1994).
Enfermedad de Alzheimer: Esta es la principal causa de demencia (50 % - 60 %). Destruye c´elulas y nervios del cerebro, interrumpiendo los transmisores de men-sajes, particularmente aqu´ellos responsables de almacenar memorias.
pueden ocurrir repentinamente, despu´es de una apoplej´ıa, o a trav´es del tiempo mediante una serie de peque˜nas apoplej´ıas. Un derrame cerebral, o apoplej´ıa, es una lesi´on cerebral producida cuando se interrumpe o se reduce ampliamente el flujo sangu´ıneo del cerebro; ´este se queda sin ox´ıgeno ni nutrientes y, en cuesti´on de minutos, comienzan a morir las c´elulas cerebrales.
La demencia es una condici´on progresiva. Esto significa que el da˜no de la estructura y de la qu´ımica del cerebro se va incrementando en el tiempo. Los primeros s´ıntomas que se pueden notar son problemas para recordar episodios recientes y dificultad en rea-lizar tareas conocidas y cotidianas. Tambi´en la persona puede experimentar confusi´on, alteraciones de car´acter, de comportamiento, deterioro en el razonamiento, dificultad en el lenguaje, en completar las ideas o seguir una directiva. El progreso de este deterioro depende del individuo. Cada persona es ´unica y experimenta la demencia a su manera. El cuidado de una persona con demencia puede ser muy dif´ıcil y por el momento no existe tratamiento curativo. Sin embargo hay muchas cosas que se pueden hacer por la persona afectada, adem´as de aliviar la carga que soporta el cuidador. Pueden utilizarse cambios en el entorno y elementos de tecnolog´ıa en el hogar para dar soporte a la independencia y seguridad de una persona con demencia. A continuaci´on se presentan algunas sugerencias que los cuidadores pueden llevar a cabo (Dementia Initiative, 2008): Independencia: Es necesario que la persona conserve su independencia el mayor tiempo posible. Esto ayuda a mantener la autoestima y disminuye la carga que deber´a soportar el cuidador.
Seguridad: La p´erdida de memoria y de coordinaci´on f´ısica aumenta las posibili-dades de accidentes y lesiones, por lo que la casa de la persona debe ser lo m´as segura posible.
memoria pueden evitar confusiones, ayudando a que la persona recuerde qu´e ac-tividades tiene que realizar, e inclusive, c´omo realizarlas; tambi´en pueden servir para indicar d´onde se encuentran ciertos elementos en el hogar. Algunos ejemplos son:
• Colocar fotos de familiares con etiquetas claras que indiquen qui´en es.
• El uso de colores para contrastar o resaltar ubicaciones clave en el hogar pue-de hacer que las personas con dificultapue-des pue-de visi´on o percepci´on encuentren estos lugares m´as f´acilmente.
• Etiquetas y se˜nales colocadas en estantes, armarios y puertas pueden ayudar a ubicar elementos o a encontrar un cuarto en una casa. Estas etiquetas y se˜nales necesitan ser claras. Las letras deben ser grandes con un contraste alto, por ejemplo, letras negras sobre un fondo blanco. La colocaci´on es importante; una etiqueta colocada muy arriba no ser´a vista por una persona que est´a detenida. Al progresar la demencia, la tendencia es de mirar hacia abajo.
• Un reloj despertador con voz puede actuar como dispositivo recordatorio. Sin embargo, estas herramientas no son de mucha utilidad en las etapas posteriores de la demencia.
En la medida en que el deterioro cognitivo limita las habilidades de las personas para usar desde una cafetera hasta una computadora, ellas son forzadas a adaptar sus prioridades y suposiciones acerca de c´omo interactuar´an con el mundo. Gran cantidad de personas se enfrentan al hecho de ya no ser capaces de utilizar dispositivos que antes les eran familiares, tales como tel´efonos y controles remotos. La p´erdida de algunas habilidades puede generar aislamiento social, disminuci´on del sentido de prop´osito, e incremento de la dependencia en seres queridos para llevar a cabo actividades rutinarias. El incremento resultante en el n´umero de personas con deterioro cognitivo plantea exigencias severas en las familias, los sistemas de salud, y la econom´ıa (Morris y Lundell, 2003).
II.1.1
Tecnolog´ıas de asistencia para la demencia
La salud en casa y las tecnolog´ıas de monitoreo tienen el potencial de reducir costos, al mismo tiempo de proveer un vida m´as independiente y satisfactoria a aqu´ellos con deterioro cognitivo.
niveles adaptables de asistencia.
Es sabido que para lograr que personas mayores adapten tecnolog´ıas de asistencia es necesario entender sus valores, creencias, y perspectivas, as´ı como tambi´en la din´amica dentro de cada familia. La cultura, origen ´etnico y nivel socioecon´omico influenciar´an, indudablemente, la aceptaci´on y adopci´on de las tecnolog´ıas. No todos los sectores de la poblaci´on actual (o futura) en envejecimiento tendr´an acceso a algunos dispositivos comunes del hogar (como las computadoras y los tel´efonos celulares) o se sentir´an c´omodos us´andolos. Sin embargo, la relaci´on que existe entre factores contextuales, como el nivel socioecon´omico, y la adopci´on de tecnolog´ıa puede ser sorprendente. Por ejemplo, algunas veces los cuidadores de bajos recursos est´an m´as entusiasmados en utilizar soluciones de alta tecnolog´ıa que aqu´ellos con recursos financieros suficientes, inclusive cuando casi no tienen experiencia en el uso de dispositivos computacionales. En las etapas tempranas de deterioro, soluciones tecnol´ogicas pueden estar orientadas a los adultos mayores para ayudarlos a mantener su independencia y mejorar su calidad de vida. Cuando ya existe una discapacidad moderada o severa, las soluciones deben estar dirigidas a los cuidadores, quienes pueden estar ansiosos por informaci´on y herramientas que mejoren su contacto con el paciente y aligeren su tarea (Morris y Lundell, 2003).
Evaluaci´on y ayuda simult´anea
Las tecnolog´ıas que ofrecen asistencia pueden, simult´aneamente, medir la cantidad y calidad de asistencia que un adulto mayor requiere. Por ejemplo, la evaluaci´on embe-bida—pruebas cognitivas estandarizadas que se encuentran embebidas en las rutinas y entornos diarios de los adultos mayores—puede mejorar la memoria acerca de objetos tales como medicamentos o el reconocimiento de nombres y caras.
Ayuda adaptable
Las tecnolog´ıas no solo deben adaptarse a las diferencias entre individuos, sino que tambi´en a las fluctuaciones en cualquier funcionamiento particular del adulto mayor. En el corto plazo, los cuidadores pueden requerir la utilizaci´on de un sistema de soporte que use diferentes modalidades, apropiadas a las necesidades cambiantes de la persona que sufre de demencia. A largo plazo, inferencias confiables acerca del estado funcional actual del adulto mayor pueden permitir que los sistemas de c´omputo ubicuo ajusten autom´aticamente su nivel de soporte. Tales inferencias se basar´ıan en informaci´on de sensores y pruebas cognitivas embebidas en las actividades diarias. Cuando sea apro-piado, retroalimentaci´on sobre la variaci´on de funcionalidad puede compartirse con los adultos mayores y cuidadores. Esta retroalimentaci´on podr´ıa incrementar la noci´on so-bre patrones de lucidez y vulnerabilidad, permitiendo a los adultos mayores aprovechar los per´ıodos de mayor claridad, y a los cuidadores planear estrategias en torno a factores desencadenantes relacionados con la vulnerabilidad.
expl´ıcitas, y a en ´ultima instancia, a actuar por el adulto mayor.
Catalizaci´on de relaciones sociales
Los sistemas deben aspirar a catalizar, en lugar de reemplazar, las interacciones hu-manas. Un camino es ayudar a las personas a compartir informaci´on con otros en su red social, en una forma que se preste a una comunicaci´on oportuna. Las pantallas ambientales que ilustran niveles de actividad f´ısica y social, y otra informaci´on relacio-nada con salud, puede motivar a amigos y parientes a comunicarse entre s´ı para hacer ejercicio, asistir a reuniones, y otras formas de soporte y eventos sociales. Los sistemas ubicuos que ofrecen la posibilidad de nuevas formas de conectividad pueden volverse tan importantes para la salud como lo son el diagn´ostico m´edico y los dispositivos de biosensado.
Aprovechamiento de interfaces familiares
II.1.2
Administraci´
on de la vida diaria
Las dificultades asociadas con la discapacidad cognitiva, desafortunadamente, llevan a que muchas personas limiten sus experiencias y se desconecten de su entorno. En particular, los problemas de memoria, orientaci´on, y procesamiento, presentan un serio reto para interactuar con el mundo externo. Idealmente, las soluciones tecnol´ogicas ayudar´an a los adultos mayores a superar estos obst´aculos, creando un puente entre el envejecimiento dif´ıcil y el exitoso.
Completar las actividades b´asicas de la vida diaria requiere memoria prospectiva (acordarse de recordar), memoria de corto plazo (la habilidad para retener y manipular informaci´on adquirida recientemente), y orientaci´on sobre el tiempo y lugar. Algunos o todos estos requerimientos pueden estar comprometidos en un individuo con deterioro cognitivo. Las discapacidades adicionales de la demencia, tales como el deterioro de las actividades motoras y de percepci´on, incrementan la dificultad para administrar las actividades en la vida diaria. Los adultos mayores prefieren elaborar estrategias para recordarse sobre actividades diarias b´asicas (como medicamentos a tomar despu´es del desayuno), compromisos sociales, y ubicaci´on de objetos, como ropa y lentes. El tipo de recordatorio m´as convincente son las notas apropiadas contextualmente (p. ej., re-cordatorios en la estufa para apagar los quemadores; rere-cordatorios sobre medicamentos colocados en los diferentes cuartos donde se ingiere cada medicamento; notas en la puerta que indiquen cerrarla en la noche). Otros sistemas incluyen recordatorios audi-tivos, que pueden colocarse en relojes, fotos, y objetos. Estos recordatorios pueden ser indicaciones sencillas, listas de quehaceres, y notas sobre c´omo preparar una comida.
se˜nales y artefactos familiares que sirven de orientaci´on y recordatorios. Desafortuna-damente, el hogar se vuelve un lugar dr´asticamente restringido para muchos adultos mayores. En etapas tempranas de discapacidad, el adulto mayor perder´a familiaridad con espacios exteriores. En etapas posteriores, el hogar se vuelve restringido a ciertas zonas y caminos. Regularmente, la discapacidad f´ısica inicia este proceso, escaleras y cambios de relieve en la casa se vuelven dif´ıciles de manejar. En las siguientes etapas de discapacidad, la disminuci´on de atenci´on, enfoque e inter´es pueden llevar a los adultos mayores a reducir dr´asticamente el uso del hogar.
Otro tipo de restricci´on que sufren los adultos mayores, es que evitan el uso de ciertas interfaces relativamente novedosas en el hogar, tales como tel´efonos modernos y hornos de microondas. En la mayor´ıa de los tipos de discapacidad cognitiva, los dispositivos introducidos en las etapas posteriores de la vida son m´as f´aciles de olvidar, y por esta raz´on rechazados. Regularmente, cuando los adultos mayores se desplazan de un entorno a otro, existe una interrupci´on en el uso de tecnolog´ıas, por lo que el adulto no podr´a utilizar ciertos dispositivos que antes le eran familiares, como por ejemplo m´aquinas contestadoras, televisiones, y autom´oviles.
proporcio-nar tranquilidad y un sentido de libertad a los cuidadores, mediante sensores y alertas que siguen al cuidador as´ı como tambi´en al adulto mayor.
Morris y Lundell (2003) crearon un prototipo enfocado en ayudar a completar ruti-nas secuenciales. Se centra en tareas relacionadas con hidrataci´on—una necesidad que se descuida com´unmente entre las personas con discapacidades cognitivas. El sistema detecta la ubicaci´on del adulto mayor y proporciona sugerencias contextualmente apro-piadas que van desde indicaciones abstractas hasta manuales expl´ıcitos para realizar alguna actividad. Mediante RFID y detecci´on de movimiento, el sistema sigue al usua-rio dentro de la cocina y proporciona sugerencias si se pierde en los pasos para preparar un t´e. Estas sugerencias, que se despliegan solamente cuando se ignora un paso en la actividad, se muestran en el televisor de la cocina. Este prototipo consta de m´ultiples tipos de sensores, un motor de inferencia de actividad, y dispositivos recordatorios. Sen-sores infrarrojos dan seguimiento a la ubicaci´on y orientaci´on dentro del hogar. Sensores RFID se colocan en los zapatos para detectar movimiento a trav´es de puertas y pasos sobre superficies espec´ıficas. Los datos recolectados a partir de sensores de cambio sen-cillos se env´ıan a un motor de inferencia que determina qu´e actividad se est´a realizando y en qu´e paso del proceso se encuentra el adulto mayor. El sistema debe determinar si el adulto mayor ha sido interrumpido e identificar los tiempos apropiados para intervenir. Los dispositivos recordatorios son objetos cotidianos, como televisiones, radios, luces, etc.
II.2
Trabajos relacionados
rehabi-litaci´on (Kapur et al., 2002). Diversas soluciones se han propuesto como herramientas de asistencia para pacientes con demencia. Estos enfoques est´an orientados a mejorar la memoria prospectiva o retrospectiva. Muchos tipos de dispositivos est´an disponibles, incluyendo calendarios, diarios, alarmas, temporizadores, notas post-it, y otras herra-mientas m´as sofisticadas, tales como agendas electr´onicas port´atiles. En est´a secci´on se describen algunas herramientas de asistencia para personas con problemas de memoria. MEM-X1 es un dispositivo electr´onico de apoyo a la memoria que alerta al usuario, de forma precisa, en fechas y horas seleccionadas con antelaci´on, record´andole, mediante una voz familiar pregrabada, lo que tiene que hacer, desde eventos especiales hasta la ingesti´on de alg´un medicamento. En la parte posterior del dispositivo se encuentra un teclado escondido que permite al cuidador ingresar las instrucciones audibles, para que ´estas se escuchen cuando sea necesario. MEM-X permite tres tipos de mensajes, diarios, semanales, y de ocasi´on especial; tiene una capacidad de 90 diferentes mensajes de hasta 10 segundos cada uno.
El dispositivo MEM-X es un claro ejemplo de una interfaz de interacci´on sencilla y f´acil de aprender y recordar, puesto que el usuario solamente necesita un bot´on para realizar alguna acci´on, que en este caso se limita a detener la reproducci´on del recordatorio actual. Sin embargo, una limitante importante es la falta de otro m´etodo de control y actualizaci´on de los mensajes. Por ejemplo, el dispositivo podr´ıa hacer uso de un servidor que permita a los cuidadores o familiares actualizar los mensajes sin la necesidad de utilizar el dispositivo. Por otro lado, la adici´on de un servidor requerir´ıa adem´as la utilizaci´on de un dispositivo con comunicaci´on inal´ambrica, elevando su costo. El sistema MemoJog (Morrisonet al., 2004), desarrollado en la Universidad de Dun-dee, consta de un PDA que proporciona avisos textuales al usuario. En lugar de una
descripci´on detallada, la provisi´on de sugerencias cortas es usualmente suficiente para recordarle al usuario sobre una tarea. Los recordatorios se almacenan en un servidor remoto y se transmiten usando telefon´ıa m´ovil. El sistema permite la adici´on de recor-datorios, ya sea directamente en el dispositivo por parte de los usuarios, o mediante Internet, por parte de los cuidadores. Adem´as, monitorea las respuestas de los usuarios, por lo que si un recordatorio crucial no se responde, puede contactar a los cuidadores o miembros de la familia mediante mensajes de texto, mensajes telef´onicos pregrabados o correos electr´onicos enviados por el servidor central.
Se puede considerar que MemoJog es una idea renovada de MEM-X, dado que agre-ga un servidor a su funcionamiento y utiliza un PDA como dispositivo de despliegue. Adem´as, en lugar de usar mensajes de audio, muestra mensajes textuales al usuario. Aunque mensajes cortos son suficientes para que una persona con problemas de memo-ria recuerde sus actividades, quedan sin tratar aquellos recordatorios no programados, es decir, las anotaciones o sugerencias que el usuario podr´ıa necesitar en cualquier momento, y no en una hora espec´ıfica del d´ıa.
SenseCam (Hodgeset al., 2006) es una peque˜na c´amara digital dise˜nada para tomar fotograf´ıas autom´aticamente, sin intervenci´on del usuario. A diferencia de una c´amara digital normal o un tel´efono con c´amara, no cuenta con una pantalla de visualizaci´on. En cambio, cuenta con un lente de ´angulo amplio que maximiza el campo de visi´on. Adem´as, dispone de varios sensores, de tal forma que cambios en sus lecturas resultan en la toma de fotograf´ıas. Adicionalmente, cada 30 segundos se toma una fotograf´ıa, utilizando un reloj interno como disparador. Se pueden capturar los eventos de un d´ıa completo para despu´es descargarlos en una computadora. Usando un software especial, estas fotos se pueden convertir en videos cortos.
dispositivo SenseCam por un per´ıodo de tres meses. Despu´es de este tiempo, el usuario pudo recordar aproximadamente el 80 % de los eventos pasados; inclusive despu´es de 11 meses del experimento. Cabe mencionar que los problemas de memoria presentados por el usuario fueron causados por un accidente, por lo que la rehabilitaci´on era posible, a diferencia de personas que sufren de demencia.
La idea de SenseCam es adecuada para recordar lo que el usuario hizo durante el d´ıa (o d´ıas anteriores), es decir, los eventos autobiogr´aficos. Sin embargo, esta herramienta no ofrece ning´un tipo de apoyo en tiempo real.
Figura 1: Parte del equipo de hardware requerido por AI Goggles.
Investigadores de la Universidad de Tokio desarrollaron AI Goggles (Nakayama et al., 2009), un sistema inteligente que consta de unas gafas de video que registran
de reconocimiento de im´agenes. Despu´es, cuando el usuario escribe una palabra clave para buscar un objeto en particular, el video correspondiente se muestra en una pe-que˜na pantalla LCD ubicada en el lente derecho. En la Figura 1 se puede apreciar parte del equipo utilizado en el sistema AI Goggles.
Una desventaja de AI Goggles es el equipo que requiere portar el usuario, ya que no es pr´actico usar una mochila todo el d´ıa, y menos considerando como usuarios a adultos mayores. La cuesti´on de la necesidad de usar lentes se puede relegar a un segundo plano, dado que algunos adultos mayores requieren gafas de prescripci´on. Otra limitante es que, actualmente, el sistema no permite el ingreso de anotaciones aleatorias por parte de una tercera persona, como cuidadores o familiares. Este es un aspecto importante, ya que un usuario con problemas de memoria podr´ıa necesitar saber d´onde guarda su me-dicamento, por lo que el sistema deber´ıa mostrar una anotaci´on con dicha informaci´on cuando el dispositivo captara en pantalla la c´omoda que contiene dicho medicamento; adem´as, es posible que las anotaciones se necesiten cambiar constantemente, por lo que se requiere acceso al servidor para realizar modificaciones en la base de datos de una forma r´apida y sencilla.
II.3
Resumen
En este cap´ıtulo se present´o una de las causantes principales de p´erdida de memoria en las personas, la demencia. Se listaron sugerencias para el cuidado a personas que sufren estos trastornos, y los requerimientos de las tecnolog´ıas de asistencia enfocadas a ayudar a estas personas.
Cap´ıtulo III
Realidad Aumentada M´
ovil
III.1
Introducci´
on
La realidad aumentada (RA) es una variaci´on de los ambientes virtuales, o realidad virtual, como son llamados com´unmente. La realidad virtual intenta crear un mundo artificial que una persona pueda experimentar y explorar, principalmente mediante el sentido de la vista, aunque tambi´en se implementan otros tipos de retroalimentaci´on, como audio y tacto. La RA tambi´en proporciona una experiencia interactiva, pero se enfoca en complementar la realidad, en lugar de reemplazarla totalmente. Los objetos f´ısicos en el entorno del usuario se convierten en elementos disponibles para asociarles anotaciones generadas por computadora (H¨ollerer y Feiner, 2004).
Existen diferentes definiciones sobre lo que constituye la realidad aumentada. Aun-que la comunidad cient´ıfica concuerda con la mayor´ıa de los elementos de los sistemas de realidad aumentada, a´un existen peque˜nas diferencias de opini´on y nomenclatura.
Para el prop´osito de esta tesis, se sigue la definici´on de Azuma et al. (2001), que definen las siguientes propiedades de un sistema de realidad aumentada:
Combina informaci´on real y generada por computadora, en un ambiente real. Es interactivo y se ejecuta en tiempo real.
Registra objetos virtuales con los reales.
queda comprometida. El registro sigue siendo un problema abierto de investigaci´on. Est´a definici´on de realidad aumentada no est´a restringida a alguna tecnolog´ıa de despliegue en particular, as´ı como tampoco est´a limitada a contenido puramente visual. La RA, potencialmente, se puede aplicar a todos los sentidos, incluyendo tacto, o´ıdo, etc. (Azuma et al., 2001).
Una aplicaci´on com´un de la realidad aumentada es la navegaci´on de informaci´on. Anotaciones de objetos del mundo real se presentan directamente dentro del entorno. Conteniendo estas anotaciones, t´ıpicamente, informaci´on textual o ilustrada. Tales apli-caciones son interesantes especialmente en el contexto de larealidad aumentada m´ovil, donde un usuario puede deambular por un ´area y solicitar informaci´on sobre muchos objetos. La realidad aumentada m´ovil aplica el concepto de RA en configuraciones ver-daderamente m´oviles, es decir, fuera de los entornos condicionados cuidadosamente de los laboratorios de investigaci´on y ´areas de trabajo de prop´osito especial.
Las anotaciones ambientales son elementos encontrados en el entorno del usuario que pueden contener informaci´on de diversos tipos: textual, visual, audible, etc. Esta definici´on puede mapearse al ´area de realidad aumentada, donde existen lasanotaciones de realidad aumentada.
III.2
Anotaciones de realidad aumentada
La habilidad de contextualizar y ubicar informaci´on virtual es una de las mayores fortalezas de la tecnolog´ıa de realidad aumentada. Los sistemas de gu´ıas interactivas son claros ejemplos de la utilidad de las anotaciones de RA. Cubren una amplia variedad de aplicaciones, incluyendo ayudar a un usuario a desplazarse en una ciudad universitaria mediante el etiquetado de edificios (Feiner et al., 1997), ayudar a un usuario a leer un mapa del subterr´aneo (Eaddy et al., 2004), y proporcionar m´as informaci´on acerca de diferentes instalaciones en un museo (Schmalstieg y Wagner, 2007). Debido a su rol en un conjunto diverso de aplicaciones de RA, las anotaciones pueden transmitir su informaci´on al usuario en muchas formas diferentes.
Witheret al.(2009) definen una anotaci´on de realidad aumentada como informaci´on virtual que describe de cierta manera, y est´a registrada a, unobjeto existente.
Esta definici´on permite que la informaci´on virtual se presente de varias maneras, incluyendo texto, fotos, modelos, sonidos, o inclusive vibraciones. La relaci´on entre la informaci´on virtual y el objeto existente no tiene que estar claramente definida—Hay muchos casos en los que la relaci´on no es obvia, a´un cuando la informaci´on pretende ser una anotaci´on.
Un objeto existente puede variar en tama˜no y especificidad, desde una parte en particular de una m´aquina hasta la m´aquina en s´ı, un cuarto lleno de m´aquinas, o la f´abrica en su totalidad. Tampoco es necesario que sea un objeto f´ısico singular. Podr´ıan ser todas las ventanas de un lado de un edificio o un ´area, como alguna facultad de una ciudad universitaria.
Toda anotaci´on de RA debe tener dos componentes esenciales. Cada anotaci´on debe tener alg´un componente dependiente del espacio que la ligue con el objeto anotado, y alg´un componente independiente del espacio que incluya el contenido virtual.
entre el mundo virtual y el real. Esto significa que las anotaciones virtuales no solamente deben estar registradas en alg´un sistema de coordenadas, sino que tambi´en deben estar registradas a un objeto en particular. El contenido virtual de la anotaci´on debe estar relacionado de alguna forma con el mundo alrededor.
Muchas aplicaciones que utilizan ARToolKit (Kato y Billinghurst, 1999) no emplean anotaciones. Aunque el contenido est´a registrado a un marcador, ´este no tiene una relaci´on con ning´un objeto f´ısico excepto por el marcador.
Todas las anotaciones deben tambi´en contar con un componente independiente del espacio. Esto significa que debe haber alguna diferencia entre el contenido virtual y lo que el usuario ve en el mundo real. Cuando el contenido virtual no modifica de alguna manera la percepci´on de la escena, no puede definirse como una anotaci´on.
III.2.1
Dimensiones de las anotaciones
Witheret al.(2009) definen seis dimensiones para describir y categorizar las anotaciones de realidad aumentada: complejidad de ubicaci´on, movimiento de ubicaci´on, relevancia sem´antica, complejidad de contenido, interactividad y permanencia.
Complejidad de ubicaci´on
Dado que todas las anotaciones deben tener alg´un componente dependiente del espacio, siempre existe una ubicaci´on asociada a la anotaci´on. La ubicaci´on m´as sencilla que una anotaci´on puede tener es un solo punto 3D. En este caso la anotaci´on solamente tendr´ıa informaci´on sobre su posici´on, y la orientaci´on tendr´ıa que definirse arbitrariamente por la aplicaci´on.
orientar anotaciones textuales a la superficie de un edificio. Tambi´en es posible tener mayor complejidad, esto significa que el objeto anotado ya se representa por un solo punto, sino que por una regi´on 2D o 3D. Esta regi´on puede ser un cuadro delimitador alrededor del objeto o un modelo exacto del mismo.
Sin embargo, no se debe confundir el incremento de la complejidad de ubicaci´on con el incremento de la complejidad de la anotaci´on en s´ı. Una anotaci´on textual muy sencilla puede tener alta complejidad de ubicaci´on, si en lugar de estar registrada a un punto, se registra usando un modelo alineado del objeto. Una mayor complejidad de ubicaci´on es ´util para dar una idea m´as exacta de lo que est´a siendo aumentado, as´ı como tambi´en para proveer una interacci´on m´as f´acil con las anotaciones. Cuadros delimitadores o de contorno pueden dibujarse alrededor de objetos f´ısicos que han sido aumentados para resaltar el objeto completo. Despu´es, los usuarios pueden utilizar t´ecnicas de interacci´on para seleccionar objetos y ver sus anotaciones, dado que el objeto completo est´a asociado con la anotaci´on.
En algunos casos el objeto anotado no es un solo objeto del mundo real, sino que un grupo de objetos o una regi´on sem´antica, como el interior de un cuarto (Dow et al., 2007) o el patio de un edificio (Thomas et al., 2002). En estos casos la regi´on anotada es de cierta forma abstracta, y se representa mejor mediante una regi´on delimitante.
Movimiento de ubicaci´on
2004), o personajes animados en una escena (Schmeil y Broll, 2007). Esta dimensi´on mide qu´e tan lejos puede ubicarse la anotaci´on respecto al objeto y cu´anta libertad de movimiento se permite.
Relevancia sem´antica
La relevancia sem´antica es una medida de c´omo se relaciona la anotaci´on con el objeto f´ısico. Hay muchas formas en que una anotaci´on puede relacionarse con un objeto:
Nombra: La anotaci´on solamente provee un nombre para el objeto. Un ejemplo de esto se puede ver en el trabajo realizado por (Feiner et al., 1997), donde los edificios de una universidad se aumentan con sus nombres.
Describe: En este caso, la anotaci´on proporciona m´as informaci´on que solamente el nombre del objeto. Regularmente es una descripci´on textual como aqu´ellas presentadas por (Reitmayr y Schmalstieg, 2004). Tambi´en pueden utilizarse para describir c´omo realizar una tarea paso a paso.
Agrega: El contenido virtual agregado, de alguna manera, cambia al mundo real, en lugar de solamente agregar informaci´on extra. Un ejemplo es agregar nuevos objetos a un parque, como ´arboles, estatuas, o mesas (Piekarski y Thomas, 2003). Otro ejemplo es la versi´on completa de un edificio bajo construcci´on o en ruinas (Vlahakis et al., 2002).
Modifica: Describe las anotaciones que cambian visualmente objetos existentes. Estos cambios se ilustran en gu´ıas hist´oricas (G¨uven y Feiner, 2006), donde un edificio moderno puede reemplazarse o modificarse para parecer como en el pasa-do.
u otro tipo de informaci´on (Schwerdtfeger y Klinker, 2008) para dirigir al usuario hacia el objeto anotado.
Complejidad del contenido
La complejidad del contenido de una anotaci´on puede variar enormemente. El contenido m´as simple de una anotaci´on puede ser solo un punto resaltando alg´un objeto de inter´es. Por el contrario, un contenido m´as complejo puede consistir en modelos poligonales 3D animados con audio. En general, la complejidad del contenido puede determinarse tanto por la cantidad de informaci´on que se proporciona como por la complejidad visual de la anotaci´on.
Interactividad
a las anotaciones editables, pero tambi´en permiten que el usuario escoja la ubicaci´on para la nueva anotaci´on.
Permanencia de la anotaci´on
Existen muchas razones para que una anotaci´on no siempre est´e disponible a un usuario. Una de ellas es que si hay muchas anotaciones visibles al mismo tiempo, se vuelve im-posible determinar qu´e anotaciones corresponden a qu´e objetos. Hay cuatro estrategias b´asicas para controlar la permanencia de las anotaciones, permitiendo que solamente las anotaciones m´as relevantes est´en visibles en cierto momento:
Permanencia controlada temporalmente: En este enfoque las anotaciones son vi-sibles solamente por cierta cantidad de tiempo, y tambi´en se ordenan temporal-mente. Esto es particularmente ´util con las anotaciones que son indicaciones para el usuario, como instrucciones de ensamblaje (Feiner et al., 1999). En este ejem-plo, el tener las anotaciones visibles solamente en ciertos momentos dados crea una orden impl´ıcita que proporciona a´un m´as informaci´on que tener todas las anotaciones visibles al mismo tiempo.
Permanencia controlada por el usuario: Este enfoque permite al usuario controlar directamente qu´e anotaciones son visibles en cualquier momento. Un ejemplo de esto es el sistema de visi´on de rayos X de Bane y H¨ollerer (2004), donde el usuario puede seleccionar qu´e anotaciones mostrar.
Permanencia controlada espacialmente: Esta permanencia se consigue utilizando lugares de inter´es (Dow et al., 2005; Schmalstieg y Wagner, 2007), donde las anotaciones son visibles solamente cuando el usuario se encuentra en una ubicaci´on espec´ıfica.
visibles en base a un sistema ´unico para cada aplicaci´on. Las anotaciones pueden habilitarse dependiendo del estado de la aplicaci´on, como se hace en juegos de RA (Thomas et al., 2002; Cheok et al., 2004), donde la visibilidad de un objeto virtual se determina por el progreso en el juego.
III.3
Arquitectura de un sistema de RA m´
ovil
Los sistemas de realidad aumentada m´ovil comparten una arquitectura b´asica. La fun-cionalidad principal de la realidad aumentada es la misma para todos los sistemas: dar seguimiento a la posici´on del usuario, combinar objetos reales y virtuales, y procesar y reaccionar respecto a informaci´on contextual e interacciones de usuario.
Despliegue
Renderizador de texto OpenGL
Controlador de retroalimen
-tación Interfaz de salida Renderizador 3D OpenSG Navegador VRLM Open Inventor Seguimiento Seguidor GPS Seguidor
magnético Seguidorvisual Seguidor
inercial Seguidorhíbrido
Seguidor externo Interacción Procesador de entradas Procesador de gestos Procesador de voz Procesador de periféricos
Figura 2: Arquitectura b´asica de un sistema de Realidad Aumentada M´ovil.
proporciona una funcionalidad particular al sistema completo (H¨ollerer y Feiner, 2004). En las siguientes secciones se describen con m´as detalle estos componentes y se hace una revisi´on del estado del arte respecto a las t´ecnicas para implementarlos.
III.4
Seguimiento
Aparte de la tecnolog´ıa de despliegue de informaci´on, una de las dificultades clave en el desarrollo de aplicaciones de realidad aumentada es el problema delseguimiento. El seguimiento se define como la medici´on de la posici´on y orientaci´on de un objeto en un sistema coordinado por escenas. En realidad aumentada, seguimiento denota el proceso de rastrear coordenadas de objetos en movimiento en tiempo real. En muchas ocasiones, se necesita calcular la posici´on y orientaci´on de un objeto, y se pueden representar por 6 variables independientes (3 coordenadas de traslaci´on y 3 ´angulos de rotaci´on). Tales sistemas se denominansistemas de seguimiento con seis grados de libertad (6DoF, acr´onimo de las palabras inglesas 6 Degrees of Freedom) (Lang et al., 2002).
Existen diversas t´ecnicas para dar seguimiento. En esta secci´on se realiza un resumen de las estrategias usadas en los sistemas de realidad aumentada m´ovil recientes.
III.4.1
Seguimiento basado en sensores
Est´as t´ecnicas se basan en sensores magn´eticos, ac´usticos, inerciales, ´opticos y/o mec´ ani-cos. Todos ´estos tienen sus respectivas ventajas y desventajas. Por ejemplo, los sensores magn´eticos son ligeros y se actualizan r´apidamente, pero sus lecturas se pueden distor-sionar por cualquier sustancia met´alica cercana que altere su campo magn´etico (Duh y Billinghurst, 2008).
Existen pocos trabajos que utilicen un enfoque puramente basado en sensores para dar seguimiento a un usuario. Newmanet al.(2001) desarrollaron un sistema de realidad aumentada para interiores basado en sensores ultras´onicos. Para poder dar seguimiento a los usuarios y objetos de inter´es, crearon unos dispositivos denominados Bats, as´ı como tambi´en una red de sensores ultras´onicos que se colocan en el techo. Los Bats emiten pulsos ultras´onicos y el sistema mide el tiempo que tardan en llegar a los receptores en el techo, de esta forma, estima la posici´on de los objetos y usuarios. Adicionalmente, implementaron sensores inerciales, para obtener informaci´on m´as actualizada sobre los movimientos de los usuarios y presentar la informaci´on correspondiente.
III.4.2
Seguimiento visual
Las t´ecnicas de seguimiento visual usan m´etodos de procesamiento de im´agenes para calcular la posici´on de la c´amara en relaci´on a objetos del mundo real. En el ´area de visi´on por computadora, la mayor´ıa de las t´ecnicas de seguimiento disponibles se pueden dividir en dos clases: basadas en caracter´ısticas y basadas en modelos (Pressigout y Marchand, 2006).
La funcionalidad de los m´etodos basados en caracter´ısticas radica en encontrar una correspondencia entre las caracter´ısticas de una imagen 2D y sus coordenadas en el mundo tridimensional. Estas caracter´ısticas pueden obtenerse a partir de marcadores artificiales y de entornos naturales.
Seguimiento basado en marcadores artificiales
Estos m´etodos de seguimiento implican la inserci´on de marcadores artificiales en la esce-na a aumentarse. Mediante la identificaci´on y el seguimiento de la posici´on y orientaci´on de estos marcadores, en cada cuadro capturado, puede calcularse tanto la posici´on relati-va de la c´amara como la naturaleza del elemento. Esta t´ecnica combina reconocimiento y seguimiento en un solo paso, por lo que se presta para plataformas con potencia computacional limitada (p. ej. tel´efonos m´oviles) (Gassmann, 2010).
Dar seguimiento a marcadores artificiales es una estrategia com´un para obtener robustez y eficiencia computacional de forma simult´anea. Los marcadores pueden ser pasivos (p. ej. marcadores impresos, ver Figura 3) o activos (p. ej. diodos emisores de luz, o LED, por sus siglas en ingl´es) (Klein, 2006).
(a) Visual Code (b) ARToolkit (c) CyberCode (d) HOM
(e) ARTag (f) IGD (g) Marco (h) SCR
(i) ReacTiVision (j) Shotcode (k) Multi-ring
op
(l) ColorCodeFigura 3: Algunas bibliotecas de marcadores para realidad aumentada.
realizaci´on de un an´alisis del entorno natural. Un gran n´umero de ubicaciones y objetos pueden etiquetarse eficientemente codificando identificadores ´unicos en los marcadores. Estas ventajas fundamentales han llevado a la proliferaci´on del seguimiento de posici´on basado en marcadores, a pesar de los avances significativos que se han logrado en el seguimiento basado en caracter´ısticas naturales (Wagner y Schmalstieg, 2007).
Rekimoto (1998) desarroll´o uno de los primeros proyectos que hace uso marcadores 2D artificiales para dar seguimiento con 6DoF. Fue pionero en el uso de formas planas cuadradas para la estimaci´on de posici´on y de patrones de c´odigos de barra 2D para la distinci´on de marcadores.
li-brer´ıa ARToolKit1, la cual se liber´o bajo la licencia GPL2, por lo que se volvi´o muy
popular entre los investigadores de realidad aumentada, convirti´endose en la base de otros proyectos similares. ARToolKitPlus3 (Wagner y Schmalstieg, 2007) es un sucesor
de la librer´ıa ARToolKit, que se optimiz´o y extendi´o para su uso en dispositivos m´oviles. Algunos investigadores exploraron el uso de marcadores con diferentes formas geom´ etri-cas. Choet al.(1998) proponen un sistema que utiliza marcadores de m´ultiples anillos de colores y un m´etodo de detecci´on invariante a la iluminaci´on. Adicionalmente, M¨ohring et al.(2004) implementaron un algoritmo para poder analizar marcadores tridimensio-nales de colores.
En el 2006, Wagner et al. dieron por terminado el desarrollo de ARToolKitPlus, y decidieron crear una nueva librer´ıa de marcadores desde cero, denominada Studierstube Tracker. Esta librer´ıa utiliza marcadores menos llamativos que los cuadros en blanco y negro usuales. Adem´as, la librer´ıa incluye un m´etodo que permite dar seguimiento al marcador a´un cuando se pierde la visibilidad del marcador.
Mulloni et al. (2009) proponen un sistema de navegaci´on para interiores de bajo costo. La ubicaci´on del usuario puede estimarse en tiempo real utilizando la c´amara de los tel´efonos m´oviles, al detectar marcadores.
Los LED infrarrojos pueden emitir luz a cierta frecuencia de onda. Si esta frecuen-cia se analiza con un filtro adecuado, la luz ambiental puede eliminarse virtualmente. Esto significa que lo ´unico detectado son los marcadores, por lo que los requerimientos computacionales para el seguimiento se reducen considerablemente. Esto ha ocasionado que la tecnolog´ıa LED se utilice ampliamente en sistemas de seguimiento comerciales (Klein, 2006). Olwal (2006) desarroll´o LightSense; el sistema consta de c´amaras que
de-1http://www.hitl.washington.edu/artoolkit/
2http://www.gnu.org/copyleft/gpl.html
tectan la luz emitida por los LED de tel´efonos m´oviles, ubicando su posici´on en relaci´on a un mapa, y presentando la informaci´on correspondiente.
Seguimiento basado en caracter´ısticas naturales
En lugar de modificar el entorno con marcadores artificiales, esta t´ecnica da segui-miento a caracter´ısticas naturales ´unicas, como puntos, l´ıneas, bordes o texturas. Este m´etodo sin marcadores es m´as demandante en el aspecto computacional, dado que caracter´ısticas tridimensionales, intr´ınsecamente, exhiben mayor ambig¨uedad que los patrones binarios planos. Consecuentemente, la identificaci´on de alguna caracter´ıstica ´
unica en una imagen no es tan obvia como con los marcadores artificiales. Como resulta-do, es necesario un esfuerzo computacional superior para determinar si alg´un elemento debe aumentarse. Adem´as, el proceso de seguimiento se vuelve m´as complicado dado que la ambig¨uedad antes mencionada produce una cantidad mayor de valores at´ıpicos al comprar caracter´ısticas entre diferentes cuadros (Gassmann, 2010).
Existen algoritmos que pueden proveer seguimiento en tiempo real, utilizando di-ferentes enfoques (detecci´on de caracter´ısticas naturales, bordes, texturas, etc.), pero requieren grandes cantidades de procesamiento (Klein, 2006).
Wagneret al.(2008b) presentan el primer sistema de seguimiento de caracter´ısticas naturales con 6DoF que se ejecuta en tiempo real, usando ´unicamente la c´amara de un tel´efono m´ovil. Los autores utilizan una versi´on modificada de los descriptores de caracter´ısticas SIFT y Ferns.
Michael Cohen, investigador en Microsoft Research, lidera un grupo de desarrollo encargado de dise˜nar una aplicaci´on de realidad aumentada4, la cual se ejecuta en una
computadora port´atil. La aplicaci´on analiza im´agenes capturadas con una c´amara, en
