la Computación, Lenguajes y Sistemas Informáticos y
Estadística e Investigación Operativa
Escuela Técnica Superior de Ingeniería Informática
Universidad Rey Juan Carlos
TESIS DOCTORAL
DISEÑO E IMPLEMENTACIÓN DE ALGORITMOS DE
NAVEGACIÓN RESTRINGIDA Y VISUALIZACIÓN
HÁPTICA PARA LA EXPLORACIÓN Y ANÁLISIS DE
ESTRUCTURAS FILIFORMES COMPLEJAS
Autor
Laura Raya González Ingeniera Informática
Master en Informática Gráca, Juegos y Realidad Virtual
Directores
Marcos García Lorenzo Doctor en Informática
Sofía Bayona Beriso Doctora en Informática
CERTIFICA
Que los trabajos de investigación desarrollados en la memoria de tesis doctoral Diseño e implemen-tación de algoritmos de navegación restringida y visualización háptica para la exploración y análisis de estructuras liformes complejas. son aptos para ser presentados por la Ingeniera Informática Laura Raya González ante el Tribunal que en su día se consigne, para aspirar al Grado de Doctora por la Universidad Rey Juan Carlos.
Y para que así conste rma el presente documento en Móstoles, a 5 de Septiembre de 2014.
V.B. Director de Tesis
Dr. Marcos García Lorenzo.
V.B. Co-director de Tesis
distinguir lo real de lo irreal.
Pronto necesitaremos una
nueva denición.
Alvin Toer
Quien se conforma con tan solo con ver, ni siquiera se plantea en tocar.
Tras varios años de trabajo, incluyendo alegrías y momentos de desesperación, grandes esfuerzos económicos para sacarla adelante y una gran recompensa humana con la gente que me rodea, por n ha llegado el momento de escribir estos agradecimientos.
En primer lugar, quiero agradecer todo el apoyo incondicional en todos los aspectos de mi vida a mis padres, José Luis y Angelines, quienes siguieron conmigo esta aventura investigadora y me empujaron en todo momento a seguir adelante. Los tres sabemos lo que ha implicado esta tesis en mi vida y que no hubiera sido posible llevarla a cabo sin vuestro apoyo.
A mis dos hermanas, que si bien me he perdido mucho momentos con ellas por esta investigación, siempre han sido un hombro en el que apoyarse, un oído al quien hablar y alguien con quien reírse en todo momento. Gracias por todas las lecciones enseñadas y los grandes momentos aprendidos. A mi mejor amiga Eva, por estar conmigo siempre, pase lo que pase y esté donde esté.
Agradecer también el trabajo aquí realizado a Alberto, una de las personas más grandes que la vida me ha regalado y un referente investigador a quien me gustaría parecerme. El experto de todos los problemas con latex, portador de grandes consejos y orientaciones en las publicaciones y psicólogo en los momentos de desesperación. El nal de esta tesis hubiera sido mucho más duro sin ti.
Agradecer a mi abuela, Angelines, ser fuente de inspiración por haber superado todos los obstáculos de la vida y seguir como una jovenzuela.
No puedo dejar de agradecer este trabajo a mis dos tutores, Marcos y Sofía, con quienes he com-partido muchos momentos de trabajo de esta tesis y sin ellos, todo este trabajo no habría sido posible. Marcos, gracias por enseñarme los niveles de exigencia y rigurosidad necesarios en una investigación. Por apostar por mi hace algunos años y por vivir conmigo esta experiencia. Sofía, un millón de gracias por todos los consejos dados, por la paz transmitida y por la implicación inigualable en que los textos quedaran perfectos.
luchadora y buena que se han convertido en buenos amigos. El despacho 2011 ha sido algo muy importante tanto en esta investigación como en mi propia vida personal.
Y cómo no, a todos los integrantes de GMRV, el grupo de investigación con mayor calidad humana, pensamiento por el compañero y apoyo grupal que he conocido nunca. Gracias por esos créditos gratuitos para que siguiéramos investigando, por luchar contra los despidos y por vivir conmigo tantos momentos. Gracias a Miguel A. Otaduy (por ser un ejemplo a seguir), a Luis Rincón (por su calidad como profesor), a Óscar (por haberme dado tan buenos consejos), a Susana (por haber compartido investigaciones conjuntas), a Pablo Toharia (por sus lecciones a las cartas), a Angel Rodríguez (por los consejos de cordura), a Emy (por solucionar todos los problemas), a José San Martín (por sus numerosas bromas), a Loic (por los momentos de investigación compartidos), a Richard (por su sonrisa eterna), a Eder (por los momentos de voluntarios en congresos), a Sara (por los momentos en la asociación), a Jorge Gascón (por sus historietas), a Juan Pedro (por los planes de economía ajustada) y a Iván (por apoyar siempre los eventos de la asociacion).
A Sara Boga, Pablo Aguilar y Javier Menendez, alumnos que han compartido algunos grandes y estresantes momentos de esta investigación.
A todos y cada uno de mis compañeros de U-tad, por acogerme desde el primer día y por guiarme y aconsejarme en los últimos meses de esta tesis.
Sin duda alguna, a Luis Pastor, por ofrecerme la posibilidad de haber trabajado en la Universi-dad Rey Juan Carlos durante tantos años antes de haber terminado incluso la carrera de Ingeniería Informática, siendo alguien con una excelente calidad humana, un magníco profesional y un modelo a seguir.
Gracias a la rápida evolución de la tecnología, cientícos de distintas áreas tiene a su disposición cada vez mayor número de información, siendo ésta más detallada y completa. Un ejemplo de esta tecnología son las simulaciones in silico, cada vez más usadas en distintos ámbitos como la medicina. Este tipo de tecnología permite obtener grandes volúmenes de datos de forma rápida, rentable y segura. También cabe destacar el desarrollo que están teniendo otras técnicas de adquisición de datos como son la microscopía electrónica y confocal. Frente a las ventajas obvias de tener información más detallada y able, la comunidad cientíca debe enfrentarse al tratamiento de volúmenes de datos cada vez grandes y complejos, lo que diculta enormemente su análisis.
El ser humano se relaciona con el entorno, principalmente, mediante el sentido de la vista. Eso se debe a que dicho sentido permite analizar datos de forma rápida y global. Este hecho, junto con la necesidad de analizar grandes volúmenes de datos y el desarrollo de las tecnologías de generación de imagen 3D, está provocando un creciente interés en la comunidad cientíca en el desarrollo de técnicas de visualización cientíca. A pesar de esto, dada la complejidad y el tamaño de algunos volúmenes de datos, no siempre resulta fácil mostrar todos los datos de una forma inteligible. Por otro lado, y como es obvio, en el caso de usuarios con alguna discapacidad visual estas técnicas no proporcionan una solución. En esta tesis se propone el uso de otros canales sensoriales para representar información ya sea como refuerzo del canal visual o como sustituto del mismo. En concreto, esta tesis estudia la capacidad del canal táctil, tanto para representar información geométrica y topológica como abstracta. Una estructura liforme es un elemento unidimensional con forma de hilo. Dichas estructuras pueden presentar ramicaciones y suelen aparecer en conjuntos densos y de gran tamaño, dicultando su visualización. El interés de las formas liformes nace de su presencia en una amplia variedad de ámbitos cientícos, como en el caso de las neuronales, donde tanto el elevado número de neuronas como sus interconexiones hace que realizar un análisis de una porción del cerebro sea extremadamente complejo.
Por todo lo mencionado, la primera contribución de esta tesis es el diseño de un algoritmo de navegación háptica restringida a través de estructuras liformes. Este algoritmo permite explorar y entender la geometría y la topología de este tipo particular de estructuras y sus interconexiones, inriendo las intenciones del usuario y posibilitando la interacción con los datos.
caracte-embargo, una de las principales limitaciones de representar el valor de variables mediante el canal háptico es la alta dependencia con la memoria a corto plazo. En esta tesis se propone una nueva señal, denominada diapasón háptico, que se utiliza como valor de referencia. Esta señal de referencia se repite antes de mostrar el valor, ayudando a interpretar los estímulos a través del canal háptico. Diversos experimentos realizados indican que el uso del diapasón háptico mejora la precisión y exactitud a la hora de discriminar el estímulo háptico percibido.
Ambas propuestas pueden combinarse para ofrecer al usuario una nueva manera de analizar datos a través de los dispositivos hápticos. Con el objetivo de evaluar la viabilidad en escenarios reales de las contribuciones aquí realizadas, se han desarrollado dos aplicaciones diferentes: una orientada a neurocientícos y otra a estudiantes con discapacidad visual.
Índice de guras xi
Índice de cuadros xviii
Capítulo 1. Introducción 1
1.1. Motivación . . . 1
1.2. Planteamiento del problema . . . 6
1.3. Hipótesis . . . 7
1.4. Objetivos . . . 7
1.5. Contribuciones . . . 8
1.5.1. Contribuciones cientícas . . . 8
1.5.2. Contribuciones técnicas . . . 9
1.6. Organización del documento de tesis . . . 9
I ESTADO DEL ARTE
11
Capítulo 2. Estado del Arte 13 2.1. Introducción . . . 132.2. Percepción háptica . . . 15
2.3. Diseño de dispositivos hápticos . . . 21
2.4. Renderizado háptico . . . 24
2.4.1. Simulación de contacto . . . 25
2.4.2. Métodos de navegación guiada o restringida . . . 27
2.4.3. Métodos de planicación de caminos . . . 29
2.4.4. Suavizado de fuerzas . . . 29
2.4.5. Navegación háptica sobre estructuras liformes . . . 31
2.4.6. Visualización háptica . . . 33
2.5. Control de la cámara y área de trabajo . . . 37
II CONTRIBUCIONES
47
Capítulo 3. Algoritmos de navegación háptica restringida 49
3.1. Introducción . . . 49
3.2. Navegación háptica libre . . . 52
3.3. Navegación háptica restringida . . . 52
3.3.1. Algoritmo de Descenso de gradiente con camino múltiple . . . 53
3.3.2. Limitaciones de Descenso de gradiente con camino múltiple . . . 55
3.4. Optimización basada en la esfera de insatisfacción . . . 61
3.5. Calibración del método OBEI . . . 64
3.5.1. Constante de rigidez . . . 64
3.5.2. Radio máximo de la esfera de insatisfacción . . . 68
3.5.3. Radio mínimo de la esfera de insatisfacción . . . 69
3.5.4. Factor de crecimiento de la esfera de insatisfacción . . . 69
3.6. Evaluación de la técnica propuesta . . . 72
Capítulo 4. Discriminación de variables usando iconos hápticos 81 4.1. Introducción . . . 81
4.2. Utilización de iconos hápticos para discriminar . . . 81
4.2.1. Implementación de iconos hápticos . . . 82
4.2.2. Diseño de iconos hápticos discriminables . . . 84
4.3. Concepto de escala háptica . . . 88
4.4. Diapasón háptico . . . 91
4.5. Marco experimental general y denición de objetivos . . . 92
4.6. Diseño y evaluación de experimentos realizados . . . 96
4.6.1. Experimento 1: Obtención de la amplitud más adecuada para el reconocimiento de cada onda. . . 96
4.6.2. Experimento 2: Denición de los límites del rango de frecuencias de la escala háptica. . . 99
4.6.3. Experimento 3: Evaluación de la mejora en el número de aciertos a la hora de discriminar frecuencias con el diapasón háptico . . . 102
dividida . . . 115
Capítulo 5. Interfaz multimodal 121 5.1. Control de la cámara . . . 122
5.1.1. Traslación . . . 124
5.1.2. Rotación . . . 126
5.1.3. Escalado . . . 127
5.2. Área de trabajo . . . 127
5.2.1. Traslación . . . 128
5.2.2. Rotación . . . 128
5.2.3. Escalado . . . 128
5.3. Ayudas visuales . . . 129
5.3.1. Visión estereoscópica . . . 129
5.3.2. Claves visuales . . . 133
5.4. Evaluación . . . 134
Capítulo 6. Desarrollo de aplicaciones de ámbito real 137 6.1. RTHNeuron . . . 137
6.1.1. RTHNeuron: RTNeuron con características hápticas . . . 139
6.1.2. Incorporación de la interfaz a RTNeuron con el dispositivo háptico como entrada143 6.1.3. Incorporación de la Optimización basada en la esfera de insatisfacción . . . 143
6.1.4. Incorporación de un algoritmo de navegación planicada . . . 143
6.1.5. Incorporación de iconos hápticos y el diapasón háptico . . . 147
6.2. GUIAhME . . . 147
6.2.1. Pruebas de usabilidad de la herramienta para la creación de contenidos . . . . 156
6.2.2. Validación de la herramienta multimodal CIRCUITAhME . . . 160
III CONCLUSIONES Y TRABAJO FUTURO
167
Capítulo 7. Conclusiones 169 7.1. Conclusiones . . . 1697.2. Contribuciones cientícas . . . 171
7.2.1. Contribuciones en navegación háptica guiada . . . 171
7.2.2. Contribuciones en iconos hápticos . . . 172
Anexo A. Otras aproximaciones propuestas 177 A.1. Algoritmo de salto mínimos locales . . . 177 A.2. Modicación de Ruspini . . . 181 A.3. Evaluación . . . 183
Anexo B. Cuestionarios 187
B.1. Cuestionarios correspondientes a la Optimización basada en la esfera de insatisfacción 187 B.2. Cuestionario de iconos y diapasón . . . 189 B.3. Cuestionarios correspondientes al análisis de la interfaz . . . 201 B.4. Cuestionarios correspondientes al análisis de la aplicación CIRCUITAhME . . . 202
1.1. Imagen superior, visualización de un conjunto de datos de un huracán utilizando espe-cicaciones cientícas previas, mostrando datos que son seleccionados interactivamente por el usuario [DMG+05]. Imagen central, captura de una columna cortical simulada
compuesta por 500 neuronas [BBa]. Imagen inferior, comportamiento de una proteína
simulada digitalmente [Dob03]. . . 2
1.2. Instante de navegación a través de una simulación de estructuras neuronales utilizando la herramienta aquí presentada. . . 9
2.1. En la fotografía superior, se puede observar un dispositivo generado para la producción de olores virtuales [NMOh]. En la fotografía inferior, se puede observar un prototipo generado en la Universidad de Tokio para la generación de sabores virtuales en entornos altamente inmersivos [NMOj]. . . 14
2.2. Sistema de Realidad Virtual basado en [SCB04]. . . 15
2.3. Visión general de las partes que componen un Sistema Háptico General. . . 16
2.4. Esquema del sistema propioceptivo compuesto por los músculos y tendones. . . 17
2.5. Esquema de las diferentes capas de la piel. . . 18
2.6. Imagen de los procedimientos exploratorios más habituales [KLP+90]. . . . 21
2.7. Fotografía de un dispositivo kinestésico. Modelo Omega [NMOc]. . . 22
2.8. Fotografía del interior de un dedal vibrador para simular tacto [Hod12]. . . 22
2.9. Fotografía de una plataforma Stewart utilizada en simuladores de aviones. . . 23
2.10. Muelle cticio simulado entre el probe y el proxy. . . 26
supercies planas del objetivo, pero pueden provocar una discontinuidad. . . 31
2.14. Ejemplos de estructuras liformes navegadas mediante nuestro sistema. . . 32
2.15. Ejemplo de utilización de la fricción como variable discriminable en la visualización háptica de diagramas. Cada barra es caracterizada con una fricción diseñada con dife-rentes parámetros. El objetivo es que las fricciones sean discriminables entre sí, con el n de poder relacionar un tipo de fricción con una de las barras. . . 34
2.16. División entre diferentes tipos de iconos. . . 36
2.17. Clasicación de diferentes iconos en función de su parametrización. Traducción y adap-tación de [TM08]. . . 37
2.18. Construcción de un determinado icono háptico a partir de las operaciones de concate-nación y superposición de fonemas. . . 38
2.19. A la izquierda, imagen del área de trabajo nominal. La gura del centro, área de trabajo real. Figura de la derecha, área de trabajo de aplicación [Mar09]. . . 39
2.20. Renderizado de 5 minicolumnas corticales compuestas por 500 neuronas, aplicando claves visuales según el valor del voltaje [LHH+a]. . . . 41
2.21. Estructura de una neurona y sus distintas partes. . . 42
2.22. A la izquierda, línea Braille. A la derecha se puede observar la fotografía de una impre-sora Braille. . . 44
3.1. Imagen de una columna neuronal sintética, cortesía de [LHH+b]. . . . 50
3.2. Diagramas de las funciones ProcessNode, ProcessSegment y setProxy. closestPoint() devuelve el punto más cercano al probe en el segmento; Dist() devuelve la distancia entre dos posiciones; numberAdjacentSegments() devuelve el número de segmentos adyacentes del nodo actual; adjacentSegment() devuelve uno de los segmentos adyacentes al nodo. 56
3.3. En el caso de nodos con ramicaciones que forman un pequeño ángulo entre sí, aquellos segmentos con regiones de Voronoi estrechas (por ejemplo, el segmento 3) son difíciles de acceder con el algoritmo de navegación descrito en el apartado anterior. . . 57
proxy (en rojo). Derecha: codo 2D cóncavo, donde el proxy sufre una discontinuidad cuando alcanza el nodo. . . 58
3.6. En la presente gura se muestra un caso donde la posición óptima del proxy obligaría a saltarse varios mínimos locales (nodos 1 y 2). Con los algoritmos anteriores, no podría saltarse los mínimos locales, quedándose atrapado el proxy en la posición actual, de-bido que la distancia aumentaría al ir tanto hacia el nodo enumerado como dos, como continuar el camino hacia la derecha del segmento actual. Con el algoritmo OBEI, es posible saltarse únicamente un mínimo local que aumenta la distancia del proxy. . . . 60
3.7. Nuestro algoritmo calcula la nueva posición del proxypcon un proceso iterativo dividido
en dos etapas. Primero, se calcula una inicial posición del proxypdgcmusando DGCM,
lo cual minimiza la distancia del proxy con el probe h. Este algoritmo comienza el proceso de búsqueda desde la posición previa del proxyp0y el elemento activoa0(nodo
o segmento) donde se encuentrap0.a0se calcula usando la función getActiveElement().
Las funciones ProcessNode() y ProcessSegment() se describieron en la gura en 3.2. . . 62
3.8. Diagramas de las funciones OptimizeNode y OptimizeSegment. . . 65
3.9. En la gráca superior, la fuerza registrada en Newtons con unaK igual a 500 N/m.Es
importante destacar que el pico de fuerza de la primera iteración es debido al cambio entre el modo de navegación libre y el modo de navegación restringida. En el gráco inferior, se ha aplicado un ltro de paso alto, por lo que se observan únicamente las altas frecuencias, representadas en el dominio del tiempo, con una Kigual a 500N/m. 67
3.10. Cálculo del radio máximo, midiendo la distancia de la característica geometría que se desea percibir. . . 68
3.11. En la gura de la izquierda, el proxy se encuentra prácticamente en el nodo de unión entre un segmento u otro, siendo considerado por muchos usuarios, el punto en el que se pasa al siguiente segmento. En la gura de la derecha, se muestra el punto exacto de intersección entre los dos segmentos. . . 70
3.12. Escenarios con diferentes ramicaciones para un sujeto determinado. . . 71
3.13. Escenario usado para realizar la comparación para la tarea 1. El usuario seguirá el camino coloreado una vez por cada uno de los cuatro algoritmos. . . 73
usuarios para la segunda tarea. . . 78
3.16. El diagrama de cajas superior muestra la puntuación de satisfacción del usuario, en-marcada en un rango entre 1-5 por cada algoritmo para la tarea 1. El diagrama de cajas inferior muestra las puntuaciones obtenidas para la tarea 2. . . 79
3.17. Diagrama de barras que muestra el número de sujetos (también en porcentaje) que terminan la tarea para cada uno de los algoritmos, tanto para la tarea 1 como para la tarea 2. . . 80
4.1. Proxy desplazado en función de la magnitud de la textura. . . 83
4.2. Gráca de la onda senoidal utilizada para representar un icono háptico. . . 86
4.3. Gráca de la onda de diente de sierra utilizada para generar el icono háptico. . . 87
4.4. Gráca de la onda cuadrada utilizada para generar el icono háptico. . . 87
4.5. Comparación de la escala musical jónica mayor y nuestra escala háptica propuesta en es-te capítulo. El valor de las frecuencias será dees-terminado en elExperimento 2: Denición de los límites del rango de frecuencias de la escala háptica. . . 89
4.6. Imagen de la escala háptica de frecuencia de la forma Seno. . . 90
4.7. Imagen del diapasón precediendo a las notas hápticas 1, 2 y 3 de la escala háptica en frecuencia de la forma Seno. . . 92
4.8. Imagen y esquema del marco experimental diseñado para cada experimento. . . 94
4.9. Denición de las tres escalas hápticas de frecuencia. La primera escala, Escala de 3, se compone de tres notas. La Escala de 5 se forma con cinco notas; y la Escala de 7 se compone con siete notas hápticas de frecuencia diferentes. Fijaremos para cada escala el valor del diapasón como el valor de su nota intermedia (ver las frecuencias marcadas en negro). . . 102
4.10. Resultados de la Prueba t de Student obtenidos al comparar el experimento con diapasón y sin diapasón, para cada una de las tres escalas hápticas de frecuencia. Los asteriscos de la gura muestran resultados estadísticamente signicativos. La columna sig(bilateral) da el p-valor del contrasteH0. El diapasón no inuye en el comportamiento del usuario, por lo que no habrá diferencia entre el número de aciertos con o sin diapasón. . . 107
4.11. Diagrama de cajas para observar las diferencias obtenidas usando las escalas de 5 y 7 estímulos con y sin diapasón háptico. . . 108
4.12. Descriptivos de las escalas 5 y 7 con y sin diapasón. . . 109
diapasón háptico, donde 1 es Nada útil, 2 es Poco útil, 3 es Algo útil, 4 es Bastante útil
y 5 esMuy útil. . . 111
4.15. Esquema de las escalas hápticas utilizadas con su forma y sus notas hápticas. . . 112
4.16. Aciertos por forma, frecuencia y totales. . . 114
4.17. Diagrama de cajas de aciertos por forma. . . 115
4.18. Diagrama de cajas de aciertos totales. . . 116
4.19. Tabla resumen de la Prueba T con el número de aciertos y el error acumulado. . . 118
4.20. Diagrama de cajas de aciertos en el experimento con atención dividida. . . 118
4.21. Diagrama de cajas que muestra el error acumulado entre la respuesta indicada por el sujeto en relación con la nota háptica percibida y la respuesta correcta, tanto para el experimento realizado con diapasón háptico como sin él. . . 119
4.22. Tabla con el porcentaje del nivel de seguridad que indica el usuario a la hora de utilizar el diapasón. Las respuestas correspondientes a 1 - Nada, 2 - Poco, 3 - Algo, 4 - Bastante, 5 - Mucho. . . 119
5.1. Sistema centrado en una única herramienta de interacción . . . 123
5.2. A la izquierda, la proyección del área de trabajo dinámica (en amarillo). A la derecha, área de trabajo virtual estática (en verde). . . 125
5.3. Las imagenes muestran como el usuario determina la cantidad de rotación de los datos en función de la rotación del gimbal. . . 126
5.4. Las imagenes muestran como es posible hacer el escalado de los datos mediante los botones del dispositivo. . . 127
5.5. Las imagenes muestran como se va ajustando los movimientos para mantener la zona del probe dentro del área de trabajo. . . 129
5.6. Imagen del dispositivo Trivisio AR-vision Goggles/HMD utilizado en la interfaz multi-modal aquí presentada. . . 130
5.7. Campos izquierdo y derecho para una visión estéreo. . . 131
5.8. Esquema de los parámetros para la visión estéreo. . . 131
5.9. Ejemplo de una perspectiva estresada, que aumenta la sensación de profundidad. . . . 132
5.10. A la izquierda, se muestra una escena renderizada utilizando una perspectiva normal. En el lado derecho, se muestra la misma escena renderizada con la perspectiva estresada.132 5.11. Imagen de una escena con ramicaciones. Las direcciones de los nodos se dibujan en la parte superior derecha de la pantalla. . . 133 5.12. En la izquierda: primera escena para el test obtenida puramente a partir de datos
6.1. En la gura se puede observar cómo la carga se desplaza de las neuronas situadas en el centro, con una carga mayor debido a que su color es más claro, hacia las neuronas más externas del sistema, destacando las neuronas encontradas en la zona inferior, con una carga aún menor y, por tanto, representadas con un color entre las claves visuales azul y negro. . . 140 6.2. Imagen de RTHNeuron de una columna cortical formada por 500 neuronas, donde el
voltaje de cada neurona se representa con la función de transferencia [valor, color]. . . 142 6.3. RTHNeuron: Imagen superior, navegación háptica a través de 20 neuronas. Imagen
inferior, usuario probando la interfaz multimodal. . . 144 6.4. Modelo de fuerzas de Path Planning. . . 146 6.5. Captura de ejecución del algoritmo de Path planning sobre una neurona. . . 146 6.6. Escenario de prueba para RTHNeuron con 500 neuronas. . . 148 6.7. Esquema del proyecto GuiaHme (Guidance Using Interfaces with Audio and Haptic
Modalities for E-learning) [BGSR13]. . . 149 6.8. GuiahMe: imagen de un circuito de prueba. Como se puede observar, los componentes
no existen en la geometría, sino que se generan mediante la discriminación de formas en texturas hápticas. Una textura visual permite a una persona vidente observar la posición de los diferentes componentes electrónicos. Para una persona invidente, un componente tendrá una forma háptica y una frecuencia háptica que lo diferenciarán del resto. . . 153 6.9. GuiahMe: imagen de un sujeto con discapacidad visual evaluando la aplicación. . . 155 6.10. Imagen del editor de circuitos orientado para el profesor. . . 157 6.11. Circuito utilizado en la prueba guiada. . . 158 6.12. Circuito utilizado en la prueba no guiada. . . 159 6.13. Tabla que relaciona los fallos cometidos y recuperados en función del uso habitual del
ordenador del usuario. . . 160 6.14. Tabla que relaciona la puntuación de las preguntas del cuestionario, con un máximo de
tran los pasos intermedios que va realizando el algoritmo. Los puntos1y2constituyen
los proxy subobjetivos que calcula el algoritmo, mientras que3es un mínimo local que
es omitido por el algoritmo. . . 178 A.2. Diagrama de la función SolverInit(), procedimiento general de optimización. Dist()
calcula la distancia entre el proxy y el anterior probe.a0es calculado usando la función
getActiveElement(). Esta función comienza la optimización recursiva. . . 179 A.3. Diagrama de la función GetNodeClosestProxy(), procedimiento recursivo para un nodo
activo. p el nuevo elemento activo, dist la distancia entre el nuevo proxy y el probe.
Esta función calcula los proxy subobjetivos para todas las ramicaciones que nacen en ese nodo. . . 179 A.4. Diagrama de la función getSegmentClosestProxy(), procedimiento recursivo para un
segmento activo.pel nuevo elemento activo. Esta función calcula los proxy subobjetivos
para todas las ramicaciones a través de este segmento. . . 180 A.5. Figura traducida de [RKK97], donde se explican los principales componentes del
algo-ritmo. . . 182 A.6. Escenas utilizadas para la evaluación del rendimiento y la navegabilidad. Izquierda:
escena1 (sin ramicaciones); En el medio: escena2; Derecha: escena3 (con ramicaciones complejas). . . 184 A.7. Las grácas muestran la fuerza y las iteraciones necesarias para completar la tarea en
3.1. Media de la puntuación de los usuarios para cada algoritmo, Los asteriscos denotan diferencias estadísticamente signicativas entre OBEI y dichos métodos. . . 75 3.2. Datos objetivos calculados durante la ejecución de las tareas 1 y 2. La tabla compara las
medias obtenidas para SML y para OBEI. Los asteriscos indican diferencias de medias estadísticamente signicativas. EPROXY es la media total deEproxy (mm), EPROBE
es la media total de Eprobe (mm), FDISGUSTO es la media de la sumas de la fuerza
de disgusto (N) y TIME es la media del tiempo (seg). . . 76
A.1. Tiempo medio por iteración y número medio de segmentos visitados por iteración para los cuatro algoritmos. . . 185 A.2. Integral del tiempo de la magnitud de la fuerza para un camino completo,Σ, y la media
Introducción
1.1.
Motivación
La evolución tecnológica llevada a cabo en los últimos años ha posibilitado la captura, el almace-namiento y la gestión de conjuntos de datos complejos y masivos en un sinfín de disciplinas gracias al uso de, por ejemplo, arquitecturas streaming, multiprocesadores, clusters, grids, bases de datos no re-lacionales, etc. Como puede observarse en algunas aplicaciones como smart cities [RSF], meteorología [DMG+05], economía [TF13] o computación en la nube [STY10], cada día más ámbitos hacen un uso
frecuente de esta nueva tecnología para trabajar con grandes conjuntos de datos (ver Figura 1.1). Sin embargo, para que los datos puedan ser útiles, han de ser procesados, interpretados y comprendidos de manera intuitiva y sencilla.
Una correcta interpretación puede resultar una tarea compleja, debido tanto al basto número de datos, como a la complejidad de los mismos. Según la bibliografía [FH09], es posible realizar una clasicación de los diferentes tipos de datos más comunes que se pueden utilizar para representar información compleja. Esta clasicación se puede dividir en dos grandes grupos. Por un lado, los relacionados con la propia estructura de los datos y, por otro lado, relacionados con el método de adquisición y representación.
Los términos de multivariable y multidimensional están relacionados con la estructura de los datos y la relación de sus ítems con el mundo físico [FH09].
• Datos multivariables. Es una descripción general de un tipo de información donde cada elemento
Figura 1.1. Imagen superior, visualización de un conjunto de datos de un huracán utilizando especicaciones cientícas previas, mostrando datos que son seleccionados interactivamente por el usuario [DMG+05].
• Datos multidimensionales. Es un caso especial donde algunos de los atributos son independientes
de los otros y están relacionados con dimensiones físicas tales como el espacio o el tiempo [FH09].
Por otro lado, los términos de multimodal, multicanal, multicampo y multievaluado están relacio-nados con el método de adquisición de los datos y su representación, según se indica en [FH09].
• Datos multicanal. Contienen datos procedentes de diferentes cantidades físicas (por ejemplo,
temperatura, humedad o voltaje) adquiridos a través de la medida de múltiples canales [FH09].
• Datos multimodales. Describen el resultado de la adquisición de los datos, donde los atributos de
dichos datos describen un objetivo físico que es obtenido usando múltiples modalidades sensoriales [FH09].
• Datos multicampo. Dichos datos contienen múltiples atributos que son agrupados en campos
físicos de signicado similar [FH09].
• Datos multievaluados. Pueden representar dos tipos de datos (a veces utilizado como sinónimo
de multivariable [FH09].
La complejidad de los datos, debida a la enorme cantidad de atributos, dimensiones y métodos de adquisición, así como su elevado número, provocan la necesidad de que surjan diferentes áreas cientícas que procuren solventar los problemas de adquisición, representación y análisis de los mismos de manera efectiva. Es posible distinguir las siguientes áreas más utilizadas en la actualidad:
• Big data. Se llama así a la disciplina que maneja conjuntos de datos que superan la capacidad del
software y el hardware habitual para ser capturados, adquiridos, gestionados y procesados en un tiempo razonable.
• Data mining. Su función es extraer información de un conjunto masivo de datos y transformarla
en una estructura comprensible para su uso posterior.
• Data science. Está relacionada con el análisis y la interpretación de grandes conjuntos de datos
complejos que requieren técnicas especiales.
• Scientic visualization. Su función es la utilización de técnicas de visualización y representación
de datos cientícos.
Estos son sólo algunos ejemplos de campos dentro de la ciencia de la computación que muestran la necesidad de contar con métodos y mecanismos de gestión e interpretación de dicha información. Sin embargo, es bien conocido el hecho de que nuestra capacidad en el incremento de cantidad y complejidad en la generación de datos actuales, supera nuestra habilidad para entenderlos fácilmente y darles sentido.
un pilar complementario a la teoría y la experimentación tradicional. Esto es debido a que es posible la repetición del análisis, la personalización del tratamiento así como la adquisición de un elevado número de datos a tratar. Además, resulta una técnica inocua, no dañina para ningún paciente o ser vivo.
El estudio del comportamiento del cerebro y sus unidades funcionales es un claro ejemplo de campo del saber que necesita tratar con datos masivos y complejos, y que está empezando a utilizar, cada vez más, la experimentación in silico. El alto número de elementos que aparecen y su alta complejidad en sus interacciones, diculta su análisis y retrasa la investigación y los avances en neurociencia y medicina. Aunque especies como la mosca de la fruta cuenten solo con unas trescientas mil neuronas, se estima que el ser humano puede albergar en torno a unos cien mil millones de ellas. La falta de técnicas de análisis y visualización de estos datos masivos, adecuadas para este problema, provoca que un porcentaje de los estudios de laboratorio tengan que realizarse con especies que poseen un cerebro más simple y, posteriormente, intentar extrapolar los resultados a la especie humana puesto que parte del mecanismo básico de la actividad neuronal puede ser común al de nuestra especie [Gal10]. El análisis del cerebro conlleva tanto la interpretación de las uniones y estructuras de las neuronas y sus diferentes partes (soma, dendrita, espinas, axones, cuerpo celular), como el análisis de la recepción de estímulos y conducción del impulso nervioso (en forma de potencial de acción). Proyectos como The Blue Brain Project [BBa], The Human Brain Project [HBP] o BRAIN [BBb] tienen como reto la simulación y comprensión a nivel molecular de la totalidad del cerebro humano.
Otro ejemplo se encuentra en la incipiente simulación de moléculas para el análisis del compor-tamiento de proteínas en fármacos. Diversas investigaciones [LW75, Dob03, NGO+13], incorporan la
experimentación in silico a los procesos de diseño de nuevos fármacos, con el objetivo de reducir los costes en tiempo y ecacia, evitando múltiples ensayos erróneos de los cientícos. Mediante la dinámi-ca molecular, se utilizan técnidinámi-cas de modelado y simulación de compuestos a nivel atómico, orientadas a la industria farmacológica.
En ambos casos, los métodos y técnicas que permitan un análisis intuitivo y rápido de los datos ya computacionalmente procesados resultan esenciales como ayuda a los expertos a la hora de extraer conocimiento.
Desde 1987, con la edición especial de Computer Graphics en visualización cientíca, comenzó a crecer el interés por este campo. Desde ese momento, la visualización cientíca generó métodos, algoritmos y técnicas que han ido permitiendo a los cientícos computacionales analizar, entender y comunicar los datos numéricos generados durante una investigación. El análisis y comprensión de los datos sirve para aprobar o desaprobar una hipótesis y descubrir nuevos fenómenos.
previos [FH09][OHM+04]. Algoritmos de reducción de dimensionalidad [Fod02], la incorporación de
otros canales sensoriales [BOYBK90] o la visualización especíca de datos multivariables [LOT+95]
son ejemplos de las alternativas existentes para paliar el problema de la interpretación de dichos datos. La visualización y la interpretación de datos complejos por medio de claves visuales suele ser muy común y puede resultar muy adecuada si el número de éstas no es muy elevado. Sin embargo, un gran número de identicativos visuales puede saturar el sentido de la vista a la hora de la interpretación, resultando difícil identicar cada una de las metáforas visuales utilizadas por cada variable.
Así mismo, la percepción de las claves visuales en función del color de iconos, formas, iluminación y características similares pueden verse alteradas por las condiciones del propio entorno, tanto físico como virtual. Efectos de iluminación, oclusiones de los datos o similitud de las formas pueden llevar a errores en la interpretación. Por otro lado, alternativas como la reducción de dimensionalidad o la inclusión de transparencias pueden resultar muy beneciosas, pero es posible que ocasionen una pérdida de información local y global en un momento dado.
Por esta razón, la información multisensorial puede resultar de gran ayuda a la hora de reforzar o especicar los datos mediante la utilización del uso de diferentes canales de entrada sensoriales. En la presente tesis, nos centramos en la incorporación de otros canales sensoriales, en concreto del canal háptico, con el n de evitar saturar el sentido de la vista, ofreciendo un complemento sensorial para la recepción de información. El uso del canal háptico como apoyo a la visión se basa en tres razones:
• El ser humano percibe su entorno real utilizando cinco sentidos. Estudios demuestran que la
asimi-lación de información compleja resulta más fácil cuantos más sentidos se involucren en su recepción [BOYBK90].
• El canal háptico permite asimilar mejor que el modo visual características topológicas y
super-ciales de los datos, que pueden resultar esensuper-ciales en la correcta interpretación de algunos ti-pos de datos cientícos (circuitos electrónicos, redes neuronales, estructuras moleculares, etc.) [LKHR99, LKHR06].
• La información háptica recibida puede utilizarse como complemento a la visual, ofreciendo valores
tanto cuantitativos como cualitativos de las variables, reduciendo la necesidad de la inclusión de un elevado número de claves visuales [PLLM06].
La mayoría de los dispositivos hápticos son dispositivos de entrada-salida. Además, poseen dos principales características que les hacen idóneos para apoyar en la interpretación de los datos:
• Ofrecen un interfaz más natural para tratar datos multimodales que utilizando un único canal
sensorial.
• Permiten interactuar con los datos, convirtiéndoles en una potente herramienta a la hora de
Dentro del ámbito de los hápticos, un porcentaje muy elevado de las investigaciones se centra en analizar las características perceptuales hápticas en diferentes entornos y condiciones. Dichas caracte-rísticas resultan esenciales si se pretende proporcionar al usuario una herramienta intuitiva y adaptada a las condiciones reales del sujeto [LKHR99, LKHR06]. Si bien existe una amplia investigación cre-ciente en este ámbito, su recre-ciente inclusión en el mundo de la informática ha hecho que aún exista un elevado número de casos sin solucionar y que sea una alternativa casi inexplorada o explorada con escasos resultados como apoyo a la visión en el análisis de los datos. Esto se puede acentuar aún más en el caso de la exploración de datos formados por estructuras liformes. La formación de grandes conjuntos diculta la visión al ocluirse unos con otros, provocando que la interpretación de los mismos sea tediosa.
En la presente tesis, el análisis de la percepción háptica no resulta uno de los objetivos principales, sin embargo, se han tenido en cuenta estudios previos de percepción háptica en el diseño e implemen-tación de los métodos y algoritmos aquí propuestos, con el objetivo de que estos sean orientados y adaptados a las características del usuario y su percepción del entorno a analizar. En el sentido del tacto, una adaptación al usuario puede resultar aún más imprescindible que en el caso de la visión por su entrenamiento menor. Mientras que en el caso de la vista el ser humano está acostumbrado a hacer uso de este canal sensorial para explorar el mundo que le rodea, analizar su entorno y obtener un conocimiento global de su mundo, el tacto queda frecuentemente relegado a un segundo plano, utilizado en contadas ocasiones y, en la mayoría de los casos, como apoyo a la visión, sin plantear la posibilidad de realizar una sustitución.
La utilización de métodos hápticos poco intuitivos o demasiado restrictivos en el movimiento pueden provocar que su uso no resulte satisfactorio para el usuario, creando un impedimento a la hora de explorar su uso dentro del campo de la visualización cientíca.
1.2.
Planteamiento del problema
Si bien es cierto que existen multitud de técnicas que utilizan otros canales sensoriales, como el canal háptico o el oído, con el objetivo de transmitir información adicional al usuario para el posterior análisis de datos, la principal herramienta de análisis utilizada en este campo sigue siendo la vista. El mayor uso del canal de la vista frente al canal háptico podría deberse a lo siguiente:
• La vista, como principal sentido sensorial, ofrece mayor información con menos esfuerzo,
propor-cionando información global, por lo que es lógico que se haya convertido y permanezca siendo la principal manera de análisis (ver Capítulo 2).
• Algunas de las técnicas hápticas desarrolladas previamente como alternativa de análisis, si bien
cantidad de información recibida por el canal visual.
Sin embargo, el creciente volumen de datos adquiridos y el elevado número de datos multivariables, multimodales y multidimensionales generados en la actualidad, empieza a convertir el uso de claves visuales y metodologías de análisis basadas únicamente en el sentido de la vista en un cuello de botella para un análisis completo y ecaz.
Por todo esto, el uso del canal háptico como alternativa puede proporcionar dos ventajas prin-cipales: (i) Facilitar la exploración topológica. Se puede utilizar el sentido del tacto de una forma natural limitando los movimientos del usuario a la estructura a analizar. De esta manera, creamos una similitud con la manera en la que el usuario utiliza el tacto en el mundo real, por lo que al usuario le resulta natural el uso del tacto en estos casos. (ii) Es posible liberar la saturación del canal visual ofreciendo información adicional mediante el canal háptico. Para ello, es necesario usar el tacto para representar información abstracta, no relacionada con el canal háptico, debiendo, por tanto, superar las limitaciones de este canal, especialmente la dependencia con el uso de la memoria a corto plazo.
1.3.
Hipótesis
Todos los motivos expuestos en los anteriores apartados conducen a formular las hipótesis de partida de esta tesis: una principal y otra hipótesis secundaria. La hipótesis principal se enuncia como: es posible diseñar técnicas hápticas capaces de simplicar el análisis de datos tanto abstractos como geométricos, ya sea utilizando el canal háptico como único canal de representación o usándolo como refuerzo del canal visual. La hipótesis secundaria se enuncia como: es posible diseñar nuevas estrategias de representación de información abstracta a través de dispositivos hápticos solventando limitaciones de las técnicas actuales; especialmente, las derivadas de la dicultad que presentamos los seres humanos a la hora de recordar a medio plazo estímulos hápticos.
1.4.
Objetivos
Basados en las hipótesis que se desean comprobar, se establecen los siguientes objetivos de partida:
1. Diseñar métodos de navegación háptica que faciliten la exploración de estructuras liformes, restringiendo los movimientos del usuario a la estructura geométrica.
2. Diseñar nuevas estrategias de representación de información abstracta a través de iconos hápti-cos.
4. Realizar experimentos que permitan validar la utilidad y el alcance de los métodos y estrategias implementadas desde el punto de vista perceptual.
A continuación, se detallan las líneas de actuación a priori que guiarán la investigación para la consecución de estos objetos, teniendo en cuenta las hipótesis planteadas en el apartado 1.3.
Para el objetivo 1, se plantea la posibilidad de que dichos métodos se adecúen a las características de los usuarios, a las de los datos representados y a la tarea a realizar.
Para el objetivo 2, se buscarán soluciones que palíen la alta dependencia en los humanos de la memoria a corto plazo a la hora de discriminar estímulos hápticos.
Con respecto al objetivo 3, se plantean dos áreas de aplicación, principalmente. La primera es la aplicación de las técnicas a entornos neuronales, que presentan una elevada complejidad y cuyo elemento fundamental, la neurona, posee una estructura liforme. En este caso, el canal háptico servirá para complementar al canal visual y reducir la saturación visual que se puede producir en entornos complejos.
El segundo área consistirá en la aplicación de dichos métodos en el marco de aplicaciones educativas para usuarios con discapacidad visual. En este caso, la exploración de las estructuras liformes se realizará principalmente basándose en el canal háptico.
El objetivo 4 se irá realizando para la construcción y evaluación de los métodos y estrategias diseñadas, presentando los resultados obtenidos que ayudarán a extraer conclusiones que permitan validar o refutar las hipótesis planteadas.
1.5.
Contribuciones
1.5.1.
Contribuciones científicas
Se pueden resumir las principales contribuciones realizadas en la presente tesis en las siguientes:
• Se ha diseñado e implementado un algoritmo de navegación háptica restringida e intuitiva,
que facilita la exploración de estructuras liformes a través de formas complejas, ramicaciones y presencia de ruido. Para la calibración de dicho algoritmo, se ha diseñado una calibración especíca al usuario y a la tarea a realizar que permite obtener los parámetros personalizados a cada usuario.
• Se ha diseñado una técnica de visualización háptica que aumenta el número de iconos hápticos
Figura 1.2. Instante de navegación a través de una simulación de estructuras neuronales utilizando la herra-mienta aquí presentada.
1.5.2.
Contribuciones técnicas
• Se ha desarrollado una interfaz multimodal para el análisis de columnas corticales neuronales
(ver Figura 1.2) fusionando las técnicas aquí propuestas de navegación y visualización háptica con una herramienta de renderizado neuronal ya existente y enmarcada en The Human Brain Project [HBP].
• Se ha diseñado e implementado una aplicación multimodal que facilita el aprendizaje de
es-tructurales liformes, como los circuitos eléctricos, a personas con discapacidad visual (total o parcial).
1.6.
Organización del documento de tesis
La presente tesis se organiza en los siguientes capítulos:
• Capítulo 2. Estado del arte. Se detallan las técnicas y métodos ya existentes en las áreas
esenciales para poder adaptar las propuestas de la presente tesis al usuario. (iii) Los conceptos esenciales para entender las técnicas y métodos propuestos en relación al renderizado háptico. Por último, se detalla el estado actual de las propuestas, aplicaciones y metodologías relacionadas con las aplicaciones de ámbito real diseñadas e implementadas en este trabajo.
• Capítulo 3. Algoritmos de navegación háptica restringida. En este capítulo se presenta
el algoritmo de navegación háptica restringida para estructuras liformes con ramicaciones complejas y presencia de características de altas frecuencias. Se detalla, también, el método diseñado de calibración de los parámetros en función de las características del usuario y la correspondiente validación del método.
• Capítulo 4. Discriminación de variables en estructuras liformes mediante iconos
hápticos. Este capítulo describe el diseño de una escala háptica y la utilización de un diapasón háptico que facilita la utilización de iconos hápticos con un único punto de contacto para la discriminación de variables dentro de la Visualización Háptica. En dicho capítulo se encuentra una descripción técnica de la aportación, así como su correspondiente evaluación.
• Capítulo 5. Diseño de la Interfaz. En él se explican los métodos utilizados para el control de
la cámara mediante el háptico, las limitaciones de espacio de trabajo del dispositivo, utilización de visión estereoscópica, etc.
• Capítulo 6. Desarrollo de aplicaciones de ámbito real. En este capítulo se resume el
desarrollo de dos aplicaciones de ámbito real: RTHNeuron, dedicada al análisis de columnas corticales integrada en el proyecto HBP [HBP] y GUIAhME [BGSR13], una interfaz multimodal de ayuda al aprendizaje de estructuras liformes orientada a estudiantes con discapacidad visual.
• Capítulo 7. Conclusiones. En este capítulo se detallan las conclusiones, contribuciones y
resultados obtenidos tras la elaboración de la presente tesis, así como las líneas de trabajo futuro.
• Apéndice A. Otras aproximaciones al problema de la navegación háptica en
estruc-turas liformes. En este anexo se presenta el primer algoritmo diseñado para esta investigación que facilita la navegación restringida a través de estructuras liformes complejas. Dicho algorit-mo mejora los métodos existentes y constituye la base del algoritalgorit-mo explicado en el Capítulo 3. También, en dicho Anexo se explica una adaptación del método de Ruspini para estructuras liformes diseñado en la presente tesis.
• Apéndice B. Cuestionarios para la evaluación de los métodos propuestos. En este
Estado del Arte
2.1.
Introducción
El concepto de realidad virtual es denido como una experiencia multimedia e inmersiva, donde un ordenador simula un entorno que puede estar presente en lugares físicos del mundo real o de un mundo imaginario [BC03]. De manera ideal, el usuario debería poder interactuar con el mundo virtual a través de sus cinco sentidos, imitando la realidad física y el método de interacción del ser humano con su entorno. Diferentes avances en la tecnología han proporcionado la posibilidad de interactuar por medio de prototipos existentes a través de todos los sentidos (vista, olfato, oído, tacto y gusto) (ver Figura 2.1). Sin embargo, a efectos prácticos, actualmente la gran mayoría de aplicaciones de realidad virtual se basan únicamente en un pequeño subconjunto de estos sentidos, típicamente la visión, el oído y el tacto [SCB04].
En la gura 2.2 es posible ver la estructura de una aplicación de realidad virtual común, incorpo-rando retroalimentación visual, auditiva y háptica. Los principales elementos de dicha estructura se resumen en:
• Motor de simulación. Es el responsable de calcular y ejecutar el comportamiento del entorno
virtual en el tiempo.
• Algoritmos de renderizado visual, auditivo y háptico. Son los encargados de calcular los
grácos del entorno virtual, el sonido y la fuerza correspondiente de respuesta al usuario.
• Transductores. Son los encargados de traducir las señales que vienen del ordenador a una
Como se observa en la gura, mientras que los canales de audio y visión poseen una única dirección de información y de ujo de la energía (en dirección desde el motor de simulación hacia el usuario) la modalidad del háptico puede intercambiar información y energía de manera bidireccional, desde y hacia el usuario. Esto no ocurre en todos los dispositivos hápticos, pero sí en un porcentaje elevado de ellos, como los utilizados en la presente investigación. Esta doble dirección se convierte en la característica más relevante de la modalidad de interacción háptica, ya que ofrece al motor de simulación y a los algoritmos de renderizado una respuesta directa de lo que está haciendo el usuario en función de lo que se genera en el entorno virtual.
De manera especíca, y centrando el texto en la tecnología háptica, los sistemas hápticos se denen como un conjunto de interfaces tecnológicas que permiten la interacción persona-computador a través del sentido del tacto (bien sea de modo de sistema de entrada-salida o únicamente salida). Estos sistemas proporcionan realimentación de fuerza a los usuarios en base a las propiedades físicas y movimientos de objetos virtuales representados en una computadora. Dichos sistemas nacen en el seno de la robótica para operar robots de manera remota. Posteriormente, han permitido recrear el sentido del tacto de manera virtual con el objetivo de ser capaces de utilizar el canal háptico como canal de información sensorial dentro de un sistema virtual. Proporcionan realimentación de fuerza a
los usuarios en base a las propiedades físicas y movimientos de objetos virtuales representados en una computadora [SUG11].
El estudio del campo háptico se compone, principalmente, de tres áreas [SOEC11] (ver Figura 2.3):
• Human Haptics. Es la parte más cercana al usuario. Estudian las características
físico-sensoriales que permiten sentir y percibir los movimientos kinestésicos, la fuerza y las carac-terísticas táctiles de los diferentes objetos que forman un entorno. Dicha información es impres-cindible cuando se desea crear un sistema háptico real, intuitivo y cercano a las necesidades y características del usuario y a la hora de solventar las limitaciones del software y del hardware.
• Haptic Machinery. Este área de conocimiento se dedica al diseño de dispositivos hápticos.
• Haptic Rendering. Es la parte correspondiente con los cálculos realizados por el computador
que permiten determinar exactamente la magnitud y la dirección de la fuerza y en qué instante de tiempo la debe de proporcionar el dispositivo.
Estas tres áreas de conocimiento son necesarias para construir un sistema háptico completo. Este capítulo se centra en cada una de estas partes (realizando una clasicación de la literatura en apartados respetando esta composición), especicando sus objetivos y los trabajos realizados en cada uno de los ámbitos.
2.2.
Percepción háptica
Se dene percepción como la capacidad de recibir por medio de todos los sentidos, la información que rodea a un sujeto y traducirla, en ese mismo instante, en su cerebro en función de los conocimientos y experiencias previas [RDLTH01]. Esto implica que cada sujeto podrá percibir un estímulo de manera diferente, en función del grado de inuencia en sus experiencias previas y su cultura.
Dentro de los distintos sentidos sensoriales que poseen los humanos (visión, oído, tacto, gusto y olfato), es el sentido del tacto el considerado más primitivo y de carácter más emocional [Sae12]. Al ser
Figura 2.3. Visión general de las partes que componen un Sistema Háptico General.
de carácter más emocional, se ve afectado de una manera importante con la perspectiva, experiencia y el nivel de sugestión del usuario. Es por esta razón, por la que la cercanía a las características del usuario de los métodos diseñados en esta tesis, compone una de las claves más importantes de esta investigación. Para ello, ha sido necesario una lectura y evaluación de los diferentes estudios perceptuales previos encontrados en los distintos campos, incluido el campo de la psicología.
En términos generales, la interpretación de la mayor parte de la información que percibimos es realizada por la vista. De hecho, dentro del ámbito de la visualización cientíca, los métodos existen-tes se fundamentan en el uso de la vista para discriminar claves visuales que permitan discriminar unas variables de otras. Esto se debe a que la discriminación y exploración visual es continua, casi involuntaria. Con la visión se posee una mayor capacidad para memorizar gracias a que se obtiene una información de la globalidad o del todo de manera inmediata. Gracias a esta característica, de un solo golpe la visión tiene en cuenta casi todos los aspectos signicativos por lo que fácilmente se puede generalizar. Sin embargo, la percepción háptica es un procedimiento exploratorio y no un sentido meramente receptivo. La discriminación y exploración es más exclusiva, requiere de la voluntariedad del sujeto. Se posee una menor capacidad para memorizar, la obtención de información es secuencial y lenta, siendo es más difícil la generalización a través de la exploración y el reconocimiento puramente táctil [dRplIedacdv]. Por lo que, para poder interpretar información utilizando el canal del tacto, es necesario pasar por un proceso más lento y cuidadoso.
Sin embargo, el ser humano percibe su entorno real a través de los sistemas sensoriales, compues-tos por los cinco sentidos principales y la combinación de ellos. Esto hace que cada sentido puede complementar al otro y percibir de manera única y exclusiva ciertas características. Por ejemplo, no es posible percibir la dureza con la vista, ni el olor con el oído. Por todo ello, en ocasiones, resulta esencial poder combinar todos los sentidos para obtener una percepción completa del entorno.
Figura 2.4. Esquema del sistema propioceptivo compuesto por los músculos y tendones.
que existan oclusiones) a la hora de visualizar o comprender objetos [Sjo01] o en entornos donde se necesitan ambos sentidos para obtener una información completa del entorno percibido.
Dentro del sistema háptico, es posible diferenciar los principales componentes: la propiocepción, el sistema vestibular, el sistema cutáneo, mecanismos neuronales y el sistema motor [Sae12].
• La propiocepción. La información que recibe el ser humano de su postura y de sus movimientos
corporales (a partir de los movimientos y las uniones de músculos, tendones y articulaciones) recibe el nombre de propiocepción, o percepción de uno mismo, esta palabra deriva del latín /proprius/, que signica propio [NMOg].
Si bien es común la generalización de cinco sentidos sensoriales, en psicología se distingue un mayor número de ellos, distinguiéndose entre sentidos de exterocepción e interocepción. A dife-rencia de los cinco sentidos de exterocepción (visión, gusto, olfato, tacto, audición) por los que se percibe el mundo exterior, la propiocepción es un sentido de interocepción por el que se tiene conciencia del estado interno del cuerpo.
Figura 2.5. Esquema de las diferentes capas de la piel.
• Sistema vestibular. El aparato vestibular forma parte del oído interno (que contiene el órgano
coclear) y del cerebro. Está relacionado con el equilibrio, el control espacial y la posición de la cabeza (aceleración y deceleración).
• El tacto. La piel, llamada órgano del tacto, es la que proporciona una frontera con el medio
y, a la vez, es el órgano que permite detectar una serie de estímulos que ofrecen información del entorno que rodea. De esta manera, es la piel la principal responsable de que el ser humano pueda relacionarse de manera táctil y pueda comunicarse con el medio que le rodea [Sae12] (ver Figura 2.6).
La piel forma parte del sistema somatosensorial. Este sistema es responsable tanto de la percep-ción del tacto, como estimulapercep-ción mecánica de la supercie corporal que provoca la sensapercep-ción táctil, como de la propriocepción que informa de la posición de las distintas partes del cuerpo y de sus movimientos correspondientes [Sae12].
• Mecanismos neuronales. Como se ha indicado, el sistema perceptivo háptico es complejo, ya
nervioso autónomo. Posteriormente, envían la información a las diferentes áreas de la corteza cerebral. La información de la periferia corporal (relacionada con la piel) se transporta hasta la médula espinal a través de bras nerviosas individuales. En la médula se dividen en dos grupos: unos responsables del dolor y la temperatura (sistema espinotalámico) y los relacionados con la información de articulaciones, músculos y tendones (sistema Lemniscal) [Sae12].
• El sistema motor. Los sistemas motores son las diferentes áreas del sistema nervioso que
son responsables del control de los movimientos donde participa la musculatura esquelética. La percepción del tacto no es igual en las distintas zonas del cuerpo. Las manos son el órgano que posee una cualidad y capacidad más elevada. De ahí, su amplio uso en la mayoría de los sistemas hápticos. Además, las yemas de los dedos, los labios y la lengua tienen mayor capacidad sensitiva que el resto del cuerpo.
En este caso, debido a que la comunicación háptica estará principalmente centrada en la mano, es necesario entender la comunicación entre el cerebro y la mano, y sus características. Debido al elevado número de huesos y pequeñas articulaciones que se esconden en la mano, los dedos y en la muñeca, es posible obtener una gran movilidad, agilidad y precisión en dicha extremidad. Posee 27 huesos (ocho en la muñeca, 5 en la palma y 14 en los dedos). Dicha extremidad necesita de un sistema nervioso que ordene y dirija los movimientos y secuencias que han de realizar, estando al servicio del cerebro, que envía información, pero con sentido recíproco. No sólo hay transmisión del cerebro a la mano, sino que la mano también envía información al cerebro e, incluso, la puede modicar.
La percepción háptica combina los cinco elementos mencionados, con el objetivo de asimilar la información del entorno más adaptada a este sentido. A partir de los resultados obtenidos por Millar et al. [Mil78] se puede concluir que cada sistema perceptivo está más preparado para la codicación de determinadas propiedades de un entorno. Mientras la visión está más preparada para la codicación del tamaño y la forma de los objetos, el sistema háptico está más preparado para determinar características descriptivas del objeto, como pueden ser la rugosidad, la textura o la temperatura. Por ello, si bien el sentido de la vista resulta ser el más rápido y el más desarrollado debido a sus diversas ventajas frente al háptico, en determinados momentos la visión necesita verse complementada por el tacto para poder asimilar mejor diferentes tipos de información.
Aquí nace una de las ideas de esta tesis de apoyar al sentido de la vista, de manera que la visión informará de la disposición global y del tamaño de los objetos, mientras que el canal háptico puede informar de propiedades de dichos objetos por medio del uso de texturas. De esta manera, una interfaz multimodal puede ayudar a asimilar mejor un entorno virtual, realizando un símil con la vida real, donde los estímulos son percibidos por más de un sentido.
sistema visual actúa de manera simultánea, el háptico tiene que integrar la información que ha ido adquiriendo de manera sucesiva, lo que supone una limitación importante, debido a que para captar la misma cantidad de información es necesario un tiempo mucho mayor, provocando sobrecarga de memoria. Además, la obligación de tener que realizar el contacto de manera sucesiva (primero palpar un objeto y luego palpar otro) y no en paralelo o global como sucede con la vista, requiere una alta dependencia de la memoria a corto plazo, no especialmente buena en el ser humano. Dicha limitación resulta demasiado elevada si se desea utilizar el canal del tacto como ayuda en el análisis de datos complejos, y alternativa o complemento a las técnicas de visualización tradicionales. Es el intento de paliar las restricciones derivadas de esta limitación lo que motiva el uso de texturas hápticas.
Un amplio conocimiento de la percepción táctil en la denición de texturas hápticas es esencial si se desea poder reconocerlas de manera sencilla. Dos texturas pueden ser muy similares o muy distintas en función de unos parámetros y la diferencia entre ellos. Es aquí donde entra en juego la ley psicofísica de Weber-Fechner, que establece una relación cuantitativa entre la magnitud de un estímulo físico (en este caso un efecto háptico) y cómo éste es percibido [RM96]. Con esta ley se determina que el menor cambio discernible en la magnitud de un estímulo es proporcional a la magnitud del estímulo. Esta relación cuantitativa puede establecer la magnitud necesaria para que un efecto háptico y el siguiente sean diferenciables para un sujeto común. Basados en esta ley y en la dependencia de la memoria a corto plazo para el uso de texturas hápticas como método de visualización, surge la aparición de nuevos conceptos como los propuestos y detallados mejor en sucesivos capítulos.
Múltiples estudios determinan la gran capacidad del sistema háptico para percibir objetos tri-dimensionales familiares [KLM85]. Otros estudios demuestran que el uso de la percepción háptica permite aprender otras características importantes de los objetos como son el tamaño de los objetos, la textura, la dureza, la forma o la rugosidad. Lederman et al. han llevado a cabo diferentes investiga-ciones donde evalúan las claves hápticas utilizadas para la exploración virtual de objetos, incluyendo la velocidad de exploración, las texturas hápticas percibidas por medio de un probe y las zonas más comunes de exploración [LKHR99, LKHR06]. Dichas características son esenciales, ya que determinan las principales claves para que, por medio de los bordes de los objetos, la palpación y las texturas, el usuario puede reconocer mejor o peor una determinada forma.
Figura 2.6. Imagen de los procedimientos exploratorios más habituales [KLP+90].
atributos en la memoria del sujeto. De hecho, los movimientos exploratorios son característicos de la propiedad y de la forma a percibir, creándose diferentes estrategias de exploración, conocidos como Procedimientos Exploratorios (PE). En [KLR87] se denen diferentes PE para extraer información sobre la estructura de los objetos. Estos son: Mantenimiento sin soporte, Encerramiento, Seguimiento del contorno, Moción Lateral, Presión, Contacto estático. De esta forma podemos contar con un tipo de procedimiento exploratorio para reconocer cada propiedad estructural (peso, volumen, forma y tamaño) y cada propiedad de la sustancia (textura, dureza y temperatura).
Debido a que uno de los principales objetivos de esta tesis es utilizar los dispositivos hápticos para permitir la exploración y el análisis topológico de las estructuras, es importante que la ayuda propor-cionada a la hora de restringir el movimiento del usuario cuando navega entre estructuras liformes se encuentre en un compromiso entra la restricción y el concepto de procedimiento exploratorio. Es decir, que el dispositivo háptico deberá restringir el movimiento del usuario para que pueda ser guiado a través de una estructura, pero a su vez dicha restricción debería permitir realizar el procedimiento exploratorio deseado por el usuario en cada momento.
2.3.
Diseño de dispositivos hápticos
Se puede denir un dispositivo háptico como el medio que permite el contacto físico entre la computadora y el usuario, generalmente mediante un dispositivo de entrada-salida que transmite los movimientos del cuerpo [AKH01].
Según el tipo de realimentación que proporciona el dispositivo háptico (en función del órgano físico que va a estimular o por el cual va a recibir información), Burdea [Bur96] distingue tres tipos de dispositivos hápticos:
y momentos sobre el usuario mediante sus brazos robóticos. Están relacionados con el sistema muscular y la percepción kinestésica del usuario, ya que, mediante sus movimientos, ofrecen al usuario propiedades como la forma de un objeto, su penetrabilidad, su peso o su material (ver Figura 2.7). Estos, a su vez, suelen dividirse en función de la manera de ofrecer la salida al usuario. Si el dispositivo recibe la posición del usuario y le devuelve la fuerza, se trata de un dispositivo de impedancia. Si, por otro lado, el dispositivo recibe la fuerza ejercida por el usuario y el dispositivo devuelve la posición correcta, se trata de un dispositivo de admitancia.
• Los que representan información táctil. Se considera información táctil a aquellos datos
relacionados con la textura, la temperatura o la información de la supercie de un objeto. Están
Figura 2.7. Fotografía de un dispositivo kinestésico. Modelo Omega [NMOc].
orientados al sistema cutáneo, por lo que su mecanismo ya no se basa en brazos robóticos y tensores, como en el caso de los anteriores, sino en pequeños vibradores que simulan el tacto sobre la piel, sin necesidad de ejercer ningún movimiento por parte del usuario si no lo desea (ver Figura 2.8).
• Los que ofrecen información vestibular. Se considera información proprioceptiva a la
posi-ción, el movimiento y fuerza del propio usuario. El sistema vestibular utiliza dicha información. Los dispositivos en este rango son dispositivos que interactúan directamente con el sistema vesti-bular (ver Figura 2.9). Para ello, su tamaño suele ser más elevado que en los dos casos anteriores, ya que deben producir la sensación de movimiento del cuerpo entero, modicando la posición de los otolitos encontrados en el oído, produciendo la sensación de movimiento del cuerpo.
Si bien es cierto que la clasicación anterior se corresponde con una clasicación muy habitual [Bur96], en ocasiones es posible encontrar otra clasicación según sus grados de libertad (DOF). En un sistema físico se reere al número mínimo de números reales que es necesario especicar para determinar completamente el estado físico (ya sea para determinar una posición nal, o una fuerza resultante). Cuanto mayor sea el número de grados de libertad, más complicada puede ser la simulación de la interacción:
• De un único punto de contacto. Los dispositivos con herramientas puntuales o esféricas
como forma de contacto permiten al usuario tocar y manipular objetos virtuales tridimensio-nales mediante un único punto de interacción. Estos dispositivos, normalmente, suelen tener 3 o 6 grados de libertad en posición, y tres grados de libertad en fuerza. El cálculo para dichos dispositivos resulta más eciente y sencillo, debido a que el cómputo de las colisiones se limita al cálculo de interacción de un único punto con el objeto virtual. Es con este tipo de dispositivos con los que se ha trabajado durante la presente tesis, en especial con el dispositivo Sensable
