Explotación de datos EEG y parámetros fisiológicos de usuarios interactuando en contextos virtuales
Jorge Ierache1, Gonzalo Ponce1, Ramiro Nicolosi1, Claudio Cervino2, Edgardo Eszter3 Iris Sattolo1, Gabriela Chaperon1,
1ISIER-UM -Facultad de Informática Ciencias de la Comunicación y Técnicas Especiales
2 Instituto de Fisiología y Neurociencias (IFiNe- Secretaria de CyT, UM) 3Facultad de Ingeniería
Universidad de Morón Cabildo 134, Buenos Aires, Argentina
Resumen
La línea de investigación aplicada se centra en el desarrollo de una arquitectura para la explotación de datos registrados durante la interacción de usuarios en un contexto de ambientes virtuales, registrando patrones EEG por la interface cerebro-máquina y datos fisiológicos de usuarios. Se desarrolla con la participación de cuatro Unidades Académicas (Informática, Cs. de la Salud, Cs. Exactas, Químicas y Naturales, e Ingeniería). Existen diferentes maneras de inferir emociones en los usuarios de computadoras, por ejemplo, a través de detección gestual de rostro, voz, ritmo cardiaco y ECG, registros de EEG, este último a través de Brain Control Interface (BCI). En el contexto de la computación afectiva actualmente se experimenta con el control de computadoras, dispositivos. Sin embargo, no se dispone de desarrollos de sistemas que asistan a la inferencia emocional con capacidades de explotación y desarrollo de integración abierta y transparente a los entornos virtuales, en especial de simulación y entrenamiento. Analizar las emociones y comportamiento de las personas en entornos virtuales que simulan de modo realista situaciones de la vida cotidiana o tareas laborales específicas, de riesgo, brindan un marco
apropiado para, detectar, medir y analizar dichas emociones o respuestas de comportamiento en el ambiente de actuación.
Palabras clave: Computación Afectiva, Estado biométrico, Entornos virtuales, Interfaces cerebro máquina.
Contexto
Para el desarrollo de este proyecto se aúnan esfuerzos entre tres grupos de trabajo: el Instituto de Sistemas Inteligentes y Enseñanza Experimental de la Robótica (ISIER-UM), docentes-investigadores de la Facultad de Informática; Institutos de la Facultad de Ingeniería, docentes-investigadores de la Facultad de Ingeniería, e Instituto de Fisiología y Neurociencias (IFiNe) de la Secretaria de CyT-UM. Esta alianza, si bien de reciente conformación, está formado por docentes con una amplia trayectoria académica y de investigación en la UM, en el campo de la informática, ingeniería electrónica, la fisiología y las neurociencias. Este proyecto se complementa con el proyectó “Influencias del estado biométrico-emocional de personas interactuando en contextos de entornos virtuales” el que es financiado a través del
PIng/17-03-JI-004 de la Secretaria de Ciencia y Tecnología de la Universidad de Morón. Introducción
Durante las pasadas décadas se incrementó el desarrollo del campo de las Interfaces Cerebro-Maquina [1], [2] o más comúnmente conocidas por sus siglas en inglés de Brain Control Interface (BCI). Esto posibilita la comunicación entre las funciones mentales y cognitivas de quien la utiliza para luego ser procesadas, clasificadas e interpretadas por aplicaciones o dispositivos puntuales. La investigación de las interfases BCI se desarrolla en un campo científico multidisciplinario con aplicaciones que van desde la computación aplicada en el campo de las neurociencias, domótica, robótica y entretenimiento entre otras; las mismas van desde mover cursores en pantalla, hasta determinar que disc jockey divierte más a la multitud que lo escucha [3], [4]. En trabajos previos del ISIER-UM1 [5], [6], [7], [8] orientados al control de Robots y el control de artefactos en el contexto de la domótica [9], como así también en la lectura emocional del usuario, enfocando la lectura de la excitación y meditación [10], se experimentó con BCI en particular con EMOTIV [11] integrando la respuesta de biopotenciales eléctricos de individuos para el control de robots a través del electro-miograma, electro-encefalograma y electro-oculograma que son bioseñales eléctricas generadas por los patrones de actividad de los músculos, el cerebro y los ojos del usuario. Los trabajos desarrollados en IFiNe-UM2 en relación al registro de actividad bioeléctrica cerebral [12], [13] y de otros parámetros fisiológicos, tanto en humanos como en animales de experimentación, contribuyen directamente a la investigación y registros de parámetros biométricos. Las técnicas de
inferencia del estado emocional de un ser humano a partir de biomarcadores sin que este deba controlar su propio estado eléctrico cerebral representan un área relativamente novedosa de investigación que ha sido identificada como BCI pasivo [14].
Líneas de Investigación, Desarrollo e Innovación
En particular se orientan los esfuerzos al desarrollo de una arquitectura que facilite el empleo de técnicas y herramientas para el descubrimiento de patrones de datos procedentes de EEG, capturados con el empleo de interfaces cerebro-maquina, datos fisiológicos (ritmo cardiaco).Se suma además en este proyecto captura de rostro del usuario, a fin de determinar su estado emocional, la respuesta del usuario en el marco de una encuesta preguntando al participante en qué estado emocional se encuentra. La misma hace uso de la metodología ampliamente utilizada para capturar emociones: SAM (por sus siglas en inglés Self-Asessment-Manikin) propuesta por Bradley y Lang [15]; frente a su actuación en un contexto virtual, el cual es también capturado y almacenado en correlación con los datos indicados anteriormente. En la actuación del usuario en el contexto virtual, particularmente se aplicarán casos de experimentación empleando el conjunto de datos recopilado por el Center for the Study of Emotion & Attention de la University of Florida en Gaines ville, FL, Estados Unido. El conjunto contiene una base de datos de imágenes (IAPS) [16], que es utilizada en diversos estudios científicos que analizan emociones y es considerada un estándar de facto. En “Estado Emocional Centrado en Estímulos, Aplicando Interfase Cerebro-Maquina”, Ierache et al. [10] (ISIER-UM) presenta una
introducción de BCI, aplicaciones y los resultados obtenidos en el contexto de empleo de sistemas BCI, donde se muestran los resultados iniciales en el desarrollo de un sistema de captura y la lectura de registros del estado emocional de un individuo con la aplicación de interfase BCI, puntualizando en la excitación y meditación del mismo frente a estímulos conformados por imágenes y audio. En esta oportunidad nos proponemos poner a prueba la hipótesis que es posible realizar el descubrimiento de patrones de datos con el desarrollo de capacidades del PIng/17-03-JI-004, influencias del estado biométrico-emocional de personas interactuando en contextos de entornos virtuales [17]. En materia de explotación de datos de la interface biométrica con especial interés en BCI para relacionar los estados anímicos de los usuarios, a los sistemas de adiestramiento y a otros entornos virtuales de aprendizajes, a fin de asistir a la determinación de los parámetros biométricos más relevantes en los cambios motivacionales y emocionales, como así también representar la alteración de señales bioeléctricas contrastándolas y determinando cambios emocionales y el contexto de actuación del usuario.
En la figura 1 se presenta la arquitectura conceptual de explotación de datos EEG, adquiridos con el BCI y Ritmo cardiaco, captura de imagen de rostro y estado emocional interactuando en contextos virtuales estáticos (imágenes IAPS) y dinámicos (juegos, simuladores), con la potencialidad de integrar ambientes inmersivos de realidad virtual integrando registro de encuesta SAM.
Fig 1. Modelo conceptual de la arquitectura del sistema
Objetivos y Resultados Esperados
Los objetivos planteados en el marco de esta línea de investigación aplicada son:
Desarrollo de nueva base de datos relacional
sobre las bases inicial del PIng/17-03-JI-004
Empleo de imágenes IAPS.
Integración de ambientes inmersivos de realidad virtual.
Captura y registración de ritmo cardiaco Estudio de algoritmos, técnicas, herramientas
para explotación y descubrimiento de datos en particular para el dominio de aplicación. • Integración de aplicaciones de determinación de estado emocional en función de imagen del rostro.
•.Registración de encuesta Self-Asessment-Manikin (SAM).
•Evaluación de Herramientas Open BCI. Resultados obtenidos
Se realizaros pruebas con ambientes estáticos de imágenes y ambientes dinámico juegos de computadora, empleando un BCI Nueroskype, [18]., registrando valores de EEG y del nivel de relajación y de excitación del usuario en función de cada imagen o escena. Los resultados de las
pruebas mencionadas fueron demostrados y publicados CACIC 2018 [19].
Formación de Recursos Humanos
El grupo de investigación se encuentra conformado por tres investigadores formados, dos investigadores en formación, dos estudiantes de grado.
Referencias
1. Hamadicharef, 2010 “Brain Computer Interface Literature- A bibliometric study”, in 10th International Conference on Information Science, Signal Processing and their Applications, Kuala Lumpur, pp. 626-629. 2. J. del R Millán, “Brain-computer interfaces, 2002” in Handbook of Brain Theory and Neural Networks, 2nd ed, M.A. Arbib, Ed. Cambridge, MA: MIT Press.
3. M. A. Lebedev and M. A. L. Nicolelis, 2006. "Brain machine interfaces: Past, present and future," Trends in Neurosciences, vol. 29, no. 9, pp. 536-546.
4. R. Wolpaw, D. J. McFarland, 2000 “Brain-computer interface research at the Wadsworth center,” IEEE Trans. Rehab. Eng., vol. 8, pp. 222–226.
5. Ierache, J., Dittler M., Pereira G., García Martínez R, “Robot Control on the basis of Bio-electrical signals” XV CACIC 2009, UNJu, ISBN 978-897-24068-3-9
6. Ierache J, Pereira G, Iribarren J, Sattolo I, “Robot Control on the Basis of Bio-electrical Signals”: “International Conference on Robot Intelligence Technology and Applications” (RiTA 2012). Series Advances in Intelligent and Soft Computing of Springer.
7. Ierache., J, Pereira., G, Sattolo., I, Guerrero., A, D’Altto J, Iribarren, J. Control vía Internet de
un Robot ubicado en un sitio remoto aplicando una Interfase Cerebro-Máquina". XVII CACIC 2011, UNLP, ISBN 978-950-34-0756-1, p 1373-1382.
8. Ierache J, Pereira G, Iribarren J “Demostración de los resultados en la integración de Interfases Lectoras de Bioseñales aplicadas al Control de un Robot” VII TEYET 2012 UNNOBA, 2012, demos educativas. ISBN 978-987-28186-3-0.
9. Ierache., J, Pereira., G, J, Iribarren Framework for Brain Computer Interface implemented to control devices in the context of home automation XIX CACIC 2013, CAECE Mar del Plata, ISBN 978-897-23963-12
10.Ierache J, Nervo F, Pereira G, Iribarren J Estado emocional centrado en estímulos, aplicando Interfase cerebro-maquina, XX Congreso Argentino de Ciencias de la Computación (Buenos Aires, 2014) ISBN 978-987-3806-05-6
11.Emotiv Epoc Vigente 2018 http://www.emotiv.com/.
12.Cervino, C. 1999. MS. Nuevo ritmo alfa y actividad gamma en los bulbos olfatorios de un armadillo sudamericano: cuantificación y perspectivas futuras. Premio “Prof. Dr. Eduardo de Robertis”, al mejor trabajo de Neurociencia Básica. 455 pág.
13.Affanni, JM. y CO. Cervino. 2000. Actividad Bioeléctrica Cerebral. En: Fisiología Humana de Houssay (7ma ed.), A. Houssay y C. Cingolani (eds.). Buenos Aires: Ed. El Ateneo. 1120 pág.: 1015-1039.
14.T. Zander y C. Kothe. 2010. Towards passive brain–computer interfaces: applying brain–computer interface technology to human– machine systems in general. J. Neural Eng.,8(2)-025005 http://dx.doi.org/10.1088/1741-2560/8/2/025005.
emotion: The self-assessment manikin and the semantic differential. J. Behav. Ther. Exp.Psychiatry 25, 49–59 (1994).
16. Lang, P. J., Bradley, M. M. & Cuthbert, B. N. International Affective icture System (IAPS): Technical Manual and Affective Ratings.NIMH Cent. Study Emot. Atten. 39–58, https://doi.org/10.1027/0269-8803/a000147 (1997).
17. Jorge Ierache, Claudio Cervino, Edgardo Eszter, del XX Workshop de Investigadores en Ciencias de la Computación (WICC 2018), Facultad de Ciencias Exactas y Naturales y Agrimensura de la Universidad Nacional del Nordeste, 26 y 27 de abril de 2018, ISBN: 978-987-3619-27-4, pp 785-789
18. http://neurosky.com/biosensors/eeg-sensor/algorithms/ vigente marzo 2019
19. Jorge Ierache, Ramiro Nicolosi, Gonzalo Ponce, Claudio Cervino, Edgardo Eszter Registro emocional de personas interactuando en contextos de entornos virtuales, CACIC 2018. Red UNCI, Tandil. Octubre 2018 (en prensa.)
