E.T.S. INGENIEROS DE TELECOMUNICACIÓN
INFORME FINAL DE RESULTADOS
SUBVENCIONES PARA LA REALIZACIÓN DE PROYECTOS DE INVESTIGACIÓN CIENTÍFICA, DESARROLLO E INNOVACIÓN
TECNOLÓGICA, EN EL MARCO DEL PLAN NACIONAL DE INVESTIGACIÓN CIENTÍFICA, DESARROLLO E INNOVACIÓN
TECNOLÓGICA (2008-2011)
INSTITUTO DE MAYORES Y SERVICIOS SOCIALES
NÚMERO DE REFERENCIA DEL PROYECTO: 84/2010
INVESTIGADOR PRINCIPAL: ROBERTO HORNERO SÁNCHEZFecha: 2 de Mayo de 2012
APLICACIÓN DE LAS TECNOLOGÍAS DE LA
INFORMACIÓN Y LAS COMUNICACIONES (TICs)
AL DISEÑO DE UN SISTEMA BRAIN COMPUTER
INTERFACE (BCI) ORIENTADO A LA
INTEGRACIÓN Y REHABILITACIÓN SOCIAL DE
PERSONAS CONG RAVE DISCAPACIDAD FÍSICA
ÍNDICE
1. DATOS GENERALES DEL PROYECTO ... 2
1.1. Datos de la convocatoria ... 2
1.2. Título y número del proyecto ... 2
1.3. Datos del investigador principal ... 2
1.4. Miembros restantes del equipo investigador ... 3
1.5. Centro donde se ha desarrollado el proyecto ... 3
2. RESUMEN ... 4
3. OBJETIVOS INICIALES DEL PROYECTO ... 6
4. FASES DE REALIZACIÓN DEL PROYECTO ... 8
5. METODOLOGÍA UTILIZADA ... 9
5.1. Sujetos ... 9
5.2. Variables ... 10
5.3. Diseño ... 10
5.4. Recogida y análisis de datos ... 10
5.5. Dificultades y limitaciones ... 11
6. OBJETIVOS ALCANZADOS. JUSTIFICACIÓN DEL GRADO DE CUMPLIMIENTO DEL PROYECTO OBJETO DE LA SUBVENCIÓN ... 12
7. RESULTADOS ... 15
7.1. Localización óptima de canales para el registro EEG en sistemas BCI basados en P300 ... 15
7.2. Procesado de la señal EEG en sistemas BCI basados en P300 ... 16
7.3. Parámetros óptimos de configuración de un sistema BCI basado en P300 ... 18
7.4. Desarrollo de una aplicación BCI domótica basada en potenciales evocados P300 ... 19
7.5. Evaluación de la aplicación por parte de usuarios con grave discapacidad ... 21
8. ANÁLISIS DE RESULTADOS ... 36
9. CONCLUSIONES ... 44
10. DIFUSIÓN DE RESULTADOS ... 47
1. DATOS GENERALES DEL PROYECTO
1.1. Datos de la convocatoria
Resolución de 11 de enero de 2010, del Instituto de Mayores y Servicios Sociales, por la que se convocan subvenciones destinadas a la realización de proyectos de investigación científica, desarrollo e innovación tecnológica, dentro del área de acciones estratégicas, acción estratégica de salud, en el marco del Plan Nacional de Investigación Científica, desarrollo e innovación tecnológica (2008-2011).
1.2. Título y número del proyecto
TÍTULO DEL PROYECTO: Aplicación de las Tecnologías de la Información y las
Comunicaciones (TICs) al diseño de un sistema Brain Computer Interface (BCI) orientado a la integración y rehabilitación social de personas con grave discapacidad física.
ACRÓNIMO DEL PROYECTO: BCI–REHAB
NÚMERO DEL PROYECTO: 84/2010
1.3. Datos del investigador principal
ROBERTO HORNERO SÁNCHEZ Catedrático de Universidad
E.T.S. de Ingenieros de Telecomunicación Universidad de Valladolid
Campus Miguel Delibes Paseo Belén, 15
47011 – Valladolid Tel. 983 185570
1.4. Miembros restantes del equipo investigador
§ Miguel López Coronado; Dr. Ingeniero de Telecomunicación. Catedrático de Universidad en la E.T.S.I. de Telecomunicación de Valladolid.
§ Daniel Emilio Abásolo Baz; Dr. Ingeniero de Telecomunicación. Profesor Titular de Universidad en la E.T.S.I. de Telecomunicación de Valladolid.
Senior Lecturer in Biomedical Engineering en la University of Surrey.
§ Jesús Poza Crespo; Dr. Ingeniero de Telecomunicación. Profesor Contratado Doctor en la E.T.S.I. de Telecomunicación de Valladolid.
§ María García Gadañón; Dr. Ingeniero de Telecomunicación. Profesor Contratado Doctor en la E.T.S.I. de Telecomunicación de Valladolid.
§ Carlos Gómez Peña; Dr. Ingeniero de Telecomunicación. Profesor Contratado Doctor en la E.T.S.I. de Telecomunicación de Valladolid.
§ Alicia Rodrigo de Diego; Ingeniero de Telecomunicación. Profesor Asociado en la E.T.S.I. de Telecomunicación de la Universidad de Valladolid.
§ Isabel de la Torre Díez; Dr. Ingeniero de Telecomunicación. Profesor Ayudante Doctor en la E.T.S.I. de Telecomunicación de Valladolid.
§ Daniel Álvarez González; Dr. Ingeniero de Telecomunicación. Contratado de Investigación en la E.T.S.I. de Telecomunicación de Valladolid.
§ José Víctor Marcos Martín; Dr. Ingeniero de Telecomunicación. Contratado de Investigación en la E.T.S.I. de Telecomunicación de Valladolid.
§ Rebeca Corralejo Palacios; Ingeniero de Telecomunicación. Contratado de Investigación en la E.T.S.I. de Telecomunicación de Valladolid.
§ Laura Martín González; Ingeniero Técnico de Telecomunicaciones esp. Sistemas Electrónicos. Contratado a cargo del proyecto BCI-REHAB (84/2010)
1.5. Centro donde se ha desarrollado el proyecto
E.T.S. de Ingenieros de Telecomunicación Universidad de Valladolid
Campus Miguel Delibes Paseo Belén, 15
2. RESUMEN
Objetivos - El presente proyecto de investigación tiene la finalidad de diseñar,
desarrollar y validar una aplicación asistiva que permita controlar mediante órdenes cerebrales una serie de dispositivos domóticos y electrónicos presentes habitualmente en el hogar. Para ello, las señales eléctricas del cerebro obtenidas a partir del registro del electroencefalograma (EEG) se analizarán mediante técnicas de Interfaz Cerebro- Ordenador (Brain-Computer Interface, BCI), convirtiendo las intenciones del usuario en comandos capaces de manejar la aplicación de control de los dispositivos presentes en el entorno.
El propósito final de este proyecto de investigación es el desarrollo de una aplicación que permita aumentar la independencia y la calidad de vida de las personas con discapacidad física grave.
Sujetos y métodos - Se propone el empleo de un sistema BCI basado en potenciales
evocados P300. Este tipo de sistema no necesita de una etapa previa de entrenamiento, lo que supone un gran ahorro de tiempo, ya que los usuarios podrán manejar la aplicación domótica, para controlar dispositivos, desde el primer día. Además, una aplicación BCI basada en potenciales P300, permite seleccionar una opción entre muchas posibilidades presentadas en la pantalla. Esto implica que se puedan incorporar muchos dispositivos a la aplicación e incluir todas sus funcionalidades, con el consiguiente aumento de rapidez en la selección del dispositivo y comando deseado. La aplicación fue evaluada por nueve usuarios del Centro de Referencia Estatal (CRE) para la Atención a Personas con Grave Discapacidad y para la Promoción de la Autonomía personal y Atención a la Dependencia de San Andrés del Rabanedo (León). Todos los usuarios presentaban algún tipo de discapacidad motora. Varios de éstos presentaban, además, problemas cognitivos. Se pretendía evaluar la precisión obtenida por los usuarios al controlar la aplicación domótica. Para ello, se estudió la localización óptima de los canales para el registro del EEG y las técnicas de procesado mas adecuadas para la detección de potenciales evocados P300. En base a este estudio, los canales óptimos seleccionados fueron: Fz, Cz, CP3,CP4, Pz, PO3, PO4 y Oz. El método de procesado empleado para la selección de características fue el análisis discriminante lineal paso a paso (StepWise Linear Discriminant Analysis, SWLDA). En sistemas BCI basados en P300 se añaden al método SWLDA características espacio-temporales, es decir, la amplitud de la señal en un canal e instante de tiempo específicos. Finalmente, se realizaron sesiones de control de la aplicación donde se evaluó la precisión obtenida por cada usuario.
Resultados – Una vez configurado el sistema BCI con los parámetros seleccionados,
los usuarios realizaron pruebas con la aplicación. La aplicación desarrollada permite controlar diferentes dispositivos domóticos y electrónicos con sus principales funcionalidades por medio de una interfaz de menús y submenús de tamaño variable. El usuario puede moverse por los diferentes menús como si de los dispositivos se tratase y
accionar cualquiera de las funcionalidades disponibles para cada uno de éstos. En primer lugar, se presenta al usuario un menú principal. Este menú está formado por las imágenes de los distintos dispositivos a controlar. Cuando el usuario centra su atención en el icono de uno de los dispositivos, la aplicación basada en P300 detectará de qué opción se trata, presentando el submenú asociado a las funcionalidades de este dispositivo. Dentro de este submenú, el usuario elige cuál es la acción que quiere ejecutar para ese dispositivo de entre las funcionalidades disponibles. La aplicación se avaluó con nueve usuarios del CRE de Discapacidad y Dependencia de San Andrés del Rabanedo (León). Cinco de los nueve usuarios obtuvieron resultados satisfactorios, con valores de precisión superiores al 64%. Tres de ellos, además, superaban precisiones del 84%. El resto de usuarios no lograron un control aceptable de la aplicación.
Discusión y conclusiones – Los resultados obtenidos durante la realización del presente
proyecto sugieren que los sistemas BCI basados en potenciales evocados P300 pueden ser útiles para favorecer la integración y la rehabilitación social de personas con grave discapacidad. A pesar de que los usuarios no habían trabajado previamente con sistemas BCI basados en potenciales P300, cinco de los nueve participantes obtuvieron niveles de precisión satisfactorios. Además, los resultados conseguidos son bastante mejores en comparación con los obtenidos en estudios previos que empleaban un sistema BCI basado en ritmos sensoriomotores. Esto es debido, en gran parte, a que la concentración exigida cuando se trabaja con ritmos sensoriomotores es mayor, por lo que el tipo de discapacidad cognitiva que padezcan puede afectar a los resultados. Otra de las ventajas del empleo de potenciales P300 es que permite un control de mayor número de dispositivos y funcionalidades de éstos, en menor tiempo y sin necesidad de una etapa
3. OBJETIVOS INICIALES DEL PROYECTO
El objetivo del presente proyecto consiste en diseñar, desarrollar y validar una aplicación asistiva que permita controlar mediante órdenes cerebrales diferentes dispositivos domóticos y electrónicos presentes habitualmente en una vivienda. Para ello, se propone el empleo de un sistema BCI que parte de los registros de EEG del usuario y aplica diferentes métodos de procesado de señal, convirtiendo las intenciones del usuario, en comandos capaces de manejar la aplicación de control de dispositivos presentes en el entorno. Se pretende superar las limitaciones encontradas en investigaciones y proyectos anteriores, así como aumentar la utilidad y funcionalidad de la aplicación desarrollada en el proyecto DOMO-BCI incorporando más dispositivos a controlar, de forma que aumente el número de necesidades de los usuarios que son gestionadas por la aplicación. Además, se incrementará el número de sujetos participantes en el estudio y se analizarán potenciales P300 a partir del EEG en lugar de ritmos sensoriomotores. La ventaja fundamental que presentan los potenciales P300 es que, a diferencia de los ritmos sensoriomotores, no necesitan una etapa de entrenamiento previa. Esto permitiría que los usuarios trabajaran con la aplicación desde el primer momento y se familiarizasen con la misma, de forma que aprendan rápidamente su funcionamiento. Además, el uso de este tipo de señales permite incorporar más funciones de control de los dispositivos y el acceso a las mismas en menos tiempo.
El propósito final del presente proyecto de investigación es el desarrollo de una aplicación que permita aumentar la independencia y calidad de vida de las personas con discapacidad física grave. Para incrementar la integración y rehabilitación social de este colectivo, la aplicación gestiona diferentes dispositivos, servicios del hogar y entorno habitual, para cubrir diferentes necesidades, principalmente de comunicación, entretenimiento y confort. Durante el diseño de la misma se tienen presentes en todo momento las necesidades específicas del usuario final, para obtener una aplicación que sea intuitiva, clara y fácil de manejar. Una vez desarrollada la aplicación, ésta será evaluada por los usuarios del CRE de Dependencia y Discapacidad de San Andrés del Rabanedo (León). Así, el proyecto de investigación propuesto serviría de ayuda a la integración y rehabilitación social de las personas con grave discapacidad, fomentando su autonomía personal y comunicación en su entorno habitual. De esta forma, se aplican las tecnologías de la información y las comunicaciones (TICs) para ayudar a la integración social del colectivo de personas con grave discapacidad.
Para llevar a cabo el objetivo general del proyecto, se establecen los siguientes
objetivos específicos:
1. Selección de sujetos para el estudio. La muestra de población estará formada por sujetos con algún tipo de discapacidad física que sean usuarios del CRE de Discapacidad y Dependencia de San Andrés del Rabanedo (León). El grado y naturaleza de la discapacidad variará de unos usuarios a otros.
2. Registro de las señales de EEG. Para ello se empleará el amplificador de señales biomédicas de 16 canales g.USBamp (g.tec, Austria) que amplifica, digitaliza y almacena las señales en un ordenador a través de un puerto USB.
3. Elaboración de una base de datos de registros de EEG, que podría resultar muy útil para futuros estudios.
4. Estudio de métodos de procesado de señal de EEG, que permitirá seleccionar aquellos que proporcionen la información más fiable sobre la intención del usuario. 5. Desarrollo software de los métodos de procesado seleccionados.
6. Procesado de los registros EEG mediante los métodos implementados.
7. Desarrollo de la aplicación de control de dispositivos domóticos y electrónicos presentes en el hogar, que integrará los métodos software implementados, una interfaz gráfica y un módulo de transmisión de la señal de control generada, al dispositivo que se va a controlar.
8. Evaluación de la aplicación por parte de los usuarios del CRE de Discapacidad y Dependencia de San Andrés del Rabanedo (León).
9. Análisis de los resultados obtenidos
10. Extracción de conclusiones a partir de la experiencia de los usuarios con el sistema integral.
11. Publicación de los resultados en revistas internacionales, congresos nacionales e internacionales de carácter científico.
4. FASES DE REALIZACIÓN DEL PROYECTO
El número de tareas principales en las que se dividió el proyecto se limitó a cinco, con el objetivo de hacer más clara la comprensión del Plan de Trabajo. Las tareas principales fueron las siguientes:
§ TAREA 1. Estudio de sistemas BCI basados en potenciales evocados P300 obtenidos a partir del EEG.
§ TAREA 2. Integración entre los dispositivos domóticos y los sistemas BCI.
§ TAREA 3. Implementación de una aplicación real: desarrollo de una aplicación BCI que gestione las principales necesidades del usuario final. § TAREA 4. Aplicación del sistema BCI a los usuarios del Centro de
Referencia Estatal para la Atención a personas con Grave discapacidad y para la Promoción de la Autonomía Personal y Atención a la Dependencia de San Andrés del Rabanedo (León). Extracción de conclusiones.
§ TAREA 5. Coordinación del proyecto.
Cada una de estas tareas se dividió en varias subtareas que se detallan en el cronograma que se muestra en la Figura 1. En él se indica la planificación temporal llevada a cabo para una duración del proyecto de 18 meses.
MESES
TAREAS 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 1. Estudio de sistemas BCI basados en potenciales P300
1.1.Investigación sobre la localización apropiada de los electrodos
1.2.Estudio de métodos de procesado de la señal y eliminación de artefactos 1.3.Selección de los parámetros óptimos de funcionamiento
1.4.Desarrollo software de los métodos seleccionados
2. Integración entre los dispositivos domóticos y los sistemas BCI 2.1.Estudio de los diferentes tipos de dispositivos domóticos del hogar 2.2.Estudio de interacción de sistemas BCI y dispositivos de control remoto 2.3.Selección del sistema de control remoto e integración en la aplicación 3. Implementación de una aplicación real: aplicación BCI que gestione las necesidades del usuario final
3.1. Identificación de las necesidades del usuario final
3.2. Traducción de las necesidades identificadas en funciones del sistema 3.3. Desarrollo de un sistema integral para el control de dispositivos domóticos y electrónicos presentes en la vivienda mediante BCI 4. Aplicación del sistema a los usuarios del Centro de referencia Estatal de San Andrés de Rabanedo (León). Extracción de conclusiones
4.1. Evaluación utilidad, manejabilidad, y grado de satisfacción del usuario 4.2. Interpretación de los resultados y extracción de conclusiones
4.3. Difusión de resultados 5. Coordinación del proyecto
5.1. Coordinación estudio de sistemas BCI basados en potenciales P300 5.2.Coordinación estudio de la integración dispositivos domóticos-BCI 5.3. Coordinación desarrollo de la aplicación BCI
5.4.Coordinación evaluación de la aplicación y extracción de conclusiones
5. METODOLOGÍA UTILIZADA
A continuación, se describe la metodología que se ha seguido para el desarrollo del presente proyecto: sujetos de estudio, variables, diseño, recogida, análisis de datos, y limitaciones de nuestro estudio.
5.1. Sujetos
Los sujetos que han formado parte del estudio fueron usuarios, con distinto tipo y grado de discapacidad física, del CRE de Discapacidad y Dependencia de San Andrés del Rabanedo (León). Se trató de formar un grupo de partida significativo dentro de las posibilidades del citado Centro.
El criterio empleado a la hora de incluir a un sujeto en el estudio, fue el de presentar algún tipo de discapacidad física en mayor o menor grado y encontrarse en situación de dependencia. Se seleccionó un total de nueve sujetos. Todos ellos presentaban algún tipo de discapacidad motora y se trató de que ninguno de ellos presentase problemas cognitivos severos. Los sujetos incluidos en el estudio han sido personas de ambos sexos, mayores de 18 años y sin límite de edad. La edad media de los sujetos fue de 46.22 ± 8.84 años. Cada uno de ellos fue informado y preguntado sobre su participación en el estudio, dando su consentimiento para formar parte del mismo.
En la Tabla 1 se recogen los datos relativos a la edad, el sexo y la discapacidad que presentan los usuarios que han participado en el estudio.
Usuario Sexo Edad Descripción discapacidad física
U1 H 59 Malformación de Arnold-Chiari
U2 M 46 Ataxia degenerativa del adulto
U3 M 41 Parálisis cerebral
U4 M 35 Parálisis cerebral
U5 H 33 Tetraplejia traumática por lesión medular completa a nivel C1-C4
U6 M 47 Parálisis cerebral
U7 M 50 Traumatismo craneoencefálico
U8 H 48 Paraplejia por sección medular incompleta D8 a L2, de etiología traumática
U9 H 57 Neurofibromatosis, difoescoliosis severa
5.2. Variables
Se registró la actividad electroencefalográfica de cada sujeto durante las sesiones de trabajo con la aplicación diseñada. De esta forma, a partir de estos registros, se trató de identificar las intenciones de los usuarios respecto a los comandos de control que deseaban ejecutar en cada momento. En concreto, a partir de la señal de EEG se trató de identificar para qué opción de las mostradas en la pantalla aparecía un potencial evocado P300 en el sujeto. Dicho potencial indicaba cuál era la opción que el usuario deseaba seleccionar. Las señales EEG se registraron mediante electrodos situados sobre el cuero cabelludo entre las zonas central y occipital de la cabeza. En concreto, se registraron los canales: Fz, Cz, CP3, CP4, Pz, PO3, PO4 y Oz, según el sistema internacional 10-20 (Jasper 1958). Se empleó un amplificador de señales biomédicas g.USBamp (g.tec, Austria) de 16 canales. Dicho amplificador fue el encargado de registrar y almacenar en formato digital la señal de EEG de los canales seleccionados, empleando una frecuencia de muestreo de 256 Hz (256 muestras por segundo).
Además, para cada sujeto se registraron variables demográficas y clínicas como la edad, sexo y tipo de discapacidad.
5.3.
Diseño
El proyecto de investigación se ha divido en cuatro fases bien diferenciadas: 1. Estudio de métodos de procesado de señal para la correcta detección de los
potenciales P300. Esta fase incluye el estudio de métodos de detección y clasificación de potenciales evocados P300 y métodos de eliminación de artefactos.
2. Estudio de la interacción entre el sistema BCI que interpreta la intención del usuario y el elemento que actúa sobre el dispositivo domótico o electrónico correspondiente.
3. Desarrollo de la aplicación BCI de control domótico, basada en potenciales P300 y que gestiona las necesidades de los usuarios finales. 4. Evaluación del sistema global por parte de los usuarios del CRE de
Discapacidad y Dependencia de San Andrés del Rabanedo (León).
5.4. Recogida y análisis de datos
El equipo investigador se encargó de realizar los registros de EEG a los participantes en el estudio con ayuda de los profesionales del centro. Las pruebas consistieron en la realización de una media de cuatro sesiones por sujeto con la aplicación BCI basada en potenciales evocados P300. En primer lugar, se realizaron una o dos sesiones de acercamiento al sistema BCI en modo copia, donde se presentaba al usuario una matriz de letras en la que las filas y las columnas se iban iluminando aleatoriamente. Posteriormente, los usuarios trabajaron directamente con la aplicación BCI de control domótico en modo libre ejecutando diferentes secuencias de comandos de control de los dispositivos (ej.: “acceder al menú teléfono”, “marcar el 9”, “marcar el 1”). En dichas sesiones se presentó al usuario un matriz de imágenes en las que las filas
y las columnas se iban iluminando aleatoriamente. Cada imagen representaba un dispositivo concreto (ej.: televisión, teléfono, etc.) o una funcionalidad del mismo (ej.: subir volumen, marcar el ‘1’, etc.). Se pedía al usuario que se fijase en una imagen o letra concreta y contase cuántas veces se iluminaba ésta. De esta forma, una vez comprobado que se producían potenciales evocados P300, se analizó en qué regiones cerebrales y en qué instantes se detectaban mejor éstos, y se creó un clasificador que fue empleado en las sesiones posteriores. A lo largo de las sesiones se midió, tanto la precisión conseguida por los usuarios en el manejo de la aplicación, como el porcentaje de secuencias completadas.
5.5. Dificultades y limitaciones
Una de las principales dificultades en este tipo de estudio es la necesidad de ajustar de forma individual tanto la configuración del equipo como los parámetros de los algoritmos y de funcionamiento del sistema BCI. Aunque esta tarea puede resultar tediosa en el caso de contar con un número excesivo de pacientes, se hace necesaria para comparar el funcionamiento del sistema entre unos usuarios y otros. En este sentido, es de vital importancia la motivación de los usuarios. Sin embargo, dado que el presente proyecto pretendía implementar un sistema que permitiera interactuar al usuario con un recinto domótico mediante el encendido/apagado de luces, selección de canales de televisión, control de climatización, etc., incrementando su autonomía, se esperaba que la falta de motivación no fuese un inconveniente.
Otra limitación importante está relacionada con el nivel de atención de los usuarios, ya que éste se puede ver afectado tanto por el grado de discapacidad en el que se encuentran, como por la medicación necesaria en algunos casos. Nuestra experiencia previa nos indica que, los problemas cognitivos que en muchas ocasiones llevan asociadas las personas con discapacidades físicas, afectan a su nivel de atención y, sobre todo, de concentración. Para tratar de solventar esta limitación, se propuso un sistema BCI basado en potenciales P300, ya que requiere de menos concentración que los basados en ritmos sensoriomotores y facilitan un acceso mas rápido a los comandos de control, lo que puede suponer una motivación adicional para los usuarios.
6. OBJETIVOS ALCANZADOS. JUSTIFICACIÓN
DEL GRADO DE CUMPLIMIENTO DEL
PROYECTO OBJETO DE LA SUBVENCIÓN
Se han completado todas las fases que estaban programadas para la realización del proyecto y que se han especificado anteriormente en el apartado de “Fases de realización del proyecto”. Además, se han alcanzado todos los objetivos propuestos en la solicitud del presente proyecto de investigación. A continuación, se describe cada una de las tareas realizadas para alcanzar cada uno de los objetivos específicos:
1. Selección de sujetos para el estudio. Se han seleccionado nueve sujetos con
diferente grado y naturaleza de discapacidad física, usuarios del CRE de Discapacidad y Dependencia de San Andrés del Rabanedo (León). Todos los usuarios fueron informados y preguntados sobre su participación en el estudio, dando su consentimiento para formar parte del mismo. Los datos relativos a la edad sexo y discapacidad se muestran en la Tabla 1. Queremos agradecer la colaboración prestada a Nuria Mendoza, Directora Gerente de dicho centro y a la Doctora Mayte Gutiérrez, especialista en Neuropsicología del citado centro.
2. Registro de las señales de EEG. Para cada sujeto se registraron las señales EEG
con el amplificador gUSBamp (g.tec, Austria). Dicho dispositivo amplifica las señales y las digitaliza. Posteriormente, estas señales se almacenan a través de un puerto USB en el ordenador. Los canales que se emplearon en la realización de los registros fueron: Fz, Cz, CP3, CP4, Pz, PO3, PO4 y Oz. Las señales se registraron monopolarmente, tomando como referencia un electrodo situado en la oreja izquierda y como tierra un electrodo situado en la oreja derecha. La frecuencia de muestreo empleada fue de 256 Hz. Los valores de impedancia se mantuvieron por debajo de 5 kΩ siempre que fue posible.
3. Elaboración de una base de datos de registros de EEG. Se ha generado una base
de datos con todas las señales EEG registradas junto con todos los datos clínicos que fueron proporcionados para cada uno de los nueve sujetos que participaron en el proyecto.
4. Estudio de métodos de procesado de señal de EEG. En este proyecto de
investigación se han estudiado técnicas de clasificación binaria para la determinación de la presencia o ausencia de potenciales evocados P300 procedentes de las características espacio-temporales (amplitud de la señal en un canal e instante de tiempo específicos) extraídas del EEG. En concreto, se han estudiado las siguientes: método de correlación de Pearson (Pearson’s Correlation Method, PCM), discriminante lineal de Fisher (Fisher’s Linear Discriminant, FLD), análisis discriminante lineal paso a paso (StepWise Linear Discriminant Analysis, SWLDA) y máquinas de vector soporte (Support Vector Machine, SVM).
5. Desarrollo software de los métodos de procesado. El método de procesado
seleccionado para la detección de los potenciales evocados P300 fue el SWLDA. El sistema de propósito general BCI2000 (Schalk & Mellinger 2010) incluye el software que implementa este método, desarrollado en C++. Partiendo de las señales registradas, este software construye un clasificador que trata de detectar el potencial evocado P300. Además, este software permite determinar su rendimiento
en tanto por ciento, que nos indicará de la precisión con la que se han detectado esos potenciales evocados. El sistema BCI2000 también proporciona, una herramienta para realizar análisis offline en el dominio del tiempo. Esta herramienta ha sido programada en Matlab. Permite generar gráficos que muestran, según una escala de colores, en qué canales e instantes de tiempo se produce mayor amplitud de los potenciales evocados.
6. Procesado de los registros EEG mediante los métodos seleccionados. Utilizando
el sistema de propósito general BCI2000 (Schalk & Mellinger 2010), se han analizado las señales de EEG registradas de los nueve sujetos del estudio. A partir de los clasificadores creados por el método SWLDA, se han examinado las señales EEG de cada usuario durante la realización de las pruebas con la aplicación domótica.
7. Desarrollo de la aplicación de control de dispositivos domóticos y electrónicos
presentes en el hogar. La interfaz gráfica de la aplicación domótica está formada por diferentes menús. Se parte de un menú principal desde el que se accede a diferentes submenús que se corresponden con cada uno de los dispositivos que se van a controlar. Esta interfaz se desarrolló e implementó en base al módulo
P300Speller del sistema de propósito general BCI2000 (Schalk & Mellinger 2010). El lenguaje de programación empleado para su implementación fue C++ y el entorno de desarrollo Borland C++ Builder 6. Además, se incluyeron los logotipos del grupo de investigación y de las entidades que han participado en el proyecto. Para que los usuarios de la aplicación sepan en qué menú se encuentran o si han seleccionado correctamente la acción que pretendían, se ha incluido información auditiva. Es decir, en el momento en que se selecciona algún menú o comando específico una reproducción de audio informará al usuario de cuál ha sido la acción seleccionada. La comunicación entre la aplicación desarrollada y los dispositivos domóticos se hace mediante un emisor de infrarrojos (RedRat Ltd, Reino Unido). Este emisor de infrarrojos permite almacenar en una base de datos las señales de cada uno de los comandos de los diferentes dispositivos. En función de la intención del usuario, la aplicación BCI indica al dispositivo RedRat que comandos debe emitir para controlar los dispositivos propuestos. Los dispositivos domóticos y electrónicos que la aplicación permite controlar son: una televisión, un reproductor DVD, un equipo de música, un disco multimedia, un ventilador, un calefactor, un teléfono y una bombilla multicolor.
8. Evaluación de la aplicación. La aplicación domótica implementada ha sido
evaluada por nueve usuarios del CRE de Discapacidad y Dependencia de San Andrés del Rabanedo (León), que presentaban diferentes grados de discapacidad. En primer lugar, se realizaron una o dos sesiones introductorias al sistema BCI en modo copia, donde se presentaba al usuario una matriz de imágenes o de letras en la que las filas y las columnas se iban iluminando aleatoriamente. Se pedía al usuario que se fijase en una imagen o letra concreta y contase cuántas veces se iluminaba ésta. De esta forma, una vez comprobado que se producían potenciales evocados P300, se analizó en qué regiones cerebrales y en qué instantes se detectaban mejor. Para ello, se aplicó el método SWLDA y se creó un clasificador que fue empleado en las sesiones posteriores. En dichas sesiones, los usuarios trabajaron directamente con la aplicación BCI de control domótico en modo libre ejecutando diferentes secuencias de comandos de control de los dispositivos. En estas sesiones se midió, tanto la precisión conseguida por los usuarios en el manejo de la aplicación, como el porcentaje de secuencias completadas.
9. Análisis de los resultados obtenidos para verificar la eficacia de la metodología
propuesta. En todas las sesiones realizadas con los usuarios y la aplicación BCI de control domótico, se ha medido la precisión obtenida. Los sujetos realizaron una serie de secuencias previamente definidas. Por ejemplo, una de las secuencias propuestas fue: “acceder al menú teléfono”, “marcar el número 9”, “marcar el número 1” y “marcar el asterisco”. El sujeto debía fijarse en cuántas veces se intensificaba la imagen correspondiente al teléfono. Posteriormente, ésta opción sería seleccionada y se pasaría a una nueva pantalla que se correspondería con el submenú del teléfono. En este nuevo menú, diferente al anterior, aparecen opciones típicas de un teléfono. El usuario debía contar cuantas veces se intensificaba el número ‘9’. Una vez que acabaran todas las intensificaciones, en la pantalla del teléfono debería aparecer el número ‘9’. De igual forma, se procedería para marcar el número ’1’ y el asterisco. De los nueve sujetos que participaron en el estudio cinco obtuvieron resultados satisfactorios. El resto no consiguieron alcanzar resultados óptimos. Esto pudo deberse a aspectos como la atención o concentración durante las pruebas, la falta de interés o los propios problemas cognitivos que presentaban los sujetos.
10. Extracción de conclusiones a partir de la experiencia de los usuarios con el
sistema integral. En este proyecto se ha implementado una aplicación asistiva para controlar, mediante órdenes cerebrales, diferentes dispositivos domóticos y electrónicos. Para ello, se emplea un sistema BCI que registra el EEG del usuario y convierte las intenciones de éste en comandos de control de dispositivos presentes en el entorno. La aplicación gestiona dispositivos y servicios del hogar para cubrir diferentes necesidades, centradas en la comunicación, entretenimiento y confort. Se ha diseñado una herramienta intuitiva, clara y fácil de manejar. Los resultados obtenidos en la evaluación de la aplicación por usuarios reales han demostrado una muy buena acogida por parte del colectivo de personas dependientes, permitiendo aumentar su independencia, calidad de vida y facilitar su integración social.
11. Publicación de resultados. Los resultados y conclusiones del proyecto han sido
difundidos mediante el envío de 5 comunicaciones de carácter científico a congresos internacionales y nacionales. Estos congresos han sido los siguientes:
33rd Annual International Conference of the IEEE Engineering in Medicine and Biology Society, IV Congreso Internacional de Diseño, Redes de Investigación y
Tecnología para Todos, 11th International Work-Conference on Artificial Neural
Networks, en el Congreso Iberoaméricano VI de Tecnologías de Apoyo a la
Discapacidad y 3er Simposio CEA de Bioingeniería 2011, Técnicas de BCI y Neurotecnologías. Además, estos resultados han sido aceptados para su publicación en la revista internacional de carácter científico Journal of Accessibility and Design
for All (JACCES). Todas las publicaciones se detallan en el apartado 10 de difusión
7. RESULTADOS
Este proyecto se ha centrado en diseñar, desarrollar y validar una aplicación asistiva que permite controlar, mediante órdenes cerebrales, diferentes dispositivos domóticos y electrónicos presentes habitualmente en una vivienda. De esta forma, se pretende favorecer la integración y rehabilitación social de las personas con grave discapacidad. A continuación, se muestran los resultados obtenidos tras la realización de las distintas fases que componen el presente proyecto.
7.1. Localización óptima de canales para el registro EEG en
sistemas BCI basados en P300
Este análisis resulta de gran utilidad para conocer en qué zonas se genera la respuesta P300 con mayor amplitud. De esta forma, será posible disminuir el número de canales necesarios y reducir, además, el tiempo de montaje del gorro y de los electrodos. Así, se pretende conseguir una mayor motivación de los usuarios, que facilitará una posible mejora de los resultados.
La distribución espacial del potencial P300 se concentra sobre la región centro-parietal (Picton 1992), en un registro electroencefalográfico, según el sistema internacional 10-20 (Jasper 1958). El montaje mínimo aconsejable para la detección de estos potenciales debe contener al menos los canales Fz, Cz y Pz (Picton 1992). Los canales que se encuentren alrededor de éstos pueden proporcionar, además, información complementaria. La referencia en estos registros normalmente se toma en la nariz, como en el trabajo de Polich et ál. (Polich et ál. 1997); en los lóbulos de las orejas, como se expone en el estudio de Donchin y Smith (Donchin & Smith 1970); o en los mastoides, como en el trabajo de Cossio y Gentiletti (Cossio & Gentiletti 2008). En el estudio de Polish et ál. (Polich et ál 1997), la referencia se tomó en la nariz y se emplearon más canales a parte de los tres principales, citados anteriormente. En concreto, se usaron: FP1, F3, C3, P3, F7, T7, P7, O1, Fz, Cz y Pz. De este estudio se concluyó que en los canales frontales apenas se detectaba un potencial evocado P300. Donde sí apareció un aumento de la amplitud a 300 ms del estímulo provocado, fue en Fz, Pz, y Cz. En los canales más próximos a estos tres últimos, también se detectaron picos de amplitud elevada. A medida que los electrodos se alejaban de los canales principales hacia los canales ubicados en la zona temporal, se observó que las amplitudes iban disminuyendo considerablemente. En el trabajo de Nam et ál. (Nam et ál. 2009), se emplearon 8 canales situados alrededor de Fz, Cz, y Pz. En concreto se registraron: Fz, C4, P3, Pz, P4, PO7, PO8 y Oz, referenciados a dos electrodos situados en las orejas. Se detectaron potenciales evocados, 300 ms después del estímulo evocado, en los electrodos centrales y occipitales. En el estudio de Cossio y Gentiletti (Cossio & Gentiletti 2008), la distribución de los electrodos fue similar. En ese caso, se usaron Fz, Cz, Pz, Oz, C3, y C4 con el mastoide izquierdo referenciado a tierra y el derecho ligado a la referencia. En los canales Fz y Cz, que se localizan en la parte central de la corteza cerebral, fue donde apareció un mayor nivel de amplitud del potencial P300.
A continuación, se describe el montaje empleado que ha sido seleccionado a partir de los estudios sobre la distribución espacial de los potenciales P300. Las señales EEG se registraron monopolarmente, tomando como referencia un electrodo colocado en la
oreja izquierda y como tierra un electrodo situado en la oreja derecha. La frecuencia de muestreo empleada fue de 256 Hz. Además, se realizó un filtrado paso banda entre 0.1 y 60 Hz y se aplicó un filtro de ranura a la frecuencia de la red eléctrica (50 Hz). Los valores de impedancia se mantuvieron por debajo de 5 kΩ siempre que fue posible. En ningún caso los valores de impedancia fueron superiores a 9 kΩ. La configuración empleada es la recomendada por el fabricante del amplificador de señales biomédicas. Se registraron 8 canales EEG: Fz, Cz, CP3, CP4, Pz, PO3, PO4 y Oz, teniendo en cuenta las recomendaciones para el registro de este tipo de potenciales (Schalk & Mellinger 2011) y de acuerdo con el sistema internacional 10–20 (Jasper 1958). Para maximizar la relación señal a ruido (Signal to Noise Ratio, SNR) se aplicó un filtro espacial CAR (Common Average Reference) (McFarland et ál. 1997).
7.2. Procesado de la señal EEG en sistemas BCI basados en P300
El procesado de la señal que se lleva a cabo en un sistema BCI puede dividirse en 2 etapas. La primera etapa consiste en seleccionar, a partir de las señales de EEG recogidas, la característica con la que va a trabajar el BCI. La segunda etapa se encarga de transformar las características extraídas de la señal, en señales de control que servirán para controlar un dispositivo. Esta función se lleva a cabo mediante un clasificador que dependiendo de cómo sea la característica asignará una selección u otra (Wolpaw et ál. 2008).
Cuando se trabaja con señales EEG hay que considerar posibles artefactos que pueden generar actividad eléctrica, que se superpone a la actividad eléctrica cerebral, que es la que se pretende registrar. Estos registros EEG pueden verse contaminados por movimientos musculares (electromiograma, EMG), movimientos oculares (electrooculograma, EOG) u otro tipo de actividad del sistema nervioso central (Central
Nervous System, CNS) (Wolpaw et ál. 2008). Por esta razón, antes del procesado de la
señal de EEG habrá que realizar un preprocesado de la señal para, en la medida de lo posible, evitarlos.
Por ejemplo, un usuario con parálisis cerebral puede tener movimientos impredecibles del cuello o de la cabeza que generarán actividad EMG (Wolpaw et ál. 2008). Normalmente, se contaminan de esta actividad eléctrica los electrodos frontales, temporales y occipitales (Wolpaw et ál. 2008). Para su eliminación se emplean análisis topográficos y espectrales (Wolpaw et ál. 2008).
El movimiento de los ojos o el parpadeo pueden introducir artefactos en los registros EEG. Estos artefactos suponen un inconveniente especialmente cuando se trabaja con potenciales evocados P300 (Gratton et ál. 1983). Los potenciales debidos a artefactos oculares, se transmiten por toda la cabeza, atenuándose cuanto mayor es la distancia a los ojos (Girton & Kamiya 1973). Por un lado, el movimiento de rotación del propio globo ocular produce modificaciones en la actividad eléctrica registrada en el cuero cabelludo. Por otro lado, el parpadeo de los ojos genera un campo eléctrico que puede propagarse a través de todo el cráneo (Gratton et ál. 1983). Un método para evitar esta contaminación de los registros EEG, consiste en eliminar aquellos segmentos que contienen artefactos oculares importantes (Girton & Kamiya 1973). Otra forma de evitarlos consiste en emplear la información de la señal EOG, (Donchin et ál. 2000; Girton & Kamiya 1973; Gratton et ál. 1983; Hillyard & Galambos 1970). Así, además de registrar la actividad eléctrica mediante el EEG se registra también la actividad
eléctrica generada por el movimiento de los ojos mediante el EOG. A continuación, se resta de las tramas EEG la actividad ocular EOG (Gratton et ál. 1983). Este método, sin embargo, conlleva bastantes errores, debido a que la actividad eléctrica generada por los movimientos de los ojos no se registra por igual en todos los canales sino que aparece principalmente en los electrodos situados en la zona frontal (Girton & Kamiya 1973). Para abordar este problema, se podría estimar un factor de propagación para cada canal específico y escalar la señal EOG antes de proceder a la resta (Donchin et ál. 2000; Gratton et ál. 1983). Finalmente, otros estudios realizan la eliminación de artefactos en base a un criterio. Por ejemplo, tomando como referencia el valor medio del potencial evocado. Si la amplitud de una trama EEG o EOG excede de un umbral establecido a partir del valor medio de los registros, ésta se elimina automáticamente (Polich et ál 1997).
Para determinar la presencia o ausencia de potenciales evocados P300, en primer lugar, habrá que extraer las características procedentes de las señales de electroencefalograma (EEG). Algunas de las características que se suelen extraer son el
peak picking, el área y la covarianza (Farwell & Donchin 1988). El peak picking se basa
en el cálculo de la amplitud del potencial evocado P300. Para ello, se determina la diferencia entre el punto más negativo previo a la ventana establecida, que habitualmente comprende de 220 a 500 ms una vez producido el estímulo, donde típicamente aparece el potencial P300 y el punto más alto dentro de dicha ventana (Farwell & Donchin 1988). El método del área se basa en calcular la suma de todos los puntos de la ventana establecida, donde aparecerá el P300 (Farwell & Donchin 1988). Por último, se emplea también la covarianza. Para ello, se calcula la media de las tramas de entrenamiento atendidas para cada sujeto y, posteriormente, se calcula la covarianza entre cada trama y la calculada previamente (Farwell & Donchin 1988).
Una vez extraídas las características, se ha de considerar un problema de clasificación binario (Krusienski et ál. 2001). Algunas técnicas de clasificación lineales comúnmente empleadas, en este tipo de sistemas BCI, son las que se detallan a continuación (Krusienski et ál. 2006):
- Método de correlación de Pearson (Pearson’s Correlation Method, PCM). Es una herramienta de análisis estadístico empleada para la detección de la significación de las variables de predicción (Draper & Smith 1981; Krusienski et ál. 2006). Se basa en la correlación de dos series. Esta correlación puede tomar valores entre -1 y 1. Cuanto mayor sea el valor de la correlación en valor absoluto más proporcionales son ambas series y mayor será la significación de la variable de predicción. Si el valor de la correlación es próximo a cero ambas series no son proporcionales, es decir, no hay correlación.
- Discriminante lineal de Fisher (Fisher’s Linear Discriminant, FLD). Es el método más empleado cuando el problema que se afronta es binario (Krusienski et ál. 2006). Se emplea cuando ambas poblaciones tienen distribución Gaussiana y el mismo valor de covarianza. Se basa en la determinación del hiperplano de separación óptimo entre dos clases (Fisher 1936).
- Análisis discriminante lineal paso a paso (StepWise Linear Discriminant Analysis, SWLDA). Es una extensión del FLD. En este caso, se reduce el espacio de características seleccionando las más apropiadas, que se incluirán en la función discriminante (Cossio & Gentiletti 2008; Donchin et ál. 2000; Escolano et ál 2010; Farwell & Donchin 1988; Fisher 1936; Iturrate et ál 2009; Krusienski et ál 2006; Krusienski et ál 2008; Nam et ál 2009;). En primer lugar, se determinan los pesos
de las características mediante el método del FLD. Posteriormente, las características más significativas se añaden a la función discriminante. A medida que se van añadiendo características a la función se van eliminando aquéllas que son menos significativas. La eliminación de una característica u otra se hace en base a un criterio dado. Esto proceso se repite hasta que se obtiene un número máximo de características que está prefijado, o bien, hasta que no haya características que satisfagan el criterio de eliminación.
- Máquinas de vector soporte (Support Vector Machine, SVM). Se emplean para la determinación del hiperplano que maximiza el margen de separación entre dos clases de una clasificación binaria (Rakotomamonjy & Guigue 2008). La distancia máxima al hiperplano de un punto no clasificado correctamente, se minimiza. Para minimizar este problema, se emplean los multiplicadores de Lagrange que aplican una transformación no lineal (Krusienski et ál. 2006).
7.3. Parámetros óptimos de configuración de un sistema BCI
basado en P300
Para el desarrollo de la aplicación BCI propuesta en el presente proyecto se ha empleado la configuración más óptima, seleccionada en base a un exhaustivo estudio que se describe a continuación.
En primer lugar, se han contrastado diferentes estudios atendiendo al tiempo que transcurre entre la intensificación de una fila o columna y la siguiente (Inter-Stimulus
Interval, ISI) y a la duración del estímulo. En el estudio de Farwell y Donchin (Farwell
& Donchin 1988) se presentó por primera vez el paradigma P300 basado en una matriz de 6 x 6 caracteres alfanuméricos. El usuario se fijaba en uno de los caracteres y tenía que contar el número de veces que dicho carácter se iluminaba. Cada una de las 6 filas y 6 columnas se intensificaba durante un período de 100 ms. El tiempo que transcurría entre intensificaciones (ISI) de una fila o columna y la siguiente fue de 500 ms, aunque posteriormente se disminuyó a 125 ms. Las intensificaciones se producían de forma aleatoria. Cada fila y columna se intensificaba un total de 15 veces, por lo que cada carácter se iluminaba 30 veces en total. En el estudio se presentan las amplitudes de los potenciales evocados P300 para cada sujeto participante y para cada valor de ISI. Se concluye que para un ISI de 500 ms las amplitudes de los potenciales evocados son mayores que para un ISI de 125 ms. Sin embargo, hay que tener en cuenta que cuanto mayor sea el ISI mayor es también el tiempo que transcurre para seleccionar un carácter. En otro estudio de Donchin et ál. (Donchin et ál. 2000) se evaluó el rendimiento en tiempo real del sistema BCI. Para ello, se empleó un ISI de 125 ms y una duración del estímulo de 100 ms. Además, se emplearon SWLDA y SWLDA with
Discrete Wavelet Transform (DWT) en el preprocesado de las señales. El trabajo
concluyó que el sistema BCI era práctico y realizable para los parámetros de configuración y los métodos de preprocesado empleados. Por último, en el trabajo de Krusienski et ál. (Krusienski et ál. 2006), se evalúan diferentes clasificadores empleando un ISI de 75 ms y una duración del estímulo de 100 ms. Los mejores resultados se obtuvieron para los métodos SWLDA y FLD.
El tamaño de la matriz de estímulos es otro de los parámetros a configurar. Se han hecho diversos estudios acerca de la amplitud del potencial P300 en relación con el tamaño de la matriz de estímulos. En los trabajos de Cossio y Gentiletti (Cossio &
Gentiletti 2008) y Sellers et ál. (Sellers et ál. 2006) se pone de manifiesto que cuantos menos estímulos aparezcan en la pantalla mejor es la respuesta que se produce en el usuario. Sin embargo, otros trabajos, como el de Allison y Pineda (Allison & Pineda 2003), encontraron relación directa entre el tamaño de la matriz y la amplitud del P300, por lo que concluyeron que a mayor tamaño de la matriz de estímulos, mayor es la amplitud del potencial P300 evocado. Estas diferencias pueden deberse al método de procesado de señal empleado por cada uno o el número de usuarios que participaron en el estudio. En los estudios de Cossio y Gentiletti (Cossio & Gentiletti 2008) y Sellers et
ál. (Sellers et al. 2006) se empleó SWLDA y participaron 5 usuarios. Sin embargo, en
el trabajo de Allison y Pineda (Allison & Pineda 2003) empleó Análisis de Componentes Independientes (Independent Components Analysis, ICA) y un total de 15 usuarios.
Por último, ha de tenerse en cuenta el número de intensificaciones de cada fila y columna. El trabajo de Cossio y Gentiletti (Cossio & Gentiletti 2008) presenta un estudio de la variación en el número de intensificaciones. En principio, el número de intensificaciones era de 15 (15 veces cada fila y 15 veces cada columna), de forma que cada carácter se iluminaba 30 veces. El número de intensificaciones se redujo de 15 a 10, de forma que cada carácter se intensificaba 20 veces en lugar de 30. Se observó que, en algunos casos, la disminución en el número de intensificaciones influía en la precisión del usuario. Esto sucedía en el caso de la matriz de estímulos de menor dimensión al variar el número de intensificaciones de 15 a 10. En el caso de la matriz de mayor dimensión, la precisión obtenida fue similar a pesar de haber variado el número de intensificaciones.
A partir del estudio realizado, se seleccionaron los siguientes parámetros de configuración para la aplicación BCI domótica desarrollada. El tamaño de la matriz de estímulos será variable. En el caso del menú principal se empleará una matriz de 3 x 4 elementos, de forma que aparezcan representados todos los dispositivos que permitirá controlar la aplicación domótica. El resto de submenús presentarán matrices de tamaño 3 x 4, 4 x 4 y 5 x 5, según el número de funcionalidades de que disponga cada dispositivo. Las matrices estarán formadas por imágenes que representarán un dispositivo o funcionalidad concreta (ej. “Teléfono”, “DVD”, “On/Off”, “Subir volumen”, etc.). Los estímulos consistirán en la intensificación de dichas imágenes por filas o por columnas. Las intensificaciones se producirán cada 125 ms y de forma aleatoria (Donchin et ál. 2000; Farwell & Donchin 1988; Wolpaw et ál. 2008). Además, cada bloque de presentación de estímulos, en el que todas las filas y columnas se han intensificado una vez, se repetirá 15 veces (Cossio & Gentiletti 2008; Farwell & Donchin 1988; Wolpaw et ál. 2008). La duración del estímulo es típicamente de 31.25 ms (Schalk & Mellinger, 2010). Sin embargo, tras varias pruebas iniciales, se consideró que la duración era demasiado corta ya que resultaba difícil contar cuántas veces se iluminaba la imagen deseada, porque sucedía muy rápido. Por ello, se estableció una duración del estímulo de 62.5 ms, de forma que la respuesta P300 siguiera presente tras cada estímulo y la tarea propuesta resultase más sencilla para los usuarios finales.
7.4. Desarrollo de una aplicación BCI domótica basada en
potenciales evocados P300
La aplicación BCI domótica implementada está basada en potenciales evocados P300 y permite el control de dispositivos domóticos y electrónicos a partir de la señal
EEG del usuario. Para ello, se han tenido en cuenta las principales necesidades de los usuarios finales. La aplicación desarrollada permite controlar los siguientes dispositivos y sus principales funcionalidades, como si se tratase de un mando a distancia:
- Televisor: encender o apagar; subir, bajar o silenciar el volumen; seleccionar un canal concreto del 0 al 9, el siguiente o el anterior; controlar el menú de configuración (acceder, silenciar, salir, seleccionar opción, movimiento hacia la derecha, izquierda, arriba o abajo); acceder al servicio de teletexto y volver al menú principal.
- Reproductor de DVD: encender o apagar; silenciar el volumen; reproducir, pausar o parar una película o presentación de fotos; pasar a la siguiente o anterior película o foto; y explorar el contenido del DVD (menú, lista, subir, bajar o seleccionar) y volver al menú principal.
- Equipo de música: encender o apagar; bajar, subir o quitar el volumen; seleccionar la función radio o función CD; y reproducir, pausar, parar, avanzar o retroceder una pista o una emisora, avanzar o retroceder de pista y volver al menú principal.
- Disco duro multimedia: encender o apagar; explorar el contenido del disco (menú, arriba, abajo, derecha, izquierda ); reproducir, pausar o parar una película, un archivo de música o una presentación de fotos; mostrar u ocultar los subtítulos, avanzar o retroceder un archivo o carpeta y volver al menú principal.
- Teléfono: colgar o descolgar el teléfono; marcar un número de teléfono seleccionando cada cifra de 0 a 9, el asterisco o el sostenido; realizar una rellamada; encender y apagar la luz del teléfono y volver al menú principal.
- Ventilador: encender o cambiar la velocidad; apagar el ventilador; girar el ventilador; activar o desactivar algunos de los ventiladores; cambiar el modo de funcionamiento del ventilador, programar el ventilador durante un intervalo variable desde 30 minutos hasta 3 horas; activar o desactivar el modo giratorio y volver al menú principal.
- Calefactor: encender o apagar; aumentar o disminuir la potencia; activar o desactivar el modo giratorio; programar el calefactor durante un intervalo variable desde 30 minutos hasta 4 horas y volver al menú principal.
- Luces: encender o apagar; cambiar el color de la luz: blanca, roja, azul, verde, naranja o morada; aumentar o disminuir la intensidad de la luz; activar o desactivar el modo flash y volver al menú principal.
- Agenda: Se accede a la agenda de contactos que tenemos grabada en el teléfono. Nos da la opción de guardar 10 contactos.; colgar el teléfono y volver al menú principal.
El control de los dispositivos se realiza mediante señales de infrarrojos. Para ello, se dispone de un dispositivo “RedRat”, emisor de infrarrojos que se conecta al ordenador a través de un puerto USB. La aplicación BCI, en función de la intención del usuario, indica a este dispositivo qué comandos debe emitir para ejecutar las acciones seleccionadas en cada caso.
El funcionamiento de la aplicación implementada es el siguiente. En primer lugar, la pantalla muestra al usuario el menú principal de la aplicación. Dicho menú consta de una matriz de 3 x 4 imágenes que representan un dispositivo o acción específica. Se muestran todos los dispositivos mencionados previamente, así como varios comandos
de control: parar, pausar o reanudar la ejecución de la aplicación. Las filas y columnas de la matriz del menú principal se van iluminando aleatoriamente mientras el usuario mira fijamente la opción deseada y cuenta cuántas veces se ilumina ésta. Así, es más probable que se ilumine cualquier otra opción de la matriz que la opción deseada. Por ello, cuando ésta se ilumina aparece un potencial evocado en la actividad EEG del usuario, aproximadamente unos 300 ms después de haberse producido el estímulo. Analizando para qué fila y para qué columna aparece este potencial, la aplicación determina cuál es la opción deseada por el usuario. Una vez que la aplicación BCI identifica la opción deseada se ejecuta la acción correspondiente (pausar, parar o reanudar) o se accede al submenú que corresponda (TV, equipo de música, luces, teléfono, disco multimedia, etc.). Cada submenú muestra al usuario una matriz de imágenes similar a la del menú principal. En este caso, cada imagen presenta diferentes funcionalidades del dispositivo a controlar: encender, apagar, silenciar, marcar un número de teléfono, volver al menú principal, etc. De la misma forma que para el menú principal, las filas y columnas del submenú se van a ir iluminando aleatoriamente. Mientras, el usuario mira de nuevo fijamente a la opción deseada y cuenta cuántas veces se ilumina ésta. Una vez finalizadas las iluminaciones, la aplicación determina la opción deseada por el usuario y ejecuta el comando correspondiente. De esta forma, los usuarios son capaces de navegar a través de los menús de la aplicación y controlar los diferentes dispositivos domóticos y electrónicos de su entorno.
A continuación, se muestran varias imágenes de la aplicación BCI desarrolladas. En la Figura 2 se muestra el menú principal de la aplicación BCI domótica. Desde dicho menú, los usuarios pueden seleccionar el dispositivo al que desean acceder, así como pausar, reanudar y parar la ejecución de la aplicación. La Figura 3 muestra el submenú de control del teléfono. Está formado por una matriz de 4 x 4, que representan las distintas funcionalidades que se pueden controlar del teléfono: colgar o descolgar el teléfono; marcar un número de teléfono seleccionando cada cifra de 0 a 9, el asterisco o el sostenido; realizar una rellamada; encender y apagar la luz del teléfono y volver al menú principal. En la Figura 4 se muestra el submenú de control de la televisión. Está formado por una matriz de 5 x 5, que representa las distintas funcionalidades que se pueden controlar de la televisión: encender o apagar; subir, bajar o silenciar el volumen; seleccionar un canal concreto del 0 al 9, el siguiente o el anterior; controlar el menú de configuración (acceder, silenciar, salir, seleccionar opción, movimiento hacia la derecha, izquierda, arriba o abajo); acceder al servicio de teletexto y volver al menú principal.
7.5. Evaluación de la aplicación por parte de usuarios con grave
discapacidad
Este apartado presenta los resultados obtenidos tras las pruebas realizadas por los usuarios del CRE de Discapacidad y Dependencia de San Andrés del Rabanedo (León) con la aplicación BCI domótica. En el presente estudio han participado nueve usuarios del CRE de Discapacidad y Dependencia de San Andrés del Rabanedo (León), con diferente tipo y grado de discapacidad. Las pruebas han consistido en la realización de una media de cuatro sesiones con el sistema BCI basado en potenciales P300. Para llegar a conseguir que el usuario controle la aplicación satisfactoriamente, son necesarias dos tipos de sesiones: las realizadas en modo copia y las realizadas en el modo libre.
En primer lugar, se realizaron una o dos sesiones de toma de contacto con el sistema BCI en modo copia. En estas sesiones se presentaba al usuario una matriz de letras en la que las filas y las columnas se iban iluminando aleatoriamente. Se pedía al usuario que se fijase en una letra concreta y contase cuántas veces se iluminaba ésta. A continuación, se sustituía la matriz de letras por una formada por imágenes de distintos dispositivos y comandos de control. Nuevamente, las filas y las columnas, en este caso de imágenes, se intensificaban aleatoriamente. El usuario, de igual forma que con la matriz de letras, debía contar cuántas veces se intensificaba la opción que deseaba seleccionar. Cada vez que dicho elemento se ilumina aparece un potencial P300 provocado por dicho estímulo. Este potencial ha de ser detectado por el sistema BCI para identificar qué elemento desea seleccionar el usuario y ejecutar la acción de control correspondiente. Durante las primeras sesiones se mostraba escrito en la parte superior de la pantalla la letra o imagen seleccionada por el usuario. Para realizar una selección con un sistema basado en potenciales P300, las filas y las columnas han de iluminarse repetidamente. Así, para detectar el potencial P300 se realiza un promediado de todas las iluminaciones realizadas. En el caso de la aplicación desarrollada, el número de repeticiones de cada fila y columna fue de 15 como se ha explicado en un apartado previo.
Figura 2. Menú principal de la aplicación BCI de control domótico. El usuario puede acceder desde el menú principal a los diferentes dispositivos que controla la aplicación: TV, DVD, equipo de música, disco multimedia, teléfono, agenda, ventilador, calefactor y luces.
Figura 3. Submenú de control del teléfono. El usuario puede seleccionar varios comandos de control del mismo: colgar o descolgar, marcar un dígito del 0 al 9, usar la tecla de rellamada, etc., así como volver de nuevo al menú principal.
Figura 4. Submenú de control de la televisión. El usuario puede seleccionar diferentes comandos: encender o apagar, subir o bajar el volumen, cambiar de canal, acceder al menú de configuración o al teletexto, etc.
Posteriormente, se analizaron las señales registradas durante estas sesiones iniciales en modo copia. A partir de este análisis offline y empleando el método SWLDA, se creó un clasificador adaptado a cada uno de los usuarios. Dicho clasificador se empleó en las sesiones posteriores, en modo libre de control de la aplicación domótica. Los elementos de la matriz que representa cada menú se iluminaban, de nuevo, por filas y por columnas, aleatoriamente. El usuario tenía que mirar al elemento que deseaba seleccionar y contar las veces que se iluminaba. Para poder evaluar la precisión obtenida por los usuarios, éstos debían seleccionar los comandos de distintas secuencias propuestas previamente. Al igual que en el caso de las sesiones iniciales, cada imagen de la aplicación domótica se intensificaba 30 veces ( 15 veces por la fila y 15 veces por la columna). Para cada usuario se evaluó el grado de precisión alcanzado en el control de la aplicación así como el porcentaje de secuencias totalmente finalizadas. En la Figura 5 se presenta una fotografía de uno de los usuarios del CRE de Discapacidad y Dependencia de San Andrés del Rabanedo (León) durante la realización de las pruebas con la aplicación BCI de control domótico. Por otro lado, en la Figura 6, se muestran todos los dispositivos domóticos y electrónicos que permite controlar la aplicación desarrollada.
A continuación, se muestran los resultados obtenidos por cada usuario a lo largo de las diferentes sesiones realizadas con la aplicación domótica.
Figura 5. Un usuario del CRE, participante en el estudio, realiza pruebas con la aplicación BCI de control domótico desarrollada durante el presente proyecto. En la fotografía se puede observar el montaje de electrodos necesario para el registro de la actividad EEG, así como el amplificador de señales biomédicas, que destaca por su pequeño tamaño.
Usuario 1
El usuario 1 realizó un total de cinco sesiones: dos sesiones iniciales en modo copia y tres sesiones de control de la aplicación domótica en modo libre. En la Tabla 2 se muestran los resultados de precisión global obtenidos por este usuario para cada sesión realizada. Además, se indica también el porcentaje de secuencias finalizadas en el caso de las sesiones de control de la aplicación. Este usuario obtuvo muy buenos resultados de precisión a la hora de controlar el sistema BCI basado en potenciales P300. La precisión obtenida en la primera sesión fue del 95%, incrementándose hasta el 100% en las tres sesiones posteriores. Durante la última sesión, la precisión disminuyó ligeramente al 97,33%. La precisión media obtenida por el usuario 1 durante la realización de las pruebas, teniendo en cuenta el número de intentos realizados en cada sesión, fue de un 98,38%. En cuanto a las sesiones de evaluación de la aplicación realizadas en modo libre, el usuario 1 fue capaz de finalizar siempre las secuencias de control propuestas durante las pruebas. De esta forma, el porcentaje de secuencias finalizadas para este usuario fue del 100% en todas las sesiones de este tipo.
Para el caso de las sesiones en modo copia, se ha calculado de forma offline la precisión media de todas las sesiones que hubiera obtenido el clasificador si se hubiese disminuido el número de intensificaciones desde 15 hasta 1. En la Figura 7 se muestran dichos resultados. Se espera que la precisión aumente con el número de intensificaciones, ya que el sistema dispone de más información para promediar y detectar el pico P300 con mayor precisión. En el caso del usuario 1 la precisión aumenta progresivamente con el número de intensificaciones. De hecho, se puede observar que a partir de un número de intensificaciones igual a 7 el sistema es capaz de detectar el potencial P300 con una precisión igual o superior al 94%. Además, puesto que en el caso de este usuario los resultados obtenidos en las primeras sesiones fueron buenos, se experimentó la posibilidad de disminuir el número de intensificaciones durante las
Figura 6. Dispositivos domóticos y electrónicos que se pueden controlar mediante la aplicación BCI domótica: televisión, reproductor de DVD, bombilla multicolor, equipo de música, disco duro multimedia, calefactor, ventilador y teléfono.
