UNIVERSIDAD DEL NORTE
Dise˜ no y construcci´ on de una interfaz cerebro computadora para el control de
una silla de ruedas como ayuda a personas con discapacidad motriz
Por
Cristian Yarisse Olivares Carrillo
Bajo la supervisi´ on de:
Jaime Fernando Delgado Saa, Ph.D
Tesis presentada en cumplimiento parcial para optar al t´ıtulo de Magister en Ingenier´ıa Electr´onica
en la
Divisi´on de Ingenier´ıa
Departamento de Ingenier´ıa El´ectrica y Electr´onica
Julio 2017
UNIVERSIDAD DEL NORTE
RESUMEN
DIVISI ´ON DE INGENIER´IA
DEPARTAMENTO DE INGENIER´IA EL´ECTRICA Y ELECTR ´ONICA
Maestr´ıa en Ingenier´ıa Electr´onica
porCristian Yarisse Olivares Carrillo
Bajo la supervisi´on de:
Jaime Fernando Delgado Saa, Ph.D
Una interfaz cerebro-computadora (BCI -por sus siglas en ingles) es un sistema que pretende establecer un camino de comunicaci´on no muscular entre un ser humano y una computadora, permitiendo conexi´on directa entre el cerebro y el mundo externo. En los
´
ultimos a˜nos este campo ha sido explotado, desde la industria del videojuego hasta la medicina, particularmente en el campo de la rehabilitaci´on.
El desarrollo presentado en este trabajo est´a fundamentado en el estado del arte de sistemas BCI, agregando mejoras basadas en observaciones de caracter´ısticas particu- lares de se˜nales EEG. El desarrollo llev´o un orden establecido para cumplir objetivos espec´ıficos, asegurando el cumplimiento del objetivo general.
Se comprob´o el desempe˜no del sistema mediante m´etodos estad´ısticos como validaci´on cruzada, an´alisis cualitativo y cuantitativo de las respuestas del sistema, con base en las instrucciones dadas al sujeto durante sesiones de grabaci´on de se˜nales cerebrales.
Esta tesis es relevante para el ´ambito local e internacional debido a que los tiempos de respuesta de los sistemas actuales son de hasta 20 segundos. Adem´as, actualmente se diagnostican en promedio 384 casos nuevos de esclerosis lateral amiotr´ofica (ALS) por d´ıa, en todo el mundo. Por ende, el campo de BCI puede ser una soluci´on muy importante si se pone en manos de personas dedicadas a la investigaci´on para futuros avances.
En la presente investigaci´on se logr´o desarrollar un prototipo funcional para el control de una silla de ruedas usando se˜nales de EEG mediante la extracci´on de potenciales visuales evocados de estado estacionario (SSVEP), obteniendo tiempos de respuesta menores a los observados en BCIs convencionales, lo que significa una mejora considerable para sistemas BCI pr´acticos.
Tabla de Contenido
Agradecimientos xi
1 Introducci´on 1
1.1 Antecedentes . . . 1
1.2 Justificaci´on . . . 2
1.3 Planteamiento del problema . . . 2
1.4 Objetivos . . . 3
1.4.1 Objetivo General . . . 3
1.4.2 Objetivos Espec´ıficos. . . 3
1.5 Alcances . . . 3
1.6 Limitaciones. . . 3
2 Estado Del Arte 5 2.1 Interfaz Cerebro-Computadora (BCI). . . 5
2.2 Paradigmas usados para control . . . 5
2.3 M´etodos de clasificaci´on y t´ecnicas de an´alisis . . . 7
2.3.1 Linear Discriminant Analysis (LDA) . . . 7
2.3.1.1 Discriminante Lineal de Fisher . . . 9
2.3.1.2 LDA Multiclase . . . 9
2.3.2 Support Vector Machines (SVM) . . . 9
2.3.3 Principal Component Analysis (PCA) . . . 11
2.3.4 Independent Component Analysis (ICA). . . 11
2.3.5 Constrained ICA (cICA). . . 12
2.3.6 Canonical Correlation . . . 13
2.3.7 Coherence Analysis. . . 13
3 Metodolog´ıa 15 3.1 Descripci´on General . . . 15
3.2 Descripci´on de los Experimentos . . . 16
3.2.1 Bases de datos externas . . . 16
3.2.2 Bases de datos propias . . . 17
3.3 Pre-Procesamiento de Se˜nales . . . 19
3.3.1 Filtrado . . . 19
3.3.2 Remoci´on de artefactos . . . 19
3.3.3 Representaci´on en el dominio de la frecuencia . . . 21
3.3.4 An´alisis en el dominio temporal . . . 21
3.4 Clasificaci´on . . . 23
v
vi TABLA DE CONTENIDO
3.5 Descripci´on de la BCI para silla de ruedas . . . 27
4 Resumen de los Resultados 31
5 Conclusiones y trabajo futuro 35
Bibliograf´ıa 37
Lista de Figuras
2.1 Componentes de ERP . . . 6
2.2 Clasificador lineal . . . 8
2.3 LDA Multiclase . . . 10
2.4 Independent component analysis implementado en EEGLAB . . . 12
2.5 Modelado de coherencia de una se˜nal cortico-muscular[51].(a) Espectro de potencia simulado de LFP, (b) Espectro de potencia simulado de EMG. (c) Coherencia cortico-muscular simulada. (d) Datos de coherencia cortico- muscular en un humano. . . 14
3.1 Esquema General del sistema BCI implementado. . . 15
3.2 Esquema General de adquisici´on de la base de datos BSPAI-SSVEP. . . . 17
3.3 Distribuci´on de electrodos internacional 10-20 . . . 18
3.4 Uso de Fourier para detecci´on de frecuencia fundamental en el electrodo Oz 22 3.5 Implementaci´on an´alisis de ventanas de tiempo usando base de datos propia sobre una repetici´on de 9.4 Hz . . . 23
3.6 Comparaci´on de clasificaci´on empleando an´alisis temporal Vs. Datos sin an´alisis temporal, sobre base de datos propia #1 . . . 26
3.7 Equipo Emotiv EPOC+ . . . 28
3.8 Esquema Conexi´on de Hardware . . . 29
4.1 Implementaci´on BCI en sujeto. . . 33
vii
Lista de Tablas
3.1 Resultados de clasificaci´on control off-line . . . 21 3.2 Resultados de error en clasificaci´on empleando LDA en la base de datos
externa #1. Los valores se muestran en porcentajes. . . 24 3.3 Resultados de error en clasificaci´on empleando LDA en la base de datos
externa #2. Los valores se muestran en porcentajes. . . 24 3.4 Resultados de error clasificaci´on empleando SVM en la base de datos
externa #2. Los valores se muestran en porcentajes. . . 25 3.5 Resultados de clasificaci´on empleando LDA en la base de datos propia
#1. Los valores se muestran en porcentajes. . . 26 3.6 Resultados de clasificaci´on empleando SVM en la base de datos propia
#1. Los valores se muestran en porcentajes. . . 26 3.7 Resultados de clasificaci´on empleando LDA en la base de datos propia #1,
aplicando el m´etodo de promediado de ventanas. Los valores se muestran en porcentajes. Solo se muestran los primeros 5 segundos . . . 27 3.8 Resultados de clasificaci´on empleando SVM en la base de datos propia #1,
aplicando el m´etodo de promediado de ventanas. Los valores se muestran en porcentajes. Solo se muestran los primeros 5 segundos . . . 27
ix
Agradecimientos
Quiero brindar ante todo un agradecimiento a mi familia quienes en cada momento de esta decisi´on han sabido apoyarme y brindarme un respaldo a mis decisiones, especial- mente a mi mam´a cada d´ıa brind´andome una sonrisa y un apoyo en los momentos de cansancio.
Agradezco al grupo de investigaci´on BSPAI por acogerme al iniciar mi maestr´ıa. A todos sus integrantes por hacer parte de mi proyecto, por permitirme realizar pruebas en ellos, por brindarme palabras de apoyo y consejo. Quiero agradecer especialmente a mi director de tesis y amigo Jaime Fernando Delgado Saa, por guiarme en este camino, por tolerar mis errores y mostrarme por medio de la coherencia de quien ya ha pasado por este camino encontrar un prop´osito para la investigaci´on. Agradezco de especial manera a Jorge Humberto Cristancho Cuervo amigo y compa˜nero permanente de laboratorio, quien incluso en horas libres fue apoyo brindado consejos desde su experiencia.
A todos los profesores que durante mi proceso estuvieron ense˜n´andome y muchas ve- ces siendo orientadores, al Departamento de Ingenier´ıa El´ectrica y Electr´onica de la Universidad del Norte por permitirme usar sus espacios para el desarrollo del presente.
xi
Caminar en una direcci´ on definida, de forma constante y a pesar de cualquier circunstancia, determina el car´ acter de un ganador. La
constancia es la ´ unica garant´ıa que tenemos para convertir los sue˜ nos en resultados.”
Carlos Saul Rodriguez
xiii
Cap´ıtulo 1
Introducci´ on
1.1 Antecedentes
La rehabilitaci´on de pacientes con discapacidad es una de las ´areas de mayor investi- gaci´on en medicina [1;2;3;4;5]. Se ha especulado que la actividad electroencefalogr´afica (EEG) u otras medidas electrofisiol´ogicas de la funci´on cerebral podr´ıan proporcionar un nuevo canal no muscular para enviar mensajes y ´ordenes al mundo externo. Este canal de comunicaciones solamente puede ser utilizado a trav´es de una interfaz cerebro- computadora (BCI) [1; 4]. Una BCI permite utilizar las se˜nales cerebrales adquiridas por EEG para acciones de control con una interfaz de computadora [6;7].
Para la aplicaci´on de la BCI se han utilizado diferentes m´etodos. Los m´as notables son el uso combinado de potenciales relacionados con eventos (ERP) y ritmos sensorimotores [8;9;10;11].
En Colombia, el desarrollo de la BCI est´a enfocado s´olo en el speller P3001 [12; 13;
14]. Est´a tesis se centra en el desarrollo de una interfaz cerebro computadora basada en potenciales visuales de estado estacionario (SSVEP - “steady state visual evoked potential”). Estos son potenciales ERP que suceden de manera s´ıncrona a est´ımulos presentados al sujeto. Una muestra de desarrollos locales de BCI explotando SSVEP se pueden encontrar en [15;16].
En la comunidad BCI, a nivel internacional, existe una tendencia a utilizar el an´alisis en el dominio de la frecuencia como una herramienta b´asica para extracci´on de carac- ter´ısticas. Los tiempos de respuesta de los sistemas son de hasta 20 segundos[17], lo que no resulta pr´actico en aplicaciones de la vida cotidiana. Esta tesis presenta el desar- rollo de una interfaz basada en potenciales evocados visuales de estado estacionario con aplicaci´on al control de movimiento de una silla de ruedas.
1P300 es un potencial ERP que mide la atenci´on del sujeto explorando una respuesta del cerebro alrededor de 300 ms despu´es de un est´ımulo esperado.
1
Cap´ıtulo 1. Introducci´on Cap´ıtulo 1 Introducci´on
1.2 Justificaci´ on
Una interfaz cerebro-computadora es un sistema que establece un medio de comuni- caci´on no muscular entre un ser humano y un ordenador. Las enfermedades tales como la esclerosis lateral amiotr´ofica (ELA o ALS) o enfermedades neuro-motoras (MND) reducen considerablemente la calidad de vida de las personas, hasta el punto de que el sujeto podr´ıa desarrollar el “s´ındrome de bloqueo” debido a que la persona es inca- paz de comunicarse o moverse. De acuerdo con la alianza internacional de asociaciones ALS / MND (el principal foro de intercambio e investigaci´on referente a este tipo de enfermedades), existen aproximadamente 140.000 nuevos casos diagnosticados de ALS en todo el mundo cada a˜no, esto es, 384 casos nuevos cada d´ıa [18].
Se han desarrollado diferentes tipos de BCI con diferentes paradigmas de control (P300, potenciales corticales lentos y SSVEP entre otros). Sin embargo, SSVEP es uno de los fen´omenos de explotaci´on con mayor potencial debido a la simplicidad de caracterizaci´on, observaci´on y estudio en el cerebro a trav´es de potenciales evocados visuales.
El objetivo de esta investigaci´on fue desarrollar un sistema capaz de controlar una silla de ruedas utilizando potenciales SSVEP. Para ello se dise˜naron e implementaron bloques de pre-procesamiento, extracci´on de caracter´ısticas, clasificaci´on y control. Se espera que el desarrollo de estas tecnolog´ıas contribuya al desarrollo del grupo de investigaci´on y, lo m´as importante, esta investigaci´on sea tenida en cuenta para la mejora en la calidad de vida de las personas que sufren enfermedades neurodegenerativas.
1.3 Planteamiento del problema
El n´umero de personas con discapacidad aumenta a˜no tras a˜no, y es relevante centrar mayores esfuerzos en el desarrollo de tecnolog´ıas para su seguridad y salud. Las BCI son una oportunidad para aquellas personas que han perdido la capacidad de interactuar parcial o totalmente con su entorno, debido a accidentes o enfermedades como ALS.
Este tipo de enfermedades comprometen la calidad de vida de las personas al quitarles la habilidad motriz. Gracias a las BCI, una persona que depende de terceros para actividades como desplazarse en su propio hogar, podr´ıa volver a recuperar un poco de su independencia y, por consiguiente, mejorar su calidad de vida.
Cap´ıtulo 1. Introducci´on 3
1.4 Objetivos
1.4.1 Objetivo General
Dise˜no e implementaci´on de un prototipo funcional para el control de una silla de ruedas usando se˜nales EEG.
1.4.2 Objetivos Espec´ıficos
1. Desarrollar un algoritmo para pre-procesamiento de se˜nales de estado estacionario generadas por potenciales visuales obtenidas por grabaciones electroencefalogr´aficas.
2. Implementar y probar diferentes algoritmos basados en machine learning para la clasificaci´on de se˜nales EEG usando set de datos.
3. Dise˜nar e implementar una interfaz entre un PC y una silla de ruedas el´ectrica para el control del movimiento.
4. Dise˜nar experimentos de captura de se˜nales EEG.
5. Probar la operaci´on del sistema en general (Silla de ruedas con sistema de control).
1.5 Alcances
• El sistema de control de la silla de ruedas aceptar´a al menos 3 instrucciones.
• El prototipo puede ser controlado usando se˜nales EEG explotando SSVEP primer- amente.
1.6 Limitaciones
• El prototipo funciona con movimientos secuenciales.
• El movimiento de la silla de ruedas podr´a ser adelante, a la derecha y a la izquierda.
• Al cambiar el sujeto, el sistema debe ser entrenado nuevamente.
• Las pruebas ser´an realizadas en individuos sanos, sin limitar la posibilidad de probar en personas discapacitadas.
• Solo ser´an usadas se˜nales EEG.
• Pruebas preliminares fueron realizadas con bases de datos de terceros, debidamente referenciadas.
Cap´ıtulo 2
Estado Del Arte
2.1 Interfaz Cerebro-Computadora (BCI)
Una interfaz cerebro-computadora (o BCI, por sus siglas en ingl´es) es un sistema que permite la comunicaci´on directa entre el cerebro y el ambiente externo, sin necesidad de las formas naturales de comunicaci´on del cuerpo. Una interfaz cerebro computadora est´a compuesta por dos partes principalmente: la adquisici´on de se˜nales y el procesamiento de se˜nal que, a su vez, se encuentra dividida en extracci´on de caracter´ısticas y algoritmos de traducci´on [19;1;4].
Una interfaz BCI puede ser dependiente o independiente, de acuerdo al paradigma usado para la toma de decisiones. Se define como dependiente cuando las caracter´ısticas usadas son producto de la respuesta normal del cerebro. Un ejemplo de BCI dependiente emplea est´ımulos que producen potenciales evocados visuales en estado estacionario (SSVEP).
Por otra parte las independientes no dependen del comportamiento de la respuesta cerebral producida en un momento determinado, sino que requieren de una respuesta voluntaria por parte del sujeto. Un ejemplo de BCIs independientes son los paradigmas de tipo P300, donde la respuesta se genera ´unicamente cuando la persona espera el est´ımulo que se le est´a exponiendo.
2.2 Paradigmas usados para control
Para la implementaci´on de sistemas BCI existen paradigmas que pueden ser explotados de acuerdo a la naturaleza de los est´ımulos y sus caracter´ısticas tomadas. Se destacan:
• Potenciales relacionados a eventos (ERP)
Los potenciales relacionados a eventos (ERP) son mediciones el´ectricas que se pro- ducen sobre la corteza cerebral, asociando estos potenciales, afectivos o cognitivos.
5
Cap´ıtulo 2. Estado Del Arte Cap´ıtulo 2 Estado Del Arte
Los ERP son de amplitudes bajas (1-30 µV) en relaci´on a las se˜nales EEG [31;39]
que se detectan al promediar varias se˜nales, para distinguirla de otras se˜nales EEG aleatorias. De acuerdo a la naturaleza de la se˜nal ERP, es denotada con la letra P o N, si su amplitud m´axima es positiva o negativa, seguida del tiempo en ms en que se presentan. P300 (P3), N100 (N1)y N400 (N400) son los ERPs m´as comunes.
En la figura 2.1se tiene una muestra de algunos ERPs.
Figura 2.1: Componentes de ERP
• Potenciales evocados visuales
Un caso particular de ERP son los Potenciales relacionados a eventos visuales (VEP) [31]. Estos suelen ser detectados a partir del promedio de la respuesta involuntaria del cerebro, medida en el electrodo Oz, ante un est´ımulo de tipo flanco, emitido de distintas formas y a determinadas frecuencias. En la mayor´ıa de casos se emplean cuadros o tableros de ajedrez oscilando entre dos colores, normalmente blanco y negro [20]. Dentro de los VEP, actualmente las interfaces BCI est´an basadas en dos grupos: P300 y SSVEP:
• Potenciales evocados P300
P300 o P3 es la suma de las amplitudes registradas en torno a un electrodo que representa la suma de actividades de diferentes generadores neuronales [21][22], P proviene de ”Positivo” y 300 porque sucede entre 250 ms y 300 ms, luego de un evento esperado por el sujeto. Es un ERP utilizado frecuentemente debido a su magnitud (ver P3 en Figura 2.1) respecto a otros ERPs; sin embargo, las BCI basadas en P300 son lentas en comparaci´on a otros ERP, pues se requiere de varias repeticiones para su correcta detecci´on.
• Potenciales Visuales Evocados de Estado Estacionario (SSVEP)
A diferencia del P300 que requiere de un promedio para su evaluaci´on, los poten- ciales visuales de estado estacionario son respuestas producidas por el cerebro ante
Cap´ıtulo 2. Estado Del Arte 7
est´ımulos oscilatorios a una frecuencia determinada. Por ejemplo, si se somete al sujeto a un tren de pulsos, se espera observar una respuesta coherente con este est´ımulo en la regi´on occipital del cerebro [23]. Un SSVEP, por su naturaleza, es normalmente detectado mediante el an´alisis en frecuencia de las se˜nales cerebrales.
Un ejemplo de la detecci´on SSVEP mediante este m´etodo se puede observar en la figura 3.4. En ella se observa como se destacan ciertos picos de frecuencias en todo el espectro disponible en la medici´on.
• Potenciales corticales lentos (SCP)
Los potenciales corticales lentos se presentan en un EEG cuando una regi´on del cerebro se polariza por un periodo de tiempo prolongado [24], tomando como premisa que la polarizaci´on de las se˜nales EEG es considerada aleatoria salvo que se est´e realizando una acci´on espec´ıfica por parte del sujeto. El tiempo que toma realizar las detecciones de SCP es demasiado amplio en relaci´on a las BCI basadas en otros paradigmas, como SSVEP.
• Ritmos sensorimotores (SMR)
Los ritmos sensorimotores (SMR, por sus siglas en ingl´es), son se˜nales r´ıtmicas sincronizadas que aparecen en determinadas bandas de frecuencia en la corteza cerebral. Las bandas µ (8 - 12 Hz) y/o β (18 - 26 Hz) son usadas por su relaci´on con la actividad en la corteza motora. Este tipo de se˜nales son usadas a trav´es de la extracci´on de caracter´ısticas de las se˜nales EEG en las bandas descritas [32].
Mediante este tipo de caracter´ısticas se puede determinar, por ejemplo, si un su- jeto en particular est´a accionando una extremidad en particular. Con t´ecnicas m´as detalladas se ha logrado establecer -e incluso predecir- qu´e dedo est´a siendo excitado por el sujeto, basado ´unicamente en los SMR [33;34;35;36;37].
2.3 M´ etodos de clasificaci´ on y t´ ecnicas de an´ alisis
El principal fin de una BCI es ejercer control sobre una m´aquina. Normalmente este control es dado a partir de unos comportamientos cerrados, previamente determinados.
Por consiguiente, es tarea de los algoritmos de clasificaci´on decidir, de acuerdo con las caracter´ısticas extra´ıdas, el comportamiento a seguir. A estos comportamientos cerrados se les llama clases.
2.3.1 Linear Discriminant Analysis (LDA)
Un discriminante es una funci´on que toma un vector x y lo asigna a una de K clases, asumiendo que estas clases, denotadas como Ck, tienen distribuciones normales. En particular, cuando se emplea LDA, la funci´on discriminante -que establece los criterios
Cap´ıtulo 2. Estado Del Arte Cap´ıtulo 2 Estado Del Arte
de decisi´on- consiste en un conjunto de hiperplanos entre las diferentes clases. Por ende, es posible clasificar para K > 2 clases[38].
Figura 2.2: Clasificador lineal
En la figura 2.2 se observan que entre las dos clases (puntos negros y blancos) pueden haber infinitas funciones que establecen claramente separaci´on entre una clase y otra.
Sin embargo, la linea H2es la mejor opci´on debido a que crea la mayor separaci´on posible entre las dos clases. En el anterior ejemplo la discriminaci´on es simple, sin embargo esto es s´olo un caso particular.
En general la decisi´on de una clase u otra es determinada por una funci´on lineal como sigue:
y(X) = WTX + w0 (2.1)
Donde W es el vector de peso que determina qu´e tan influyente es una caracter´ıstica representada en el vector de entrada X. W determina la inclinaci´on ´optima que permite que la distancia entre las dos clases sea la misma. w0 es un valor constante (bias) que busca centralizar el discriminante entre las clases. En el caso de una clasificaci´on binaria, si y(x) ≥ 0 se asigna a la clase C1; en cualquier otro caso se asigna a la clase C2. El calculo de w0 es obtenido tomando un punto de referencia en la superficie de decisi´on, esto es, y(x) = 0. Debido a esto, la distancia normal es obtenida por:
WTX
kW k = w0
kW k (2.2)
Cap´ıtulo 2. Estado Del Arte 9
2.3.1.1 Discriminante Lineal de Fisher
El discriminante lineal de Fisher es un caso particular de obtenci´on de los par´ametros de LDA. Mientras en LDA se emplean los puntos de una clase para establecer la distancia a la superficie de decisi´on, Fisher toma en cuenta la presunci´on de distribuci´on normal de las clases y emplea el valor medio como sigue:
m1= 1 N1
N
X
n∈C1
xn, m2= 1 N2
N
X
n∈C2
xn (2.3)
Proyectando las clases sobre un hiperplano ortogonal a w se busca la maximizaci´on de las diferencias de media (ver ecuaci´on 2.4), permitiendo a su vez obtener las distancias m´as grandes posibles utilizando una l´ınea recta ortogonal al plano formado.
m2− m1 = wT(m2− m1) (2.4)
En la figura 2.2 H1 se encuentra a la misma distancia de los puntos tomados como referencia; sin embargo, no es la distancia m´axima entre estas. Al aplicar el m´etodo del discriminate de Fisher se obtiene H2, el cual divide los dos conjuntos de clases a la misma distancia.
2.3.1.2 LDA Multiclase
Haciendo extensi´on del m´etodo de LDA para dos clases, se puede generalizar para mul- ticlase. El m´etodo multiclase expuesto en figura 2.3muestra c´omo a trav´es de LDA se puede obtener un clasificador multiclase, colocando cada clase versus las dem´as. Este m´etodo es llamado.
2.3.2 Support Vector Machines (SVM)
SVM o m´aquinas de vectores de soporte es un t´ecnica de aprendizaje de m´aquina que busca el mejor hiperplano posible entre dos clases para establecerlo como l´ımite de de- cisi´on. En su definici´on fundamental, es un clasificador de dos clases que optimiza la distancia entre elementos cercanos al maximizar las distancias entre estos. Este clasifi- cador es basado en la proyecci´on de un vector de caracter´ısticas sobre vectores auxiliares llamados vectores de soporte.
Para el caso de dos clases, podemos tener hiperplanos lineales o no lineales que satisfacen nuestros requerimientos, siendo este el punto fuerte de SVM. Adem´as, es posible emplear
Cap´ıtulo 2. Estado Del Arte Cap´ıtulo 2 Estado Del Arte
Figura 2.3: LDA Multiclase
funciones para modificar los elementos de determinadas clases y, con estas transforma- ciones, ampliar las distancias entre las clases, a fin de que se puedan separar mediante hiperplanos. Estas funciones se conocen como kernel. De acuerdo al kernel, as´ı sera la transformaci´on y las dimensiones del nuevo problema de clasificaci´on.
La extensi´on a multiclases es propuesta mediante dos m´etodos distintos:
• Combinando multiples SVM de dos clases, convirtiendo el clasificador en un mul- ticlase (one versus the rest):
(Vapnick,1998) propone construir K SVM con Kth modelos yk(x) entrenados con datos de la clase Ck como verdaderos y los datos de las K − 1 clases restantes como falsos (enti´endase K como el n´umero de clases totales, y Ck como una clase particular). En la figura 2.3 se muestra c´omo m´ultiples clasificadores funcionan para clasificar entre dos clases (Recuadro B,C,D) y si se realiza una combinaci´on de estos clasificadores se pueden clasificar las 3 clases propuestas (Recuadro A). El principal problema de esta t´ecnica es que una misma entrada puede ser asignada a diferentes clases simult´aneamente. Esto conlleva errores al realizar predicciones de nuevas entradas.
• Construir K(K − 1)/2 clasificadores de 2 clases (one versus one):
El principal problema del m´etodo anterior es que bajo ciertas condiciones puede haber un objeto perteneciendo a dos o m´as clases, reduciendo la precisi´on del sistema a la hora de clasificar datos nuevos. A fin de cubrir todos los pares posibles de clases, se han estudiado m´etodos que confronta cada clases contra todas las posibles clases. A este m´etodo se le conoce como one versus one.
Cap´ıtulo 2. Estado Del Arte 11
Este m´etodo esta basado en en contar cu´antos clasificadores de los creados deter- mina que un elemento pertenece a una misma clase. La clase que obtenga el mayor n´umero de “votos” ser´a seleccionada como la clase a la que pertenece el elemento.
A diferencia del m´etodo anterior, al tener que enfrentar cada clase con las dem´as por separado, el tiempo de entrenamiento y el tiempo de c´omputo ser´a mayor al momento de evaluar entradas nuevas.
2.3.3 Principal Component Analysis (PCA)
Este m´etodo est´a basado en caracter´ısticas, obteniendo de ellas distintas proyecciones sobre un nuevo espacio. Los vectores (componentes) obtenidos procuran que la varianza en ellos sea la m´axima posible. Con este m´etodo, se espera que el primer componente obtenido contenga la mayor varianza de la se˜nal original. De esta forma, la varianza en las dem´as componente va decreciendo hasta llegar al m´aximo n´umero de vectores disponibles. Esto permite obtener caracter´ısticas de la se˜nal original a partir de la informaci´on particular de las componentes.
El uso de PCA se combina con otros m´etodos basados en an´alisis temporal de la se˜nal.
Con ello, se busca dividir la se˜nal en sus generadoras, permitiendo mediante el correcto an´alisis eliminar artefactos (se˜nales de interferencia), como por ejemplo el movimiento ocular o el ritmo cardiaco. El uso de PCA permite disminuir la dimensionalidad de las caracter´ısticas, al poder centrar el an´alisis en los componente principales, permitiendo que con la misma cantidad de se˜nal se pueda reducir el tiempo de c´omputo[40;41].
2.3.4 Independent Component Analysis (ICA)
ICA es un m´etodo de procesamiento de se˜nales que asume que cualquier se˜nal tiene componentes estad´ısticamente independientes y de distribuci´on no normal. Este m´etodo es ampliamente utilizado en discriminaci´on de voz, teniendo en cuenta que cada sonido tiene una fuente independiente de las dem´as.
En la figura 2.4 se aprecia las magnitudes extradias de una se˜nal EEG teniendo como fuente 10 canales de informaci´on, cada uno de estos corresponde en la practica a los electrodos posicionados sobre la cabeza. ICA permite que si se cuenta con un n´umero suficiente de canales es posible extraer todas las componentes presentes en una se˜nal. A nivel de BCI se parte del principio que las se˜nales en el cerebro se componen de sumas de se˜nales con distintas fuentes de origen.
El uso de ICA se puede combinar con el m´etodo tradicional de an´alisis de arm´onicos usando Fourier y un clasificador LDA. Existen distintos m´etodos de uso de ICA, como
Cap´ıtulo 2. Estado Del Arte Cap´ıtulo 2 Estado Del Arte
Figura 2.4: Independent component analysis implementado en EEGLAB
puede verse en [42], sin embargo ICA por s´ı solo no detecta se˜nales SSVEP. ´Estas son de- tectadas mediante la correcta extracci´on de caracter´ısticas al seleccionar la componente correcta. Tambi´en puede ser utilizado en remoci´on de artefactos [39].
En ICA, se asume que existen m fuentes s(t) = [s1(t), s2(t), . . . , sm(t)] y estas son observadas por n canales x(t) = [x1(t), x2(t), . . . , xn(t)]. ICA propone que estos canales son el resultado de la combinaci´on lineal de las fuentes. [43]
x(t) = As(t) (2.5)
Donde A es de tama˜no n x m y representa la combinaci´on de las fuentes. ICA busca encontrar una matriz W tal que permita obtener las fuentes originales
s(t) = Wx(t) (2.6)
Donde W = [w1, w2, . . . , wn] es la matrix que decodifica las fuentes originales. ICA asume que el n´umero de canales es igual al n´umero de fuentes independientes [43].
2.3.5 Constrained ICA (cICA)
ICA extrae tantos componentes como canales de medici´on se tengan disponibles, lo que ocasiona que se obtengan en muchos casos se˜nales irrelevantes y se subutilice el m´etodo
Cap´ıtulo 2. Estado Del Arte 13
en caso de querer obtener, por ejemplo, una ´unica se˜nal deseada. Constrained ICA (cICA) es una t´ecnica que permite extraer ´unicamente los componentes solicitados, al incluir informaci´on previa. Por esta raz´on tambi´en es conocido como ICA-R (ICA con referencia)[43]. Una explicaci´on detallada de cICA puede obtenerse de [44].
2.3.6 Canonical Correlation
El An´alisis de Correlaci´on Can´onica (CCA) es un m´etodo estad´ıstico multivariado para maximizar la correlaci´on entre la se˜nal EEG y las se˜nales planas sinusoidales asociadas a la frecuencia de parpadeo en SSVEP[47].
El m´etodo est´a basado en tomar un conjunto de se˜nales de entrada x(t), tomado de los canales EEG disponibles. Basado en que cualquier se˜nal peri´odica puede ser de- scompuesta en un un conjunto de se˜nales sinusoidales, el segundo conjunto de se˜nales de referencia y(t) est´a basado en la descomposici´on en serie de Fourier de una se˜nal cuadrada[45].
y(t) =
y1(t) y2(t) y3(t)
... yn−1(t)
yn(t)
=
sen(2πf t) cos(2πf t) sen(4πf t)
... sen(mπf t) cos(mπf t)
(2.7)
Donde f es la frecuencia base del est´ımulo.La detecci´on de f est´a basada en el nivel de correlaci´on entre las se˜nales de prueba y las se˜nales de referencia. Se espera que la mayor correlaci´on se obtenga cuando se utiliza una se˜nal de referencia con la frecuencia del est´ımulo SSVEP.
CCA es funcional y brinda buenos resultados, siempre que las se˜nales a detectar se encuentren dentro de los diccionarios de se˜nales de referencia. Un ejemplo de las apli- caciones de CCA se puede obtener en [46;48].
2.3.7 Coherence Analysis
El an´alisis de Coherencia es un m´etodo basado en el an´alisis de la fase de las se˜nales.
Algunos estudios han demostrado que la respuesta del cerebro de un sujeto expuesto a est´ımulos evocados visuales se encuentra en fase con el est´ımulo al que se encuentra ex- puesto. Este fen´omeno es conocido como phase−locking[49]. Otros estudios demuestran que el an´alisis de fase puede ser medido y utilizado mediante el an´alisis de coherencia[50], definido como la correlaci´on cruzada de la densidad espectral de potencia.
Cap´ıtulo 2. Estado Del Arte Cap´ıtulo 2 Estado Del Arte
Cxy(f ) = |Gxy(f )|2
Gxx(f )Gyy(f ) (2.8)
El m´etodo establece que el valor de la correlaci´on cruzada ser´a m´aximo (1) si tanto la se˜nal de muestra como la se˜nal de referencia se encuentran en fase. Una de las principales aplicaciones del an´alisis de coherencia en Bioingenier´ıa es la caracterizaci´on de los movimientos musculares de acuerdo a impulsos cerebrales[51]. En la figura 2.5 se observa mediante un an´alisis de coherencia que la se˜nal muscular EMG est´a en fase con la se˜nal LP, y en ese instante la correlaci´on cruzada es m´axima.
Figura 2.5: Modelado de coherencia de una se˜nal cortico-muscular[51].(a) Espectro de potencia simulado de LFP, (b) Espectro de potencia simulado de EMG. (c) Coherencia cortico-muscular simulada. (d) Datos de coherencia cortico-muscular en un humano.
Cap´ıtulo 3
Metodolog´ıa
3.1 Descripci´ on General
Figura 3.1: Esquema General del sistema BCI implementado.
El sistema propuesto est´a organizado en distintos bloques, como se puede apreciar en la Figura 3.1. El bloque de color rojo corresponde a la conexi´on entre el sistema de control y la silla de ruedas. ´Este est´a compuesto por un enlace USB del computador hacia el micro controlador, el cual est´a conectado a un circuito opto-acoplado que convierte las se˜nales digitales recibidas del micro controlador a se˜nales anal´ogicas, al mismo tiempo que a´ısla tanto al sujeto como al bloque de control de la alimentaci´on de los motores.
El bloque de color azul corresponde al sistema de control. ´Este est´a compuesto por el equipo de EEG, este captura se˜nales EEG, ECG (Electro - cardiograf´ıa) y EOG (Electro - oculograf´ıa). Este bloque tambi´en incluye el equipo de c´omputo, que se encarga del procesamiento de las se˜nales para su posterior accionamiento sobre el hardware. Este bloque es el encargado de ejecutar los algoritmos de pre-procesamiento, extracci´on de caracter´ısticas y posterior clasificaci´on para determinar la acci´on a realizar, as´ı mismo
15
Cap´ıtulo 3. Metodolog´ıa Cap´ıtulo 3 Metodolog´ıa
tambi´en es el encargado de producir los est´ımulos visuales empleados posteriormente para el control de los motores de la silla de ruedas.
El recuadro verde muestra el desarrollo del sistema de control preliminar, dado que este por si mismo es capaz de generar acciones control sobre la silla de ruedas, lo que permiti´o realizar las pruebas de control de hardware pertinentes en el curso de la investigaci´on.
3.2 Descripci´ on de los Experimentos
3.2.1 Bases de datos externas
Para an´alisis preliminares de las se˜nales SSVEP, se usaron bases de datos proporcionadas por otros grupos de investigaci´on. En t´erminos generales estas bases de datos constan de se˜nales cerebrales capturadas de un grupo de voluntarios, expuestos a est´ımulos visuales que dan lugar a la generaci´on de potenciales SSVEP en la regi´on occipital del cerebro.
Estos est´ımulos visuales est´an compuestos por im´agenes o una fuente de luz, que alternan entre dos estados a una frecuencia espec´ıfica y por un tiempo determinado. Seguido a esto cada sujeto tiene un breve periodo de descanso en el que no se expone a ning´un est´ımulo. Este ciclo de est´ımulo y descanso se repite una cierta cantidad de veces. El objetivo final es predecir el est´ımulo visual que el sujeto est´a observando, determinando la frecuencia de dicho est´ımulo a partir de potenciales SSVEP en las se˜nales EEG.
Para la obtenci´on de datos, los sujetos son sentados c´omodamente frente a una pantalla o una fuente de luz a una distancia de aproximadamente un metro y se les instruye a fijar su mirada en uno de varios est´ımulos presentados. Bajo este esquema general, dos bases de datos fueron empleadas:
Base de datos externa #1:
Este conjunto de datos fue adquirido a partir de cuatro sujetos sometidos a 15 segundos de est´ımulo, donde cada est´ımulo es una de tres clases. Cada clase corresponde a la frecuencia espec´ıfica de un est´ımulo y cada clase cuenta con 5 repeticiones del mismo est´ımulo, para un total de 15 repeticiones por sujeto. Esta base de datos tiene como par´ametros de captura 128 canales distribuidos de acuerdo a la configuraci´on 10-20 internacional a una tasa de muestreo de 256 Hz.
Como fuente de est´ımulo visual se emplea un monitor con una tasa de refresco de 170 Hz y una imagen similar a un tablero de ajedrez alternando los cuadros del mismo entre blanco y negro a una frecuencia y por el tiempo especificado, a una distancia entre sujeto y pantalla de aproximadamente 90 cm. Esta base de datos fue tomada de [25].
Cap´ıtulo 3. Metodolog´ıa 17
Base de datos externa #2:
Este conjunto de datos consta de se˜nales cerebrales adquiridas de cinco sujetos, los cuales fueron sometidos a 5 segundos de est´ımulo. Cada est´ımulo es una de 4 clases, de las cuales 3 corresponden a frecuencias espec´ıficas y una clase adicional de no actividad;
cada clase cuenta con 10 repeticiones, para un total de 40 repeticiones por sujeto.
Esta base de datos difiere de la anterior en cuanto a la generaci´on del est´ımulo, ya que
´esta utiliza diodos LED controlados por un microcontrolador que los activa y desactiva a la frecuencia deseada. La distribuci´on de electrodos es 10-20 de 8 canales dedicados a la regi´on occipital, tomando ´unicamente los electrodos que corresponden a: Oz, O1, O2, POz, PO3, PO4, PO7 y PO8, con una tasa de muestro de 256 Hz. Cada sujeto fue sentando c´omodamente a una distancia aproximada de 60 cm de la fuente del est´ımulo.
Esta base de datos fue tomada de [26].
3.2.2 Bases de datos propias
Figura 3.2: Esquema General de adquisici´on de la base de datos BSPAI-SSVEP.
La estructura general del experimento se puede observar en la figura 3.2. Para la adquisici´on de las se˜nales EEG, EOG y ECG se us´o el equipo BIOSEMI Active two, con 32 canales para EEG y 8 canales externos. En primera instancia los 32 electrodos fueron distribuidos usando la configuraci´on internacional 10-20 (Ver figura3.3) sobre la cabeza del sujeto, al cual se le present´o est´ımulo que consta de un cuadrado alternando entre blanco y negro a una frecuencia previamente establecida. Adem´as se usaron 4 electrodos para EOG, 3 para ECG y uno para referencia, tomada en el l´obulo de la oreja derecha.
Cap´ıtulo 3. Metodolog´ıa Cap´ıtulo 3 Metodolog´ıa
Figura 3.3: Distribuci´on de electrodos internacional 10-20
Base de datos propia #1:
Para esta base de datos se seleccionaron dos frecuencias: 4.7Hz y 9.4Hz, donde cada repetici´on corresponde a un solo est´ımulo cuadrado en pantalla a una de las dos frecuen- cias determinadas. La estructura de presentaci´on del est´ımulo fue:
1. Una cruz blanca durante 3 segundos, seguido de un pitido (Beep) de sistema.
2. Un est´ımulo durante 10 segundos.
3. Un descanso durante 5 segundos.
El procedimiento anterior se repiti´o 60 veces a una frecuencia de muestreo de 2048 Hz, para 6 sujetos. Se destaca la captura de EEG, EOG y ECG mediante siete canales externos. Estos fueron utilizados para remover los artefactos creados por el movimiento de los ojos y la actividad card´ıaca en la se˜nal EEG.
Base de datos propia #2:
Para esta base de datos el est´ımulo consta de dos cuadrados que alternan entre blanco y negro a dos frecuencias: 4.7Hz y 9.4Hz, oscilando en el mismo campo visual del sujeto, lo que implica 3 clases: derecha, izquierda y no actividad. La tercera clase es obtenida cuando el sujeto no atiende a ninguno de los dos cuadrados. La estructura de presentaci´on del est´ımulo fue:
Cap´ıtulo 3. Metodolog´ıa 19
1. Una cruz blanca durante 3 segundos que indica a que est´ımulo debe observar el sujeto, seguido de un pitido (Beep) de sistema.
2. Un est´ımulo durante 10 segundos.
3. Un descanso durante 5 segundos.
Lo anterior se repiti´o 60 veces a una frecuencia de muestreo de 2048 Hz para 8 sujetos.
Se destaca la captura de EEG, EOG y ECG mediante siete canales externos. Estos fueron utilizados para remover los artefactos creados por el movimiento de los ojos y la actividad cardiaca en la se˜nal EEG.
Para ambas bases de datos tambi´en se incluye la informaci´on sobre el momento en que cada est´ımulo cambia de color en la pantalla, brindando informaci´on de realimentaci´on al sistema.
3.3 Pre-Procesamiento de Se˜ nales
3.3.1 Filtrado
Las se˜nales EEG que contienen SSVEP se analizan en un espacio reducido de la banda de frecuencias hasta los 40 Hz. Esto es debido a que mas all´a de esta frecuencia el cerebro no es capaz de distinguir conscientemente el cambio visual, por lo que la informaci´on adquirida por encima de los 40 Hz no es relevante para la aplicaci´on desarrollada. Por consiguiente se realiz´o un filtrado pasabajas con una frecuencia de corte de 40 Hz.
La figura 3.4 muestra la magnitud del espectro de frecuencias medida en el electrodo Oz durante el tiempo en el que el sujeto est´a expuesto a un est´ımulo visual. En ella se aprecia una tendencia decreciente con comportamiento (1/f ) [27] en el valor de la magnitud a medida que aumenta el eje de la frecuencia. Esto es debido a que se ha comprobado que en el cerebro las se˜nales de baja frecuencia tienen mayor potencia que las de alta frecuencia. Con el fin de evitar el paso de niveles DC, de se˜nales fisiol´ogicas o productos de la medici´on de ellas, se establece un filtrado paso-altas con una frecuencia de corte de 1Hz. Con las dos frecuencias de corte establecidas se implementa un filtro pasabanda entre 1Hz y 40 Hz para la se˜nal EEG.
3.3.2 Remoci´on de artefactos
El cuerpo debe ser considerado como un sistema donde operan distintas funciones, rela- cionadas entre si. Por ende uno de los principales problemas es atenuar las distintas componentes de se˜nal que pueden estar contaminando la se˜nal EEG requerida. La se˜nal
Cap´ıtulo 3. Metodolog´ıa Cap´ıtulo 3 Metodolog´ıa
mas fuerte que incide sobre las lecturas de EEG es la EOG [28; 29; 30]. Esto sucede debido a la cercan´ıa de los electrodos de EEG a los ojos, dado que la piel es un medio conductor que transmite se˜nales musculares como los movimientos oculares. Tomando en cuenta este problema, en las bases de datos grabadas en el laboratorio se capturaron se˜nales cardiacas (ECG) y se˜nales del movimiento ocular EOG.
Con la adquisici´on de bases de datos propias en el laboratorio usando el equipo Biosemi, se pudo desarrollar experimentos en los cuales se agregaron las se˜nales EOG y ECG al conjunto de datos. Teniendo estas nuevas fuentes de informaci´on se implement´o la remoci´on de artefactos por medio de una regresi´on lineal que permiti´o remover compo- nentes conocidos de la se˜nal EEG, en este caso las se˜nales EOG y ECG
Para simplificar asumimos que la se˜nal EEG capturada por los 32 canales est´a contam- inada con la se˜nales ECG y EOG proveniente de los electrodos externos, modelando el problema como sigue:
w(n) = s(n) + u(n).b (3.1)
Donde n representa el ´ındice de muestra, w(n) y s(n) son la se˜nal EEG con ruido y sin ruido respectivamente, mientras que el ruido producido por las se˜nales ECG y EOG es representado por u(n). w(n), s(n) y u(n) corresponde cada uno a un vector muestra en un tiempo determinado y b es una matriz desconocida de tama˜no N xM que contiene los coeficientes que indican la propagaci´on de las se˜nales ECG y EOG a cada electrodo EEG[34].
Multiplicando por la derecha y por la izquierda de la ecuaci´on3.1por u(n)T y tomando el valor esperado E, se obtiene:
E[u(n)Tw(n)] = E[u(n)Ts(n)] + E[u(n)Tu(n).b] (3.2)
Si asumimos que las se˜nales EEG no est´an correlacionadas con las se˜nales ECG y EOG, como en principio se supone, se puede calcular la matriz de coeficientes como:
b = E[u(n)Tu(n)]−1E[u(n)Tw(n)] (3.3)
Para el caso particular de las bases de datos capturadas en el laboratorio se cuenta con 32 canales de se˜nal EEG, 3 canales para ECG y 4 canales de EOG. Usando los canales externos empleamos el m´etodo propuesto sobre los datos, limpiando las se˜nales de inter´es de las se˜nales de interferencia mediante la estimaci´on de b, dando lugar a una mejor aproximaci´on de la se˜nal s(n). Esto permite observar una disminuci´on en el error cuantitativo en la clasificaci´on de se˜nales utilizando m´etodos de clasificaci´on
Cap´ıtulo 3. Metodolog´ıa 21
que consumen pocos recursos computacionales como LDA (linear discriminat analisys).
La tabla 3.1 muestra la disminuci´on cuantitativa del error al aplicar la remoci´on de artefactos al set de datos que emula el control de la silla de ruedas1.
Tabla 3.1: Resultados de clasificaci´on control off-line
Sujeto Artefactos Removidos Artefactos NO Removidos
1 98,06% 94,63%
2 57,88% 65,84%
3 54,71% 50,66%
4 83,76% 78,46%
5 83,27% 84,16%
6 89,30% 88,01%
Promedio 88,60% 86,31%
3.3.3 Representaci´on en el dominio de la frecuencia
Se estudi´o el comportamiento de las se˜nales SSVEP de forma general tanto en el dominio del tiempo como de la frecuencia. Se parte del supuesto que el cerebro reacciona de una manera coherente con respecto al est´ımulo, esperando ver pulsos continuos en el tiempo que se presentan como componentes marcados de frecuencia en el espectro de frecuencias.
En la figura 3.4se muestra el espectro de frecuencias de una se˜nal EEG de un sujeto ex- puesto a un est´ımulo SSVEP. En esta gr´afica se aprecia un comportamiento decreciente en la magnitud de la se˜nal, propia del comportamiento 1/f de las se˜nales cerebrales comentado anteriormente, adem´as de m´aximos locales en determinados valores de fre- cuencia. Estos componentes de m´axima amplitud se cree que son producidos por la frecuencia de excitaci´on principal y los arm´onicos.
3.3.4 An´alisis en el dominio temporal
Las bases de datos creadas en nuestro laboratorio incluyen informaci´on sobre el cambio de luminosidad en la pantalla como consecuencia de la presentaci´on de los est´ımulos. Dado que se presentan dos est´ımulos simult´aneamente, informaci´on sobre los dos est´ımulos es retenida por el algoritmo. Aunque esta informaci´on no es adquirida tradicionalmente en aplicaciones BCI basadas en SSVEP, la informaci´on sobre los cambios del est´ımulo podr´ıa ser empleada para realizar un promediado coherente, lo que ayudar´ıa a remover ruido aleatorio presente en la se˜nal. La idea principal es que el cerebro responde a los cambios de contraste y promediando la respuesta a cada cambio de contraste provee una
1Descartando los sujetos 2 y 3, se efectu´o una prueba t de Student con datos pareados, con un nivel de significancia del 5%. La prueba indic´o que los resultados de clasificaci´on con y sin remoci´on de artefactos son estad´ısticamente distintos p = 0.0269.
Cap´ıtulo 3. Metodolog´ıa Cap´ıtulo 3 Metodolog´ıa
0 5 10 15 20 25 30 35 40
0 0.05 0.1 0.15 0.2 0.25 0.3 0.35 0.4 0.45
X: 0.25 Y: 0.4383
Frequency (Hz)
|X(f)|
X: 9.35 Y: 0.1527
X: 18.65 Y: 0.06886
X: 28.05 Y: 0.04072
X: 37.45 Y: 0.01688
Figura 3.4: Uso de Fourier para detecci´on de frecuencia fundamental en el electrodo Oz
se˜nal con mayor relaci´on se˜nal a ruido. Los resultados que se muestran a continuaci´on confirman nuestra hip´otesis.
En la figura 3.5(lado izquierdo) se observa una se˜nal EEG (Azul), la cual previamente ha sido filtrada y se le han removido los artefactos. ´Esta ha sido promediada con una ventana de 500ms y centrada en el momento de cambio. La muestra de se˜nal EEG usada es de 10 segundos, dado que es el tiempo en el que el sujeto estuvo sometido a la exposici´on continua del est´ımulo. As´ı mismo, se observa en color verde la se˜nal del est´ımulo centrada en el momento de observaci´on.
Esta figura muestra que realizar el promedio en estos intervalos permite observar una relaci´on directa entre el est´ımulo y la se˜nal EEG (Parte central de la figura 3.5), al notar que la frecuencia fundamental del est´ımulo y la se˜nal EEG tienen valores muy cercanos.
Los resultados de la implementaci´on de este procedimiento sobre la base de datos propia
#1 se describen en la secci´on 3.4y la figura 3.6. Esto demuestra que incluir esta infor- maci´on para el desarrollo de BCIs influir´ıa positivamente,debido a que seria necesario menos tiempo de exposici´on del sujeto a el est´ımulo para tener resultados en la clasi- ficaci´on equiparables a los obtenidos actualmente mediante exposici´on prolongada al est´ımulo.
Cap´ıtulo 3. Metodolog´ıa 23
Figura 3.5: Implementaci´on an´alisis de ventanas de tiempo usando base de datos propia sobre una repetici´on de 9.4 Hz
3.4 Clasificaci´ on
Para determinar el est´ımulo en que el sujeto centra su atenci´on, es necesario imple- mentar un algoritmo de clasificaci´on basado en t´ecnicas de inteligencia artificial. Para la selecci´on del clasificador se evalu´o el desempe˜no de LDA y SVM. Una descripci´on detallada de estos m´etodos se puede encontrar en la secciones 2.3.1 y 2.3.2respectiva- mente. Al ser necesaria la implementaci´on de un clasificador multi-clase, se empleo la librer´ıa libsvm, debido a que esta incluye por defecto el poder implementar un clasifi- cador multi-clase aplicando la t´ecnica one vs one, la tecnica one vs one es seleccionada sobre la t´ecnica one vs rest debido a que el rendimiento es comparable entre ambas, pero el tiempo de entrenamiento es menor usando one vs one[53].
Como resultado de la exploraci´on de estos m´etodos, usando las bases de datos externas se obtuvieron los resultados mostrados en las tablas 3.2 y 3.3. En ellas se observan los resultado de la implementaci´on de LDA en la base de datos externas 1 y 2 respecti- vamente, aplicando validaci´on cruzada2 a fin de disminuir el efecto del sobreajuste del clasificador3 y usando los valores de potencia en las bandas de inter´es en el rango de 0-30Hz como caracter´ısticas de entrada.
Descripci´on de procedimientos para la base de datos externa 1 (Tabla 3.2).
2Validaci´on cruzada permite entrenar el clasificador con distintos grupos de muestra seleccionados aleatoriamente del conjunto de datos para entrenamiento. Esto permite obtener resultados mas reales.
3Efecto de sobreentrenar un algoritmo de aprendizaje con unos ciertos datos para los que se conoce el resultado deseado. Ocasionando que el sistema solo funcione bien para el conjunto de datos con el que fue entrenado y no para datos nuevos.
Cap´ıtulo 3. Metodolog´ıa Cap´ıtulo 3 Metodolog´ıa
Tabla 3.2: Resultados de error en clasificaci´on empleando LDA en la base de datos externa #1. Los valores se muestran en porcentajes.
Sujeto 1 2 3 4 Error
Promedio M´etodo 1 2,0 10,2 6,0 43,6 15,4 M´etodo 2 8,0 11,7 21,5 29,8 17,7 M´etodo 3 9,4 0,0 25,8 27,0 15,5 M´etodo 4 17,8 0,0 0,0 15,3 8,2
M´etodo 5 13,3 8,0 0,0 8,0 7,3
• M´etodo 1: Se tomaron los datos sin aplicar ajustes adicionales a los descritos anteriormente.
• M´etodo 2: Se promedio la se˜nal de todos los canales y a cada canal se le rest´o dicho promedio.
• M´etodo 3: Asumiendo el comportamiento 1/f en el espectro de frecuencia, se estim´o una se˜nal de ruido base con dicho comportamiento y se resto a la se˜nal original. La se˜nal de ruido fue la misma para todos los canales.
• M´etodo 4: Combinaci´on de los m´etodos 2 y 3.
• M´etodo 5: Se aplic´o el m´etodo 2 y se aplico el m´etodo 3 estimando el ruido base para cada canal independiente.
Tabla 3.3: Resultados de error en clasificaci´on empleando LDA en la base de datos externa #2. Los valores se muestran en porcentajes.
Sujeto 1 2 3 4 5 Error
Promedio M´etodo 1 6,9 18,4 21,3 31,5 22,8 20,2
M´etodo 2 3,3 8,9 9,9 21,6 5,1 9,8
M´etodo 3 45,1 58,6 52,7 57,3 49,7 52,7 M´etodo 4 20,7 27,8 17,8 45,8 16,5 25,7 M´etodo 5 43,7 40,6 49,3 60,4 41,4 47,1 M´etodo 6 7,70 15,1 12,9 39,4 10,4 17,1
Descripci´on de procedimientos para la base de datos externa 2 (Tabla 3.3).
• M´etodo 1: Se tomaron los datos sin aplicar ajustes adicionales a los descritos anteriormente.
• M´etodo 2: Se promedio la se˜nal de todos los canales y a cada canal se le resto dicho promedio.
Cap´ıtulo 3. Metodolog´ıa 25
• M´etodo 3: Asumiendo el comportamiento 1/f en el espectro de frecuencia, se estim´o una se˜nal de ruido base con dicho comportamiento y se resto a la se˜nal original. La se˜nal de ruido fue la misma para todos los canales.
• M´etodo 4: Combinaci´on de los m´etodos 2 y 3.
• M´etodo 5: Se aplic´o el m´etodo 2 y se aplico el m´etodo 3 estimando el ruido base para cada canal independiente.
• M´etodo 6: Aplicaci´on del m´etodo 4 cambiando la se˜nal de referencia. Se tom´o como se˜nal de referencia aquella que condujo a la mejor precisi´on despu´es de usar cada electrodo EEG como referencia.
De la implementaci´on de LDA, tomando los mejores resultados, se obtiene un error promedio de 7.3% para la base de datos 1 y 9.8% para la base de datos 2.
La implementaci´on de SVM solo fue posible realizarla sobre la base de datos 2 debido que se contaba con la cantidad suficiente de informaci´on para el clasificador SVM. Los resultados obtenidos mediante este clasificador se muestran en la tabla 3.4. La de- scripci´on de m´etodos es la misma empleada en la tabla 3.3. El error m´ınimo observado para SVM en la base de datos #2 fue de 3.9%.
Tabla 3.4: Resultados de error clasificaci´on empleando SVM en la base de datos externa #2. Los valores se muestran en porcentajes.
Sujeto 1 2 3 4 5 Error
Promedio
Metodo 1 7,8 15,7 9,2 30,5 4,8 13,6
Metodo 2 0,5 1,7 2,8 13,5 0,8 3,9
Metodo 3 49,9 53,9 37,7 57,8 42,1 48,3
Metodo 4 5,5 4,5 5,1 45,7 5,6 13,3
Metodo 5 40,6 43,2 41,0 71,1 29,2 45,0
Metodo 6 4,4 9,5 5,9 38,8 2,4 12,2
De acuerdo con los resultados preliminares obtenidos, se observa un mejor compor- tamiento del clasificador SVM comparado con LDA bajo unas mismas condiciones de experimentaci´on. Por lo tanto, se decide emplear SVM como m´etodo de clasificaci´on.
Adicionalmente se comparo el desempe˜no de los clasificadores haciendo uso del an´alisis temporal descrito en la secci´on anterior. La figura3.6muestra que el m´etodo que emplea promediado supera el m´etodo tradicional empleado en la literatura para BCIs basadas en SSVEP.
El accuracy promedio por sujeto y por cantidad de tiempo empleado usando LDA y SVM se puede observar en las tablas 3.5y 3.6, mientras que en las tablas 3.7 y3.8 los resultados al aplicar el m´etodo de promediado de ventanas. En las tablas el valor en
Cap´ıtulo 3. Metodolog´ıa Cap´ıtulo 3 Metodolog´ıa
1 2 3 4 5 6 7 8 9 10
0.7 0.75 0.8 0.85 0.9 0.95 1
Size of time windows (Seconds)
Accuracy
Accuracy rate of the proposed vs current method
LDA Proposed method LDA Current method SVM Proposed method SVM Current method
Figura 3.6: Comparaci´on de clasificaci´on empleando an´alisis temporal Vs. Datos sin an´alisis temporal, sobre base de datos propia #1
segundos indica que cantidad de se˜nal EEG se uso para realizar la clasificaci´on por cada sujeto.
Tabla 3.5: Resultados de clasificaci´on empleando LDA en la base de datos propia #1.
Los valores se muestran en porcentajes.
Sujeto 2 seg 3 seg 4 seg 5 seg 6 seg 7 seg 8 seg 9 seg 10 seg
1 77,0 89,0 91,0 90,0 92,0 95,0 97,0 95,0 99,0
2 62,0 57,0 66,0 70,0 72,0 69,0 73,0 79,0 71,0
3 97,0 100,0 99,0 100,0 100,0 100,0 100,0 100,0 100,0
4 82,0 93,0 97,0 97,0 98,0 99,0 99,0 99,0 99,0
5 83,0 89,0 95,0 96,0 93,0 95,0 97,0 99,0 98,0
Tabla 3.6: Resultados de clasificaci´on empleando SVM en la base de datos propia #1.
Los valores se muestran en porcentajes.
Sujeto 2 seg 3 seg 4 seg 5 seg 6 seg 7 seg 8 seg 9 seg 10 seg
1 87,0 97,0 95,0 99,0 97,0 99,0 100,0 100,0 99,0
2 71,0 71,0 75,0 75,0 78,0 78,0 85,0 78,0 80,0
3 100,0 100,0 98,0 100,0 100,0 100,0 100,0 100,0 100,0 4 78,0 96,0 100,0 100,0 100,0 100,0 100,0 100,0 100,0
5 81,0 94,0 97,0 98,0 99,0 100,0 99,0 100,0 100,0
Esta comprobaci´on realizada en el laboratorio BSPAI de la Universidad del Norte per- mite establecer que la investigaci´on basada en an´alisis temporal puede ser empleada en futuros trabajos para an´alisis de coherencia.
Cap´ıtulo 3. Metodolog´ıa 27
Tabla 3.7: Resultados de clasificaci´on empleando LDA en la base de datos propia
#1, aplicando el m´etodo de promediado de ventanas. Los valores se muestran en porcentajes. Solo se muestran los primeros 5 segundos
Sujeto 2 seg 3 seg 4 seg 5 seg
1 100 100 100 100
2 100 100 100 100
3 100 100 100 100
4 99 100 100 100
5 100 100 100 100
Tabla 3.8: Resultados de clasificaci´on empleando SVM en la base de datos propia
#1, aplicando el m´etodo de promediado de ventanas. Los valores se muestran en porcentajes. Solo se muestran los primeros 5 segundos
Sujeto 2 seg 3 seg 4 seg 5 seg
1 100 100 100 100
2 100 100 100 100
3 100 100 100 100
4 100 100 100 100
5 100 100 100 100
3.5 Descripci´ on de la BCI para silla de ruedas
Con el fin de poder ejercer control directo sobre la silla se modific´o el sistema de control original de la misma, cambiando las se˜nales de control que emite ´este por una se˜nal proveniente de un microcontrolador, el cual a su vez est´a gobernado por el PC encargado de procesar las se˜nales y determinar qu´e acci´on debe ejercer el microcontrolador sobre la silla.
La caracterizaci´on del sistema de control permiti´o establecer que tanto el control de velocidad de los motores como el sentido de giro, est´an determinados por un eje (x, y), en el cual el valor m´aximo en x determina velocidad m´axima y giro a la derecha y el valor m´ınimo establece velocidad m´axima y giro a la izquierda; An´alogamente sucede con el eje y brindando velocidad m´axima hacia adelante y velocidad m´axima hacia atr´as.
Se establece que el sistema en fase de desarrollo debe poder cumplir con al menos dos grados de libertad. Sin embargo, el sistema de control fue desarrollado para permitir hasta 4 grados de libertad.
Este acople entre el equipo PC y el microcontrolador se realiz´o a trav´es de la plataforma Arduino. En pruebas de comunicaci´on y respuesta realizadas en el laboratorio se com- prob´o el correcto funcionamiento del sistema, empleado como sistema de adquisici´on de datos el giroscopio del equipo Emotiv, como el mostrado en la figura 3.7. Este equipo permite acceder al giroscopio y obtener la aceleraci´on en 3 dimensiones.
Cap´ıtulo 3. Metodolog´ıa Cap´ıtulo 3 Metodolog´ıa
Figura 3.7: Equipo Emotiv EPOC+
Se determina la posici´on P (x, y, z) de la cabeza del sujeto a trav´es de la integral num´erica de la aceleraci´on en cada eje, donde P (x) = R R R xdx, P (y) = R R R ydy, P (z) = R R R zdz.
P (x, y, z) = P (x)
1 0 0
+ P (y)
0 1 0
+ P (z)
0 0 1
(3.4)
Lo anterior permiti´o establecer las pruebas iniciales al tomar como entrada x,y,z el valor entregado por el giroscopio del Emotiv.
Este equipo solo fue utilizado para verificar el funcionamiento del sistema de control.
Posteriormente este fue remplazado por el Biosemi como fuente de adquisici´on de se˜nales y los algoritmos de traducci´on que reemplazan las instrucciones enviadas por el Emotiv.
Se desarroll´o un algoritmo de control para la silla de ruedas, el cual requiere que se le indique la acci´on a realizar (Ver descripci´on de actividades abajo). Para las pruebas pre- liminares se tom´o el movimiento de la cabeza hacia arriba y hacia abajo como controles del movimiento hacia atr´as y hacia adelante de la silla. Mientras que los movimientos a la derecha e izquierda controlaban los movimientos correspondientes en la silla.
El conjunto de se˜nales de control con las que cuenta el microcontrolador son:
1. Hacia adelante.
2. Hacia atr´as.
3. Giro a la derecha.
4. Giro a la izquierda.
5. Detener.
Cap´ıtulo 3. Metodolog´ıa 29
Conexi´on con Hardware
La conexi´on entre el sistema BCI y la silla se realiz´o directamente a trav´es del control de f´abrica de la misma, conectando el circuito del microcontrolador a la se˜nal de posici´on de la silla. Debido a que era necesaria la conexi´on en tiempo real, se implement´o una conexi´on mediante buffer entre el computador y el equipo Biosemi del laboratorio para adquirir se˜nales EEG. Esta conexi´on fue posible haciendo uso de los algoritmos de Field- trip. Este incluye dentrol de los algoritmos capaz de habilitar una conexi´on en tiempo real de las se˜nales enviadas por el equipo de medici´on [52]. Esto permite mediante su in- tegraci´on al programa principal realizar las tareas de pre-procesamiento, procesamiento y clasificaci´on en el instante que es adquirida la se˜nal.
El software desarrollado para la BCI mediante Matlab requiere en primera instancia la conexi´on con el equipo de medici´on. Luego de verificada dicha conexi´on con el equipo de EEG, el PC env´ıa a trav´es del puerto serial la instrucci´on requerida para detener la silla.
Posterior a ello se pide que se enciendan los motores de la misma. Esto se efect´ua con el fin de establecer la referencia para los motores. Mediante la caracterizaci´on del control de f´abrica se encontr´o que estos requieren de un valor de referencia al ser encendidos.
Figura 3.8: Esquema Conexi´on de Hardware
Una vez iniciado, el sistema permite al usuario moverse de acuerdo al est´ımulo que observe este en la pantalla: Estimulo derecho, izquierdo o no actividad, permitiendo tener hasta tres grados de libertad. Tanto el estimulo derecho, como el izquierdo son cuadros alternando entre blanco y negro a dos frecuencias distintas. En la Figura 3.8 se muestra el esquema general de conexiones entre los componentes del sistema BCI.
Cap´ıtulo 3. Metodolog´ıa Cap´ıtulo 3 Metodolog´ıa
Las pruebas preliminares del sistema completo fueron realizadas online sin activaci´on de motores, donde se coloc´o a un sujeto para el cual el clasificador fue sometido previamente a entrenamiento. En esta prueba se simul´o una secuencia aleatoria de est´ımulos en el computador de escritorio a trav´es del puerto paralelo, obteniendo la realimentaci´on de los est´ımulos enviados y su relaci´on con los movimientos a los que hubiese habido lugar si el sistema se encontrase conectado a los motores.
Las pruebas finales fueron llevadas a cabo de la misma manera, teniendo una secuencia aleatoria de movimientos. Mediante observaci´on se verific´o que el sistema respondiera de acuerdo a la direcci´on que se le indicaba al usuario observar en pantalla.
Cap´ıtulo 4
Resumen de los Resultados
1. Implementaci´on de algoritmo para pre-procesamiento de se˜nales de estado esta- cionario generadas por potenciales visuales obtenidas por grabaciones electroence- falogr´aficas.
Se desarroll´o un algoritmo capaz de grabar, procesar y clasificar se˜nales elec- troencefalogr´aficas online, mediante un clasificador previamente entrenado con un sujeto. El algoritmo arroja la clase correcta y se transfiere la instrucci´on al microcontrolador, para efectuarla en los motores.
La etapa de pre-procesamiento del sistema involucra la remoci´on de artefactos mediante regresi´on lineal de las se˜nales EOG y ECG. Dichas se˜nales interfieren con la medici´on de la actividad cerebral. La remoci´on de dichos artefactos, pro- duce una mejora significativa del desempe˜no del sistema (ver Tabla3.1). Posterior a esta etapa se procede a la extracci´on de caracter´ısticas mediante el uso de la transformada de Fourier, obteniendo de esta manera la potencia en cada valor de frecuencia desde 0 hasta 30Hz
2. Se implementaron algoritmos de machine learning para clasificaci´on de se˜nales EEG usando bases de datos externas y propias.
Como se analiz´o en la subsecci´on 3.4, se utilizaron algoritmos de inteligencia ar- tificial para la implementaci´on de clasificadores discriminantes entre dos clases sobre bases de datos externas. En general, los experimentos consisten en presentar est´ımulos con diferentes frecuencias y realizar la medici´on de las se˜nales EEG.
Los resultados, empleando validaci´on cruzada, arrojaron errores promedio (a trav´es de todos los sujetos) de 3.9% para SVM y 9.8% para LDA. El error m´ınimo ob- servado a trav´es de los sujetos fue de 0%, y un m´aximo error de 13.54% fue observado empleando SVM. Es necesario tener en cuenta, que el desempe˜no del
31
Cap´ıtulo 4. An´alisis de Resultados Cap´ıtulo 4 Resumen de los Resultados
sistema depende del grado de colaboraci´on del sujeto, al seguir oportunamente las indicaciones del experimentador.
En pruebas realizadas con datos obtenidos en nuestro laboratorio, se obtuvo un error m´ınimo de 2% y un error m´aximo del 17.12% en 6 sujetos. Se descartaron 2 sujetos que afirmaron tener problemas para centrar su atenci´on en el est´ımulo indicado. Estos experimentos fueron realizados con dos est´ımulos simult´aneos a dos frecuencias distintas, donde el sistema deb´ıa detectar si el sujeto se encontraba concentrado en el est´ımulo de la derecha (Clase 1), el est´ımulo de la izquierda (Clase 2) o no estaba concentrado en ninguno de los dos (Clase 3). De esta man- era tres distintos comando pueden ser enviados a la silla de ruedas para girar a la izquierda, a la derecha, o no ejecutar actividad alguna.
3. Dise˜nar e implementar una interfaz entre un PC y una silla de ruedas el´ectrica para el control del movimiento.
En la figura 3.8se muestra la interfaz desarrollada entre el PC y la silla de ruedas.
Esta interfaz se desarroll´o para recibir secuencialmente una de cinco instrucciones, las cuales est´an enumeradas en la secci´on 3.5.
4. Dise˜nar experimentos de captura de se˜nales EEG.
Se desarroll´o un protocolo de experimento para la captura de se˜nales EEG en sin- cron´ıa con se˜nales ECG y EOG, utilizando el equipo Biosemi disponible en nuestro laboratorio. Este protocolo es enunciado en la secci´on 3.2 y en la Figura 3.2 se establece la estructura de la base de datos creada. Esta consta de 40 canales, de los cuales 32 son de se˜nales EEG en configuraci´on internacional 10/20, 3 canales ECG, 4 canales EOG y un canal de referencia en el l´obulo de la oreja derecha. La tasa de muestreo es de 2048 Hz.
5. Probar la operaci´on del sistema en general (Silla de ruedas con sistema de control).
Se integr´o cada componente del sistema BCI, como se muestra en la figura 3.8 y se verific´o el funcionamiento de la misma. En la figura 4.1 tal se muestra la implementaci´on en un sujeto. La interfaz fue programada para responder a una de 3 instrucciones de movimiento.
La operaci´on de la silla se describe a continuaci´on: una vez encendido el equipo de captura de se˜nales EEG, se ejecuta un algoritmo principal, que se encarga de colo- car los valores de referencia en el microcontrolador mientras inicia los par´ametros de visualizaci´on del est´ımulo. Posterior a ello, el usuario determina a que direcci´on desplazarse concentr´andose en el est´ımulo correspondiente en la pantalla. A con- tinuaci´on, el computador procesa la informaci´on adquirida y env´ıa la instrucci´on
Cap´ıtulo 4. An´alisis de Resultados 33
Figura 4.1: Implementaci´on BCI en sujeto.
al microcontrolador para el movimiento de la silla.
Las pruebas preliminares fueron realizadas en un equipo de escritorio, el cual cuenta con un puerto serie para obtener realimentaci´on de los est´ımulos captados y comparar la clases seleccionada con la clases detectada por el sistema. Las pruebas finales fueron realizadas online mediante un equipo port´atil como se muestra en la figura3.8.
