Driver State Model
Oscar Hiram Alvarez Campos
Ingeniería en mecatrónica
Asesor:
Jose Luís Rocha Pérez
Febrero de 2016
Índice
1. Introducción ………..3
2. Justificación ………..4
3. Objetivos ……….……5
4. Problemas a resolver ………6
5. Procedimiento y descripción de las actividades ……….7
5.1 Curso de induccion ……….……….………7
5.2 Analisis del proyecto y delimitacion de obligaciones ………….7
5.3 Estado del Arte .……….………7
5.4 Electroencefalograma (EEG) ………...………11
5.5 Comunicación EEG – NetBeans (JAVA) ……...………12
5.6 Investigación de campo ……….……….………12
5.7 Desarrollo de la interfaz gráfica para el usuario ….………13
5.8 Descripcion del funcionamiento del programa .………14
5.9 Presentacion final ……….………15
6. Anexos ……….…….16
6.1 Cronograma de actividades……….…….……….….….16
6.2 Entrevistas ……….……….….………..….17
7. Conclusiones ………..….………23
8. Recomendaciones y mejoras futuras ………..………24
9. Competencias involucradas ……….……….25
10. Referencias ……...………...26
1. Introducción
La empresa Continental AG es una empresa alemana con sede principal en Hanóver fundada el 8 de octubre de 1871, Continental Santa Anita R&D Center es una planta ubicada en la parte sur de Jalisco en el municipio de Tlajomulco, en ella se realiza el evento de “Trend Antenna” el cual se encarga de detectar oportunidades de negocio en la industria, transformándolas en soluciones integrales e innovadoras, adaptables a mercados dinámicos.
Trend Antenna se basa en 4 puntos importantes:
• Generar: Generar conceptos, validar ideas innovadoras y retos, basados en necesidades y tendencias del mercado, en pasiones y pasatiempos de futuros compradores.
• Investigar: Investigación de tecnologías para dar soluciones a conceptos, ideas y retos.
• Prototipo: Comprobar la factibilidad técnica de los conceptos/ideas innovadoras a través de la creación del prototipo.
• Validar: Validar el concepto de modelo de negocio y su cadena de valor, para estas ideas innovadoras.
“Driver State Model” es un proyecto para detectar el estado mental del usuario basado en las ondas cerebrales, utilizando la tecnología de un sensor de EEG (electroencefalograma) para poder obtener la lectura de los diferentes tipos de señales que manda el cerebro, estos a su vez son recibidas por una interfaz gráfica la cual las procesara y graficara los valores recibidos para ver y analizar el comportamiento del usuario y en colaboración con un doctor neurocirujano del Tecnológico de Monterrey se planea poder realizar los estudios correspondientes, con estos datos seremos capaces de efectuar una acción en el conductor la cual aumente la seguridad del mismo y las personas en sus alrededores para disminuir el índice de accidentes causados por fallas humanas.
2. Justificación
Debido al Estudio de la Administración Nacional de Seguridad de Pista ( NHTSA por sus siglas en ingles Study of National Highway Track Safety Administration ) muestran que entre el 70 y 90 por ciento de los accidentes automovilísticos son causados por fallas humanas, desconcentración, cansancio, estrés son estados que un usuario puede experimentar al conducir.
De ahí la necesidad de observar al conductor y su comportamiento mientras maneja.
El cerebro es una de las herramientas mas eficientes con las que cuenta el ser humano, de el depende la concentración que tenga, el enfoque que le da a las cosas y el manejo de las emociones, que son las que controlan el comportamiento de una persona.
Pudiendo detectar el estado de la mente en el que se encuentra el usuario se podrían tomar decisiones y acciones para evitar cualquier tipo de percance, previniendo un tipo de comportamiento extraño del usuario para evitar un accidente causado por ir distraído, estar muy cansado al punto de llegar a quedarse dormido manejando, o simplemente distraerse de un acontecimiento que ocurra en el trayecto y no reaccionar ante el, es por eso que se pretende evitar que el conductor se distraiga y tome la decisión equivocada al momento de ir conduciendo y encontrarse con cualquier tipo de situación mientras conduce, para esto es importante que el conductor este enfocado en el camino y tener fijo su trayecto, para esto se pretende tomar acciones que pongan al conductor en un estado de alerta o de concentración al ir manejando.
3.
Objetivos
Los objetivos principales del proyecto fueron:
• Analizar y crear un vínculo entre el usuario y un electroencefalograma
• Analizar señales de ondas cerebrales e identificar la correlación entre las señales y el estado del conductor.
4. Problemas a resolver
• Entender el funcionamiento del electroencefalograma para poder interactuar con el.
• Crear una comunicación entre el electroencefalograma y una interfaz gráfica para poder leer los datos recibidos.
• Interpretar y analizar las graficas generadas para entender el comportamiento del usuario y las mayores causas de un accidente.
• Ejecutar una acción al reconocer el estado del conductor.
5. Procedimiento y descripción de las actividades
5.1 Curso de induccion
Como inicio de nuestra estancia en la planta de Continental, se llevo a cabo un curso de induccion en donde se presentaron los encargados principales de las diferentes areas en las que se rige la planta, las cuales fueron: Seguridad, Recursos Humanos, Paramédicos, Encargado ambiental, Padrino de generación, CEO de la planta santa Anita y contacto con la empresa, entre otras, esto para tener una vista detallada de la organización con la que se trabaja.
5.2 Analisis del proyecto y delimitacion de obligaciones
Primeramente se nos presento la idea principal del proyecto en conjunto con la forma de trabajo que adoptariamos, la cual se divide en 3 partes:
• Makers: encargados del desarrollo del prototipo.
• Business Men: creacion del plan de negocio.
• Designer: diseño final de la interfaz y creacion de video.
En las primeras dos semanas deTrend Anntena se investigo la tecnologia que se utilizaria como base para el desarrollo del proyecto y se dividieron las tareas a realizar, por parte de los makers se decidio utilizar la plataforma de NetBeans para desarrollar la aplicación utilizando JAVA como lenguaje y la utlizacion del electroencefalograma que es proporcionada por la empresa, herramienta con la cual se pueden medir y recoger valores de las señales leidas en este caso, ondas cerebrales.
5.3 Estado del Arte
Antes de iniciar con el desarrollo del programa y la interfaz nos dimos a la tarea de buscar patentes de prototipos o tecnologia ya desarrollada para aclarar un panorama de investigacion, nos encontramos con algunos sistemas que pudieran ayudarnos a dar una retroalimentacion para nuestro proyecto, entre ellos un sistema que rastreaba la mirada, un encefalograma, un sensor de reconocimiento facial y un sistema de deteción de parpadeos.
Patentes registradas:
1. EYE TRACKER DEVICE
unit (200). The collimated beams (LB1 , LB2) are at different angles (&agr;1 , &agr;2) with respect to the imaging unit (200). The gaze direction (&agr;3) is determined based on said angles (&agr;1 , &agr;2), the positions of the reflections spots (G1 , G2), and the position of the pupil (120). Thanks to the use of the two collimated beams (LB1 , LB2), the detected gaze direction is substantially independent of the size of the eye (100), independent of the lateral position of the eye (100), and independent of the distance (L2) between the imaging unit (200) and the eye (100). The detected gaze angle may be used for selecting between options displayed by a virtual display (500).
2. METHODS AND APPARATUS TO GATHER AND ANALYZE
ELECTROENCEPHALOGRAPHIC DATA
IEEG data can be classified in various frequency bands. Human brainwave frequencies include delta, theta, alpha, beta and gamma frequency ranges. Delta waves are classified as waves having frequencies of less than about 4 Hertz and are prominent during sleep. Theta waves have frequencies between about 3.5Hz to about 7.5Hz and are associated with memories, attention, emotions, and sensations. Theta waves are typically prominent during states of internal focus. Alpha frequencies reside between about 7.5Hz and about 13Hz. Alpha waves are prominent during states of relaxation. Beta waves have a frequency range between about 14Hz and about 30Hz. Beta waves are prominent during states of motor control, long range synchronization between areas, analytical problem
solving, judgment, and decision making. Gamma waves occur between about 30Hz and about 100Hz and are involved in binding of different populations of neurons together into a network for the purpose of carrying out a certain cognitive or motor function, and are also present during activity involving attention and/or memory. Skull and dermal layers tend to attenuate waves above about 75Hz and, as a result, high gamma band or kappa band waves are less easily measured than waves in lower frequency bands.
3. Multi-modal sensor based emotion recognition and emotional
interface
According to aspects of the present disclosure accurate emotion recognition may be implemented using multi-modal sensory cues. By fusing multi-modal sensory data, more reliable and accurate emotion recognition can be achieved. Emotion recognition and or understanding the mood of the user is important and beneficial for many applications; including games, man-machine interfaces, and the like. For example, it can be used in a user interface to dynamically adapt the response of a game or other machine based on player's or user's emotions. The
detected mood, emotional state, stress level, pleasantness, etc. of the user may be used as an input to the game or other machine. If the emotional state of the user or game player is known, a game or machine can dynamically adapt
accordingly.
4. Eye-blinking sensor device that can be used to prevent and to draw
attention to states of drowsiness
The device of the present invention comprises a transmitter and an infrared sensor to control the blinking of the eye of the user, useful in preventing and alert drowsiness, comprising an alarm generation, which is preferably an audible alarm, indicated for individuals perform repetitive and / or routine, such as drivers transporting people and cargo, vehicle operators, industrial machinery, security and surveillance activities or another that requires the constant attention of the individual activities.
5.4 Electroencefalograma (EEG)
La diadema de detección de ondas cerebrales es una herramienta de ejercicio cerebral que mide las señales del cerebro al igual que un monitor de ritmo cardíaco detecta los latidos del corazón. Trabaja con 7 sensores calibrados finamente, 2 en la frente, 2 detrás de las orejas y 3 sensores mas de referencia para detectar y medir la actividad del cerebro.
Este electroencefalograma ha sido probado y certificado de acuerdo con las normas reguladoras de Canadá , Estados Unidos y Europa (FCC , UL , CE ) .
Figura 4. Numeracion de partes
Las mediciones que el EEG toma son inofensivos para las personas y sólo proporcionan información acerca de su estado general . La detección de ondas cerebrales se ha utilizado en los hospitales y centros de investigación de más de un siglo para estudiar diversos aspectos de la función del cerebro. EL EEG utiliza Bluetooth para enviar información a su dispositivo móvil. Las ondas de radio Bluetooth son aproximadamente 100 veces menos potente que las ondas de radio de un teléfono celular y se utiliza en millones de dispositivos diseñados para ser usados en la cabeza , como audífonos y auriculares.
El EEG cuenta con un kit de desarrollo de software (SDK) con el que te permite crear tu propio programa para recibir datos y manejarlos, el mismo EEG cuenta con una plataforma para el análisis de los datos la cual esta integrada por 4 programas diferentes:
• IO: Drivers para los entornos de escritorio de Mac y Windows que envía datos a través de comunicación OSC que otros programas pueden recibir para poder interactuar con ellos.
• Lab: Una herramienta para visualizar las ondas cerebrales y otro tipo de datos. Este recibe datos de IO y le permite ver las ondas cerebrales y otros datos en tiempo real , registrar, anotar y aplicar funciones DSP(Digital Signal Procesor).
• Player: Un programa de escritorio que puede reproducir datos grabados como un stream de OSC . Esto podría ser utilizado para ver una sesión previamente grabada de Lab o desarrollar y probar aplicaciones sin una diadema.
• Lib: La biblioteca completa que le permite desarrollar aplicaciones en código nativo .
5.5 Comunicación Electroencefalograma – NetBeans (JAVA)
Principalmente después de haber entendido la tecnología y su forma de uso comenzamos a trabajar con el protocolo de comunicación que usaríamos para poder comunicar el electroencefalograma con NetBeans y poder recibir datos de ella.
en la moderna tecnología de las redes. El protocolo tiene algunas ventajas como por ejemplo la independencia del medio de transmisión y la flexibilidad para transportar cualquier tipo de datos. Pensado originalmente para la comunicación de instrumentos musicales (como en el caso del protocolo MIDI).
Teniendo el código en NetBeans los pasos para realizar la comunicación fueron sencillos.
4 sencillos pasos para empezar la comunicación y recibir datos:
1. Emparejar el EEG con la computadora vía bluetooth.
2. Abrir el puerto de comunicación TCP con la terminal CMD 3. Correr el programa para la comunicación en NetBeans 4. Empezar a recibir mensajes OSC.
Estos mensajes son guardados en un archivo .txt los cuales tomamos para graficar y ver la señal recibida, el archivo .txt es generado a través del programa.
5.6 Investigación de campo
Para poder respaldar el proyecto, y la necesidad de éste, se decidió realizar entrevistas, ya que es investigación documental y de campo.
Con esto se pudo conocer el nivel de aceptación de los usuarios para el Driver State Model, además de cuáles son las principales características que les gustaría que se cubrieran y resolvieran al momento de utilizar el producto.
La investigación se realizó con entrevistas cualitativas, ya que con éstas se pueden expresar de manera libre las personas y no se buscan solamente respuestas orientadas.
Se indagó, primero, directamente con los usuarios de los camiones, que a su vez tengan algún vehículo o manejen uno (30 entrevistas realizadas). El objetivo principal de cuestionar a los usuarios de transporte es para conocer la seguridad que sienten al utilizar el servicio de camiones, así como saber la frecuencia con la que lo utilizan. También es importante saber qué acciones realizan al conducir, las horas que pasan tras el volante y saber qué los distrae cuando realizan ésta actividad.
Las entrevistas realizadas a supervisores y/o encargados fueron solamente 5 (no se contaba con gran disposición de su parte para responder). El objetivo principal es conocer la importancia de la seguridad de conductor - pasajero para la empresa y la inversión que hay para ello. También creemos importante el conocer el promedio de accidentes que ocurren al año y si es que son por causa de los conductores (factor humano).
Este proyecto, al ser la primera parte la que elaboramos como equipo, solamente se enfocó en un ciclo de preguntas, ya que no llegamos al producto final y solo nos quedamos en la parte de la investigación y creación de la interfaz.
El ejemplo de los cuestionarios realizados se encuentra en la parte de anexos.
5.7 Desarrollo de la interfaz gráfica para el usuario
Con la comunicación echa y la posibilidad de guardar datos para graficarlos empezamos a enfocarnos en la interfaz gráfica la cual diseñamos en el modulo GUI de NetBeans, utilizando programación orientada a objetos (OOP) en el entorno de java para desarrollar una cómoda interacción con el usuario, esta interfaz gráfica seria capaz de poder visualizar en tiempo real los datos que se estén recibiendo del EEG y al terminar la lectura crear un archivo con el nombre de usuario, la fecha y el tipo de prueba que se haya elegido, ya que hay 3 diferentes opciones de lectura, EEG(Electroencefalograma), ACC(Acelerómetro), QUANTIZATION (Cuantiszacion).
5.8 Descripción del funcionamiento del programa
Al iniciar el programa nos muestra una interfaz gráfica en GUI la cual nos pedira el nombre del usuario, se creara un archivo en donde al final del programa tendremos toda la información del usuario.
Al presionar el boton de record se inicializara el modulo de comunicación, este inicia la comunicación abriendo un puerto para empezar a transmtir datos, que seran los valores que el electroencefalograma nos estara proporcionando depende la señal o señales que queramos recibir, por ejemplo; EEG, ACC, QUANTIZATION, etc. Este modulo solo hace la parte de comunicación entre el EEG y la interfaz GUI.
Despues en el modulo de manejo de datos empezara a escribir datos en ram, este estara trabajando junto con el modulo de graficacion en donde nos estara mostrando los datos en tiempo real, estos seran guardados en un archivo con los datos del usuario, la fecha y el patron de lectura, (EEG,ACC,QUANTIZATION,etc.) para futuros estudios.
De esta forma dependiendo la señal obtenida se valorara y se ejecutara una accion dependiendo de el resultado obtenido.
No esta permitido documentar codigos ni diagramas de la arquitectura ni el diseño de software en este informe por motivos de confidencialidad de la empresa.
5.9 Presentacion final
Para concluir con el proyecto se realizo una presentacion final en la que se expuso el proyecto junto con los demas equipos en donde estaban presentes altos directivos de la empresa ,ejecutivos externos de aliados estrategicos como microchip, freescale, etc. reclutadores, tecnicos y demas gente interesada en los proyectos, para esto tuvimos a lo largo del periodo presentaciones para retroalimentacion, juntas para ver avances, apoyo por parte de nuestros asesores y el padrino de generacion para que con esto pudieramos llegar al final y llenar todos los requisitos posibles para tener un buen cierre de proyectos.
6. Anexos
6.1 Cronograma de actividades
6.2 Entrevistas Usuarios:
A continuación se muestran los resultados de las entrevistas realizadas a los usuarios de los camiones de transporte público que a la vez tienen vehículo o conducen alguno de vez en cuando. Se efectuaron 30 entrevistas, suficientes para la validación del proyecto, de manera abierta.
Respuestas:
1. Solo manejar
2. Usar el celular
40% 43%
¿Qué acciones realiza al
manejar?
3. Platicar con pasaje
Respuestas:
1. Diario
2. 2 o 3 veces a la semana
3. 4 veces a la semana
Respuestas:
1. 2 horas
2. 3 horas
3. 5 horas o más
4. 1 hora
Respuestas:
1. EL celular
2. Platicar con pasajeros
3. El cambiar música
4. Ambiente externo
50% 35% 15%
¿Con qué frecuencia usa
el transporte público?
1
2
3
44%
30% 13%
13%
¿Cuántas horas pasa al
día detrás del volante?
1
2
3
4
44%
30% 13%
13%
¿Qué te distrae al
conducir?
1
2
3
4
Figura 9. Grafica de acciones.
Figura 9. Grafica de transporte público.
Figura 9. Grafica de horas al volante.
Figura 9. Grafica de distración.
Respuestas:
1. Sí
2. No
Conclusión entrevista a usuarios: Cabe destacar que la mayor parte de
distracciones que utilizan por parte de los usuarios es el utilizar el teléfono celular al momento de conducir, esto evita que presten 100% atención al camino, lo cual se reduce a que no tienen buen enfoque de lo que van realizando, lo cual puede ocasionar algún accidente automovilístico.
El ambiente externo y el platicar con pasajeros son otras causas de distracción en los conductores, lo cual quiere decir que no van concentrados en la actividad principal, para eso son necesarias acciones correctivas.
En algunos casos, pasan más de dos horas manejando, lo cual puede producir estrés y/o fatiga, lo cual ocasiona que exista una mala coordinación para poder conducir.
Como muchos de ellos lo demuestran, suelen usar con frecuencia el transporte público, es por eso que surge la necesidad de que los conductores de camiones tengan un muy buen estado mental, además del físico, ya que eso repercute en una gran responsabilidad sobre los pasajeros que se encuentran transportando.
Conductores:
A continuación se muestran los resultados de las entrevistas realizadas a los conductores (choferes) de los camiones de transporte público. Solamente se efectuaron 10 entrevistas, suficientes para la validación del proyecto, de manera abierta.
100% 0%
¿Te gustaría que algún
disposi<vo tecnológico
ayude a la concentración
1
2
Figura 9. Grafica de dispositivo tecnológico.
Respuestas:
1. 5 horas
2. 8 horas o más
Respuestas:
1. Sí
2. No
Respuestas:
1. Pasajeros
2. Ambiente externo
3. Celular
20%
80%
¿Cuántas horas al día
conduce?
1
2
90% 10%
¿Después de
conducir más de la
mitad de su trayecto
comienza a sentir
1
2
60% 20%
20%
¿Qué factor lo distrae
al conducir?
1
2
3
Figura 9. Grafica de horas de conducción.
Figura 9. Grafica de fatiga.
Respuestas:
1. Sí
2. No
Respuestas:
1. Lo más importante
2. Muy importante
3. Indiferente
Respuestas:
1. Lo principal
2. Muy importante
90% 10%
un dispositivo que lo
mantenga enfocado
en el camino?
1
2
30% 60% 10%
¿Qué tan importante
cree usted que es
concentrarse
mientras conduce?
1
2
3
60% 40%
¿Qué tan importante
considera la seguridad
en el vehículo para el
chofer y los
1
2
Figura 9. Grafica de enfoque.
Figura 9. Grafica de concetración.
Figura 9. Grafica de seguridad.
Conclusión de entrevistas a conductores: Como se pudo observar en la entrevista, hay conductores que dicen manejar las 8 horas establecidas pero incluso suelen manejar más de ese tiempo. Algunos cubren en horas a conductores y es por eso que pueden laborar más o menos. El 90% de ellos dice comenzar a sentir cansancio después de manejar la mitad, o más de su trayecto, lo cual puede inferir en molestia y distracción.
La mayoría dice tener distracción por parte de los pasajeros, y este no es que vayan hablando con ellos, sino que van observando acciones que realizan éstos. También el ambiente externo es factor para que no se enfoquen en el camino. Solo un caso menciona y admite el uso del celular mientras labora.
El 90% está de acuerdo en utilizar un dispositivo que lo ayude a mantenerse enfocado en el camino, aunque con dudas por la ergonomía, mismo factor por el cual uno rechaza el utilizarlo.
Se llega a casi un acuerdo del 100% de que el mantenerse concentrados es vital para desempeñar la labor de conducción, solo un entrevistado se mostró indiferente. Y se logró llegar a un total de acuerdo en que lo principal para el conductor y pasajero es la seguridad de éstos.
7. Conclusiones
Después del análisis y el desarrollo siendo la primera etapa del proyecto “Driver State Model” podemos concluir primeramente en base a las encuestas realizadas que a las personas les gustaría poder estar siempre enfocados en su camino a pesar de las distracciones con las que se pudieran llegar a encontrar, ya sea por estar en estrés, cansado o algún estado de animo ó ir platicando con un pasajero, una distracción visual, Smartphone o alguna llamada.
Como segundo punto dadas las conclusiones de las entrevistas, en las pruebas, pudimos darnos cuenta de cómo el factor concentración puede ser medido en base a las ondas cerebrales, al estar trabajando con el EEG se tuvo la oportunidad de llegar a medir y graficar los diferentes tipos de comportamiento que el usuario arrojaba en un estado mental u otro, esto fue posible considerando audios llamados “Binaural beats” que podían llegar a cambiar el estado de la mente de una persona basándose en diferentes frecuencias.
El desarrollo de la tecnología para los distintos enfoques en estos tiempos cada ves esta mas enlazada al estudio del ser humano y su comportamiento, en este caso para la industria automotriz se puede decir que se empieza a tener un vinculo mas cercano entre humano – automóvil ya que cada vez se toman en cuenta características que hacen la conducción mas fácil, tanto que podemos llegar a pensar que en 5 años podremos evitar un accidente al detectar que una persona se va a dormir en el camino o por estar estresada llegar a perder el control del vehículo, todo esto al detectar su estado mental.
Al final se logro desarrollar una interfaz gráfica la cual puede enlazar la diadema con el programa vía bluetooth para graficar datos en tiempo real y guardar en archivos .txt para futuros estudios.
8. Recomendaciones y mejoras futuras
Para estudios posteriores podría ser conveniente el manejo de pruebas no solo con audios si no también con videos, el ser humano tiene diferentes maneras de reaccionar a cada evento, en esta fase nos enfocamos al sentido de audición de una persona ya que las ondas emitidas por los sonidos y las diferentes frecuencias que trabajamos llegaban directamente al cerebro, pero podría llegar a ser de gran valor el estudio de visión de una persona y el como reacciona.
La interfaz gráfica puede mejorar notablemente ya que esta versión fue una versión de prueba, se pueden añadir mas opciones de funcionamiento y tratar de agregar mas información acerca del usuario para tener un archivo mas completo en donde incluya tal ves una hoja diagnostico para el estudio de los estados mentales de la persona en prueba.
9. Competencias involucradas
Programación básica:
Tomo un papel importante en el desarrollo de la interfaz gráfica y la interacción con el encefalograma, ya que se usaron las bases de programación para crear funciones y módulos que interactuaran con el sistema.
Programación avanzada:
Con el manejo de java se trabajo con un método de programación llamado OOP (por sus siglas en ingles Object Oriented Programming), que fue de suma importancia ya que la interfaz gráfica y el desarrollo del programa fueron creados en NetBeans, un entorno de programación que esta orientado a la OOP.
Interfaces y redes industriales:
Fueron necesarios los conocimientos de protocolos de comunicación y creación de servidores para crear la comunicación entre el electroencefalograma y la interfaz grafica.
Ingles:
