YUC-2004-C03-028 Pág. 1
F O M I X FONDOS MIXTOS
INFORME FINAL
1. DATOS GENERALES
Clave de Registro: __YUC-2004-C03-028
Titulo del proyecto: Interfaz gráfica con reconocimiento de voz utilizando modelos fonéticos independientes de contexto para la rehabilitación de estudiantes con problemas de lenguaje
Responsable del proyecto: _MC. Carlos Andrés Miranda Palma___________________
Sujeto de Apoyo: _Universidad Autónoma de Yucatán (Facultad de Matemáticas)____
Modalidad:__Innovación y Desarrollo Tecnológico_____
2. RESUMEN DEL PROYECTO
A finales de 2004 se reunió un grupo de profesores que forma parte de la planta académica de la Facultad de Matemáticas, Unidad Tizimín, de la Universidad Autónoma de Yucatán con las profesoras del Centro de Atención Múltiple “Víctor Cervera Pacheco” de Tizimín para analizar y definir en que las podíamos apoyar en su labor con los niños. En dicha reunión se decidió trabajar por el desarrollo de tecnología para niños con problemas de lenguaje y se determinó desarrollar por medio de la computadora uno de los juegos que las maestras realizan en sus actividades de rehabilitación con los niños, tal es el caso del juego de Memorama, asimismo surgieron las ideas de otros dos juegos diferentes a las que ellas realizan con los niños, tal es el caso del juego de Gravedad y de Rescate. Se buscaba que a través de un software - motivacional, el niño pueda pronunciar correctamente y de forma natural los fonemas que más se le dificultan y que su interacción con el sea de manera amigable, ágil, divertida, dinámica y lúdica. De esta manera se definió el proyecto “Interfaz gráfica con reconocimiento de voz utilizando modelos fonéticos independientes de contexto para la rehabilitación de estudiantes con problemas de lenguaje” (Fonetix).
El Sistema Fonetix consta de tres juegos electrónicos con reconocimiento de voz desarrollados mediante técnicas de gráficas por computadora lo que permite que la interacción con el usuario ocurra de una manera amigable, ágil, divertida, dinámica y lúdica. A través de estos juegos el profesor del área de lenguaje cuenta con una herramienta más que ayude al niño hacia la correcta pronunciación de los fonemas (fonemas del español hablado en México), asimismo el sistema (por cada niño) permite almacenar las palabras reconocidas durante los juegos. Los niños al jugar participan en competencias en las que el ganador será aquél que pronuncie el mayor número de palabras correctamente. El sistema Fonetix ofrece un seguimiento de los avances del niño a través de dos reportes: histórico y del último juego, estos reportes apoyarán al educador en la observación y retroalimentación que se requieran.
A cada uno de los tres juegos que conforman el sistema le corresponde un nivel de complejidad de reconocimiento: juego de Memorama (Nivel Básico, palabras con sílabas directas e indirectas), juego de Gravedad (Nivel Medio, palabras con sílabas mixtas y trabadas) y juego de Rescate (Nivel Avanzado, palabras con diptongos).
YUC-2004-C03-028 Pág. 2
Los juegos se desarrollan en una casa y en el marco de una historia en la que el niño puede elegir a uno de los 4 personajes principales, este personaje ayuda al niño a vencer los retos que un alux le pone durante la interacción con los juegos. La historia y los ambientes de los juegos buscamos que fueran familiares para los niños Yucatecos.
Memorama es un juego cuyo objetivo es encontrar el mayor número de parejas de objetos convertidos en piedras. Cuando el niño selecciona un par de piedras, existen dos situaciones posibles: que los objetos correspondientes a las piedras seleccionadas coincidan o que sean diferentes. Si son diferentes, los objetos se convierten nuevamente en piedras y continúa el juego. Si los objetos son iguales, se le pide al niño que pronuncie el nombre del objeto, dándole como máximo tres oportunidades para realizarlo. Si el niño logra pronunciar correctamente el nombre del objeto, el sistema le otorga una puntuación que va de los 400 a los 100 puntos, dependiendo el número de oportunidades que empleó para hacerlo. Además de la puntuación, como estímulo adicional, el niño puede observar en la pantalla del cuarto una animación del objeto pronunciado, en caso de hacerlo correctamente. De lo contrario, el sistema le otorgará la puntuación mínima (100 puntos) y no se le presentará la animación del objeto. El juego se desarrolla en un cuarto de la casa.
Gravedad es un juego cuyo objetivo es desencantar los objetos que se encuentran suspendidos en el aire con el fin de evitar su caída y ensuciar la cocina obteniendo la mayor puntuación, en el menor tiempo posible. El escenario principal es la cocina de la casa en donde se encuentran los objetos flotando esperando ser desencantados por el niño. El juego termina cuando todos los objetos han sido desencantados o se han roto en el piso de la cocina. Una vez terminado el juego, al niño se le presenta una pantalla que contiene la tabla de posiciones en donde se muestra las 10 mejores puntuaciones y sus tiempos.
Rescate es un juego que se desarrolla en el patio y zona aledaña de la casa. En este juego el objetivo es evadir los obstáculos que el personaje encuentre en su camino y responder tres adivinanzas cuando se le presente un obstáculo encantado (tronco, cenote y puerta de la cueva) hasta llegar con la mamá que se encuentra en una cueva. La respuesta de cada adivinanza contiene diptongos.
El Sistema Fonetix integra los tres juegos del proyecto: Memorama, Gravedad y Rescate, los tres juegos contienen el módulo de reconocimiento de voz. Asimismo, el Sistema Fonetix permite administrar los datos de los niños (altas, bajas y actualizaciones) y permite la configuración de los juegos, generar estadísticas, recuperar y respaldar la base de datos.
El Sistema Fonetix es un software bajo la licencia GNU de distribución libre (emplea el Sistema Operativo Linux). El reconocimiento de voz se realiza por medio de unidades fonéticas independientes de contexto.
Asimismo, se obtuvo un Live-CD que contiene el Sistema Fonetix, los tres juegos desarrollados, los módulos de reconocimiento de voz y el sistema operativo Linux, logrando que a través de éste se puedan ejecutar las aplicaciones sin que la computadora tenga instalado Linux.
YUC-2004-C03-028 Pág. 3
3. RESULTADOS DE LA INVESTIGACION 3.1 Metas y objetivos alcanzados
Objetivo 1. Realizar el análisis y diseño del Sistema Fonetix utilizando el Modelado en UML.
Meta 1. El diseño del sistema utilizando el Modelado en UML.
Se realizó el documento de requerimientos, análisis y diseño del Sistema Fonetix. El documento de requerimientos define los alcances y límites del sistema. Se definió las funciones del sistema: las que corresponden a las maestras, las de los niños, las funciones de seguridad, las de respaldo y recuperación de la información. Entre las funciones a realizar por la maestra se definió que ella pueda definir los niveles, modos y ambientes de interacción con el sistema para cada niño según su avance en su proceso de rehabilitación.
Una vez definidos los requerimientos, se trabajó en el documento de análisis y diseño del sistema, este documento contiene las clases y diagramas de secuencia de cada uno de los casos de uso del sistema. En estos diagramas se presenta la interacción de cada uno de los elementos del sistema y las acciones a realizar por cada una de las funciones del sistema Fonetix. Los documentos de requerimientos y de diseño se realizaron de acuerdo con el Modelado en UML.
Objetivo 2. Desarrollar la interfaz gráfica con reconocimiento de voz para el reconocimiento de las palabras del módulo Básico (palabras con sílabas directas e indirectas), utilizando para la creación de los modelos fonéticos las herramientas del software HTK y un tipo de modelado independiente del contexto.
Meta 2. Implementación, documentación técnica y el manual del usuario del Módulo Básico de reconocimiento de palabras.
Para el cumplimiento de este objetivo se tuvo que realizar unas pruebas (conectividad, velocidad en el manejo de gráficos y requerimientos de la memoria) con dos prototipos de interfaces (en el lenguaje C y Java), ya que para la elaboración y animación de la parte gráfica era importante determinar cuál lenguaje de programación proporcionaba mayores ventajas. Realizadas las pruebas se concluyó que se utilizaría el lenguaje C y las librerías de SDL (en lugar de Allegro) para desarrollar los juegos (interfaces gráficas), ya que las librerías de SDL brindaban un mayor número de opciones y facilidades para lo que se pretendía desarrollar en este proyecto. Con lo anterior, se determinó utilizar el entorno de programación QT para el desarrollo de las otras funcionalidades del Sistema Fonetix considerando que este lenguaje de programación emplea el lenguaje C y con ello se tendría total conectividad entre las partes del sistema.
Una vez determinado lo anterior, se logró desarrollar y concluir el juego de Memorama e integrarlo con el módulo de reconocimiento de voz. Asimismo para el módulo de reconocimiento de voz se desarrollaron los modelos fonéticos, de pronunciación y de lenguaje. Se elaboró el documento de diseño del juego del módulo Básico.
YUC-2004-C03-028 Pág. 4
Objetivo 3. Desarrollar las interfaces gráficas con reconocimiento de voz para el reconocimiento de las palabras de los módulos Medio y Avanzado (palabras con sílabas mixtas, trabadas y diptongos), mediante técnicas de gráficas por computadora y utilizando las unidades fonéticas previamente desarrolladas.
Meta 3. Implementación, documentación técnica y el manual del usuario de los Módulos Medio y Avanzado del sistema
Una vez definidos los lenguajes de programación y desarrollado el módulo de reconocimiento de voz, se logró desarrollar el juego de Gravedad y de Rescate, a ambos juegos se les integró los modelos fonéticos para el reconocimiento de voz y se elaboraron sus documentos de diseño. Se crearon los modelos de lenguaje y de pronunciación para ambos juegos y se utilizaron las librerías de HTK para la integración de los juegos con el módulo de reconocimiento de voz.
Cabe mencionar que para el desarrollo de los tres juegos se requirió más tiempo de lo que se estimo en un principio, ya que en sus creaciones lo que mayor tiempo implicó fue el desarrollo de la parte gráfica de los juegos (introducción animada a los juegos, diseño de pantallas, crear y animar las imágenes de las palabras), aunque se contó con el apoyo de estudiantes realizando sus prácticas profesionales; en su momento fue insuficiente, ya que para este tipo de actividades creativas es necesario contar con un grupo numeroso de personas que dediquen la mayor parte de su tiempo a las mismas, ya que se necesita mucha creatividad y dedicación.
Objetivo 4. Integrar los tres módulos desarrollados en un sistema general.
Meta 4. Integración y validación de los tres Módulos en un sistema general
Durante el desarrollo del proyecto se fueron integrando los 3 juegos al Sistema Fonetix, el primero fue el juego del módulo básico (prototipo de Memorama), una vez realizado la integración del juego y superado los retos que implicó el proceso, cuando se realizaron las integraciones de los otros dos juegos fue más sencillo. La integración del juego del módulo medio (prototipo de Gravedad) se realizó en la cuarta etapa y para el módulo avanzado (Rescate) se realizó en la última etapa. A principios del 2008, se logró integrar los tres juegos (versiones finales) con el Sistema Fonetix, una vez integrados se realizaron las validaciones.
Objetivo 5. Utilizar el sistema en la rehabilitación de los niños con problemas en la pronunciación de fonemas en el Centro de Atención Múltiple de la ciudad de Tizimín.
Meta 5. Verificar la utilidad del software en la rehabilitación de los niños con problemas de lenguaje
Para este objetivo se logró medir y evaluar el grado de aceptación de los juegos en los niños del Centro de Atención Múltiple de la ciudad de Tizimín, los datos fueron satisfactorios y nos permitió mejorar algunos aspectos de los juegos para una mejor aceptación. Asimismo, para verificar si los juegos reconocerían la voz de los niños con problemas de lenguaje (funcionalidad), se realizaron pruebas a partir de las cuales se obtuvieron los siguientes porcentajes de reconocimiento de palabras correctas: para el juego de Memorama del 75.56%, en Gravedad del 86.67% y en Rescate del 85.16%. Para
YUC-2004-C03-028 Pág. 5
medir su contribución en la rehabilitación de los niños se requiere de un período de tiempo mayor para realizar más pruebas, ya que la rehabilitación en algunos niños es muy lenta y variada.
Como en su momento se reportó, durante el desarrollo del proyecto se tuvo un atraso en el desarrollo de los juegos y en la última etapa se corrigieron detalles de los mismos (como resultado del análisis de Usabilidad) y finalmente se concluyeron (principios del 2008).
Como se mencionó en los avances técnicos, lo que mayor tiempo implicó fue el desarrollo de la parte gráfica de los juegos, lo que impidió que los juegos se pudieran utilizar de forma cotidiana en el CAM de Tizimín y realizar todas las pruebas planeadas en los meses restantes, pero sí se pudo realizar las pruebas de aceptación y de funcionalidad, faltó verificar si los juegos ayudan a los niños del CAM en la rehabilitación, ya que para verificarlo se necesitan varios meses ya que cada niño tiene diferente grado de avance y ritmo en su proceso de rehabilitación. Se tiene contemplado realizar estas pruebas aún cuando el proyecto haya finalizado.
3.2 Contribución técnica del proyecto
Al desarrollar este proyecto se logró aportar tres juegos electrónicos (videojuegos) con una característica importante: reconocimiento de voz. Existen juegos electrónicos pero muy pocos con esta característica. Asimismo el hecho de integrarlos a un Sistema que permite su manipulación y configuración es un hecho importante. El Sistema Fonetix con sus funcionalidades también aporta, ya que ofrece un seguimiento de los avances del niño a través de 2 reportes estadísticos: histórico y del último juego, estos reportes apoyarán al educador en la observación y retroalimentación que se requieran. Los resultados de las pruebas de Usabilidad y Funcionalidad son datos relevantes e interesantes para difundir en diversos foros. Algunas de estas características se han presentado en dos foros internacionales y en uno nacional, así como en una revista nacional, pero consideramos que aún falta difundir las características y bondades del Sistema Fonetix en más revistas y foros especializados.
Cabe mencionar que cuando se presentó el trabajo en el congreso del MICAI en la ciudad de Aguascalientes, unos de los comentarios fue que Fonetix es uno de los pocos trabajos en el área de la Inteligencia Artificial que se nota su aplicación a un grupo vulnerable.
Actualmente, se están iniciando los trámites para registrar y proteger los tres juegos, el Sistema Fonetix, los cuatro personajes y el alux en el registro público del derecho de autor (INDAUTOR).
3.3 Productos de la investigación
Los productos generados en este proyecto son:
1. Se logró la publicación del artículo “An electronic game with speech recognition for children with problems of speech”, en la revista Research in Computing Science, Advances in Artificial Intelligence and Applications, pp. 471-479 Vol. 32, ISSN: 1870- 4069, Editorial IPN.
2. Se realizó la ponencia del trabajo “Un Juego de Gravedad con Reconocimiento de Voz para Niños con Problemas de Lenguaje” en el Workshop on Perspectives, Challenges
YUC-2004-C03-028 Pág. 6
and Opportunities for Human-Computer Interaction in Latin America, CLIHC 2007 Innovation Inspired by Diversity, held in conjunction with INTERACT 2007, the eleventh IFIP TC13 International Conference on Human-Computer Interaction, en la ciudad de Río de Janeiro, Brasil, septiembre de 2007.
3. Se realizó la ponencia del trabajo “Usabilidad en un Juego de Memorama con Reconocimiento de Voz para Niños” en la Conferencia IADIS Ibero Americana WWW/Internet 2007, realizado en Vila Real, Portugal, octubre de 2007. ISBN: 978-972- 8924-45-4
4. Se realizó la ponencia del trabajo “An electronic game with speech recognition for children with problems of speech” en la sesión de póster de la 6th Mexican International Conference on Artificial Intelligence (MICAI), en la ciudad de Aguascalientes, Aguascalientes, noviembre de 2007.
En la planeación del proyecto se tenía el compromiso de participar en dos foros nacionales y uno nacional. Al finalizar el proyecto se obtuvo la publicación de un artículo en una revista nacional, la ponencia en dos foros internacionales y en uno nacional. En el anexo 4 se anexan copias de los artículos.
3.4 Formación de recursos humanos
Se realizaron tres trabajos de tesis relacionados con el proyecto, los cuales son:
1. “Un juego electrónico como herramienta de apoyo para niños con el problema de lenguaje llamado dislalia”, desarrollado por José Mercedes Cen Magaña y presentado el 20 de febrero de 2008.
2. “Uso de reconocimiento de voz en un juego electrónico para la rehabilitación de niños con el problema de lenguaje dislalia”, desarrollado por Reyna del Rosario Camal Uc y presentado el 20 de febrero de 2008.
3. “Un corpus de voz en español para el empleo en niños en edad escolar con problemas de lenguaje”, desarrollado por Glendy Marisol Perera Góngora y presentado el 8 de febrero de 2008.
Los tres trabajos de tesis se presentaron en las instalaciones de la Facultad de Matemáticas, Unidad Tizimín para obtener el titulo de Licenciado en Ciencias de la Computación otorgado por la Universidad Autónoma de Yucatán (UADY).
Cabe mencionar que durante el desarrollo del proyecto realizaron sus prácticas profesionales los siguientes estudiantes de la Licenciatura en Ciencias de la Computación:
Oscar Kumul Canul, José Israel Galán Martínez, Limberg de Jesús Ake Braga, Rita Eugenia Uc Chan, Cristina Olan Canal y Carlos Martín Yam Pech. Entre sus actividades desarrollaron las funciones del Sistema Fonetix, así como la creación de las pantallas, las imágenes y las animaciones de los tres juegos.
En la planeación del proyecto se tenía el compromiso de realizar dos tesis: una en el área de gráficas por computadora y una en el área de reconocimiento de voz. Al finalizar el proyecto se obtuvieron tres tesis: una en el área de gráficas por computadora y dos en el área de reconocimiento de voz. Así como la participación de seis estudiantes realizando sus prácticas profesionales.
YUC-2004-C03-028 Pág. 7
3.5 Colaboración interinstitucional y multidisciplinaria
Cada uno de los integrantes del grupo de trabajo participó en las siguientes actividades:
El ISC. Sergio González Segura colaboró:
a) en el desarrollo de las historias de los juegos
b) en el desarrollo del documento de requerimientos y de diseño del Sistema Fonetix utilizando el modelado en UML.
c) en la programación y edición de audio de los juegos
d) en la creación de las imágenes de la introducción al juego de Rescate
e) en la instalación y configuración del entorno de desarrollo y programación (debian y kanotix)
f) en las pruebas para determinar la utilidad de graphvite en el reconocimiento de voz g) en la creación de los archivos de configuración para usar los modelos fonéticos en
HTK
h) en la creación de una aplicación para calibrar el micrófono y para grabar las entradas por él
i) en la creación de una aplicación (scripts) para usar los comandos de HTK en el módulo de reconocimiento de voz
j) en la remasterización de una distribución de gnu/Linux (kanotix) para incluirle nuestros programas, de manera que la instalación de linux en una computadora sea innecesario (Live-CD)
k) en la revisión y sinodal de las tesis de Reyna del R. Camal Uc y Glendy M. Perera Gongora
l) en la presentación de una ponencia a nivel nacional
La MC. Cinhtia González Segura colaboró:
a) en el diseño y desarrollo de las introducciones animadas de los tres juegos (flash) b) en la selección de las adivinanzas para el juego de Rescate
c) en la supervisión de las prácticas profesionales de cuatros estudiantes, quienes realizaron las pantallas, imágenes y sus animaciones para los tres juegos
d) en la asesoría de la tesis de José Mercedes Cen Magaña
e) en la presentación de dos ponencias, una internacional y otra local en el ciclo de conferencias de Jueves Computacionales
f) en la revisión y sinodal de la tesis de Reyna del R. Camal Uc
g) en el desarrollo del contenido de la grabación de la introducción del juego Gravedad
La MC. Lizzie Narváez Díaz colaboró:
a) en la selección de los sonidos de ambiente para los juegos de Gravedad y Rescate b) en las grabaciones de las introducciones de los juegos de Memorama y de
Gravedad
c) en el desarrollo del contenido de la grabación de la introducción del juego Gravedad d) en la modificación de las cuatro pantallas de la cocina (Gravedad): normal, poco
sucio, sucio y muy sucio.
e) en la grabación de las palabras del juego de Memorama y de Gravedad
El MC. Jorge A. Ríos Martínez colaboró:
a) en el desarrollo del documento de requerimientos y de diseño del Sistema Fonetix utilizando el modelado en UML
b) en la evaluación y selección del software para programar los tres juegos
YUC-2004-C03-028 Pág. 8
c) en la colaboración en la definición de las historias de los tres juegos
d) en la creación y diseño del personaje del alux, en conjunto con Jorge David Cámara Cano
e) en el diseño y desarrollo de las introducciones animadas de los tres juegos f) en el diseño de los escenarios del juego de Rescate
El LM. Manuel Escalante Torres colaboró:
a) en la creación y vectorización de los cuatro personajes de los juegos (Rafa, Tony, Luci y Migue)
b) en el desarrollo del documento de requerimientos y de diseño del Sistema Fonetix utilizando el modelado en UML
c) en las animaciones de los cuatro personajes de los juegos
d) en la colaboración en la definición de las historias de los tres juegos
e) en la revisión y sinodal de las tesis de José M. Cen Magaña y Glendy M. Perera Gongora
El MC. Maximiliano Canché Euán colaboró:
a) en los documentos de diseño de los juegos de Memorama y de Gravedad b) en las grabación de la introducción del juego de Rescate
c) en el desarrollo del contenido de la grabación de la introducción del juego Rescate d) en la grabación de las palabras del juego de Memorama, Gravedad y Rescate e) en la definición de algunas funcionalidades del Sistema Fonetix
El MC. Michel García García colaboró:
a) en los documentos de diseño de los juegos de Memorama, Gravedad y Rescate b) en la definición de las historias de los juegos de Gravedad y Rescate
c) en el desarrollo del contenido de la grabación de la introducción del juego Memorama
Las Lic. en audición y lenguaje Saydi González Castillo y Lili Chávez Moreno profesoras del CAM de la Cd. de Tizimín e integrantes del proyecto, participaron en:
a) la adquisición de los requerimientos del Sistema Fonetix.
b) la definición de los tres juegos (Memorama, Gravedad y Rescate).
c) proporcionar el material para obtener el vocabulario (palabras directas e indirectas) que conformaron el módulo básico del sistema.
d) la definición de los nombres de los cuatro personajes del juego.
e) proporcionar el material para obtener el vocabulario (palabras mixtas, trabadas y diptongos) que conformaron los módulos medio y avanzado del sistema.
f) las pruebas de Usabilidad y de funcionalidad de los juegos.
El MC. Carlos A. Miranda Palma colaboró:
a) como responsable técnico del proyecto b) en el desarrollo de las historias de los juegos
c) en el desarrollo del documento de requerimientos y de diseño del Sistema Fonetix utilizando el modelado en UML.
d) en las pruebas para determinar la utilidad de graphvite en el reconocimiento de voz e) en la supervisión de las prácticas profesionales de dos estudiantes, quienes
desarrollaron las funcionalidades del Sistema Fonetix
f) en la asesoría de las tesis de Reyna del R. Camal Uc y Glendy M. Perera Gongora
YUC-2004-C03-028 Pág. 9
g) en la presentación de dos ponencias, una internacional y otra local en el ciclo de conferencias de Jueves Computacionales
h) en la revisión y sinodal de la tesis de José Mercedes Cen Magaña
i) en la elaboración de informes de avances técnicos y del informe final del proyecto j) en el diseño de algunas imágenes del juego de Rescate
Las integrantes del proyecto, Saydi González Castillo y Lili Chávez Moreno, conjuntamente con las otras profesoras del área de lenguaje del Centro de Atención Múltiple, colaboraron de manera interinstitucional:
a) en la adquisición de los requerimientos y en la definición de algunas de las funciones que ellas realizarán en el sistema Fonetix.
b) a través de aportaciones para definir los tres juegos que se desarrollaron para el proyecto y apoyaron con correcciones para mejorar la interacción de los tres juegos.
c) en conjunto con los niños que asisten al CAM a darles nombre a los 4 personajes con los que interactúan en el sistema. Los nombres resultantes para los personajes de esta convocatoria fueron: Rafa, Tony, Luci y Migue.
d) apoyaron en las pruebas de Usabilidad y en las pruebas de funcionalidad de los tres juegos.
4. IMPACTO DE LA INVESTIGACION EN LOS SECTORES USUARIOS 4.1 Productos de la investigación transferidos a los usuarios
A las profesoras del área de lenguaje y niños del Centro de Atención Múltiple (CAM) de la ciudad de Tizimín, Yucatán, durante el desarrollo del proyecto se les proporcionó el juego de Memorama y de Gravedad para que lo revisaran y nos hicieran llegar sus comentarios y sugerencias. Del juego de Rescate y del Sistema Fonetix se les hicieron presentaciones de las características y del entorno de los mismos para que nos hicieran conocer sus comentarios y sugerencias. Al momento de finalizar el proyecto se les va a proporcionar:
El Sistema Fonetix que consta de tres juegos electrónicos con reconocimiento de voz.
Estos juegos son una herramienta más que ayude al niño hacia la correcta pronunciación de los fonemas (fonemas del español hablado en México), asimismo el Sistema Fonetix (por cada niño) permite almacenar las palabras reconocidas durante los juegos. Los niños al jugar participan en competencias en las que el ganador será aquél que pronuncie el mayor número de palabras correctamente. El Sistema Fonetix administra los datos de los niños inscritos en el sistema y ofrece un seguimiento de los avances de los mismos a través de dos reportes estadísticos: histórico y del último juego, estos reportes apoyarán al educador en la observación y retroalimentación que se requieran.
A cada uno de los tres juegos con reconocimiento de voz que conforman el Sistema Fonetix le corresponde un nivel de complejidad de reconocimiento: juego de Memorama (palabras con sílabas directas e indirectas), juego de Gravedad (palabras con sílabas mixtas y trabadas) y juego de Rescate (palabras con diptongos).
Los juegos se desarrollan en una casa y en el marco de una historia en la que el niño puede elegir a uno de los 4 personajes principales, este personaje ayuda al niño a vencer
YUC-2004-C03-028 Pág. 10
los retos que un alux le pone durante la interacción con los juegos. La historia y los ambientes de los juegos son familiares para los niños Yucatecos.
Memorama es un juego cuyo objetivo es encontrar el mayor número de parejas de objetos convertidos en piedras. Cuando el niño selecciona un par de piedras, existen dos situaciones posibles: que los objetos correspondientes a las piedras seleccionadas coincidan o que sean diferentes. Si son diferentes, los objetos se convierten nuevamente en piedras y continúa el juego. Si los objetos son iguales, se le pide al niño que pronuncie el nombre del objeto, dándole como máximo tres oportunidades para realizarlo. El juego se desarrolla en un cuarto de la casa.
Gravedad es un juego cuyo objetivo es desencantar los objetos que se encuentran suspendidos en el aire con el fin de evitar su caída y ensuciar la cocina obteniendo la mayor puntuación, en el menor tiempo posible. El escenario principal es la cocina de la casa en donde se encuentran los objetos flotando esperando ser desencantados por el niño. El juego termina cuando todos los objetos han sido desencantados o se han roto en el piso de la cocina.
Rescate es un juego que se desarrolla en el patio y zona aledaña de la casa. En este juego el objetivo es evadir los obstáculos que el personaje encuentre en su camino y responder tres adivinanzas cuando se le presente un obstáculo encantado (tronco, cenote y puerta de la cueva) hasta llegar con la mamá que se encuentra en una cueva. La respuesta de cada adivinanza contiene diptongos.
El Sistema Fonetix también permite la configuración de los juegos, generar estadísticas, recuperar y respaldar la base de datos.
4.2 Mecanismos de transferencia utilizados
Estamos por implantar el Sistema Fonetix en el Centro de Atención Múltiple (CAM) con clave de registro “31DML2014P” localizado en la ciudad de Tizimín, Yucatán, para que éste sea utilizado de manera permanente en la Institución y medir su impacto en la labor de las profesoras del área de lenguaje. Hasta el momento se han realizado pruebas de Usabilidad, aceptación y de funcionalidad a los tres juegos en las que han participado las profesoras del área de lenguaje, así como los niños con problemas de lenguaje.
El equipo de trabajo realizará en breve una capacitación a las profesoras del CAM sobre el uso del Sistema Fonetix para su correcta utilización y funcionamiento, asimismo durante el uso e implantación del Sistema Fonetix en el CAM se realizará mediciones y evaluaciones del uso de Fonetix y del impacto del mismo.
Cabe mencionar que a través de la difusión que se ha realizado con la publicación de un artículo en una revista nacional, ponencias internacionales y nacionales, se ha recibido correos electrónicos en las que nos solicitan información del Sistema Fonetix, así como solicitando los mecanismos para adquirir u obtener el Sistema. Hasta el momento se ha recibido peticiones del Sr. Hussein Pineda de la ciudad de Lima, Perú; del Sr. Ricardo Acosta de la ciudad de San Luís Potosí; del Sr. Hermilo Cuevas de León, Guanajuato; de la Sra. Tere Valdivia de Mérida, Yucatán. Todos ellos manifiestan tener niños entre 5 y 6 años con problemas de lenguaje. A todos se les ha comentado que en breve nos pondremos en contacto con ellos para brindarles mayor información.
YUC-2004-C03-028 Pág. 11
4.3 Beneficio potencia del proyecto
El utilizar un software educativo y motivacional como el Sistema Fonetix permite que las profesoras del área de lenguaje tengan una herramienta más para hacer más efectivas, amenas, motivantes y homogéneas las estrategias de rehabilitación de niños de nivel de educación básica con problemas de lenguaje.
Una vez que el Sistema Fonetix sea utilizado de manera cotidiana y permanente en el Centro de Atención Múltiple de Tizimín, Yucatán, permitirá optimizar el uso de los recursos económicos, humanos y de tiempo, impactando a un número mayor de usuarios. Esto es posible extenderlo a otros CAM del Estado de Yucatán una vez que estos decidan utilizarlo, incluso en toda escuela primaria pública del Estado que cuente con un módulo de atención de lenguaje.
Beneficio Social
La implementación de tecnología para el proceso de enseñanza - aprendizaje permite al alumno y al profesor estar en un ambiente actual, interesante y motivador; logrando a un menor tiempo la deseada integración del discapacitado al mundo real como una persona capaz de autocontrolarse y de disfrutar plenamente de las interacciones con los demás.
En una primera etapa, se implementará el Sistema Fonetix en el Centro de Atención Múltiple con clave de registro "31DML2014P", actualmente con una población aproximada de 165 estudiantes, de los cuales aproximadamente 60 reciben el apoyo en el área de lenguaje y quienes se verán beneficiados en su proceso de rehabilitación e integración al sistema educativo tradicional. Asimismo, el personal académico que trabaja con estos estudiantes podrá agilizar el proceso de evaluación y rehabilitación, ya que el software permite una interacción significativa. Estos beneficios pueden ser trasladados a otros Centros de Atención Múltiple del Estado que quisieran participar y utilizar el Sistema Fonetix e incluso a toda escuela primaria pública del Estado que cuente con un módulo de atención de lenguaje.
Cabe mencionar que estos beneficios pueden ser llevados más allá del Estado de Yucatán, como se mencionó anteriormente hay el interés de personas que tienen hijos con problemas de lenguaje que se encuentran en otros estados de México (San Luís Potosí y Guanajuato) e incluso en otros países (Perú), que quisieran obtener el Sistema Fonetix y utilizarlo en sus hijos con la esperanza de incrementar la calidad de vida de sus hijos.
Beneficio Económico
El software puede ser puesto a disposición de manera académica en toda escuela que lo requiera. Dado que la mayoría de las escuelas de educación básica cuentan con computadoras para fines didácticos y pedagógicos, este software se puede utilizar en un gran número de escuelas a un mínimo costo. Únicamente se requiere que la computadora cuente con una unidad lectora de CD, un micrófono y un lugar adecuado con el menor ruido para poder utilizarlo.
Beneficio Tecnológico y Científico
El Sistema Fonetix en su módulo de reconocimiento de voz utiliza modelos fonéticos independientes de contexto y reconoce el español hablado en México. También utiliza técnicas de gráficas por computadoras y algoritmos de inteligencia artificial con el fin de conseguir que el software sea divertido y mantenga la atención de los niños. En nuestro
YUC-2004-C03-028 Pág. 12
Estado este tipo de tecnología aún dista de ser incorporada en escuelas de educación básica. Asimismo contribuye al proceso científico que utilizan los educadores al proporcionar reportes que les faciliten la evaluación y la retroalimentación.
El Sistema Fonetix se encuentra instalado en un Live-CD que contiene los tres juegos desarrollados, los módulos de reconocimiento de voz y el sistema operativo Linux, logrando que a través de éste se puedan ejecutar las aplicaciones sin que la computadora tenga instalado Linux, y si se requiere se puede instalar todo el Sistema Fonetix (en conjunto con Linux) en una computadora.
4.4 Compromisos asumidos por los usuarios
Se cuenta con la total disposición y apoyo de las autoridades y profesores del Centro de Atención Múltiple de Tizimín, Yucatán con clave de registro "31DML2014P" para implementar el Sistema Fonetix y participar en todas las actividades de seguimiento y evaluación del software. Las profesoras del área de lenguaje en todo momento han manifestado que los juegos serán una herramienta muy útil en su labor de rehabilitación.
Asimismo en todo momento durante el desarrollo del proyecto las autoridades del plantel brindaron todas las facilidades para reunirnos con las profesoras y niños para definir los juegos, así como en las pruebas de usabilidad, aceptación y funcionalidad.
4.5 Observaciones a la evaluación de los usuarios
Las pruebas se realizaron con el 100% de la población de niños del CAM en edad escolar con diferentes grados de problemas de lenguaje y que tenían únicamente este problema (hay más niños que presentan múltiples problemas tales como motrices, de atención, etc.), los niños fueron seleccionados considerando el horario en que asisten a su tratamiento en dicho lugar.
El objetivo de las pruebas de usabilidad consistió en determinar qué tan usable es el videojuego para niños con problemas de lenguaje del CAM de Tizimín, además, se pudo determinar si las animaciones resultan motivadoras para los niños y el grado de interés que despiertan en ellos considerando los colores, animaciones y personajes.
Los instrumentos que se utilizaron son tres y con ellos se pretendía medir:
1. La familiaridad del niño con el uso de una computadora.
2. La facilidad de realizar determinadas actividades durante el juego.
3. La aceptación del juego a través de: su facilidad de interacción (mouse y teclado), su ambiente y la motivación de jugar con él.
Todas las interacciones de los niños con los juegos fueron grabadas en una computadora, con lo cual se pudieron evaluar algunos aspectos que no fueron detectados al momento de realizar las pruebas.
El resultado de las pruebas de usabilidad y aceptación de los tres juegos se presentan a continuación:
YUC-2004-C03-028 Pág. 13
a) Memorama.
Los resultados son los siguientes:
• Al aplicarse el instrumento para medir la familiaridad del niño con una computadora, se detectó que los niños no están familiarizados con el uso de la misma, por lo que se sugirió realizar con ellos un entrenamiento previo al uso del juego; para interactuar con el mouse y el teclado, solamente el 25% de los niños había utilizado una computadora para jugar, editar texto (Word) y/o editar imágenes (Paint).
• Al aplicarse el instrumento para medir la facilidad de realizar determinadas actividades durante el juego, se obtuvo que aquellas actividades que involucraba el uso del mouse (seleccionar a los personajes y seleccionar las piedras) les fue complicado a los niños por el manejo del mismo, ya que como se mencionó anteriormente los niños no están muy familiarizados con el manejo de una computadora. Sin embargo, a pesar de lo anterior, pudieron seleccionar los objetos y botones deseados, lo cual permite concluir que la ubicación, tamaño y color de los mismos es el adecuado.
• Al aplicarse el instrumento para medir la aceptación del videojuego, se observó que el videojuego tiene un ambiente atractivo pues los niños muestran mucho interés por el juego ya que la temática les resulta fácil y familiar, además de los colores, imágenes y la motivación a pronunciar palabras por la animación graciosa que realizan los objetos.
• En las grabaciones se observó que el juego es un reto a vencer, ya que los niños se esforzaban por pronunciar correctamente las palabras, incluso elevaban la voz o repetían la palabra varias veces.
Aspecto observado Sí No
Experiencia con el uso de la computadora 25% 75%
Selección de objetos y botones deseados Interés observado hacia el juego
100%
90%
0%
10%
Tabla 1. Resultados obtenidos al evaluar la usabilidad del Memorama
Algunos de los comentarios hechos por los niños son los siguientes:
1. No es que no me guste, lo que pasa es que esta muy difícil, se parece al que juego con la maestra y por eso está bonito, pero no me gusta por que no sé usar el ratón 2. Es difícil mover la mano (el ratón) para agarrar las piedras.
3. Me gusta ver como se mueven los muñecos, sobre todo el gato, por eso quiero pronunciar bien la palabra.
4. Es lo mismo que hacemos a veces con la maestra pero en papel, esta más bonito así en la computadora.
5. Me gusta ver que se muevan los muñecos, pero me cuesta trabajo decir sus nombres.
6. Me gusta porque me divierto y así no tengo clase.
Algunas observaciones realizadas por los evaluadores son las siguientes:
1. No sabe leer y requiere ayuda con los textos
2. Le desespera el movimiento del ratón, tiene poco control 3. El niño quería seguir jugando
4. Los niños sonreían al jugar
YUC-2004-C03-028 Pág. 14
b) Gravedad.
Se utilizó la misma población que en el juego de Memorama, en este caso se utilizaron dos instrumentos y ya no se midió la familiaridad del niño con la computadora.
Los resultados son los siguientes:
• Las actividades en las que se requieren el uso del mouse se les complica y las actividades que requieren el uso del teclado les fue fácil, se pudieron realizar todas las actividades aunque con algunas complicaciones.
• El instrumento que mide el grado de aceptación del videojuego arrojó resultados satisfactorios, ya que los niños continuaban jugando, les agrado los colores y las animaciones, esto se comprobó al tratar de pronunciar correctamente el nombre del objeto cuando este se encuentra con un contorno verde para que el alux realice una pirueta.
• Los niños preferían jugar que ir a sus clases de rehabilitación con sus maestras.
Aspecto observado Sí No
Selección de opciones y posicionamiento del personaje con el teclado
Interés observado hacia el juego
100%
95%
0%
5%
Tabla 2. Resultados obtenidos al evaluar la usabilidad de Gravedad
Algunos de los comentarios hechos por los niños son los siguientes:
1. Me gusta jugar, pero me molesta utilizar el ratón por que me da trabajo, pero con los botones (teclas) es facilito.
2. Quería seguir jugando pero me dijeron que se acabo el juego.
3. Los colores se parecen a los semáforos de la calle.
4. Esta divertido por que si no atrapo los objetos en la cocina se caen y manchan todo.
5. Me gusta ver como el alux da volantines (piruetas) por que digo las palabras bien cuando están verdes las cosas.
Algunas observaciones realizadas por los evaluadores son las siguientes:
1. Los niños no saben leer y dicen el nombre equivocado del objeto, algunos casos le aciertan y otros no.
2. Los niños querían volver a jugar.
3. Los niños que saben leer jugaban prácticamente solos, no requieren de mucha ayuda.
4. A través de sus gestos de la cara se podía ver la motivación de decir los nombres de forma correcta de los objetos antes de que cambié su contorno.
c) Rescate.
Los resultados son los siguientes:
• Al aplicar el instrumento para medir la facilidad de realizar determinadas actividades durante el juego se obtuvo un éxito total, ya que los niños pudieron seleccionar de forma correcta todo lo que se le pidió con el Mouse. En cuanto al uso del teclado no les provoco ningún problema.
• Al aplicar el instrumento para medir la aceptación del videojuego se observó que el
videojuego tenía un ambiente llamativo, pues los niños muestran un gran interés en el videojuego y desean seguir jugando. La temática les fue divertida ya que pudieron jugar casi sin asesoría por lo que se puede decir que el videojuego es muy intuitivo.
• En las grabaciones se observó una mayor precisión de algunos de los niños para seleccionar con el mouse. Además de querer terminar la zona de adivinanzas para seguir evadiendo obstáculos.
Aspecto observado Sí No
Selección de opciones de respuesta.
Movimiento del personaje.
Evadir los obstáculos que aparecen en el camino Interés observado hacia el juego
100%
100%
75%
100%
0%
0%
25%
0%
Tabla 3. Resultados obtenidos al evaluar la usabilidad de Rescate
Algunos de los comentarios hechos por los niños son los siguientes:
1. Quiero seguir jugando.
2. Está chistoso cuando el muñeco brinca para que no choque.
3. ¡Está bien fácil!
4. Así juega mi hermano en la tele y no me lo presta.
5. Está bonito el cochinito que aparece.
Algunas observaciones realizadas por los evaluadores son las siguientes:
1. Los niños que no saben leer se les dificulta por no saber el nombre correcto de la respuesta.
2. Les es muy fácil jugar este videojuego, e incluso comparado con los demás este fue el más fácil de jugar.
3. Un niño encontró una técnica para no colisionar con los obstáculos y siguió jugando.
Jugo dos veces el videojuego en sus tres niveles sin queja alguna.
4. Se notaba su emoción durante el juego, ya que estos reían durante este proceso.
5. Se nota la desesperación de los niños por no colisionar con los objetos.
5. APLICACION DE LOS RECURSOS FINANCIEROS 5.1 Resumen financiero
Al principio del desarrollo del proyecto se adquirió una computadora portátil y una impresora láser que se tenían programados, estas dos herramientas fueron muy útiles durante todo el proyecto. La computadora portátil se utilizó para el diseño y creación de los tres juegos y la impresora láser para imprimir todos los manuales y documentos técnicos.
Durante el desarrollo del proyecto se ejerció el apoyo a los dos asistentes del proyecto.
Este apoyo inició a partir del mes de junio de 2006 y tuvo vigencia por un año.
Asimismo, en el mes de mayo de 2006 parte del grupo de trabajo asistió a un congreso de videojuegos realizado en la ciudad de Mérida, la asistencia a este congreso fue muy útil ya que se hicieron contactos con personas que nos apoyaron en las siguientes etapas y nos proporcionaron material de guía.
YUC-2004-C03-028 Pág. 15
YUC-2004-C03-028 Pág. 16
Para el apoyo en la adquisición de material bibliográfico se ejerció casi la totalidad de lo presupuestado, se realizaron compras de libros que fueron útiles para la programación del sistema, especialmente en el área de animación y elaboración de los gráficos de los juegos.
Cabe mencionar que no se ejerció el apoyo a estancias de extranjeros, ya que las personas contactadas en el área de videojuegos, generalmente son gente que tiene un negocio y no les es fácil venir a ofrecer apoyo presencial, sin embargo, apoyaron a través del Internet.
Se realizó la difusión del proyecto a través de la publicación de un artículo en la revista Research in Computing Science, Advances in Artificial Intelligence and Applications, ISSN:
1870-4069. Asimismo en dos foros Internacionales (CLIHC 2007 en conjunto con el INTERACT 07 realizada en Río de Janeiro, Brasil; y en la Conferencia IADIS Ibero Americana WWW/Internet 2007 realizada en Vila Real, Portugal) y uno nacional (6th Mexican International Conference on Artificial Intelligence realizada en la ciudad de Aguascalientes). Para estas actividades se ejercieron las partidas de pasajes, viáticos, inscripciones y publicaciones.
Asimismo participantes del proyecto asistieron al Congreso de Tecnologías de la Información realizada en la ciudad de Mérida en el mes de abril de 2007.
5.2 Resumen de aportaciones complementarias
Por parte de la institución se proporcionaron los materiales de consumo solicitados para el proyecto, tales como materiales de oficina, papelería, consumibles, discos, entre otros.
Asimismo, durante el desarrollo del proyecto se proporcionó la computadora de escritorio solicitada. En esta computadora se desarrollaron parte de los tres juegos. Cabe mencionar que durante el desarrollo del proyecto se tuvo un problema técnico con la computadora que primeramente se había asignado, pero ante la eventualidad presentada la computadora fue reemplazada.
6. RECOMENDACIONES
6.1 Para la implantación de las acciones derivadas de la investigación Para un mejor rendimiento del Sistema Fonetix se recomienda lo siguiente:
1. Instalar el sistema en una computadora que tenga al menos un lector de CD y bocinas.
2. El área de trabajo sea un lugar con el menor ruido posible, si hay ventiladores que no giren muy fuerte, en donde el niño y el profesor perciban un lugar agradable y cómodo.
3. Aunque el Sistema Fonetix este instalado en varias computadoras, al momento de interactuar con los juegos solamente una computadora este en uso, ya que por pruebas realizadas al interactuar al mismo tiempo dos o más computadoras el rendimiento del reconocedor de voz decrece.
YUC-2004-C03-028 Pág. 17
4. Al interactuar el niño con los juegos que siempre este acompañado por un profesor o un adulto para apoyarlo en las dudas que se le presente como la pronunciación de alguna imagen.
5. Utilizar un micrófono de diadema o de pie con reductor de ruidos, se tuvo un mejor rendimiento con un micrófono de la marca Logitech.
6. Capacitar a uno o dos profesores que tengan facilidad para manejar la computadora para que sean los administradores del Sistema Fonetix, esto es para realizar las actividades de respaldar y recuperar la base de datos del sistema.
7. Antes de utilizar el software en alguna Institución, es importante capacitar a los profesores del área de lenguaje en el uso y funcionalidad del Sistema Fonetix.
8. Los juegos pueden utilizarse dentro del Sistema Fonetix, así como fuera de él, esta modalidad no almacena las palabras reconocidas y puede ser utilizado como una sesión de práctica.
6.2 Para la difusión de los resultados
El Sistema Fonetix (Memorama, Gravedad y Rescate) puede utilizarlo toda persona o niño que tenga problemas de lenguaje y quisiera de manera divertida, amigable, ágil, dinámica y lúdica practicar los fonemas del español.
De manera directa el Sistema Fonetix se va a utilizar en el Centro de Atención Múltiple (CAM) de la ciudad de Tizimín, Yucatán, pero el software puede ser utilizado en cualquier CAM del Estado de Yucatán, así como en cualquier escuela primaria del Estado que tenga un centro de atención de lenguaje.
Como anteriormente se mencionó, el Sistema Fonetix puede ser utilizado más allá del Estado de Yucatán, ya que existe el interés de personas que tienen hijos con problemas de lenguaje que se encuentran en otros estados de la República (San Luís Potosí y Guanajuato) e incluso en otros países (Perú), que quisieran obtener el Sistema Fonetix y utilizarlo en sus hijos.
Debido a este interés se esta analizando la posibilidad de crear una página Web del proyecto en la que se brinde mayor información del software y se indique los mecanismos para obtener el Sistema, incluso ofrecer versiones demos o descargables. También se esta analizando con las autoridades de la UADY, la posibilidad de comercializar con el software, esto sería para las personas que le den un uso particular. Este ingreso se utilizaría para financiar el apoyo a estudiantes para realizar mejoras y mantenimiento al Sistema Fonetix y de esta manera darle continuidad al proyecto y brindar a la sociedad una herramienta actualizada en el apoyo a niños con problemas de lenguaje.
7. ANEXOS
Anexo 1 Desarrollo de la investigación
En la primera etapa del proyecto, se realizaron reuniones entre el equipo de trabajo y con las profesoras del Centro de Atención Múltiple (CAM) de la ciudad de Tizimín, para definir los requerimientos, alcances y límites del sistema. Durante estas reuniones se definieron las funciones del Sistema Fonetix: las que corresponden a las maestras, las de los niños, las funciones de seguridad, las de respaldo y recuperación de la información. Asimismo, se definió para el mecanismo de seguridad al tipo de usuario “maestra-administrador” que
YUC-2004-C03-028 Pág. 18
realiza las funciones de respaldar y recuperar la base de datos. Entre las funciones a realizar por la maestra se definió que ella pueda definir los niveles, modos y ambientes de interacción con el sistema para cada niño según su avance en su proceso de rehabilitación.
Una vez definidos los requerimientos, se trabajó en el análisis y diseño del proyecto, en el que se describieron las clases y diagramas de secuencia de cada uno de los casos de uso del Sistema Fonetix. En estos diagramas se presenta la interacción de cada uno de los elementos del Sistema y las acciones a realizar por cada una de las funciones del mismo.
Esto permitió definir con mayor claridad los alcances y límites del proyecto. Los documentos de requerimientos y de diseño se realizaron de acuerdo con el Modelado en UML.
Durante los trabajos del diseño del Sistema Fonetix, se realizaron dos prototipos de interfaces con reconocimiento de voz, para la parte gráfica de los juegos; una se realizó con el lenguaje de programación Java y la otra con el lenguaje C, esto permitió realizar pruebas en cuanto a la conectividad, velocidad en el manejo de gráficos y requerimientos de la memoria con ambos lenguajes, ya que la parte de reconocimiento de voz en ese momento se había realizado con el lenguaje Java y las librerías de graphvite de HTK.
Estas actividades aunque se habían definido para la siguiente etapa del proyecto, fue necesario realizarlas en la primera etapa para definir el lenguaje de programación y algunos elementos que se requerían para realizar el diseño del sistema.
Realizadas las pruebas se concluyó que se utilizaría el lenguaje C, ya que este lenguaje de programación proporcionaba mayores ventajas que el lenguaje Java. Asimismo se determinó utilizar las librerías de SDL (en lugar de Allegro) para desarrollar los juegos (interfaces gráficas), ya que las librerías de SDL (Simple Direct mediaLayer) brindaban un mayor número de opciones y facilidades para lo que se pretendía desarrollar en este proyecto. Con lo anterior, se determinó utilizar el entorno de programación QT para el desarrollo de las otras funcionalidades del Sistema Fonetix (definidas en el documento de diseño) considerando que este lenguaje de programación emplea el lenguaje C y con ello se tendría total conectividad entre las partes del sistema.
Una vez definido lo anterior, en reuniones con el equipo de trabajo se determinaron los tres juegos a desarrollar: Memorama, Gravedad y Rescate para cada uno de los módulos básico, medio y avanzado, respectivamente. En la segunda etapa del proyecto se desarrollaría el juego de Memorama. Una vez definidos los juegos, se sostuvieron reuniones entre el equipo de trabajo y las profesoras del Centro de Atención Múltiple (CAM) de la ciudad de Tizimín, para presentarles las propuestas de los juegos. En estas reuniones las maestras hicieron sus comentarios y ayudaron a definir la interacción de los juegos de Memorama y Gravedad, quedando para futuras reuniones definir el juego de Rescate.
Para la segunda etapa se desarrolló un prototipo del juego de Memorama, que contenía la animación de algunas imágenes, niveles de complejidad y sonidos de ambiente. Asimismo, se definió el conjunto de palabras directas e indirectas a reconocer en el sistema y se empezaron a elaborar las imágenes para su animación en el juego. Para definir el conjunto de palabras se contó con el apoyo de las maestras del CAM participantes en el proyecto.
Al llegar el tiempo de finalizar esta etapa aún faltaba concluir el juego de Memorama,
YUC-2004-C03-028 Pág. 19
integrarle el módulo de reconocimiento de voz y terminar de elaborar las imágenes correspondientes al conjunto de palabras.
Durante la tercera etapa, primeramente se concluyó con el desarrollo de la interfaz del juego de Memorama (módulo Básico) y se logró su integración con el módulo de reconocimiento de voz. Asimismo, se actualizó el Documento de Diseño del Memorama ya que se hicieron modificaciones a la historia y adecuaciones al juego para tener compatibilidad con las historias de los módulos Medio (Gravedad) y Avanzado (Rescate).
Para integrar el juego de Memorama con el módulo de reconocimiento de voz se desarrollaron unos scripts (en el lenguaje C) que utilizan los comandos de HTK necesarios para el reconocimiento de voz. Estos scripts se crearon para no depender de las librerías de graphvite, ya que estas fueron descontinuadas y al hacer uso de ellas generaban muchos problemas en su instalación y no permitían utilizar kernels de Linux recientes. Esto último, impedía crear un Live-DVD, idea que permitiría la portabilidad del software.
Independientemente de estos scripts, para el módulo de reconocimiento de voz se desarrollaron los modelos fonéticos, de pronunciación y de lenguaje del juego de Memorama.
Para la tercera etapa se desarrolló el prototipo del juego de Gravedad, que contenía la animación de algunas imágenes y sonidos de ambiente. Asimismo, se definió el conjunto de palabras mixtas y trabadas a reconocer en el sistema y se empezaron a elaborar las imágenes para su animación en el juego. El prototipo ya tenía integrado el módulo de reconocimiento de voz. Para concluir el juego, faltaba terminar de crear las imágenes correspondientes al conjunto de palabras, la introducción y algunas pantallas del juego.
También, para este juego se elaboró la primera versión de su Documento de Diseño que contiene la historia y las características del mismo. Para el juego de Rescate (módulo Avanzado) únicamente se tenía definido el conjunto de palabras (diptongos) a utilizar y parte de su gramática.
En esta misma etapa se sostuvieron reuniones con las profesoras del Centro de Atención Múltiple (CAM) de la ciudad de Tizimín para que ellas convocaran a sus alumnos a dar nombre a los 4 personajes de los juegos. Esta actividad tuvo gran aceptación entre los niños del CAM.
En esta tercera etapa se realizaron pruebas para obtener un Live-DVD (ahora Live-CD) que contenga los juegos desarrollados, los módulos de reconocimiento de voz y el sistema operativo Linux y que a través de éste se pudieran ejecutar las aplicaciones en una computadora sin que se tenga instalado Linux.
Cabe mencionar que en esta misma etapa, se inició el desarrollo de las funcionalidades del Sistema Fonetix.
En la cuarta etapa, primeramente se integraron al Sistema Fonetix los juegos de Memorama y Gravedad, los cuales contenían el módulo de reconocimiento de voz.
Asimismo, para cada uno de los juegos se habían realizado actualizaciones. Para el juego de Memorama se incluyeron las introducciones de cada uno de los cuatro personajes, la tabla de posiciones por nivel de juego y su respectivo sonido de ambiente. Para el juego de Gravedad se actualizaron sus pantallas y se integraron sus sonidos de ambiente.
YUC-2004-C03-028 Pág. 20
En esta misma etapa para el Sistema Fonetix se habían desarrollado los módulos de altas, bajas y actualizaciones de los datos del niño, asimismo, se desarrollaron los módulos que permiten la integración e interacción con los juegos. Aún faltaban los módulos de configuración, generación de estadísticas, recuperación y respaldo de la base de datos.
Asimismo, se continuaron las pruebas para obtener un Live-CD que contenga el Sistema Fonetix. Se corrigieron algunas fallas que se tenían en la versión anterior.
En la quinta y última etapa, primeramente se integraron al Sistema Fonetix los tres juegos del proyecto: Memorama, Gravedad y Rescate, los tres juegos contienen el módulo de reconocimiento de voz. Asimismo, para cada uno de los juegos se les aplicaron pruebas de Usabilidad y como resultado de estas pruebas se realizaron mejoras. Para el juego de Memorama se modificaron los sonidos de ambiente y las introducciones de cada uno de los cuatro personajes son ahora opcionales. Para el juego de Gravedad se actualizaron y personalizaron las pantallas de la cocina y se le agregaron animaciones al interactuar con el juego. Para el juego de Rescate se redujeron el número de adivinanzas por nivel y se integraron sus ambientes de sonido. Asimismo, para los tres juegos se hicieron pruebas para medir el grado de aceptación (se puede consultar en el apartado 4.5 de este informe final o en la tesis de José M. Cen Magaña) y los porcentajes de reconocimiento de voz con los niños del CAM de Tizimín (se puede consultar más adelante en este informe o en la tesis de Reyna del R. Camal Uc), los resultados fueron satisfactorios. Para el Sistema Fonetix se concluyeron los módulos que faltaban: el de configuración; generación de estadísticas; recuperación y respaldo de la base de datos.
Cabe mencionar que para el desarrollo de los tres juegos se requirió más tiempo de lo que se estimo en un principio, ya que en sus creaciones lo que mayor tiempo implicó fue el desarrollo de la parte gráfica de los juegos (introducción animada a los juegos, diseño de pantallas, crear y animar las imágenes de las palabras), aunque se contó con el apoyo de estudiantes realizando sus prácticas profesionales; en su momento fue insuficiente, ya que para este tipo de actividades creativas es necesario contar con un grupo numeroso de personas que dediquen la mayor parte de su tiempo a las mismas, ya que se necesita mucha creatividad y dedicación.
Para verificar si los juegos reconocerían la voz de los niños con problemas de lenguaje (funcionalidad), se realizaron pruebas a partir de las cuales se obtuvieron los siguientes porcentajes de reconocimiento de palabras correctas:
a) Memorama
La tabla 4 contiene los resultados obtenidos.
Jugador
Nivel de juego
No. de palabras reconocidas
No. de palabras no reconocidas
Total de palabras
Porcentaje de palabras reconocidas
(%) 1 3 x 3 3 1 4 75.00 2 3 x 3 4 0 4 100.00 3 3 x 3 3 1 4 75.00 4 3 x 3 3 1 4 75.00 5 3 x 3 4 0 4 100.00 6 4 x 4 6 2 8 75.00
YUC-2004-C03-028 Pág. 21
7 4 x 4 6 2 8 75.00 8 4 x 4 6 2 8 75.00 9 4 x 4 5 3 8 62.50 10 4 x 4 5 3 8 62.50 11 5 x 5 8 4 12 66.67 12 5 x 5 11 1 12 91.67 13 5 x 5 7 5 12 58.33 14 5 x 5 9 3 12 75.00 15 5 x 5 8 4 12 66.67 Porcentaje promedio de reconocimiento 75.56 %
Tabla 4. Resultados obtenidos al evaluar el módulo de reconocimiento de voz del juego Memorama
Se pudo observar que los porcentajes de reconocimiento menores al 75% corresponden a niños que están iniciando su tratamiento y por lo mismo, se les dificulta pronunciar una palabra, en términos generales, los resultados obtenidos son satisfactorios ya que el nivel promedio de reconocimiento es de un 75.56 %
b) Gravedad
En la tabla 5 se presentan los resultados obtenidos.
Jugador Nivel de juego
No. de palabras reconocidas
No. de palabras no reconocidas
Total de palabras
Porcentaje de palabras reconocidas (%)
1 Mixtas 13 0 13 100.00 2 Mixtas 12 1 13 92.31 3 Mixtas 12 1 13 92.31 4 Mixtas 10 3 13 76.92 5 Mixtas 10 3 13 76.92 6 Trabadas 12 1 13 92.31 7 Trabadas 13 0 13 100.00 8 Trabadas 9 4 13 69.23 9 Trabadas 11 2 13 84.62 10 Trabadas 10 3 13 76.92 11 Mixtas y trabadas 13 0 13 100.00
12 Mixtas y trabadas 9 4 13 69.23 13 Mixtas y trabadas 12 1 13 92.31 14 Mixtas y trabadas 11 2 13 84.62 15 Mixtas y trabadas 12 1 13 92.31 Porcentaje promedio de reconocimiento 86.67 %
Tabla 5. Resultados obtenidos al evaluar el módulo de reconocimiento de voz del juego Gravedad
Se pudo observar que los porcentajes de reconocimiento fluctúan entre el 70 y 100 %, en general, los resultados obtenidos son satisfactorios ya que el nivel promedio de reconocimiento es de un 86.67 %
YUC-2004-C03-028 Pág. 22
c) Rescate
En la tabla 6 se presentan los resultados obtenidos.
Jugador Nivel de juego
No. de palabras reconocidas
No. de palabras no reconocidas
Total de palabras
Porcentaje de palabras reconocidas (%)
1 Básico 6 3 9 66.67
2 Básico 7 2 9 77.78
3 Básico 9 0 9 100
4 Básico 9 0 9 100
5 Básico 7 2 9 77.78
6 Intermedio 12 3 15 80 7 Intermedio 11 4 15 73.33 8 Intermedio 15 0 15 100 9 Intermedio 12 3 15 80 10 Intermedio 14 1 15 93.33 11 Avanzado 18 3 21 85.71 12 Avanzado 17 4 21 80.95 13 Avanzado 20 1 21 95.24 14 Avanzado 18 3 21 85.71 15 Avanzado 17 4 21 80.95
Porcentaje promedio de reconocimiento 85.16%
Tabla 6. Resultados obtenidos al evaluar el módulo de reconocimiento de voz del juego Rescate
Se pudo observar que los porcentajes de reconocimiento fluctúan entre el 65 y 100 %, en general, los resultados obtenidos son satisfactorios ya que el nivel promedio de reconocimiento es de un 85.16 %
Como en su momento se reportó, durante el desarrollo del proyecto se tuvo un atraso en el desarrollo de los juegos y en la última etapa se corrigieron detalles de los mismos (como resultado del análisis de Usabilidad) y finalmente se concluyeron (principios del 2008).
Como se mencionó en los avances técnicos, lo que mayor tiempo implicó fue el desarrollo de la parte gráfica de los juegos, lo que impidió que los juegos se pudieran utilizar de forma cotidiana en el CAM de Tizimín y realizar todas las pruebas planeadas en los meses restantes, pero sí se pudieron realizar las pruebas de aceptación (apartado 4.5) y de funcionalidad (reconocimiento de voz), faltó verificar si los juegos ayudan a los niños del CAM en la rehabilitación, ya que para verificarlo se necesitan varios meses ya que cada niño tiene diferente grado de avance y ritmo en su proceso de rehabilitación. Se tiene contemplado realizar estas pruebas aún cuando el proyecto haya finalizado.
Asimismo, se obtuvo un Live-CD que contiene el Sistema Fonetix, los tres juegos desarrollados, los módulos de reconocimiento de voz y el sistema operativo Linux, logrando que a través de éste se pudieran ejecutar las aplicaciones en una computadora sin que se tenga instalado Linux, así como el permitir instalar el Sistema en una computadora. Se corrigieron algunas fallas que se tenían en la versión anterior.
La forma de integración de los juegos con el módulo de reconocimiento de voz se puede consultar en la tesis de Reyna Camal Uc o en las publicaciones del proyecto (anexo 3).
