Aplicación de realidad virtual orientada a la población sorda para el uso de equipos del laboratorio de electrónica de la UDFT

Texto completo

(1)APLICACIÓN DE REALIDAD VIRTUAL ORIENTADA A LA POBLACIÓN SORDA PARA EL USO DE EQUIPOS DEL LABORATORIO DE ELECTRÓNICA DE LA UDFT. JUAN JOSÉ CHAPARRO VARGAS. UNIVERSIDAD DISTRITAL FRANCISCO JOSÉ DE CALDAS FACULTAD TECNOLÓGICA TECNOLOGÍA EN ELECTRÓNICA FEBRERO 2019.. 1.

(2) APLICACIÓN DE REALIDAD VIRTUAL ORIENTADA A LA POBLACIÓN SORDA PARA EL USO DE EQUIPOS DEL LABORATORIO DE ELECTRÓNICA DE LA UDFT JUAN JOSÉ CHAPARRO VARGAS. Trabajo de grado como requisito para optar título de:. Tecnólogo en electrónica. Directora: Ing. Esperanza Camargo Casallas PhD. UNIVERSIDAD DISTRITAL FRANCISCO JOSÉ DE CALDAS FACULTAD TECNOLÓGÍCA TECNOLOGÍA EN ELECTRÓNICA FEBRERO 2019.. 2.

(3) NOTA DE ACEPTACIÓN. _____________________________________ _____________________________________ _____________________________________ _____________________________________ _____________________________________ _____________________________________ _____________________________________ _____________________________________ _____________________________________ _____________________________________ _____________________________________. ____________________________ Evaluador 1. ____________________________ Evaluador 2. 3.

(4) Agradecimientos. En primera instancia agradezco a mi familia por el apoyo brindado, la comprensión y el cariño, a Dios por no dejar que me rindiera y seguir cada día, a mis colegas por cada momento en el que necesité ayuda y estuvieron para apoyarme y colaborar en lo que pudieron, la profesora e ingeniera Esperanza Camargo por su comprensión, consejos, apoyo y por siempre estar pendiente, al proyecto de investigación ACACIA UD-UE por darme la oportunidad de trabajar a su lado y su acompañamiento en todo el proceso llevado acabo, a la interprete Ruth Esperanza Pinzón Pérez por el trabajo realizado en los videos de traducción al lenguaje de señas al igual que la señora Erika por su asistencia en esta parte del proyecto. A demás ingenieros y docentes de la Universidad Distrital Francisco José de Caldas, Facultad Tecnológica tanto del proyecto curricular de Tecnología en Electrónica como de Tecnología en Sistematización de datos por aquellos momentos en los que tenía dudas pertinentes al proyecto y muy cordialmente me ayudaron a esclarecerlas y ofrecer soluciones.. 4.

(5) RESUMEN: El proyecto consiste en el desarrollo de una aplicación que sirve como herramienta para la comprensión y buena realización de las prácticas llevadas a cabo por estudiantes de Tecnología en Electrónica e Ingeniería en Control y Telecomunicaciones en los laboratorios de electrónica básica de la Universidad Distrital Francisco José de Caldas, Facultad Tecnológica, más específicamente hablando, la población con déficit auditivo. El estudiante por medio de la cámara de su dispositivo móvil (Tablet o celular) enfoca un código QR el cual está adherido a un costado del equipo (osciloscopio o generador de ondas), usando la aplicación que se encargará de escanear la imagen y proyectar al usuario un modelo 3D que corresponde bien sea a un osciloscopio o un generador de ondas dependiendo del código QR enfocado y la opción seleccionada previamente. Luego, al oprimir el modelo 3D en cualquier lado se reproduce un video de bienvenida y al finalizar se visualiza una interfaz 2D cargada con videos explicativos de las funciones de cada botón en el equipo. Adicionalmente cuenta con un módulo para añadir nuevos manuales para otros equipos al igual que una sección de precauciones. La aplicación se llama “Real electronic lab”; está diseñada con el lenguaje de programación JavaScript usando el software Android Studio, Unity 2017.3.1f1, SketchUp 2017 y Vuforia. Como se mencionó, la población a la que vá dirigida esta aplicación son los estudiantes con discapacidad auditiva, a lo cual se adapta el lenguaje de señas, además de un sistema de subtitulado, sin embargo, la aplicación puede ser empleada por cualquier otro estudiante, pues el proyecto se presenta con el objetivo de educación con mayor inclusión.. Palabras clave: Realidad virtual, educación inclusiva, discapacidad auditiva, lenguaje de señas.. 5.

(6) ABSTRACT: The project consisted in the development of an application which works as a tool for the understanding and proper execution of the practices carried out by the students of Technology in Electronic and Engineering in Control and Telecommunications on the laboratories of electronic basic at the District University Francisco José de Caldas, Technology Faculty, specifically, the population with hearing disability. The user, in this case, the student, through the camera of their mobile device (Tablet or smartphone) scan a QR code, which is adhered to the equipment (oscilloscope or a wave generator), using the application which will scan the image and then lead the student to a 3D interface which resemble either an oscilloscope or a wave generator depending of the QR code and, then can interact with it, creating an experience as real as possible. The application name is “Real electronic lab”; it is designed in JavaScript using the software Android Studio, Unity 2017.3.1f1, SketchUp 2017 and Vuforia. As said, the target group is the student community with hearing impairment, using a system of sign language, as well as closed caption. The application, however, can be used by any student, as the goal of this project is inclusion.. Keywords: Virtual reality, inclusive education, hearing impairment, sign language.. 6.

(7) Contenido RESUMEN: ....................................................................................................................................... 5 ABSTRACT: ..................................................................................................................................... 6 1. INTRODUCCIÓN .................................................................................................................... 10. 2. PROBLEMÁTICA................................................................................................................... 11 2.1. 3. OBJETIVOS .................................................................................................................... 12. 2.1.1. GENERAL ................................................................................................................ 12. 2.1.2. ESPECÍFICOS ........................................................................................................ 12. ESTADO DEL ARTE ............................................................................................................. 12 3.1. ARLAB: LABORATORIO CON REALIDAD AUMENTADA .................................. 13. 3.2. IMPLEMENTACIÓN DE UN OSCILOSCOPIO EN UNA PLATAFORMA DE. INSTRUMENTACIÓN VIRTUAL RECONFIGURABLE ....................................................... 13 3.3. REALIDAD AUMENTADA Y EDUCACIÓN: ANÁLISIS DE EXPERIENCIAS. PRÁCTICAS ............................................................................................................................... 15 3.4. CÓDIGOS QR Y REALIDAD AUMENTADA EN EL AULA DE MATEMÁTICAS 19. 3.5 4. REALIDAD AUMENTADA: UNA TECNOLOGÍA EN ESPERA DE USUARIOS 22. MARCO TEÓRICO ................................................................................................................ 22 4.1. MARCO CONCEPTUAL ............................................................................................... 23. 4.1.1. DISCAPACIDAD AUDITIVA O HIPOACUSIA ................................................... 23. 4.1.2. EDUCACION INCLUSIVA ..................................................................................... 24. 4.1.3. SISTEMA DE SUBTITULADO.............................................................................. 25. 4.1.4. LENGUAJE DE SEÑAS ........................................................................................ 26. 4.1.5. REALIDAD VIRTUAL ............................................................................................. 27. 4.2. ESPECIFICACIONES TÉCNICAS .............................................................................. 28. 4.2.1. UNITY3D .................................................................................................................. 28. 4.2.2. VUFORIA ................................................................................................................. 30. 4.2.3. SKETCHUP ............................................................................................................. 32. 4.2.4. VISUAL STUDIO 2017 .......................................................................................... 32 7.

(8) 4.2.5 5. ANDROID STUDIO ................................................................................................ 33. METODOLOGÍA..................................................................................................................... 34 5.1. DIAGRAMA DE BLOQUES ......................................................................................... 34. 5.2. DIAGRAMA DE FLUJO DEL PROYECTO ............................................................... 35. 5.3. MARCADORES 2D........................................................................................................ 36. 5.4. DESARROLLO ............................................................................................................... 36. 6. PRUEBAS Y RESULTADOS ............................................................................................... 37. 7. RECOMENDACIONES Y SUGERENCIAS ....................................................................... 47 7.1. RECOMENDACIONES Y SUGERENCIAS PARA EL USUARIO ......................... 47. 7.2. RECOMENDACIONES Y SUGERENCIAS TÉCNICAS .......................................... 47. 8. CONCLUSIONES................................................................................................................... 48. 9. REFERENCIAS ...................................................................................................................... 49. 8.

(9) Lista de figuras Imagen 1 Ilustración alusiva a la discapacidad auditiva o hipoacusia ................. 24 Imagen 2 Ilustración alusiva a la educación inclusiva .......................................... 25 Imagen 3 Abecedario del lenguaje de señas ....................................................... 26 Imagen 4 Expresiones en lenguaje de señas ....................................................... 27 Imagen 5 Expresiones en lenguaje de señas ....................................................... 27 Imagen 6 Logo del software Unity ........................................................................ 29 Imagen 7 Logo del software SketchUp ................................................................. 32 Imagen 8 Logo del software Android Studio ......................................................... 33 Imagen 9 Marcador, código QR del generador de ondas ..................................... 36 Imagen 10 Marcador, código QR del osciloscopio................................................ 36 Imagen 11 Osciloscopio Rigol DS1102E .............................................................. 38 Imagen 12 Generador de ondas SCIENTIFIC SM5030-5 ..................................... 38 Imagen 13 Diseño del modelo 3D del generador de ondas basado en el equipo SCIENTIFIC SM5030-5 ......................................................................................... 38 Imagen 14 Diseño del modelo 3D del osciloscopio basado en el equipo DS1102E .............................................................................................................................. 39 Imagen 15 Diseño de escenas en Unity 2017.3.1f1 ............................................ 39 Imagen 16 Interfaz de usuario en realidad virtual del osciloscopio ....................... 39 Imagen 17 Interfaz de usuario en realidad virtual del generador de ondas .......... 40 Imagen 18 Interfaz fija 2D del osciloscopio........................................................... 40 Imagen 19 Interfaz fija 2D del generador de ondas .............................................. 40 Imagen 20 Página 1 de 3 de diálogos de los videos ............................................. 41 Imagen 21 Página 2 de 3 de diálogos de los videos ............................................. 42 Imagen 22 Página 3 de 3 de diálogos de los videos ............................................. 43 Imagen 23 Videos realizados en sala de prácticas de la UDFT............................ 44 9.

(10) Imagen 24 Archivos .SRT ..................................................................................... 44 Imagen 25 Ejemplo de video resultado ................................................................ 45 Imagen 26 Recuadro para insertar licencia del SDK ........................................... 46. Lista de diagramas Diagrama 1 Diagrama de bloques de los datos del SDK Vuforia. ........................ 30 Diagrama 2 Diagrama de bloques del proyecto ................................................... 34 Diagrama 3 Diagrama de flujo de la aplicación .................................................... 35. 1 INTRODUCCIÓN En el proceso de aprendizaje se hace fundamental la comunicación entre el educador y el educando, pues éste se basa en la transferencia de información, conceptos, prácticas y demás para que de esta manera, el estudiante adquiera de forma exitosa el conocimiento que se le quiere impartir. Siendo entonces la comunicación entre estas dos partes algo tan indispensable, ésta no debe ser afectada puesto que impactaría de forma directa el objetivo principal de éste proceso que en resumidas cuentas, es que el estudiante aprenda. Ahora bien, algo muy importante en esta labor, es llevar a la práctica los conceptos instruidos en el alumnado, pues ésta es una muy buena técnica de enseñanza, dado que familiariza de forma directa al aprendiz con el tema en cuestión. Por otro lado, cuando el estudiante no cuenta con las capacidades ya sea físicas o psicológicas necesarias, se torna aún más complicado el asunto, pues éste requiere de un tratamiento especial. Particularizando el tema, se hablará entonces de los estudiantes con discapacidad auditiva, quienes al tener este “obstáculo comunicativo” precisan de dicho tratamiento especial. La tecnología es ahora un instrumento básico de trabajo en cualquier ámbito, pues se encuentra al servicio de la sociedad y se ha extendido inclusive hasta la 10.

(11) comodidad de los hogares, es por esto que al incluirla dentro del campo educativo resulta muy provechoso y útil para el aprendizaje del estudiante. Ahora bien, considerando una educación inclusiva debemos pensar también como se puede articular. esta. herramienta. con. el. aprendizaje. de. los. estudiantes. con. discapacidades, más específicamente hablando, a aquella población con discapacidad auditiva. La realidad virtual, es un gran avance tecnológico que le abre al mundo gran cantidad de aplicaciones en diversos ámbitos, entonces, como se mencionó anteriormente al articular éste concepto en la educación resulta ser muy benéfico pues estimula el progreso del aprendizaje de una manera muy eficaz, generando soluciones didácticas y dinámicas con respecto al tema interactivo y respecto al comunicativo se plantea la idea de la traducción al lenguaje de señas al igual que un sistema de subtitulado para así cumplir con el objetivo de la educación inclusiva.. 2 PROBLEMÁTICA En el proceso de aprendizaje se hace fundamental la comunicación entre el educador y el educando, pues éste se basa en la transferencia de información, conceptos, prácticas y demás para que de esta manera, el estudiante adquiera de forma exitosa el conocimiento que se le quiere impartir. Siendo entonces la comunicación entre estas dos partes algo tan indispensable, ésta no debe ser afectada puesto que impactaría de forma directa el objetivo principal de éste proceso que en resumidas cuentas, es que el estudiante aprenda. Ahora bien, algo muy importante en esta labor, es llevar a la práctica los conceptos instruidos en el alumnado, pues ésta es una muy buena técnica de enseñanza, dado que familiariza de forma directa al educando con el tema en cuestión. Por otro lado, al verse afectado éste proceso comunicativo se incurre en la susceptibilidad de accidentes debido al desconocimiento o imprudencia de la población estudiantil en éstos espacios pedagógicos. Particularizando la situación, éstos hechos son propensos a ocurrir en mayor medida en la población con discapacidades sensoriales y/o anatómicas, a consecuencia de sus condiciones de salud menos favorables, dentro de lo cual se 11.

(12) hace énfasis en la población estudiantil con déficit auditivo, debido a que al momento de la explicación del proceso a realizar en las prácticas de laboratorio, a esta población se le dificulta la posibilidad de la lectura de los labios, ya que quien manipula los equipos esta frente a éstos dando la espalda a los estudiantes. Teniendo en cuenta que el mal manejo de los equipos de laboratorio puede causar el deterioro, accidentes al que esté maniobrándolos y en ocasiones el daño total de dichos instrumentos, esto genera costos para la institución y situaciones de malestar al estudiante, su familia y seres queridos. Por lo tanto el desarrollo de una aplicación de realidad virtual para dispositivos móviles es ideal en este caso, pues su funcionalidad de presentar un entorno al usuario de una realidad alterna se adapta a la población con déficit auditivo, la cual se vale de herramientas visuales para comunicarse.. 2.1 OBJETIVOS 2.1.1 GENERAL Desarrollar una aplicación de realidad virtual orientada a la población sorda para el uso de equipos del laboratorio de electrónica de la UDFT. 2.1.2 ESPECÍFICOS  Desarrollar un manual virtual interactivo para el osciloscopio y generador de la sala de prácticas libres del laboratorio de electrónica de la UDFT. . Adaptar la aplicación de manera accesible para población con dificultad auditiva (traducción a lenguaje de señas y subtitulado).. . Desarrollar un módulo de actualización para la inclusión de nuevos manuales.. 3 ESTADO DEL ARTE Una de las principales dificultades de los procesos educativos es la transmisión de conocimientos por medios verbales o escritos, sin emplear ayudas visuales apropiadas que permitan al estudiante entender la temática tratada de una manera precisa y sencilla. Con el paso del tiempo, los procesos de enseñanza-aprendizaje han dejado de ser definidos por la interacción docente-tablero-alumno para 12.

(13) convertirse en un aprendizaje orientado por el docente y asistido por las nuevas tecnologías [1]. La tecnología denominada Realidad Aumentada presenta una alternativa para abordar esta área de oportunidad. Dicha tecnología incorpora un componente virtual sobre uno real, para generar un escenario mixto. Esta tecnología se ha usado en publicidad, revistas, juguetes, etc. Marcando una tendencia hacia el campo de la mercadotecnia y entretenimiento. Sin embargo, dicha tecnología puede ser incorporada al área pedagógica [2]. La realidad aumentada es una prometedora tecnología, ya presente en muchas aulas, que puede ayudar a mejorar el proceso de enseñanza-aprendizaje [3]. La Realidad Aumentada se puede definir como una técnica que permite añadir información virtual a la información física ya existente [4]. 3.1. ARLAB: LABORATORIO CON REALIDAD AUMENTADA. ARLAB es un laboratorio con realidad aumentada innovador ya que incorpora la tecnología de realidad aumentada a los experimentos clásicos de control y automatización industrial, permitiendo integrar y que interactúen varias tecnologías desarrollándose experimentos mixtos, parte real y parte virtual en 3D, que se visualiza con un dispositivo inteligente, como lo es un celular o tableta electrónica; con el fin de generar una visión del conocimiento más profunda y clara. Dada la necesidad de apoyos pedagógicos que refuercen las habilidades prácticas de los ingenieros, en particular Mecatrónicos, y la tendencia hacia el aprendizaje móvil y virtual, en este artículo se presenta ARLAB (Laboratorio con Realidad Aumentada). Que es un laboratorio basado en realidad aumentada y dispositivos móviles, que combinados con los elementos físicos clásicos del laboratorio permite desarrollar experimentos para reforzar y complementar el conocimiento teórico, así como las habilidades prácticas [2]. 3.2. IMPLEMENTACIÓN DE UN OSCILOSCOPIO EN UNA PLATAFORMA DE INSTRUMENTACIÓN VIRTUAL RECONFIGURABLE. 13.

(14) En este trabajo se presenta el desarrollo de un osciloscopio pensado para implementarse en una plataforma de instrumentación virtual reconfigurable. Esta plataforma está compuesta por módulos descritos en lenguajes de descripción de hardware para configurar una FPGA, un software para utilizar en una computadora de propósito general y una placa de desarrollo. Se enfatiza el diseño basado en bloques con el objeto de crear una librería de componentes que puedan ser reutilizados en otros diseños. La estructuración de información mediante sistemas hipermedia y multimedia, y las redes de comunicación de área extendida, es decir, Internet, son herramientas valiosas en la creación de sistemas de apoyo al aprendizaje, de materias dotadas de una componente práctica no muy fuerte. Una de las soluciones de e-learning más interesantes son los laboratorios [5]. A diferencia de los instrumentos tradicionales, los cuales están contenidos completamente en su propia “caja”, un instrumento virtual está compuesto por una computadora de propósito general, un software y una o más unidades de hardware externas. El software posee una interfaz gráfica que emula el panel de control del instrumento y permite realizar la visualización de las señales de entrada o el control de las señales de salida. Dentro de las unidades de hardware externas se realiza el acondicionamiento, la conversión A/D, D/A y cierto tipo de control y procesamiento en tiempo real de las señales que no pueda ser realizado en la PC. La instrumentación virtual permite brindar una mayor flexibilidad y reducir costos en la implementación de los diferentes instrumentos utilizados en laboratorios, gracias al aprovechamiento de los recursos disponibles en las computadoras modernas. Mediante la utilización de dispositivos lógicos programables para la implementación del control y procesamiento en las unidades de hardware externa, es posible pensar en un instrumento virtual reconfigurable. Se entiende por esto un versátil dispositivo de hardware capaz de ser reconfigurado para utilizarlo como diferentes instrumentos virtuales. Este panorama se diferencia mucho de las arquitecturas de hardware más rígidas, ya que posibilita el cambio o la. 14.

(15) modificación del instrumento a través de la reconfiguración de la lógica del mismo y de la utilización del software correspondiente en la PC. Una plataforma de instrumentación virtual involucra la creación de un conjunto de bibliotecas tanto de software como de hardware (IP Cores) y la utilización de una placa de desarrollo con FPGA que posea los componentes adecuados. Para ello se enfatiza la utilización de un diseño basado en bloques reutilizables y la publicación de los códigos bajo una licencia de código abierto, lo que permite nuevos diseños basados en fuentes previamente desarrolladas, facilitando la incorporación de otros instrumentos o mejoras a la plataforma. Existen abordajes anteriores en el campo de la instrumentación virtual reconfigurable, pero éstos han puesto poco énfasis en la construcción de bloques de FPGA reutilizables. Este trabajo pretende colaborar con la creación de esta plataforma de instrumentación virtual reconfigurable. Para ello se presenta el diseño de un osciloscopio virtual completo y funcional, desarrollado siguiendo las ideas planteadas, como punto de partida para el proyecto [6].. 3.3. REALIDAD AUMENTADA Y EDUCACIÓN: ANÁLISIS DE EXPERIENCIAS PRÁCTICAS. La Realidad Aumentada, a partir de ahora RA, es una tecnología que superpone a una imagen real obtenida a través de una pantalla imágenes, modelos 3D u otro tipo de informaciones generados por ordenador. Un ejemplo muy claro e ilustrativo de este tipo de escenarios se tienes en conocidos videojuegos como Invizimals que aplican esta tecnología. A pesar de que el concepto de RA se remonta a la década de 1960, el primer sistema formal de RA no se desarrolló hasta los años 90 por la compañía Boeing. A partir de entonces, se han ido llevando a cabo distintas conferencias sobre el tema incluyendo simposios internacionales sobre la RA o sobre los mundos virtuales, y los investigadores se han visto atraídos por las posibilidades de esta. 15.

(16) tecnología .La definición más popular sobre RA es la dada por Milgram y Kishino quienes indican que: “entre un entorno real y un entorno virtual puro esta la llamada realidad mixta y esta se subdivide en 2, la realidad aumentada (más cercana a la realidad) y la virtualidad aumentada (más próxima a la virtualidad pura)” [7]. Los proyectos etiquetados como realidad aumentada no han parado de crecer en los últimos años. Existen multitud de definiciones de la realidad aumentada y todas aportan algo interesante a la caracterización de este tipo de tecnología. En el informe sobre realidad virtual de Durlach y Mavor se habla de la RA como sistemas en los cuales entornos reales y virtuales se combinan, aunque esta definición es sencilla adolece de ciertas carencias ya que llevaría a catalogar algunos sistemas de RA cuando realmente no lo son tal y como ejemplifica Reinoso , si se piensa en la previsión del tiempo que se ofrece en la televisión todos los días; ¿es RA ese mapa sobre el que el presentador señala el tiempo que va a hacer en cada parte del país? La respuesta es que no, aunque podría caber en lo que ofrece esta primera aproximación. Otros autores ofrecen elaboraciones del concepto más complejas que contienen más elementos de discernimiento. Así por ejemplo De Pedro explica la RA como «aquella tecnología capaz de complementar la percepción e interacción con el mundo real, brindando al usuario un escenario real aumentado con información adicional generada por ordenador. De este modo, la realidad física se combina con elementos virtuales disponiéndose de una realidad mixta en tiempo real». En esta definición, mucho más amplia, se observa la aparición de conceptos de gran trascendencia en los entornos de RA como son la interacción, la realidad mixta o el tiempo real. Uno de los gurús de la RA da lo que él delimita como una definición funcional de la RA (únicamente se fija en para qué sirve la RA) y define la RA como objetos virtuales o anotaciones que pueden ser superpuestos en el mundo real como si realmente existieran. Aunque sencilla y fácil de entender, esta definición de RA. 16.

(17) incluye los mismos elementos que la anterior pero comprimidos en esa expresión de como si realmente existieran. Por su parte Basogain, Olabe, Espinosa, Rouèche y Olabe afirman que «la realidad aumentada no reemplaza el mundo real por uno virtual, sino al contrario, mantiene el mundo real que ve el usuario complementándolo con información virtual superpuesto al real. El usuario nunca pierde el contacto con el mundo real que tiene al alcance de su vista y al mismo tiempo puede interactuar con la información virtual superpuesta». Otros autores se fijan más en qué tipo de hardware o dispositivos se pueden utilizar para los sistemas de RA. Así Fombona, Pascual y Madeira afirman: «la realidad aumentada amplía las imágenes de la realidad, a partir de su captura por la cámara de un equipo informático o dispositivo móvil avanzado que añade elementos virtuales para la creación de una realidad mixta a la que se le han sumado datos informáticos». Está claro que si se analizan todas estas aportaciones de los diferentes autores se obtiene una imagen bastante clara de lo que es la RA, pero sin duda si se quiere una definición técnica, completa y precisa de RA se debe atener a la ya clásica que otro de los gurús de la RA dio en su famoso artículo de 1997 «A survey of augmented reality». En este artículo Azuma dice textualmente lo siguiente: para evitar limitar la realidad aumentada a tecnologías específicas, este artículo define la RA como sistemas que tienen las tres siguientes características:1) Combina lo real y lo virtual. 2) Interactiva y en tiempo real. 3) Registrada en 3D». Estas tres características delimitan de forma clara lo que es o no es un sistema de RA. Específicamente se excluyen los sistemas 2D y se obliga a la interactividad en tiempo real: el primer usuario debe poder provocar acciones en el entorno y que el entorno se vea modificado y se lo haga saber a su vez al usuario. Hay varios autores que hablan de niveles de RA como Estebanell, Ferrés, Cornellà & Codina, en el 2012; Lens-FitzGerald en el 2009; Reinoso en el 2012 y Rice en el 2009. Se pueden entender los niveles como una forma de medir la complejidad de las tecnologías involucradas en el desarrollo de sistemas de RA. En principio, a más nivel, mayores son las posibilidades de las aplicaciones. Entre los diferentes 17.

(18) autores hay algunos cambios de criterio en cuanto a los niveles que presentan y dónde caería alguna de las tecnologías que se comentan. En este punto es de destacar, por ejemplo, que tanto Reinoso como Estebanell et al. Introducen la activación mediante imágenes como realidad aumentada markerless mientras que Lens FitzGerald considera este tipo de RA como nivel 1 (no markerless). Rice incluso advierte de que el término markerless fue utilizado más que nada como una campaña de marketing por parte de las empresas para distinguir el uso de imágenes del uso de las marcas o patrones predefinidos en la activación de las aplicaciones de RA. Para el propósito de este trabajo se ha optado por la utilización del esquema de Lens- FitzGerald. Lens-FitzGerald, el cofundador de Layar, uno de los navegadores de RA más importantes del mundo, escribió un artículo en 2009 donde define los niveles de la RA. En Lens FitzGerald se mencionan cuatro niveles (del 0 al 3). Este autor introduce los códigos QR (Quick Response) como nivel 0 de RA. Su clasificación queda por tanto de esta manera: · Nivel 0. Hiperenlazando el mundo físico (physical world hyper linking). Basado en códigos de barra (enlaces 1D, Universal Product Code), códigos 2D (por ejemplo, los códigos QR) o reconocimiento de imágenes aleatorias. Lo característico de este nivel 0 es que los códigos son hiperenlaces a otros contenidos, no existe registro en 3D ni seguimiento de los marcadores (básicamente funcionan como un hiperenlace HTML, pero sin necesidad date clear) [3].. En los últimos años la Realidad Amentada está consiguiendo un protagonismo cada vez más importante en diversas áreas de conocimiento, mostrando la versatilidad y posibilidades que presenta esta nueva tecnología derivada de la Realidad Virtual. La capacidad de insertar objetos virtuales en el espacio real y el desarrollo de interfaces de gran sencillez, la han convertido en una herramienta muy útil para presentar determinados contenidos bajo las premisas de entretenimiento y educación, en lo que se conoce como “edutainment” [8]. 18.

(19) Quizá una de las aplicaciones más conocidas de la Realidad Aumentada en la educación sea el proyecto Magic Book del grupo activo HIT de Nueva Zelanda. El alumno lee un libro real a través de un visualizador de mano y ve sobre las páginas reales contenidos virtuales. De esta manera cuando el alumno ve una escena de Realidad Aumentada que le gusta puede introducirse dentro de la escena y experimentarla en un entorno virtual inmersivo [9].. 3.4. CÓDIGOS QR Y REALIDAD AUMENTADA EN EL AULA DE MATEMÁTICAS. Es una experiencia de aula dividida en cuatro fases, cuyo vídeo–resumen explicativo podéis ver aquí abajo, narrado por Eva Perdiguero Garzo, quien ha llevado a cabo la experiencia con su alumnado de matemáticas de Primer Curso de Bachillerato a partir del segundo trimestre del curso 2013/2014 en el IES Ribera del Bullaque, de Porzuna, en Ciudad Real.. En la primera fase, esta experiencia combina el uso de QR con animaciones diseñadas con la herramienta Geogebra. Partiendo de unas fotocopias que la profesora reparte entre su alumnado y que incluyen los correspondientes códigos QR para escanear y acceder a dichas animaciones en cualquier momento y desde cualquier lugar tan sólo apuntando con un dispositivo móvil, el alumnado avanza hasta la resolución de problemas de aplicaciones con derivadas. En este caso concreto, la profesora se ha decantado por el uso de la app Junaio como lector de códigos QR, app que tiene instalada en las tablets que utiliza para que el alumnado trabaje en el aula .Trabajando por parejas, el alumnado llega a la segunda fase, en la cual ha de exponer al resto de la clase sus conclusiones; esta exposición sirve además para evaluar al alumnado, resolver dudas, plantear preguntas entre todos y reflexionar de manera colaborativa mientras se graban las exposiciones, verdaderos tutoriales, en vídeo.. 19.

(20) Con toda la información recogida, avanzan hasta la tercera fase, en la cual visitan su blog de aula: Curso 1º Bachillerato. Matemáticas. Porzuna, para seguir consolidando su aprendizaje mediante la realización de actividades diseñadas con ThatQuiz a través de las tablets. En este mismo blog de aula también se pueden visualizar todos los vídeos con las exposiciones del alumnado, así como descargar las actividades base. Por último, en la cuarta fase, aparece el uso de la Realidad Aumentada, que consiste en el diseño de unas tarjetas interactivas tras las cuales se esconden los vídeos de las exposiciones de los alumnos grabadas anteriormente, y que podrán verse escaneando las tarjetas con la app Layar [10]. Hay tres formas de presentar la tecnología de Realidad Aumentada, con el computador tradicional, con dispositivos portátiles miniaturizados, y con equipos específicos de realidad aumentada. Gestión de Realidad Aumentada en computador tradicional. La cámara conectada al equipo informático digitaliza la imagen captada, a la que se le incorporan capas con otros datos, imágenes fijas o en movimiento, textos y/o sonidos. Esta información se añade a partir de un software que selecciona documentos específicos de una base de datos propia o del acceso a los datos de la red Internet. Una pantalla presenta la síntesis, muestra de forma sincronizada tanto las imágenes reales captadas, junto al resto de datos superpuestos sincronizados en tamaño, posición y en tiempo real. Se intenta que los elementos virtuales estén coordinados con precisión con los objetos reales y su posición, puesto que un pequeño error de orientación provoca un desajuste perceptible. Gestión de Realidad Aumentada en equipo portátil. Los dispositivos móviles avanzados son pequeñas mini computadoras que incorporan cámaras de captura de imágenes móviles. Con ello se puede reproducir el efecto de realidad aumentada y presentar en la pantalla del dispositivo, el resultado de Realidad Aumentada.. 20.

(21) El advenimiento y el desenvolvimiento de las tecnologías digitales viene provocando aceleradamente modificaciones no apenas en la organización social, económica y política mundial, pero, también (y tal vez principalmente) en los modos de percibir, pensar y hacer sobre el mundo dicho “real” y la propia condición humana. Evidentemente, esa consideración no implica en que el curso de la transformación tecnológica y la naturaleza de las tecnologías sean determinantes de las formas de experiencia y de acción de los sujetos y grupos socioculturales, sino apenas que existe un diálogo entre las prácticas tecnológicas y la percepción, el raciocinio y la acción, individuales y colectivas. Las estructuras socio-culturales y económicas influencian el desarrollo tecnológico, al mismo tiempo que sufren sus efectos. Incluidos en esa concepción, también los modos de ser y de pensar sobre sí mismo y sobre el mundo influencian y son influenciados por la disponibilidad y configuración de nuevas tecnologías [11]. El estudio se ha realizado con seis modelos físicos de aluminio pintado. Se ha dispuesto de la versión digital de seis modelos en Realidad Aumentada y en tableta multitáctil. Se ha realizado una valoración global y una valoración específica sobre las tecnologías utilizadas. De los resultados de este estudio se obtiene que ambas tecnologías son alternativas válidas para la sustitución de los modelos físicos en entornos digitales [13]. Gestión de Realidad Aumentada con equipos específicos. En ocasiones, hay dispositivos específicos captura y visión que se integran en unas gafas especiales y permiten al usuario ver la realidad a través de la lente y superponer y mostrar otra información gráfica. En el caso de los equipos portátiles se puede añadir información de los sistemas de posicionamiento geográfico GPS, necesarios para poder localizar con precisión la situación del usuario. La Realidad Aumentada es capaz de mostrar al usuario una representación realista del entorno que se ha añadido virtualmente, por ello es importante determinar la orientación y posición exacta del usuario. Esta localización se hace difícil en espacios interiores o en zonas afectadas por campos magnéticos [8]. 21.

(22) La investigación ha puesto de relieve que las actitudes hacia las personas con discapacidad no han sido ni son predominantemente positivas. Esta situación plantea la conveniencia y urgencia de poner en marcha campañas de sensibilización e intervenciones estructuradas con el objetivo de promover cambios en tales actitudes. Con este fin se ha realizado el programa de cambio de actitudes que se muestran en este artículo. Para evaluar los cambios logrados y su mantenimiento temporal se ha utilizado, en medidas de pre y post test, la Escala de Valoración de Términos Asociados con Discapacidad EVT. Se ha seleccionado una muestra de 83 niños de primero y segundo de la ESO, entre 12 y 15 años, asignados 23 al grupo experimental y los 60 restantes al grupo control. Se han empleado como técnicas información directa e indirecta, contacto y experiencia e información sobre ayudas técnicas en siete sesiones con discusión guiada de aproximadamente una hora de duración a la semana. También se ha efectuado un seguimiento de tres años. Los resultados sugieren que el tratamiento es eficaz y que se mantiene en el tiempo, aunque con oscilaciones [12]. 3.5. REALIDAD AUMENTADA: UNA TECNOLOGÍA EN ESPERA DE USUARIOS. Este trabajo se aborda el tema de la Realidad Aumentada, que es una estrategia tecnológica poco conocida y usada, debido a que para su uso es necesario integrar varias tecnologías, lo cual se ha hecho a través de dispositivos especializados (lentes de realidad aumentada, que incluyen como base un sistema de captura de video y uno de proyección, los cuales son integrados por software en una computadora equipada con hardware gráfico). Además, se aborda el tema de las tecnologías para la representación tridimensional de datos e ideas y la interacción humano-máquina más sofisticada; sus procesos para entender cómo funciona; los avances obtenidos y los que quedan pendientes; y se ofrecen ideas para iniciar proyectos como desarrolladores de aplicaciones o de contenidos [13].. 4 MARCO TEÓRICO. 22.

(23) 4.1. MARCO CONCEPTUAL. Para el desarrollo de éste trabajo es importante saber los conceptos que están relacionados tanto directa como indirectamente con el mismo, ya que son necesarios para comprender tanto el funcionamiento como las bases teóricas que son aplicadas en él; es por esto que a continuación se presentan algunos de éstos. Además de ello se pueden apreciar las especificaciones técnicas que puntualizan conceptos específicos en el proyecto y en el ámbito del estudio en el cual fue elaborado, tales como el software utilizado y demás.. 4.1.1 DISCAPACIDAD AUDITIVA O HIPOACUSIA La discapacidad auditiva se define como la dificultad que presentan algunas personas para participar en actividades propias de la vida cotidiana, que surge como consecuencia de la interacción entre una dificultad específica para percibir a través de la audición los sonidos del ambiente y dependiendo del grado de pérdida auditiva, los sonidos del lenguaje oral, y las barreras presentes en el contexto en el que se desenvuelve la persona. Respecto de las barreras, estas son de distinto tipo, entre las más frecuentes se pueden encontrar: . La cercanía o distancia de las fuentes auditivas. Si los sonidos son débiles o distantes, se presentará dificultad para su discriminación.. . La interferencia de sonidos de distinto tipo. Cuando los lugares presentan mucho ruido ambiental se tendrán dificultades para captar los mensajes.. . Las dificultades asociadas al lenguaje oral o escrito. Si una persona posee una pérdida auditiva severa o profunda y sólo se usa como forma de comunicación el lenguaje oral y/o no se la mira al hablar se estará dificultando su comprensión generalizada de lo que ocurre en el contexto.. 23.

(24) Como se aprecia en esta definición, el déficit auditivo, no depende únicamente de las características físicas o biológicas del niño o niña, sino que se trata más bien de una condición que emerge producto de la interacción de este déficit personal con un contexto ambiental desfavorable. Ahora bien, es preciso señalar que en los últimos años, ha cobrado fuerza una mirada diferente de la discapacidad auditiva, que se desprende de una perspectiva socio-antropológica de la sordera. Esta mirada, se centra en la Persona Sorda, como persona que se mueve visualmente en el mundo, que desarrolla como lengua natural la Lengua de Señas y que forma parte de una cultura. La Federación Mundial de Sordos es enfática en indicar a este respecto, que la Lengua de Señas es un importante símbolo de identidad y al mismo tiempo patrimonio cultural que evidencia una comunidad, con valores y costumbres propios, que conforman la cultura sorda. [15]. Imagen 1 Ilustración alusiva a la discapacidad auditiva o hipoacusia [16]. 4.1.2 EDUCACIÓN INCLUSIVA. La Educación inclusiva implica que todos los jóvenes y adultos de una determinada comunidad aprendan juntos independientemente de su origen, sus condiciones personales, sociales o culturales, incluidos aquellos que presentan cualquier problema de aprendizaje o discapacidad. Se trata de una escuela que no. 24.

(25) pone requisitos de entrada ni mecanismos de selección o discriminación de ningún tipo, para hacer realmente efectivos los derechos a la educación, a la igualdad de oportunidades y a la participación. En la escuela inclusiva todos los alumnos se benefician de una enseñanza adaptada a sus necesidades y no sólo los que presentan necesidades educativas especiales. La Educación Inclusiva se entiende como la educación personalizada, diseñada a la medida de todos los niños en grupos homogéneos de edad, con una diversidad de necesidades, habilidades y niveles de competencias. Se fundamenta en proporcionar el apoyo necesario dentro de un aula ordinaria para atender a cada persona como ésta precisa. Entendiendo que podemos ser parecidos, pero no idénticos unos a otros y con ello nuestras necesidades deben ser consideradas desde una perspectiva plural y diversa [7].. Imagen 2 Ilustración alusiva a la educación inclusiva [17]. 4.1.3 SISTEMA DE SUBTITULADO. El sistema de subtitulado es una herramienta empleada en videos, películas y demás archivos multimedia con el objetivo de traducir el dialogo que se está usando en el archivo, bien sea a una lengua extranjera o para personas con déficit auditivo. Para el desarrollo de éste sistema se requiere de un archivo .srt el cual puede ser creado a través de la aplicación Bloc de notas, luego de ello se procede a la unión del archivo MP4, AVI o MKT con el .srt y finalmente se genera el nuevo archivo MP4. 25.

(26) 4.1.4 LENGUAJE DE SEÑAS. Es una lengua que surge al interior de la Comunidad Sorda, como una lengua natural que ha servido a generaciones de personas sordas , no solo para su comunicación sino también como base para el desarrollo identitario de esta comunidad. . Es una lengua que tiene una gramática propia, es un sistema mediante el cual se pueden expresar ideas abstractas relacionadas con cualquier tema que requieren sus usuarios.. . Expresa sentimientos, melodía, ritmo, intensidad, gracia, es un ballet de las manos.. . Es un valor fundamental de la cultura del sordo, sin ella no hay comunicación.. EL ABECEDARIO DACTILOLÓGICO: . Está compuesto por 27 letras, por medio de las cuales se puede formar cualquier palabra.. . Es importante identificar la dirección hacia la cual están orientados los dibujos de cada letra.. Imagen 3 Abecedario del lenguaje de señas [18]. 26.

(27) Imagen 4 Expresiones en lenguaje de señas [18]. Imagen 5 Expresiones en lenguaje de señas [18]. 4.1.5 REALIDAD VIRTUAL. La realidad virtual es por lo general un mundo virtual generado por ordenador (o sistemas informáticos) en el que el usuario tiene la sensación de estar en el interior de este mundo, y dependiendo del nivel de inmersión este puede interactuar con este mundo y los objetos del mismo en un grado u otro. No obstante el termino realidad virtual también puede aplicarse a otros mundos virtuales generados por otros medios, como por ejemplo a través de la imaginación (sueños, libros, cine, etc...) La realidad virtual ideal sería la que desde 27.

(28) una inmersión total permita una interacción sin límites con el mundo virtual, además de aportar como mínimo los mismos sentidos que tenemos en el mundo real (vista, oído, tacto, gusto, olfato). Sin embargo, la mayoría de los sistemas actuales se centran en únicamente 2 sentidos (vista y oído), debido a las dificultades y costes de simular los otros sentidos. [19].. 4.2 ESPECIFICACIONES TÉCNICAS 4.2.1 UNITY3D. Es un motor gráfico 3D para PC y Mac que viene empaquetado como una herramienta para crear juegos, aplicaciones interactivas, visualizaciones y animaciones en 3D y tiempo real. Unity puede publicar contenido para múltiples plataformas como PC, Mac, Flash(Hasta la version 4), XBox, PS2/3/4, Android, PSVita y iPhone. [20] 4.2.1.1 DESCRIPCIÓN. El editor de Unity es el centro de la linea de producción, ofrece un completo editor visual para crear juegos. El contenido del juego es construido desde el editor y el gameplay se programa usando un lenguaje de scripts. Esto significa que los desarrolladores no necesitan ser unos expertos en C++ para crear juegos con Unity, ya que las mecánicas de juego son compiladas usando una versión de JavaScript, C# o Boo, un dialecto de Python.. Los juegos creados en Unity son estructurados en escenas como el motor Gamebryo. En Unity una escena puede ser cualquier parte del juego, desde el menú de inicio como un nivel o área del juego. El motor también incluye un editor de terrenos, desde donde se puede crear un terreno (como una hoja en blanco), sobre la que los artistas podrán esculpir la geometría del terreno usando herramientas visuales, pintar o texturizar, cubrir de. 28.

(29) hierba o colocar árboles y otros elementos de terreno importados desde aplicaciones 3D como Blender, 3DS Max o Maya. [20]. Imagen 6 Logo del software Unity [21]. 4.2.1.2 HERRAMIENTAS . Assets. Son los bloques constructivos de todo lo que el Unity posee en sus proyectos. Se guardan en forma de archivos de imagen, modelos del 3D y archivos de sonido, el Unity se refiere a los archivos que se usarán para crear su juego como activos. . Game Objects. Cuando un activo es usado en una escena de juego, se convierte en un "Game Object". Todo GameObjects contiene al menos un componente con el que comenzar, es decir, el componente Transform. Transformacion simple la cual le dice al motor de Unity la posición, rotación, y la escala de un objeto. . Components. Los componentes vienen en formas diversas.. Pueden. ser para. crear. comportamiento, definiendo apariencia, e influenciando otros aspectos de la función de un objeto en el juego. Los componentes comunes de producción de juego vienen construidos dentro del Unity, desde el Rigidbody, hasta elementos más simples, como luces, las cámaras, los emisores de partículas, y más. . Scripts. 29.

(30) El Scripting es una parte esencial de Unity ya que define el comportamiento del juego. Este tutorial introducirá los fundamentos del Scripting usando JavaScript. No se requiere ningún conocimiento previo de JavaScript o Unity. El Scripting es la forma en la que el usuario define el comportamiento del juego (o las normas) en Unity. El lenguaje de programación recomendado para Unity es JavaScript, aunque C# puede ser igualmente usado. En Mac, es llamado como Unitron, y en PC, Uniscite. . Prefabs. Almacena los objetos como activos para ser reusado en partes diferentes del juego, y luego creados o copiados en cualquier momento. [20] 4.2.2 VUFORIA. Diagrama 1 Diagrama de bloques de los datos del SDK Vuforia.[22]. Vuforia es un SDK que permite construir aplicaciones basadas en la Realidad Aumentada; una aplicación desarrollada con Vuforia utiliza la pantalla del dispositivo como un "lente mágico" en donde se entrelazan elementos del mundo real con elementos virtuales (como letras, imágenes, etc.). La cámara muestra a través de la pantalla del dispositivo, vistas del mundo real, combinados con objetos virtuales como: modelos, bloque de textos, imágenes, etc. 4.2.2.1 ¿QUE OFRECE? 30.

(31) Una aplicación desarrollada con Vuforia ofrece la siguiente experiencia: . Reconocimiento de Texto.. . Reconocimiento de Imágenes.. . Rastreo robusto. (el Target fijado no se perderá tan fácilmente incluso cuando el dispositivo se mueva).. . Detección Rápida de los Targets.. . Detección y rastreo simultáneo de Targets.. 4.2.2.2 ARQUITECTURA. Una aplicación desarrollada con Vuforia está compuesta de los siguientes elementos: . Cámara: La cámara asegura que la imagen sea captada y procesada por el Tracker.. . Base de datos: La base de datos del dispositivo es creada utilizando el Target Manage; ya sea la base de datos local o la base de datos en la nube, almacena una colección de Targets para ser reconocidos por el Tracker.. . Target: Son utilizadas por el rastreador (Tracker) para reconocer un objeto del mundo real; los Targets pueden ser de diferentes tipos; entre los principales tenemos:. . Image Targets: Imágenes; tales como: fotos, páginas de revistas, cubierta de libros, poster, tarjetas, etc.. . Word Targets: Elementos textuales que representen palabras simples o compuestas: Libros, revistas, etc. Hay dos modos de reconocimiento posible: la palabra entera o por caracteres. Hay muchas otras, en este artículo, sólo nombramos las principales; las demas podras encontrarlas en el siguiente enlace: Create Targets.. . Tracker: Analiza la imagen de la cámara y detecta objetos del mundo real a través de los frame de la cámara con el fin de encontrar coincidencias en la base de datos. [22] 31.

(32) 4.2.3 SKETCHUP SketchUp es un software de modelado 3D que permite modelar en 3D de edificios, paisajes, escenarios, mobiliario, personas y cualquier objeto o artículo que imagine el diseñador o dibujante, diseñado con el objetivo de que pudiera usarse de una manera intuitiva y flexible. El programa incluye una galería de objetos, texturas e imágenes listas para descargar. [23] SketchUp en la versión libre, es una herramienta para modelar 3D , ampliamente difundida, siendo utilizada por profesionales del diseño como arquitectos, diseñadores de interiores escenógrafos etc , por su gran facilidad. [23]. Imagen 7 Logo del software SketchUp [24]. 4.2.4 VISUAL STUDIO 2017. Es un entorno de desarrollo integrado (IDE, por sus siglas en inglés) para sistemas operativos Windows.. Soporta. múltiples. lenguajes. de. programación,. tales. como C++, C#, Visual Basic .NET, F#, Java, Python, Ruby y PHP, al igual que entornos de desarrollo web, como ASP.NET MVC, Django, etc., a lo cual hay que sumarle las nuevas capacidades online bajo Windows Azure en forma del editor Monaco. Visual Studio permite a los desarrolladores crear sitios y aplicaciones web, así como servicios web en cualquier entorno que soporte la plataforma .NET (a partir de la versión .NET 2002). Así, se pueden crear aplicaciones que se comuniquen. 32.

(33) entre estaciones de trabajo, páginas web, dispositivos móviles, dispositivos embebidos y consolas, entre otros. [25] 4.2.5 ANDROID STUDIO Android Studio es el entorno de desarrollo integrado (IDE) oficial para el desarrollo de aplicaciones para Android y se basa en IntelliJ IDEA . Además del potente editor de códigos y las herramientas para desarrolladores de IntelliJ, Android Studio ofrece aún más funciones que aumentan tu productividad durante la compilación de apps para Android, como las siguientes: . Un sistema de compilación basado en Gradle flexible. . Un emulador rápido con varias funciones. . Un entorno unificado en el que puedes realizar desarrollos para todos los dispositivos Android. . Instant Run para aplicar cambios mientras tu app se ejecuta sin la necesidad de compilar un nuevo APK. . Integración de plantillas de código y GitHub para ayudarte a compilar funciones comunes de las apps e importar ejemplos de código. . Gran cantidad de herramientas y frameworks de prueba. . Herramientas Lint para detectar problemas de rendimiento, usabilidad, compatibilidad de versión, etc.. . Compatibilidad con C++ y NDK. . Soporte incorporado para Google Cloud Platform, lo que facilita la integración de Google Cloud Messaging y App Engine [26]. Imagen 8 Logo del software Android Studio [27]. 33.

(34) 5 METODOLOGÍA 5.1. DIAGRAMA DE BLOQUES. En la Imagen10 se observa el diagrama de bloques el cual representa la línea acciones en las que se desarrolla el proyecto.. Diagrama 2 Diagrama de bloques del proyecto [Elaboración propia]. . Cámara: Es la encargada de suministrar la información necesaria al usuario para el enfoque del código QR.. . Código QR: Es Ilustración 2D designada como imagen de acceso del dispositivo móvil a la App, la cual está adherida al equipo de laboratorio.. . Equipo de laboratorio: Osciloscopio o generador de ondas en el cual está adherido código QR impreso.. . Dispositivo móvil: Es el instrumento maniobrado por el usuario. La cámara es parte del dispositivo móvil y por medio de esta se enfoca la ilustración 2D (Código QR) en donde el dispositivo móvil concederá el acceso a la aplicación y así mismo en el será reproducido el video realidad virtual.. . Usuario: Ejecutor del proceso, quien le maniobrará el dispositivo móvil, recibirá información sobre el enfoque de la ilustración 2D y del mismo modo será instruido por el video realidad virtual y el sistema de subtitulado, éste además manipulará el menú de opciones dispuesto por la aplicación. 34.

(35) . Aplicación (Real electronic lab): Software instalado en el dispositivo móvil, el cual es el encargado de generar un menú de opciones, un sistema de subtitulado y reproducir el video realidad virtual.. . Video realidad virtual: Ambiente generado por la aplicación para ser visualizado por el usuario.. . Menú de opciones: Integrado a la interfaz 3D bien del osciloscopio o del generador de ondas la cual recibirá instrucciones del usuario y se las dará a su vez a App.. 5.2. DIAGRAMA DE FLUJO DEL PROYECTO. En la Imagen11 se observa el diagrama de flujo del proyecto, el cual representa el algoritmo en el cual se desarrolla el proyecto.. Diagrama 3 Diagrama de flujo de la aplicación [Elaboración propia]. 35.

(36) 5.3. MARCADORES 2D. Imagen 9 Marcador, código QR del generador de ondas [28]. Imagen 10 Marcador, código QR del osciloscopio [28]. 5.4. DESARROLLO. Se requirió del uso del software SketchUp para la elaboración de los modelos 3D tanto del osciloscopio como del generador de ondas, se hizo uso de los manuales de los equipos “OSCILOSCOPIO RIGOL DS1102E 100 MHZ” y el generador de ondas “SCIENTIC SM5030”, facilitados por el laboratorista e Ingeniero Henry, dichos equipos se pueden encontrar en el laboratorio de prácticas libres de electrónica de la facultad tecnológica UD.. 36.

(37) En cuanto a los marcadores o imágenes objetivo que en éste caso son los códigos QR, fueron diseñados a través de una página web generadora de códigos QR en donde se especifican los parámetros de seguridad y calidad de la información. Luego éstos marcadores son subidos al SDK Vuforia quien se encarga de compilarlos y evaluar la calidad de imagen. Ya teniendo todo esto se procede a trabajar en Unity PRO 2017.3.1f1 dado que esta versión permite cargar los videos. Para la elaboración de los videos, se usó la cámara de un celular Moto C Plus y las grabaciones se realizan en un aula de la UD Facultad tecnológica.. Se contrataron los servicios de una intérprete de lenguaje de señas quien en colaboración con una persona perteneciente a la población con déficit auditivo realizaron la traducción mediante la lectura de un diálogo previamente elaborado respecto a los manuales anteriormente mencionados, dichos videos quedaron guardados en formato .MP4 en primera instancia y al momento se encontraban sin subtitulado, para ello se empleó la aplicación de Windows “Bloc de notas” donde se redactan los diálogos y los tiempos de duración para posteriormente guardarlo como archivo .SRT. Ahora, teniendo tanto el archivo .MP4 como el .SRT se procede a unirlos por medio del software MKV Tools Nix. Luego de ello el nuevo archivo queda guardado con la extensión .MKV donde ya estarían el audio, la imagen y el texto pero en dicho momento se presenta un nuevo problema y es que en Unity solo se admiten videos con formato .MP4, por ello se hace uso del software FormatFactory quien hace la respectiva conversión, . Con los videos ya disponibles, se procede a importarlos a Unity en donde por medio del uso de escenas el usuario navega a través del menú que proveen las dos interfaces 3D (Osciloscopio y generador de ondas).. 6 PRUEBAS Y RESULTADOS En el marco del desarrollo del proyecto se determinó trabajar con los equipos que se encuentran en el laboratorio de prácticas libres de electrónica UDFT: 37.

(38) RIGOL DS1102E. Imagen 11 Osciloscopio Rigol DS1102E [Elaboración propia]. SCIENTIFIC SM5030-5. Imagen 12 Generador de ondas SCIENTIFIC SM5030-5 [Elaboración propia]. Para la elaboración de los modelos 3D se requirió del uso del software SketchUp PRO 2017. Basandose en el diseño real de cada equipo se lograron obtener los siguientes modelos:. Imagen 13 Diseño del modelo 3D del generador de ondas basado en el equipo SCIENTIFIC SM5030-5 [Elaboración propia]. 38.

(39) Imagen 14 Diseño del modelo 3D del osciloscopio basado en el equipo DS1102E [Elaboración propia]. Se realiza la respectiva adecuación de los modelos 3D en el software Unity 2017.3.1f1. Imagen 15 Diseño de escenas en Unity 2017.3.1f1 [Elaboración propia]. Se obtienen los siguientes modelos 3D reproducidos al momento de enfocar el target image o imagen objetivo que en este caso son los códigos QR.. Imagen 16 Interfaz de usuario en realidad virtual del osciloscopio [Elaboración propia]. 39.

(40) Imagen 17 Interfaz de usuario en realidad virtual del generador de ondas [Elaboración propia]. Se procede a crear un botón oculto en el modelo 3D para que reenvíe al usuario a una interfaz fija 2D en la cual están cargados los videos en cada botón correspondiente. Imagen 18 Interfaz fija 2D del osciloscopio [Elaboración propia]. Imagen 19 Interfaz fija 2D del generador de ondas [Elaboración propia]. 40.

(41) Imagen 20 Página 1 de 3 de diálogos de los videos [Elaboración propia]. 41.



(44) En primera instancia se elaboran los videos a través de la lectura de los diálogos, la interpretación y grabación, en total son 22 videos. Posteriormente se elabora las grabaciones en donde se muestra de forma práctica lo que se menciona en los diálogos para finalmente elaborar los respectivos subtítulos.. Imagen 23 Videos realizados en sala de prácticas de la UDFT [Elaboración propia]. Para el sistema de subtitulado se procede a elaborar el contenido respectivo en la aplicación “Bloc de notas” y al finalizar se guarda el archivo con la extensión .SRT. Imagen 24 Archivos .SRT [Elaboración propia]. 44.

(45) Por medio del software MKV Tools Nix se une cada video con su respectivo archivo .SRT donde el archivo resultante es una extensión .MKV, por lo cual por medio del software FormatFactory se retorna a la extensión .MP4 Finalmente por medio del software Vegas Pro 15 se unen los videos que muestran de forma práctica lo mencionado en los diálogos con los que inicialmente se hicieron sobre la traducción al lenguaje de señas. Teniendo esto se procede a importar los videos a Unity en donde se ubican dependiendo del botón de interfaz de usuario.Como ejemplo se toma la siguiente captura:. Imagen 25 Ejemplo de video resultado [Elaboración propia]. Respecto al módulo “añadir equipo” se diseña un botón del cual emerge el siguiente mensaje “Por favor actualice el APK”, entonces, el usuario deberá tener todas las herramientas para añadir el equipo, tanto la imagen objetivo, el diseño 3D y los respectivos mensajes, éste deberá ingresar la licencia de Vuforia para la aplicación en la plataforma Unity en la sección:. 45.

(46) Imagen 26 Recuadro para insertar licencia del SDK [Elaboración propia]. (AcUxVbz/////AAABmWtjDSv5Rk0qreGlfddNCTSLF+KCBrXE16UgAWXX/0gFdgDy8l XdsJqC5w9VUiW1+ydetcnT92++yJw1AznGyagVizPeTmaex4LePptbwddPvv0kgchz Gcx+l0xBCEqICLlvVu+uQavzsG2XYYdTlQ3Sp/FbSPTchdlv5agxME7wrksg9in6f8 /u4jqpJmZHp/YaW+b8b7LpO0HiL0YMPx3u2IH3GRzE7ISVDfNP//WvbF2LiaBeBTpD e4zjjueu0XhaBXxYRzb37+kVuAV4+DJFG20XM03Dz9ZXozaZ6Jy16rkIgJvqmMbbAv bXBSRGZvAaRxcIqgNks9aazVEcxIQ7Djb+Daa5newggCYpXytH) deberá generar el. nuevo archivo APK e instalarlo en el dispositivo móvil. Nota: Ésta sección solo podrá ser manipulada por personal que tenga conocimientos en el entorno Unity, Android Studio y el lenguaje de programación JavaScript.. 46.

(47) 7 RECOMENDACIONES Y SUGERENCIAS 7.1 . RECOMENDACIONES Y SUGERENCIAS PARA EL USUARIO Enfocar correctamente el código QR para poder acceder de manera exitosa al modelo 3D del equipo y por consiguiente a la interfaz de usuario 2D.. . Observar de manera minuciosa las instrucciones de cada video.. . No acercar demasiado la vista a su dispositivo móvil por cuidado a su salud visual.. . En la sección “precauciones”, seguir las instrucciones acompañado del personal técnico especializado.. . Para la instalación del APK en el dispositivo móvil, se debe contar con una aplicación gestora de archivos y seguir los pasos pertinentes.. 7.2 . RECOMENDACIONES Y SUGERENCIAS TÉCNICAS Hacer un estudio de la cantidad de estudiantes que ingresan a la UDFT con déficit auditivo semestralmente y las opciones de accesibilidad con las que cuentan para adaptarse al modelo educativo actual a nivel institucional.. . Gestionar la inclusión de estudiantes con otros tipos de discapacidades tanto en éste ámbito de la práctica como a nivel general, es decir tanto académico como social.. . Habilitar la opción de que el usuario pueda pausar los videos para que pueda visualizarlos con mayor comodidad.. . Extender en lo posible el manual para así poder ofrecer una información más completa tanto del generador de ondas como del osciloscopio.. . Promover técnicas de comunicación para que la aplicación extienda su alcance a otras instituciones educativas.. . En la sección “añadir equipos” priorizar aquellos que aún no se encuentran en la aplicación como fuente de poder, multímetro y demás. Luego de ello se podrá pensar en la inclusión de equipos con nuevas referencias (por 47.

(48) ejemplo: el osciloscopio con el que se trabajó es el RIGOL DS1102E y el generador de ondas SCIENTIFIC SM 5030-5).. 8 CONCLUSIONES Con todo lo presentado anteriormente y los estudios realizados se llegaron a las siguientes afirmaciones: . La realidad virtual se presenta en este ámbito educativo, como una herramienta de enseñanza muy útil por su carácter asistencial en ésta labor, la cual favorece y fortalece la parte práctica en el proceso de aprendizaje, en especial a la población con déficit auditivo, quienes al requerir del uso de técnicas de comunicación visuales, se acogen en mayor medida a dicho entorno.. . El centro de apoyo CADEP-ACACIA es ideal en éste contexto pues su experiencia y sus metas son aspectos en común que se encuentran ligados al presente proyecto ya que el objetivo de inclusión trasluce al ofrecer sus servicios con el fin de evitar la deserción estudiantil por motivos de rechazo, accesibilidad y demás factores que impiden que la oportunidad de ofrecer educación superior sin excepción sea posible. El CADEP-ACACIA se convierte entonces en una herramienta al servicio de la sociedad con el propósito de expandir el conocimiento y el progreso sin fronteras.. . La propensión a accidentes en el laboratorio de prácticas libres de la UDFT, respecto a la población con déficit auditivo, se reduce en gran medida al contar con ésta aplicación.. . La educación inclusiva promueve la no discriminación y contribuye a la accesibilidad de las poblaciones que cuentan con condiciones de salud menos favorecidas, a lo cual éste proyecto responde de manera afable, pues se adapta a éste concepto de forma directa.. 48.

(49) . De manera indirecta, el presente proyecto alude el uso de las TIC contribuyendo a la relación entre la sociedad y la tecnología, teniendo en cuenta que al acoger el concepto de inclusión, permite un mayor impacto en la población, en éste caso, estudiantil.. . El módulo de actualización de equipos “añadir equipos” facilitado a través de la aplicación, posibilita una mayor sostenibilidad al proyecto, pues permite la inclusión de nuevas tecnologías evitando así la obsolescencia.. 9 REFERENCIAS [1] M. A. A. VELANDlA, F. H. F. MORALES, J. E. DUARTE, and G. de D. para la E. de la C. y la T. en Niños, “Material educativo computarizado para enseñanza de la instrumentación básica en electrónica,” Tecnura, vol. 11, pp. 114–122, 2007. [2] T. A. Fecha, “ARLAB : Laboratorio con Realidad Aumentada,” 2013. [3] C. Prendes, “Experiencias Prácticas Augmented Reality and Education : Analysis of,” Pixel-Bit. Rev. Medios y Educ. (46), 187-203., 2015. [4] J. Peula and F. Torres, “Aplicación de Realidad Aumentada para la educación y difusión del patrimonio,” Artículo Present. en el …, no. 1, pp. 22–24, 2008. [5] L. Rosado and J. Herreros, “Nuevas aportaciones didácticas de los laboratorios virtuales y remotos en la enseñanza de la Física,” Recent Res. Dev. Learn. …, pp. 1–5, 2005. [6] A. Ing and C. Ariel, “AADECA 2008 – Semana del Control Automático – XXIo Congreso Argentino de Control Automático 1,” 2008. [7] J. M. G. S. C. G. M. C. S. A. Asociación Iberoamericana de Educación Superior a Distancia. and Universidad Nacional de Educación a Distancia., Revista iberoamericana. de. educación. a. distancia.,. vol.. 17,. no.. 2.. Asociación. Iberoamericana de Educación Superior a Distancia, 1998. [8] D. Ruiz Torres, “Realidad Aumentada, educación y museos,” Rev. ICONO14. Rev. científica Comun. y Tecnol. emergentes, vol. 9, no. 2, p. 212, May 2011.. 49.

(50) [9] X. Basogain, M. Olabe, K. Espinosa, and C. R. J. C. Olabe, “Realidad Aumentada en la Educación : una tecnología emergente,” Semana, no. 5, pp. 12– 15, 2010. [10] “EducaconTIC podcast 37 - Códigos QR y Realidad Aumentada en el Aula de Matemáticas | Nuevas tecnologías aplicadas a la educación | Educa con TIC.” [Online].. Available:. http://www.educacontic.es/blog/educacontic-podcast-37-. codigos-qr-yrealidad-aumentada-en-el-aula-de-matematicas. [Accessed: 25-Sep2017]. [11] J. D. la T. Universidad de Murcia., N. Martin-Dorta, J. L. S. Pérez, C. C. Carrera, and M. C. González, Revista de educación a distancia., vol. 0, no. 37. Universidad de Murcia, 2015. [12] J. . Fernández-Ríos, L. y Cornes, “Anuario de Psicología Clínica y de la Salud,” Apl. la Psicol. Posit. en Clínica y Salud, vol. 5, pp. 15–28, 2009. [13] L. Universidad Nacional Autónoma de México. Dirección General de Servicios de Cómputo Académico. and J. L. Universidad Nacional Autónoma de México., Revista digital universitaria : RDU. Dirección General de Servicios de Cómputo Académico, UNAM, 2000. [14] J. S. Ierache et al., “Realidad Aumentada (RA) en el contexto de usuarios finales,” Oct. 2014 [15]http://especial.mineduc.cl/wpcontent/uploads/sites/31/2016/08/GuiaAuditiva.pdf [16] https://slideplayer.es/slide/3384952/ [17]https://www.redem.org/la-evaluacion-de-centros-educativos-desde-laperspectiva-de-la-educacion-inclusiva/ [18] https://es.slideshare.net/elianaachurra1/lenguaje-de-seas-6094889 [19] http://www.realidadvirtual.com/que-es-la-realidad-virtual.htm [20]https://www.ecured.cu/Unity3D [21] https://forum.unity.com/threads/why-unity-5-splash-screen-logo-is-bigger-thanunity-4.358863/ [22]https://www.desarrollolibre.net/blog/android/realidad-aumentada-convuforia#.XF3NJ9JKgdU [23] http://www.beplusimage.com/blog/que-es-sketchup-definicion/ 50.

(51) [24] https://blog.sketchup.com/sketchupdate/brand-new-brand-sketchup [25]Https://www.microsoft.com/es-co/p/suscripcion-a-visual-studioprofessional/dg7gmgf0dst3/0003. Consultado 10 de abril de 2018 [26] https://developer.android.com/studio/intro/?hl=es-419 [27]. https://m.xatakandroid.com/programacion-android/android-studio-3-0-ya-. disponible-la-version-estable-con-soporte-para-kotlin-y-las-nuevas-apis-de-android [28] http://www.codigos-qr.com/generador-de-codigos-qr/. 51.

(52)