EVALUACIÓN DE EXPERIENCIAS BASADAS EN EL MOBILE LEARNING La gran mayoría de experiencias desarrolladas hasta la fecha se enmarcan en el ámbito

de la innovación educativa, sin embargo, son escasas las evaluaciones llevadas a cabo sobre dichas experiencias. Pero, aunque las evaluaciones realizadas hasta la fecha no permiten aclarar la efectividad del uso de dispositivos móviles en los procesos de aprendizaje, algunas investigaciones comienzan a marcar unas tendencias a tener en cuenta. Aunque, posteriormente, nos centraremos especialmente en los resultados ofrecidos por aquellas investigaciones que suponen los antecedentes más directos del programa ZM (estos se tratarán en el capítulo 5), y en los datos ofrecidos por los estudios realizados en espacios de presentación del patrimonio (estos serán tratados más adelante), comenzaremos por ofrecer algunos datos referidos a otras áreas, en las que también se han aplicado procesos de mobile learning. Para ello, nos basaremos especialmente en las investigaciones recogidas en la tesis doctoral de Moura (2010). Ya en 2001, el Standford Research Institute -citado en Bottentuit, 2012-, llevó a cabo una evaluación sobre el uso de dispositivos móviles en las escuelas ofreciendo los siguientes resultados:

• El 90% de profesores descubre en los dispositivos móviles eficientes herramientas educativas que, además, pueden ejercer un impacto positivo en el aprendizaje de los alumnos. También señalan su intención de seguir utilizándolos en el aula.

• El 75% de profesores indica que la autorización para que los alumnos se llevasen los aparatos a casa, repercutía en un aumento de los trabajos realizados en el hogar.

• Casi un 100% de los docentes reconoce que el uso de softwares apropiados para la disciplina, así como el uso de accesorios específicos, resultan de especial importancia para el aprendizaje, complementando los recursos básicos de los dispositivos.

• El 66% de los alumnos considera los aparatos cómodos para el aprendizaje. Este último dato se ha venido corroborando en otras investigaciones (Moura, 2010). La realizada por Perry (2003) –en la que se evaluaba el uso de PDA-, por ejemplo, destacaba como ventajas la portatibilidad, el tamaño y las posibilidades de conectividad, así como su ubicuidad y las posibilidades de poder ser utilizada en el exterior. Tanto la comodidad que suponen los dispositivos móviles, como la sencillez de su manejo (Moura, 2010; Ibáñez Etxeberria, Correa, & Asensio, 2007; Sharples et al., 2007) o lo motivadores que pueden resultar (Angulo et al., 2005; Ibáñez Etxeberria, Correa, & Jiménez de Aberasturi, 2007; Lan, Sung, & Chang, 2007), son cuestiones sobradamente comprobadas. Sin embargo, otro tipo de datos más directamente relacionados con los resultados educativos, ofrecen una mayor novedad. Este es el caso de la tesis de Moura (2010), a partir de la cual se comprobaba que una vez descubierto el potencial de estos aparatos en materia educativa, los jóvenes continuaron empleándolos en sus prácticas educativas diarias. Otros datos obtenidos en esta misma tesis son que:

171

• Cada usuario mantiene una relación diferente con los aparatos.

• Los alumnos valoran las posibilidades que les ofrece el dispositivo de escribir notas; de grabar y almacenar información, así como la disponibilidad en todo momento.

• Se reconocen las posibilidades que ofrece el uso del aparato en la mejora del conocimiento previo y la adquisición de nuevos conocimientos.

• No se verifica que el pequeño tamaño de la pantalla resulte un problema para la lectura, aunque se reconoce que un mayor tamaño de la pantalla puede resultar más efectiva para el aprendizaje.

• Se señalan limitaciones por el uso de dispositivos antiguos.

También existen investigaciones en las que se ha constatado la eficacia del empleo de dispositivos móviles en torno a procesos de aprendizaje situado desarrollados en un contexto real (Pfeiffer, Gemballa, Jarodzka, Scheiter, & Gerjets, 2009), así como en iniciativas de aprendizaje colaborativo (Barker, Krull, & Mallinson, 2005; Cortez et al., 2004; Zurita & Nussbaum, 2004). En relación a cuestiones más concretas, un estudio realizado en 2006 por la Norwegian University of Science and Tecnhnology (NTNU) - citado en Moura, 2010-, comprobaba la utilidad del uso de vídeos y telefonía móvil en el aprendizaje de los contenidos, mientras que otro (Hartnell-Young & IEM, 2008), detectaba un aumento de confianza y buenos resultados entre los alumnos con peor reputación.

Según un reciente estudio realizado en torno al uso de dispositivos móviles en museos (Tallon, 2012), un 29% de las instituciones hace uso de ellos y un 27% planea su uso en un futuro, siendo los centros con temática artística los más cercanos a este tipo de tecnología. De entre los que usan tecnología móvil, más del 60% la utiliza para mostrar cuestiones dentro de sus propias salas, siendo aun el uso off-site, algo minoritario. Este mismo estudio, descubre también que la mayoría de instituciones que consideran el uso de dispositivos móviles, se decantan por la utilización de los aparatos personales traídos por los visitantes. Entre los principales objetivos declarados se citan la incorporación de informacional adicional para la interpretación del patrimonio, el uso de estos dispositivos a modo de “gancho”, la intención de ofrecer un servicio más interactivo y el intento de acercar la institución a las nuevas audiencias. Por su parte, entre las dificultades con que cuenta la aplicación de dispositivos móviles en museos, una de las más citadas es su mantenimiento. De hecho, entre aquellos que declaran no tener planes de futuro en relación a la tecnología móvil, se justifica esta postura por la incapacidad para mantener el servicio, y entre los que ya hacen uso de ella, se declara como dificultad su actualización. Otras dificultades declaradas son el esfuerzo para que estos servicios sean utilizados y la producción de contenidos para los mismos.

A tenor de los datos ofrecidos, es evidente que la oferta de experiencias que hacen uso de tecnología móvil en espacios de presentación del patrimonio es abundante, sin embargo, y a pesar de que se sabe de más experiencias que las presentadas en este trabajo, no todas quedan plasmadas por escrito, resultando muy complicado seguir la pista y conocer las iniciativas. Por otro lado, de entre las experiencias narradas en artículos de revistas, en webs, etc. -en el capítulo 5 se hará un repaso a algunas de

172

estas- son muy pocas las que han llevado a cabo una evaluación. Y entre las evaluaciones realizadas, se echa en falta una mayor profundización de las mismas, así como el análisis de la repercusión que tienen en el aprendizaje de los participantes. Aun así, poco a poco, comienzan a aparecer trabajos específicos encaminados a conocer como se aprende con dispositivos móviles en los museos, dando lugar a una serie de investigaciones que, en palabras de Hall y Bannon (2006), “vienen a compensar la carencia de diseños sistemáticos de investigación en relación a como el aprendizaje ubicuo se puede desarrollar para optimizar la experiencia de aprendizaje” (p. 232).

Entre los trabajos realizados, es generalizada la constatación de que el uso de dispositivos móviles supone una motivación entre los participantes (Charitonos, Blake, Scanlon, & Jones, 2012; Correa et al., 2006; Naismith & Smith, 2009; Reynolds & Speight, 2008; Wang, Chen, Chu, & Cheng, 2009). Tanto la motivación como la usabilidad de los aparatos son las cuestiones más medidas en las evaluaciones llevadas a cabo. Entre este tipo de mediciones, encontramos estudios que buscan evaluar un producto tecnológico concreto de nuevo diseño (Ardito, Buono, Costabile, Lanzilotti, & Piccinno, 2009; Simarro et al., 2005; Stoica et al., 2005; Vlahakis et al., 2001; Wang et al., 2009), así como otro tipo de evaluaciones más globales que también tienen en cuenta la usabilidad de los dispositivos, pudiendo encontrar, resultados tanto positivos (Chen & Huang, 2012; Correa et al., 2006; Sharples et al., 2007; Vlahakis et al., 2001) como negativos, aunque, por lo general, estos representan problemas menores como pequeños fallos en la reproducción del sonido (Naismith & Smith, 2009) o la lentitud de los GPS (Vavoula, 2005).

Como se ha señalado, la realización de evaluaciones sistemáticas es escasa. Algunas de las evaluaciones desarrolladas más o menos en profundidad en torno a programas que aplican dispositivos móviles en espacios de presentación del patrimonio, son aquellos referidos a los proyectos m-Ondare, Explore! –los datos referidos a estos proyectos se describirán en el capítulo 5- o MyArtSpace. Además, recientemente se ha desarrollado un proyecto de investigación que aborda estas cuestiones (Lazos de Luz

Azul).

En este último caso, se han desarrollado varias investigaciones en torno al empleo de tecnología móvil en espacios de presentación del patrimonio, siendo uno de ellos parte de esta tesis doctoral (Ibáñez Etxeberria, Vicent, Asensio, & Correa, 2011). Los otros estudios se han desarrollado en relación a la audioguía, a través de la evaluación del uso de PDAs en sustitución de la tradicional audioguía en el Museo Marítimo de Barcelona (Asenjo, López, Mayolas, & Asensio, 2011),y de audioguías en el Museo del Traje, Museo y Centro de Arte Reina Sofía, Museo Sorolla y Museo Guggenheim-Bilbao (Asenjo & Asensio, 2011). Los resultados señalan lo atractivo de los dispositivos, siendo especialmente valorada la gran cantidad de información que ofrecen y las posibilidades de elegir cuándo y dónde acceder a la misma. En contraposición, se señala como punto débil la baja interactividad que ofrece este soporte. Por su parte, al comparar la audioguía tradicional con la PDA, esta última resulta mejor valorada.

173

En el caso de MyArtSpace, se ha buscado conocer los puntos fuertes y débiles del programa (Sharples et al., 2007; Vavoula, Sharples, Rudman, Meek, & Lonsdale, 2009). Los primeros hacen referencia a cuestiones como la idoneidad de la utilización de teléfonos móviles para llevar a cabo la experiencia, a la facilidad que ha supuesto su uso, a su efecto “gancho” y el consiguiente aumento del tiempo dedicado por los alumnos a la visita al museo, y a la atención de diversidad de habilidades a través de las diferentes formatos ofrecidos por los dispositivos (cámara, mapas, etc.). También se ha constatado que los participantes realizan un ejercicio de reflexión importante en torno a los objetos analizados. En cuanto a los puntos débiles, se señalan cuestiones referidas a la usabilidad (problemas con la conexión, la rápida obsolescencia de los aparatos), la falta de orientaciones por parte del profesorado –aunque posteriormente esto será subsanado con la creación de una jornada de formación-, el esfuerzo adicional que para estos supone su participación en el programa, la escasa utilización de la previsita y consecuente falta de información por parte del alumnado durante la visita, la dificultad a la hora de organizar la información recogida y la falta de tiempo para la consecución de la postvisita, o el excesivo coste del servicio para el museo. Entre el resto de evaluaciones llevadas a cabo, cabe destacar algunos resultados por su relación con los procesos de aprendizaje. Por ejemplo, en un estudio de caso realizado por Reynolds y Spleight en (2008), se contempló que a través de un programa en el que se emplearon PDAs, los estudiantes pasaron mucho más tiempo mirando los objetos de la colección, pudiendo detectar información adicional acerca de los mismos. También Sung, Hou, Liu y Chang (2010) observaron que a través de una propuesta de aprendizaje basado en problemas mediante el uso de tecnología móvil, la concentración de los participantes era mayor. Por su parte, Charitonos et al. (2012) no constataron problemas de distracción y, a su vez, vieron que la interacción entre usuarios mejoraba a partir de metodologías basadas en el mobile learning. En cuanto a aprendizaje, en una experiencia desarrollada en un museo de Taiwan, el grupo experimental que hizo uso de PDAs obtuvo unos resultados mucho mayores que el grupo control (Chen & Huang, 2012).

Como conclusión, cabe señalar que el mobile learning supone todavía una novedad, lo cual queda reflejado en el estado de las investigaciones al respecto. Las evaluaciones realizadas no son muchas y la mayoría se vinculan a la usabilidad de la propia tecnología, obviando el aspecto educativo que esta puede ofrecer. A pesar de ello, comienzan poco a poco a conocerse algunos resultados en torno al valor didáctico de la tecnología móvil, la mayoría de ellos parciales, dada la casi inexistente presencia de evaluaciones sistemáticas. En el ámbito patrimonial, es aun más escasa la presencia de evaluaciones referidas a la consideración del mobile learning en programas de educación patrimonial. Por esta razón, resulta importante llevar a cabo evaluaciones sistemáticas que ofrezcan pistas de su efectividad didáctica. En el próximo capítulo se explicarán los modelos metodológicos que consideramos válidos para la realización de este tipo de evaluaciones.

175

Cap. 4: INVESTIGACIÓN EVALUATIVA EN MUSEOS Y PROGRAMAS DE EDUCACIÓN PATRIMONIAL

176

Por el tipo de evaluación que se va a llevar a cabo en este trabajo, se ha considerado la utilización del método plateado para la evaluación de programas –más relacionada con el ámbito formal- y la evaluación de exposición y estudios de público –llevados a cabo en contextos informales-, dando lugar a lo que denominamos evaluación de programas de educación patrimonial. En este capítulo se hará un repaso a cada una de estas dos áreas de conocimiento que suponen la base metodológica de nuestra investigación y, se describirá la propuesta planteada por la evaluación de programas de educación patrimonial.

177

4.1.

EVALUACIÓN DE PROGRAMAS EDUCATIVOS

Según describe Fink (1995), los programas suponen un esfuerzo sistemático para lograr una serie de propósitos planificados de antemano (beneficiar el conocimiento, lograr efectos positivos en el comportamiento, etc.). Estos pueden ser de pequeño o gran formato, pueden darse en diversos espacios geográficos o políticos y pueden desarrollarse a partir de estructuras y organizaciones diversas, así como contar con propósitos o participantes muy diferentes. En nuestra opinión, los propósitos que enuncia Fink, pueden también existir en sentido inverso, es decir, la planificación puede conllevar la inexistencia de actuación alguna ante un recurso o situación, lo cual no deja de dar lugar a un programa.

Fernández-Ballesteros (1996a) describe la evaluación de programas como “un cuerpo de conocimientos teóricos y metodológicos así como un conjunto de habilidades aplicadas” (p. 21), el cual fue constituido para poder desarrollar la evaluación de una serie de programas de manera sistemática, con el fin de conocer mejor la efectividad del mismo y poder optimizar sus resultados, eficacia y calidad (Fink, 1995). Los programas que suelen evaluarse a partir de este marco suelen corresponderse a aquellos que cuentan con una actuación clara sobre recursos y situaciones. Pero como señalábamos, también podría realizarse una evaluación sobre un programa que no contemple actuación alguna sobre algún elemento en concreto, pudiendo igualmente dar a conocer la efectividad del mismo para su posterior optimización.

Fernández-Ballesteros, cuenta con una serie de manuales en torno a este tema, de entre los cuales, para desarrollar este capítulo, seguiremos el que coordina en (1996b), en el que aborda los tres principales ámbitos de actuación en el marco de la evaluación de programas, los programas sociales, sanitarios y educativos. Del mismo, se presentará especial interés al capítulo escrito por Forns y Gómez Benito (1996), que será seguido, junto al trabajo de Rebolloso, Rebolloso y Salinas (1998), para abordar la evaluación de programas educativos.

4.1.1. EL ORIGEN DE LA EVALUACIÓN DE PROGRAMAS EDUCATIVOS

Aunque la evaluación de programas educativos no nace como método hasta los años treinta, sus orígenes se remontan a mediados del siglo XIX. En este periodo se toma conciencia sobre la importancia que reportan los datos objetivos en la toma de decisiones educativas, otorgando a estas una base en la que apoyarse. La conciencia despertada en torno a esta cuestión llevó a desarrollar las técnicas de medida psicológica que dieron lugar a la psicometría y a la evaluación psicológica. Durante este periodo, la utilización de test y pruebas de rendimiento llevó a que la evaluación y medición se convirtieran en términos casi sinónimos. Es a partir de este momento cuando comienzan a desarrollarse algunas acciones para evaluar programas educativos, pero sin un método o protocolos de actuación definidos al estilo de los que aportará la evaluación de programas.

178

Ya en los años treinta, como consecuencia de la creación de las agencias de acreditación de Estados Unidos, encargadas de revisar y valorar periódicamente los recursos y funcionamiento de los centros escolares, este tipo de evaluaciones se materializó en la creación de una serie de criterios que facilitasen la acción evaluadora. Paralelamente, un movimiento de padres que buscaba impulsar una educación alternativa a la que se ofrecía en esos momentos, encargaban a Tyler –máximo representante de la evaluación de programas- un estudio sobre el rendimiento de los alumnos. La tarea realizada por el autor (1942) se convertiría, posteriormente, en una obra de referencia en materia educativa, dando lugar a la evaluación por objetivos y a la creación de una serie de instrumentos y procedimientos para medir un amplio rango de resultados escolares. Igualmente, la labor de este autor impulsó un movimiento en favor del cambio curricular, el cual se vería reforzado en los años sesenta, a tenor de la preocupación existente en relación a la enseñanza científica ofrecida en la escuela (véase el primer párrafo del punto 2.2.3.). También en la década de los sesenta, surge otro movimiento que lleva a evaluar todo programa público, con el fin de poder justificar su existencia tanto económica como ideológicamente. La evaluación de este tipo de programas puso de relieve la existencia de dificultades, dando lugar a una importante reflexión en torno a la importancia de un buen diseño de los mismos, lo que provocó la obligatoriedad (Elementary and Secondary Education Act, 1965) y, el consecuente auge, en la evaluación de programas.

Pero también surgió un debate en relación a la baja calidad de las evaluaciones que se estaban llevando a cabo y la escasa capacidad metodológica de los evaluadores. Cronbach ya venía denunciando esto desde la publicación de un artículo en 1963, en el que reivindicaba la necesidad de formarse como expertos. Este debate favoreció un gran impulso y la búsqueda de nuevas vías que desembocarían en la verdadera consolidación del campo de estudio al que nos estamos refiriendo: la evaluación de programas educativos.

Por su parte, este método no irrumpe en Europa hasta la década de los ochenta, cuando en Estados Unidos se da un declive en la evaluación de programas por la situación política y económica del momento (Rebolloso et al., 1998). Es pues a finales del siglo XX cuando comienzan a surgir grupos de expertos europeos en la materia, pudiendo destacar a nivel estatal Fernández-Ballesteros, autora que seguiremos para nuestro trabajo.

4.1.2. MARCO METODOLÓGICO PARA LA EVALUACIÓN DE PROGRAMAS

EDUCATIVOS

El primero modelo de evaluación de programas fue constituido por Tyler en su trabajo de 1942 y estaba basado en la evaluación de la consecución de los objetivos pretendidos. Desde este primer modelo, se han ido desarrollando cantidad de modelos que Garanto (1989) agrupa principalmente en dos grupos: los modelos clásicos que pretenden el logro de objetivos –representado por Tyler-, y los modelos alternativos que buscan sustentar una toma de decisiones. El objetivo de este último sería la

179

recopilación de información que permita una toma de decisiones racionalizada, dando lugar a un control adecuado del programa. Entre estas últimas propuestas, Rebolloso et al. (1998) desatacan la evaluación respondente de Stake y la evaluación naturalista de Guba y Lincoln. La característica principal de la primera es que pretende resultar una evaluación útil, atendiendo las necesidades concretas y buscando un profundo conocimiento de los intereses de quién ha pedido la evaluación, por lo que el diseño de la misma puede ir sufriendo modificaciones a lo largo del proceso. Por su parte, la segunda propuesta destaca por la utilización de metodología cualitativa y por estar muy pegada a la realidad, con toda la complejidad que esta pueda conllevar.

En definitiva, existen muchas maneras y puntos de vista desde los que los programas pueden ser evaluados. Una propuesta de tipología de evaluaciones es la que realiza Alvira (1991), fijándose en el aspecto a evaluar del programa: evaluación de necesidades; evaluación del diseño/conceptualización del programa de intervención;