Resumen de tesis doctoral en
Tecnología Educativa
Título
La evaluación de los mapas
conceptuales como herramienta para
su mejora
Doctorado en
Tecnología Educativa
Doctorando
Ernest Prats Garcia
Director
Índice general
1. Introducción ... 3
2. Fundamentación teórica ... 3
2.1. La representación gráfica del conocimiento ... 3
2.2. El aprendizaje significativo de David Ausubel ... 4
2.3. Los mapas conceptuales ... 5
2.4. La evaluación de mapas conceptuales ... 5
3. El proceso de la investigación ... 6
3.1. Definición del problema ... 6
3.2. Justificación del proyecto ... 7
3.3. Preguntas de la investigación o hipótesis de partida ... 7
3.4. Objetivos de la investigación ... 8
3.5. Contextualización ... 8
3.6. Población y selección de la muestra ... 9
3.7. Instrumentos de la investigación ... 9
3.9. Las fases del proceso de la investigación ... 10
3.10. Limitaciones del proceso ... 11
3.11. Cronograma ... 11
3.12. Situación del proceso de investigación ... 12
4. Análisis de resultados ... 12
4.1. Análisis individualizado de los instrumentos ... 12
4.2. Análisis en conjunto de los instrumentos ... 13
5. Conclusiones ... 13
1. Introducción
Los contenidos, especialmente hasta mediados del siglo XX, se han
presentado mayoritariamente en formato textual. A pesar de ello, ha existido siempre la posibilidad de representar éste de forma gráfica.
En el mundo educativo, que es el cual se va a realizar nuestra investigación, esta representación no textual del conocimiento ha tenido siempre una gran importancia.
Los modos de representar gráficamente el conocimiento son muchos y
variados. Hay autores que llegan a explicar, sin ser exhaustivos, hasta más de 60 formas distintas (Campos, 2005).
En nuestro caso, nos centraremos en los mapas conceptuales (a partir de ahora, MC). Se trata de una herramienta que fue diseñada específicamente para el mundo educativo por Joseph D. Novak en 1972 (Novak y Gowin, 1988). El tema de los MC y su uso en el mundo educativo es muy amplio, y ha
generado ya mucha bibliografía especializada. En nuestro caso, hemos decidido centrarnos en una temática más concreta: la evaluación de mapas conceptuales. También existe numerosa bibliografía sobre el tema, así como diferentes aplicaciones informáticas.
Como herramienta concreta para el desarrollo de los MC nos centraremos en CmapTools (programa desarrollado por el IHMC). Está perfectamente
adaptado a la fundamentación teórica de los MC y su espectro de utilización es muy amplio.
2. Fundamentación teórica
Nuestra fundamentación teórica se va a basar en cuatro grandes pilares: la representación gráfica del conocimiento, el aprendizaje significativo de David Ausubel, los mapas conceptuales y la evaluación de los mismos.
2.1. La representación gráfica del conocimiento
Muchos estudios han demostrados que se reconocen mejor los elementos gráficos que las estructuras meramente textuales (Trowbridge y Wandersee, 1998). Y esto se ha visto especialmente acelerado desde mediados del siglo
XX, momento en el cual la información puramente textual va perdiendo importancia.
De todas formas, hablar de representación gráfica del conocimiento, no implica que el mismo esté organizado. Es por ello que nos centraremos en la
organización gráfica del conocimiento que tiene algunas características que
lo diferencian de la representación, como:
• El conocimiento que se presenta está organizado, para facilitar su comprensión.
• Tiene una fundamentación teórica, lo que se considera fundamental en una investigación como la nuestra.
Han existido diferentes intentos de clasificar los organizadores gráficos del conocimiento (Trowbridge y Wandersee, 1998; Campos, 2005; Delengaigne, 2011), si bien ninguno de ellos cubre el espectro completo.
Para centrar todavía más el tema, podríamos hablar de la cartografía del
conocimiento (Okada, Buckingham Shum, y Serborne, 2008). Su punto de
partida es que los mapas son una de las formas más antiguas de comunicación humana, y que ayudan a recordar lo que es importante. Su similitud con las actuales redes de comunicaciones los hace todavía más atractivos para los jóvenes, que no han conocido una sociedad sin ellas.
2.2. El aprendizaje significativo de David Ausubel
El aprendizaje significativo es el fundamento de los mapas conceptuales (Novak y Gowin, 1988). A lo largo de su obra, Ausubel (Ausubel, Novak, y Hanesian, 1983; Asubel, 2002) establece una clara diferencia entre:
• Aprendizaje memorístico: En él, lo nuevos conocimientos simplemente se memorizan; no se establecen relaciones con los anteriores. Por ello, se olvidan fácilmente.
• Aprendizaje significativo: En este caso, a la base es el conocimiento previo de los alumnos. Pretende establecer relaciones entre lo que se conoce y los nuevos conceptos a aprender.
2.3. Los mapas conceptuales
Siempre ha existido, incluso en la comunidad científica un cierto confusionismo respecto a lo que es y no es un MC. Esta confusión se hace especialmente patente con los mapas mentales.
Los MC nacen en el mundo educativo, y presentan siempre la información de forma estructurada.
Los MC están formados por conceptos que se unen por medio de palabras de enlace formando proposiciones. Partiendo de esta definición elemental, se podrían añadir otras características, como la estructura jerárquica, la existencia de pregunta de enfoque o los enlaces cruzados.
Respecto a su uso en educación, se han recogido varios en diferentes estudios (Coffey y otros, 2003). Así, podríamos destacar:
• Herramienta de soporte al aprendizaje • Herramienta de trabajo colaborativo
• Organizadores avanzados del conocimiento • Herramienta de soporte a la navegación • Herramienta de evaluación
Como aplicación informática de ha optado por CmapTools. Es un programa desarrollado por el IHMC con la colaboración de Joseph D. Novak, y que presenta las siguientes características (Novak y Cañas, 2004):
• Es de fácil manejo
• Permite crear modelos de conocimiento • Permite colaborar y compartir
• Permite agregar recursos a los conceptos
• Posibilita crear una presentación a partir del MC
2.4. La evaluación de mapas conceptuales
Des del mismo momento de su aparición, ya han existido propuestas de cómo evaluar los MC. Novak y Gowin (1988) proponían ya un instrumento para la evaluación de los MC. Se trataba de un análisis topológico de los mapas, otorgando una determinada puntuación a diferentes aspectos del mismo.
En esta misma línea, modificando especialmente los criterios de puntuación originalmente proporcionados, analizando las propuestas por parte de diferentes autores (Coffey y otros, 2003).
Para el análisis de los MC basados en tareas, existe una interesante recopilación de instrumentos (Strautmane, 2012), que permiten analizarlos desde diferentes puntos de vista.
Los que quizá han generado un mayor número de estudios han sido los instrumentos utilizados en el Proyecto Conéctate al Conocimiento (Tarté, 2006).
Se desarrollaron dos tipos de instrumentos distintos (Miller, 2008), con la intención de evaluar los MC desde diferentes puntos de vista:
• Taxonomía topológica (Cañas y otros, 2006): Permite hacer un análisis topológico de los MC, es decir, de los elementos que lo forman, sin entrar en los contenidos.
• Rúbrica semántica (Miller y Cañas, 2008): Con este instrumento, los MC se analizan desde el punto de vista sus contenidos.
3. El proceso de la investigación
3.1. Definición del problemaNuestro punto de partida será la utilidad de los MC y en concreto de la
herramienta CmapTools para representar el conocimiento. Está representación gráfica del conocimiento facilita el aprendizaje por parte del alumnado de cualquier nivel.
Cuando se utilizan los MC, especialmente en entornos educativos, surge el problema de su posible evaluación. Es por ello que se han desarrollado numerosos instrumentos con esta finalidad.
Por tanto, nuestro punto de partida será la pregunta: ¿Cómo evaluar un mapa conceptual?.
Como se ha visto anteriormente, existen numerosos instrumentos que permiten evaluar los MC desde diferentes puntos de vista. Además, existen toda una serie de condicionantes que afectan al análisis, no sólo desde el punto de vista
de los contenidos, sino desde otros distintos: tamaño de la muestra, uniformidad de la misma…
3.2. Justificación del proyecto
Llevamos ya muchos años impartiendo cursos de formación on-line dentro del ámbito de la formación permanente del profesorado de la Conselleria
d’Educació, Cultura i Universitats del Govern de les Illes Balears.
Al mismo tiempo, hemos sido autores de diferentes materiales de formación para los referidos cursos. Uno de ellos, en el que nos centraremos a partir de ahora, lleva como título Elaboració de mapes conceptuals amb CmapTools, creado en 2007. En estos momentos, se ha llevado a cabo en un total de 19 ocasiones, y hemos sido tutores del curso en la mayor parte de los casos. A partir del mencionado curso, ya hace un tiempo que nos planteamos la necesidad de disponer de un instrumento para evaluar MC.
3.3. Preguntas de la investigación o hipótesis de partida
Los mapas conceptuales (MC) son conocidos y utilizados desde hace años como una forma de representar gráficamente la organización del conocimiento. Uno de los ámbitos donde mayor es su uso es el educativo.
Dentro del ámbito educativo (y también en otros), es habitual plantearse si un mapa conceptual puede ser evaluado. No se trata de que un mapa “guste” o no, tal como señalan (Novak & Gowin, 1988), se deben aplicar criterios de medida con base científica.
En base a ellos, nos planteamos las siguientes preguntas para nuestra investigación:
• ¿Son los mapas conceptuales un instrumento válido para la evaluación? • ¿Qué aspectos mínimos debe recoger un instrumento de evaluación de
mapas conceptuales para que pueda considerarse como válido? • ¿Es suficiente la aplicación de un solo instrumento de evaluación o es
necesario que sean más? ¿Porqué razones?
• ¿Existe un instrumento de evaluación válido para cualquier mapa conceptual?
3.4. Objetivos de la investigación
1. Analizar instrumentos de evaluación existentes: Nuestra intención es analizar diferentes instrumentos de evaluación que se adapten a
nuestras necesidades. Debe tenerse presente que, en estos momentos, existen muchos instrumentos de evaluación de MC, por lo que será necesario hacer una selección previa de los mismos.
2. Aplicar determinados instrumentos de evaluación: Después de hecho en análisis de los principales instrumentos de evaluación de MC existentes, se pasará a aplicar algunos de ellos a una muestra.
3. Aplicar instrumentos de evaluación con ordenador. Muchas veces interesa evaluar, al mismo tiempo, una gran cantidad de MC. La aplicación manual de instrumentos es lenta y dificultosa, por lo que se aplicará experimentalmente algún instrumento con ordenador.
4. Evaluar los resultados obtenidos: El análisis de los resultados se hará tanto desde un punto de vista cualitativo como cuantitativo.
5. Aplicar mejoras en los instrumentos: Después del análisis de resultados, se propondrán una serie de mejoras, si se considera necesario, en los instrumentos, y se hará una nueva aplicación de los mismos.
6. Proponer un nuevo instrumento de evaluación: Es, sin duda, el objetivo más ambicioso de todos los propuestos. Se trataría de, partiendo de la experiencia proporcionada por los instrumentos ya existentes, proponer uno de nuevo, que también se aplicaría, para evaluar sus resultados. Se quiere intentar que el instrumento pueda ser aplicado a diferentes
ámbitos o niveles, a partir de modificaciones del instrumento maestro.
3.5. Contextualización
Como ya se ha comentado con anterioridad, nuestro análisis se centrará en MC creados en actividades de formación permanente del profesorado.
El año 1999, la Conselleria d’Educació, Cultura i Universitats del Govern de les Illes Balears inició un plan piloto de formación permanente del profesorado on-line. A lo largo del curso 2000-01, se convirtió en un proyecto que se ha ido consolidando a lo largo de los años.
A nivel personal, hemos elaborado material de formación para algunos de estos cursos. Entre ellos figura Elaboració de mapes conceptuals amb CmapTools. El curso tiene dos partes:
1. Introducción a los MC: Se hace una introducción a los MC para intentar evitar conceptos erróneos.
2. Creación de MC con CmapTools: Se muestra cómo crear MC con el programa CmapTools. Los MC que deben crear los alumnos han de estar relacionados siempre con su aplicación en el aula.
3.6. Población y selección de la muestra
Como se ha comentado anteriormente, el curso del cual provienen los mapas conceptuales se ha llevado a cabo un total de 19 veces, entre los cursos académicos 2007-08 y 2013-14.
El número de alumnos por curso, con algunas excepciones, ha oscilado entre 20 y 25.
En una primera fase, se seleccionará una muestra de 3 grupos, elegidos al azar. Se mantendrá siempre el anonimato de los autores de los MC. Al mismo tiempo, se ignorará toda otra información relacionada con ellos, como nivel educativo que imparten, área o materia… Lo que interesa en este proceso de investigación son los MC, al margen de cualquier otra información.
En una segunda fase, y después de seleccionar los instrumentos definitivos y hacer en ellos las modificaciones que se surjan en la primera fase, se aplicarán éstos al total de los MC generados en el curso.
3.7. Instrumentos de la investigación
Podemos dividir los instrumentos a aplicar en los siguientes grupos: a) Instrumentos ya utilizados con anterioridad
En investigaciones anteriores (Prats, 2013; 2014), ya hemos aplicado con anterioridad los siguientes instrumentos:
• Criterios de puntuación de MC (Novak y Gowin, 1988) • Taxonomía topológica (Cañas y otros, 2006)
• Rúbrica de evaluación semántica (Miller y Cañas, 2008)
En el caso concreto de los dos últimos instrumentos mencionados, nos
Parten de la Taxonomía de Bloom (Bloom, 1956), pero debe tenerse presente que esta fue revisada por sus colaboradores con posterioridad (Anderson y Krathwohl, 2001) y ha sido replanteada por otros autores (Marzano y Kendall, 2007; 2008).
b) Instrumentos basados en una aplicación informática
Se piensa utilizar el programa CmapAnalisys, que permite realizar un análisis topológico de los MC (Cañas, Bunch, y Reiska, 2010; Cañas, Bunch, Novak, y Reiska, 2013).
c) Otros instrumentos
Se analizará la literatura científica relacionada con el tema, y, a partir de ella, se tratará de encontrar algún instrumento (o instrumentos) que se consideren válidos.
Al mismo tiempo, aplicaremos un instrumento, en forma de rúbrica, que ya hemos utilizado con anterioridad (Prats y Ferrer, 2012; 2014).
d) Creación de un nuevo instrumento
Después de la experiencia adquirida con el análisis y aplicación de instrumentos, nuestra intención es proponer un nuevo instrumento de
evaluación de MC, basado en rúbricas. Consideramos que este instrumento debería estar divido en diferentes partes, para poder analizar los MC desde diferentes puntos de vista.
3.9. Las fases del proceso de la investigación
Fase 1: Aplicación de los instrumentos a una muestra
Se aplicarán los instrumentos seleccionados a una muestra formada por 3 grupos (n=75).
Fase 2: Análisis de los resultados de la muestra
Se ha de tener presente que esta fase puede presentar variaciones, según el tipo de instrumento que se esté analizando.
En una primera subfase (cualitativa), se hará un examen de los MC de forma individual. Se comprobará la correcta aplicación de los criterios de evaluación, y el proceso se repetirá dos veces, para una mayor seguridad.
La segunda subfase (cuantitativa), comportará el análisis de los datos
La tercera subfase (cualitativa), comportará un análisis de los datos
proporcionados en la subfase anterior, para revisar los criterios de evaluación de los instrumentos, si se considera necesario.
La cuarta subfase implicará una nueva aplicación de los instrumentos, ya modificados, a la muestra.
Fase 3: Aplicación de los instrumentos al conjunto de la población
Cuando se considere que los instrumentos ya son los correctos, se procederá a su aplicación al conjunto de la población.
3.10. Limitaciones del proceso
La población con la que trabajamos, es decir, los MC generados en el curso mencionado anteriormente, presentan la particularidad de estar formados por un mapa principal y uno secundario. Se debe analizar el problema de cómo se puede evaluar esta particularidad.
Los MC que utilizados se puede considerar que están basados en tareas (Ruiz-Primo y Shavelson, 1996), y presentan, por ello, una serie de particularidades. Se debe analizar si éste factor condiciona los resultados obtenidos.
3.11. Cronograma
El cronograma que presentamos a continuación está condicionado, como es normal, por todos aquellos aspectos no inicialmente previstos que puedan surgir a lo largo del proceso de investigación.
3.12. Situación del proceso de investigación
Podemos considerar como realizadas (algunas parcialmente) las siguientes fases del proceso de investigación:
1. Diseño de la investigación – Completada, en base a las fases
propuestas en el cronograma. No se descarta en base a los resultados que se obtengan en la ejecución de la investigación, añadir algún nuevo instrumento.
2. Ejecución de la investigación – En proceso. Se han completado las cuatro primeras fases señaladas en el cronograma, por lo que se refiere a la aplicación de los instrumentos a la muestra. Ahora se está
procediendo al análisis de los datos obtenidos.
4. Análisis de resultados
4.1. Análisis individualizado de los instrumentos
Para cada uno de los instrumentos utilizados, se analizarán, de forma individual, aspectos como:
• Resultados obtenidos
• Cambios aplicados, es decir, aquellas modificaciones que se hayan hecho en los instrumentos.
4.2. Análisis en conjunto de los instrumentos
Se tratará de analizar los instrumentos de forma conjunta, estableciendo comparaciones entre ellos, desde diferentes puntos de vista:
• Usabilidad: Es decir, la facilidad con la que se puede aplicar el instrumento.
• Resultados obtenidos: Se tratará de analizar los resultados de los instrumentos, su nivel de fiabilidad y la relevancia de los resultados. • Posibilidad de realización de cambios en la herramienta: Se medirán las
dificultades que existen para pode realizar modificaciones en la herramienta.
• Usuarios de la herramienta: Se intentará establecer quienes pueden ser los posibles usuarios de cada una de las herramientas seleccionadas.
5. Conclusiones
Las conclusiones se establecerán en base a los objetivos de la investigación, procediéndose al análisis de cada uno de ellos, y a los resultados que se hayan obtenido.
También se analizarán, si es que existen, aquellos resultados no esperados relacionados con el conjunto de la investigación o con aspectos concretos de ella.
Referencias
Anderson, L. W., y Krathwohl, D. R. (2001). A taxonomy for learning, teaching, and
assessing : a revision of Bloom’s taxonomy of educational objectives. New York:
Longman.
Ausubel, D. P. (2002). Adquisición y retención del conocimiento : una perspectiva
cognitiva. Barcelona: Paidós.
Ausubel, D. P., Novak, J. D., y Hanesian, H. (1983). Psicología educativa desde un
punto de vista cognoscitivo (2nd ed.). México, D.F: Editorial Trillas.
Bloom, B. (1956). Taxonomy of educational objectives : the classification of educational
goals. London: Longmans.
Campos, A. (2005). Mapas conceptuales, mapas mentales y otras formas de
representación del conocimiento. Bogotá, Colombia: Coop. Editorial Magisterio.
Cañas, A., Bunch, L., Novak, J., y Reiska, P. (2013). Cmapanalysis: an extensible concept map analysis tool. JETT, 4(1), 36–46. Consultado en
http://dialnet.unirioja.es/servlet/articulo?codigo=4264779
Cañas, A. J., Bunch, L., y Reiska, P. (2010). CmapAnalysis: An extensible Concep Map Analysis Tool. In J. Sánchez, A. J. Cañas, y J. D. Novak (Eds.), Concept
Maps: Theory, Methodology, Technology. Proc. of the Fourth Int. Conference on Concept Mapping (Vol. 1, pp. 75–83). Viña del Mar, Chile: Universidad de Chile.
Cañas, A. J., Novak, J. D., Miller, N. L., Collado, C., Rodríguez, M., Concepción, M., … Peña, L. (2006). Confiabilidad de una Taxonomía Topológica para Mapas
Conceptuales. In Concept Maps: Theory, Methodology, Technology. Proc. of the
Second Int. Conference on Concept Mapping. (Vol. 1, pp. 153–161). San José,
Costa Rica: Universidad de Costa Rica. Consultado en http://eprint.ihmc.us/149/ Coffey, J. W., Carnot, M. J., Feltovich, P., Hoffman, R. R., Feltocich, J., Novak, J. D., y
J, C. A. (2003). A summary of literature pertaining to the use of concept mapping
techniques and technologies for education and performance support (p. 108).
Pensacola, FL. Consultado en
http://www.ihmc.us/users/acanas/Publications/ConceptMapLitReview/IHMC Literature Review on Concept Mapping.pdf
Delengaigne, X. (2011). Apprendre autrement avec les organisateurs graphiques. Editado por el autor. Lille.
Marzano, R., y Kendall, J. S. (2007). The new taxonomy of educational objectives. Thousand Oaks CA: Corwin Press.
Marzano, R., y Kendall, J. S. (2008). Designing y assessing educational objectives :
Miller, N. L. (2008). An exploration of computer-mediated skill acquisition in concept
mapping by in-service Panamanian public elementary schoolteachers. Tesis
doctoral inédita. Universitat Oberta de Catalunya.
Miller, N. L., y Cañas, A. J. (2008). A Semantic Scoring Rubric for Concept Maps: Design and Reliability. In A. J. Cañas, R. Priit, M. K. Åhlberg, y J. D. Novak (Eds.),
3rd Int. Conference on Concept Mapping. Tallinn, Estonia and Helsinki, Finland.
Consultado en http://cmc.ihmc.us/cmc2008papers/cmc2008-p253.pdf
Novak, J. D., y Cañas, A. J. (2004). Building on New Constructivist Ideas y CmapTools to Create a New Model for Education. In F. González (Ed.), Concept Maps:
Theory, Methodology, Technology. Proc. of the First Int. Conference on Concept Mapping (Vol. 1, pp. 469–476). Pamplona, Spain: Universidad Pública de
Navarra. Consultado en http://eprint.ihmc.us/114/
Novak, J. D., y Gowin, D. B. (1988). Aprendiendo a aprender. Barcelona: Martínez Roca.
Okada, A., Buckingham Shum, S. J., y Serborne, T. (2008). Knowledge cartography
software tools and mapping techniques (p. 412). London : Springer.
Prats, E. (2013). La evaluación de los mapas conceptuales: un caso práctico. Proyecto de Fin de Máster. Universitat de les Illes Balears. Consultado en
http://www.slideshare.net/ernestprats/pfm-mte-ernest-prats-sept-f
Prats, E. (2014). La Evaluación de Mapas Conceptuales: Análisis de Instrumentos y su Aplicación en un Caso Práctico. In Concept mapping to learn and innovate : Proc. of the Sixth Int. Conference on Concept Mapping (pp. 298–304). São Paulo, Brazil: USP, IHMC – São Paulo.
Prats, E., y Ferrer, I. (2012). Los Mapas Conceptuales como Elemento para Mejorar la Comprensión de Textos. Una Experiencia en Educación Primaria. En Concept
Maps: Theory, Methodology, Technology. Proc. of the Fifth Int. Conference on Concept Mapping (Vol. 3, pp. 141–144). Valetta, Malta: University of Malta.
Consultado en http://cmc.ihmc.us/cmc2012papers/cmc2012-p111.pdf
Prats, E., y Ferrer, I. (2014). El Uso Combinado de Webquest y Mapas Conceptuales en Educación Primaria. Análisis de una Experiencia. En P. Correia, M. Malachias, A. J. Cañas, & J. D. Novak (Eds.), Concept Maps: Theory, Methodology,
Technology. Proc. of the Fifth Int. Conference on Concept Mapping (pp. 611– 614). São Paulo, Brazil: USP, IHMC – São Paulo.
Ruiz-Primo, M. A., y Shavelson, R. J. (1996). Problems and issues in the use of concept maps in science assessment. Journal of Research in Science Teaching,
Strautmane, M. (2012). Concept Map-Based Knowledge Assessment Tasks and their Scoring Criteria: an Overview. In A. J. Cañas, J. D. Novak, y J. Vanhear (Eds.),
Concept Maps: Theory, Methodology, Technology. Proc. of the Fifth Int.
Conference on Concept Mapping (Vol. 1, pp. 80–88). Valetta, Malta: University of
Malta. Consultado en http://eprint.ihmc.us/219/
Tarté, G. (2006). Conéctate al Conocimiento: Una Estrategia Nacional de Panamá Basada en Mapas Conceptuales. In A. J. Cañas y J. D. Novak (Eds.), Concept
Maps: Theory, Methodology, Technology. Proc. of the Second Int. Conference on Concept Mapping. (Vol. 1, pp. 144–152). San José, Costa Rica: Universidad de
Costa Rica. Consultado en http://eprint.ihmc.us/159/
Trowbridge, J. E., y Wandersee, J. H. (1998). Theory-Driven Graphic Organizers. In J. J. Mintzes, J. H. Wandersee, y J. D. Novak (Eds.), Teaching science for
