7.1 Resultados de la prueba piloto
Durante el primer semestre de 2009 se aplicó una prueba piloto en el curso PMC con TICs y se obtuvieron resultados preliminares.
El primer paso en la aplicación de la prueba piloto consistió en el análisis de los instrumentos de evaluación diseñados y utilizados por el equipo docente. Estos instrumentos son aplicados en diferentes momentos en el curso, pretenden capturar información del proceso de aprendizaje y son utilizados por diferentes actores relevantes del sistema (profesores, empresarios, estudiantes).
Como resultado del análisis de los instrumentos de evaluación, se identificó el despliegue de los objetivos y factores estratégicos en dichos instrumentos y se generó la conexión entre la información que éstos recolectan y los indicadores que pueden alimentar. Así, se realizaron cálculos de indicadores con base en la información recolectada por el equipo docente. En la tabla 7 se presentan los indicadores calculados con base en los instrumentos de observación aplicados por el equipo docente del curso PMC con TICs.
Los indicadores que se presentan en la tabla 7 son resultado de las calificaciones obtenidas por los estudiantes en los diferentes criterios de evaluación incluidos en los instrumentos utilizados para tal fin y se calcularon de acuerdo a las fórmulas presentadas en el anexo 3 de este documento. Estos indicadores se comparan respecto al número 5.0 que es la calificación máxima a obtener en cada criterio. En un vistazo general se puede apreciar que los indicadores presentan un buen comportamiento en términos del alcance de los objetivos planteados para el sistema; sin embargo, es preciso aclarar que los indicadores permiten tener una apreciación global del desarrollo de habilidades y competencias que plantean los objetivos y que, en el caso particular del curso PMC con TICs, representa el desempeño de los grupos de trabajo que se conforman en el curso para el desarrollo de proyectos.
Tabla 7. Resultados de la prueba piloto Objetivos Factores estratégicos
(claves de éxito) Indicador A C P
La (P/C) Lo (C/A) D La x Lo An ability to identify, formulate, and solve engineering problems Identificar problemáticas abordables desde la Ingeniería
Capacidad para identificar
una problemática 4.05 4.5 5 1.11 1.11 1.24
Capacidad para describir
una problemática 3.84 4.5 5 1.11 1.17 1.30 Formular problemas de Ingeniería Capacidad de investigación acerca de problemas, situaciones y soluciones similares o relacionadas 3.92 4.5 5 1.11 1.15 1.27 Resolver problemas de Ingeniería Presentación de la implementación y del desarrollo del prototipo
4.2 4.5 5 1.11 1.07 1.19 An ability to communicate effectively Presentaciones escritas Claridad en la definición de objetivos 4.30 4.5 5 1.11 1.05 1.16 Presentaciones orales Evidencia de un proceso de investigación 4.03 4.5 5 1.11 1.12 1.24 Utilización de lenguaje técnico 4.42 4.5 5 1.11 1.02 1.13
Calidad del material de
apoyo 4.2 4.5 5 1.11 1.07 1.19 A knowledge of contemporary issues Observación del entorno Observación de problemáticas actuales de Ingeniería 3.95 4.5 5 1.11 1.14 1.27 Observación de soluciones propuestas a problemáticas actuales de Ingeniería 3.95 4.5 5 1.11 1.14 1.27
A = Actualidad C = Capacidad P = Potencialidad La = Latencia Lo = Logro D = Desempeño
7.2 Publicaciones asociadas
Como resultado adicional de este proyecto se publicaron los siguientes artículos: Hernández, J.T., Ramírez, M.C. & Carvajal, J.A. (2009). Teamwork assessment in
order to promote engineering students’ innovative attitude. Proceedings of ninth Active Learning in Engineering International Workshop, Junio de 2009. Barcelona, España.
Carvajal, A. & Ramírez, C. (2009). Aplicación de la metodología CyberSyn en evaluación de aprendizaje activo en ingeniería. Revista Educación en Ingeniería, 7.
Carvajal, A. & Ramírez, C. (2008). Diseño de un modelo de evaluación para un ambiente de aprendizaje activo en ingeniería. Revista Educación en Ingeniería, 6. El primero de ellos fue presentado mediante un afiche en el noveno Congreso Internacional de Aprendizaje Activo que organizaron en 2009 la Universitat Politécnica de Catalunya y la Universitat de Barcelona en Barcelona (España) y fue presentado por la Dra. Catalina Ramírez Cajiao.
Los siguientes dos artículos se publicaron en la Revista Educación en Ingeniería, publicación de la Asociación Colombiana de Facultades de Ingeniería, indexada en el índice científico nacional PUBLINDEX y en el Sistema Regional de Información Científica para América, el Caribe, España y Portugal LATINDEX Categoría C.
7.3 Consideraciones para la implementación del modelo
Hasta este punto, se ha construido la identidad del sistema mediante la herramienta TASCOI, se han identificado las actividades primarias y secundarias, se definieron los objetivos, factores críticos del sistema y, con base en estos últimos, se construyeron los indicadores e índices del sistema.
Es importante en este punto comentar algunos elementos necesarios importantes que deben ser considerados para la implementación del modelo de evaluación que se propone en este proyecto de investigación.
Instrumentos de observación
Uno de los elementos más importantes de cualquier modelo de evaluación son los instrumentos mediante los que se recolectará la información para su posterior procesamiento. Este factor se hace importante en la medida en que de su correcto
diseño y utilización dependerá la calidad de la información recolectada y la realimentación que reciban los actores relevantes del sistema.
Diseño y uso de matrices de evaluación
Las matrices de evaluación permiten a evaluadores y evaluados tener una guía para realizar su trabajo. En el caso del modelo de evaluación que se propone, una matriz de evaluación complementa los instrumentos de evaluación ya que permite hacer una interpretación cualitativa de los resultados numéricos que arrojen los indicadores y los índices.
Para el diseño de las matrices de evaluación debe hacerse un ejercicio de deconstrucción de cada una de las competencias a evaluar. Así se conseguirá estructurar los rangos de desarrollo de competencias en la matriz de evaluación y podrá enriquecerse la interpretación de las variables de control.
La implementación de un modelo de evaluación como el propuesto en este proyecto requiere un alto compromiso del equipo docente para que sea exitoso. Tareas como el diseño de instrumentos de observación, matrices de evaluación, alimentación de indicadores, interpretación de resultados y realimentación a los actores relevantes del sistema deberán ser, si no realizados, supervisados por el equipo docente. Esto requiere la inversión de recursos y tiempo para que el modelo de evaluación se convierta en un apoyo significativo del aprendizaje activo y no sea entendido como una herramienta que aumenta el volumen de trabajo de docentes, asistentes y monitores sin un objetivo preciso
8 CONCLUSIONES
Este proyecto de investigación ha presentado la idea de entender el aprendizaje como un proceso. Ese concepto es validado por Kolb (1939) quien retoma las ideas de Lewin, Dewey y Piaget en la generación de un marco conceptual de comprensión de los fundamentos del aprendizaje, de los procesos asociados y las dimensiones en las que ocurren tales procesos. Ahora, si se entiende el aprendizaje activo como un proceso, es importante realizar una
medición de ese aprendizaje activo de manera consistente con ese concepto. Esto implica la definición clara de objetivos a alcanzar, las estrategias que se pondrán en marcha para lograr esos objetivos y las mediciones que permitan tomar decisiones y mejorar el proceso de aprendizaje activo y sus estrategias.
Consistente con lo anterior, para un proceso de aprendizaje activo, se plantea a CyberSyn como una herramienta que permite evaluar el aprendizaje activo. De esa manera, se aplica la teoría de sistemas de control a procesos de aprendizaje con base en los conceptos de recurrencia, viabilidad y autonomía que permiten entender el proceso de aprendizaje activo y sus actores relevantes como un sistema viable. Igualmente, CyberSyn plantea el uso de tecnologías de información y comunicación para mejorar los flujos de información entre estudiantes y evaluadores. Así se puede tener acceso a información relevante para el proceso de aprendizaje que permitirá tomar decisiones en momentos adecuados, modificar y reorientar las estrategias y alcanzar los objetivos del aprendizaje activo; todo ello fundamentado en el concepto de realimentación.
Cuando se utiliza la metodología sistémica para evaluar un proceso de aprendizaje activo, se tiene la posibilidad de generar un valor agregado innovador en términos de la aplicación de evaluaciones que involucran a diferentes actores del proceso de aprendizaje activo. Esto significa que ya no se está hablando únicamente de un profesor que emite un concepto sobre el proceso de aprendizaje activo del estudiante sino que se involucran otros puntos de vista que enriquecen esa evaluación. Para el caso particular del curso PMC con TICs, se generan evaluaciones por parte de los empresarios, de estudiantes avanzados externos de estudiantes pares del curso y de cada estudiante mismo. Esto constituye un cambio fundamental respecto a otras metodologías o modelos de evaluación.
En cuanto a la aplicación de la prueba piloto, ésta permitió ver cómo, con la construcción de índices que relacionan los óptimos actuales, futuros y el valor actual de los indicadores del proceso, se puede tener información acerca del impacto de las estrategias implementadas en el ambiente de aprendizaje activo con miras a alanzar los objetivos deseados.
En cuanto a la implementación del modelo de evaluación y retomando las consideraciones presentadas en el numeral anterior, se debe entender que el modelo que se propone requiere un compromiso importante por parte de todos los involucrados en el proceso de aprendizaje activo. Así se plantea la idea de ver el modelo como una propuesta que puede ser adaptada de acuerdo a las consideraciones de los actores relevantes y que, en todo caso, debe constituirse en una herramienta de apoyo al aprendizaje activo.
Finalmente, este proyecto quiere constituirse en una invitación al desarrollo de propuestas de evaluación de aprendizaje activo que permitan enriquecer la discusión en torno a este tema. Por su parte, este proyecto seguirá siendo desarrollado por los autores para aplicar la metodología en el curso PMC con TICs y así obtener resultados que realimenten el modelo y permitan su mejoramiento continuo y la extensión a otros ambientes de aprendizaje.
REFERENCIAS
Active Learning in Engineering Education. (s.f.). ALE 2008 Home. Recuperado el 19 de marzo de 2008, del sitio Web http://ale2008.uniandes.edu.co.
Aldana, E. & Reyes, A. (2004). Disolver problemas: Criterio para formular proyectos sociales. Bogotá, Colombia: Ediciones Uniandes.
Bahamón, J.H. (s.f.). Construcción de indicadores de gestión bajo el enfoque de sistemas. Dspace ICESI. Recuperado el 5 de marzo de 2009, del sitio Web https://dspace.icesi.edu.co/dspace/handle/item/383?mode=full.
Barak, M., Maymon, T. & Harel, G. (1999). Teamwork in a modern organization. International Journal of Technology and Design Education, 9, 85-101.
Beltrán, M.A. (2000). Software educativo para el diseño de indicadores de gestión-SEDIG. DSpace. Recuperado el 5 de marzo de 2009, del sitio Web http://columbus.uniandes.edu.co:5050/dspace/handle/1992/505 .
Berggren, K.F., Brodeur, D., Crawley, E.F., Ingemarsson, I., Litant, W., Malmqvist, J. et al. (2003). CDIO: An international initiative for reforming engineering education. World Transactions on Engineering and Technology Education, Vol. 2, No. 1.
Carmona, A.M. (1996). Visión cibernética de los sistemas de control de gestión. Bogotá, Colombia: Universidad de los Andes.
Duque, M. (2006). Competencias, aprendizaje activo e indagación: Un caso práctico en ingeniería. Revista Educación en Ingeniería, 2, 7-18.
Facultad de Ingeniería. (2005). Proyecto de renovación de los programas de ingeniería. Documento no publicado.
Froyd, J. (2005). The engineering education coalitions program. En National Academy of Engineering of the National Academies (Ed.), Educating the Engineer of 2020: Adapting engineering to the new century (pp. 92). Washington, United States of American: The National Academies Press.
Hernández, J.T. (2004). Plan de Renovación de la Facultad de Ingeniería. Recuperado el 23 de junio de 2008, del sitio Web http://renovacioningenieria.uniandes.edu.co.
Illeris, K. (2003). Towards a contemporary and comprehensive theory of learning. International Journal of Lifelong Education, 22, (4), 396-406.
Kolb, D. (1939). Experiential Learning: Experience as the source of learning and development. New Jersey, United States of American: Prentice Hall.
Lammoglia, N., Bustos, A. & Zarama, R. (s.f.). Communication Structure, information Flow, and Dynamical Equilibrium: An experimental Approach.
Ma, J. & Nickerson J.V. (2006). Hands-On, Simulated, and Remote Laboratories: A comparative Literature Review. ACM Computing Surveys, 38, (3, September 2006), 1-24.
National Academy of Engineering of the National Academies (2005). Educating the Engineer of 2020: Adapting engineering to the new century. Washington, United States of American: The National Academies Press.
Ossa, C., Rivera, E., Pazo, D., Vidal, S., Marambio, B. & Berendsen, E. (s.f.). CYBERSYN: Sinergia cibernética. Recuperado el 30 de septiembre de 2008, de http://www.cybersyn.cl/castellano/documentacion/index.html.
Presidencia de la República & Departamento Nacional de Planeación (2005). Visión Colombia II Centenario 2019: Propuesta para Discusión. 3Ed. Bogotá, Colombia: Planeta.
Rusell, T. & McGuigan, L. (2007). Development of a model of formative assessment. En R. Pintó & D. Couso (Eds.). Contributions from science education research (pp- 187-198). Holanda: Springer.
Schwaninger, M. (2006). Intelligent Organizations: Powerful models for systemic management. Berlin, Alemania: Springer.
Schwartz, S. & Pollishuke, M. (1995). Aprendizaje Activo: Una organización de la clase centrada en el alumnado. Madrid, España: Nancea S.A. de Ediciones.
Toro, J. (1993). Educación en Ingeniería. Texto y Contexto, 20, 65-70.
Ulrich, W. (1989). Una crítica al pensamiento cibernético: La experiencia chilena (Proyecto Cybersyn) (G. González, E. Lleras & M. Wiesner, Trads.) Bogotá, Colombia: Universidad de los Andes. (Trabajo original publicado en 1988).
Valderrama, A., Mejía, A., García, A., Mejía, I., Arias, R. & Lleras, E. (s.f.). Engineering programs in Colombia: One Reform?
ANEXOS
Anexo 1: Competencias deseables en el ingeniero del siglo 21 sugeridas por ABET Recuperado de http://www.u-kokusen.jp/seminar/pdf/h201104-sympo/repo18.pdf en febrero 17 de 2009
a. An ability to apply knowledge of mathematics, science, and engineering;
b. an ability to design and conduct experiments, as well as to analyze and interpret data; c. an ability to design a system, component, or process to meet desired needs within
realistic constraints such as economic, environmental, social, political, ethical, health and safety, manufacturability, and sustainability;
d. an ability to function on multidisciplinary teams;
e. an ability to identify, formulate, and solve engineering problems; f. an understanding of professional and ethical responsibility; g. an ability to communicate effectively;
h. the broad education necessary to understand the impact of engineering solutions in a global, economic, environmental, and societal context;
i. a recognition of the need for, and an ability to engage in life-long learning; j. a knowledge of contemporary issues and;
k. an ability to use the techniques, skills, and modern engineering tools necessary for engineering practice.
Anexo 2: Los aportes de Lewin, Dewey y Piaget al aprendizaje experiencial