Evaluación de proceso

El cuestionario de proceso permitía revelar las percepciones de los diversos protagonistas de los cursos piloto (cursantes, docente, directores y stakeholders) durante el desarrollo de los cursos mismos. El propósito del cuestionario –construido según una óptica de evaluación formativa de cuarta generación, apta a identificar aspectos positivos y aspectos de criticidad– era el de involucrar los diferentes “actores” de los cursos en la evaluación de la calidad de los procesos de enseñanza-aprendizaje con el propósito de una reflexión compartida y de un rediseño en desarrollo.

El cuestionario, denominado CAP (Cuestionario de Autoevaluación de Proceso), del que se reporta un ejemplo de ítem en la figura 5, consideraba las percepciones de los actores en mérito a las diversas dimensiones de los cursos piloto, como:

• la comprensión de las finalidades del curso y participación de los actores;

• las competencias promovidas por el itinerario formativo; • la realización del curso de formación;

• los espacios y recursos materiales;

• la colegialidad en el grupo de los docentes;

• las relaciones con el contexto profesional de referencia.

•Come se puede observar en la figura 5, para cada dimensión analizada

el CAP preveía una serie de descriptores “de calidad” de los cursos Trall. Estructurados como afirmaciones con las cuales cada “actor” tenía que confrontarse preguntándose si su propia percepción subjetiva del curso correspondía, más o menos (en una escala de 1 a 6), a tales situaciones de excelencia.

Coherentemente con una perspectiva de evaluaciones formativas, el CAP ha sido usado como instrumento de autoevaluación de procesos: estudiantes, docentes, directores y stakeholders, cada cual desde propio punto de vista, han declarado su propia visión sobre el avance de los procesos de enseñanza y aprendizaje, entregando datos interpretables tanto en cuanto a tendencias centrales generales, como en su variabilidad en relación con los diversos actores respondientes.

Al término de la recolección de los datos con el CAP, estaba previsto un encuentro de devolución con todos los protagonistas de cada curso

Trall que habían participado en la evaluación. El propósito era aquel de interpretar colectivamente los datos en una óptica de evaluación formativa, compartida, transaccional y de asumir decisiones sobre los nuevos itinerarios de mejoramiento de forma democrática. En el modelo aplicado de la estructura de evaluación Trall han sido entregadas algunas “líneas guía” para la conducción de los encuentros de devolución, como se puede ver en la figura 6.

•2.3.1 Principales resultados del CAP: una mirada de conjunto sobre los

procesos organizativos y didácticos de los Cursos piloto Trall

El cuestionario CAP ha sido utilizado por ocho socios (UCOL, ULA, UASB, UCB, UNALM, UNNE, UFG, UES) en un total de 10 cursos piloto.4 _{Para cada}

curso han contestado al cuestionario: la casi totalidad de los estudiantes asistentes, una representación de los docentes y de stakeholders, el director o el coordinador del curso; en total se trata de 202 personas que respondieron. En la figura 7 se presenta la distribución global de los diversos tipos de actores que respondieron sobre la muestra total.

4 _{ULA y UASB han utilizado el CAP para dos cursos piloto.}

•Las medias por dimensión de las evaluaciones asignadas a los diversos

indicadores de calidad del CAP son todas muy elevadas, superiores al puntaje 5 (véase figura 8), con elevados niveles de homogeneidad en la respuestas; sólo el área 6 (de las relaciones con el contexto profesional de referencia) presenta evaluaciones levemente más bajas, con un índice de variación superior al 15%.

Es oportuno subrayar, en este sentido, que un instrumento de evaluación como el CAP puede inducir naturalmente, por lo menos en sus primeras experiencias de utilización por parte de individuos, a la sobreestimación de las evaluaciones atribuidas por una suerte de efecto Pigmalión5 _positivo

que se establece sobre los contextos observados: los cursos piloto Trall, por lo que concierne las finalidades del lifelong learning, las competencias a conseguir, las modalidades organizativas y didácticas de realización. La posibilidad de utilizar la evaluación en un sentido plenamente formativo, y, por ende, la capacidad de ser críticos respecto de los procesos que se iban realizando y de individuar dificultades y errores, es una actitud que se puede adquirir sólo con el tiempo y con la costumbre a una práctica constante de autoevaluación y reflexiones colegiales.

5 _{En ámbito educativo, el concepto de efecto Pigmalión se relaciona con los estudios}

realizados por Robert Rosenthal y Leonore Jacobson que lograron demostrar cómo las expectativas y previsiones de los profesores sobre la forma en que se conducirían los alumnos, determinan precisamente las conductas que los profesores esperaban. El efecto Pigmalión positivo implica la producción de un efecto positivo en el sujeto, que a la vez refuerza el objeto/aspecto sobre el cual se produce el efecto mismo (Rosenthal y Jacobson, 1968).

•

No incide sobre las evaluaciones el rol cubierto por los respondientes, mientras –como era esperable– aparecen algunas diferencias significativas en las evaluaciones expresadas en los diversos contextos universitarios.

Para poner un solo ejemplo, se pueden observar los diversos perfiles CAP de tres universidades socias originados de las respectivas autoevaluaciones de proceso del curso piloto (figura 9).

En el caso de UCOL (México), las autoevaluaciones asignadas son muy elevadas para todas las dimensiones consideradas; ello subraya una sustancial satisfacción por los procesos en curso de actuación, con algunos leves puntos de caída en mérito a las relaciones con los contextos profesionales de referencia.

Diferentes aparecen las autoevaluaciones de UCB (Bolivia); ellas ponen en relieve una actitud mayormente crítica en mérito a las dimensiones de los procesos considerados, a lo mejor debido a una mayor costumbre de esta universidad a utilizar procedimientos de autoevaluación en otros contextos formativos. Aún más diferente es el caso de UFG (Brasil); aquí las evaluaciones en proceso son todas muy satisfactorias, menos por la dimensión de la colegialidad donde los respondientes han evidenciado dificultades en la compartición de opciones didácticas y organizativas entre los docentes.

•

Obviamente, en estos casos el encuentro de devolución de los datos entre los “actores” —que habría debido seguir esta primera fase de recolección de los puntajes de autoevaluación— se delinea según modalidades potencialmente diferentes en cada uno de los tres casos brevemente analizados.

Sólo como ejemplo, se reporta (en figura 10) el acta del encuentro de devolución de la UCB, en el cual se observa una cierta atención analítica para la lectura de las fortalezas y de las debilidades del curso, a la cual debería luego seguir una reflexión sobre el diseño para el mejoramiento del currículo formativo.