CASO DE COLOMBIA EN EL SERCE
Por Daniel Bogoya M.2
Al respecto, es necesario advertir que hay diversas perspectivas de análisis: desde aquellas tradicionales y canónicas que colocan el acento de la explicación en el entorno socioeconómico más próximo del estudiante, en términos de su inventario acumulado, hasta algunas más recientes y novedosas que invocan el enorme potencial de las estrategias de aula basadas en pedagogías activas que generan oportunidades de aprendizaje, en términos de procesos interactivos y complejos, para lograr niveles más profundos de pensamiento y resultados cada vez más destacados en los estudiantes, como aparece en diversos proyectos internacionales (Martin, 2004; Martin, 2007; OECD, 2005). La presente investigación reconoce la incidencia del
Grupo de investigación en evaluación de la Universidad Nacional de Colombia
1. INTRODUCCIÓN
El presente texto da cuenta de una investigación de factores asociados al logro académico de estudiantes de tercer grado de educación básica, tomando como insumo los resultados reportados en el Segundo Estudio Regional Comparativo y Explicativo de América Latina y El Caribe (SERCE). El propósito fundamental consiste en encontrar aquellos factores, que permiten explicar varianzas significativas entre los logros alcanzados en las áreas de lectura y matemática, por parte de los estudiantes colombianos que participaron en esta evaluación, asumiendo algunas hipótesis acerca de los motores que conducen al mejoramiento de la calidad de la educación (Bogoya, 2008).
1 El Segundo Estudio Regional Comparativo y Explicativo de América Latina y El Caribe, SERCE, fue conducido por el
Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación, LLECE, de la Oficina Regional de UNESCO en Santiago de Chile. La aplicación piloto tuvo lugar en el año 2005 y el estudio principal en el año 2006, con la participación de Colombia, 15 países más de la región y el Estado Nuevo León de México. El primer reporte de resultados y demás documentos pueden consultarse en el sitio: http://llece.unesco.cl/esp/.
2 El autor agradece al LLECE de OREALC - UNESCO – Santiago la autorización para utilizar la información de las bases
entorno socioeconómico pero se inclina hacia la construcción de factores que indagan más por los procesos y la vida del aula.
2. VISIÓN Y ESTRUCTURA
Para la investigación de factores se fabrica un modelo lineal que se resuelve mediante la técnica de regresión multinivel, donde por convención los resultados alcanzados por parte de los estudiantes de tercer grado evaluados en las pruebas académicas de lectura y matemática, expresados en forma de un puntaje, se toman como variable de salida o dependiente, mientras que los factores construidos a partir de las respuestas obtenidas por parte de estudiantes, maestros y directores de escuela, a los cuestionarios de procesos y de contexto aplicados, se utilizan como variables de entrada o independientes3
3 La denominación de variable de entrada (independiente) o de salida (dependiente) es meramente convencional.
En la función lineal que se construye, es decir, que resulta del modelamiento matemático, las variables están relacionadas entre sí de forma unívoca: a cada valor de una determinada variable de entrada (manteniendo constante el valor de las demás variables de entrada) corresponde un único valor de la variable de salida considerada. No siempre ocurre lo mismo en la dirección contraria. La relación resultante por la función generada es de recíproca y mutua dependencia entre unas y otras variables.
.
Los factores o variables de entrada del modelo se proponen agrupados y estructurados en tres niveles: estudiante, aula y escuela. Esto permite encontrar el grado de explicación que puede dar cada nivel, en forma sintética y resumida, respecto de la varianza del logro académico alcanzado por los estudiantes. Aunque algunos factores presentan una zona difusa donde hay incidencia en dos niveles (o incluso en los tres), como puede ser el caso del desarrollo afectivo o el background del maestro, es necesario inscribirlos en un solo nivel, donde se percibe más natural y propia su incidencia.
3. MODELAMIENTO DE FACTORES
Cada uno de los factores, que se arman o fabrican en esta investigación, sigue el énfasis de revelar procesos y prácticas de la cotidianidad del estudiante, el maestro y el director de la escuela, así como de su mutua interacción dentro del proceso educativo, donde es posible construir espacios y contextos propicios para comprender y profundizar en los distintos objetos de estudio, donde permanentemente se pone en escena la razón y la argumentación, y donde se hace un esfuerzo constante de interpretación y proposición, sobre todo en situaciones auténticas de aprendizaje.
Los factores propuestos se modelan para identificar y establecer tipos de situación, ambientes y prácticas, propias de los actores fundamentales del proceso educativo, que pueden mostrar alguna asociación con los logros académicos de los estudiantes evaluados. Estos factores constituyen fuentes potentes para lograr un mayor aprendizaje en los estudiantes y despertar su interés por el estudio. Se trata, por lo tanto, de una visión que privilegia la dinámica y la potencia de los actos educativos, concebidos con la intención de lograr y afianzar aprendizajes.
Cada factor se modela con un índice, utilizando la teoría de respuesta al ítem (TRI), de acuerdo con un conjunto adecuado de parámetros, similar como ocurre con diversos estudios internacionales (Schultz, 2005). Para cada estudiante, maestro o director de escuela se calcula un valor normalizado del índice en cuestión, de tal manera que el conjunto de valores para un cierto factor se organiza como una función particular con media igual a cero y desviación estándar igual a uno.
La hipótesis bajo consideración consiste en que a mayor valor del índice con el que se estima cada factor (que implica un ambiente y un escenario más ricos y propicios para el aprendizaje), corresponde también un mayor valor del resultado alcanzado por los estudiantes, tanto en el área de lectura como en la de matemática. Enseguida se presentan los factores propuestos para los tres niveles considerados. En el caso de los niveles 1 y 2, referidos al estudiante y al aula de clase, se toman por separado los factores específicos para cada área indagada.
3.1. NIVEL 1: EL ESTUDIANTE
posición del estudiante en su proceso educativo, a partir de su apreciación frente a las prácticas de aula donde él asume el papel de protagonista esencial, y de su perspectiva al interior del hogar, como espacio más próximo y natural de la vida extracurricular.
Los cinco factores del nivel 1 se construyen a partir de la información reportada en el cuestionario de estudiantes de tercer grado empleado en el SERCE (QA3), es decir, las inferencias globales que se obtienen se basan en la combinación de los juicios individuales de los mismos estudiantes. Enseguida se indican los aspectos considerados en cada factor.
3.1.1. Desarrollo afectivo del estudiante
El primer factor del nivel 1, que valora el desarrollo afectivo del estudiante y su empatía con el proyecto educativo de su escuela, y que se construye con base en las respuestas dadas a los ítems 9, 10 y 11 del cuestionario QA3, representa el grado de alegría y tranquilidad que muestra el estudiante dentro de su escuela, su deseo de permanecer en ella y la armonía que percibe en las relaciones con sus compañeros dentro del aula de clase (Bogoya, 2007), elementos esenciales para una rica y potente vida escolar.
El primer factor modela un estado del ser y del intelecto del estudiante que facilita su aprendizaje.
3.1.2. Contexto de aprendizaje de la lectura
El segundo factor del nivel 1, que resalta el contexto de aprendizaje de la lectura percibido por el estudiante, se escala con las respuestas a los ítems 4, 12, 14, 15, 16 y 17 del cuestionario QA3. En el caso del ítem 16 se toman las respuestas a los subítems 16.1 a 16.5, referidos al área. En este segundo factor se incorpora la disponibilidad de libros de texto de lengua, cuadernos o libretas y lápices o lapiceros para usar en clase; la frecuencia de uso de recursos como el libro de texto, y de prácticas como el ejercicio de la lectura y la escritura de textos ajenos o propios, la asignación de tareas y la presentación de pruebas; el uso de la biblioteca y de la computadora; y la práctica de la lectura de historias o cuentos en casa.
3.1.3. Contexto de aprendizaje de la matemática
Paralelo al caso de lectura, se destaca en el tercer factor del nivel 1 el contexto de aprendizaje de la matemática percibido por el estudiante, a partir de las respuestas a los ítems 13, 14, 15, 16 y 17 del cuestionario QA3. En el caso del ítem 16, se eligen las respuestas a los subítems 16.6 a 16.10, alusivos al área. Este tercer factor considera la disponibilidad de libros de texto de matemática, cuadernos o libretas y lápices o lapiceros para usar en clase; la frecuencia de uso de recursos como el libro de texto, y de prácticas como la solución de ejercicios y la explicación acerca de cómo se resuelve un determinado problema, la realización de ejercicios mentalmente, la asignación de tareas y la presentación de pruebas, así como del uso de la biblioteca y de la computadora.
El tercer factor propuesto revela condiciones de posibilidad para lograr un aprendizaje significativo de la matemática, que resultan del ambiente donde el estudiante realiza sus actividades escolares día a día.
3.1.4. Potencial inicial
El cuarto factor del nivel 1, que valora el potencial inicial del estudiante, representa su historia académica y por tanto permite inferir el acervo que ha logrado consolidar así como sus posibles despliegues. Este cuarto factor se conforma con las respuestas a los ítems 1, 3, 5 y 18 del cuestionario QA3, que se refieren a aspectos como la edad del estudiante, si la lengua que se utiliza en su hogar es español, la condición de repetición de algún grado anterior y los recursos pertinentes disponibles en su hogar, tales como diccionario, enciclopedia, otros libros, calculadora e Internet.
El cuarto factor modela la capacidad y el impulso para el aprendizaje que ha logrado forjar el estudiante, debido a su recorrido en la escuela y en la vida.
3.1.5. Potencial de procesos en el hogar
hacer tareas, si el estudiante debe trabajar además de asistir a la escuela y si recibe dinero o cosas a cambio por su trabajo.
El quinto factor modela la dedicación del estudiante y el apoyo que recibe para su aprendizaje cuando se encuentra fuera de la escuela.
3.2. NIVEL 2: EL AULA DE CLASE
En la siguiente órbita, referida a la fuerza de la interacción entre el estudiante y el maestro, posible en cada actividad y práctica de aula, en cada presentación, explicación, discusión y argumentación, se proponen siete factores relacionados entre sí para modelar su incidencia sobre el logro académico. Estos siete factores procuran valorar la posición del maestro en el proceso educativo, a partir de su apreciación frente a las prácticas de aula donde él es el mediador fundamental, de los recursos disponibles y utilizados, y de las estrategias pedagógicas que despliega en la búsqueda del aprendizaje de sus estudiantes.
Los siete factores del nivel 2 se construyen a partir de la información reportada en los cuestionarios empleados en el SERCE y referidos a la enseñanza de la lectura y la matemática y al contexto del maestro (QL3, QM3 y QP), por tanto, las inferencias globales que se obtienen se basan en la conjunción de los juicios individuales de los mismos maestros. Enseguida se indican los aspectos que comprende cada factor.
3.2.1. Desarrollo afectivo del maestro
El primer factor del nivel 2, que revela el desarrollo afectivo del maestro y el compromiso e identidad con el proyecto educativo de su escuela, y que se construye con base en las respuestas dadas a los ítems 18 y 19 del cuestionario QP, representa el grado de tranquilidad, alegría y satisfacción, que muestra el maestro en su escuela, su deseo de permanecer en ella y la armonía que percibe en las relaciones con los demás integrantes de la comunidad (Bogoya, 2007).
pedagógicos, el reconocimiento del director y el respeto que muestran los estudiantes hacia el maestro, la libertad para realizar el trabajo y la oportunidad de trabajar en equipo con colegas. También se considera si el maestro quiere permanecer en la escuela, como aspecto generador de afecto.
El primer factor modela un estado del ser y del intelecto del maestro que se sitúa en el trabajo de aula para facilitar el aprendizaje del estudiante.
3.2.2. Background del maestro
El segundo factor del nivel 2, que valora el background del maestro, representa su recorrido académico previo y permite inferir el acervo, formación y confianza en sí mismo que ha logrado consolidar. Este segundo factor se construye con las respuestas a los ítems 6, 11, 12, 13 y 15 del cuestionario QP, que se refieren a los estudios en formación docente realizados por el maestro, el nivel educativo más alto que ha completado, la relación laboral con la escuela, el mecanismo seguido para llegar a ser maestro y cuál es su lengua materna.
El segundo factor modela la capacidad y el impulso que ha logrado forjar el maestro en su proyecto de vida y que dispone en sus prácticas de aula para el aprendizaje de sus estudiantes.
3.2.3. Disponibilidad de recursos
El tercer factor del nivel 2 hace referencia al tiempo utilizable y los materiales disponibles para el trabajo de aula, a juicio del maestro, entendidos como insumos necesarios para lograr el aprendizaje de los estudiantes. Este tercer factor se compone con las respuestas a los ítems 1, 2 y 3 del cuestionario QL3, para el caso de lectura, y a los mismos ítems del cuestionario QM3, para matemática.
cuisenaire, material multibase, tangramas, calculadora, geoplano con ligas o materiales que manipulan el medio ambiente.
El tercer factor modela la posibilidad real de contar con tiempo y materiales apropiados en el aula de clase para el aprendizaje de los estudiantes.
3.2.4. Uso de recursos
El cuarto factor del nivel 2 valora la frecuencia de uso de materiales en el aula de clase y del despliegue de prácticas diversas, a juicio del maestro. El cuarto factor se compone con las respuestas a los ítems 3, 4, 7 y 8 del cuestionario QL3, para el área de lectura, y a los ítems 3 y 7 del cuestionario QM3, para el área de matemática.
Para el área de lectura, el cuarto factor tiene en cuenta la frecuencia de uso de la biblioteca y los materiales indicados en el tercer factor del nivel 2 (numeral 3.2.3), así como la frecuencia de lectura en voz alta de textos extensos, por parte del maestro, o de fragmentos de textos, por parte de los estudiantes. También se contempla la frecuencia de lectura silenciosa de textos breves, la orientación a los estudiantes para elegir qué textos leer y el apoyo necesario mostrando estrategias de lectura. Respecto de los tipos de textos se considera además la frecuencia de lectura de fábulas y cuentos de hadas, otras historias de ficción, libros más largos con capítulos, poemas, obras de teatro, descripciones y explicaciones de cosas, personas o eventos, instrucciones o manuales acerca de cómo trabajan las cosas, cuadros, diagramas y gráficos.
Para el área de matemática, el cuarto factor comprende la frecuencia de uso de los materiales señalados en el tercer factor del nivel 2 (numeral 3.2.3), así como la frecuencia de realización de ejercicios tales como memorización de conceptos matemáticos, sumas, restas, multiplicaciones y divisiones, solución de problemas empleando un procedimiento conocido o problemas que no tienen un método de solución rutinario e inmediato, bien sea que incluyan una, dos o más variables, y la interpretación de datos en tablas, cuadros o gráficos.
3.2.5. Cubrimiento curricular
El quinto factor del nivel 2 revela la profundidad con la que el grupo de estudiantes evaluado ha podido abordar los distintos contenidos previstos en el análisis curricular de la región (UNESCO, 2005) para tercer grado, o si se han enseñado en años anteriores o se prevé trabajarlos en años posteriores, a juicio del maestro. El quinto factor se basa en las respuestas al ítem 6 del cuestionario QL3 y QM3, para las áreas de lectura y matemática, respectivamente.
Para el área de lectura, el quinto factor contempla el trabajo en el aula de distintos tipos de textos y la identificación de usos e intenciones, los conceptos de texto y párrafo, la comprensión de textos narrativos literarios, no literarios como descriptivos, explicativos, periodísticos o lúdicos, y del sentido de frases y palabras a partir del texto restante, la verificación de la comprensión de lo leído, el reconocimiento del texto por su forma o silueta, el reconocimiento de datos puntuales dados en el texto y la integración de informaciones de dos o más textos. Además, tiene en cuenta el trabajo de planificación de un escrito, según la intención, clase de texto y el contexto, la organización final de un escrito atendiendo la intención comunicativa y de acuerdo con las reglas de coherencia y cohesión, la escritura de palabras siguiendo normas léxicas y de oraciones de acuerdo con normas gramaticales.
Para el área de matemática, el quinto factor considera el trabajo en el aula de los distintos dominios que caracterizan el campo: numeración, geometría, medición y estadística. En el dominio de la numeración se tiene en cuenta la lectura, escritura y relación entre números naturales, la adición, sustracción y multiplicación, el concepto de división, sucesiones finitas y la solución de problemas. Del dominio de la geometría se tiene en cuenta la representación de puntos, segmentos de una recta y de recorridos, la localización en un espacio y en un plano, la identificación de figuras de dos dimensiones como triángulos, cuadrados y rectángulos, y de tres dimensiones como el cubo. Del dominio de la medición se tiene en cuenta el cálculo de la longitud de objetos, las relaciones y equivalencias entre longitudes, la representación de rectas paralelas y perpendiculares, el uso de instrumentos de medida de peso y tiempo y la solución de problemas. En el dominio de la estadística se tiene en cuenta el registro de datos en tablas, la elaboración de gráficos de barras y la interpretación de tablas y gráficos.
3.2.6. Evaluación
El sexto factor del nivel 2 valora la diversidad y frecuencia de uso de la evaluación en el aula y la importancia que el maestro le otorga, para efectos de retroalimentar el proceso educativo o calificar el aprendizaje de los estudiantes. El sexto factor se compone con las respuestas a los ítems 9, 10, 11, 12 y 13 del cuestionario QL3, para el área de lectura, y a los ítems 8, 9, 10, 11 y 12, para el área de matemática, que se refieren a la frecuencia de asignación de tareas para la casa, la duración esperada para resolverlas, la revisión, corrección y explicación de lo que se encuentra en las producciones elaboradas y entregadas por los estudiantes y el uso de las tareas como base para el trabajo de clase.
El sexto factor modela la intensidad de uso de la evaluación con fines formativos y de calificación por parte del maestro.
3.2.7. Dedicación a dominios conceptuales
El séptimo factor del nivel 2 valora la distribución balanceada y equilibrada del porcentaje de clase dedicado a los dominios conceptuales propios de cada área, a juicio del maestro. Este séptimo factor se compone con las respuestas al ítem 5 del cuestionario QL3, para el área de lectura, que trata de la comprensión y producción de la comunicación oral, la comprensión de textos literarios y no literarios y la reflexión sobre la lengua, en términos de sintaxis y ortografía; y con las respuestas al ítem 4 del cuestionario QM3, para el área de matemática, que trata de la numeración, la geometría, la medición y la estadística. En ambas áreas se permite incluir la dedicación a un dominio conceptual diferente a los indicados.
El séptimo factor modela la dedicación ponderada a los dominios de cada área, como elemento de complejidad que puede potenciar el aprendizaje de los estudiantes.
3.3. NIVEL 3: LA ESCUELA
escuela donde él es el coordinador y articulador de elementos y prácticas que coadyuvan la cohesión escolar, y también gestor de recursos y promotor de programas que estén disponibles para el logro académico de sus estudiantes.
Los cinco factores del nivel 3 se construyen a partir de la información reportada en los cuestionarios empleados en el SERCE y referidos al contexto del director y a la ficha de empadronamiento de la escuela (QD y FE), lo cual significa que las inferencias globales que se obtienen se basan en la conjunción de los juicios individuales de los mismos directores. Enseguida se indican los aspectos considerados en cada factor.
3.3.1. Desarrollo afectivo del director
El primer factor del nivel 3, que revela el desarrollo afectivo del director y el compromiso e identidad con el proyecto educativo de su escuela, y que se construye con base en las respuestas dadas a los ítems 26, 30 y 31 del cuestionario QD, representa el grado de alegría y satisfacción que muestra el director en su escuela, su deseo de permanecer en ella y la armonía que percibe en las relaciones con los demás integrantes de la comunidad (Bogoya, 2007).
Los aspectos considerados en este primer factor comprenden la percepción del director en torno a la participación, las relaciones y la comunicación entre maestros, estudiantes y padres de familia, el trabajo en equipo, la colaboración de los maestros en las actividades propuestas por la dirección, el entusiasmo de los maestros y su orgullo por pertenecer a la escuela; y por otra parte, el grado de satisfacción del director con el salario, las posibilidades de desarrollo profesional, la relación con los maestros, estudiantes, padres de familia y autoridades tanto de la comunidad como educativas fuera de la escuela. También se considera si el maestro quiere permanecer en su escuela, como aspecto generador de afecto.
El primer factor modela un estado del ser y del intelecto del director que apoya el aprendizaje del estudiante.
3.3.2. Background del director
11 y 14 del cuestionario QD, que se refieren a los estudios en formación docente realizados por el director, el nivel educativo más alto que ha completado, los estudios de actualización, especialización o posgrado en administración o gestión de la educación que ha realizado, la dedicación en horas por semana a la escuela y el mecanismo seguido para llegar a ser director.
El segundo factor modela la capacidad, el impulso y reconocimiento que ha podido forjar el director y que despliega en la escuela con miras a figurar el ambiente necesario para propiciar y promover espacios potentes que se requieren para el aprendizaje de sus estudiantes.
3.3.3. Madurez de la gestión
El tercer factor del nivel 3 valora la relación de diálogo entre la escuela y la supervisión, y la participación activa de la comunidad en la gestión escolar, a juicio del director. Este tercer factor se construye con las respuestas a los ítems 16, 17, 18, 19, 20, 21, 22, 28 y 29 del cuestionario QD, exceptuando el subítem 22.8, alusivo a la categoría “otra” en relación con los temas tratados en el Consejo Escolar (Bogoya, 2007).
Los aspectos considerados en este tercer factor implican la frecuencia y el impacto de visitas a la escuela por parte del supervisor, las actividades que realiza la supervisión en las visitas tales como apoyo pedagógico, revisión de aspectos administrativos, evaluación de maestros y directores, implementación de acciones vinculadas a la participación comunitaria y atención de problemas o situaciones de crisis. Por otra parte, también se considera la presencia y actividad del Consejo Escolar, con la participación de directivos, maestros, promotores, personal no docente, estudiantes, padres de familia, autoridades educativas externas a la escuela y representantes de gobierno y de entidades no gubernamentales, así como las tareas y los temas que trata en sus reuniones. Igualmente, se considera la existencia de un manual de convivencia, elaborado con la participación de los distintos actores de la comunidad escolar.
El tercer factor modela el tejido y la cohesión social de los distintos actores dentro de la escuela, entendido como madurez de la gestión, que coadyuva el aprendizaje de los estudiantes.
3.3.4. Disponibilidad de recursos
disponibles en la escuela, a juicio del director, entendidos como insumos para lograr el aprendizaje de los estudiantes. Este cuarto factor se compone con las respuestas a los ítems 7, 11 y 12 del cuestionario FE, exceptuando los subítems 12.10 y 12.11, alusivos a instalaciones de cocina y comedor, pues no arrojan un parámetro de ajuste apropiado.
El cuarto factor considera el número total de maestros que laboran en la escuela y su dedicación, los servicios básicos de luz eléctrica, agua potable, desagüe, teléfono y baños en cantidad suficiente, instalaciones como oficina para el director, secretaría y demás actividades administrativas, sala de reuniones de maestros, laboratorio de ciencias, biblioteca, auditorio, sala de computación, sala de artes o música, servicio psicopedagógico, enfermería, campo deportivo, gimnasio o huerto escolar.
El cuarto factor modela la posibilidad real de contar con el saber de un grupo numeroso y diverso de maestros y con espacios apropiados en la escuela para el aprendizaje de los estudiantes.
3.3.5. Tiempo de escolaridad
El quinto factor del nivel 3 se refiere a la cantidad de tiempo que los estudiantes dedican a labores académicas dentro de la escuela, a lo largo de un año escolar, a juicio del director. Este quinto factor contempla las respuestas al ítem 4 del cuestionario FE, que considera el número de días de clase impartidos hasta la fecha de la evaluación, el número de días de clase pendientes todavía antes de concluir el año, los períodos de clase que toman los estudiantes en un día normal, la duración de un período de clase y el número total de horas cronológicas que pasan los estudiantes diariamente en la escuela.
El quinto factor modela la cantidad de tiempo que brinda la escuela para el trabajo escolar del estudiante.
4. ESCALADO
cada factor, mediante un proceso de escalado, que sigue el método de Rasch4
Para apreciar la validez estadística del proceso de escalado se examina el valor de cuatro parámetros. Por una parte, se toman los parámetros de separación, confiabilidad y coeficiente Alfa de Cronbach, para estimar la consistencia interna derivada de la estimación del índice. Por otra parte, a partir de la varianza explicada, por parte de la variable asociada con las respuestas a los ítems incluidos en cada factor, se examina la unidimensionalidad del constructo
de la teoría de respuesta al ítem con un parámetro. El escalado implica la asunción de algunos supuestos acerca del valor relativo que debe otorgarse a cada una de las categorías de respuesta posibles en cada ítem, de acuerdo con las hipótesis de investigación trazadas, es decir, definiendo previamente qué opción de respuesta debe asociarse y corresponder con un mayor logro académico del estudiante. En este caso, se acude a la modalidad de crédito parcial para ítems con distintas estructuras y con diferente número de respuestas posibles.
5
4 Para una mayor información bibliográfica y de aplicaciones del método se sugiere consultar el sitio que se genera.
Luego del proceso de escalado, donde se estima el valor de un índice para cada factor y para cada uno de los actores (estudiante, maestro o director de escuela), se lleva a cabo una normalización de estos índices estimados, ajustando el valor de la media en cero y de la desviación estándar en uno. El ajuste pretende igualar los parámetros de posición y dispersión de las funciones características generadas para los distintos factores, con el fin de poder referir las variaciones de los índices respectivos al mismo significado, es decir, una variación de una unidad en un índice, a partir de la media, recorre aproximadamente el mismo segmento de población, que otra variación también de una unidad en otro índice, cuando también se parte de la media.
Las tablas 4.1, 4.2 y 4.3 muestran el valor de los cuatro parámetros mencionados para examinar la validez estadística y los valores mínimo y máximo del índice estimado para cada uno de los factores propuestos en los tres niveles de análisis, respectivamente. La muestra de población colombiana considerada en el SERCE, cuyas respuestas a cuestionarios se utilizan en este proceso, está conformada por 5173 estudiantes, 251 aulas y 171 escuelas.
www.rasch.org.
5 El término constructo se refiere a la propiedad de identidad requerida entre los distintos ítems que conforman
cada factor, para poder reconocer y valorar los distintos rasgos de un mismo atributo. Se habla de validez de
Tabla 4.1. Parámetros para el nivel 1, con 5173 estudiantes
Factor Separación Confiabilidad
Coeficiente alfa de Cronbach Varianza explicada (%) Valor mínimo Valor máximo
Desarrollo afectivo del
estudiante 1,62 0,72 0,87 81,30 -4,14 2,39
Contexto de aprendizaje de la lectura
1,34 0,64 0,64 42,40 -9,51 5,55
Contexto de aprendizaje de la matemática
1,55 0,71 0,71 50,00 -7,77 4,87
Potencial inicial 1,30 0,63 0,66 75,20 -5,21 2,86 Potencial de procesos
en el hogar 1,28 0,62 0,53 48,10 -5,42 4,01
Tabla 4.2. Parámetros para el nivel 2, con 251 aulas
Factor Separación Confiabilidad
Coeficiente alfa de Cronbach Varianza explicada (%) Valor mínimo Valor máximo
Desarrollo afectivo del
maestro 2,67 0,88 0,89 73,10 -3,22 3,21
Background del maestro No calculado No calculado 0,11 70,50 -2,20 1,26
Disponibilidad de
recursos – lectura 1,36 0,65 0,77 71,40 -2,80 2,54
Uso de recursos –
lectura 2,09 0,81 0,80 52,20 -3,44 3,38
Cubrimiento curricular –
lectura 3,21 0,91 0,91 55,20 -5,12 3,88
Evaluación – lectura 1,85 0,77 0,78 68,80 -2,31 4,37
Dedicación a dominios –
lectura 0,99 0,50 0,37 69,50 -6,14 4,04
Disponibilidad de
recursos – matemática 1,58 0,71 0,70 73,90 -2,97 3,97 Uso de recursos –
Tabla 4.2. Parámetros para el nivel 2, con 251 aulas (cont.)
Factor Separación Confiabilidad
Coeficiente alfa de Cronbach Varianza explicada (%) Valor mínimo Valor máximo
Cubrimiento curricular –
matemática 3,41 0,92 0,92 57,00 -6,97 5,46
Evaluación –
matemática 1,98 0,80 0,84 80,80 -2,91 2,60
Dedicación a dominios –
matemática 0,98 0,49 0,31 69,50 -6,00 2,28
Tabla 4.3. Parámetros para el nivel 3, con 171 escuelas
Factor Separación Confiabilidad
Coeficiente alfa de Cronbach Varianza explicada (%) Valor mínimo Valor máximo Desarrollo afectivo
del director 2,39 0,85 0,84 55,50 -1,79 3,96
Background del
director 1,20 0,59 0,47 98,20 -1,81 2,86
Madurez de la
gestión 1,90 0,78 0,85 78,80 -4,95 2,10
Disponibilidad de
recursos 2,21 0,83 0,80 80,60 -2,79 2,79
Tiempo de
escolaridad 0,67 0,31 0,64 56,60 -3,69 2,43
Se advierte, desde luego, que para el factor background del maestro, si bien el parámetro de unidimensionalidad de constructo es justamente alto (varianza explicada por la variable asociada con las respuestas a los ítems considerados igual a 70,50%), la técnica empleada arroja un valor muy pequeño para el coeficiente Alfa de Cronbach (igual a 0,11) y no permite estimar el valor de los parámetros de separación ni confiabilidad. Para los demás factores, el parámetro de separación fluctúa entre 0,67 para tiempo de escolaridad y 3,41 para cubrimiento curricular en matemática, el parámetro de confiabilidad varía entre 0,31 para tiempo de escolaridad y 0,92 para cubrimiento curricular en matemática, el coeficiente Alfa de Cronbach oscila entre 0,31 para dedicación a dominios en matemática y 0,92 para cubrimiento curricular en matemática, y la varianza explicada por la variable asociada con las respuestas a los ítems considerados, para efectos de validar el supuesto de unidimensionalidad de constructo, varía entre 42,40 para contexto de aprendizaje de la lectura y 98,20% para background del director.
5. EFECTOS SIMPLES POR FACTOR
Con el fin de explorar el comportamiento global del puntaje alcanzado en las pruebas de lectura y matemática, en función del índice de cada factor en el nivel 1 referido al estudiante6
Para esta exploración se toma como mínimo 95% de los datos más próximos a la tendencia central, es decir, se omite máximo 5% de los datos más alejados. Las relaciones son simples, en la medida que se considera el comportamiento del logro académico promedio de los estudiantes de una escuela frente al valor promedio del índice referido a un solo factor, sin tener en cuenta la dispersión de una y otra distribución y suponiendo en cada caso que el valor , se presentan enseguida los gráficos 5.1 a 5.8 con la relación y la tendencia global encontradas. En los gráficos mencionados, cada punto dibujado representa las coordenadas de una escuela: en el eje horizontal se ubica el valor promedio del factor bajo análisis y en el eje vertical el valor promedio del puntaje alcanzado por sus estudiantes, en el área respectiva.
6 En este apartado, a manera de ejemplo, se presentan sólo los efectos simples de los factores propuestos en el
de los demás factores se mantiene constante, o que el efecto neto de su variación (la de los demás factores) está compensado o anulado sobre el resultado, consideración que es sólo válida para un ejercicio matemático que pretende auscultar cambios específicos en el puntaje alcanzado, en tanto variable de salida, debidos a variaciones unitarias de un factor en particular.
En los gráficos 5.1 y 5.2 se observa una relación que tiende a ser directamente proporcional entre el desarrollo afectivo del estudiante y el resultado en términos del puntaje alcanzado en cada área considerada. El valor del cuadrado del coeficiente de correlación muestra que el factor explica 6,02% de la varianza en los resultados de lectura y 11,15% de la varianza en los resultados de matemática.
En los gráficos 5.3 y 5.4 también se aprecia un comportamiento continuamente creciente y similar entre el valor del factor contexto de aprendizaje y los resultados en las pruebas respectivas. El valor del cuadrado del coeficiente de correlación de nuevo es más alto en el caso del área de matemática (0,2429 frente a 0,1750), indicando que en esta área el contexto de aprendizaje puede explicar en mayor proporción las varianzas de los logros académicos.
valor del factor incide en mayor proporción sobre el puntaje, cuando el factor se encuentra en la zona de valores más altos.
unidad del valor del factor, mientras que en el área de matemática el incremento es de 56,69 puntos para el mismo cambio unitario en el valor del factor.
La tendencia del logro académico de los estudiantes en función del potencial de procesos en el hogar (gráficos 5.7 y 5.8) presenta una diferencia importante respecto del modo de asociación mostrado con los demás factores del mismo nivel 1 del estudiante. En este caso, para ambas áreas consideradas, el puntaje obtenido mediante el modelo generado comienza el recorrido aumentando su valor, llega a un punto máximo y luego decae, en la medida que el valor del factor se incrementa. El punto máximo se revela cerca del valor medio del índice y puede calcularse derivando la función, igualando la derivada a cero y despejando el respectivo valor para el factor: 0,06 para el área de lectura y 0,23 para el área de matemática.
El comportamiento observado advierte un efecto mixto del apoyo que recibe el estudiante en el hogar, es decir, un efecto que es positivo al mejorar las condiciones de acompañamiento, en la zona de menor valor del índice, pero que se torna negativo en la zona de mayor valor del índice. Como hipótesis de trabajo, que requiere una investigación más profunda de carácter etnográfico, puede estar ocurriendo una sobreexposición o saturación del factor: necesario es el acompañamiento en el hogar, para que el estudiante fortalezca su aprendizaje, pero dicho acompañamiento debe ser moderado, para permitir que el estudiante por sí mismo construya y consolide sus propias estrategias.
6. REGRESIÓN LINEAL MULTINIVEL
El modelamiento multinivel con funciones lineales constituye una técnica de análisis de datos con patrones de variabilidad muy complejos (Snijders, 1999) y suele emplearse en organizaciones y campos muy diversos. En particular es muy utilizada esta técnica en el sector educativo para realizar estudios de factores asociados al logro académico de estudiantes, definiendo varios niveles anidados entre sí, donde se agrupan los factores propuestos de acuerdo con la fuente de la información y con las hipótesis de investigación en curso.
propuestos; y Caso Dos, tomando sólo los factores que arrojan coeficientes con valor positivo en el Caso 17
En los dos Casos de estudio se opta por trabajar sólo con los datos de aquellas escuelas con información completa, es decir, con las escuelas para las cuales hay datos del director (cuestionarios FE y QD), al menos un maestro (cuestionarios QL3, QM3 y QP) y al menos un estudiante (cuestionario (QA3)
.
8
6.1. CASO DE ESTUDIO UNO
. De esta forma, los resultados que se muestran enseguida corresponden a una población conformada por 5173 estudiantes, 251 aulas de clase y 171 escuelas.
El modelo lineal construido para el Caso Uno, en el área de lectura, se presenta en las ecuaciones 6.1.1, 6.1.2 y 6.1.3, para los niveles 1, 2 y 3, respectivamente, con la nomenclatura estándar empleada para software multinivel.
Para el nivel 1:
Y=P0+P1*(AFECTOES)+P2*(CONTLEES)+
+P3*(POTEINIC)+P4*(PROCEHOG)+E (6.1.1)
Donde,
Y Puntaje alcanzado en la prueba de lectura
P0 Intercepto9
7 Es importante advertir que en el análisis multinivel, cuando se incorporan al mismo tiempo todos los factores y se
combinan sus efectos, puede cambiar sensiblemente el grado de explicación de las varianzas de los logros de los estudiantes que cada factor independiente arroja (caso del modelamiento matemático mostrado en los gráficos 5.1 a 5.8), dados los efectos cruzados entre los valores de dichos factores y el grado de sinergia que se establece.
8 Un procedimiento alternativo en este punto consiste en tomar la base de datos original, tal como proviene de la
captura de datos, y llenar los campos sin información siguiendo alguna regla de imputación específica para cada estrato de la población.
9 El término utilizado corresponde a una traducción literal del vocablo inglés intercept, que significa el valor de la
función generada (es decir, de la variable de salida o dependiente Y), cuando el valor de todos los índices es igual a cero.
de la función en el nivel 1
P1 Coeficiente del factor AFECTOES
P2 Coeficiente del factor CONTLEES CONTLEES Contexto de aprendizaje de la lectura
P3 Coeficiente del factor POTEINIC
POTEINIC Potencial inicial
P4 Coeficiente del factor PROCEHOG
PROCEHOG Potencial de procesos en el hogar E Error o efecto aleatorio del nivel 1
Para el nivel 2:
P0=B00+B01*(AFECMAES)+B02*(BACKMAES)+
+B03*(RECUAULE)+B04*(USREAULE)+B05*(CUBCURLE)
+B06*(EVALULE)+B07*(DIVEMOLE)+R0 (6.1.2)
Donde,
P0 Intercepto de la función en el nivel 1 B00 Intercepto de la función en el nivel 2
B01 Coeficiente del factor AFECMAES
AFECMAES Desarrollo afectivo del maestro
B02 Coeficiente del factor BACKMAES
BACKMAES Background del maestro
B03 Coeficiente del factor RECUAULE
RECUAULE Disponibilidad de recursos en el aula para lectura
B04 Coeficiente del factor USREAULE
USREAULE Uso de recursos en el aula de lectura
B05 Coeficiente del factor CUBCURLE
CUBCURLE Cubrimiento curricular en lectura
B06 Coeficiente del factor EVALULE
EVALULE Evaluación en lectura
B07 Coeficiente del factor DIVEMOLE
Para el nivel 3:
B00=G000+G001*(AFECDIRE)+G002*(BACKDIRE)+G003*(GESTION) +G004*(RECUESCU)+G005*(TIEMESCO)+U00 (6.1.3)
Donde,
B00 Intercepto de la función en el nivel 2 G000 Intercepto de la función en el nivel 3 G001 Coeficiente del factor AFECDIRE AFECDIRE Desarrollo afectivo del director G002 Coeficiente del factor BACKDIRE BACKDIRE Background del director
G003 Coeficiente del factor GESTION GESTION Madurez de la gestión
G004 Coeficiente del factor RECUESCU RECUESCU Disponibilidad de recursos G005 Coeficiente del factor TIEMESCO TIEMESCO Tiempo de escolaridad
U00 Error o efecto aleatorio del nivel 3
Para el área de matemática se construye también un modelo lineal, con base en tres ecuaciones análogas a las ecuaciones 6.1.1, 6.1.2 y 6.1.3, tomando como variable de salida el puntaje alcanzado en el área y reemplazando los factores alusivos a lectura por los siguientes factores correspondientes a matemática:
CONTMAES, Contexto de aprendizaje de la matemática;
RECUAUMA, Disponibilidad de recursos en el aula para matemática; USREAUMA, Uso de recursos en el aula de matemática;
CUBCURMA, Cubrimiento curricular en matemática; EVALUMA, Evaluación en matemática;
Los resultados de la regresión lineal multinivel, en términos del valor de los coeficientes de cada factor, agrupados por nivel y para las áreas de lectura y matemática, se muestran en las tablas 6.1.1, 6.1.2 y 6.1.3, respectivamente. El valor hallado para el intercepto de la función es igual a 500,23 en el área de lectura y 495,82 en la de matemática, y los parámetros de confiabilidad resultan iguales a 0,373 y 0,714 para lectura, mientras que 0,413 y 0,749 para matemática10
Factor
.
Tabla 6.1.1. Coeficientes para factores del nivel 1 - Caso Uno con 5173 estudiantes
Coeficiente
Lectura Matemática
Desarrollo afectivo del estudiante 10,92 11,51
Contexto de aprendizaje 6,09 7,18
Potencial inicial 7,78 5,79
Potencial de procesos en el hogar -5,46 -2,46
Varianza de resultados para el nivel 19,33 22,02
Tabla 6.1.2. Coeficientes para factores del nivel 2 - Caso Uno con 251 aulas
Factor Coeficiente
Lectura Matemática
Desarrollo afectivo del maestro 1,01 -1,44
Background del maestro 4,12 0,61
Disponibilidad de recursos en el aula 0,43 -1,82
Uso de recursos en el aula 5,54 6,67
Cubrimiento curricular 0,77 -1,20
Evaluación -0,42 -0,30
Dedicación a dominios conceptuales 4,00 -2,36
Varianza de resultados para el nivel 15,45 0,16
10 Los dos valores reportados para cada área corresponden a la confiabilidad calculada para el coeficiente aleatorio
Tabla 6.1.3. Coeficientes para factores del nivel 3 - Caso Uno con 171 escuelas
Factor Coeficiente
Lectura Matemática
Desarrollo afectivo del director 2,70 6,20
Background del director 6,98 3,49
Madurez de la gestión -2,35 -6,14
Disponibilidad de recursos 27,15 13,94
Tiempo de escolaridad 3,78 1,69
Varianza de resultados para el nivel 38,26 19,18
Varianza de resultados para el modelo 73,04 41,36
Los coeficientes calculados para potencial de procesos en el hogar, evaluación en el aula y madurez de la gestión en la escuela arrojan valores negativos en ambas áreas, es decir, la asociación neta es inversa: al mantener constantes los demás factores, disminuye el promedio del puntaje cuando se incrementa el valor del índice. Adicionalmente, los coeficientes de desarrollo afectivo del maestro, disponibilidad de recursos en el aula, cubrimiento curricular y dedicación a dominios conceptuales también presentan valores negativos pero sólo en el área de matemática. La evidencia de valores negativos para algunos factores contradice la hipótesis mostrada en el apartado 3 sobre modelamiento de factores:
“a mayor valor del índice con el que se estima cada factor, que implica un ambiente y un escenario más ricos y propicios para el aprendizaje, corresponde también un mayor valor del resultado alcanzado por los estudiantes, tanto en el área de lectura como en la de matemática.”
necesariamente idéntica a la realidad educativa modelada: basta con retirar un factor o introducir uno nuevo para observar una modificación en el valor de los coeficientes.
Ahora bien, de la información que aparece en las tablas 6.1.1, 6.1.2 y 6.1.3 se deduce que la disponibilidad de recursos de la escuela constituye el factor con la mayor incidencia de asociación frente a los resultados, en ambas áreas, con un coeficiente igual a 27,15 para el área de lectura y 13,94 para el área de matemática, seguido del factor desarrollo afectivo del estudiante con coeficientes iguales a 10,92 y 11,51, respectivamente. Esto significa que si se mantienen constantes los demás factores, cada incremento del valor del índice de la disponibilidad de recursos en la escuela en una unidad, dentro de la escala respectiva, conlleva un aumento de 27,15 puntos en el puntaje promedio de los resultados de lectura y de 13,94 puntos en el de matemática; de otra forma, también significa que este factor puede explicar 27,15% de la varianza de los puntajes alcanzados por los estudiantes en el área de lectura y 13,94% de la varianza de los puntajes en lectura.
Es necesario señalar que la suma de los valores de los coeficientes por nivel constituye un parámetro global que representa el efecto total de dicho nivel sobre el resultado, en términos del valor de la variable de salida del modelo construido. También es posible sumar los valores de todos los coeficientes encontrados, para establecer en resumen la capacidad explicativa del modelo global sobre los resultados. Para el caso bajo estudio, el modelo sugerido explica 73,04% de las varianzas de los resultados en lectura pero apenas 41,36% de las varianzas de los resultados de matemática.
6.2 CASO DE ESTUDIO DOS
Para tener un modelo de análisis alternativo, se construye el Caso Dos considerando sólo los factores que arrojan un coeficiente positivo en el Caso Uno. El modelo lineal correspondiente al Caso Dos, para el área de lectura, se presenta en las ecuaciones 6.2.1, 6.2.2 y 6.2.3, para los niveles 1, 2 y 3, respectivamente.
Para el nivel 1:
Para el nivel 2:
P0=B00+B01*(AFECMAES)+B02*(BACKMAES)+
+B03*(RECUAULE)+B04*(USREAULE)+B05*(CUBCURLE)
+B06*(DIVEMOLE)+R0 (6.2.2)
Para el nivel 3:
B00=G000+G001*(AFECDIRE)+G002*(BACKDIRE)+
+G003*(RECUESCU)+G004*(TIEMESCO)+U00 (6.2.3)
En forma similar como en el Caso Uno, para el área de matemática se construye también un modelo lineal, con base en tres ecuaciones análogas a las ecuaciones 6.2.1, 6.2.2 y 6.2.3, tomando como variable de salida el puntaje alcanzado en el área y reemplazando los factores alusivos a lectura por el siguiente factor de matemática:
USREAUMA, Uso de recursos en el aula de matemática;
Los resultados de la regresión lineal multinivel, en términos del valor de los coeficientes de cada factor, agrupados por nivel y para las áreas de lectura y matemática, se muestran en las tablas 6.2.1, 6.2.2 y 6.2.3, respectivamente. Para este caso, el valor del intercepto de la función es igual a 499,86 para el área de lectura y a 495,74 para el área de matemática, los parámetros de confiabilidad resultan iguales a 0,38 y 0,72 para lectura, y 0,454 y 0,733 para matemática, y todos los coeficientes presentan valores positivos.
Tabla 6.2.1. Coeficientes para factores del nivel 1 - Caso Dos con 5173 estudiantes
Factor Coeficiente
Lectura Matemática
Desarrollo afectivo del estudiante 10,16 11,20
Contexto de aprendizaje 5,22 6,77
Potencial inicial 6,04 5,00
Tabla 6.2.2. Coeficientes para factores del nivel 2 - Caso Dos con 251 aulas
Factor Coeficiente
Lectura Matemática
Desarrollo afectivo del maestro 1,10 No considerado
Background del maestro 4,22 0,60
Disponibilidad de recursos en el aula 0,34 No considerado
Uso de recursos en el aula 5,39 5,68
Cubrimiento curricular 0,47 No considerado
Dedicación a dominios conceptuales 4,18 No considerado
Varianza de resultados para el nivel 15,70 6,28
Tabla 6.2.3. Coeficientes para factores del nivel 3 - Caso Dos con 171 escuelas
Factor Coeficiente
Lectura Matemática
Desarrollo afectivo del director 2,34 5,56
Background del director 6,78 2,27
Disponibilidad de recursos 27,52 13,21
Tiempo de escolaridad 3,85 1,68
Varianza de resultados para el nivel 40,49 22,72
Varianza de resultados para el modelo 77,61 51,97
La información de las tablas 6.2.1, 6.2.2 y 6.2.3 confirma que los factores disponibilidad de recursos en la escuela y el desarrollo afectivo del estudiante explican en su orden la mayor proporción de la varianza de los resultados en ambas áreas: 27,52 y 10,16% en lectura; y 13,21 y 11,20% en matemática.
aunque seguido a una distancia imperceptible por el nivel de escuela (22,72%). De nuevo, al sumar el valor de todos los coeficientes, el modelo ahora puede explicar 77,61% de la varianza de los resultados de lectura y 51,97% de la varianza de los resultados de matemática.
En el nivel de aula se destaca el factor uso de recursos con un coeficiente igual a 5,39 para lectura y 5,68 para matemática, seguido del factor background del maestro en lectura con un coeficiente igual a 4,22 y en matemática 0,60. El valor tan pequeño del coeficiente en el caso de matemática no puede significar poca importancia del factor en el proceso educativo, sino que en la combinación de factores para llegar a una solución resultan con mayor peso específico los demás factores. Las inferencias que se hagan a partir de los coeficientes encontrados deben considerar que estos valores son relativos entre sí y de ninguna manera absolutos.
7. VALIDACIÓN
Con el propósito de validar el valor estimado para los coeficientes, que fueron hallados mediante la regresión lineal, se acude a una técnica de comparación del valor de la variable de salida a través de dos caminos: por un lado, se emplea la ecuación generada para cada modelo propuesto; y por otro lado, se toma como referencia el promedio de puntaje establecido oficialmente para el país (UNESCO, 2008). Los modelos construidos son robustos y confiables si pueden reproducir este promedio de puntaje oficial, al nivel de país.
Los datos para la validación se muestran en la tabla 7.1, tanto para el modelo del Caso Uno como para el del Caso Dos.
Tabla 7.1. Promedios de puntaje de referencia y calculados por regresión, para Colombia
Área Promedio de puntaje
Oficial Regresión Caso 1 Regresión Caso 2
Lectura 510,58 511,82 511,82
Matemática 499,35 500,33 500,65
0,24% para ambos casos en el área de lectura, mientras que 0,20% y 0,26% para los dos casos en el área de matemática. Es importante advertir que las diferencias cercanas a cero y prácticamente imperceptibles, entre los valores del promedio oficial para el país y los valores generados cuando se utilizan las ecuaciones y los coeficientes hallados para los modelos por vía de regresión, indican la alta capacidad de los modelos propuestos para representar la variable dependiente o de salida mediante el conjunto de variables independientes o de entrada propuestas y escaladas.
8. CONCLUSIONES
8.1. La investigación realizada muestra una metodología que comienza construyendo factores que reflejan algunas hipótesis, luego indagando efectos simples de relaciones entre un factor y los resultados alcanzados en las pruebas académicas, y después explorando los efectos cruzados de tales factores, organizados dentro de una estructura jerárquica de tres niveles de análisis, referidos al estudiante, al aula de clase y a la escuela. Cada factor está relacionado con los demás y, por lo tanto, su impacto resulta no sólo relativo sino que puede estar comprendido y subsumido al interior del impacto de otros factores. Esta comprensión también puede ocurrir entre niveles, como es el caso del nivel de aula cuando resulta subsumido en el nivel de escuela.
8.2. Los factores dentro de la estructura propuesta siguen una visión centrada en el desarrollo afectivo de cada uno de los actores principales y en la dinámica de los procesos de aula, y reconoce la fuerza de la capacidad consolidada de los estudiantes, los maestros, el director de la escuela y el proyecto educativo. A su vez, los factores propuestos están constituidos por un conjunto de señales individuales que provienen de la información que aparece en los cuestionarios empleados en el SERCE. Por esta razón, los hallazgos parten de la conjunción de juicios y percepciones. Hay entonces una posible restricción debida a la subjetividad individual pero también la fuerza de los grandes grupos que mitigan o compensan los efectos y que muestran tendencias intersubjetivas.
se distribuye en una función característica que se normaliza con media igual a cero y desviación estándar igual a uno, para que la comparación entre los efectos de los factores se realice a partir de escalas cuyos parámetros de posición y dispersión son idénticos.
8.4. El modelamiento matemático sigue la técnica lineal multinivel, donde las ecuaciones respectivas toman el puntaje alcanzado en las áreas de lectura o matemática como variable de salida y los índices generados para los factores propuestos como variables de entrada, multiplicadas cada una de estas variables por un escalar que actúa como coeficiente. La solución matemática del modelo permite encontrar por vía de regresión el valor del intercepto de la función, los coeficientes de los factores propuestos y parámetros de error, estabilidad y confiabilidad.
8.5. La población considerada en la investigación corresponde al conjunto constituido por 5173 estudiantes, 251 aulas de clase y 171 escuelas, para los cuales se encuentra información combinada completa y cuyas respuestas a los cuestionarios han sido tomadas de las bases de datos oficiales provenientes del SERCE. Esta condición permite asegurar que los factores propuestos para cada estudiante considerado pueden relacionarse con los respectivos factores propuestos para al menos un maestro de su aula de clase, tanto de lectura como de matemática, y además con los factores del director y de la escuela.
8.6. La investigación plantea dos modelos matemáticos lineales, ambos en una estructura multinivel, el primero (Caso Uno) con todos los 16 factores propuestos desde el inicio y el segundo utilizando una selección de aquellos factores que arrojan coeficientes positivos al resolver el primer modelo. Los valores de los coeficientes en uno y otro caso muestran una estabilidad y confiabilidad adecuadas, lo cual permite inferir su robustez. El segundo modelo (Caso Dos) presenta la mayor capacidad de explicación de la varianza de los logros académicos de los estudiantes: 77,61% en el área de lectura y 51,97% en matemática.
revela la consistencia de la hipótesis implícita acerca del mayor impacto académico que se genera al disponer y utilizar los recursos del aula, es decir, poco o nada sirven los recursos existentes si no se usan en el proceso educativo.
8.8. En el Caso Dos, en el área de lectura, los tres factores que explican la mayor proporción de la varianza de los logros académicos son la disponibilidad de recursos en la escuela (27,527%), el desarrollo afectivo del estudiante (10,16%) y el background del director (6,78%). En contraste, los tres factores con menor capacidad de explicación de la varianza mencionada son la disponibilidad de recursos en el aula (0,34%), el cubrimiento curricular (0,47%) y el desarrollo afectivo del maestro (1,10%).
8.9. En el mismo Caso Dos, para el área de matemática, los tres factores que explican en mayor proporción la varianza de los logros académicos son la disponibilidad de recursos en la escuela (13,21%), el desarrollo afectivo del estudiante (11,20%) y el contexto de aprendizaje en el aula, percibido por el estudiante (6,77%). Con el mismo modelo, los tres factores que explican la menor proporción de la varianza referida son el background del maestro (0,60%), el tiempo de escolaridad (1,68%) y el background del director (2,27%).
8.10. La técnica multinivel con ecuaciones lineales muestra el promedio de efectos netos, producidos sobre una variable de salida al recorrer todo el ámbito de valores de un factor, suponiendo un comportamiento homogéneo en toda la población. En la indagación de efectos simples, con ecuaciones tipo polinomio de grado dos, es posible reconocer cambios en las tendencias y efectos locales diferenciados, suponiendo un comportamiento heterogéneo de la población: el efecto de modificar el valor de un factor no es constante sino que varía al recorrer el espectro de valores del factor. Si se incrementa el valor del desarrollo afectivo del estudiante en una unidad, se produce un impacto académico positivo diferente, dependiendo del lugar actual donde se encuentra el factor: el impacto es cerca de 13 veces mayor en el sitio donde el valor del factor es menos uno, respecto del impacto producido en la zona donde el valor de este factor es uno.
que tienen los resultados de la solución de un modelo matemático. El desarrollo afectivo y el background del maestro, por ejemplo, constituyen factores trascendentales en un proyecto educativo y su significado va más allá del valor encontrado para su coeficiente por la vía de la regresión. El coeficiente de un factor indica sólo la proporción en la que varía la variable de salida cuando se modifica el índice del factor respectivo en una unidad y se mantienen absolutamente fijos todos los demás factores. Es evidentemente una situación hipotética, con significado matemático y que requiere modulaciones para efectuar inferencias sobre la realidad educativa.
El maestro es el gran pensador y arquitecto que sueña y construye espacios ricos y potentes para el aprendizaje de los estudiantes, desde luego en conjunto con los demás actores del proceso educativo. Un alto índice del desarrollo afectivo y del background del maestro, en conjunción con otros múltiples factores, irradia un ambiente potente y propicio para el aprendizaje de los estudiantes y su impacto trasciende, al menos en parte, a través de los demás factores.
8.12. La investigación presentada entrega elementos cuantitativos robustos y nutre la discusión sobre el tema de factores asociados al logro académico. No obstante, es necesario seguir investigando y proponiendo nuevos factores y modelos de análisis, con otra composición de señales individuales y nuevas estructuras para poder explicar cada vez una mayor proporción de la varianza de los logros de los estudiantes, siguiendo preferiblemente la visión de explorar el enorme potencial que poseen las interacciones entre los distintos actores del proceso educativo, cuando se diseñan con la intención de lograr y cualificar el aprendizaje de los estudiantes, sobre todo de aquellos que presentan las mayores barreras y dificultades.
9. REFERENCIAS
Bogoya, Daniel et al (2007). Hacia un sistema integral de la evaluación de la calidad de la educación en Bogotá. Bogotá, Unibiblos, Universidad Nacional de Colombia – Secretaría de Educación de Bogotá.
Bogoya, Daniel y Restrepo, Gabriel (2008). Propuesta de investigación y análisis sobre factores asociados a los resultados de las pruebas nacionales de logros SINECA. Panamá, Ministerio de Educación.
Martin, Michael, Mullis, Ina y Chrostowski, Steven (2004). TIMSS 2003 Technical Report. Estados Unidos, International Association for the Evaluation of Educational Achievement.
Martin, Michael, Mullis, Ina y Kennedy, Ann (2007). PIRLS 2006 Technical Report. Estados Unidos, International Association for the Evaluation of Educational Achievement.
OECD (2005). PISA 2003 Technical Report. París, Organisation for Economic Co-Operation and Development.
Schultz, Wolfram (2005). Testing Parameter Invariance for Questionnaire Indices using Confirmatory Factor Analysis and Item Response Theory. San Francisco, Annual Meetings of the American Educational Research Association.
Snijders, Tom and Bosker, Roel (1999). Multilevel Analysis. USA, SAGE Publications Inc.
UNESCO (2005). Segundo Estudio Regional Comparativo y Explicativo 2004 – 2007, Análisis Curricular. Santiago de Chile, UNESCO.
UNESCO (2008). Primer Reporte – Los aprendizajes de los estudiantes de América Latina y el Caribe. Santiago de Chile, UNESCO.
