Evaluación Educativa en Colombia
ICFES - COLOMBIA
* Director General del Instituto Colombiano para el Fomento de la Educación Superior, ICFES
1 Al respecto, ver Visión Colombia II Centenario: 2019, tabla 4.5, página 231; y tabla 4.7, página 235.
2 Al referir que todos los ciudadanos deben alcanzar un alto nivel de comprensión y competencia, se compromete un
concepto de equidad en el acceso, cuando se brindan las oportunidades para que todos los estudiantes potenciales ingresen al sistema educativo, y de equidad en el proceso, cuando se requieren mecanismos para que todos los proyectos educativos institucionales –PEI– alcancen el punto de llegada esperado con todos sus estudiantes.
SEMINARIO INTERNACIONAL DE EVALUACIÓN
Cartagena de Indias, 16 y 17 de febrero de 2006
1. INTRODUCCIÓN
La política educativa colombiana se ha basado en las últimas décadas en cuatro ejes principales:
calidad, pertinencia, cobertura y eficiencia. En relación con la eficiencia, el país viene trabajando en conjunto con entidades territoriales y con las instituciones educativas para alcanzar cada vez un uso más racional de los recursos financieros, de infraestructura y de talento humano, a partir del uso intensivo de tecnologías de información y comunicaciones, del establecimiento de estándares y de la formación de directivos con un fuerte componente en el campo de la gestión. En términos de cobertura, el país aspira a que en el año 2019, cuando cumplamos dos siglos como república independiente, el 100% de nuestros niños logre concluir los niveles de educación básica y media y el 40% el nivel de educación superior1. Respecto
de la pertinencia, se señala la participación sistemática de los distintos actores sociales en la construcción de los estándares curriculares, los planes de desarrollo de largo plazo y los proyectos educativos institucionales, con el fin de lograr que el sistema educativo forme
ciudadanos integrales y capaces de interpretar el mundo por venir y de generar soluciones satisfactorias a múltiples y variados tipos de problemas.
Y sobre la calidad, es imperativo reconocer el compromiso de estudiantes y familias, docentes y directivos, investigadores y tomadores de decisiones para lograr una oferta educativa capaz de formar a todos los ciudadanos2
disminuir la tasa de deserción en educación superior hasta el 25%3.
Inscritos en el eje de la calidad, para lograr las metas mencionadas, el país acude a un proceso cíclico que comprende tres etapas: definición de metas, evaluación de aprendizajes y competencias desarrolladas por los estudiantes a su paso por las instituciones escolares y establecimiento e implementación de planes de mejoramiento. Ahora bien, la consistencia y coherencia de estos planes se fundamenta en una información cierta acerca de los estados de desarrollo de cada uno de los proyectos educativos en el momento de la evaluación de aprendizajes y competencias, tarea que justamente le corresponde realizar al ICFES, como entidad especializada en el tema.
Enseguida, se muestran algunos giros decisivos para construir condiciones de posibilidad que permiten implementar un sistema de evaluación en todos los niveles de educación y se presentan los proyectos de evaluación actualmente en desarrollo en Colombia.
2. GIROS EN LA EVALUACIÓN
La implementación y la sostenibilidad de un sistema de evaluación requieren condiciones técnicas4, tecnológicas5 y políticas adecuadas
y la concertación de propósitos y metodologías con los distintos actores que participan en la evaluación. En este caso, a manera de giros, se ilustran las condiciones políticas construidas y adoptadas, con el fin de alcanzar la legitimidad de los proyectos de evaluación censal colocados en escena en Colombia principalmente en los últimos diez años.
2.1. De lo oculto a lo visible
La evaluación ha dejado de ser un ejercicio oculto, que se realizaba en forma secreta por parte de unos actores expertos o portadores de alguna autoridad administrativa, y se ha convertido en una práctica visible que puede ser observada, analizada e interpretada por quienes son objeto de la evaluación. Este giro conlleva a los evaluados a cualificar su entendimiento alrededor del tema, a reconocer la importancia de la evaluación, a tomar conciencia acerca de la validez de los resultados alcanzados y a precisar y profundizar en sus reclamaciones. La visibilidad, en tanto implica la exposición de los procedimientos, trae consigo la necesidad de fundamentar y robustecer las argumentaciones
y explicaciones que los evaluadores dan a las
interpelaciones de los evaluados y al final el perfeccionamiento del sistema.
2.2. De lo omnímodo a lo dialógico
La definición de los propósitos, los procedimientos implicados y el uso de los resultados de una evaluación, que fueron una tarea exclusiva de expertos, usualmente contratados temporalmente para orientar un determinado proyecto, constituyen en la actualidad una labor colectiva en la que una comunidad calificada puede aportar contribuciones significativas. Se trata de girar hacia un diálogo y una concertación con todos los actores, como base para la definición de marcos teóricos, referentes conceptuales, instrumentos y métodos de análisis: un diálogo real y efectivo en el que puedan escucharse, analizarse y tenerse en cuenta las distintas voces del saber en cuestión que se evalúa y en el que cada actor pueda reconocer su aporte, con miras a la apropiación de un proyecto y a una participación genuina por parte de los evaluados.
3 Ver Visión Colombia II Centenario: 2019, tabla 4.6, página 233; y tabla 4.7, página 235.
4 Se trata de procedimientos consolidados al nivel internacional para elaborar marcos teóricos, instrumentos de evaluación,
procesamiento de datos, análisis de ítems y generación de reportes. Colombia está comprometida con una evaluación centrada en el enfoque de competencias, con un procesamiento basado en la teoría de respuesta al ítem con un parámetro y con la generación de reportes que dan cuenta de variables cuantitativas y de dimensiones cualitativas.
5 Colombia ha tomado la decisión de utilizar tecnologías de información y de comunicaciones de punta para llevar a cabo
6 Este giro desencadena una paradoja. La evaluación se convierte en una actividad permanente para las instituciones, pero
en un ejercicio final, al concluir un proceso, para los individuos evaluados a través de un Examen de Estado. La información que se deriva al evaluar los estudiantes de un proyecto educativo mediante exámenes es genuina para él y le reporta con certeza fortalezas y debilidades, pero debe adaptarse cuando va a ser utilizada por la institución, pues corresponde a una cohorte determinada que concluye un proceso y las acciones que se tomen recaerán sobre otros estudiantes, que si bien interactúan con un entorno similar también reúnen características propias y probablemente diferentes..
2.3. De acto final a práctica permanente
La evaluación que usualmente se confundía con la realización de un examen final, donde un estudiante, un grupo o una institución rendían cuentas a una autoridad y se jugaban en un solo momento la aprobación de su trabajo, ha venido girando hacia una actividad permanente que permite conocer la progresión y tendencia de un proceso en todo momento, para tomar así decisiones informadas y oportunas acerca de la confirmación o el re-direccionamiento necesario en los procesos y lograr el nivel de avance previsto. La evaluación cobra sentido
si los resultados alcanzados pueden utilizarse para realimentar los procesos evaluados y lo pierde si dichos resultados proceden sólo al final, cuando tales procesos han concluido y en caso de presentar algunas fallas ya no pueden corregirse6.
2.4. De un mundo ajeno a uno propio
La relación entre el trabajo de los expertos en evaluación y el de los expertos en las disciplinas que deben evaluarse ha dejado de ser subordinada para dar paso a una labor
coordinada de equipo, donde a partir de dos saberes especializados se teje un nuevo concepto que emerge ahora desde el propio campo evaluado. Este giro implica un acto de reconocimiento hacia la naturaleza, la lógica particular y la gramática de un cierto campo, en el que queda entonces incorporada la evaluación como una de sus entidades conceptuales. En la nueva concepción, se piensa y se estructura la evaluación de un determinado saber, desde la particularidad de su misma esencia y no sólo desde la lógica universal de la evaluación, es decir, se reconstruye la evaluación de un campo desde la lógica de dicho campo.
2.5. De definiciones a competencias
El balance mundial muestra gran rapidez y efectividad en la propagación de información a través de las redes de datos y a la vez un crecimiento cada vez mayor en la cantidad generada de tales datos. Este balance sugiere que los sistemas educativos piensen en formar ciudadanos capaces de seleccionar y utilizar con sentido la abundante información disponible, más allá de sólo trasmitirles datos, definiciones y técnicas para que los recuerden. El giro que aquí se muestra consiste en abandonar la evaluación basada en definiciones para asumirla con un enfoque de competencias, entendidas como la capacidad de interpretar en toda su complejidad una porción del mundo bajo análisis, construir, proponer y argumentar soluciones plausibles a problemas nuevos y generar nuevos espacios conceptuales, metodológicos y de acción.
2.6. De unidimensional a multidimensional
El diseño de los instrumentos de evaluación ha dejado de considerar pequeños corpúsculos
2.7. Del ítem peregrino al ítem concertado
La metodología de elaboración y selección de ítems, soportada en un recorrido extenso y riguroso desde el momento de su escritura primigenia – que se basaba en una lógica y una interpretación de supeditación– hasta el de la aprobación que se apoyaba en la fuerza de la decisión, ha girado hacia la construcción concertada entre los distintos actores. El peregrinaje dispendioso de los ítems, donde sus autores no podían sustentarlos en los juicios realizados sólo por expertos ni conocer el resultado del estudio ni ajustarlos para someterlos a un nuevo análisis, ha cedido el lugar a escenarios de discusión, diseño y construcción colegiada, donde cada actor reconoce a los demás y aporta y argumenta su conocimiento para lograr un ítem satisfactorio ante la mirada interdisciplinar de constructores, analistas y jueces.
2.8. Del instrumento fragmentado al
cohesionado
El mapa o tabla de especificaciones de un instrumento que solía indicar las características puras y únicas de un ítem, siempre fragmentado, aislado e independiente de los demás, contempla ahora otra señal: el hilo conductor que lo coloca en diálogo con otros ítems y que le confiere sentido justo cuando él hace parte vital de un conjunto, en virtud de compartir alguna singularidad. Aparece entonces mediante este giro la cohesión como propiedad de un instrumento, posible en un primer momento a expensas de un contexto que constituye el imán que atrae y mantiene unidos a los ítems. Los vasos comunicantes que ahora transfieren información entre ítems conducen a una condición de dependencia entre ellos y a mantener más estable su relación con los evaluados en situación de prueba.
2.9. De operaciones manuales a
automáticas
La irrupción de la tecnología ha permitido automatizar múltiples operaciones que anteriormente se realizaban de manera manual y que requerían enormes esfuerzos, espacios y tiempos. Ahora, es posible llevar a cabo las
mismas operaciones, con respuestas inmediatas para todos los usuarios de la evaluación, independiente del tamaño y la dispersión de los grupos que deben atenderse, que además cada vez se incrementan en mayor grado. El giro de la automatización garantiza unicidad y consistencia
en el uso de la técnica que se despliega para la confirmación de cada transacción, el tratamiento de los datos, el análisis de los ítems y la estructura de reportes, operaciones que siempre se atienden con las mismas condiciones de diseño y con los mismos parámetros establecidos.
2.10. De programas solitarios a sistemas
expertos
La posibilidad de programar máquinas computadoras con estrategias complejas y visiones integrales ha permitido el paso de
soluciones puntuales con programas específicos y solitarios a soluciones integrales con sistemas expertos que cubren toda una red o cadena de procesos. Este giro consiste en hacer explícitas las reglas de decisión complejas que grupos humanos utilizan –al terminar un proceso y justo para establecer las condiciones iniciales de otro proceso que hace parte de la red y que sigue en la cadena– y en programarlas para efectos de llevarlas a cabo en forma automática. Los sistemas expertos permiten que los usuarios de la evaluación reciban sus resultados de manera ágil, reproducible y robusta y que quienes la administran puedan dedicar su energía a la conceptualización, diseño, gestión y dirección de procesos.
2.11. De colas de espera a procesos en
tiempo real
La evaluación como fuente de información valiosa en la toma de decisiones ha comprendido la necesidad de disminuir los tiempos de las colas de espera que se formaban con sus usuarios
producir tales respuestas. De esta manera, se comunica significado y sentido a la evaluación, pues las decisiones involucradas pueden lograr un efecto más temprano de las correcciones que deban efectuarse. Los procesos en tiempo real consideran al evaluado como el centro de gravitación del ejercicio de la evaluación.
2.12. Del centro a las regiones
El reconocimiento del desarrollo local, en términos de infraestructura y de talento humano, junto con la formación, empoderamiento y acompañamiento correspondientes en términos de procedimientos y estándares, han permitido poner en escena la descentralización de diversas operaciones asociadas con la evaluación y debidamente documentadas en manuales. Este giro conlleva un cambio significativo de valoración y de relación entre evaluados y evaluadores, pues ahora quienes conforman el mundo más próximo al de los evaluados juegan un papel más protagonista y adquieren la
responsabilidad de implementar la evaluación, de acuerdo con los mismos parámetros y estándares que se siguen en todas las regiones. La ejecución descentralizada de operaciones hace visibles otros actores e incrementa su conocimiento y capacidad en el tema.
3. PROYECTOS DE EVALUACIÓN
Se entiende que la evaluación de los aprendizajes y las competencias desarrolladas por los estudiantes a su paso por el sistema educativo, en los niveles de educación básica, media y superior, constituye una herramienta valiosa para informar a todos los actores del sistema acerca del impacto de cada proyecto pedagógico, con miras a servir de insumo para el establecimiento de los planes de mejoramiento en cada institución educativa. El ICFES ha sido la entidad especializada del estado colombiano encargada del diseño y la
implementación de esta evaluación en el país, misión que realiza con base en los proyectos que se enuncian enseguida.
3.1. SABER
Comprende la evaluación de los estudiantes que terminan quinto y noveno grados de educación básica primaria y secundaria, respectivamente. El proyecto comenzó en 1991 con aplicaciones muestrales y entre los años 2002 y 2003 se llevó a cabo la primera aplicación censal que constituye una línea de base, en las áreas de lenguaje, matemática, ciencias naturales y competencias ciudadanas, con 1.030.626 estudiantes evaluados. Entre los años 2005 y 2006 se realiza una segunda aplicación censal, en las mismas áreas más ciencias sociales, para continuar con una observación sistemática de los efectos de las políticas de mejoramiento.
Los resultados alcanzados en el proyecto SABER en la aplicación de los años 2002 y 2003 pueden consultarse en el sitio www.mineducacion.gov. co/saber al nivel de cada institución, municipio, departamento o país, en términos de porcentaje de estudiantes en cada categoría de desempeño, de promedio y desviación estándar de puntajes y del número de estudiantes evaluados en cada área.
A manera de ejemplo, a continuación en las gráficas 3.1.1 y 3.1.2 se combinan los resultados de promedios de puntajes alcanzados por los estudiantes evaluados en el área de lenguaje, de quinto y noveno grados, respectivamente, con el valor de la desviación estándar, tanto para la aplicación realizada entre los años 2002 y 2003 como para la aplicación del año 20057,
agrupados por entidad territorial. Cada punto de la nube representa los resultados de una entidad territorial. Las medias al nivel nacional –de los promedios y la desviación estándar de puntajes– se representan mediante líneas
7 Los resultados presentados para la línea de base (2002 – 2003) corresponden a los dos calendarios, es decir, al 100% de
continuas, para los años 2002 y 2003, y líneas punteadas, para el año 2005, que se intersectan para dar origen a cuatro cuadrantes donde se localizan las entidades territoriales referidas. En esta representación se espera un corrimiento
del lugar ocupado por un grupo hacia la zona superior izquierda, con el transcurso del tiempo entre una y otra aplicación de las pruebas, puesto que siempre es deseable lograr un aumento del promedio y simultáneamente una disminución de la desviación estándar como consecuencia de la implementación de políticas de mejoramiento de la calidad de la educación.
La gráfica 3.1.1 advierte que en el lapso de tres años transcurridos entre una y otra aplicación, se logró un aumento en el promedio de puntajes de apenas medio punto y también una disminución de la desviación estándar de 0.2
puntos en los resultados de lenguaje para el grado quinto. Esta situación corresponde a un avance en términos de la equidad del sistema, pues las diferencias entre los resultados de los estudiantes y su resultado promedio son más pequeñas en el año 2005 que las observadas entre los años 2002 y 2003, pero también a una estabilidad en el rendimiento global. Por su parte, la gráfica 3.1.2 muestra que en el mismo período los resultados variaron de un modo distinto para la misma área en el grado noveno: se aprecia un incremento de 3.0 puntos en el promedio de puntajes y al mismo tiempo una disminución en la equidad del sistema, porque la desviación estándar aumentó en 0.2 puntos. A la luz de los parámetros considerados es deseable que haya incrementos en el promedio de puntajes y simultáneamente disminuciones en la desviación estándar.
Gráfica 3.1.1.
Tendencias de promedio y
desviación estándar para
lenguaje en quinto grado
Gráfica 3.1.2.
Tendencias de promedio y
desviación estándar para
lenguaje en noveno grado
Fuente: ICFES
Las gráficas 3.1.3 y 3.1.4 refieren los resultados para el área de matemática en el mismo período, con base también en las variables de promedio de puntajes y de desviación estándar. Para el grado quinto se observa al nivel nacional un progreso consistente en términos de equidad y de rendimiento, pues la desviación estándar disminuye 0.2 puntos y el promedio de puntajes aumenta en 3.5 puntos. Por su parte, para el caso del grado noveno, la tendencia de los resultados presenta una diferencia: el rendimiento mejora porque el promedio de puntajes aumenta en 2.3 puntos, pero la equidad disminuye, pues hay un aumento de la desviación estándar de 0.4 puntos.
Las gráficas mencionadas también permiten observar dos componentes de la equidad: primera, inter-entidades, entre los grupos considerados; y segunda, intra-entidades, al interior de cada grupo. La primera, inter-entidades, se aprecia con las distancias verticales entre uno y otro punto, que a su vez representan diferencias entre promedios de puntajes de los estudiantes de una y otra entidad territorial. La segunda, intra-entidades, se reconoce con la posición relativa de un punto en el eje horizontal: localizaciones en la zona izquierda de la gráfica reflejan mayor equidad interna de la entidad territorial que otras ubicadas en la zona derecha.
Gráfica 3.1.3.
Tendencias de promedio y
desviación estándar para
matemática en quinto grado
Gráfica 3.1.4.
Tendencias de promedio y
desviación estándar para
matemática en noveno grado
Fuente: ICFES
Las gráficas 3.1.5 y 3.1.6 muestran consistentemente en los dos grados evaluados, quinto y noveno, un avance de rendimiento en términos de promedios de puntajes, en el período considerado, pero también una disminución de la equidad del sistema en el área de ciencias naturales. En este período, en el grado quinto hay un aumento de 2.2 puntos en el promedio de puntajes y un incremento de 0.1 puntos en la desviación estándar, mientras que en el grado noveno el aumento en el promedio es de 2.7 puntos y en la desviación estándar es de 0.2 puntos.
La representación de los resultados de grupos de estudiantes (bien sean instituciones, ciudades, regiones o países, por ejemplo) en un espacio bidimensional, mediante el par
de datos de promedio y desviación estándar, permite colocar en escena al mismo tiempo dos atributos de la calidad. Ahora el análisis puede ser más complejo porque requiere considerar posiciones relativas en un plano y que se
desplazan en distintas direcciones posibles como consecuencia de un determinado proceso educativo.
Gráfica 3.1.5.
Tendencias de promedio y
desviación estándar para
ciencias en quinto grado
Gráfica 3.1.6.
Tendencias de promedio y
desviación estándar para
ciencias en noveno grado
Fuente: ICFES
3.2. ICFES
Constituye el proyecto de evaluación de mayor consolidación en el país y está destinado a los estudiantes que terminan el grado once de educación media, en las áreas de lenguaje, matemática, física, química, biología, geografía, historia, filosofía, idioma extranjero (electivo entre inglés, francés y alemán) e interdisciplinar (electiva entre medio ambiente y violencia y sociedad8).
Este proyecto se realiza con dos aplicaciones cada año, una en el primer semestre dirigida a los estudiantes de grado once de instituciones de calendario norte (denominado B) y la otra en el segundo semestre para los estudiantes de instituciones de calendario sur (llamado A). En ambas ocasiones, pueden presentarse nuevamente personas que ya han sido evaluadas, quienes lo hacen como egresados porque desean mejorar sus resultados, o aquellos que sin pertenecer al sistema de educación formal quieren conocer su desempeño en la prueba para obtener por esta vía mediante validación su diploma de bachiller, si logran los niveles requeridos.
La primera aplicación de las pruebas del proyecto ICFES se llevó a cabo en 1968 con el fin de proveer información a las instituciones de educación superior para realizar sus procesos de selección y admisión de estudiantes, propósito que aún se mantiene sumado al de servir de señal de la calidad de la educación media tanto para las instituciones educativas como para las familias, la sociedad en general y agentes tomadores de decisiones. Para este efecto, los resultados que se reportan luego de cada aplicación, desde el año 2000, son
comparables en virtud de un procesamiento de datos basado en la teoría de respuesta al ítem con un parámetro que comprende también la calibración de los instrumentos utilizados.
Los destinatarios de los resultados alcanzados en este proyecto son principalmente los mismos estudiantes evaluados, las instituciones educativas donde ellos se forman y obtienen la titulación de bachiller al concluir el nivel de educación media, los responsables dentro de las instituciones de educación superior de la admisión de sus estudiantes y el ICETEX, instituto especializado en el otorgamiento de crédito educativo. Para todos ellos se generan reportes y se brindan claves de acceso que permiten consultar directamente las bases de datos disponibles en el sitio www.icfesinteractivo. gov.co.
Como ejemplo, a continuación se presentan algunos tipos de resultados globales al nivel del país, los cuales también se encuentran disponibles en otras formas de agrupación y de manera más desagregada. La gráfica 3.2.1 muestra el número total de personas que han presentado la prueba del proyecto ICFES, desde 1968. Este número, que ha pasado de 26 mil personas evaluadas hasta 557 mil luego de 38 años, comprende tanto a los estudiantes de grado once que presentan la prueba por primera vez como a quienes lo hacen en calidad de egresados, para conocer el nuevo estado que han alcanzado luego de llevar a cabo estudios de perfeccionamiento y superación de las debilidades detectadas cuando presentaron pruebas anteriores. Cualquier persona puede presentar esta prueba todas las veces que considere pertinente.
8 Adicionalmente, el Proyecto ICFES comprendía una prueba de Medios de Comunicación que fue aplicada hasta el año
En las gráficas 3.2.2 a 3.2.9 se representan las tendencias observadas en los promedios de los puntajes obtenidos por los estudiantes de grado once evaluados desde el año 2000 hasta el 2005, en cada una de las áreas referidas, agrupados al nivel nacional. Para cada año se colocan en forma separada los promedios de las dos aplicaciones que se realizan. Se toma este período de tiempo porque justo en él se ha mantenido estable el enfoque de competencias como referente de la prueba, el diseño y la estructura de los instrumentos, las técnicas de
procesamiento y de equiparación y los formatos de los reportes de resultados.
En el período considerado, los resultados en términos de promedios indican con algunos altibajos un avance de 3.2 puntos en el área de lenguaje, de 0.5 puntos en matemática, de 2.1 puntos en biología y de 1.2 puntos en filosofía; pero también revelan una disminución en el rendimiento de 0.1 puntos en el área de física, 2 en química, 1.1 puntos en geografía y 1 punto en historia.
Gráfica 3.2.1.
Número de evaluados en el proyecto ICFES,
entre 1968 y 2005
Gráfica 3.2.2.
Tendencias del promedio
nacional de puntaje
en lenguaje,
entre 2000 y 2005
Gráfica 3.2.4.
Tendencias del promedio
nacional de puntaje
en física,
entre 2000 y 2005
Fuente: ICFES
Fuente: ICFES
Gráfica 3.2.3.
Tendencias del promedio
nacional de puntaje
en matemática,
entre 2000 y 2005
Gráfica 3.2.5.
Tendencias del promedio
nacional de puntaje
en química,
entre 2000 y 2005
Gráfica 3.2.7.
Tendencias del promedio
nacional de puntaje
en geografía,
entre 2000 y 2005
Fuente: ICFES
Fuente: ICFES
Gráfica 3.2.6.
Tendencias del promedio
nacional de puntaje
en biología,
entre 2000 y 2005
La gráfica 3.2.10 muestra la tendencia de un indicador de equidad, derivado a partir de la distancia observada entre el promedio nacional alcanzado por el 5% de los estudiantes evaluados con resultados más altos y el 5% de aquellos con resultados más bajos, en el mismo período considerado en las gráficas anteriores.
La tendencia en este período es sistemática y revela una situación preocupante, pues la distancia entre los promedios de estos dos grupos poblacionales aumenta desde 23 hasta 29 puntos. Es necesario disponer esfuerzos para detener esta tendencia y lograr en cambio una reducción de la brecha observada.
Gráfica 3.2.8.
Tendencias del promedio
nacional de puntaje
en historia,
entre 2000 y 2005
Gráfica 3.2.9.
Tendencias del promedio
nacional de puntaje
en filosofía,
entre 2000 y 2005
Fuente: ICFES
Las gráficas 3.2.11 y 3.2.12, referidas a las áreas de lenguaje y matemática, ilustran la forma como varía la combinación del par
rendimiento y equidad durante el mismo período del año 2000 al 2005. Cada punto representa la integración del promedio, mediante la posición en el eje vertical, y la desviación estándar, mediante la posición en el eje horizontal.
El área de lenguaje comienza una sucesión de estados en la primera aplicación del año 2000 con un promedio de 44.5 puntos y una desviación estándar de 6.3 puntos y luego de recorrer su propio camino de altibajos encuentra un estado con un promedio de 45.8 puntos y una desviación estándar de 9.9 puntos en la segunda aplicación del año 2005. Por su parte, el área de matemática comienza el trazado con un promedio de 44.7 puntos y una desviación de 6.3 puntos y después de ir y venir, en un espacio más limitado que el definido para el área de lenguaje, se localiza en un promedio de 43.8 puntos y una desviación estándar de 9.0 puntos en la segunda aplicación del año 2005.
En ambas áreas consideradas se aprecia un aumento del rendimiento promedio al nivel del país, pero una disminución de la equidad y poca consistencia entre los resultados de las distintas cohortes representadas en este período. El comportamiento de los parámetros observados sugiere más bien reconocer un espacio de movimiento de los resultados, al evaluar distintas cohortes, dentro del cual es probable encontrar un estado. Para el caso del área de lenguaje, el espacio referido comprende valores para el promedio de puntajes que oscilan entre 44.5 y 52.4 puntos y para la desviación estándar entre 5.9 y 9.9 puntos, con una distribución heterogénea de la densidad. Por su parte, el área de matemática describe un espacio acotado por valores del promedio de puntajes que van desde 40.8 hasta 45.4 puntos y de la desviación estándar que fluctúan desde 5.1 hasta 9.0 puntos, con una mayor densidad de estados que en caso del área de lenguaje. La comparación entre los tamaños de los espacios de movimiento de los resultados de las áreas consideradas, en el período mostrado, sugiere una menor variabilidad y mayor consistencia de los resultados alcanzados para el caso de matemática.
Gráfica 3.2.10.
Tendencias nacionales del promedio de puntaje
del 5% más alto y el 5% más bajo de los estudiantes evaluados,
entre 2000 y 2005
3.3. ECAES
Es un proyecto orientado a la evaluación de los aprendizajes y las competencias desarrolladas por los estudiantes que concluyen el nivel de educación superior, en las áreas y componentes propios de su programa académico. El marco teórico, los instrumentos y la estructura de los reportes de resultados han sido posibles gracias a una gran discusión y concertación nacional
con la correspondiente comunidad académica. El proyecto se realiza con una aplicación anual, en la que también pueden participar egresados del nivel de educación superior o ciudadanos que aspiren a confrontar su dominio en un determinado campo. A partir del año 2006, se mantiene la aplicación anual para cada programa pero se ofrece en dos grupos distintos de programas, uno que se evalúa en el primer semestre y el otro en el segundo.
Promedio vs. desviación estándar para lenguaje entre 2000 y 2005
Gráfica 3.2.12.
Promedio vs. desviación estándar para matemática entre 2000 y 2005
Fuente: ICFES
El proyecto comenzó con aplicaciones experimentales y presentación voluntaria en los programas de medicina, derecho e ingeniería mecánica y luego se estableció con presentación obligatoria a partir del año 2003. En este año se evaluaron 57.541 estudiantes y 1.360 egresados de 27 programas; en el año 2004, 82.878 estudiantes y 2.654 egresados de 43 programas; en el año 2005, 83.059 estudiantes y 5.386 egresados de 50 programas; y en 2006 se evaluarán cerca de 100 mil personas de 55 programas.
Los resultados alcanzados en el proyecto ECAES y que sirven para identificar fortalezas y debilidades relativas con miras a emprender planes de mejoramiento, se disponen en el sitio www.icfesinteractivo.gov.co con destino a cada uno de los evaluados, rectores, decanos y directores de los programas, investigadores y tomadores de decisiones. Este sitio brinda también la posibilidad de realizar ejercicios de referenciación institucional cuando se comparan los desempeños de los estudiantes de un determinado programa en un campo específico, con los de otros estudiantes de programas que se consideren pares. La referenciación de un programa también es posible frente a sí mismo, entre dos o más aplicaciones en distintos momentos y con distintas cohortes de estudiantes, por la técnica de procesamiento de datos basada en la teoría de respuesta al ítem y la calibración de los instrumentos utilizados.
A manera de ejemplo, enseguida se ilustran algunas relaciones entre distintos tipos de resultados alcanzados en el proyecto. Las gráficas 3.3.1, 3.3.2 y 3.3.3 muestran el comportamiento de desempeños globales en términos de rendimiento, mediante la correlación entre los promedios de puntajes obtenidos por los estudiantes en los años 2003 y 2004, agrupados por cada programa ofrecido en ingenierías, derecho y fisioterapia, respectivamente. La escala empleada en el año 2003 tiene un valor medio de 50 puntos y una
desviación estándar de 10 puntos, mientras que la escala del año 2004 utiliza un valor medio de 100 puntos y la misma desviación estándar de 10 puntos.
Cada lugar señalado dentro de la nube
representa un programa y su localización en el plano advierte si incrementa el rendimiento relativo, respecto del promedio de toda la población, cuando se ubica en la parte superior de la línea de tendencia, o si lo diminuye cuando se ubica en la parte inferior. Adicionalmente, las pendientes de las líneas de tendencia son 0.91 para ingenierías, 0.97 para derecho y 1.02 para fisioterapia, lo cual ilustra una disminución de las distancias entre los promedios de los estudiantes de ingenierías y de derecho y un aumento de estas distancias en el caso de fisioterapia, al pasar de 2003 a 2004, es decir, en los programas referidos y en el período considerado hay un resultado diferenciado en términos de equidad inter-programas. De otra parte, la mayor
compacidad de los puntos que representan los programas de fisioterapia, alrededor de la línea de tendencia, señala una mayor estabilidad en el efecto de los proyectos pedagógicos en juego, dentro de los años considerados, expresando la existencia de una comunidad en este campo al nivel nacional.
Gráfica 3.3.1.
Promedio de puntajes de
programas de ingeniería,
2004 vs. 2003
Gráfica 3.3.3.
Promedio de puntajes de
programas de fisioterapia,
2004 vs. 2003
Fuente: ICFES
Fuente: ICFES
Gráfica 3.3.2.
Promedio de puntajes de
programas de derecho,
2004 vs. 2003
La gráfica 3.3.4 muestra el comportamiento de la dispersión de los desempeños, mediante la correlación entre las desviaciones estándar de puntajes obtenidos por los estudiantes en los mismos años 2003 y 2004, para el caso de ingenierías. Cada programa, representado por un punto de la nube, muestra un aumento de la equidad intra-programa, si se localiza en la parte inferior de la línea de tendencia, y una disminución de esta equidad intra-programa cuando su localización corresponda en la parte superior de dicha línea de tendencia. Es deseable que los programas con menores
niveles de equidad a su interior avancen más rápidamente en la dirección de disminuir su desviación estándar, para lograr en suma que haya menores distancias entre los resultados de los estudiantes de un programa, sin descuidar el otro propósito esencial de aumentar el promedio de puntajes.
En el caso que se ilustra de ingeniería, 174 programas de los 346 considerados aumentan la desviación estándar, con un valor máximo de 3.9 puntos, y 172 disminuyen este parámetro, con una valor extremo de 5.6 puntos.
En las gráficas 3.3.5, 3.3.6 y 3.3.7 se muestra el valor académico agregado en el nivel de educación superior, mediante la correlación entre los promedios de puntajes obtenidos por los estudiantes en las pruebas del proyecto ICFES y los promedios de puntajes obtenidos por los mismos estudiantes en las pruebas del proyecto ECAES en el año 2003, agrupados por cada programa académico de ingeniería de sistemas, derecho y fisioterapia, respectivamente.
Ingeniería de sistemas es un ejemplo de programas con pendiente creciente del valor
académico agregado y alta discriminación: los resultados son cada vez más altos en la medida en que las condiciones de ingreso también siguen este patrón. En contraste, derecho representa el caso de programas con pendiente decreciente del valor académico agregado y
baja discriminación: los resultados son cada vez menos altos en la medida en que las condiciones de ingreso son más altas. Fisioterapia se coloca en el medio de los dos comportamientos referidos y mantiene una constancia auto-regulada en la pendiente del valor académico agregado con una media discriminación.
Gráfica 3.3.4.
Desviación estándar de puntajes de programas de ingeniería, 2004 vs. 2003
Gráfica 3.3.5.
Promedio de puntajes
por programa ECAES
ing. Sistemas (2003) vs. ICFES
Gráfica 3.3.7.
Promedio de puntajes
por programa ECAES
fisioterapia (2003) vs. ICFES
Fuente: ICFES
Gráfica 3.3.6.
Promedio de puntajes
por programa ECAES
Derecho (2003) vs. ICFES
Fuente: ICFES
Fuente: ICFES
La gráfica 3.3.8, con los resultados por programa de fisioterapia en el año 2004, permite confirmar la compacidad observada en el año 2003 pero muestra un decaimiento en la pendiente del valor académico agregado, en la zona de promedios de puntajes más altos.
En las gráficas 3.3.9 y 3.3.10 cada punto de las nubes representa el par de puntajes ICFES y ECAES para cada estudiante de fisioterapia, en los años 2003 y 2004, respectivamente. Las dos nubes expresan una forma similar aunque más esbelta la del año 2004, lo que indica menores diferencias respecto del promedio. Al observar la tendencia global, se infiere que el puntaje alcanzado en las pruebas ECAES aumenta en forma directamente proporcional al aumento de los puntajes obtenidos en las pruebas ICFES, es decir, aquellos estudiantes que logran un alto resultado ICFES poseen una alta probabilidad de lograr también un alto resultado ECAES al concluir sus estudios superiores, mientras que quienes tienen bajos resultados en la
prueba ICFES están fatalmente determinados
a una alta probabilidad de repetir un bajo resultado en la prueba ECAES.
Se insiste en esta lectura en el carácter probabilístico del proceso, pues aunque las tendencias de los resultados son globalmente claras, también son nítidas las variaciones entre los resultados de distintos proyectos educativos: estudiantes con similares resultados ICFES, sistemáticamente se distribuyen en distintos resultados ECAES en función del proyecto educativo que abordan y desde luego de factores externos que aquí se consideran opacos y distribuidos en forma uniforme entre todos los eventos observados.
Gráfica 3.3.8.
Promedio de puntajes por programa ECAES
fisioterapia (2004) vs. ICFES
En las gráficas 3.3.11 y 3.3.12 se han seleccionado los pares de puntajes ICFES y ECAES de los estudiantes de tres programas de fisioterapia: uno de alto impacto académico, representado con triángulos; otro de medio impacto, con cuadrados; y el otro de bajo impacto, con círculos. La calificación del impacto se deriva de la relación de dos parámetros de la línea de tendencia correspondiente: pendiente e intercepto con el eje vertical.
Dos programas distintos y que reciben estudiantes en condiciones académicas semejantes, es decir, con puntajes similares en las pruebas ICFES, arrojan resultados diferentes. Uno de ellos, con mayor efectividad
que el otro, logra que sus estudiantes alcancen puntajes más altos en las pruebas ECAES y al representar sus resultados en estas gráficas se genera una línea de tendencia con un mayor valor del intercepto con el eje vertical de puntajes. Al mismo
Gráfica 3.3.9.
Puntajes individuales ECAES fisioterapia (2003) vs. ICFES
Gráfica 3.3.10.
Puntajes individuales ECAES fisioterapia (2004) vs. ICFES
Fuente: ICFES
tiempo, dos programas que se comparan y que reciben estudiantes en condiciones académicas semejantes, desarrollan brechas diferentes. Uno de ellos, con mayor equidad
que el otro, logra que sus estudiantes más débiles académicamente superen esta condición y se acerquen a los de mayores fortalezas y que así sus diferencias en las
pruebas ECAES sean pequeñas, generando en estas gráficas una línea de tendencia con una menor pendiente.
Una línea de tendencia con menor pendiente y mayor valor del intercepto con el eje vertical de puntajes que otra, representa un proyecto de mayor impacto académico.
Gráfica 3.3.11.
Puntajes individuales ECAES
fisioterapia (2003) vs. ICFES, en tres programas
Gráfica 3.3.12.
Puntajes individuales ECAES
fisioterapia (2004) vs. ICFES, en tres programas
La gráfica 3.3.13 presenta el promedio de puntajes en el componente de Comprensión Lectora, que se aplica en todos los programas. Ingeniería química e ingeniería de materiales muestran el resultado más destacado en la aplicación del año 2004.
Fuente: ICFES
Gráfica 3.3.13.
3.4. DOCENTES Y DIRECTIVOS DOCENTES
Este proyecto se encamina a evaluar las competencias disciplinares de los aspirantes a ingresar a la carrera docente o a ocupar el cargo de directivo docente, con aplicación de pruebas cada año. El proyecto está diseñado para llevar a cabo un proceso de selección que permita proveer cargos docentes y directivos, a través de concursos convocados por las entidades territoriales del país, y por tanto certifica como
aprobados sólo a quienes obtengan un puntaje
mayor que el valor mínimo determinado de 60 puntos para docentes y 70 puntos para directivos docentes, valores que se asignan al alcanzar un porcentaje de respuestas correctas que se calcula en función de la media de la población y la desviación estándar. Las personas que obtienen la certificación de aprobado, continúan el proceso de selección con una entrevista y un análisis de antecedentes, antes de ingresar a la Carrera Docente y llevar a cabo un período de prueba de un año.
Tabla 3.4.1.
Resultados de aspirantes en las pruebas aplicadas en diciembre de 2005
Prueba
Número Número de
Porcentaje de
de ítems aspirantes
respuestas
evaluados
correctas
CIENCIAS NATURALES QUÍMICA
33
2181
44.33
CIENCIAS NATURALES FÍSICA
31
581
47.84
HUMANIDADES Y LENGUA CASTELLANA
39
3401
41.10
CIENCIAS SOCIALES
46
4163
35.50
GESTION ESCOLAR
39
22823
50.00
FILOSOFIA
37
764
37.08
CIENCIAS NATURALES Y EDUCACION AMBIENTAL
48
4782
38.04
MATEMÁTICA
40
5549
26.30
PREESCOLAR
39
11342
43.79
EDUCACIÓN ÉTICA Y VALORES
38
1645
33.37
EDUCACIÓN RELIGIOSA
37
726
42.49
IDIOMA EXTRANJERO INGLÉS
37
3743
38.78
IDIOMA EXTRANJERO FRANCÉS
39
13
34.92
EDUCACIÓN FÍSICA RECREACIÓN Y DEPORTE
39
3156
49.54
CIENCIAS ECONÓMICAS Y POLÍTICAS
38
1523
39.26
TECNOLOGÍA E INFORMÁTICA
39
5689
41.74
BASICA PRIMARIA
40
60577
30.63
EDUCACIÓN ARTÍSTICA
38
1451
51.63
APTITUD NUMÉRICA
26
134109
41.65
APTITUD VERBAL
39
134109
40.74
A manera de ejemplo, las tablas 3.4.1 y 3.4.2 muestran los resultados alcanzados por los aspirantes a ingresar a la carrera docente y a ocupar un cargo directivo, en las pruebas generales y específicas aplicadas en diciembre de 2005, sin considerar los resultados de la prueba psicotécnica.
Las cifras presentadas revelan que la prueba de Básica Primaria atrae a la mayor cantidad de aspirantes, en este caso a 60.577 personas, mientras que en la prueba de Francés tan solo se presentan 13 personas en todo el país. Los resultados también advierten la alta discriminación que se alcanza dentro de la población de las 134.109 personas que
presentaron las pruebas. La discriminación se hace visible mediante la diferencia entre el porcentaje de respuestas correctas de quienes aprobaron la prueba y quienes no la aprobaron, siendo más alta en el caso de la prueba de aptitud numérica con 26.8% y más baja en el caso de gestión escolar con 8.7%. La gráfica 3.4.1 ilustra esta discriminación.
Tabla 3.4.2.
Resultados de aspirantes aprobados en las pruebas aplicadas en diciembre de 2005
Prueba
Número de
Porcentaje de
aspirantes
respuestas
aprobados
correctas
CIENCIAS NATURALES QUÍMICA
1052
55.03
CIENCIAS NATURALES FÍSICA
354
55.90
HUMANIDADES Y LENGUA CASTELLANA
1076
53.46
CIENCIAS SOCIALES
1282
45.00
GESTION ESCOLAR
6909
56.05
FILOSOFIA
258
46.92
CIENCIAS NATURALES Y EDUCACION AMBIENTAL
2044
46.35
MATEMÁTICA
3204
30.03
PREESCOLAR
1923
58.95
EDUCACIÓN ÉTICA Y VALORES
513
41.79
EDUCACIÓN RELIGIOSA
176
52.11
IDIOMA EXTRANJERO INGLÉS
1343
46.86
IDIOMA EXTRANJERO FRANCÉS
6
39.74
EDUCACIÓN FÍSICA RECREACIÓN Y DEPORTE
889
58.62
CIENCIAS ECONÓMICAS Y POLÍTICAS
532
47.16
TECNOLOGÍA E INFORMÁTICA
2518
49.44
BASICA PRIMARIA
8120
39.80
EDUCACION ARTÍSTICA
528
61.24
APTITUD NUMÉRICA
32727
61.92
APTITUD VERBAL
32727
50.95
3.5. REFERENCIACIÓN INTERNACIONAL
Colombia ha tenido especial interés en conocer el impacto de sus políticas en educación básica y media, en relación con el de otros países y mediante el resultado alcanzado por estudiantes de distintos niveles y en diferentes áreas del conocimiento cuyas competencias se desarrollan en el trabajo escolar. Para este propósito, participa actualmente en PISA 2006, SERCE 2006 y TIMSS 2007.
PISA 2006 (Programme for Internacional Student Assessment) es un programa de la Organisation for Economic Co-operation and Development (OECD) y está dirigido a evaluar conocimientos y habilidades para la vida que son esenciales para una participación plena en la sociedad. El programa evalúa en 58 países los dominios de comprensión lectora, matemática y científica, mediante pruebas internacionales estandarizadas dirigidas a jóvenes de 15 años de edad que estén cursando al menos grado séptimo. La prueba piloto se aplicó a 1.720 estudiantes de 55 instituciones escolares en el año 2005 y se espera aplicar la prueba definitiva a 5.250 estudiantes de 150 instituciones durante el mes de mayo de 2006.
SERCE 2006 (Segundo Estudio Regional Comparativo y Explicativo) es un proyecto del Laboratorio Latinoamericano de la Evaluación de la Calidad de la Educación (LLECE) de OREALC/ UNESCO Santiago y está diseñado para evaluar competencias básicas y habilidades para la vida en las áreas de lectura y matemática, con una evaluación opcional del área de ciencias naturales. En el proyecto participan estudiantes de tercero y sexto grados de educación básica de 17 países latinoamericanos y 3 entidades subnacionales. La aplicación piloto tuvo lugar en el año 2005 con la evaluación de 5.610 estudiantes de 79 instituciones escolares y se prevé la aplicación definitiva con cerca de 9.000 estudiantes de alrededor de 150 instituciones escolares en el año 2006.
TIMSS 2007 (Trends in Internacional Mathematics and Science Study) es un proyecto de la International Association for the Evaluation of Educational Achievement (IEA), concebido para proveer información confiable y oportuna sobre el logro académico de estudiantes de Estados Unidos de cuarto y octavo grados de educación básica, comparado con el de otros estudiantes en otros países, en las áreas de matemática y ciencias naturales. En el proyecto participan
Gráfica 3.4.1.
Porcentaje de respuestas correctas de las poblaciones
de Aprobados y No Aprobados en las pruebas aplicadas en diciembre 2005
59 países y se prevé realizar el estudio piloto durante el año 2006, con la evaluación de 3.123 estudiantes de 50 instituciones escolares, y la aplicación definitiva entre los años 2006 y 2007 con 9.736 estudiantes de 260 instituciones.
Además de la participación en los estudios descritos, Colombia hizo parte también en el Estudio TIMSS organizado por la IEA en 1995, en el Primer Estudio Internacional Comparativo organizado por el LLECE en el año 1997, en el Estudio Internacional de Cívica que realizó la IEA en el año 1999 y en el Progress in Internacional Reading Literacy Study (PIRLS) organizado por la misma IEA en el año 2001.
La presencia activa de Colombia en estos proyectos ha permitido consolidar una cultura de la evaluación con el rigor requerido en cada una de las etapas de cada proyecto, promover la conformación de grupos de trabajo interesados y dispuestos a investigar algún campo particular de la evaluación, apropiar estándares, técnicas y procedimientos probados que confieren altos niveles de calidad, identificar modelos de elaboración de reportes de resultados útiles para los distintos usuarios, contrastar y perfeccionar las experiencias y metodologías que el país ha venido desarrollando y orientar el uso de tecnologías de información y comunicaciones de vanguardia para implementar los distintos procesos necesarios dentro de un proyecto de evaluación.
En términos de los resultados asociados con las áreas académicas y las habilidades evaluadas, se ha confirmado en los proyectos internacionales que los estudiantes colombianos alcanzan niveles medios de desempeño en
los campos evaluados, comparados con los estudiantes de los demás países de la región de América Latina y El Caribe, pero niveles bajos si la comparación se hace con estudiantes de países del primer mundo. Es reiterativa la observación sobre nuestras dificultades en la comprensión analítica de textos y en la solución de problemas complejos que requieren un juicio crítico y un saber teórico específico, observación que también corresponde con los análisis efectuados acerca de los resultados alcanzados en las pruebas nacionales, en los distintos proyectos de evaluación que realiza el ICFES.
4. DESAFÍOS
Colombia tiene cuatro grandes desafíos para su sistema de evaluación educativa: primero, brindar información robusta, confiable y oportuna acerca de los hallazgos que se revelan al realizar cada evaluación; segundo, fomentar la referenciación institucional entre las distintas instituciones que participan en una evaluación; tercero, convertir la evaluación en un campo de investigación propio de universidades en sus niveles de maestría y doctorado y de institutos especializados; y cuarto, crear y pulir nuevas estrategias y modelos de evaluación. Adicionalmente, es necesario desarrollar aplicaciones con tecnología de punta para ofrecer la presentación asincrónica y virtual de pruebas, es decir, en el momento que un usuario lo requiera y desde el sitio donde se encuentre.
