L
L
AA EVALUACIÓNEVALUACIÓN EDUCACIONALEDUCACIONAL ENENC
C
HILEHILE::
ANTECEDENTESANTECEDENTES YY DESARROLLODESARROLLO RECIENTERECIENTE
JJor
orge
ge M
Maannzi
zi
**, Josefina Rossetti
, Josefina Rossetti
****II
NTRODUCCIÓNNTRODUCCIÓN: : C
C
ONCEPTOSONCEPTOS11 Y ALCANCESYALCANCES ACERCAACERCA DEDE LALA MEDICIÓNMEDICIÓN YY LALA EVALUAEVALUA --CIÓNCIÓN EDUCACIONALEDUCACIONAL
Ch
Chiille e cuecuentnta a hoy con un hoy con un conjconjununtto de foro de formamas s de de eevavalluauacición dón de e ssu su siisstteema ema educaducacicional, onal, queque se fue construyendo desde mediados del siglo XIX. El objetivo de este artículo es describir las se fue construyendo desde mediados del siglo XIX. El objetivo de este artículo es describir las principales iniciativas de evaluación educacional, -incluyendo las más recientes, referidas a los principales iniciativas de evaluación educacional, -incluyendo las más recientes, referidas a los profesores- y dar cuenta de los principales elementos de debate en torno a ellas.
profesores- y dar cuenta de los principales elementos de debate en torno a ellas.
La evaluación educacional permite analizar la calidad y eficacia del proceso de La evaluación educacional permite analizar la calidad y eficacia del proceso de enseñan-za-aprendizaje ya producido, y es, al mismo tiempo, una señal que tiene gran incidencia en za-aprendizaje ya producido, y es, al mismo tiempo, una señal que tiene gran incidencia en la enseñanza y el aprendizaje futuro. Esta es la razón básica por la que la mayor parte de los la enseñanza y el aprendizaje futuro. Esta es la razón básica por la que la mayor parte de los ssiisstteemas mas eeduducacaciciononaallees s een n eel l mumundndo ho haan n desdesaarrrrololllaado do didiveverrssos os memecacaninissmos pamos parra monia monittororeeaarr el progreso educativo, con el apoyo de variados tipos de instrumentos de medición.
el progreso educativo, con el apoyo de variados tipos de instrumentos de medición.
Dado que medición y evaluación son términos que usualmente se emplean como Dado que medición y evaluación son términos que usualmente se emplean como sinónimos, parece conveniente establecer sus diferencias al inicio de este trabajo. Medir sinónimos, parece conveniente establecer sus diferencias al inicio de este trabajo. Medir ees s un un conceconceptpto máo más s prpreecicisso y reso y resttrriingingido qudo que e eevavalluar: uar: consconsiisstte e een asn asiignar núgnar números meros aa cualidades observables o inobservables de un objeto de interés. Evaluar, en cambio, cualidades observables o inobservables de un objeto de interés. Evaluar, en cambio, supo-ne formular un juicio que integra las cualidades del objeto que ha sido medido. Por esta ne formular un juicio que integra las cualidades del objeto que ha sido medido. Por esta razón, la medición suele ser un insumo para la evaluación.
razón, la medición suele ser un insumo para la evaluación.
Con respecto a sus propósitos, la evaluación educacional puede perseguir múltiples Con respecto a sus propósitos, la evaluación educacional puede perseguir múltiples objetivos: establecer un diagnóstico acerca de una determinada realidad educacional, objetivos: establecer un diagnóstico acerca de una determinada realidad educacional, retroalimentar a profesores u otros agentes educacionales acerca de los logros de sus retroalimentar a profesores u otros agentes educacionales acerca de los logros de sus estu-diantes, proporcionar orientación para el mejoramiento de la enseñanza, estimar el grado diantes, proporcionar orientación para el mejoramiento de la enseñanza, estimar el grado en que diversos agentes (profesores, escuelas, sostenedores, etc.) son responsables de los en que diversos agentes (profesores, escuelas, sostenedores, etc.) son responsables de los llogroogros s de lde los os eessttududiiaantntees s ((accountability accountability ), y ce), y cerrttiiffiicacar, acr, acrreedidittaar r o so seelleecccciionaonar r eexaxamiminandosnandos..
Cabe mencionar que cada uno de estos objetivos puede ser planteado en un nivel micro Cabe mencionar que cada uno de estos objetivos puede ser planteado en un nivel micro ** JJorge orge MMaanzi, Dnzi, Dococttor eor en psn psiicocología, Dilogía, Direcrecttor Proyeor Proyecto Docecto Docentnteemámáss, Es, Escuecuella a de de PsPsiicocología, Plogía, P. Uni. Univeversrsiidadad Cad Cattóliólicaca..
jma
jmanznzi@[email protected] **
** JJososeefifina Rna Rosossseettttii, D, D ococttora eora en son sociolciologogííaa, , CoordiCoordinanadora de dora de IInvenvessttiigagación, ción, ProyeProyecto Dcto Dococeentnteemámáss, Es, Escuecuela de Pla de Pssiicocollo- o-gía, P. Universidad Católica. [email protected]
gía, P. Universidad Católica. [email protected]
11 ““MMeedidición ción y ey evavalluauación ción een educan educaciónción. Refl. Refleexixiones ones y pry propuesopuesttaas s papara era el l SSIIMMCE”CE”. Jorge . Jorge MMaanzi, nzi, En: LEn: La Ea Educaducación ción eenn Chile, hoy. Renato Hevia editor, Edición Universidad Diego Portales, Chile, 2003.
(como la sala de clases) o en un nivel macro, en gran escala (en este último caso sea (como la sala de clases) o en un nivel macro, en gran escala (en este último caso sea mediante mediciones censales o basadas en muestras).
mediante mediciones censales o basadas en muestras).
Es importante advertir que los instrumentos de medición por lo general sirven Es importante advertir que los instrumentos de medición por lo general sirven algu-nos propósitos en forma más eficiente que otros. Más aun, es usual que los diversos fines nos propósitos en forma más eficiente que otros. Más aun, es usual que los diversos fines que se pueden perseguir con los instrumentos pueden ser parcialmente incompatibles que se pueden perseguir con los instrumentos pueden ser parcialmente incompatibles entre sí (por razones técnicas o conceptuales). Por ello, al momento de desarrollar un entre sí (por razones técnicas o conceptuales). Por ello, al momento de desarrollar un programa de medición, hay que hacer un cuidadoso análisis de los fines perseguidos y de programa de medición, hay que hacer un cuidadoso análisis de los fines perseguidos y de las posibles incompatibilidades, para evitar que los instrumentos o sus resultados sean las posibles incompatibilidades, para evitar que los instrumentos o sus resultados sean empleados para fines para los que no han sido diseñados.
empleados para fines para los que no han sido diseñados.
Las limitaciones de los sistemas de medición también deben ser comprendidas a Las limitaciones de los sistemas de medición también deben ser comprendidas a par-tir de la naturaleza necesariamente parcial que posee toda medición: el acto de medir se tir de la naturaleza necesariamente parcial que posee toda medición: el acto de medir se lleva a cabo en un momento particular en el tiempo, por lo que todas las contingencias lleva a cabo en un momento particular en el tiempo, por lo que todas las contingencias que s
que se e mamaniniffiieessttaan en en en essa a oporoporttununiidadad afecd afecttaan n llos os rreessululttaadosdos. . AdeAdemámáss, , ttodo iodo insnsttrrumentumentoo representa siempre una muestra limitada del universo de posibles preguntas, reactivos, representa siempre una muestra limitada del universo de posibles preguntas, reactivos, eessttíímulmulos os o so siittuauacicioneones s que podrque podrííaan n sseer r eemplmpleeaados dos een n lla a memedidicición, ón, por por llo quo que e ssus us punpunttaajjeess están expuestos a las limitaciones de dicha muestra.
están expuestos a las limitaciones de dicha muestra. El
El prproceocesso do de ee ennsseeññaannzaza--aaprpreenndidizazajje se siieempmprre se se ha ae ha acompcompaaññaado do de ede evavalluaciuaciononeess, , des des--de el punto des--de vista des--del progreso individual des--del estudiante. De hecho, la formación de el punto de vista del progreso individual del estudiante. De hecho, la formación pro-fesional de los profesores siempre ha incorporado el empleo de diversas formas o fesional de los profesores siempre ha incorporado el empleo de diversas formas o méto-dos
dos de de eevavalluauacición dón de e llos os conociconocimimieentntos os aadqudquiirriidos dos por por ssus us aallumnumnosos//aass. L. Lo que eo que es s rreellaattii--vamente nuevo en la historia de las sociedades contemporáneas y en la educación chilena vamente nuevo en la historia de las sociedades contemporáneas y en la educación chilena es la evaluación a gran escala de estudiantes, por medio de instrumentos estandarizados. es la evaluación a gran escala de estudiantes, por medio de instrumentos estandarizados. Los resultados de dichas evaluaciones masivas, que permiten comparar los rendimientos Los resultados de dichas evaluaciones masivas, que permiten comparar los rendimientos en un conjunto de variables individuales, socioeconómicas o institucionales (como sexo, en un conjunto de variables individuales, socioeconómicas o institucionales (como sexo, edad, origen socioeconómico de los estudiantes, capital cultural de las familias, tipo de edad, origen socioeconómico de los estudiantes, capital cultural de las familias, tipo de establecimiento, nivel de dependencia administrativa, etc.) son relevantes para la toma establecimiento, nivel de dependencia administrativa, etc.) son relevantes para la toma de decisiones en el campo educacional.
de decisiones en el campo educacional.
En Chile, las primeras evaluaciones masivas se realizaron con el propósito de En Chile, las primeras evaluaciones masivas se realizaron con el propósito de seleccio-nar estudiantes para la enseñanza universitaria. Desde mediados del siglo XIX, aparece la nar estudiantes para la enseñanza universitaria. Desde mediados del siglo XIX, aparece la primera batería llamada “Bachillerato”, administrada por la Universidad de Chile. Este primera batería llamada “Bachillerato”, administrada por la Universidad de Chile. Este examen fue reemplazado en 1967 por la Prueba de Aptitud Académica (P.A.A.), la que se examen fue reemplazado en 1967 por la Prueba de Aptitud Académica (P.A.A.), la que se aplicó hasta el año 2002 y a su vez fue sustituida en el año 2003 por la Prueba de aplicó hasta el año 2002 y a su vez fue sustituida en el año 2003 por la Prueba de Selec-ción Universitaria (PSU).
ción Universitaria (PSU).
Los sistemas de evaluación educacional se extendieron hacia fines de la década de los Los sistemas de evaluación educacional se extendieron hacia fines de la década de los setenta a la enseñanza escolar, y fueron abarcando progresivamente más niveles de setenta a la enseñanza escolar, y fueron abarcando progresivamente más niveles de ense-ñanza y más actores involucrados en la educación. Cerca de 10 años después del inicio de ñanza y más actores involucrados en la educación. Cerca de 10 años después del inicio de lla a PP.A.A.A.A., ., een 197n 1978, come8, comenzó un snzó un siisstteema ma de de monmoniittororeeo o dedel l prprogreogresso eo esscolcolaar, ir, ininiciciaallmementntee denominado Programa de Evaluación del Rendimiento Escolar (PER), que fue denominado Programa de Evaluación del Rendimiento Escolar (PER), que fue reempla-zado ulteriormente por el Sistema de Medición de la Calidad de la Educación, SIMCE. zado ulteriormente por el Sistema de Medición de la Calidad de la Educación, SIMCE. En la década de los 90, una proporción muy importante de los jóvenes en edad En la década de los 90, una proporción muy importante de los jóvenes en edad esco-llaar r eessttaaban aban assiissttiieendndo a o a lla a eensnseeñanza ñanza básbásiica ca o medio mediaa. . En tEn taallees s condcondiiciciononeess, el , el eejje e de lde laa
política educacional se orientó al mejoramiento de la calidad de la oferta educativa. Ello se refleja especialmente en la reforma educacional que impulsaron los gobiernos de la Concertación. En este contexto, se resolvió intensificar los sistemas de monitoreo y eva-luación, tanto nacionales como internacionales, en el entendido que ellos permiten apre-ciar en forma más precisa el avance en el cumplimiento de los objetivos educacionales. Ello se refleja particularmente en la participación de Chile en un conjunto de estudios internacionales de educación (TIMSS, SIALS, CIVICA y PISA*) así como en el reciente
inicio de programas de evaluación de profesores, considerándose hoy en día a los docen-tes como uno de los factores que más inciden en el rendimiento de los estudiandocen-tes2.
Dentro del conjunto de iniciativas destinadas al fortalecimiento de la profesión do-cente, en el año 1995 el Ministerio de Educación chileno creó el Sistema Nacional de Evaluación de Desempeño de los Establecimientos Educacionales Subvencionados (SNED), cuyo propósito es contribuir al mejoramiento de la calidad de la educación impartida por ese tipo de establecimientos, incentivando y reconociendo a los profesio-nales de mejor desempeño de los planteles educativos. El SNED -que se aplica a los establecimientos particulares subvencionados y a los municipales y que se basa principal-mente en los resultados del SIMCE de las escuelas más la consideración de otros factores-premia al conjunto de docentes de un establecimiento.
Luego, a comienzos de 2002, comenzó a operar la Asignación a la Excelencia Pedagó-gica (AEP), a la cual pueden postular en forma voluntaria los profesores de estableci-mientos que reciben financiamiento estatal, ya sean particulares subvencionados o mu-nicipales, a través de la participación en un proceso de evaluación que comprende la elaboración de un portafolio y una prueba de contenidos.
Por último, a partir de mediados del año 2003, se inició el Sistema de Evaluación del Desempeño Profesional Docente, conocido como Docentemás, que es obligatorio para los profesores de los establecimientos educacionales municipales y abarcará en forma gradual los distintos niveles de la educación chilena. Todos estos sistemas de evaluación conllevan distintos beneficios económicos para los profesores premiados, acreditados o destacados.
En suma, el sistema educacional chileno dispone hoy en día de un conjunto de medi-ciones masivas de sus resultados, en relación a los distintos niveles de enseñanza, algunas de larga data y otras recientes. Respecto de todas ellas se suelen formular algunas críticas que se expondrán en este artículo. Sin embargo, hay consenso acerca de que dichas eva-luaciones tienen el mérito de existir y de constituir poderosas herramientas para la toma de decisiones, en cuanto a políticas públicas y a las diferentes unidades del sistema educa-tivo.
A continuación, se dará a conocer en forma más detallada cada uno de los sistemas de evaluación mencionados, así como la controversia que algunos han suscitado.
L
OS EXÁMENES DE INGRESO A LA UNIVERSIDADDel “Bachillerato” a la Prueba de Aptitud Académica (P.A.A.)
El Bachillerato, -que se estableció en 1842 con la ley que creaba la Universidad de Chile, y que luego fue ratificado en la ley de educación secundaria y superior de 1879- , fue el primer examen de ingreso a la universidad que conoció el país. El Bachillerato consistía en un conjunto de pruebas que evaluaban el dominio de diversas materias de la enseñanza secundaria, mediante preguntas abiertas. Este tipo de examen comenzó a ser cuestionado, conforme se masificaba la enseñanza media y se hacían evidentes los proble-mas para asegurar una corrección justa y objetiva de preguntas abiertas.
Según algunos autores, el Bachillerato adolecía también de un marcado carácter elitista.3
Según Nilo4, este examen reflejaba una estructura del sistema educacional claramente
diferenciada en dos mundos relativamente estancos, el de la clase media que podía acce-der al liceo y luego a la universidad, sometiéndose al término de la enseñanza secundaria al Bachillerato y el de la clase baja, que completaba una enseñanza básica terminal, des-pués de la cual ingresaba al mundo del trabajo.
“Tanto para romper el enclave de clase baja y media baja, como para elevar el nivel de la formación del profesorado de primera enseñanza, se eliminan las Escuelas Normales, siendo sustituidas por la carrera universitaria de Profesor de Educación Básica. El acceso a la educación universitaria que tradicionalmente se hacía a través de un examen condu-cente al grado de Bachiller otorgado por la Universidad, remanente casi ritual de una función histórica de la Universidad de Chile, fue sustituido por un mecanismo de selec-ción no conducente a grado académico alguno: La Prueba de Aptitud Académica”5.
La PAA contenía en su primera versión sólo las pruebas de aptitud verbal y matemática. Con posterioridad se agregaron pruebas de conocimientos específicos (en matemática, biolo-gía, física, química y ciencias sociales). De éstas, las primeras siempre fueron consideradas obligatorias6, mientras que las pruebas de conocimientos específicos fueron opcionales.
La Prueba de Aptitud Académica nació de un conjunto de investigaciones de la Univer-sidad de Chile, a partir del modelo norteamericano del SAT7. En su origen, la decisión de
cambiar el Bachillerato por la Prueba de Aptitud se justificó por el carácter objetivo que
3 “El surgimiento de la educación secundaria pública en Chile: 1843-1876. El plan de estudios humanistas”. Nicolás Cruz, DIBAM-PIIE-Centro de Investigaciones Barros Arana, Colección Sociedad y Cultura, 2002, 241 pag. 4 “La educación media chilena: hitos en su modernización” ,Sergio Nilo, Revista Interamericana de Desarrollo
Educativo, nº 122, 1995. 5 SERGIO NILO, obra ya citada.
6 En los años ochenta se resolvió agregar en carácter de obligatoria, una prueba de conocimientos acerca de la Historia de Chile. 7 El SAT es un test norteamericano de tres horas de duración que mide las habilidades de razonamiento verbal y matemático de los estudiantes secundarios y aquellas que necesitan desarrollar para tener éxito académico. Varios colleges y universidades usan el SAT como un indicador entre otros – puesto en la clase, actividades extracurriculares, ensayo personal, recomendaciones del profesor- acerca de la aptitud del estudiante para estudiar en la universidad. Los resultados del estudiante en el SAT se comparan con los de los demás postulantes y los puntajes requeridos por cada universidad y pueden ser usados como criterio para recibir ayuda financiera para cursar los estudios. La escala de puntaje del SAT va de 200 a 800 puntos (tanto para la parte verbal como matemática). Hay varias oportunidades en el año para pasar el SAT.
tendría la nueva prueba con respecto al instrumento precedente, dado que empleaba única-mente preguntas de selección múltiple. También se fundamentó en supuestos, aceptados en aquel entonces, respecto de las aptitudes mentales: se asumía que éstas eran relativamen-te estables en las personas, no eran susceptibles de ser entrenadas y se distribuían en forma equivalente entre personas provenientes de diversos grupos socioeconómicos.
Como lo demostró ampliamente la experiencia nacional e internacional posterior, estos supuestos no eran correctos, puesto que las pruebas del tipo PAA son claramente sensibles al entrenamiento y presentan fuertes diferencias en sus puntajes según la condi-ción socioeconómica de los examinados.
Los instrumentos de selección universitaria adquirieron un rol complementario de mecanismo de asignación presupuestaria. En efecto, a partir de la reforma a la legislación universitaria de 1981, se adoptó un nuevo sistema para financiar con recursos estatales a las universidades nacionales. Se resolvió que una parte de dichos recursos se asignaría en función de la calidad de los estudiantes que ingresaran a cada universidad. Este mecanis-mo, que se denominó Aporte Fiscal Indirecto (AFI), se basaba en los puntajes que los postulantes obtuvieran en la PAA.
El examen de ingreso vigente: la Prueba de Selección Universitaria (PSU)
Desde los años 80, las pruebas de admisión a las universidades fueron objeto de varios análisis por parte de comisiones convocadas por el Consejo de Rectores. Sin embargo, sólo con la constitución de una nueva comisión en el 2000, se materializó una propuesta alternativa para revisar y reorientar el conjunto de pruebas.
Esta nueva comisión, conformada por un amplio grupo de expertos y representantes de la educación media y universitaria, recomendó al Consejo de Rectores reemplazar las 8 pruebas existentes (3 obligatorias y 5 optativas) por 4 pruebas, todas ellas obligatorias, correspondien-tes a los mismos sectores de enseñanza en que se concentraban las 8 pruebas: matemáticas, lenguaje, ciencias sociales y ciencias (esta última combina biología, química y física).
Además, la comisión estimó que era necesario asegurar una mayor vinculación entre las pruebas y la experiencia educacional de los examinados, por lo que se propuso alinear los contenidos que se evaluarían con el currículo vigente. En realidad, este cambio sólo aludía a las pruebas de aptitud, puesto que las de conocimientos específicos siempre estuvieron basadas en el marco curricular de la enseñanza media. Se estimó este cambio necesario atendiendo al poderoso rol orientador que las pruebas poseen con respecto al aprendizaje: en la medida en que ellas se alinean con el currículo, se entregan señales para concentrar el esfuerzo de estudiantes y profesores en torno a los objetivos curriculares del país en concordancia con la institucionalidad educacional vigente. La comisión estimó también que en la medida en que todas las pruebas emplean contenidos para la elabora-ción de sus preguntas, lo único adecuado es basar tales contenidos en aquellos aspectos que son parte de la experiencia educacional regular de los examinados.
Es importante aclarar que el cambio en las pruebas no implicaba, como muchas veces se ha afirmado, abandonar la medición de aptitudes, para focalizar las nuevas pruebas en
la medición del manejo de contenidos. De hecho, ello no es posible, puesto que contenidos y habilidades o aptitudes no constituyen opciones alternativas al momento de elaborar un ins-trumento de medición. Como bien saben quienes construyen pruebas en educación, toda medición siempre involucra habilidades cognitivas (aptitudes), las que son aplicadas a diver-sos contenidos. En consecuencia, no puede afirmarse que las antiguas pruebas de aptitud hayan prescindido de contenidos. Muy por el contrario, los contenidos estaban claramente especificados. Por lo mismo, las nuevas pruebas tampoco pueden prescindir de la evaluación de habilidades o aptitudes. En definitiva, el único cambio entre las antiguas y las nuevas pruebas en este sentido es que se amplió la base de contenidos para construir las pruebas.
El Consejo de Rectores acogió a comienzos de 2001 la recomendación de la comisión ad hoc, y acordó que un proyecto FONDEF8, que había sido aprobado en forma paralela
a la decisión de cambio en las pruebas, cuyo propósito era desarrollar nuevas pruebas de admisión alineadas con el currículo, se haría cargo de la tarea técnica de producir y evaluar los nuevos bancos de preguntas. El proyecto, que fue conocido como SIES, entregaría sus resultados al organismo tradicionalmente responsable del desarrollo y aplicación de las prue-bas (el DEMRE9 de la Universidad de Chile), para incorporarlos a las nuevas pruebas. El
Consejo de Rectores resolvió inicialmente que estas pruebas serían aplicadas por primera vez a fines de 2002, aunque posteriormente se acordó que ello ocurriera a fines de 2003.
Como es sabido, el proceso de cambio de las pruebas desató un amplio e intenso debate en el país, con participación de diversos tipos de actores: académicos, represen-tantes de la educación media, instituciones académicas no universitarias, medios de co-municación y políticos. La discusión pública involucró a un amplio conjunto de preocu-paciones, desde aspectos técnicos (como el fundamento conceptual del cambio o la vali-dez predictiva de las nuevas pruebas), hasta aspectos relacionados con potenciales conse-cuencias sociales y políticas: la posibilidad de que las nuevas pruebas ampliaran la brecha social entre establecimientos privados y municipales o el temor que la relación entre pruebas y currículo conllevara una amenaza para la libertad de enseñanza. Como nunca antes, el tema de las pruebas de admisión a las universidades adquirió gran notoriedad pública. Por cierto que la intensidad y el carácter emocional que tuvo el debate, polarizó opiniones y distorsionó buena parte de los asuntos en discusión. Un ejemplo de lo ante-rior es la afirmación de que se estaría abandonando la medición de aptitudes, en circuns-tancias que ello no puede hacerse, tal como fue planteado más arriba.
Durante el segundo semestre de 2002, el Consejo de Rectores buscó atenuar el clima conflictivo que se había generado, y que estaba atemorizando a los estudiantes y a sus familias, resolviendo establecer una fórmula de transición para la aplicación de las nuevas pruebas. Ésta consistió en eliminar la obligatoriedad de las cuatro pruebas, establecién-dose que matemáticas y lenguaje serían exigibles para todos los postulantes, permitiendo la elección de una prueba entre las dos restantes. El postulante resolvería cuál rendir, dependiendo de la carrera a la que postulara.
8 FONDEF: Fondo de Fomento al Desarrollo Científico y Tecnológico. 9 DEMRE: Departamento de Medición y Registros Académicos
Las nuevas pruebas, que fueron denominadas Pruebas de Selección Universitaria (PSU), fueron aplicadas por primera vez a fines de 2003. Sus resultados han sido objeto de análisis por parte de un Comité Técnico Asesor dependiente del Consejo de Rectores, el que ha producido recientemente un informe que revela que las nuevas pruebas han funcionado adecuadamente desde el punto de vista métrico10. Estos resultados son, por lo demás,
con-sistentes con los que había obtenido el proyecto SIES en su estudio en terreno, donde también se pudo constatar que las preguntas desarrolladas bajo el nuevo marco cumplían con estándares métricos convencionales. Además, dicho estudio, así como el informe basa-do en la aplicación de las nuevas pruebas, revelan que las pruebas alineadas con el currículo no aumentan la brecha social entre la educación privada y la municipal.
En el transcurso del año 2004, se acordaron una serie de medidas técnicas comple-mentarias, acerca de la determinación de puntajes y transformación de las notas de ense-ñanza media, destinadas a entregar señales estables a los postulantes y universidades acer-ca del signifiacer-cado de los puntajes.
Más allá de los aspectos técnicos involucrados en toda renovación de instrumentos de medición educacional, este proceso ha demostrado en forma aguda la importancia de los aspectos político-institucionales, en facilitar u obstaculizar tal renovación. Un cambio sustantivo requiere de acuerdos relativamente amplios, que comprometan a las institu-ciones responsables del desarrollo, aplicación y uso de estos instrumentos. En el caso chileno, estas lecciones se tradujeron en el desarrollo de una nueva institucionalidad que supervisa el proceso de desarrollo de las pruebas de admisión a las universidades. Aunque la propiedad y administración de los instrumentos sigue estando en manos de la Univer-sidad de Chile, el Consejo de Rectores creó un Comité Directivo y un Consejo Asesor Técnico, los que en conjunto supervisan la forma en que los instrumentos son desarrolla-dos, aplicados e informados a la comunidad educacional.
L
A MEDICIÓN DEL RENDIMIENTO DE LOS/
AS ALUMNOS/
AS DEL SISTEMA ESCOLAR:
ELSIMCE
11Chile estableció en los inicios de la década de los ochenta el primer sistema de monitoreo de los logros educacionales en la enseñanza básica y media. Inicialmente el desarrollo de este sistema fue encomendado a un grupo de investigadores de la Universidad Católica de Chile, quienes produjeron el Programa de Evaluación del Rendimiento Escolar (PER). Hacia el fin de la misma década, este sistema fue revisado y rebautizado como Sistema de Medición de la Calidad de la Enseñanza (SIMCE), el que sigue funcionando hasta nuestros días. A partir de 1991, el Ministerio de Educación se hizo cargo de la administración del SIMCE.
10 Resultados de la aplicación de Pruebas de Selección Universitaria Admisión 2004. Comité Técnico Asesor, Septiembre 2004.
11 Sistemas Nacionales de Evaluación Educativa. Muestra de países de América Latina y del mundo desarrollado. (Recopilación). Instituto de Fomento e Investigación Educativa, A.C, Agosto 2000
La función del SIMCE es apoyar el rol de todos los actores del sistema educativo, desde el nivel central (Ministerio de Educación) hasta el nivel de la escuela (sostenedores, profesores y padres). Entre los principales objetivos del SIMCE se pueden mencionar los siguientes:
• Proporcionar asistencia técnica al Ministerio de Educación en su tarea normativa y en la supervisión del sistema escolar.
• Brindar apoyo a las autoridades regionales y locales en la supervisión, además de prestarles apoyo técnico.
• Estimar la calidad de cada establecimiento educativo; comparar dichos resultados, buscar los factores explicativos y evaluar los resultados de los programas pedagógicos.
• Retroalimentar a los profesores acerca de los logros de sus estudiantes, con el propó-sito de orientar decisiones pedagógicas.
• Orientar la actividad de perfeccionamiento docente, las acciones de supervisión y la asignación de recursos, particularmente hacia las escuelas con mayores deficiencias y apoyarlas en sus esfuerzos para alcanzar la equidad educativa.
• Facilitar que los padres y madres de familia tengan mayores elementos de informa-ción para elegir aquellos establecimientos escolares con mejores resultados educativos.
El Ministerio de Educación y las municipalidades, con cada vez mayor frecuencia, utilizan los resultados del SIMCE como un mecanismo para incentivar a las escuelas y maestros para alcanzar un mejor desempeño académico.
En su forma actual el SIMCE presenta los siguientes rasgos:
Es censal , esto es, apunta a medir a todos los estudiantes que asisten a su
estableci-miento educacional en la fecha estipulada para la medición.
Entrega información a nivel agregado : curso, establecimiento y unidades mayores
(comu-na, región, tipo de dependencia, etc.). Aunque la medición es individual y la puntuación de los resultados es inicialmente individual, desde su origen se resolvió que este sistema sería empleado para retroalimentar al sistema escolar y no a los estudiantes o a sus familias.
Se asocia a los resul tados del SIM CE consecuencias a nivel del establecimi ento educacional
(tales como la selección del establecimiento para programas focalizados, o el otorgamien-to de cierotorgamien-tos beneficios, como el SNED). En el plano individual no hay consecuencias asociadas al rendimiento de los estudiantes examinados.
Se aplica a tres grados de la enseñanza : 4º básico, 8º básico y 2º medio. La medición
está organizada de manera tal que cada año se evalúa a uno de los grados señalados.
Se concentra en los principales sectores de aprendi zaje : matemáticas y lenguaje (en los
tres grados). La comprensión del medio natural y social se agrega como una prueba adicional en 4º básico, o como dos pruebas en 8º básico.
Emplea una escala de puntaje estandarizada para cada grado , con promedio 250 y
desviación estándar 50. Desde 1998 se incorporaron al SIMCE técnicas de comparación de los puntajes obtenidos en distintas mediciones. Estas comparaciones se refieren a cada grado por separado, habiéndose establecido en cada prueba un año base (donde el pro-medio quedó fijado en 250 puntos).
El SIM CE emplea principalmente preguntas de selección múltiple , aunque también
SIMCE: Promedio por grupo socioeconómico y tipo de dependencia. 2o medio 2003
Grupo
Socioeconómico Lenguaje y Comunicación M atemáticas
Munic. Part. Subv. Bajo Medio–Bajo Medio Medio–Alto 226 238 273 317 Part.
Pagado Munic. Subv.Part. PagadoPart.
229 245 270 289 301 215 223 270 347 220 235 265 295 317
SIMCE: Promedios y variaciones según tipo de dependencia. 2o medio 2003
Establecimientos Alumnos Lenguaje y Comunicación Matemáticas
% Media Var. 2001 Media Var. 2001
Municipales Part. Subvencionados Part. Pagados Total Nacional 46% 46% 8% 100% 241 257 301 253 +1 +2 +3 +1 230 250 317 246 -3 +1 +5 -1
Las pruebas del SIMCE han permitido constatar algunas tendencias de interés. Dado que sus puntajes están expresados en una escala comparable, se aprecia que las variacio-nes en el tiempo son menores. Por ejemplo, en el SIMCE de 2º medio, si se compara con el año de referencia (1998), el promedio nacional reportado para lenguaje en la última medición (2003) se ubica 3 puntos por encima del año base, mientras que matemática está 4 puntos por debajo de dicho referente.
El SIMCE ha permitido también confirmar la gran brecha social existente en nuestra educación: por una parte, se observa que las escuelas cuyos/as alumnos/as provienen de fami-lias pobres y con un bajo nivel de educación o de áreas rurales obtienen los peores puntajes.
Por otra parte, se constata que las escuelas municipales se encuentran en promedio a más una desviación estándar por debajo del rendimiento de los colegios particulares (los establecimientos subvencionados se ubican en un punto medio) (ver figura anterior).
Cuando estas dos dimensiones sociales se combinan, se observa que las diferencias de rendimiento según tipo de dependencia son mucho menores cuando atienden a una población escolar socioeconómicamente homogénea (ver figura siguiente).
El SIMCE fue objeto de una revisión sistemática por parte de una comisión ad hoc que nombró en 2003 el Ministerio de Educación. Esta comisión, de composición pluralista y con representación de diversos sectores vinculados a la educación, formuló un conjun-to de recomendaciones que reafirmaron el rol central del SIMCE como sistema para monitorear los logros de aprendizaje de los estudiantes12. Propuso mantener el carácter
censal del SIMCE para los tres grados evaluados, manteniendo también la tradición de informar sus resultados a nivel agregado, pero ampliar las mediciones, tanto en términos de los contenidos evaluados como de la frecuencia con que se rinden las pruebas. El informe de la comisión puso un especial acento en potenciar el uso del sistema de medi-ción, para lo cual se recomendó perfeccionar la forma en que se informan sus resultados a diferentes usuarios (profesores, padres y opinión pública). Se propuso asimismo que las mediciones incorporen estándares de desempeño que faciliten la comprensión, interpre-tación y comunicación de los resultados.
El trabajo de la comisión permitió constatar el importante consenso que hay en nues-tro país en torno al valor y credibilidad que posee el SIMCE. Pese a que se trata de un mecanismo de medición desarrollado al interior del Ministerio de Educación, no existen cuestionamientos acerca de su calidad técnica ni respecto de la forma en que el Estado usa y comunica sus resultados.
P
ARTICIPACIÓN DEC
HILE EN PRUEBAS INTERNACIONALES DE RENDIMIENTOChile se incorporó a programas internacionales de medición de logros educacionales a partir de 1998 con la medición de competencias lectoras en la población adulta (SIALS13).
Desde entonces, ha sido posible comparar los rendimientos de adultos y de escolares en matemática y ciencias (TIMSS14), en información y actitudes cívicas (CIVICA15) y en
comprensión de textos, rendimiento en matemáticas y ciencias (PISA +16).
La decisión nacional de participar en estas mediciones refleja la conciencia acerca de la necesidad de asegurar que nuestro sistema educacional progrese hacia estándares de rendimiento equivalentes a los existentes en el mundo desarrollado. El intercambio y movilidad de los recursos humanos que ha sido estimulado por los acuerdos comerciales de libre comercio entre Chile y distintos países, exige que nuestros estudiantes y profesio-nales desarrollen habilidades, conocimientos y competencias equivalentes a los que de-muestran sus pares del mundo desarrollado.
En conjunto, los resultados de estos estudios han permitido constatar muchos hechos relevantes, entre los que cabe resaltar:
12 “Evaluación de aprendizajes para una educación de calidad”. Comisión para el desarrollo y uso del sistema de medición de la calidad de la educación. Santiago, diciembre, 2003.
13 SIALS: Internacional Adult Literacy Survey
14 TIMSS, Third International Mathematics and Science Study 15 CIVI CA, Estudio Internacional de Educación Cívica, de la IEA. 16 PISA +, Program for Internacional Student Assesment 2001
a. La fuerte brecha existente entre los logros que obtienen adolescentes y adultos de nuestro país y los de países industrializados. Cabe mencionar que la mayor parte de los países que participa en estos programas internacionales corresponde al mundo industrializado. Cuando se incluyen países de nivel de desarrollo equivalente al nuestro, como en el caso de PISA+17, las comparaciones no resultan desfavorables para Chile.
b. La brecha no se concentra exclusivamente en los sectores socialmente menos favo-recidos de Chile, puesto que los logros de nuestra elite social o educacional (la que accede a la educación superior o los hijos de personas con formación universitaria) se sitúan apenas en el nivel promedio de los países estudiados. En comparación con algunos países desarrollados, nuestra elite obtiene rendimientos equivalentes a los de personas con for-mación básica. Esto demuestra que la necesidad de elevar los rendimientos educacionales es una meta pertinente para todo el sistema educacional chileno. (Ver figura)
c. Si bien los rendimientos educacionales están asociados con el nivel de gasto en el sector educacional de cada país, no están radicalmente determinados por éste. Se consta-ta una amplia varianza en el rendimiento educacional entre países que poseen un nivel de gasto semejante (ver figura en página siguiente). La posición que Chile (y el resto de los países latinoamericanos) ocupa en términos de gasto y resultadosmuestra que para
avan-TIMSS: Distribución de rendimientos en matemáticas según escolaridad de los padres
700 650 600 550 500 450 400 350 300 S i n g
a p u r C o r e a H o l a n d a H u n g r í a C a n a d á A u s t r a l i a R e p .
C h e c a E E U U N u e v a
Z e l a n d a
I t a l i a I s r a e l I n d o
n e s i a C h i l e F i l i p i n a s M a r r u e c o s Primaria completa Universitaria completa Secundaria completa
17 PISA+ incluyó a Argentina, Brasil, México y Perú, además de Chile entre los países latinoamericanos. Otra treintena de países participó, la mayor parte de los cuales pertenece a la OCDE.
zar en torno a las aspiraciones educacionales se requiere no sólo incrementar el gasto, sino también mejorar la eficiencia en el uso de los recursos ya disponibles.
La comisión que revisó el SIMCE también concordó en la necesidad de mantener la presencia de Chile en las mediciones internacionales. Además de las razones menciona-das anteriormente, esta participación permite contar con puntos de referencia externos para situar los logros que se obtienen periódicamente con los mecanismos de evaluación nacionales como el SIMCE.
A continuación, se analizará más en detalle la participación de Chile en los estudios TIMSS y PISA+.
Participación de Chile en la prueba TIMSS
El TIMSS, patrocinado por el IEA (Internacional Association for the Evaluation of Educational Achievement)18, es el estudio del rendimiento educacional y contextos de
aprendizaje más grande y ambicioso que se haya realizado internacionalmente.
El TIMSS evaluó, en cerca de 50 países, el dominio de conocimientos de matemáticas y ciencias, en tres niveles educativos (4º, 8º básico y fin de la enseñanza secundaria) y
PISA: Desempeño por alumno según el nivel de gasto en educación
600 550 500 450 400 350 300 0 10.000 20.000 30.000 40.000 50.000 60.000 70.000 80.000 IDN PER BRA CHI ARG MEX POL CZE HU N GRC KOR IRL ESP PRT DEU GBR BEL FIN JPN SWE FRA ITA AUS CAN NOR DN K CH E USA AUT
18 La IEA ha realizado una serie de estudios comparativos desde el año 1959. Su objetivo es entregar información acerca de los logros de los sistemas educacionales y de los contextos en los cuales estos se obtienen. La primera evaluación se realizó en 1970-71 y la segunda en 1983-84. El tercer estudio del rendimiento internacional en matemáticas y ciencias (TIMSS) se llevó a acabo entre los años 1991-98 y es la investigación más amplia, comprensiva y rigurosa realizada en la historia de la educación. Sus resultados fueron dados a conocer en el 2000.
estudió las variables que pueden reflejar estos resultados. Para ello, elaboró y aplicó prue-bas de rendimiento, recopiló antecedentes sobre las características de los sistemas educa-tivos, aplicó encuestas a alumnos, profesores y apoderados, filmó clases y analizó currículos y textos de estudio.
Con respecto al currículo, el estudio TIMSS abarcó cuatro aspectos: el currícul o in-
tencionado , es decir, lo que cada país se propone como objetivo en su currículo; la implementación del currículo , esto es, la interpretación que hacen los profesores acerca de
los planes de estudio y de las metodologías que aplican; elcurrículo logrado,que se refiere
a los niveles de aprendizaje y actitudes desarrollados en cada asignatura; y loscontextos de aprendizaje,que incluyen las características socioculturales de cada país y las variables de
los diferentes sistemas educacionales.
Chile participó, desde fines de 1998 hasta 2000, en una nueva versión del TIMSS, en la que se evaluó a una muestra de alumnos de 8º Básico.
Algunos de los resultados de Chile en este estudio19 muestran que en matemáticas,
considerando todas las áreas evaluadas, el puntaje obtenido por Chile (392 puntos) lo sitúa en el lugar 35 de 38 países participantes. El puntaje promedio de los países partici-pantes fue de 487 puntos, ubicándose Singapur en primer lugar, con 604 puntos, y Sudáfrica, en el último, con 275 puntos.
En ciencias, Chile ocupa también el lugar 35 de los 38 países participantes, con 420 puntos. El promedio del total de países está en 488 puntos, situándose Taiwán en primer lugar, con 569 puntos, y Sudáfrica, en el último, con 243 puntos20.
Rendimiento en TIMSS 1999 de Matemáticas
650 S i n g a p u r C o r e a H o l a n d a H u n g r í a C a n a d á A u s t r a l i a R e p .
C h e c a E E U U N u e v a
Z e l a n d a
I t a l i a I s r a e l I n d o
n e s i a C h i l e F i l i p i n a s M a r r u e c o s 600 550 500 450 400 350 300 250 200
B e l g i c a E s l o v e n i a P r o m I n t e r n a c i o n a l S u d A f r i c a
19 TIMSS 1999 International Mathematics Report. 20 TIMMS 1999 International Science Report
En matemáticas21, el 25% de los niños chilenos con mejores logros alcanza puntajes
cercanos a la media general de todos los países. Los mejores rendimientos nacionales se observaron en «representación de datos, análisis y probabilidades» (429 puntos), mien-tras que los más débiles corresponden al álgebra (399 puntos). Además, casi uno de cada dos estudiantes chilenos (45%) recibe enseñanza de profesores que declaran tener un bajo nivel de confianza en sus propias capacidades para enseñar matemáticas (proporción que se encuentra muy por encima del promedio internacional). Este antecedente ha sido resaltado en un reciente informe internacional sobre la educación chilena22, el que
reco-mienda fortalecer la formación de los docentes como un aspecto fundamental para elevar el aprendizaje de los estudiantes. La proporción de niños chilenos que tiene un alto concepto de sí mismo para aprender matemáticas es comparativamente menor que en el resto de los países (11% frente a 18% a nivel internacional). En ciencias, se verifican tendencias equivalentes, salvo que los alumnos muestran mayor confianza en sí mismos respecto de su capacidad de aprender esta disciplina.
Participación de Chile en el Estudio PISA +
El Programa Internacional de Evaluación de Estudiantes (Program for International Student Assessment, PISA) evaluó las habilidades y conocimientos en lectura, matemáti-cas y ciencias de los estudiantes de 15 años de edad.23 El objetivo final de dicha
evalua-ción era medir las habilidades que se consideran esenciales para la vida futura de los jóvenes y para adaptarse con éxito a un mundo cambiante.
PISA se aplicó por primera vez en el año 2000 y participaron los 28 países miembros de la OCDE24, más Brasil, la Federación Rusa, Liechtenstein y Letonia. Chile y otros
países no miembros de la OCDE manifestaron interés en la prueba PISA, por lo que en 2001 se amplió el proyecto para que pudieran participar nuevos países, denominándose el estudio PISA+. Además de Chile, se incorporaron Albania, Argentina, Bulgaria, Hong Kong, Indonesia, Israel, Macedonia, Perú, Rumania y Tailandia. En total participaron 43 países.
La metodología de la prueba PISA+ fue similar a la de PISA 2000, por lo que es posible comparar los resultados de ambas. Los resultados de PISA 2000 (y de PISA+) fueron reportados en una escala cuyo promedio fue de 500 puntos, con una desviación estándar de 100.
21 “Resultados del TIMSS son un desafío para la educación chilena”, Departamento de Comunicaciones, Ministerio de Educación, 6/12/2000.
22 “Revisión de políticas nacionales de educación, Chile”, OCDE, 2004, 305 pág.
23 “Desempeño de los estudiantes chilenos: resultados de PISA+”. Ministerio de Educación, División de Planificación y Presupuesto, Departamento de Estudios y Estadísticas. Nota Técnica, junio 2003.
24 Los países miembros de la OCDE (Organización para la Cooperación y el Desarrollo Económicos) son Alemania, Australia, Austria, Bélgica, Canadá, Dinamarca, España, Estados Unidos, Finlandia, Francia, Grecia, Holanda, Hungría, I rlanda, I slandia, Italia, Japón, Luxemburgo, México, Nueva Zelanda, Noruega, Polonia, Portugal, Reino Unido, República Checa, República de Corea, Suecia y Suiza. Sin embargo, Holanda no cumplió con las tasas de participación requeridas, por lo que no cuenta con resultados.
La participación de Chile en PISA+ es importante, pues entre otras razones, es la primera prueba internacional que permite comparar resultados con otros países de Amé-rica Latina. El programa PISA+ en Chile evaluó una muestra representativa de estudian-tes de 15 años, matriculados entre 7º básico y 3º medio.
Respecto del contexto en que se da la educación, se constató que aunque el ingreso per capita en los países de la OCDE es muy superior al de Chile (y al resto de los países de América Latina), la cobertura escolar en la población de 15 años de Chile es mayor que la que presentan otros países de nuestra región. Pese a ello, la cobertura es todavía inferior a la de los países de la OCDE, donde cerca del 100% de la población de la misma edad asiste a la escuela.
Los resultados de Chile, en lectura, matemáticas y ciencias son equivalentes a los de los otros países de América Latina con la excepción de Perú, pero son claramente inferio-res a los de los países de la OCDE.
Resultados de Chi le en PISA+ en relación a los mayores y menores puntajes, por subsector
Lectura Matemáticas Ciencias
Mayor puntaje 546 /Finlandia 557 / Japón 552 / Corea
Promedio OCDE 500 500 500
Chile 410 384 415
Menor puntaje 327/ Perú 292 / Perú 333/ Perú
Los resultados de Chile en lectura fueron objeto de un análisis más detallado por parte de expertos del Ministerio de Educación, quienes consideraron diversas variables para explicar o contextualizar los resultados. A partir de dichos análisis, cabe destacar los siguientes aspectos:
• En lo que se refiere a los factores socioeconómicos y culturales, el estudio mostró que a mayor nivel socioeconómico y cultural, los alumnos tienen mejores puntajes en lectura. Es interesante observar que, aun cuando los estudiantes de menores recursos de Chile tienen mejores resultados que los de condición similar en América Latina, los
estudiantes de mayores recursos de América Latina logran mejores resultados que los de status similar en Chile. En términos de género, independientemente del nivel socio-económico y cultural, las mujeres obtienen mejores resultados que los hombres.
• Cuando se analizan los antecedentes socioeconómicos a nivel de países, se constata que mientras más alto es el nivel socioeconómico de los países y la riqueza se distribuye en forma más equitativa, las diferencias de rendimiento se dan más entre alumnos de cada escuela que entre escuelas. Chile (y la mayoría de los países de América Latina) se ubica en el polo negativo, tanto en términos de su nivel de ingresos como de la distribu-ción de la riqueza, lo que se asocia a mayores diferencias entre escuelas que entre alumnos al interior de las escuelas.
• Los análisis efectuados a nivel de establecimientos también permiten identificar los factores más relevantes para explicar el nivel de lectura que exhiben los estudiantes. El más importante es el grado o curso en que se encuentra el estudiante (a mayor grado, mayor rendimiento). En segundo lugar, influye la calidad de la relación profesor alumno (obtienen resultados los profesores que escuchan, apoyan y son justos). El tercer factor es el disfrute de la lectura (tienen mejor rendimiento quienes más disfrutan con la lectura). El cuarto factor es la asistencia a clase (a mayor asistencia, mejor rendimiento). El quinto factor se refiere a la presión por logros por parte del profesor (a mayor presión, menor rendimiento). El sexto factor tiene que ver con el autoconcepto de aprendizaje (a mejor autoconcepto, mejor rendimiento).
L
A EVALUACIÓN DE PROFESORESAdemás de medir los logros educacionales o el aprendizaje, se han desarrollado ins-trumentos que permiten abordar otros aspectos relevantes del proceso educativo, muchas veces más complejos o menos susceptibles de una medición objetiva que el rendimiento. En el caso chileno, existe alguna experiencia en gran escala destinada a la medición de variables socio-afectivas y de motivación en el contexto escolar. Un programa focalizado destinado a promover experiencias innovadoras en la enseñanza secundaria, el Programa Montegrande (1998-2004)25, desarrolló una batería de instrumentos con los que evaluó
dichas variables en los más de 11.000 estudiantes involucrados en dicho programa. Sin embargo, las experiencias más ambiciosas en materia de medición que no dicen relación con los logros de los estudiantes, se han verificado en el campo de la evaluación de profesores. La investigación educacional atribuye a los profesores un rol decisivo en el aprendizaje de los alumnos/as, rol que según muchos autores puede tener lugar a pesar de las condiciones socioeconómicas adversas de los estudiantes y de sus familias26.
Se implementó primero un programa de incentivos a profesores de establecimientos subvencionados, denominado SNED27, basado entre otros factores en el desempeño
promedio del establecimiento educacional en el SIMCE. Luego, se estableció un progra-ma para identificar y reconocer a docentes de excelencia, la Asignación de Excelencia
25 El Programa Montegrande del Ministerio de Educación entregó a alrededor de 50 liceos que concursaron con proyectos educativos innovadores, la responsabilidad de «mostrar caminos» y alternativas para la Educación Media. El desafío fue que se transformaran en Liceos de Anticipación; aplicaran los principios de la Reforma Educacional, y sirvieran de modelo a otros establecimientos con alumnos y contextos socioculturales similares. El Ministerio de Educación les transfirió los recursos necesarios por un período de cinco años, y sus sostenedores delegaron en los directores las facultades para que el liceo asumiera con mayor autonomía la gestión de su proyecto y se responsabilizara de los resultados de aprendizaje de sus alumnos/as.
26 “Factores que afectan el rendimiento académico en la educación primaria. Revisión de la literatura en América Latina y El Caribe”, Eduardo Velez, Ernesto Schiefelbein, Jorge Valenzuela, Banco Mundial, HROWP 2, abril 1992; “Factores que inciden en la eficacia y equidad de la educación en Latinoamérica”, Sergio Martinic, Ponencia III Congreso Internacional de Educación, Córdoba, 10-12 de octubre 2003; “ ¿Quién dijo que no se puede?Escuelas efectivas en sectores de pobreza”. UNICEF-Gobierno de Chile. Cristián Bellei, Gonzalo Muñoz, Luz María Pérez, Dagmar Raczinsky.
Pedagógica (AEP). Por último, a partir de mediados de 2003, se puso en marcha el Sistema de Evaluación del Desempeño Profesional Docente (Docentemás), dirigido a todos los docentes de los establecimientos municipales del país.
El desarrollo de los dos últimos sistemas de evaluación fue posible luego de que se definieran estándares nacionales para el desempeño profesional docente. Estos estándares, cuya formulación incorporó un amplio conjunto de antecedentes (desde la investigación científica internacional y la opinión de expertos, hasta la consulta a profesores en ejerci-cio), se plasmó en un documento denominado el Marco para la Buena Enseñanza, publi-cado por primera vez en el año 200028.
A continuación, se describe los dos sistemas de evaluación de docentes.
Asignación de Excelencia Pedagógica (AEP)
Los profesores de los establecimientos subvencionados, tanto municipales como par-ticulares subvencionados, desde el año 2002 pueden postular en forma voluntaria a la Asignación de Excelencia Pedagógica29. Este programa tiene por propósito apoyar el
fortalecimiento de la calidad de la educación, a través del reconocimiento del mérito profesional de los docentes de aula.
El Programa AEP cuenta con dos instrumentos de evaluación, diseñados para medir conocimientos, habilidades y competencias de los docentes de aula, de acuerdo a los estándares de desempeño profesional del Marco para la Buena Enseñanza:
• El portafolio AEP, en el cual los docentes presentan evidencias concretas de sus mejores prácticas en el proceso de enseñanza-aprendizaje en el aula;
• La prueba AEP, evaluación escrita que mide conocimientos disciplinarios contem-plados en los estándares de desempeño.
La postulación a la AEP se ha abierto en forma gradual a los distintos niveles de enseñanza. En el año 2002, participaron los docentes de primer ciclo básico; en el 2003, junto con ellos se incorporaron los docentes de segundo ciclo básico. En 2004, se
agrega-ron a los dos niveles anteriores los docentes de enseñanza media.
En sus dos primeros años de ejecución, el programa ha acreditado a más de 700 profesores de enseñanza básica, repartidos en todas las regiones del país.
Postulantes y acredi tados AEP
Año Total postulantes Acreditados % Acreditados
2002 1906 313 16
2003 935 409 44
28 www.mineduc.cl El Marco para la Buena Enseñanza estructura el desempeño profesional de los profesores en cuatro dominios: Preparación de la enseñanza, Creación de un ambiente propicio para el aprendizaje de los estudiantes, Responsabilidades profesionales y Enseñanza para el aprendizaje de todos los estudiantes.
AEP. Comparación resultados de la prueba y el portafolio 4 3,5 3 2,5 2 1,5 1 1o-4o
básico Lenguaje5o-8o Matemáticas5o-8o Natural 5o-8oCom. M. social 5o-8oCom. M.
Prueba Portafolio
La Asignación de Excelencia Pedagógica consiste en una bonificación o suplemento sobre el sueldo del profesor, que se percibe hasta por un máximo de diez años. El monto de la bonificación depende del tramo de antigüedad en el ejercicio profesional en que se encuentre el docente. Además de este beneficio económico, los profesores que reciben la asignación tienen la posibilidad de integrarse a la Red de Maestros de Maestros, y conver-tirse en tutores de docentes que comienzan a ejercer la profesión.
La breve experiencia acumulada con este programa ha mostrado el valor positivo que representa para los postulantes el trabajo con el portafolio. Tal como lo revelan encuestas a participantes del programa, el portafolio aparece como un instrumento que, además de su valor diagnóstico, retroalimenta al profesor en torno a su práctica pedagógica y facilita su autorregulación como profesional de la enseñanza.
Los resultados iniciales del programa AEP han permitido constatar que los distintos aspectos que forman parte de la evaluación no muestran rendimientos equivalentes. En particular, se constata una tendencia a cierto desequilibrio entre la formación pedagógica y disciplinar de los profesores. Tal como lo muestra la figura adjunta, en casi todos los sectores evaluados se constatan mejores rendimientos en el portafolio (instrumento que se centra prioritariamente en aspectos pedagógicos) que en la prueba (que mide dominio de conocimientos en la disciplina donde enseña el profesor). Esta asimetría es especial-mente acentuada en el caso de matemáticas.
La evaluación de profesores
30El programa de mayor envergadura de evaluación de profesores es el Sistema de Evaluación del Desempeño Profesional Docente (Docentemás), destinado a evaluar a todos los profesores que trabajan en establecimientos educacionales con administración municipal y que se inició a mediados del año 2003.
Mientras la participación en AEP es voluntaria, la evaluación docente es una obliga-ción legal que deben cumplir cada cuatro años todos los profesores del sector municipal de la educación.
Este programa de evaluación docente tiene por propósito central el fortalecimiento de la profesión docente. Por ello, se ha destacado su carácter formativo, esperándose que entregue señales a todos los profesores que se someten a él para mejorar las prácticas pedagógicas.
Este sistema de evaluación ha sido el fruto de un acuerdo tripartito entre el Ministerio de Educación, el Colegio de Profesores y la Asociación Chilena de Municipios. El Acuerdo Tripartito estipuló que la evaluación docente se implementaría gradualmente por niveles de enseñanza y comunas. En 2003, se evaluaron docentes generalistas de primer ciclo. A partir de 2004 se incorporaron los profesores del segundo ciclo de la enseñanza básica, previéndose que en los siguientes dos años se complete la participación de los otros nive-les: educación pre-escolar y educación media.
El sistema de evaluación de profesores tiene una estructura y procedimientos comu-nes para todo el país. El Ministerio de Educación, a través del CPEIP y de instituciocomu-nes universitarias que colaboran en aspectos técnicos, define los procedimientos, los instru-mentos de evaluación, y asegura la corrección de las evidencias. La operación propiamen-te tal de la evaluación es descentralizada, realizándose el proceso a nivel de cada comuna del país. La responsabilidad local recae en un Coordinador Comunal, quien contacta con los docentes evaluados, y los directores de escuela, y supervisa el funcionamiento de la evaluación en su comuna.
Tal como se señaló anteriormente, la evaluación se basa en los estándares definidos en el Marco para la Buena Enseñanza. A partir de este marco se derivan las especificaciones que cada año contemplan los cuatro instrumentos de este programa:
• Un portafolio que el profesor debe elaborar en el plazo de 11 semanas, y que com-prende una parte escrita (planificación, realización y evaluación de una unidad pedagógi-ca) y la filmación de una clase31.
• Una entrevista al docente evaluado, que es llevada a cabo por otro profesor, denomi-nado Evaluador Par. El profesor que entrevista recibe un entrenamiento ad-hoc.
• Informes de referencia de terceros: el director y el jefe de la Unidad Técnico-Pedagó-gico de del establecimiento en que trabaja el docente evaluado elaboran, cada uno en forma independiente, un informe.
• Autoevaluación que el profesor realiza acerca de su desempeño profesional.
El instrumento más complejo, el portafolio, es corregido por profesores debidamente entrenados, en diversos centros universitarios del país. El resultado de todos los instru-mentos de evaluación se combina en una calificación final, la que es revisada por una Comisión que se constituye en cada comuna donde se lleva a cabo esta evaluación. Dicha
31 En 2003, la unidad pedagógica fue de Educación Matemática y la clase filmada de Lenguaje y Comunicación. En 2004, fue a la inversa.
60 50 40 30 20 10 0 Insatisfactorio Básico Competente Destacado
Resultado final de evaluación docente 2003 (en porcentajes)
Comisión está conformada por los profesores que han cumplido el rol de entrevistadores de sus colegas (a quienes se excluye de la evaluación en el año en que cumplen este rol). La Comisión analiza los resultados de la evaluación del profesor, integra aspectos contextuales32 de cada docente y formula la decisión final acerca del docente evaluado.
Una vez concluida la evaluación, se emite un informe individual para cada profesor eva-luado, donde se informa y fundamenta la calificación obtenida en los diversos aspectos evaluados. La calificación se expresa en cuatro niveles de desempeño: destacado, compe-tente, básico o insatisfactorio.
Los resultados globales de los 3740 docentes evaluados en el primer año de este pro-grama, se resumen en la figura adjunta. En ella es posible constatar que alrededor de dos terceras partes de los profesores evaluados obtuvieron calificaciones finales correspon-dientes a las dos categorías superiores. La mayor parte del tercio restante se situó en la categoría “Básico”, que corresponde a profesores que presentan un desempeño que se sitúa por debajo del estándar esperado en algunas áreas o en forma ocasional. En contras-te, la categoría más baja se aplica a quienes presentan desempeños claramente por debajo de los estándares profesionales establecidos. Es importante advertir que este resultado combina instrumentos y perspectivas diversas acerca del quehacer de cada docente, por lo que se requiere información complementaria, que gradualmente debiera producirse, para poder apreciar con claridad el significado de esta distribución. Por ahora, nos ad-vierte que alrededor de un tercio de los profesores obtienen calificaciones que los sitúan al menos parcialmente por debajo de los estándares establecidos para el desempeño pro-fesional docente.
32 Los “elementos contextuales” dicen relación con aspectos del contexto individual del docente que pudieran haber influido en su desempeño durante el período en que fue evaluado (por ejemplo, muerte de un familiar cercano, catástrofe natural, enfermedad grave, etc.)
C
ONCLUSIONESChile exhibe una trayectoria consistente en la perspectiva de dotar a nuestro sistema educacional de un conjunto amplio de sistemas de medición y monitoreo que permitan apreciar el grado en que nuestro país progresa hacia sus aspiraciones en cuanto a logros educacionales. Durante la última década se han desarrollado o perfeccionado todas las mediciones de gran escala que hoy existen.
En la actualidad se cuenta con un conjunto de instrumentos que permiten monitorear tanto los logros de aprendizaje como el desempeño de los profesores. Los desafíos técni-cos involucrados han sido abordados mediante instrumentos progresivamente más com-plejos, como lo demuestra especialmente la reciente creación de sistemas de evaluación del desempeño de profesores.
Los instrumentos aplicados durante la última década han permitido detectar niveles de logro que están distantes de las aspiraciones que nuestra sociedad tiene acerca de su sistema educacional. Al mismo tiempo, estas mediciones muestran fuertes diferencias entre estudiantes pertenecientes a diferentes contextos socioeconómicos (lo que se asocia estrechamente al tipo de establecimiento educacional al que asisten). Los instrumentos no sólo sirven para constatar estos hechos, puesto que su mejoramiento técnico está permitiendo focalizar y optimizar las medidas destinadas a elevar los logros educaciona-les y reducir las brechas sociaeducaciona-les.
Esta revisión ha mostrado también la compleja interacción que existe entre la medi-ción educacional y su marco político-institucional. El progreso técnico en este ámbito debe realizarse asegurando que su sustento político sea adecuado. El difícil proceso de reformulación de las pruebas de ingreso a las universidades es una clara de demostración de lo anterior. Dicho cambio sólo se consolidó una vez que la institucionalidad responsa-ble produjo un marco apropiado para las actividades de investigación y desarrollo asocia-das a esta innovación. Asimismo, el desarrollo del SIMCE y de los sistemas de evaluación de profesores se ha originado o apoyado en importantes acuerdos que involucran a diver-sos actores.
Dado que ya se ha avanzado significativamente en cuanto a la cantidad y variedad de instrumentos de medición disponibles para nuestro sistema educacional, el siguiente paso es acompañar estos avances con suficiente investigación que permita maximizar la utili-dad de la información que se obtiene. Las mediciones internacionales son un ejemplo de la amplitud de posibilidades analíticas que se abren a partir de la medición. Ninguno de los instrumentos actualmente en uso en Chile pueden exhibir niveles equivalentes de elaboración, por lo que hay un largo camino por recorrer. Por cierto que como primera medida hay que despejar las barreras que impiden el acceso amplio de la comunidad científica a las bases de datos. Esta es una condición esencial, en la que el SIMCE ha hecho avances significativos, que sería deseable estimular en los otros sistemas de medi-ción. Naturalmente esto debe hacerse tomando todos los resguardos éticos para proteger la confidencialidad que corresponda acerca de información referida a personas o institu-ciones.
