GUÍA PRÁCTICA PARA EL USO DE LA INFORMACIÓN

(1)

(2)

(3)

(4)

(5)

3

PRESENTACIÓN

La Agencia de Calidad de la Educación es una institución funcionalmente descentralizada que junto con el Ministerio de Educación, el Consejo Nacional de Educación y la Superintendencia de Educación Escolar conforman el Sistema de Aseguramiento de la Calidad1_.

En la nueva institucionalidad, la Agencia de Calidad de la Educación es la encargada de evaluar, ordenar, orientar e informar al sistema escolar para contribuir a que los estudiantes accedan a una educación integral de calidad.

Bajo este objetivo primordial, las funciones específicas de la Agencia son:

• Evaluar, mediante las pruebas Simce, los logros de aprendizaje de los estudiantes, de acuerdo al grado de cumplimiento de los Estándares de Aprendizaje2_.

• Evaluar el grado de cumplimiento de los Otros Indicadores de Calidad Educativa3_.

• _{Realizar evaluaciones de desempeño de los establecimientos educacionales y sus} sostenedores sobre la base de los Estándares Indicativos de Desempeño.

• _{Ordenar a los establecimientos educacionales en función del logro de los Estándares} de Aprendizaje y de los Otros Indicadores de Calidad Educativa, considerando también las características de los alumnos, con la finalidad, entre otras, de identificar cuando corresponda, las necesidades de apoyo.

• Informar sobre las materias pertinentes a la comunidad y promover su correcto uso. En este sentido, la Agencia de Calidad de la Educación es la encargada de entregar y promover el correcto uso de nueva y variada información, como los resultados de las Visitas de Evaluación y Orientación, y de la Ordenación de Establecimientos, información que se suma a los resultados de aprendizaje de las pruebas Simce.

1_{Para conocer mayores detalles acerca del Sistema de Aseguramiento de la Calidad visite la página www.saceducacion.cl.} 2_{Para conocer los Estándares de Aprendizaje visite la página web de la Unidad de Currículum del Ministerio de Educación}

(www.curriculumnacional.cl).

3_{Los Otros Indicadores de Calidad Educativa fueron elaborados por el Ministerio de Educación. Para encontrar más informaciones visite} la página web de la Agencia (www.agenciaeducacion.cl).

(6)

Además, la Agencia de Calidad informa a la comunidad escolar a través de distintos documentos y soportes electrónicos y/o impresos, para que los diferentes actores dispongan de variadas fuentes de información. En este sentido, es importante que la comunidad conozca y comprenda adecuadamente esta información, para integrarla a su quehacer educativo, vincularla con las evaluaciones internas del establecimiento y utilizarla como recurso pedagógico en el diseño de los planes de mejoramiento.

Esta guía está dirigida a docentes y directivos, y recopila los talleres que a lo largo del 2013 se publicaron en nuestra página web. El propósito es entregar una serie de recursos y herramientas para trabajar los resultados de aprendizaje y potenciar las habilidades de gestión de los establecimientos.

(7)

5

ÍNDICE

Programa Uso de la Información 7

Talleres Uso de la Información 11

Introducción 13 Talleres de Resultados Simce

Equipo Directivo: Análisis de los Resultados Simce 17

Presentación de Resultados Simce 37

Aprendizajes Logrados por los Estudiantes 59 Factores que Explican los Resultados de Aprendizaje 75 Análisis de Resultados de Aprendizaje con los Padres y

Apoderados 91 Talleres Ejemplos de Preguntas Pruebas Internacionales

TIMSS Matemática 4.° básico 115

(8)

(9)

7

PROgRAMA USO DE LA INFORMACIÓN

Respecto del uso de la información, el propósito de la Agencia de Calidad de la Educación es proporcionar herramientas y orientar el uso eficiente de la información que se entrega a la comunidad educativa como, por ejemplo, los resultados de las evaluaciones de logros de aprendizaje.

Para lograr tal objetivo, un primer paso es poder dar a la comunidad educativa información comprensible y práctica, en términos del lenguaje, la presentación, el diseño y el formato de los documentos. Un elemento central en este aspecto es cómo se entrega la información. Esto significa que, en los diferentes productos comunicacionales que la Agencia elabora, se refuerza la importancia de analizar y comparar los resultados de aprendizaje contextualizados a la realidad y particularidad de cada establecimiento (por ejemplo, características demográficas de los estudiantes), incluyendo recomendaciones para su lectura y elementos claves para interpretar los datos.

Un segundo paso es proporcionar herramientas que permitan el desarrollo de las habilidades necesarias para acceder, identificar, interpretar y usar esta nueva y variada información, como un insumo para la mejora de las prácticas pedagógicas en aula y la gestión de los establecimientos.

En este sentido, la Agencia de Calidad de la Educación durante el año 2013 ha desarrollado el ProgramaUso de la Información, que promueve un enfoque comprensivo y formativo de la información que se entrega a los establecimientos.

El Programa es un compromiso de la Agencia para orientar a los establecimientos educacionales en el uso adecuado de la información que se entrega.

(10)

A partir de este enfoque, se plantea que el uso sistemático de la información como una de las prácticas del establecimiento, permite:

• Definir en qué medida los estudiantes logran los aprendizajes señalados en el currículo. • _{Identificar las habilidades y los conocimientos adquiridos por los estudiantes.}

• _{Determinar las fortalezas y los elementos a mejorar en los planes y programas del} establecimiento.

En función de lo anterior, se propone un ciclo de uso de la información para la mejora continua: desarrollar un monitoreo constante, identificar fortalezas y debilidades, definir acciones y soluciones, y evaluar los aprendizajes.

Figura 1. Ciclo de Uso de la Información

Promover la mejora continua del proceso educativo Evaluación Definición de compromisos y acciones Acceso y lectura de la información Análisis e interpretación de la información

Figura 1. La figura presenta las diferentes etapas del proceso de uso de la información.

Fuente: Adaptación del Ciclo Uso de la Información, de Ellen Mandinach. National Forum on Education Statistics. (2012). Forum Guide to Taking Action with Education Data. (NFES 2013-801). U.S. Department of Education.

(11)

9

Una de las primerasiniciativas de este Programa fue la elaboración de Talleres para el Uso de la Información, para que los profesionales de la educación internalicen la práctica de utilizar los resultados de las evaluaciones realizadas por la Agencia. La idea es complementar este trabajo con las evaluaciones internas del establecimiento y analizar los resultados en el marco de su contexto y realidad particular, identificando los factores internos y externos con el objetivo de ajustar los planes de mejora.

Estos talleres fueron diseñados para ser utilizados de manera independiente, de acuerdo a las necesidades y objetivos de cada establecimiento. Los talleres que se presentan en esta Guía Práctica también se encuentran disponibles en la página web de la Agencia (www.agenciaeducacion.cl).

Acá podrá encontrar la sección de Uso de la Información.

(12)

(13)

(14)

(15)

13

INTRODUCCIÓN

En este apartado encontrará siete talleres, que pueden ser utilizados de manera independiente como módulos de trabajo, adecuándolos a horarios y posibilidades internas del establecimiento. En la primera parte se presentan cinco talleres para el trabajo de los resultados Simce. En la segunda parte se proponen dos talleres para orientar el trabajo docente en las prácticas de evaluación, a través de los marcos de evaluación y ejemplos de preguntas de las pruebas internacionales TIMSS Matemática y PISA Comprensión Lectora.

Cada taller contiene una síntesis de las actividades a realizar con sus materiales y responsables de cada actividad. Cada actividad presenta fichas y ejercicios prácticos a realizar, consejos para desarrollar cada etapa y recursos que complementan y apoyan la información. En la medida que la Agencia entregue nueva información, se publicarán en la página web nuevos talleres y orientaciones para analizarla e interpretarla adecuadamente.

Los siete talleres que se presentan en esta guía son los siguientes:

Talleres de Resultados Simce

• Equipo Directivo: Análisis de los Resultados Simce • _{Presentación de Resultados Simce}

• Aprendizajes Logrados por los Estudiantes

• Factores que Explican los Resultados de Aprendizaje

• Análisis de Resultados de Aprendizaje con los Padres y Apoderados

Talleres Ejemplos de Preguntas Pruebas Internacionales:

• _{TIMSS Matemática 4.° básico} • _{Competencias Lectoras PISA 2009}

(16)

Síntesis de las Actividades

Participantes: Equipo directivo del establecimiento.

Modo de trabajo: Trabajo en equipo.

Sugerencias: Los tiempos propuestos para este taller pueden ser modificados a partir de las necesidades y posibilidades internas de cada establecimiento.

Actividad 1 Análisis de los resultados Simce del establecimiento

Objetivo Materiales requeridos Responsables Tiempo aproximado

Analizar los resultados Simce del establecimiento a través de comparaciones con evaluaciones anteriores y con establecimientos de igual GSE y según Estándares de Aprendizaje.

• Ficha del establecimiento en www.agenciaeducacion.cl • Informe de Resultados Simce

para Docentes y Directivos del establecimiento.

Jefe de UTP o Coordinador

Pedagógico 35 minutos

Conocer conceptos clave. • Material de apoyo para el taller Analizar puntajes promedio

del establecimiento. • Fichas 1 y 2. Analizar resultados según

Estándares de Aprendizaje. • Fichas 1 y 3.

Actividad 2 Reflexión sobre los resultados Simce del establecimiento

Reflexionar y dialogar en el equipo directivo sobre los resultados Simce, estableciendo causas y factores que explican los resultados.

Reflexión en el equipo directivo sobre los resultados Simce del establecimiento.

• Materiales requeridos en la Actividad 1.

• Ficha 4.

Actividad de cierre: conclusiones y acciones para la presentación de resultados

Establecer conclusiones respecto a las actividades del taller y definir acciones e información a considerar en la presentación de resultados Simce a la comunidad escolar.

• Ficha 5. Jefe de UTP o Coordinador

Pedagógico 10 minutos Síntesis de las actividades con el objetivo de cada actividad, los materiales requeridos, los tiempos propuestos y responsables.

(17)

15

A continuación se muestra un ejemplo de cómo se organiza un taller:

20

Actividad 1. Análisis de los resultados Simce del establecimiento

Objetivo: Analizar los resultados Simce del establecimiento a través de comparaciones con evaluaciones anteriores y con establecimientos de igual Grupo Socieconómico (GSE) y según Estándares de Aprendizaje.

Responsables: Equipo directivo del establecimiento. Tiempo aprox.: 35 minutos.

¿Qué se propone hacer en esta actividad?

Conocer conceptos clave

Leer la explicación de los conceptos clave disponibles en Material de apoyo para el taller y luego dialogar sobre estos conceptos resolviendo dudas.

Analizar puntajes promedio del establecimiento

Comparar los puntajes promedio del establecimiento con la evaluación anterior y con los establecimientos del mismo GSE.

Analizar resultados según Estándares de Aprendizaje

Analizar los resultados Simce del establecimiento según los Estándares de Aprendizaje.

¿Cómo conocer los conceptos clave?

Para conocer los conceptos clave se sugiere la lectura del Material de apoyo para el taller, en el cual se explican conceptos tales como Variación Significativa en los Aprendizajes, Clasificación de los Establecimientos según GSE y Estándares de Aprendizaje.

Para la posterior presentación de los resultados Simce del establecimiento a la comunidad escolar, se recomienda al equipo directivo conocer en forma profunda estos conceptos clave para explicarlos de forma simple y clara a la comunidad escolar.

Si los actores de la comunidad escolar conocen con claridad los conceptos clave, se facilita el adecuado uso y análisis de los resultados de aprendizaje de los estudiantes.

En cada actividad se explica cómo realizar las diferentes tareas. Información que guía y orienta la reflexión. Propósito del taller.

(18)

(19)

(20)

TALLER EQUIPO DIRECTIVO:

ANÁLISIS DE LOS RESULTADOS SIMCE

¿Por qué es importante que el equipo directivo

analice los resultados del establecimiento?

Facilitar la comprensión de los resultados de aprendizaje entre los miembros de la comunidad educativa, permite reforzar la colaboración y participación de todos en el quehacer del establecimiento.

El análisis previo a la presentación de los resultados de aprendizaje Simce por parte del equipo directivo del establecimiento, puede facilitar la posterior comunicación de los resultados a la comunidad educativa, desde una mirada comprensiva y contextualizada de tales resultados.

Mediante este primer paso, el equipo directivo puede avanzar en la comunicación efectiva de los resultados de aprendizaje para conducir las acciones de mejora que se decida implementar.

Dado lo anterior, este taller tiene como propósito facilitar el análisis y la reflexión previa de los resultados Simce por parte del equipo directivo del establecimiento, para favorecer la posterior presentación de resultados a la comunidad escolar.

En la primera parte se presentan los objetivos del taller; luego se muestra una síntesis de las actividades propuestas y el desarrollo de estas. Finalmente, se incluye material de apoyo para el desarrollo del taller.

(21)

19

Síntesis de las Actividades

Participantes: Equipo directivo del establecimiento. Modo de trabajo: Trabajo en equipo.

Sugerencias: Los tiempos propuestos para este taller pueden ser modificados a partir de las necesidades y posibilidades internas de cada establecimiento.

Actividad 1 Análisis de los resultados Simce del establecimiento

Analizar los resultados Simce del establecimiento a través de comparaciones con evaluaciones anteriores y con establecimientos de igual GSE y según Estándares de Aprendizaje.

• Ficha del establecimiento en www.agenciaeducacion.cl

• Informe de Resultados Simce para Docentes y Directivos del establecimiento.

Equipo directivo del

establecimiento 35 minutos

Conocer conceptos clave. • Material de apoyo para el taller Analizar puntajes promedio

del establecimiento. • Fichas 1 y 2. Analizar resultados según

Estándares de Aprendizaje. • Fichas 1 y 3.

Actividad 2 Reflexión sobre los resultados Simce del establecimiento

Reflexionar y dialogar en el equipo directivo sobre los resultados Simce, estableciendo causas y factores que explican los resultados.

Equipo directivo del

establecimiento 15 minutos

Reflexión en el equipo directivo sobre los resultados Simce del establecimiento.

• Materiales requeridos en la Actividad 1.

• Ficha 4.

Establecer conclusiones respecto a las actividades del taller y definir acciones e información a considerar en la presentación de resultados Simce a la comunidad escolar.

• Ficha 5. Equipo directivo del

(22)

Actividad 1. Análisis de los resultados Simce del establecimiento

Objetivo: Analizar los resultados Simce del establecimiento a través de comparaciones con evaluaciones anteriores y con establecimientos de igual Grupo Socieconómico (GSE) y según Estándares de Aprendizaje.

Responsables: Equipo directivo del establecimiento. Tiempo aprox.: 35 minutos.

Conocer conceptos clave

Leer la explicación de los conceptos clave disponibles en Material de apoyo para el taller y luego dialogar sobre estos conceptos resolviendo dudas.

Analizar puntajes promedio del establecimiento

Comparar los puntajes promedio del establecimiento con la evaluación anterior y con los establecimientos del mismo GSE.

Analizar resultados según Estándares de Aprendizaje

Analizar los resultados Simce del establecimiento según los Estándares de Aprendizaje.

¿Cómo conocer los conceptos clave?

Para conocer los conceptos clave se sugiere la lectura del Material de apoyo para el taller, en el cual se describen conceptos tales como Variación Significativa en los Aprendizajes, Clasificación de los Establecimientos según GSE y Estándares de Aprendizaje.

(23)

21

¿Cómo analizar los puntajes promedio del establecimiento?

Para acceder a los puntajes de todas las pruebas Simce del establecimiento, se recomienda ingresar a la ficha Simce del establecimiento, disponible en www.agenciaeducacion.cl. En esta ficha se encuentran las comparaciones de los resultados Simce del establecimiento con la evaluación anterior y con los resultados de los establecimientos de igual GSE.

Tras revisar esta información, se recomienda al equipo directivo completar la tabla que se expone en la Ficha 1. En esta tabla, el equipo directivo debe encerrar cada categoría según corresponda a los resultados obtenidos. Ficha 1. Resultados Simce del establecimiento según puntajes promedio y Estándares de Aprendizaje1

4.° básico Comprensión de Lectura Matemática Historia, Geografía y Ciencias Sociales

Esta ficha corresponde a un ejemplo de 4.° básico. Se recomienda replicarla en los demás cursos evaluados. Puntaje promedio Simce

del establecimiento En comparación con la evaluación anterior los puntajes promedio son:

Más altos Similares Más bajos Más altos Similares Más bajos Más altos Similares Más bajos En comparación con los establecimientos de mismo GSE, los puntajes promedio del establecimiento son: Más altos Similares Más bajos Más altos Similares Más bajos Más altos Similares Más bajos ¿En qué nivel se agrupa

la mayor cantidad de estudiantes? Adecuado Elemental Insuficiente Adecuado Elemental Insuficiente Adecuado Elemental Insuficiente ¿El porcentaje de

estudiantes que alcanza el Nivel Adecuado es mayor, igual o menor que el de la evaluación anterior?1 Mayor Igual Menor Mayor Igual Menor Mayor Igual Menor ¿El porcentaje de

estudiantes que está en el Nivel Insuficiente, es mayor, igual o menor que el de la evaluación anterior? Mayor Igual Menor Mayor Igual Menor Mayor Igual Menor

1_{La cantidad y porcentaje de estudiantes en cada Nivel de Aprendizaje, según los resultados Simce 2010 (Historia, Geografía y Ciencias Sociales) y Simce} 2011 (Comprensión de Lectura y Matemática), fueron calculados a partir de los rangos de puntaje de los Estándares de Aprendizaje presentados en el Informe de Resultados Simce para Docentes y Directivos de cada establecimiento. Lo anterior, considerando que los Niveles de Logro y los Estándares de Aprendizaje fueron definidos a partir del mismo currículo y con el propósito de facilitar el análisis que realiza cada establecimiento a partir de los resultados Simce. Por este motivo, la información en cada Nivel de Aprendizaje, según los resultados de las pruebas 2010 y 2011 que se presenta, solo puede ser utilizada con el fin pedagógico antes mencionado.

(24)

De acuerdo a lo respondido en la Ficha 1, se recomienda completar la Ficha 2 para sintetizar los resultados del establecimiento y agruparlos en dos categorías (resultados más altos y resultados más bajos).

Ficha 2. Síntesis de los resultados obtenidos por el establecimiento según puntajes promedio

1. ¿En qué prueba o pruebas los resultados del establecimiento son más altos en relación con la evaluación anterior y con los de establecimientos similares?

a. Evaluación anterior: b. Establecimientos similares:

2. ¿En qué prueba o pruebas los resultados del establecimiento son más bajos en relación con la evaluación anterior y con los de establecimientos similares?

a. Evaluación anterior: b. Establecimientos similares:

La comparación de resultados Simce solo es posible entre los puntajes promedio de una misma prueba y no entre los puntajes promedio de pruebas de diferentes asignaturas, pues los puntajes promedio de cada prueba no son equivalentes.

En el Material de apoyo para el taller, se presentan ejemplos de usos incorrectos de los resultados Simce. La exposición de comparaciones incorrectas tiene como propósito guiar el uso adecuado y evitar interpretaciones erróneas por parte de docentes y directivos. Es importante que directivos y docentes reflexionen a largo plazo sobre las acciones que han llevado a cabo en el establecimiento y el aprendizaje que demuestran lograr sus estudiantes.

(25)

23

¿Cómo analizar los resultados según Estándares de Aprendizaje?

Para analizar los resultados del establecimiento según Estándares de Aprendizaje, se sugiere al equipo directivo observar la Ficha 1, Ficha 3 del Material de apoyo y responder la Ficha 3.

Ficha 3. Análisis de los resultados obtenidos por el establecimiento según Estándares de Aprendizaje 1. ¿Cuál es el Nivel de los Estándares de Aprendizaje en que se encuentra la mayoría de los estudiantes

de 4.° básico en Comprensión de Lectura, Matemática e Historia, Geografía y Ciencias Sociales? a. Comprensión de Lectura:

b. Matemática:

c. Historia, Geografía y Ciencias Sociales:

2. A partir de lo anterior, y considerando los Estándares de Aprendizaje ¿Qué aprendizajes ha alcanzado la mayoría los estudiantes de 4.° básico en Comprensión de Lectura, Matemática e Historia, Geografía y Ciencias Sociales?

a. Comprensión de Lectura: b. Matemática:

c. Historia, Geografía y Ciencias Sociales:

Nota: Esta ficha considera solo a 4.° básico. Esto permite seguir con el ejemplo expuesto en la Ficha 1 de este taller. La Ficha 3 puede adaptarse a cualquier curso evaluado.

Los resultados del establecimiento según Estándares de Aprendizaje apoyan la gestión curricular de los equipos directivos, pues permiten:

• Identificar la asignatura en que se requiere focalizar los esfuerzos para conseguir el logro de mejores aprendizajes.

• Retroalimentar decisiones y diseñar estrategias pedagógicas más efectivas, considerando habilidades y conocimientos logrados por los estudiantes.

• Establecer metas o compromisos de gestión educativa, en relación con el porcentaje de estudiantes en cada Nivel de los Estándares de Aprendizaje.

(26)

Actividad 2. Reflexión sobre los resultados Simce del establecimiento

Objetivo: Reflexionar y dialogar en el equipo directivo sobre los resultados Simce, estableciendo causas y factores que explican los resultados.

Modo de trabajo: Trabajo en equipo. Responsables: Equipo directivo. Tiempo aprox.: 15 minutos.

Reflexión en el equipo directivo sobre los resultados Simce del establecimiento

A partir de la información trabajada en la Actividad 1, reflexionar sobre lo expuesto en la Ficha 4 para sintetizar el análisis.

¿Cómo reflexionar sobre los resultados Simce del establecimiento?

Para reflexionar sobre los resultados Simce del establecimiento, se recomienda desarrollar la Ficha 4, considerando la información reportada en las fichas 1, 2 y 3 de la Actividad 1.

Este proceso reflexivo en el equipo directivo permite discutir, en un primer momento, sobre las explicaciones de los resultados de aprendizaje para presentarlos a la comunidad escolar en forma clara. Ficha 4. Reflexión y síntesis de los resultados obtenidos por el establecimiento

1. ¿Qué factores y causas en los ámbitos directivo, pedagógico, y de padres y apoderados pueden explicar los resultados del establecimiento?

(27)

25

Actividad de cierre: conclusiones y acciones para la presentación de resultados

Objetivo: Establecer conclusiones respecto a las actividades del taller, y definir acciones e información a considerar en la presentación de resultados Simce a la comunidad escolar.

Modo de trabajo: Trabajo grupal. Responsables: Equipo directivo. Tiempo aprox.: 10 minutos.

Establecer las principales conclusiones obtenidas, a partir de las actividades del taller, y definir las acciones para la posterior presentación de resultados a la comunidad escolar.

¿Cómo establecer conclusiones y acciones para la posterior presentación de resultados?

Para establecer conclusiones y acciones para la posterior presentación de resultados Simce a la comunidad escolar, se sugiere que el equipo directivo dialogue y responda las preguntas de la Ficha 5.

(28)

Ficha 5. Definición de conclusiones y acciones para la presentación de resultados Simce a la comunidad escolar

1. ¿Cuáles son las principales conclusiones obtenidas a partir de las actividades realizadas en este taller y por qué pueden resultar importantes en la presentación de resultados?

2. Considerando las conclusiones de la pregunta anterior, ¿qué acciones y propuestas (pedagógicas, de gestión, etc.) podría exponer el equipo directivo en la presentación de resultados a la comunidad escolar?

3. ¿Qué información relativa al establecimiento se puede agregar a la presentación de resultados?

(29)

27

MATERIAL DE APOYO PARA EL TALLER

1. Conceptos clave para el análisis de resultados Simce

Ficha 1. Esquemas de conceptos clave para el análisis de resultados Simce

¿Cuándo una diferencia de puntaje refleja una variación significativa en los aprendizajes?

Simce utiliza los siguientes símbolos para indicar las diferencias:

El puntaje promedio es similar al de la evaluación anterior o al de establecimientos del mismo Grupo

Socioeconómico (GSE).

El puntaje promedio del establecimiento es significativamente más alto respecto a la evaluación anterior o al puntaje de establecimientos del mismo GSE.

El puntaje promedio del establecimiento es significativamente más bajo respecto a la evaluación anterior o al puntaje de establecimientos del mismo GSE.

Es importante prestar más atención al símbolo que a la diferencia numérica de puntaje.

Ficha 2. Clasificación de establecimientos según GSE

Los establecimientos son clasificados en cinco grupos socioeconómicos definidos para la prueba Simce:

Bajo

Medio

bajo Medioalto

Medio

Alto

¿Por qué se clasifica a los establecimientos según GSE?

Permite despejar factores externos al establecimiento, como la condición socioeconómica de los estudiantes o el nivel educacional de los padres, para un análisis de resultados más justo.

(30)

Ficha 3. Estándares de Aprendizaje

¿Qué son? Describen aquello que los estudiantes deben saber y poder hacer en determinados cursos _{y asignaturas, es decir, expresa la exigencia curricular.}

¿Cómo se clasifican?

• Nivel de Aprendizaje Adecuado

• Nivel de Aprendizaje Elemental

• Nivel de Aprendizaje Insuficiente

¿Qué utilidad tienen?

Por ejemplo:

• Comunicar resultados de aprendizaje con mayor significado.

• Calificar los resultados obtenidos basándose en criterios nacionalmente acordados.

• Servir de referentes para definir metas y compromisos en el establecimiento.

Nota: Para conocer la descripción de cada nivel de aprendizaje para cada grado y asignatura evaluados, visite la página web http://www.mineduc.cl/index5_int.php?id_portal=47&id_contenido=17116&id_seccion=3264&c=6919

(31)

29

2. Ejemplos de comparaciones incorrectas de resultados Simce en un mismo año

Entre los distintos resultados de aprendizaje entregados por Simce, realizar ciertas comparaciones resulta incorrecto, pues no entregan información acerca de los aprendizajes que logran los estudiantes de los grupos que se desea comparar.

A continuación, se presentan ejemplos de comparaciones incorrectas.

Ejemplo 1

¿Se pueden comparar los puntajes promedio Simce que obtienen los estudiantes de un establecimiento en las distintas áreas o asignaturas?

En el Informe de Resultados Simce para Docentes y Directivos de su establecimiento, se presentan los puntajes promedio que obtienen sus estudiantes en las pruebas Simce de las distintas áreas o asignaturas.

Prueba Puntaje promedio 2012 Análisis incorrecto

Comprensión de Lectura 258 Los estudiantes en Comprensión de

Lectura obtienen 15 puntos más que en Matemática y 8 puntos más que en la prueba de Historia, Geografía y Ciencias Sociales.

Matemática 243

Historia, Geografía y

Ciencias Sociales 250

Los resultados de aprendizaje que obtienen los estudiantes en las pruebas Simce de las distintas áreas o asignaturas no son comparables. Lograr 243 puntos en Matemática y 258 puntos en Comprensión de Lectura no permite asegurar que los resultados son más altos en Comprensión de Lectura. Por lo anterior tampoco es posible concluir que los estudiantes obtienen mayores logros de aprendizaje en esta prueba.

Cada prueba Simce evalúa habilidades y conocimientos diferentes y representa diversas áreas del conocimiento para cada nivel evaluado.

(32)

Ejemplo 2

¿Se pueden comparar los puntajes promedio Simce de una misma asignatura que obtienen los estudiantes de distintos cursos?

A partir de los resultados de aprendizaje entregados en los informes de resultados, el equipo profesional de un establecimiento elaboró la siguiente tabla resumen:

Prueba Comprensión de

Lectura Puntaje promedio 2012 Análisis incorrecto

Comprensión de Lectura

2.° básico 237

En la prueba Simce de Comprensión de Lectura, los estudiantes de 4.° y 8.° básico tienen un resultado similar entre sí. En tanto, existe una brecha de 58 puntos entre los puntajes promedio de 2.° básico y II medio. Comprensión de Lectura 4.° básico 270 Comprensión de Lectura 8.° básico 271 Comprensión de Lectura II medio 295

Los resultados de aprendizaje que obtienen los estudiantes en las pruebas Simce de los distintos grados no son comparables. Lograr 237 puntos en 2.° básico y 271 puntos en 8.° básico no permite asegurar que los resultados son más altos en este último. Por lo anterior tampoco es posible concluir que los estudiantes obtienen mayores logros de aprendizaje en 8.° básico. Cada prueba Simce evalúa habilidades y conocimientos diferentes y representa diversas áreas del conocimiento para cada nivel evaluado.

(33)

31

Ejemplo 3

¿Se pueden comparar los puntajes promedio Simce que obtienen los estudiantes de distintos cursos de un mismo establecimiento?

Prueba Comprensión de Lectura Análisis incorrecto

Puntaje promedio

2.° básico “A” 237

En la prueba Simce de Comprensión de Lectura, el resultado de los estudiantes de 2.° básico “B” supera por 16 puntos al obtenido por el 2.° básico “A”. Esto indicaría que el curso “B” presenta mayores logros de aprendizaje que el curso “A”.

Puntaje promedio

2.° básico “B” 253

Lograr 253 puntos en el curso “B” y 237 puntos en el curso “A” no permite asegurar que los resultados son más altos en el curso “B”. Por lo anterior, tampoco es posible concluir que los estudiantes obtienen mayores logros en el curso “B”.

Los resultados de aprendizaje que obtienen los estudiantes en las pruebas Simce de los distintos cursos no son directamente comparables, para hacerlo es necesario verificar si las diferencias entre puntajes son significativas, como se observa a continuación:

Análisis Correcto

Para realizar comparaciones entre dos cursos del mismo establecimiento y saber si la diferencia entre los resultados es significativa, se debe considerar el número de estudiantes por curso. A continuación se presenta una tabla que permite identificar las diferencias de puntaje requeridas entre dos cursos para que estas sean significativas.

Por ejemplo, como se muestra en la siguiente tabla, si el curso “A“ tiene 28 estudiantes y el curso “B“ 36, una diferencia de 13 puntos es significativa.

(34)

Tabla 1. Diferencias de puntaje requeridas para que los resultados entre dos cursos en Simce 4.° básico 2012 sean significativamente distintos

.

Cantidad de estudiantes Diferencia de puntaje significativa

Cursos de 10 a 15 estudiantes 19 puntos

Cursos de 36 o más estudiantes 10 puntos

1_{El curso “A” tiene 28 estudiantes y} el curso “B”, 36.

2_{Identificar la fila que contenga} el curso con menos estudiantes. En el ejemplo corresponde a 28 estudiantes.

3_{Identificar la diferencia de} puntaje requerida para que esta sea significativa. En el ejemplo corresponde a 13 puntos. 4_{Comparar ese dato con la diferencia de puntaje de ambos cursos para concluir si esta es significativa.}

Por lo tanto, si en el ejemplo los cursos “A” y “B” tienen una diferencia de 16 puntos, se puede concluir que esa diferencia sí es significativa y que el curso “B” sí logra mejores resultados que el curso “A”.

Ante eso se recomienda evaluar si los dos cursos tienen las mismas experiencias de aprendizaje e indagar en los factores que podrían estar influyendo en estas diferencias.

(35)

33

Ejemplo 4

¿Se pueden comparar los puntajes promedio Simce que obtienen los estudiantes de un establecimiento con los puntajes promedio que obtienen todos los estudiantes del país?

En el Informe de Resultados Simce para Docentes y Directivos de su establecimiento, se presentan los puntajes promedio nacionales y por establecimiento que obtienen los estudiantes en las pruebas Simce de las distintas áreas o asignaturas.

Puntajes promedio nacionales Puntajes promedio del establecimiento Prueba Puntaje promedio 2012 Prueba Puntaje promedio 2012

Comprensión de

Lectura 267 Comprensión de Lectura 238

Matemática 261 Matemática 230

Ciencias Sociales 258 Historia, Geografía y Ciencias Sociales 238

Análisis incorrecto

En las tres pruebas Simce los estudiantes de 4.° básico del establecimiento obtienen resultados más bajos que los estudiantes del país.

Es posible comparar para una misma asignatura los resultados de aprendizaje que logran los estudiantes del establecimiento y del país. Sin embargo, esta comparación no es recomendable pues los puntajes promedio nacionales no consideran los contextos de cada establecimiento. En la siguiente página se presenta el análisis correcto.

(36)

Es recomendable comparar y establecer si hubo diferencias significativas o no con otros establecimientos del mismo GSE para dar mayor contexto a los resultados, tal cual aparece en los Informes de Resultados Simce para Docentes y Directivos de los diferentes grados evaluados.

Prueba Puntaje promedio ₂₀₁₂ Variación con respecto a la

evaluación anterior Comparación con establecimientos de mismo GSE Comprensión de Lectura 238 -26 -15 Matemática 230 -30 -16 Historia, Geografía y Ciencias Sociales 238 -5 -4

Nota: En Material de apoyo, se encuentra el significado de los símbolos que acompañan los puntajes promedio de la tabla.

Es importante que al observar los resultados Simce se ponga atención en el puntaje promedio y en el símbolo que lo acompaña más que en la diferencia de puntajes.

(37)

35

REFERENCIAS

Aylwin, M., Muñoz, A., Flanagan, A., Ermter, K., Corthorn, C. y Pérez, L. (2005a). Evaluación de calidad para nuestra comunidad escolar. Guía de apoyo para directoras y directores. Santiago de Chile: MINEDUC / UNICEF. Aylwin, M., Muñoz, A., Flanagan, A., Ermter, K., Corthorn, C. y Pérez, L. (2005b). Buenas prácticas para una pedagogía efectiva. Guía para profesoras y profesores. Santiago de Chile: MINEDUC / UNICEF.

Bellei, C., Muñoz, G., Pérez, L. M. y Raczynski, D. (2003). Escuelas efectivas en sectores de pobreza. En R. Hevia (Ed.) La Educación en Chile, hoy (pp. 347-372). Santiago de Chile: Ediciones Universidad Diego Portales.

Eyzaguirre, B., y Fontaine, L. (1999). ¿Qué mide realmente el SIMCE? En Estudios Públicos, 75, 107 - 161. Ministerio de Educación de Chile. (2005). Marco para la Buena Dirección. Santiago: Ministerio de Educación. Ministerio de Educación de Chile. (2008). Marco para la Buena Enseñanza. Santiago: Ministerio de Educación. Ministerio de Educación de Chile. (2013a). Modelo de Calidad de la Gestión Escolar. Santiago de Chile. Ministerio de Educación. Recuperado de http://www.agenciaeducacion.cl/wp-content/uploads/2013/02/ Modelo-de-Calidad-del-Gesti%C3%B3n-Escolar.pdf [febrero, 2014].

Ministerio de Educación de Chile. (2013b). Estándares de Aprendizaje. 4° y 8° básico. Lectura, Matemática, Ciencias Naturales, e Historia, Geografía y Ciencias Sociales. Santiago de Chile: Ministerio de Educación Recuperado de http://www.mineduc.cl/index5_int.php?id_portal=47&id_contenido=17116&id_seccion= 3264&c=6919. pdf [febrero, 2014].

En las siguientes páginas web, podrá encontrar información de apoyo para trabajar este taller:

- http://www.agenciaeducacion.cl - http://www.curriculumenlinea.cl

- http://www.planesdemejoramiento.cl/instrumentos.asp - http://www.planesdemejoramiento.cl

(38)

(39)

(40)

TALLER PRESENTACIÓN DE RESULTADOS SIMCE

¿Por qué presentar los resultados Simce?

La presentación de los resultados Simce es una buena oportunidad para involucrar a la comunidad escolar en el análisis de los aprendizajes que logran los estudiantes del establecimiento. Por esto, es clave que la presentación de resultados sea clara, adecuada y sea un espacio de reflexión colectiva de la comunidad escolar.

En este contexto, este taller tiene como propósito que sostenedores, docentes, asistentes de la educación y directivos, conozcan los aprendizajes que los estudiantes demuestran en las pruebas Simce, y que frente a ello, se puedan tomar decisiones en conjunto sobre los resultados.

En la primera parte se presentan los objetivos del taller; luego se muestra una síntesis de las actividades propuestas y el desarrollo de estas. Finalmente, en la sección Material de apoyo se incluye información complementaria para el desarrollo del taller.

(41)

39

Síntesis de las Actividades

Participantes: Sostenedores, docentes, directivos y asistentes de la educación.

Modo de trabajo: Exposición oral del responsable del taller, discusión colectiva entre los participantes y plenario.

Sugerencias: Se propone que el taller se realice durante las horas de Consejo de profesores o en los tiempos que autorice la Secretaría Regional Ministerial de cada región en el calendario escolar.

Además, se recomienda al director, jefe de UTP, coordinador académico u otro directivo del establecimiento, elabore una presentación en cualquier formato y recurso con que cuente el establecimiento (proyector multimedia, papelógrafos, documentos escritos, fotocopias, diapositivas, transparencias, etc.).

También se propone que en la presentación se incluya parte de las fichas trabajadas en el Taller Equipo Directivo: Análisis de los Resultados Simce, y la síntesis de resultados del establecimiento incluido en el Informe de Resultados Simce para Docentes y Directivos.

Finalmente, durante la presentación se sugiere que:

• Al finalizar cada actividad se realice una puesta en común guiada por el directivo a cargo de la realización de este taller.

• Se recuerde a los participantes que los resultados de aprendizaje reflejan el trabajo en conjunto realizado por toda la comunidad escolar. Por consiguiente, los resultados no deben atribuirse exclusivamente al trabajo del docente a cargo de la asignatura.

(42)

Actividad 1 Presentación de los resultados Simce

Dar a conocer los resultados Simce del establecimiento y los aprendizajes que son capaces de demostrar los estudiantes.

• Presentación de resultados elaborada por el equipo directivo utilizando recursos y materiales disponibles en el establecimiento.

Exponer los conceptos clave. • Fichas 1, 2 y 3 del Material de apoyo.

Presentar los resultados Simce. • Documento Informe de Resultados Simce para Docentes y Directivos del establecimiento.

Actividad 2 Reflexión sobre los resultados Simce

Dialogar y reflexionar colectivamente sobre los resultados Simce presentados, reconociendo la diversidad de desempeños que pueden observarse en cada asignatura.

• Presentación de resultados elaborada por el equipo directivo utilizando recursos y materiales disponibles en el establecimiento.

Formar equipos de trabajo. Discutir sobre los resultados Simce presentados por el equipo

directivo. • Ficha 1. Exponer las conclusiones de cada

equipo en un plenario. • Pliegos de cartulina, papelógrafos u otro tipo de recursos que permitan la exposición.

Sistematizar las conclusiones, metas y compromisos acordados para incorporar nuevas acciones al plan de trabajo del establecimiento.

• Ficha 2. Jefe de UTP o Coordinador

Nota: Los tiempos propuestos para este taller pueden ser modificados a partir de las necesidades y posibilidades de cada establecimiento.

(43)

41

Actividad 1. Presentación de los resultados Simce

Objetivo: Dar a conocer los resultados Simce del establecimiento y los aprendizajes que son capaces de demostrar los estudiantes.

Modo de trabajo: Exposición oral del responsable del taller. Responsables: Jefe de UTP o Coordinador Pedagógico. Tiempo aprox.: 25 minutos.

Exponer los conceptos clave

Presentar y explicar de manera clara los conceptos clave. Presentar los resultados Simce

Presentar los resultados de las pruebas Simce, considerando los resultados nacionales y los resultados del establecimiento.

¿Cómo exponer los conceptos clave?

Para presentar y explicar los conceptos clave (por ejemplo, GSE, variación significativa, etc.) de manera clara, se recomienda considerar la información y los esquemas incluidos en las Fichas 1, 2 y 3 del Material de Apoyo de este taller.

Es importante que durante el análisis de resultados Simce los actores de la comunidad escolar conozcan y manejen los conceptos clave. De este modo se facilita el adecuado uso y análisis de los resultados.

(44)

¿Cómo presentar los resultados?

Para presentar los resultados de las pruebas Simce de cada grado evaluado se sugiere considerar los siguientes aspectos del los informes de resultados Simce para docentes y directivos:

• Síntesis de resultados nacionales Simce.

• Síntesis de resultados Simce del establecimiento y comparaciones con evaluación anterior y con establecimientos de igual GSE.

• Síntesis de resultados según Estándares de Aprendizaje.

A continuación se exponen ejemplos de la información a considerar en la presentación de resultados, sugerencias para describir la información y las posibles conclusiones a alcanzar.

¿Cómo presentar los resultados Simce?

Resultados según puntajes promedio nacional Simce 4.° básico

Prueba Puntaje promedio ₂₀₁₂ Puntaje promedio evaluación anterior Variación con respecto a la evaluación anterior Comprensión de

Lectura 267 267 0 Se puede concluir que a nivel nacional,

se obtiene un resultado similar al de la evaluación anterior, pues tiene 0, 2 y 3 puntos más, diferencia que no es significativa. Matemática 261 259 2 Historia, Geografía y Ciencias Sociales 258 255 3

Nota: La simbología sobre variaciones significativas presentada en la tabla anterior se describe en el Material de apoyo, Ficha 1 del presente taller.

(45)

43

Resultados según puntajes promedio del establecimiento Simce 4.° básico

Prueba Puntaje promedio ₂₀₁₂

Variación con respecto a la evaluación anterior Comparación con establecimientos del mismo GSE

Se puede concluir que el establecimiento obtiene un resultado más alto respecto a otros establecimientos del mismo GSE, pues tiene 5, 13 y 16 puntos más, diferencia que sí es estadísticamente significativa en cada prueba. Comprensión de Lectura 289 10 5 Matemática 292 ₁ ₁₃ Historia, Geografía y Ciencias Sociales 294 19 16

Se puede concluir que el

establecimiento obtiene en Historia, Geografía y Ciencias Sociales un resultado más alto respecto a la evaluación anterior, pues tiene 19 puntos más, diferencia que sí es estadísticamente significativa.

Se puede concluir que el establecimiento obtiene en Comprensión de Lectura y Matemática un resultado similar respecto a la evaluación anterior, pues tiene 10 y 1 puntos más, respectivamente, diferencia que no es estadísticamente significativa.

Nota 1: La simbología sobre variaciones significativas presentada en la tabla anterior se describe en el Material de Apoyo Ficha 3 del presente taller.

Nota 2: El presente ejemplo refiere a una situación ficticia.

La comparación de resultados solo puede llevarse a cabo entre los puntajes promedio de una misma prueba y no entre diferentes asignaturas, ya que los puntajes promedio de distintas pruebas no son equivalentes.

No es correcto realizar comparaciones de puntaje cuando uno de los establecimientos comparados tiene menos de seis estudiantes. Esto, porque en un grupo pequeño, un estudiante representa un porcentaje muy alto del total del curso.

Se sugiere comparar y establecer si hubo diferencias significativas o no con otros establecimientos del mismo GSE para dar mayor contexto a los resultados.

(46)

Porcentaje de estudiantes del establecimiento en cada Nivel de Aprendizaje según los resultados Simce 4.° básico

Estándar de Aprendizaje Comprensión de _Lectura Matemática Historia, Geografía y _{Ciencias Sociales}

Nivel de Aprendizaje Adecuado 59,6% 45,5% 52,3%

Nivel de Aprendizaje Elemental 28,1% 45,5% 38,6%

Nivel de Aprendizaje Insuficiente 12,4% 9,1% 9,1%

La información se puede describir mediante un análisis por cada asignatura y Nivel de Aprendizaje. Por ejemplo:

• Más de la mitad de los estudiantes ha logrado de modo satisfactorio las exigencias curriculares para Comprensión de Lectura (Nivel de Aprendizaje Adecuado).

• Casi un tercio ha logrado de modo parcial lo exigido en el currículo (Nivel de Aprendizaje Elemental).

• Finalmente, un 12% no logra demostrar de modo consistente los aprendizajes elementales esperados para

• Comprensión de Lectura (Nivel de Aprendizaje Insuficiente).

Para un análisis general de los resultados, algunas conclusiones posibles son:

• Más de la mitad de los estudiantes evaluados de 4.° básico logran los aprendizajes exigidos en el currículo para Comprensión de Lectura, Matemática, e Historia, Geografía y Ciencias Sociales.

• En Matemática, casi un 50% de los estudiantes de 4.° básico ha alcanzado de modo parcial los aprendizajes exigidos en el currículo por lo que requieren mayor apoyo en esta asignatura (Nivel de Aprendizaje Elemental).

• Aproximadamente, un 10% de los estudiantes evaluados en 4.° básico no logra demostrar en forma consistente los aprendizajes definidos en el currículo para las asignaturas evaluadas.

Nota: El presente ejemplo refiere a una situación ficticia.

Si un establecimiento tiene menos de 20 estudiantes, es adecuado realizar las comparaciones observando el número de estudiantes y no el porcentaje de estudiantes en cada nivel. Hay que recordar que, en un grupo pequeño, cada estudiante representa un porcentaje muy alto del total del curso.

(47)

45

Actividad 2. Reflexión sobre los resultados Simce

Objetivo: Dialogar y reflexionar colectivamente sobre los resultados Simce presentados, reconociendo la diversidad de desempeños que pueden observarse en cada asignatura.

Modo de trabajo: Discusión colectiva entre los participantes y plenario. Responsables: Jefe de UTP o Coordinador Pedagógico.

Tiempo aprox.: 25 minutos.

Discutir sobre los resultados Simce presentados por el equipo directivo.

Dialogar y reflexionar sobre los resultados del establecimiento a partir de las preguntas de la Ficha 1 del taller.

Exponer las conclusiones de cada equipo en un plenario.

Elegir por equipo a un vocero que los represente en la puesta en común. A través de los voceros, cada equipo expone las conclusiones de la Ficha 1.

¿Cómo formar los equipos de trabajo?

Con el objetivo de optimizar el análisis de la información y la posterior reflexión, se sugiere:

• Formar equipos de trabajo heterogéneos, es decir, que integren a directivos, asistentes de la educación y docentes de diversas asignaturas y cursos. En lo posible, favorecer la participación de los sostenedores.

• Contar con la presentación impresa de resultados para cada equipo de trabajo. • Formar equipos de trabajo pequeños (5 personas como máximo).

¿Cómo orientar la discusión sobre los resultados Simce del establecimiento?

Para la discusión en cada equipo de trabajo se invita que sus integrantes dialoguen y respondan las preguntas indicadas en la Ficha 1.

Es importante recalcar que esta discusión corresponde a una primera aproximación del análisis de los resultados Simce del establecimiento. Por ello, se sugiere complementar este trabajo con el taller Aprendizajes logrados por los estudiantes, disponible en www.agenciaeducacion.cl y en esta Guía Práctica.

(48)

Ficha 1. Diálogo y reflexión sobre los resultados del establecimiento 1. ¿Son estos resultados de aprendizaje los esperados?

2. ¿Qué aspectos importantes se pueden identificar en estos resultados?

3. ¿Qué tan diversos son los aprendizajes que demuestran los estudiantes?

4. ¿A qué factores y causas internas del establecimiento es posible atribuir estos resultados?

(49)

47

¿Cómo exponer las conclusiones de cada equipo?

Para exponer en forma adecuada las conclusiones se recomienda que cada equipo:

• Presente sus reflexiones utilizando algún material o recurso gráfico de apoyo, por ejemplo, papelógrafos, cartulinas, entre otros.

• Disponga del tiempo adecuado para la exposición de cada equipo participante.

• Coordine las intervenciones de los participantes para que estas se refieran a los resultados como consecuencia del desempeño de la comunidad escolar y no de un docente en particular o de un grupo de estos.

(50)

Actividad de cierre: conclusiones, y acciones para la presentación de resultados

Objetivo: Sistematizar las conclusiones, metas y compromisos acordados para incorporar nuevas acciones al plan de trabajo del establecimiento.

Modo de trabajo: Trabajo individual del responsable del taller. Responsables: Jefe de UTP o Coordinador Pedagógico. Tiempo aprox.: 10 minutos.

Identificar las principales conclusiones, acuerdos y compromisos establecidos en las actividades del taller.

¿Cómo generar acuerdos y compromisos?

Considerando los análisis generados en las actividades anteriores, se recomienda que el responsable del taller sistematice las principales conclusiones, acuerdos y compromisos. A partir de ello, se recomienda delinear nuevas acciones para ser integradas en el plan de trabajo del establecimiento.

Para lo anterior, se propone responder las preguntas de la Ficha 2 de este taller, considerando de modo fundamental lo expuesto en el plenario de la actividad anterior.

Finalmente, se invita al equipo directivo a socializar esta sistematización con la comunidad escolar, de acuerdo a la modalidad que el propio equipo determine.

(51)

49

Ficha 2. Conclusiones y acciones a incorporar en el plan de trabajo del establecimiento

1. ¿Los resultados de aprendizaje presentados eran los esperados por los docentes, directivos, asistentes de la educación y el sostenedor del establecimiento?

2. ¿Qué tan diversos son los aprendizajes de los estudiantes según la opinión de los docentes, directivos, asistentes de la educación y el sostenedor del establecimiento?

3. ¿A qué factores y causas internas del establecimiento se atribuyeron los resultados?

4. ¿Qué conclusiones importantes se obtuvieron en cada equipo de trabajo a partir de los resultados Simce del establecimiento?

5. De acuerdo a lo anterior, ¿qué acciones (pedagógicas, de gestión, etc.) pueden incorporarse al plan de trabajo del establecimiento?

(52)

MATERIAL DE APOYO PARA EL TALLER

1. Conceptos clave para el análisis de resultados Simce

Ficha 1. Esquemas de conceptos clave para el análisis de resultados Simce

¿Cuándo una diferencia de puntaje refleja una variación significativa en los aprendizajes?

Simce utiliza los siguientes símbolos para indicar las diferencias:

El puntaje promedio es _{Socioeconómico (GSE).} similar al de la evaluación anterior o al de establecimientos del mismo Grupo

El puntaje promedio del establecimiento es significativamente más alto respecto a la evaluación anterior o al puntaje de establecimientos del mismo GSE.

El puntaje promedio del establecimiento es significativamente más bajo respecto a la evaluación anterior o al puntaje de establecimientos del mismo GSE.

Es importante prestar más atención al símbolo que a la diferencia numérica de puntaje.

Ficha 2 Clasificación de establecimientos según GSE

Los establecimientos son clasificados en cinco grupos socioeconómicos definidos para la prueba Simce:

(53)

51 Ficha 3. Estándares de Aprendizaje

¿Qué son? Describen aquello que los estudiantes deben saber y poder hacer en determinados cursos _{y asignaturas, es decir, expresa la exigencia curricular.}

¿Cómo se clasifican?

• Nivel de Aprendizaje Adecuado

• Nivel de Aprendizaje Elemental

• Nivel de Aprendizaje Insuficiente

¿Qué utilidad tienen?

Por ejemplo:

• Comunicar resultados de aprendizaje con mayor significado.

• Calificar los resultados obtenidos basándose en criterios nacionalmente acordados.

• Servir de referentes para definir metas y compromisos en el establecimiento.

Nota: Para conocer la descripción de cada nivel de aprendizaje para cada grado y asignatura evaluados, visite la página web del MINEDUC http://www.mineduc.cl/index5_int.php?id_portal=47&id_contenido=17116&id_seccion=3264&c=6919

(54)

2. Ejemplos de comparaciones incorrectas de resultados Simce en un mismo año

Entre los distintos resultados de aprendizaje entregados por Simce, realizar ciertas comparaciones resulta incorrecto, pues no entregan información acerca de los aprendizajes que logran los estudiantes de los grupos que se desea comparar.

A continuación, se presentan ejemplos de comparaciones incorrectas.

Ejemplo 1

¿Se pueden comparar los puntajes promedio Simce que obtienen los estudiantes de un establecimiento en las distintas áreas o asignaturas?

En el Informe de Resultados Simce para Docentes y Directivos de su establecimiento, se presentan los puntajes promedio que obtienen sus estudiantes en las pruebas Simce de las distintas áreas o asignaturas.

Prueba Puntaje promedio 2012 Análisis incorrecto

Comprensión de Lectura 258 Los estudiantes en Comprensión de

Lectura obtienen 15 puntos más que en Matemática y 8 puntos más que en la prueba de Historia, Geografía y Ciencias Sociales.

Matemática 243

Ciencias Sociales 250

Los resultados de aprendizaje que obtienen los estudiantes en las pruebas Simce de las distintas áreas o asignaturas no son comparables. Lograr 243 puntos en Matemática y 258 puntos en Comprensión de Lectura no permite asegurar que los resultados son más altos en Comprensión de Lectura. Por lo anterior tampoco es posible concluir que los estudiantes obtienen mayores logros de aprendizaje en esta prueba.

(55)

53

Ejemplo 2

¿Se pueden comparar los puntajes promedio Simce de una misma asignatura que obtienen los estudiantes de distintos cursos?

Prueba Comprensión de

Lectura Puntaje promedio 2012 Análisis incorrecto

Comprensión de Lectura

2.° básico 237

En la prueba Simce de Comprensión de Lectura, los estudiantes de 4.° y 8.° básico tienen un resultado similar entre sí. En tanto, existe una brecha de 58 puntos entre los puntajes promedio de 2.° básico y II medio. Comprensión de Lectura 4.° básico 270 Comprensión de Lectura 8.° básico 271 Comprensión de Lectura II medio 295

Los resultados de aprendizaje que obtienen los estudiantes en las pruebas Simce de los distintos grados no son comparables. Lograr 237 puntos en 2.° básico y 271 puntos en 8.° básico no permite asegurar que los resultados son más altos en este último. Por lo anterior tampoco es posible concluir que los estudiantes obtienen mayores logros de aprendizaje en 8.° básico. Cada prueba Simce evalúa habilidades y conocimientos diferentes y representa diversas áreas del conocimiento para cada nivel evaluado.

(56)

Ejemplo 3

¿Se pueden comparar los puntajes promedio Simce que obtienen los estudiantes de distintos cursos de un mismo establecimiento?

Prueba Comprensión de Lectura Análisis incorrecto

Puntaje promedio

2.° básico “A” 237

En la prueba Simce de Comprensión de Lectura, el resultado de los estudiantes de 2.° básico “B” supera por 16 puntos al obtenido por el 2.° básico “A”. Esto indicaría que el curso “B” presenta mayores logros de aprendizaje que el curso “A”. Puntaje promedio

2.° básico “B” 253

Lograr 253 puntos en el curso “B” y 237 puntos en el curso “A” no permite asegurar que los resultados son más altos en el curso “B”. Por lo anterior, tampoco es posible concluir que los estudiantes obtienen mayores logros en el curso “B”.

Los resultados de aprendizaje que obtienen los estudiantes en las pruebas Simce de los distintos cursos no son directamente comparables, para hacerlo es necesario verificar si las diferencias entre puntajes son significativas, como se observa a continuación:

Para realizar comparaciones entre dos cursos del mismo establecimiento y saber si la diferencia entre los resultados es significativa, se debe considerar el número de estudiantes por curso. A continuación se presenta una tabla que permite identificar las diferencias de puntaje requeridas entre dos cursos para que éstas sean significativas.

(57)

55

Tabla 1. Las diferencias de puntaje requeridas para que los resultados entre dos cursos en Simce 4.° básico 2012 sean significativamente distintos

.

Cantidad de estudiantes Diferencia de puntaje significativa

Cursos de 36 o más estudiantes 10 puntos

1_{El curso “A” tiene 28 estudiantes y el} curso “B”, 36.

2_{Identificar la fila que contenga} el curso con menos estudiantes. En el ejemplo corresponde a 28 estudiantes.

3_{Identificar la diferencia de} puntaje requerida para que esta sea significativa. En el ejemplo corresponde a 13 puntos. 4_{Comparar ese dato con la diferencia de puntaje de ambos cursos para concluir si esta es significativa.}

Por lo tanto, si en el ejemplo los cursos “A” y “B” tienen una diferencia de 16 puntos, se puede concluir que esa diferencia sí es significativa y que el curso “B” sí logra mejores resultados que el curso “A”.

Ante eso se recomienda evaluar si los dos cursos tienen las mismas experiencias de aprendizaje e indagar en los factores que podrían estar influyendo en estas diferencias.

(58)

Ejemplo 4

¿Se pueden comparar los puntajes promedio Simce que obtienen los estudiantes de un establecimiento con los puntajes promedio que obtienen todos los estudiantes del país?

En el Informe de Resultados Simce para Docentes y Directivos de su establecimiento, se presentan los puntajes promedio nacionales y por establecimiento que obtienen los estudiantes en las pruebas Simce de las distintas áreas o asignaturas.

Puntajes promedio nacionales Puntajes promedio del establecimiento Prueba Puntaje promedio 2012 Prueba Puntaje promedio 2012

Comprensión de

Lectura 267 Comprensión de Lectura 238

Matemática 261 Matemática 230

Ciencias Sociales 258 Historia, Geografía y Ciencias Sociales 238

Análisis incorrecto

En las tres pruebas Simce los estudiantes de 4.° básico del establecimiento obtienen resultados más bajos que los estudiantes del país.

Es posible comparar para una misma asignatura los resultados de aprendizaje que logran los estudiantes del establecimiento y del país. Sin embargo, esta comparación no es recomendable pues los puntajes promedio nacionales no consideran los contextos de cada establecimiento. En la siguiente página se presenta el análisis correcto.

(59)

57

Es recomendable comparar y establecer si hubo diferencias significativas o no con otros establecimientos del mismo GSE para dar mayor contexto a los resultados, tal cual aparece en los Informes de Resultados Simce para Docentes y Directivos de los diferentes grados evaluados.

Prueba Puntaje promedio ₂₀₁₂ Variación con respecto a la

evaluación anterior Comparación con establecimientos de mismo GSE Comprensión de Lectura 238 -26 -15 Matemática 230 -30 -16 Historia, Geografía y Ciencias Sociales 238 -5 -4

Nota: En Material de apoyo, se encuentra el significado de los símbolos que acompañan los puntajes promedio de la tabla.

Es importante que al observar los resultados Simce se ponga atención en el puntaje promedio y en el símbolo que lo acompaña más que en la diferencia de puntajes.

(60)

REFERENCIAS

Aylwin, M., Muñoz, A., Flanagan, A., Ermter, K., Corthorn, C. y Pérez, L. (2005a). Evaluación de calidad para nuestra comunidad escolar. Guía de apoyo para directoras y directores. Santiago de Chile: MINEDUC / UNICEF. Aylwin, M., Muñoz, A., Flanagan, A., Ermter, K., Corthorn, C. y Pérez, L. (2005b). Buenas prácticas para una pedagogía efectiva. Guía para profesoras y profesores. Santiago de Chile: MINEDUC / UNICEF.

Bellei, C., Muñoz, G., Pérez, L. M. y Raczynski, D. (2003). Escuelas efectivas en sectores de pobreza. En R. Hevia (Ed.) La Educación en Chile, hoy (pp. 347-372). Santiago de Chile: Ediciones Universidad Diego Portales.

Eyzaguirre, B., y Fontaine, L. (1999). ¿Qué mide realmente el SIMCE? En Estudios Públicos, 75, 107 - 161. Ministerio de Educación de Chile. (2005). Marco para la Buena Dirección. Santiago: Ministerio de Educación. Ministerio de Educación de Chile. (2008). Marco para la Buena Enseñanza. Santiago: Ministerio de Educación. Ministerio de Educación de Chile. (2013a). Modelo de Calidad de la Gestión Escolar. Santiago de Chile. Ministerio de Educación. Recuperado de http://www.agenciaeducacion.cl/wp-content/uploads/2013/02/ Modelo-de-Calidad-del-Gesti%C3%B3n-Escolar.pdf [febrero, 2014].

Ministerio de Educación de Chile. (2013b). Estándares de Aprendizaje. 4° y 8° básico. Lectura, Matemática, Ciencias Naturales, e Historia, Geografía y Ciencias Sociales. Santiago de Chile: Ministerio de Educación Recuperado de http://www.mineduc.cl/index5_int.php?id_portal=47&id_contenido=17116&id_seccion= 3264&c=6919. pdf [febrero, 2014].

En las siguientes páginas web, podrá encontrar información de apoyo para trabajar este taller:

(61)

(62)

TALLER APRENDIZAJES LOGRADOS

POR LOS ESTUDIANTES

Analizar los resultados de aprendizaje permite a los docentes y directivos definir en qué medida los estudiantes logran los aprendizajes señalados en el currículo por el Ministerio de Educación para cada asignatura y grado. Además, les permite determinar las fortalezas y elementos a mejorar en los programas y planificaciones.

De acuerdo a esto, el presente taller tiene como propósito que docentes y directivos analicen y comprendan los resultados de aprendizaje, en relación a las habilidades y conocimientos evaluados, a través de pruebas internas y externas. De esta manera se podrán identificar de forma efectiva los aprendizajes logrados por los estudiantes y aquellos que requieren mayor apoyo.

En la primera parte se presentan los objetivos del taller; luego se muestra una síntesis de las actividades propuestas y el desarrollo de estas. Finalmente, se incluye material de apoyo para el desarrollo del taller.