Inicia: de evaluación
diagnóstica a evaluación
con consecuencias
Paula Lacerna Jorge Manzi Lorena Meckes Seminario Internacional Medición Educacional y Responsabilización 24 mayo 2011Índice
Antecedentes e instalación de la Evaluación
Inicia
Desafíos para la medición en contexto de
crecientes consecuencias
Percepción de los evaluados acerca de su
preparación profesional
Selección al ingreso y resultados en Inicia:
desafíos para las instituciones
Percepción acerca de las estrategias de las
Antecedentes de la Evaluación
Comisiones previas
Características de programa Inicia
Programa INICIA:
Estándares para egresados
Fondo de apoyo
Evaluación diagnóstica
Qué se evalúa
Conocimientos disciplinarios
Conocimientos pedagógicos
Competencias generales: expresión
Instalación de la Evaluación Inicia
Anuncio del programa:
Presencia de Decanos de las Facultades de
Educación
Evaluación sólo con objetivos diagnósticos.
Buen nivel de asistencia primer año.
39 IES participantes; 66% de asistencia en
estudiantes.
Trabajo posterior sistemático con autoridades
y académicos de las Facultades
Conformación de Comisión técnica del CRUCH Participación en la construcción de preguntas.
Desafíos de la instalación
Marco temporal restringido para la primera
evaluación.
Operación que garantice confidencialidad de
la información individual e institucional.
La comunicación de resultados en contexto
de ausencia de estándares y por consecuencia de puntos de corte.
Contexto y desafíos:
Ausencia de puntos de corte y de estándares de egreso Presión pública por conocer resultados y su significado.
Resultados Prueba conocimientos disciplinarios 2008
Instalación de la Evaluación:
La comunicación de los resultados
Prueba de conocimientos
disciplinarios (2008) que rinden Alumnos
Promedio Porcentaje de
Respuestas Correctas
Generalista 1720 47%
Lenguaje Segundo Ciclo 115 42%
Matemática Segundo Ciclo 105 39%
Sociedad Segundo Ciclo 42 40%
Instalación de la Evaluación:
La comunicación de los resultados
Referente para la interpretación de los resultados 2009:
Instalación de la Evaluación:
¿Cómo interpretar y comunicar los resultados?
Resultado más relevante: Variabilidad de resultados (2008)
% d e ev al u ad o s % de logro en la prueba
Instalación de la Evaluación:
¿Cómo interpretar y comunicar los resultados?
Resultado más relevante: Diferencias entre instituciones (2009)
0 2 6 3 5 5 1 0 0 1 2 3 4 5 6 7
Instituciones sobre 10 inscritos y 70% de asistencia (N=22)* % de logro en la prueba N d e in sti tu ci o n e s
Instalación de la Evaluación:
Efectos públicos
Alto y creciente nivel de participación.
La prueba se legitima como un referente para
juzgar la calidad de la formación de profesores.
Pese a la ausencia de estándares, los
resultados agudizan la consciencia de la necesidad de mejorar la formación inicial docente.
Evolución hacia una evaluación con
consecuencias
El 2010 se invitó a las instituciones a publicar
sus resultados.
Disposición en la ley de presupuesto 2010: los
resultados de las instituciones deben ser públicos.
La gran mayoría ratifica su participación. Sólo 2
instituciones retiran su participación a último minuto.
Asistencia no decae, pese a información ambigua
Evolución hacia una evaluación con
consecuencias
El 2010 se invitó a las instituciones a
publicar sus resultados.
Disposición en la ley de presupuesto
2010: los resultados de las instituciones
deben ser públicos.
La gran mayoría ratifica su participación.
Sólo 2 instituciones retiran su participación después del cambio de condiciones.
Evolución hacia una evaluación con
consecuencias
Panel de expertos 2010:
Deficiencias detectadas:
• Explosión de las carreras de pedagogía
• Menor número de años de acreditación de éstas respecto de otras carreras.
Surgen propuestas:
• Examen de habilitación exigible para enseñar en establecimientos con subvención estatal.
• Resultados deberán ser públicos.
• Acreditación de carrera debe considerar estos resultados. • Examen deberá estar a cargo de un consejo que dé
Evolución hacia una evaluación con
consecuencias
Proyecto de Ley (2010):
Examen de excelencia profesional docente.
Evaluación de conocimientos disciplinarios que
arroje información a las instituciones formadoras; egresados de pedagogía; futuros estudiantes; sostenedores.
Haber rendido el examen será requisito para ser
contratado en el sistema subvencionado.
Establece asignación de excelencia pedagógica
inicial.
Resultados de instituciones serán públicos y estas
Desafíos para la medición derivados de un
escenario de crecientes consecuencias
1. Comparabilidad de los instrumentos y de los resultados en el tiempo: para que decisiones que se tomen a partir de los resultados no dependan de la dificultad de las pruebas cada año.
2. Liberación de preguntas y constante renovación del banco de ellas.
3. Significado de los resultados: no basta con el puntaje, es necesario establecer puntajes de corte asociados a
Desafíos para la medición derivados de un
escenario de crecientes consecuencias
4. Publicación de resultados institucionales y su comparación:
requiere contar con información confiable y actualizada
sobre el universo potencial de participantes para determinar representatividad de la muestra que rinde por institución.
5. Estudiar la validez predictiva de los resultados de la evaluación.
6. Qué evaluar y cómo: conocimiento de las disciplinas que se enseñará, conocimientos pedagógico, conocimiento
pedagógico del contenido, competencias profesionales generales y competencias específicas para enseñar.
Algunos ejemplos de experiencia internacional en evaluaciones externas:
USA: todos los estados exigen aprobar exámenes
de conocimiento disciplinario, la mayoría además
conocimiento pedagógico general o específico y demostrar desempeño en primer año de
inducción.
USA y UK: se exige haber aprobado pruebas de
habilidades básicas que deben ser presentados
para certificación.
Corea: evalúa conocimientos, conocimientos
pedagógicos, competencias pedagógicas, inglés, aptitudes y actitudes (estas últimas a través de
Ejemplos de tarea en pruebas de conocimiento pedagógico
Considere el siguiente objetivo de aprendizaje para una clase de 8vo básico de niñas y niños (80 min):
“Los estudiantes construyen gráficos adecuados a partir de
datos y establecen afirmaciones cuantitativas acerca de las relaciones entre las variables”.
1. Proponga una secuencia de actividades para lograr el objetivo.
2. Indique qué habilidad de lectura necesita desarrollar y por qué e incluya una actividad para lograrlo.
3. Proponga tres evaluaciones, una diagnóstica inicial,
otra para monitorear el progreso y una sumativa final
para determinar si se logró el objetivo.
Fundamente, para alguna de ellas, por qué permite
recoger evidencia sobre el logro del objetivo.
Dos dimensiones
Prueba de Conocimientos Disciplinarios Prueba de Conocimientos Pedagógicos r=0,59** (N=1.464) ** Significativo al 0,01.Correlaciones entre percepción de
preparación y Pruebas INICIA
Indididual Por Institución
PCD PCP PCD PCP
Preparación Matemática 0.31 0.10 0.43 0.37
Preparación Lenguaje 0.04 0.06 0.21 0.29
Preparación Comp. Medio -0.02 -0.04 -0.19 -0.10 Preparación Pedagógica -0.05 -0.08 -0.08 0.06
Percepción de Preparación en Conocimientos Disciplinarios (2010) 53% 47% 44% 42% 0% 20% 40% 60% 80% 100% Lenguaje Matemáticas Ciencias Naturales Historia, Geografía y Ciencias Sociales
Porcentaje de evaluados que declara sentirse "Bien preparado" o "Muy bien preparado"
Percepción de Preparación en Conocimientos Pedagógicos (2010) 73% 68% 60% 57% 54% 0% 20% 40% 60% 80% 100%
Pedagogía y Didáctica General Lenguaje Matemáticas Ciencias Naturales Historia, Geografía y Ciencias Sociales
Porcentaje de evaluados que declara sentirse "Bien preparado" o"Muy bien preparado"
Percepción de Preparación en Habilidades Pedagógicas 89% 88% 87% 83% 83% 80% 79% 47% 0% 20% 40% 60% 80% 100% Planificar clases
Evaluar conocimientos y habilidades
Manejar un grupo de alumnos
Adaptar las estrategias de enseñanza Utilizar estrategias para aprendizaje de diferentes contenidos Enfrentar los desafíos de aprendizaje de diferentes disciplinas Enfrentar las dificultades de aprendizaje de las diferentes etapas del desarrollo Enseñar a estudiantes con necesidades educativas especiales
Porcentaje de evaluados que declara sentirse "Bien preparado" o "Muy bien preparado"
Percepción de Preparación en Habilidades y
Dimensiones del Quehacer Pedagógico
¿Qué efectos puede tener y está teniendo la evaluación en la formación y la preparación de los estudiantes de pedagogía?
Selección al ingreso y resultados en Inicia
desafíos para las instituciones
r=0,88** Selección de los mejores estudiantes aumenta expectativa de resultados en Inicia
Desafíos de una evaluación con consecuencias:
efectos en las instituciones
Instituciones de Educación Superior Con igualdad de condiciones de ingreso, algunas facultades logran mejores resultados
Desafíos de una evaluación con consecuencias:
efectos en las instituciones
Instituciones de Educación Superior ¿Qué características de la formación se relacionan con una mayor “efectividad”?
Desafíos de una evaluación con
consecuencias
Dos grandes desafíos:
1. Lograr buenos resultados en la Evaluación.
2. “Agregar valor”, y superar los resultados que,
por selección, se puede esperar a nivel de la institución.
Desafíos de una evaluación con
consecuencias:
efectos en las instituciones
Tres formas de enfrentar el desafío:
1. Seleccionar a los estudiantes que ingresan a
pedagogía
2. Mejorar la calidad de la formación
profesional
Desafíos de una evaluación con
consecuencias:
efectos en la preparación
¿Su Institución preparó para la Evaluación INICIA?
0% 20% 40% 60% 80% 100% No contesta No Si % de Ev alu ad os Pe d Bás ica
Tipo de preparación institucional 94% 85% 85% 11% 0% 20% 40% 60% 80% 100% Entrega de información acerca de INICIA Talleres de entrenamiento
para preparar INICIA Motivación a participar en
evaluación INICIA
Otro tipo de preparación
Evaluados que declaran que su institución preparó…
Desafíos de una evaluación con
Desafíos de una evaluación con
consecuencias:
efectos en la preparación
0% 20% 40% 60% 80% 100% No contesta No Si
% Evaluados Ped. Básica
Desafíos de una evaluación con
consecuencias:
efectos en la preparación
Tipo de preparación realizada por cuenta propia
80% 74% 40% 39% 32% 0% 20% 40% 60% 80% 100%
Estudio del material de clases Búsqueda de información
respecto de INICIA
Entrenamiento con pruebas tipo INICIA
Revisión de ejemplos de preguntas de INICIA Estudio de evaluaciones
pasadas de la carrera
¿Qué dicen los evaluados sobre su
formación?
Contenidos de la Evaluación Inicia cubiertos por el Curriculum Institucional 0 5 10 15 20 25 30 0% - 20% 21% - 40% 41% - 60% 61% - 80% 81% - 100% N de Institu cion es
% de Contenidos Inicia cubiertos por Curriculum Institucional
Qué dicen los evaluados sobre la
evaluación y su formación
Énfasis del Programa de Formación
83% 62% 64% 57% 46% 0% 20% 40% 60% 80% 100% Práctica Fundamentos Pedagogía y didáctica general Didáctica de las disciplinas a
enseñar
Conocimiento de las disciplinas a enseñar
Porcentaje de evaluados que declara que se le dio bastante o mucho énfasis al área
Conclusiones
Alta participación de instituciones y de sus
egresados ha favorecido la rápida
instalación de esta evaluación
Resultados fuertemente correlacionados
con los puntajes de admisión sugieren un
débil “valor agregado” de la formación
docente, lo que también abre la discusión
acerca de las condiciones mínimas para
garantizar una buena formación docente.
Conclusiones
Impacto público de la evaluación diagnóstica
demuestra la relevancia que tiene la información para orientar la discusión y toma de decisiones en este ámbito.
Se constatan efectos de las mediciones y
discusión de estándares en las facultades de educación (aunque es prematuro juzgar la valencia de estos efectos). Es fundamental monitorear los ajustes que estas mediciones están promoviendo en las facultades.