Evaluaciones en matemáticas y sus conclusiones para los docentes. Baeza 22 de Mayo, 2015

(1)

Evaluaciones en matemáticas y sus

conclusiones para los docentes

(2)

http://www.mecd.gob.es/inee/

Síguenos en Twitter:

@educaINEE

(3)

Relación entre el rendimiento del alumnado, la existencia

de exámenes externos y la autonomía de los centros



_{El gráfico de Hanushek y}

Woessmann muestra que la

autonomía de los centros combinada

con la existencia de pruebas

externas y estandarizadas es la

combinación que proporciona

mejores resultados.



_{La segunda mejor combinación es}

pruebas externas sin autonomía.

(4)

Rendición de cuentas, logros en educación postsecundaria y ganancias

(5)

Evidencia del impacto de los docentes resumida por Ganimian (2015)

(6)

Rendición de cuentas, logros en educación postsecundaria y ganancias

_{El estudio TSP (Texas Schools Project), a finales de los 90 demostró que los}

centros reaccionan ante el riesgo de que los etiqueten como de bajo rendimiento, de forma que aumentan el aprendizaje de alumnos en las pruebas estatales.

Alumnos de estos centros educativos aumentaros también la probabilidad de acudir a la Universidad en 1% y mejoraron su salario a los 25 años también en un 1%.

Los centros con riesgo de ser clasificados como de “bajo Rendimiento” mejoran un 4% de la DT sus resultados en matemáticas de sus alumnos, mientras que los rezagados lo hacen en un 7% de la DT.

Importancia de que el resultado relevante sea el del sub-grupo con peor rendimiento

_{Por el contrario, no parece haber repercusión global en los centros que se}

enfrentan a una mayor presión por la rendición de cuentas.

Deming, D., Cohodes, S. ; Jennings, J. y Jencks(2013): School Accountability, Postsecondary Attainment and Earnings

(7)

The impact of No Child Left Behind’s accounatbility sanctions

on School Performance (Ahn y Vigdor, 2014)

Ahn y Vigdor (2014) contrastan la evolución de los resultados de centros educativos que, por muy poco margen, no han superado el umbral fijado de mejora educativa y han recibido algún tipo de sanción

El diseño de regresión discontinua permite a Ahn y Vigdor (2014) encontrar que la posibilidad de cambiar el equipo directivo y la gestión del centro

mejora el aprendizaje de los alumnos (hasta en un 5,5% de la desviación típica en matemáticas).



Una evidencia que apunta a la relevancia de la dirección y gestión de los centros en la calidad de la educación.

Alumnos por debajo de la media en centros que por dos años no han cumplido los criterios por escaso margen tienen 11% de la DT más de

rendimiento que alumnos también por debajo de la media pero en centros que el año superaron el umbral por muy poco.

(8)

School Accountability. Survey de Loeb y Figlio (2011)

La mayoría de los estudios encuentran un efecto positivo de la introducción de pruebas externas y estandarizadas, sobre todo en matemáticas

El tratamiento por sub-grupos de NCLB ha sido muy positivo para ayudar a alumnos rezagados

Las mejoras permanecen en el tiempo, con más tasas de graduación, créditos tomados en matemáticas, desempeño laboral

Importante que las pruebas se introduzcan gradualmente, se cuide el diseño y se monitoricen

Riesgo de que se estudie solo las competencias que se evalúan

_{Complementar pruebas externas con datos de graduados, absentismo} Relevante que sean percibidas por la comunidad educativa como justas

(9)

_{Otro estudio llevado a cabo en Nueva York en 2007, basado en el método del}

premio-consecuencia empezó utilizando las pruebas propias de los estudiantes, así como otras medidas para asignar a cada escuela un grado (A - F). Tanto los resultados de matemáticas como de inglés mejoraron en las escuelas que recibieron calificaciones muy bajas en la rendición de cuentas.

_{Estos resultados sugieren que la presión debida a la rendición de cuentas puede inducir}

mejoras en el rendimiento de los estudiantes en un corto período de tiempo,

especialmente si no hay manipulación de la muestra de los estudiantes, ni reducciones en la oferta de clases de asignaturas de las cuales no se van a examinar.

Rockoff, E. & Turner, L. (2010). Short run impacts of accountability on school quality

(10)

(11)

Nivel 1 Nivel 1 Nivel 1 Nivel 1 Nivel 1 Nivel 1

Nivel 1 Nivel 2Nivel 2Nivel 2Nivel 2Nivel 2Nivel 2Nivel 2 Nivel 3Nivel 3Nivel 3Nivel 3Nivel 3Nivel 3Nivel 3 Nivel 4Nivel 4Nivel 4Nivel 4Nivel 4Nivel 4Nivel 4

Promedio OCDE (494) Promedio UE (489) México (413) Chile (423) Turquía (448) Grecia (453) Israel (466) Hungría (477) Suecia (478) Estados Unidos (481) Eslovaquia (482) España (484) Italia (485) Portugal (487) Noruega (489) Luxemburgo (490) Islandia (493) Reino Unido (494) Francia (495) República Checa (499) Nueva Zelanda (500) Dinamarca (500) Eslovenia (501) Irlanda (501) Australia (504) Austria (506) Alemania (514) Bélgica (515) Polonia (518) Canadá (518) Finlandia (519) Estonia (521) Países Bajos (523) Suiza (531) Japón (536) Corea del Sur (554)

400 420 440 460 480 500 520 540 560

11

Programa para la Evaluación Internacional de los Alumnos (PISA 2012)

Posición de España entre los 34 países de la OCDE

España obtiene 484 puntos en

matemáticas, 10 puntos menos que el promedio de la OCDE (494), siendo esta diferencia significativa

estadísticamente.

II. Resultados en matemáticas

(12)

12

II. Resultados en matemáticas

 No se producen cambios significativos en los resultados de España en matemáticas a lo largo del tiempo.

Como indica la OCDE, la comparación

de resultados se realiza con ediciones de PISA en donde matemáticas ha sido el área central de evaluación.

Si tenemos en cuenta la mejora en el

estatus socio-económico de los alumnos entre 2003 y 2012, hay una tendencia negativa en el rendimiento de los alumnos en matemáticas. 485 484 0 100 200 300 400 500 600 PISA 2003 PISA 2012

Evolución del rendimiento en matemáticas en España

(13)

13

Porcentaje de alumnos rezagados (niveles <1 y 1)

Porcentaje de alumnos excelentes (niveles 5 y 6)

II. Resultados en matemáticas

_{El porcentaje de alumnos en los niveles bajos y el porcentaje de alumnos en los niveles}

altos no experimentan cambios significativos en PISA 2012.

23 24 21 23 0% 10% 20% 30% 2003 2012 España OCDE 8 8 15 13 0% 10% 20% 30% 2003 2012 España OCDE

_{La proporción de alumnos situados en los niveles bajos de rendimiento es similar al de}

la OCDE. La diferencia se encuentra en la escasa presencia de estudiantes de nuestro país en los niveles altos.

(14)

-3 -3 -3 -3 -3 -3 -3 -3 -3 -3 -3 -3 -3 -3 -3 -3 -3 -3 -3 -3 -3 -3 -3 -3 -3 -3 -3 -3 -9 -9 -9 -9 -9 -9 -9 -9 -9 -9 -9 -9 -9 -9 -9 -9 -9 -9 -9 -9 -9 -9 -9 -9 -9 -9 -9 -9 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 9 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 14 14 14 14 14 14 14 14 14 14 14 14 14 14 14 14 14 14 14 14 14 14 14 14 14 14 14 14 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 28 28 28 28 28 28 28 28 28 28 28 28 28 28 28 28 28 28 28 28 28 28 28 28 28 28 28 28 -12 -12 -12 -12 -12 -12 -12 -12 -12 -12 -12 -12 -12 -12 -12 -12 -12 -12 -12 -12 -12 -12 -12 -12 -12 -12 -12 -12 15 15 15 15 15 15 15 15 15 15 15 15 15 15 15 15 15 15 15 15 15 15 15 15 15 15 15 15 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 -16 -16 -16 -16 -16 -16 -16 -16 -16 -16 -16 -16 -16 -16 -16 -16 -16 -16 -16 -16 -16 -16 -16 -16 -16 -16 -16 -16 -8 -8 -8 -8 -8 -8 -8 -8 -8 -8 -8 -8 -8 -8 -8 -8 -8 -8 -8 -8 -8 -8 -8 -8 -8 -8 -8 -8 -17 -17 -17 -17 -17 -17 -17 -17 -17 -17 -17 -17 -17 -17 -17 -17 -17 -17 -17 -17 -17 -17 -17 -17 -17 -17 -17 -17 -13 -13 -13 -13 -13 -13 -13 -13 -13 -13 -13 -13 -13 -13 -13 -13 -13 -13 -13 -13 -13 -13 -13 -13 -13 -13 -13 -13 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 -4 -4 -4 -4 -4 -4 -4 -4 -4 -4 -4 -4 -4 -4 -4 -4 -4 -4 -4 -4 -4 -4 -4 -4 -4 -4 -4 -4 -13 -13 -13 -13 -13 -13 -13 -13 -13 -13 -13 -13 -13 -13 -13 -13 -13 -13 -13 -13 -13 -13 -13 -13 -13 -13 -13 -13 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 -5 -5 -5 -5 -5 -5 -5 -5 -5 -5 -5 -5 -5 -5 -5 -5 -5 -5 -5 -5 -5 -5 -5 -5 -5 -5 -5 -5 -3 -3 -3 -3 -3 -3 -3 -3 -3 -3 -3 -3 -3 -3 -3 -3 -3 -3 -3 -3 -3 -3 -3 -3 -3 -3 -3 -3 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 -30 -20 -10 0 10 20 30

Dif. Papel - Ordenador

Nivel 2 Nivel 2 Nivel 2 Nivel 2 Nivel 2 Nivel 2

Nivel 2 Nivel 3Nivel 3Nivel 3Nivel 3Nivel 3Nivel 3Nivel 3 Nivel 4Nivel 4Nivel 4Nivel 4Nivel 4Nivel 4Nivel 4 Promedio OCDE (497) Chile (432) Israel (447) Hungría (470) España (475) Cataluña (483) Eslovenia (487) Portugal (489) Polonia (489) Suecia (490) País Vasco (490) Madrid (493) Irlanda (493) Dinamarca (496) Eslovaquia (497) Noruega (498) Estados Unidos (498) Italia (499) Austria (507) Australia (508) Francia (508) Alemania (509) Bélgica (511) Estonia (516) Canadá (523) Japón (539) Corea del Sur (553)

420 440 460 480 500 520 540 560

RESULTADOS DE MATEMÁTICAS

POR ORDENADOR

• En la prueba por ordenador han

participado 32 de los 65 países participantes en el estudio.

•España consigue 475 puntos en

matemáticas digitales, 22 puntos menos que la media de la OCDE (497) y con diferencia

estadísticamente significativa.

•Los resultados en matemáticas

por ordenador también son inferiores a los obtenidos en las pruebas en papel (484).

(15)

Chile

Israel Hungría

República Eslovaca _{Portugal Luxemburgo} Francia Nueva Zelanda

Alemania Turquía Grecia España Reino Unido República Checa

Dinamarca Eslovenia Irlanda Austria Bélgica Países Bajos Suiza Polonia Estados Unidos Estonia Finlandia Japón Suecia Australia Canadá Islandia Noruega México Corea Italia 380 400 420 440 460 480 500 520 540 560 580 0 5 10 15 20 25 30 Pu nt ua ci ón med ia

Porcentaje de la varianza del rendimiento explicada por el índice socioeconómico y cultural

Relación entre el rendimiento y el ESCS por encima del promedio OCDE

Relación entre el rendimiento y el ESCS no significatiuvamente diferente al promedio OCDE

Relación entre el rendimiento y el ESCS por debajo del promedio OCDE

Pr ome di o O CD E Promedio OCDE 15

III. Calidad y equidad del sistema educativo español

El rendimiento del alumnado y la varianza explicada por el ESCS

España 2003 España 2012

Menos calidad:

El rendimiento del alumnado español es significativamente inferior a la media de la OCDE.

Algo menos de equidad:

El impacto del entorno socioeconómico y cultural en España es algo mayor que en la OCDE en su conjunto.

(16)

200 494

-2 -1 0 1 2

Rendimiento escolar y contexto socioeconómico: España Re nd imie nt o de l alu mn o Ventaja Índice PISA para contexto socioeconómico

Desventaja

Centro privado

Centro público en zona rural Centro público en zona urbana

700

(17)

17

TIEMPO DE INSTRUCCIÓN

España cuenta con un mayor número de horas lectivas que la mayoría de los países de la OCDE.

V. Fortalezas del sistema educativo español

_{Sin embargo, el tiempo de instrucción en las principales áreas de conocimiento,}

matemáticas, lectura y ciencias, es menor.

907 1050 0 200 400 600 800 1000 1200

Promedio OCDE España

Horas de clase totales

145 143 133 130 125 113 Tiempo de instrucción en matemáticas Tiempo de instrucción en lengua

Tiempo de instrucción en ciencias

Tiempo medio (horas/curso)

(18)

(19)

(20)

Bietenbeck (2014): Prácticas docentes y rendimiento de alumnos

(21)

Ildefonso Mendez (2015):

(22)

Actitudes de los alumnos hacia el centro educativo

•El sentido de pertenencia evalúa el grado de satisfacción de los alumnos con el centro educativo y en qué medida este se aproxima a su ideal.

•El clima de disciplina escolar mide la percepción que los alumnos tienen en cuanto al orden y la atención en la clase de matemáticas.

•Por último, la relación profesor-alumno mide la percepción de los alumnos acerca de la dedicación y el interés de los profesores hacia los estudiantes.

22 -0.03 -0.03 0.41 0.41 -0.15 -0.15 0 0 -0.16 -0.16 -0.04 -0.04

Sentido de pertenencia Relaciones profesor-alumno Clima Escolar

Índice

-0.8 -0.4 0.0 0.4 0.8 -0.8 -0.4 0.0 0.4 0.8 -0.8 -0.4 0.0 0.4 0.8

(23)

98 93 94 88 59 65 86 69 80 72 43 62 98 47 47 26 27 38 0 20 40 60 80 100

Tutela de profesores por un mentor

Consulta periódica de uno o más expertos, dirigida a la mejora del centro a lo largo de un mínimo de 6 meses

Implementación de una política normalizada para las Matemáticas (p. ej., currículo del centro con materiales

didácticos compartidos, acompañados de desarrollo y formación del personal)

%

Porcentaje de alumnos en centros donde el director informa que su centro cuenta con los siguientes mecanismos de mejora y colaboración :

Shanghai-China Corea del Sur Canadá OCDE Países Bajos España

(24)

24

Supervisión de las prácticas de profesores de matemáticas

Porcentaje de estudiantes que asisten a centros donde el director o compañeros del centro observan las clases de otros profesores

69 69 69 69 69 69 69 69 69 10 10 10 10 10 10 10 10 10 17 17 17 17 17 17 17 17 17 67 67 67 67 67 67 67 67 67 81 81 81 81 81 81 81 81 81 87 87 87 87 87 87 87 87 87 97 97 97 97 97 97 97 97 97 10 10 10 10 10 10 10 10 10 Promedio OCDE España Italia Alemania Japón Países Bajos Nueva Zelanda Estados Unidos 0 10 20 30 40 50 60 70 80 90 100

(25)

25

Supervisión de las prácticas de profesores de matemáticas

Porcentaje de estudiantes que asisten a centros donde los profesores realizan tareas de revisión conjunta sobre las clases y pruebas o exámenes

60 60 60 60 60 60 60 60 60 22 22 22 22 22 22 22 22 22 45 45 45 45 45 45 45 45 45 54 54 54 54 54 54 54 54 54 54 54 54 54 54 54 54 54 54 66 66 66 66 66 66 66 66 66 87 87 87 87 87 87 87 87 87 92 92 92 92 92 92 92 92 92 Promedio OCDE España Alemania Países Bajos Japón Estados Unidos Italia Nueva Zelanda 0 10 20 30 40 50 60 70 80 90 100

(26)

26 62,6 50,5 57,3 0,0 10,0 20,0 30,0 40,0 50,0 60,0 70,0

Países Bajos España Promedio OCDE

“Soy bueno en Matemáticas"

50,3 74,4 57,8 0,0 10,0 20,0 30,0 40,0 50,0 60,0 70,0 80,0

"No soy muy bueno resolviendo problemas"

¿CÓMO PERCIBEN LOS

ESTUDIANTES EL CONTROL DEL

ÉXITO EN MATEMÁTICAS?

La confianza de los alumnos españoles en sus habilidades es menor que en el conjunto de países de la OCDE

Casi un 75% de los alumnos españoles afirma no ser bueno resolviendo problemas de matemáticas

(27)

27 47,5 46,2 47,8 0,0 10,0 20,0 30,0 40,0 50,0 60,0

"El profesor no explica bien los conceptos"

46,1 54,3 53,3 0,0 10,0 20,0 30,0 40,0 50,0 60,0

"El profesor no consigue que nos interese el material"

¿CÓMO PERCIBEN LOS

ESTUDIANTES EL CONTROL DEL

ÉXITO EN MATEMÁTICAS?

¿Cómo relacionan los

alumnos el éxito en

matemáticas con su

profesor?

(28)

28 81,7 89,3 91,6 0,0 10,0 20,0 30,0 40,0 50,0 60,0 70,0 80,0 90,0 100,0

"Con esfuerzo, puedo sacar buenos resultados"

74,1 76,4 _70,8 0,0 10,0 20,0 30,0 40,0 50,0 60,0 70,0 80,0 90,0

"A veces el material de clase es demasiado difícil"

¿CÓMO PERCIBEN LOS

ESTUDIANTES EL CONTROL DEL

ÉXITO EN MATEMÁTICAS?

Los alumnos españoles ven, en mayor medida que la OCDE, que el material de clases es complicado

_{Casi un 90% de los alumnos en España}

entienden que el esfuerzo personal les ayudará a obtener buenos resultados

(29)

Porcentaje de alumnos que refieren estar “de acuerdo" o “muy de acuerdo" con las siguientes afirmaciones sobre las matemáticas:

0 25 50 75 100

No se me da bien resolver problemas matemáticas Esta semana el profesor no explicó bien los

conceptos

Esta semana no elegí bien las respuestas del examen

A veces la materia es demasiado difícil El profesor no supo captar el interés de los alumnos A veces no tengo suerte

%

España Shanghái-China Media OCDE

Autorresponsabilidad percibida del fracaso en matemáticas

(30)

Motivación intrínseca para aprender matemáticas

Todos Chico Chica

libros áticas do tener emáticas máticas usta

las cosas que matemáticas

0 10 20 30 40 50 60 0 10 20 30 40 50 60 0 10 20 30 40 50 60

OCDE UE España



Me interesan las cosas que

aprendo en matemáticas



Estudio matemáticas porque me

gusta



Estoy deseando tener clase de

matemáticas



Me gusta leer libros sobre

matemáticas

(31)

Motivación extrínseca para aprender matemáticas

Todos Chico Chica

cer atemáticas porque rabajo más adelante pena cas porque perspectivas esional son una nte para mí, to para lo r más adelante s cosas en me ayudarán o 0 1020 304050 607080 0 10 203040 506070 80 0 10 2030 405060 7080 OCDE UE España

Aprenderé muchas cosas en matemáticas

que me ayudarán a conseguir trabajo

Las matemáticas las necesito para lo que

quiero estudiar más adelante

Me merece la pena estudiar matemáticas

porque tendré mejores perspectivas en mi carrera profesional

Merece la pena hacer un esfuerzo porque

me ayudará en el trabajo que haré más adelante

(32)

Motivación extrínseca para aprender matemáticas

477 477 477 477 477 477 477 477 477 477 477 477 475 475 475 475 475 475 475 475 475 475 475 475 462 462 462 462 462 462 462 462 462 462 462 462 489 489 489 489 489 489 489 489 489 489 489 489 485 485 485 485 485 485 485 485 485 485 485 485 475 475 475 475 475 475 475 475 475 475 475 475 501 501 501 501 501 501 501 501 501 501 501 501 495 495 495 495 495 495 495 495 495 495 495 495 492 492 492 492 492 492 492 492 492 492 492 492 519 519 519 519 519 519 519 519 519 519 519 519 511 511 511 511 511 511 511 511 511 511 511 511 515 515 515 515 515 515 515 515 515 515 515 515 OCDE UE España 460 470 480 490 500 510 520

Bajo Medio-bajo Medio-alto Alto

53 puntos

36 puntos

(33)



Me preocupo cuando pienso que

sacaré malas notas en matemáticas



Me siento incapaz cuando hago

un problema de matemáticas



Me pongo muy nervioso al hacer

problemas de matemáticas



Me pongo muy tenso cuando

tengo que hacer deberes de

matemáticas



A menudo me preocupo

pensando que tendré dificultades en

las clases de matemáticas

Los alumnos españoles mostraron mayor porcentaje de

acuerdo con las afirmaciones que indican ansiedad hacia las

matemáticas (respuestas “Muy de acuerdo” o

“De acuerdo” )

Las chicas mostraron mayor ansiedad hacia las

matemáticas,en general,

Ansiedad hacia las matemáticas

puntos porcentuales

11

9

8

10

5

(34)

Relación entre rendimiento en matemáticas y

exposición de los alumnos a las matemáticas aplicadas

430 450 470 490 510 0,0 0,5 1,0 1,5 2,0 2,5 3,0 P u n tu aci ó n m ed ia en m atem áti cas

Índice de exposición a las matemáticas aplicadas

raramente a veces frecuentemente

nunca

(35)

Para más información:

http://www.mecd.gob.es/inee/

PREGUNTAS QUE SE EMPLEAN EN LOS EXÁMENES ANÁLISIS GRÁFICOS

RESÚMENES DE 4 PÁGINAS INFORME NACIONAL DE INEE ESTUDIOS DE INVESTIGADORES