el principal formato de la evaluación pisa 2012 fue impreso. al pasar al formato electrónico para el 2015, se debe tener cuidado para maximizar la comparabilidad entre las dos evaluaciones. la siguiente sección describe algunas de las características intrínsecas de una evaluación electrónica. a pesar de que estas características proporcionan las oportunidades que se describen a continuación, para asegurar la comparabilidad la encuesta pisa 2015 consistirá únicamente en las preguntas de evaluación en formato impreso de 2012. las funciones descritas aquí, sin embargo, serán utilizadas en futuras evaluaciones de pisa cuando su introducción pueda ser controlada para garantizar la comparabilidad con las evaluaciones anteriores.
cada vez más, las tareas de matemáticas en el trabajo implican algún tipo de tecnología electrónica, de manera que la competencia matemática y el uso del ordenador se unen (Hoyles et al., 2002). en el lugar de trabajo existe actualmente para los empleados de todos los niveles una interdependencia entre la competencia matemática y el uso de la tecnología informática. resolver preguntas pisa en un ordenador en lugar de en papel traslada a pisa a la realidad y las exigencias del siglo XXi.
Hay una gran cantidad de pruebas de investigación sobre el rendimiento de la prueba en formato impreso y electrónico, pero los resultados están mezclados. algunas investigaciones sugieren que un entorno de pruebas en formato digital puede
influir en el rendimiento de los estudiantes. richardson et al. (2002) reportaron que el alumnado encontró las tareas de resolución de problemas en ordenador más atractivas y motivadoras, a menudo a pesar de la falta de familiaridad de los tipos de problemas y la naturaleza desafiante de los elementos. a veces se distraían con gráficos que atraían su atención, y en algún momento utilizaron una heurística pobre cuando intentaban completar las tareas.
en una de las comparaciones más grandes de las pruebas en formato impreso y en formato electrónico, sandene et al. (2008) descubrieron que la puntuación media del alumnado de octavo curso estaba cuatro puntos por encima en una prueba de matemáticas en formato electrónico que en una equivalente en formato impreso. bennett et al. (2008) concluyeron en su investigación que la familiaridad con el ordenador afecta al rendimiento en las pruebas de matemáticas en formato electrónico, mientras que otros han encontrado que la gama de funciones disponibles a través de pruebas en formato electrónico puede afectar al rendimiento. por ejemplo, Mason (2001) descubrió que el rendimiento de los estudiantes se vio afectado negativamente en las pruebas en formato electrónico en comparación con las pruebas en formato impreso, cuando no había oportunidad en la versión electrónica de revisar y comprobar las respuestas. bennett (2003) descubrió que el tamaño de la pantalla afectó a las puntuaciones en las pruebas de razonamiento verbal, posiblemente debido a que las pantallas de ordenador más pequeñas requieren el desplazamiento por el documento. por el contrario, Wang et al. (2008) llevaron a cabo un metaanálisis de estudios relacionados con los logros del alumnado de hasta 12 años. los resultados indicaban que el modo de administración no tiene ningún efecto estadísticamente significativo en las puntuaciones. por otra parte, recientes estudio de formato que formaban parte del programa para la evaluación internacional de competencias de los adultos (piaac) sugirieron que la igualdad se puede lograr (ocde, 2014). en este estudio, se asignó aleatoriamente a los adultos una evaluación en formato impreso o una en formato electrónico de lectura, escritura y aritmética. la mayoría de las preguntas utilizadas en el formato impreso fueron adaptadas para el formato electrónico y se utilizadas en este estudio. los análisis de estos datos revelaron que casi la totalidad de los parámetros de las preguntas se mantenían estables en ambos modos, lo que demuestra la capacidad de situar a los encuestados en la misma escala de alfabetización y aritmética. teniendo esto en cuenta, se formula la hipótesis de que las preguntas de matemáticas utilizadas en pisa 2012 puedan ser incorporadas a una pantalla sin que esto afecte a los datos de tendencias. (la prueba de campo pisa 2015 estudió el efecto sobre el rendimiento de los estudiantes en cambio en el formato. para más detalles, véase el cuadro 1.2).
al igual que las evaluaciones en formato impreso se basan en un conjunto de habilidades fundamentales para trabajar con materiales en papel, las evaluaciones en formato electrónico se basan en un conjunto de habilidades fundamentales de las tic para el uso de los ordenadores. estas incluyen el conocimiento del hardware básico (por ejemplo, el teclado y el ratón) y de las normas básicas (por ejemplo, las flechas para avanzar y botones específicos que presionar para ejecutar comandos). la intención es mantener dichas habilidades a un nivel mínimo básico en la evaluación basada en ordenador.
Informar de la aptitud en matemáticas
los resultados de la encuesta de matemáticas pisa se presentan de varias formas. las estimaciones de la competencia matemática en general se obtienen para alumnos de muestra en cada país participante, y se definen una serie de niveles de competencia. también se desarrollan descripciones del grado de competencia matemática típica del alumnado en cada nivel. para pisa 2003, se desarrollaron escalas basadas en las cuatro amplias categorías de contenido. en la figura 4.3, se presentan descripciones de los seis niveles de competencia de los que se informó para la escala global de las matemáticas pisa en 2012. estos forman la base de la escala de matemáticas pisa 2015. la escala finalizada 2012 se utiliza para informar de los resultados de pisa 2015. dado que la competencia matemática es un campo secundario en 2015, sólo se informa de la escala general de aptitud.
las capacidades matemáticas fundamentales desempeñan un papel central en la definición de lo que significa estar en diferentes niveles de las escalas para la competencia matemática en general y para cada uno de los procesos de los que informa. por ejemplo, en la descripción de la escala de aptitud para el nivel 4 (véase la figura 4.3), la segunda fase pone de relieve los aspectos de la matematización y representación que son evidentes en este nivel. la última fase pone de manifiesto la comunicación, el razonamiento y la argumentación característicos del nivel 4, lo cual proporciona un contraste con las comunicaciones cortas y la falta de argumentos del nivel 3 y el reflejo adicional del nivel 5. en la sección anterior de este marco y en la figura 4.2, se describe cada uno de los procesos matemáticos en términos de las capacidades matemáticas fundamentales que los individuos pueden activar al participar en ese proceso.
figure 4.3 • Descripción del nivel de competencia de las tareas
Nivel Lo que el alumnado puede hacer normalmente
6 en el nivel 6 los alumnos saben formar conceptos, generalizar y utilizar información basada en investigaciones y modelos de situaciones de problemas complejos. pueden relacionar diferentes fuentes de información y representaciones y traducirlas entre ellas de manera flexible. los estudiantes de este nivel poseen un pensamiento y razonamiento matemático avanzado. estos alumnos pueden aplicar su entendimiento y comprensión, así como su dominio de las operaciones y relaciones matemáticas simbólicas y formales y desarrollar nuevos enfoques y estrategias para abordar situaciones nuevas. los alumnos pertenecientes a este nivel pueden formular y comunicar con exactitud sus acciones y reflexiones relativas a sus descubrimientos, interpretaciones, argumentos y su adecuación a las situaciones originales.
5 en el nivel 5, los alumnos saben desarrollar modelos y trabajar con ellos en situaciones complejas, identificando los condicionantes y especificando los supuestos. pueden seleccionar, comparar y evaluar estrategias adecuadas de solución de problemas para abordar problemas complejos relativos a estos modelos. los alumnos pertenecientes a este nivel pueden trabajar estratégicamente utilizando habilidades de pensamiento y razonamiento bien desarrolladas, así como representaciones adecuadamente relacionadas, caracterizaciones simbólicas y formales, e intuiciones relativas a estas situaciones. pueden reflexionar sobre sus acciones y formular y comunicar sus interpretaciones y razonamientos.
4 en el nivel 4, los alumnos pueden trabajar con eficacia con modelos explícitos en situaciones complejas y concretas que pueden conllevar condicionantes o exigir la formulación de supuestos. pueden seleccionar e integrar diferentes representaciones, incluidas las simbólicas, asociándolas directamente a situaciones del mundo real. los alumnos de este nivel saben utilizar habilidades bien desarrolladas y razonar con flexibilidad y con cierta perspicacia en estos contextos. pueden elaborar y comunicar explicaciones y argumentos basados en sus interpretaciones, argumentos y acciones.
3 en el nivel 3, los alumnos saben ejecutar procedimientos descritos con claridad, incluyendo aquellos que requieren decisiones secuenciales. pueden seleccionar y aplicar estrategias de solución de problemas sencillos. los alumnos de este nivel saben interpretar y utilizar representaciones basadas en diferentes fuentes de información y razonar directamente a partir de ellas. son también capaces de elaborar breves escritos exponiendo sus interpretaciones, resultados y razonamientos.
2 en el nivel 2, los alumnos saben interpretar y reconocer situaciones en contextos que solo requieren una inferencia directa. saben extraer información pertinente de una sola fuente y hacer uso de un único modelo representacional. los alumnos de este nivel pueden utilizar algoritmos, fórmulas, procedimientos o convenciones elementales. son capaces de efectuar razonamientos directos e interpretaciones literales de los resultados. 1 en el nivel 1, los alumnos saben responder a preguntas relacionadas con contextos que les son conocidos, en
los que está presente toda la información pertinente y las preguntas están claramente definidas. son capaces de identificar la información y llevar a cabo procedimientos rutinarios siguiendo unas instrucciones directas en situaciones explícitas. pueden realizar acciones obvias que se deducen inmediatamente de los estímulos presentados.
Nota
1. en algunos países, “herramientas matemáticas” también se refiere a procedimientos matemáticos establecidos, como algoritmos. a los efectos del marco pisa, “herramientas matemáticas” se refiere sólo a las herramientas físicas y digitales descritas en esta sección.
Bibliografía
Bennett, R.E. (2003), Online Assessment and the Comparability of Score Meaning, research Memorandum, educational testing service, princeton, nJ.
Bennett, R.E. et al. (2008), “does it matter if i take my mathematics test on computer? a second empirical study of mode effects in naep”, Journal of Technology, Learning, and Assessment, vol. 6/9.
Hoyles, C. et al. (2002), Mathematical Skills in the Workplace: Final Report to the Science Technology and Mathematics Council, institute of education, universidad de londres, londres, http://eprints.ioe.ac.uk/1565/.
Mason, B., M. Patry y D. Berstein (2001), “an examination of the equivalence between non-adaptive computer based and traditional testing”, Journal of Education Computing Research, vol. 1/24, pp. 29-39.
Moore, D. (1997), “new pedagogy and new content: the case of statistics”, International Statistical Review, vol. 2/65, pp. 123-137.
Niss, M. (2003), “Mathematical competencies and the learning of mathematics: the danish KoM project”, in a. Gagatsis and s. papastavridis (eds.), 3rd Mediterranean Conference on Mathematics Education, Hellenic Mathematical society, athens, pp. 116-124.
Niss, M., W. Blum y P. Galbraith (2007), “introduction”, en W. blum, p.l. Galbraith, H.W. Henn and M. niss (eds.), Modelling and Applications in Mathematics Education (the 14th icMi study), springer, nueva york, pp. 3-32.
Niss, M. y T.H. Jensen (2002), “Kompetencer og matematiklæring: ideer og inspiration til udvikling af matematikundervisning i danmark, uddannelsesstyrelsens temahæfteserie”, no. 18, Ministry of education, copenhagen, http://pub.uvm.dk/2002/kom/.
Niss, M. y T. Højgaard (eds.) (2011), “competencies and mathematical learning: ideas and inspiration for the development of mathematics teaching and learning in denmark”, Ministry of education, report no. 485, roskilde university, roskilde, https://pure. au.dk/portal/files/41669781/thj11_mn_kom_in_english.pdf.
OECD (2014), Technical Report of the Survey of Adult Skills (PIAAC), pre-publication, oecd, parís, www.oecd.org/site/piaac/_ technical%20report_17oct13.pdf.
OECD (2013), PISA 2012 Assessment and Analytical Framework: Mathematics, Reading, Science, Problem Solving and Financial Literacy, pisa, oecd publishing, parís, http://dx.doi.org/10.1787/9789264190511-en.
OECD (2010), Pathways to Success: How Knowledge and Skills at Age 15 Shape Future Lives in Canada, pisa, oecd publishing, parís, http://dx.doi.org/10.1787/9789264081925-en.
OECD (2004), The PISA 2003 Assessment Framework: Mathematics, Reading, Science and Problem Solving Knowledge and Skills, pisa, oecd publishing, parís, http://dx.doi.org/10.1787/9789264101739-en.
Richardson, M. et al. (2002), “challenging minds? students’ perceptions of computer-based world class tests of problem solving”,
Computers in Human Behavior, vol. 18/6, pp. 633-649.
Sandene, B. et al. (2005), Online Assessment in Mathematics and Writing: Reports from the NAEP Technology-Based Assessment Project, Research and Development Series (nces 2005–457). us department of education, national center for education statistics, us Government printing office, Washington, dc.
Turner, R. y R.J. Adams (2012), “some drivers of test item difficulty in mathematics: an analysis of the competency rubric”, paper presented at the annual meeting of the american educational research association (aera), 13-17 april, vancouver, http://research. acer.edu.au/pisa/7/.
Turner, R. et al. (2013), “using mathematical competencies to predict item difficulty in pisa”, en M. prenzel et al. (eds), Research on PISA: Research Outcomes of the PISA Research Conference 2009, springer, nueva york, pp. 23-27.
Watson, J.M. y R. Callingham (2003), “statistical literacy: a complex hierarchical construct”, Statistics Education Research Journal, vol. 2/2, pp. 3-46.
Wang, S. et al. (2007), “a meta-analysis of testing mode effects in Grade K–12 mathematics tests”, Educational and Psychological Measurement, vol. 67, pp. 219-238.