CAPÍTULO 4. EL INSTRUMENTO
4.3. Fase 2: Análisis de la versión piloto
Los instrumentos de recolección de datos deben cumplir con dos requisitos, calificados como esenciales por Hernández Sampieri, Fernández Collado y Baptista Lucio (1997), como son la confiabilidad y la validez. En esta sección se presentan los análisis realizados sobre la primera versión del instrumento para determinar los requisitos establecidos. La confiabilidad de un instrumento de medición se refiere al grado en que su aplicación
reiterada produce resultados similares. La validez, en términos generales, se refiere al
grado en que un instrumento realmente mide lo que pretende medir. De esta última pueden obtenerse distintos tipos de evidencia: la relacionada con el contenido, la relacionada con el criterio y la relacionada con el constructo. La validez de contenido se refiere al grado
en que el instrumento refleja un dominio específico de lo que se mide y su evaluación se realiza a través de jueces expertos. La validez de criterio establece una comparación con
algún criterio externo; si el criterio se fija en el presente se habla de validez concurrente, si el criterio se fija en el futuro se la denomina validez predictiva y se la evalúa a través del Análisis correlacional. La validez de constructo se refiere al grado en que la medición
contempla de forma adecuada el constructo teórico o rasgo abstracto que pretende medir y en qué nivel las hipótesis derivadas del mismo se confirman empíricamente mediante este procedimiento, su evaluación se realiza utilizando la técnica de análisis factorial. (Hernández Sampieri et al., 1997)
Para analizar la confiabilidad de esta versión del instrumento, se calculó el coeficiente Alfa de Cronbach, dado que las variables correspondientes a la valoración de los distintos ítems son continuas. Los valores de salida de este coeficiente oscilan entre 0 y 1, donde 0 significa confiabilidad nula, es decir que la medición está contaminada de error, y 1 significa confiabilidad total, sin error. Cuanto más cercano a 1 sea el valor obtenido, más confiable es la medición realizada con el instrumento. En este caso, el cálculo se efectuó utilizando el software SPSS versión 15.0. El mismo arrojó un valor de 0.721, que puede considerarse como aceptable, de acuerdo con la escala que proponen Hernández Sampieri
et al. (1997). La salida obtenida en la ejecución del programa se presenta en el Anexo 2.
El análisis de validez se restringió a la validez de constructo. Para esta versión piloto del instrumento, el análisis se realizó conjuntamente entre el director de esta tesis y los miembros del Grupo de Investigación de Enseñanza de la Matemática en carreras de Ingeniería (GIEMI), radicado en el Departamento de Matemática de la Facultad de
Ingeniería de la Universidad Nacional de Mar del Plata. Estos jueces expertos realizaron la valoración de la idoneidad del instrumento en su carácter de expertos en el marco teórico utilizado, bajo el conocimiento de los objetivos de la tesis y condiciones de administración del instrumento. Se consideró pertinente el análisis de tres dimensiones de la idoneidad didáctica: la idoneidad epistémica, la idoneidad cognitiva y la idoneidad mediacional.
El EOS propone determinados indicadores para valorar los distintos componentes de cada dimensión (Godino, Bencomo, Font y Wilhelmi, 2006; Godino, 2011). De acuerdo con la mayor o menor presencia de los mencionados indicadores es posible establecer una valoración de tipo cualitativo, donde cada una de las dimensiones puede ser considerada como alta, media o baja.
En las Tablas 4.1, 4.2 y 4.3 se presenta, respectivamente, la valoración de estas tres dimensiones de la idoneidad, a través del grado de cumplimiento de algunos de los indicadores que corresponden a las dimensiones consideradas. Los indicadores están adaptados de los propuestos por Godino, Bencomo, Font y Wilhelmi (2006).
Tabla 4.1. Valoración de indicadores de la Idoneidad Epistémica.
COMPONENTES DESCRIPTORES Se cumple totalmente Se parcialmente cumple No se cumple
Situaciones-
problemas Selección de una muestra representativa y articulada de
expresiones x (1)
Lenguaje Uso de diferentes modos de expresión (verbal, simbólico...), traducciones y conversiones entre los mismos.
x Nivel del lenguaje adecuado a
quienes se dirige. x (2) Propuesta de situaciones de expresión e interpretación. x Elementos regulativos (Definiciones, proposiciones, procedimientos)
Enunciados, adaptados al nivel
educativo al que se dirigen x Presentación de los enunciados,
según los significados que se pretenden evaluar
x (3)
Argumentos Se promueven momentos de
validación. x (4) (1): Se considera que no se cumple pues la muestra de ítems no es equilibrada para todos los símbolos estudiados. En el Ejercicio 2 no se presentan expresiones tanto correcta
como incorrectamente escritas para todos los símbolos. Esto no permite obtener conclusiones al respecto.
(2): Se considera parcialmente logrado pues el enunciado del Ejercicio 2 podría conducir a un conflicto semiótico, en tanto que los estudiantes podrían interpretar que el vocablo “correcta” hace alusión a “verdadera”. Este conflicto semiótico se evidenció en el análisis de los datos relevados, pues se observó que algunos estudiantes indicaran que las expresiones incorrectamente escritas son falsas. Estas observaciones llevaron a considerar que los enunciados de los Ejercicios 1 y 2 deben ser reformulados.
(3): Se considera parcialmente logrado pues se observa que la manera en que se expresa el enunciado del Ejercicio 1 la solicitud del ejemplo, da lugar a que se formulen expresiones que no sean proposiciones y que, por consiguiente, no permitan evaluar lo que se pretende. Por lo tanto se sugiere que de alguna forma se soliciten proposiciones y en lugar de ejemplos, para evitar otras respuestas que no dan información.
(4): No se observa la solicitud de justificaciones de las respuestas.
Todas estas observaciones conducen a calificar esta idoneidad como baja.
Tabla 4.2. Valoración de indicadores de la Idoneidad Cognitiva.
COMPONENTES DESCRIPTORES Se cumple totalmente Se parcialmente cumple No se cumple
Conocimientos previos (Componentes similares a la dimensión epistémica)
Los alumnos tienen los conocimientos previos necesarios para el estudio del tema (bien porque se han estudiado anteriormente o porque el profesor planifica su estudio).
x
Evaluación de los
Aprendizaje
Se incluyen diversas prácticas matemáticas asociadas al uso de símbolos en los dos registros considerados
x
Se consideró esta dimensión de la idoneidad como mediana-alta ya que en la redacción
de los ítems está contemplado que los estudiantes tuvieran los conocimientos previos necesarios para interpretar cada proposición. Las mismas están referidas a unidades temáticas que se imparten en la escuela media y en el curso de ingreso de las carreras. Se valoró como positiva la inclusión de tareas tanto de lectura como de escritura para evaluar los significados.
Tabla 4.3. Valoración de indicadores de la Idoneidad Mediacional.
COMPONENTES DESCRIPTORES Se cumple totalmente
Se cumple parcial- mente No se cumple Recursos materiales (Manipulativos, calculadoras, ordenadores)
Uso adecuado del espacio en el material impreso x Número de alumnos, horario y condiciones del aula
El número y la distribución de los alumnos permite llevar a cabo la administración del instrumento para la toma de datos
x
El momento de administración es apropiado pues coincide con el horario de clases.
x
El aula es adecuada para la toma de datos
x
Tiempo
(De
administración)
Adecuación de los significados evaluados al tiempo disponible
x
Esta dimensión de la idoneidad se valoró como mediana-alta. El hecho de que los
estudiantes pudieran resolver el cuestionario en un tiempo entre 15 y 20 minutos muestra un apropiado uso del recurso tiempo, ya que no genera el cansancio o hastío de los estudiantes. Esto reafirma como positiva la consideración que se tuvo en el diseño, atendiendo especialmente al número total de ítems, en pos de asegurar una fiabilidad satisfactoria, evitando respuestas en blanco provenientes del desgano al resolver y no como producto del desconocimiento del estudiante en relación a la tarea planteada. También fue considerada adecuada la forma de presentación de los ítems en una única hoja, facilitando una clara legibilidad y distribución, con espacio adecuado para las respuestas y procurando evitar en los alumnos la sensación de que la tarea de resolución fuera densa y extensa. Otro aspecto considerado como positivo es que los ítems de menor dificultad están ubicados al principio, para promover la agilidad en la resolución y prevenir el cansancio.
Los jueces sugirieron, en principio, depurar la definición de las prácticas matemáticas que se pretende evaluar, determinando las funciones semióticas ligadas a estas prácticas. Propusieron que, de acuerdo a lo obtenido en el paso anterior, se efectúe el rediseño del instrumento, para superar los aspectos que se observaron como deficientes o inadecuados.