6.2 PROPIEDADES PSICOMÉTRICAS DE LOS INSTRUMENTOS DE MEDIDA
6.2.3.2 Resultados del estudio piloto
a) Prueba piloto cualitativa
En los resultados de la evaluación realizada por los docentes de la UAB, todos los docentes indicaron que las instrucciones para cumplimentar el cuestionario eran lo suficientemente claras. Aun así, uno de ellos, sugirió que tal vez debería especificarse
en la introducción el término “trabajados” ya que podía darse el caso de que un docente hubiese estado de baja entre el periodo de los tres últimos años de docencia y dudar a
que se hacía referencia con “los tres últimos años como docente”. Sugerencia que fue
incorporada quedando la introducción de la manera siguiente: “Para responder tenga
presente como máximo los tres últimos años trabajados como docente en la Escuela de
Enfermería”.
Respecto a la comprensión de los ítems, todos indicaron también que estos eran comprensibles pero que en alguno de ellos podíamos incluir algún ejemplo o especificar un poco más para incrementar la unicidad de interpretación. Fue el caso, por ejemplo,
de los ítems “Tomo decisiones docentes en función del tipo de profesionales que
debemos formar” y de “En mi docencia promuevo que los estudiantes se comprometan
con valores profesionales” en los que se incluyeron ejemplos “Tomo decisiones
docentes (planificación, actividades, evaluación,…) en función del tipo de profesionales
que debemos formar” y “En mi docencia promuevo que los estudiantes se comprometan
con valores profesionales (dignidad humana, igualdad, verdad,…)”. De la misma manera, el término “comparto”, utilizado en dos de los ítems (“Comparto con mis
colegas opiniones sobre el perfil profesional que debemos formar” y “Comparto con
mis colegas opiniones sobre la manera en que debemos formar”), era interpretado por
los docentes como afirmaciones que implicaban estar de acuerdo y no como una acción.
Motivo por el que el término “comparto” fue reemplazado por “hablo”. Por último,
también se recogió la aportación de uno de los docentes respecto al ítem “Mi dedicación
docente es más reducida porque priorizo más la investigación” al considerarse que la
formulación“Priorizo más mi función investigadora que la docente” recogería mejor la situación del profesorado asociado que como función principal tiene otra diferente a la del profesorado dedicado a tiempo completo en la universidad.
En cuanto al concepto que creían los docentes que pretendía medirse con el conjunto de estos ítems, los conceptos que afloraron fueron: práctica profesional que se desarrolla, excelencia en la docencia o la calidad en el desarrollo de la actividad docente y mejora docente/calidad docente (formación, docencia en sí, evaluación). Por lo que se observó que éstos estaban en la misma línea del significado considerado de cultura docente para esta investigación. Por lo tanto, la validez aparente de la escala diseñada indica que el conjunto de ítems diseñados es adecuado para la medida del constructo que queremos
medir “cultura docente” y significó la mejora de la misma.
b) Prueba piloto cuantitativa
Con la prueba piloto cuantitativa pudo comprobarse la aplicabilidad del instrumento y la fiabilidad del mismo. Respecto a la primera cuestión, no se observó ningún tipo de rechazo hacia ninguna de las afirmaciones formuladas, no se realizaron preguntas o sugerencias por parte de los participantes ni se detectaron problemas o errores en el instrumento que debieran ser tenidos en cuenta para mejorar su aplicabilidad. En cuanto a la fiabilidad de la escala, el valor del alfa de Cronbach (0.87) indica que la consistencia interna entre los ítems es elevada (mayor o igual a 0.70). Al analizar la correlación ítem-total, el ítem 19. “Priorizo más mi función investigadora que la
docente” mostró una correlación con el junto de la escala muy baja 0.065 lo que nos
estaba indicando que el ítem debería eliminarse. El resto de correlaciones entre los ítems y la escala fueron superiores a 0.30 no mejorando el alfa de Cronbach si se eliminaba alguno de los otros ítems.
No obstante, la baja tasa de participación de los docentes (colaboraron 24 profesores), no permitió la aplicación AFE previsto para analizar otras propiedades psicométricas de la escala diseñada, por no cumplirse los criterios de aplicabilidad requeridos en esta técnica de análisis multivariante. Características psicométricas que deberíamos analizar cuando el instrumento fuese administrado a los docentes de la EUI de la UB.
6.2.3.3 Validez de constructo, validez discriminante y fiabilidad Validez de constructo
Los resultados de adecuación muestral de nuestros datos a la técnica del AFE indicaron, por un lado, que la matriz de correlación no es la identidad y que por lo tanto las variables están correlacionadas (se rechaza la hipótesis nula con el test de esfericidad de
Bartlett’s, p=0.000) y además que el grado de relación conjunta entre las variables,
analizado a través del KMO de Kaiser, es bueno (0.90 que es superior a 0.80). Previamente se analizaron las correlaciones ítem-total verificándose que los dos ítems (55 y 57) que con anterioridad ya se habían considerado no tener en cuenta para operativizar el constructo, efectivamente no debían incluirse porque no aportaban información a la escala global (correlaciones por debajo de 0.30). El resto de ítems fueron considerados relevantes para la medida del constructo cultura docente porque mostraron correlaciones con el total de la escala entre 0.55 y 0.82.
De nuevo, el incumplimiento de la normalidad uni y multivariante (la asimetría y sobre todo el apuntamiento detectado en algunos de los ítems así como el rechazo de la hipótesis multivariante acerca de la normalidad, p-valor=0.000) y la escala de medida de los ítems (Likert con una puntuación de 1 a 7) implicó la utilización de un método de estimación no paramétrico29 que considerada como matriz de análisis de partida una matriz de correlaciones policórica30. El método fue el de Mínimos Cuadrados Ordinarios (MCO) y en particular mínimos cuadrados no ponderados (ULS31). Si bien
las correlaciones policóricas operan bajo el supuesto de normalidad multivariada de los ítems en análisis, su incumplimiento si el índice Root Mean Square of Residuals está entre 0 y 0.08 proporciona estimaciones que a pesar de ser obtenidas a partir de
29 El método de estimación que se ajusta mejor cuando se trabaja con la matriz de correlaciones policóricas es el no paramétrico (Freiberg, Stover, De la Iglesia y Fernández, 2013).
30El incremento de estudios exploratorios y confirmatorios en psicometría y la posibilidad de softwares estadísticos que posibilitan aplicar procedimientos específicos para variables con formato de respuesta tipo Likert, han obligado a revisar las metodologías a utilizar en el análisis factorial (Freiberg et al., 2013; Ferrando y Anguiano-Carrasco, 2010).
31El método ULS es el más recomendado actualmente (Flora et al., 2012 en Lloret-Segura et al., 2014) porque funciona bien cuando se trabaja con muestras pequeñas aunque el número de variables sea elevado especialmente si el número de factores a retener es pequeño (Jung, 2013, en Lloret-Segura et al., 2014) evita saturaciones mayores que la unidad y varianzas del error negativas.
variables asimétricas, no están severamente alteradas (Freiberg, Stover, De la Iglesia y Liporace, 2013). Índice que para nuestra investigación fue de RMCR = 0.0360.
Al evaluar el ajuste de los diferentes modelos considerados (5 factores, 4 factores, dos factores y un factor) para determinar cuál de ellos reproducía mejor la estructura subyacente de la escala de medida puedo observarse que: a) para los cuatro modelos en general los valores del GFI eran mayores o iguales a 0.90 y los del RMCR inferiores a 0.06 indicando un buen ajuste, b) en los casos de sobrefactorización (claramente con los modelos 5 y 4) y como es habitual, el ajuste era ligeramente superior a los que se obtienen con los modelos de dos o un factor, c) analizando los incrementos del GFI, para considerar cuando hay una mejora substantiva del paso de un modelo a otro, el mejor ajuste se producía de entrada tanto del paso del modelo de 5 factores como del de 4 factores a cualquiera de los otros dos dado que el incremento del GFI fue mayor o igual a 0.01 y d) los incrementos observados en el GFI en la comparativa entre los modelos de una y dos dimensiones no eran significativos como para determinar cuál de ellos proporcionaba un mejor ajuste (Tabla 6-9).
Llegados a este punto, argumentamos que el modelo unidimensional es el que proporciona un mejor ajuste, como así lo recomendaba el propio programa, basándonos en diferentes elementos de juicio como que en la matriz de saturaciones (Tabla 6-10) en el modelo de dos factores la segunda de las dimensiones (determinada por los ítems 37, 48 y 56) resulta difícil interpretar o no significa nada y aparecen muchos ítems complejos y que considerar el modelo de dos factores con estas evidencias solo hacía que complicar el modelo, lo que va en contra del principio de parsimonia.
Tabla 6-9. Criterios objetivos e incrementos en los modelos evaluados
Modelo RMCR GFI Modelo de 5 Factores 0.0223 1.00 Modelo de 4 Factores 0.0269 1.00 Modelo de 2 Factores 0.0411 0.99 Modelo de 1 Factor 0.0513 0.99 Incrementos 4-5 -0.0046 0 Incrementos 2-5 -0.0188 0.01 Incrementos 1-5 -0.029 0.01 Incrementos 1-2 -0.0102 0
Tabla 6-10. Pesos factoriales de los ítems en los modelos con mejor ajuste proporcionado Modelo 1 Modelo 2 Ítem F1 F2 F1 36 0.699 0.693 0.723 37 0.554 0.681 0.592 38 0.776 0.723 0.796 39 0.790 0.572 0.782 40 0.786 0.570 0.775 41 0.840 0.623 0.835 42 0.809 0.582 0.800 43 0.685 0.478 0.675 44 0.763 0.579 0.761 45 0.656 0.526 0.660 46 0.737 0.605 0.743 47 0.756 0.742 0.781 48 0.559 0.683 0.596 49 0.684 0.617 0.699 50 0.747 0.616 0.754 51 0.807 0.638 0.810 52 0.747 0.524 0.736 53 0.754 0.442 0.724 54 0.720 0.479 0.704 56 0.191 0.444 0.238 Validez discriminante
La diferencia entre los docentes con puntuaciones menores o iguales al percentil 25, por encima del percentil 25 y por debajo del 75 y mayores o iguales al percentil 75 fue significativa indicando un poder discriminativo de los ítems bueno (Tabla 6-11) que permite al instrumento diferenciar de manera clara a docentes con diferentes culturas docentes. Puntuaciones de cultura docente que en función del percentil correspondiente que se presentan en la Tabla 6-12.
Tabla 6-11. Análisis de la Varianza
Suma de
cuadrados gl cuadrados mediosSuma de F Sig.
Entre grupos 48.002 2 24.001 109.090 .000
En el grupo 23.101 105 0.220
Total 71.103 107
Tabla 6-12. Descriptivos de las puntuaciones en cultura docente según percentil
Percentil Media Desviación n
25 4.89 0.87 27
25-75 6.07 0.25 55
75 6.76 0.12 26
Nota. n: tamaño de la muestra en cada grupo
Fiabilidad de la escala
El análisis de la consistencia interna de la escala analizada a partir del alfa de Cronbach ordinal, indicó un alto nivel (alfa de Cronbach 0.938).
6.2.4 Resumen sobre las propiedades psicométricas de los instrumentos de medición
En este apartado se han analizado las propiedades psicométricas de las escalas empleadas para medir los compromisos con la Escuela y con la actividad docente y las del instrumento diseñado para la medida de la cultura docente del profesorado de la EUI de la UB.
Concretamente, se ha evidenciado que las dimensiones subyacentes encontradas con nuestras observaciones no reproducen exhaustivamente las definidas y explicadas ni por los autores de la escala ni por la literatura existente acerca del compromiso con la organización y con la profesión. En cuanto a la fiabilidad, tanto de la escala global como de cada una de las dimensiones consideradas, los resultados obtenidos han puesto de manifiesto que el grado de precisión del instrumento es elevado.
Con respecto a las propiedades psicométricas del instrumento diseñado para medir la cultura docente del profesorado, los resultados corroboran que el conjunto de ítems propuestos inicialmente a los expertos y posteriormente revisados son válidos y fiables en esta primera versión para la medida del constructo cultura docente del profesorado de EUI de la UB.
En particular, la validez del instrumento fue evidenciada a través de diferentes fuentes. En primer lugar, por el juicio de los expertos quienes cualitativa y cuantitativamente nos han proporcionado buenos elementos de juicio para demostrar que los ítems se ajustan al constructo de interés. Sus buenas evaluaciones en los parámetros relevancia y pertinencia tanto a nivel individual con en el conjunto de la escala así lo confirman. En segundo lugar, a través de los resultados obtenidos del estudio piloto, cualitativo y cuantitativo, que permitió verificar la validez aparente. En tercer lugar la validez de constructo, con la que al aplicarse el AFE pudo comprobarse la unidimensionalidad de la estructura conceptual. Finalmente, la capacidad del instrumento para diferenciar a los individuos con tipologías de cultura docente diferentes, validez discriminante, que también fue significativa.
Por otro lado, la fiabilidad del instrumento entendida como la consistencia interna u homogeneidad entre los ítems del cuestionario quedó también demostrada al obtenerse un alfa de Cronbach de 0.938.
Tras el estudio de las propiedades psicométricas de las diferentes escalas consideradas para esta investigación y sosteniendo, a pesar de las dificultades estadísticas ya comentadas, las hipótesis de este estudio acerca de las dimensiones e ítems que definen el compromiso con la organización y con la profesión, en la Tabla 6-13 se presentan los ítems a partir de los cuales se han construido cada uno de los constructos de interés para este estudio, así como su consistencia interna.
Tabla 6-13. Constructos, ítems que los determinan y fiabilidad
Constructo Ítems Alfa de
Cronbach
Compromiso Afectivo con la Escuela ítem1-ítem6 0.815
Compromiso de Continuidad con la Escuela-Sacrificios
asociados ítem7-ítem9, ítem11 0.518
Compromiso de Continuidad con la Escuela-Ausencia de alternativas
Ítem10 y ítem12 0.741
Compromiso Normativo con la Escuela ítem13-ítem17 0.744
Compromiso Afectivo con la actividad docente ítem18-ítem23 0.634 Compromiso de Continuidad con la actividad docente ítem24-ítem29 0.821 Compromiso Normativo con la actividad docente ítem30-ítem35 0.707