Control de medición: validez y fiabilidad

Cuando una investigación social aborda el proceso de medición, existen varias posibilidades de acercamiento como hemos podido apreciar, y en este aspecto es conveniente que la medición sea satisfactoria respecto a dos cues- tiones fundamentales que comprometen el diseño investigador: la validez de los indicadores finalmente escogidos y la fiabilidad del instrumento de medi- ción. Estos dos elementos constituyen problemas de difícil solución en las ciencias sociales, pues tanto los conceptos investigadores como las unidades de análisis y los instrumentos de medición son frecuentemente de naturale- za compleja e imprecisa, cuando no en ocasiones difusa. Pero para contem- plar y en su caso minimizar las posibles distorsiones que se puedan generar, tanto los juicios de validez como los de fiabilidad incorporan un término muy útil: el error de medición. El proceso de medición de un concepto difí- cilmente puede recoger con total precisión a través de los indicadores dise- ñados la totalidad del objeto estudiado. Siempre existe mayor o menor diver- gencia entre lo que realmente pretendíamos captar y lo que finalmente aca- bamos registrando. Recordemos que en una encuesta básicamente medimos variables, y la información en torno a ellas es recogida a partir de indicacio- nes verbales de los sujetos entrevistados. Ello provoca desviaciones en la medición que es aconsejable tener en cuenta, y la comprobación tanto de la validez como de la fiabilidad incorporan explícitamente el reconocimiento de estos errores.

La validez prueba la relación coherente entre el concepto (lo teórico) y los indicadores que definimos para el concepto (lo empírico). Hace referencia pues a que el procedimiento investigador mida finalmente lo que realmente se pretendía medir y depende básicamente de cómo se ha definido y operaciona-

lizado el concepto, y qué indicadores se hayan seleccionado para su medición. La noción de validez, aunque sencilla en su definición, supone serias dificul- tades, puesto que en ciencias sociales desconocemos en la mayoría de los casos la verdadera medida del objeto que pretendemos atrapar (Latiesa, 1994). Si pretendemos medir, por ejemplo el grado de implicación comunitaria de un sujeto, nos hallamos ante un concepto que no es susceptible de ser medido como tal en un sentido absoluto, sino a partir de definiciones apriorísticas pre- vias que enmarcan el fenómeno en una serie de manifestaciones sobre la rea- lidad social, lo cual como hemos comentado en el párrafo anterior nos lleva a considerar la existencia irremediable de errores en la aproximación. En caso de que la validez en la medición del concepto no sea adecuada se producirán errores sistemáticos, ya que de escoger unos indicadores erróneos o que no recojan de manera precisa el concepto, siempre que efectuemos una medi- ción sobre la realidad la desviación de los indicadores respecto al contenido real del concepto será la misma.

La fiabilidad, en cambio, hace referencia a la capacidad del instrumento de medición de obtener los mismos resultados en distintas pruebas. Expresa por lo tanto la consistencia y reproductibilidad de una medición (Alaminos, 1998). Depende de la técnica de investigación y del modo de aplicación del instrumen- to de medición. En caso de que el instrumento no sea fiable se producirán errores aleatorios puesto que se desconoce cuándo aparecen y cómo afectan a cada una de las mediciones realizadas (Díaz de Rada, 2004), y se derivan de su aplicación en circunstancias no idénticas o bajo distintas condiciones, tales como factores coyunturales del entrevistado, del entrevistador, o del contexto de la entrevista.

Para comprenderlo mejor, a modo de símil utilicemos como ejemplo figu- ra 2.3, que ilustra diversos resultados en los disparos a una diana.

Si tuviéramos que valorar la validez y fiabilidad de la escopeta que hemos utilizado para disparar a las dianas podríamos decir que en la primera diana poseemos una escopeta fiable (todos los disparos obtienen básicamente los mismos resultados), pero no válida (apuntamos al centro de la diana pero se desvía sistemáticamente). En relación a la validez y fiabilidad en la investiga- ción social podríamos decir que estamos utilizando correctamente el instru- mento de medición, que es fiable, pero no hemos definido bien los indicadores del concepto teórico que manejamos, puesto que no está midiendo a aquella realidad a la que estamos apuntando nuestro interés.

En el caso de la segunda diana podemos decir que tenemos una escopeta relativamente válida, puesto que todos los disparos entran dentro de la diana, pero es poco fiable, porque cada disparo da en un sitio distinto de la diana. Vinculando este ejemplo a la investigación social, podríamos decir que nues- tros indicadores son válidos (siempre apuntan hacia lo que queremos medir), pero el instrumento, esto es, la técnica o el modo de aplicación en este caso del cuestionario, no es fiable (cada vez que intentamos medir la misma realidad obtenemos un resultado diferente).

Para el control de la validez, el investigador dispone de varios procedi- mientos en forma de criterios que pueden ayudar a corregir errores. El prime- ro y quizás más utilizado es el que se conoce como «validez de contenido» o validez convencional. Este criterio básicamente se articula sobre el consen- so al que llega un conjunto de expertos en la materia estudiada para refren- dar la capacidad de los indicadores escogidos respecto a su capacidad real de medir la complejidad del concepto. una segunda opción de trabajo es el cri- terio de «validez de constructo», que implica determinar el modo específico en que un conjunto de indicadores miden un concepto determinado y no otro. Existen dos formas que se utilizan habitualmente para precisar la validez de constructo. una de ellas es medir el grado de asociación estadística entre los indicadores diseñados para el concepto que se ha registrado y otras medidas ya existentes elaboradas previamente en el marco de otras investigaciones, y de las que se hace uso en la investigación propia. Es la denomina validez convergente. Si el grado de asociación es alto constituirá un reflejo de la vali- dez de nuestros indicadores. La estrategia alternativa para medir la validez de constructo es la validez divergente, a través de la cual el investigador se cer- ciora de la inexistencia de asociación estadística entre los indicadores del con- cepto sometido a medición y otros indicadores que miden conceptos diferentes. La ausencia de asociación señalaría en este caso la especificidad de los indi- cadores utilizados para el fin perseguido. Por último, un tercer recurso en el abordaje de la validez de constructo es la determinación de la validez deno- minada como concurrente. Aquí el objetivo es comparar los resultados de los

indicadores diseñados con otros ya existentes destinados a medir el mismo con- cepto. La obtención de resultados semejantes entre las dos mediciones en esta prueba dará cuenta del grado de validez conseguida en nuestra investigación.

La estimación de la fiabilidad, por su parte, se basa en procedimientos que miden la estabilidad de las mediciones, sobre todo a lo largo del tiempo o comparando la consistencia de los resultados en distintos grupos. Para ello la herramienta más conocida es la de «test-retest». A través de este proceso se determina la estabilidad de la medición comparando los resultados de ésta habiendo aplicado el mismo instrumento de medición en dos momentos diferentes del tiempo. El grado de correlación estadística de los resultados de las preguntas sometidas a test-retest establecerá la fiabilidad de la medi- ción. un grado de correlación alto indicaría que el instrumento es estable, y por lo tanto fiable. Por el contrario, un elevado grado de divergencia en los resultados cuestionaría la fiabilidad del proceso de medición efectuado. una alternativa distinta a la consideración de tiempos distintos para valorar la fia- bilidad es utilizar el conocido como criterio de «equivalencia». En este caso la valoración de la fiabilidad se basa en la obtención de resultados semejantes con la aplicación del conjunto de indicadores, o bien dos sistemas de indica- dores distintos aunque equivalentes, sobre dos grupos de sujetos considerados como homogéneos. La comparación de los resultados en ambos grupos, gene- ralmente a través de análisis de varianza, permitirá establecer el grado de fia- bilidad que aporta el instrumento de medición.