La validez es un juicio integrador sobre el grado en
que la evidencia derivada de lo resultados soporta
una inferencia
La validez se aplica a las inferencias o conclusiones
extraídas de la investigación
Son las proposiciones, inferencias y conclusiones las
que tienen validez
Su análisis se enmarca en alguna tipología,
especialmente la del grupo de Campbell: Campbell y
Stanley (1963), Cook y Campbell (1979), Shadish,
El marco de la validez proporciona un esquema
útil para evaluar la calidad de las conclusiones de
la investigación.
Amenazas a la validez: razones por las que las
inferencias pueden ser erróneas. Algunos tests de
falsación son mejores que otros en cuanto a la
Tipología de La validez del grupo de
Campbell
La validez se divide en cuatro tipos, dirigiéndose cada
uno de ellos hacia una cuestión específica:
◦
Conclusiones estadísticas, a veces conocida como sensibilidad
del diseño
◦
De constructo
◦
Interna (causación descriptiva)
Conclusiones: relac. entre X e Y
Interna: ¿es causal?
Constructo:Podemos generalizar el constructo
Externa:
Amenazas sociales
La actividad investigadora en las CC.Sociales es una actividad humana y los resultados de la investigación están afectados por las interacciones entre humanos.
Las amenazas sociales a la validez interna se refieren a presiones sociales en el contexto investigador que llevan a diferencias post-test que no son directamente causadas por el tratamiento mismo. La mayoría ocurren por tener conciencia los sujetos de estar en el proyecto de investigación.
Algunas amenazas pueden controlarse aislando los grupos, pero esto puede crear otras amenazas (validez externa)
Amenazas debidas a la interacción social
Difusión o imitación de tratamientos. Se produce cuando un grupo de
comparación aprende directa o indirectamente de los participantes en el programa. Esta amenaza tiende a equiparar los resultados de los grupos.
Rivalidad compensatoria. El grupo de comparación conoce lo que están
haciendo los participantes y desarrolla una actitud competitiva con ellos, y a mostrar que pueden hacerlo igual de bien. Puede hacer difícil la
comparación, equiparándose los resultados de los dos grupos.
Desmoralización resentida. Es el opuesto al anterior. Conocen lo que
están haciendo en el programa, pero en vez de desarrollar rivalidad, desarrolla “inhibición”, no hacer”, aumentando las diferencias entre los grupos de forma irreal.
Equiparación compensatoria del tratamiento. Esta amenaza afecta más
a personas del entorno (administradores, familias)que a los
Cómo controlar la reactividad
Rosenthal y Rosnow (1991) sugieren algunas posibles
soluciones:
◦ Hacer la VD menos obvia y medirla fuera de la situación experimental ◦ Medir los resultados en momentos más tardíos en el tiempo
◦ Evitar pre-tests que proporcionan pistas sobre los resultados deseados ◦ Usar diseño de Solomon
◦ Reducir las interacciones del experimentador con los participantes ◦ Procedimientos ciego y doble ciego
◦ Usar “deception” (si es ética) proporcionando falsas hipótesis ◦ Usar participantes cuasi-control que dicen cómo responderían ◦ Reducir la aprehensión de evaluación, con anonimato y
Validez interna
¿Hasta qué punto puede establecerse una relación causal entre X e
Y?. La cuestión clave es
“
si los cambios observados pueden
atribuirse al programa o intervención (causa) y no a otras posibles
causas
”
(eliminar las explicaciones alternativas de los resultados).
En otras palabras, ¿podrían obtenerse estos resultados en ausencia
del tratamiento?
Es solamente relevante en los estudios que tratan de establecer
relaciones causales, no siéndolo en los observacionales o
descriptivos
Es básica en los estudios que evalúan programas o intervenciones,
Validez interna: Criterios de las relaciones causales
Precedencia temporal. El primer requisito es mostrar que la causa
sucede antes que el efecto. Aunque parezca obvio, veamos un ejemplo clásico de la economía. ¿La inflación causa el desempleo?. Parece plausible que a medida que la inflación aumenta más empresarios despidan personas para reducir costees. No obstante, si se examina la serie temporal de ambas, es posible que las dos estén ocurriendo juntas y que haya una tercera variable causa de las dos.
Covariación de la causa y del efecto. Antes de mostrar que la relación
es causal, hay que mostrar que hay algún tipo de relación.
Ausencia de espuriedad en la relación.
No existencia de explicaciones alternativas plausibles. Las dos
Amenazas a la validez interna
Precedencia temporal ambigua. Experimento causas unidireccionales Selección. La asignación aleatoria elimina este sesgo. La mortandad
puede introducirlo de nuevo. Produce un confundido de efectos de tratamiento con diferencias de población
Historia: todos los sucesos que ocurren entre el comienzo y el posttest
que podrían haber producido el resultado observado en ausencia del tratamiento
Maduración (Recuperación espontánea). Procesos que experimentan los
sujetos de forma natural que pueden llevar al resultado (el aislamiento experimental raro en el campo)
Regresión: selección de sujetos por sus puntuaciones en alguna medida
(altos – bajos), tendencia a la regresión a la media que oscurece los
efectos. Ocurre por dos razones: falta de homocedasticidad de los errores de media (TCT); conjunto de situaciones reales no aleatorias que es
Amenazas a la validez interna
Mortalidad o pérdida de sujetos diferencial
: en función de los
tratamientos
“Testing”
: tomar un test puede influir en el retest posterior:
práctica, familiaridad, etc. La TRI permite reducirlo, creando formas
equivalentes con más facilidad
Instrumentación
: cambios en la instrumentación. El significado de
una variable puede cambiar con el tiempo
Efectos aditivos e interactivos de las amenazas
: múltiples fuentes
pueden operar simultáneamente
Amenazas en los estudios de grupo único
Programa Medida
X O
Medida Programa Medida
línea
O X O
Historia
Maduración
Testing
Instrumentación
Mortalidad
Amenazas en los estudios de grupos múltiples
Entendemos por tales los que tienen al menos dos grupos y medidas
antes y después. En la base hay una amenaza única y es que los grupos
no sean comparables antes del estudio: sesgo de selección, que es un factor distinto del programa, que lleva a diferencias post-test entre los grupos. Este sesgo se combina con las restantes amenazas:
◦ Selección x Historia
◦ Selección x Maduración
◦ Selección x Testing o medición ◦ Selección x Instrumentación ◦ Selección x Mortalidad
Validez externa
Tiene que ver con la generalización de los resultados.
Responde a la pregunta: ¿Las inferencias del estudio
pueden generalizarse a otras instancias no estudiadas?
Generalización a otras poblaciones de sujetos, otras
medidas
de
constructos,
otros
tratamientos,
Amenazas a la validez externa
Interacción de unidades y tratamientos. ¿ Se mantendría el
efecto con otras unidades experimentales?
Interacciones que implican diferentes tratamientos: Cuando
los tratamientos tienen componentes múltiples, los efectos
de los componentes tienen efectos diferentes: separados,
aditivamente o combinados con otros tratamientos?
Se mantendría el efecto en otras localizaciones?
Se mantendrá el efecto con otra duración del tratamiento?
Se mantiene el efecto con diferentes moderadores?
Confundido de moderadores (por ejemplo edad y sexo en
estudios con ancianos, las mujeres viven más)
Modos de mejorar la validez externa
Selección aleatoria de la muestra de la población
Establecer posibles diferencias entre contextos
Analizar el grado de similaridad entre diferentes personas,
lugares, situaciones, y tiempos
Mapa conceptual
Replicaciones del estudio
