Evaluación Diagnóstica Cognitiva
(Cognitive
Diagnostic
Assessment, CDA)
Roberto D. Cáceres Bauer
Teorías Psicométricas
y
Evaluación Cognitiva
TEORÍA CLÁSICA DE LOS
TESTS(CTT) Y EVALUACIÓN
1. Introducción.
• La construcción de tests de evaluación cognitiva, basada en
CTT, en su origen, se sustentan en teorías y técnicas que no incorporan el conocimiento actual en ciencias cognitivas (Psicología Cognitiva, Neurociencia Cognitiva).
•No se consideran modelos acerca de las estructuras
CTT y Evaluación Cognitiva.
• El análisis factorial exploratorio de tests construidos usando la
CTT ha permitido desarrollar una taxonomia de habilidades
cognitiva en los seres humanos.
• Puntaje Observado del Test = Puntaje Verdadero Test + error
•La aplicación de CTT a la evaluación cognitiva permite
desarrollar instrumentos de evaluación con propiedades
psicométricas conocidas que caracterizan el test: confiabilidad,
validez predictiva, validez de criterio.
•La estrategia para establecer la validez de constructo, es
CTT y Evaluación Cognitiva.
•La selección de contenidos de los tests es “artesanal” y
subjetiva.
•No obstante, los escores totales de tests desarrollados dentro
del marco de la CTT son una forma limitada de caracterización de los sistemas cognitivos relacionadas con las respuestas a un test.
• La relación entre el puntaje total en un test y las estructuras de
TEORÍA DE RESPUESTA A LOS
ÍTEMS (IRT)Y
EVALUACIÓN
TRI y Evaluación Cognitiva.
•La estimación de los parámetros de los ítems es
estadísticamente independiente de la muestra de sujetos.
• En la TRI se obtienen modelos probabilísticos que dan la
probabilidad de respuesta correcta a un ítem.
•Un ítem está compuesto por un estímulo complejo y un
conjunto de prescripciones acerca de cómo responder a dicho estímulo.
•La interacción de un cierto dominio de sujetos y ítems es
TRI y Evaluación Cognitiva.
Ejemplo Modelo unidimensional 3pl:
(
1/ , )
(1
)
1
j i j j i j i j j je
P X
c
c
e
i: habilidad latentej: dificultad del ítem
j: asíntota inferior
Ejemplo Modelo unidimensional 3pl: Test de Evaluación de Paridad. j Item c 1 4 -1.836 12.19 0.023 2 7 -0.672 16.24 0.756 3 9 -0.609 14.44 0.611 4 6 -1.309 14.32 0.331 -4 -2 0 2 4 0 .0 0 .2 0 .4 0 .6 0 .8 1 .0
Item Characteristic Curves
TRI y Evaluación Cognitiva.
•La distribución conjunta de los patrones de respuesta son
una caracterización más rica del proceso de respuesta que la distribución de puntajes totales y dificultades clásicas de los ítems, potencialmente más informativa para el estudio del sistema cognitivo subyacente relacionado con un test.
•El hecho de que el ítem es el elemento básico, es en si
mismo un avance importante desde el punto de vista de la evaluación cognitiva, si se pretende estudiar cómo se procesan los estímulos que forman parte de un ítem.
•En general, los modelos de TRI se usan para modelizar la
Evaluación Diagnóstica Cognitiva
•La evaluación diagnóstica cognitiva (CDA) en el contexto de
la educación, tiene el propósito de medir las estructuras de conocimiento específicas y habilidades de procesamiento en sujetos de tal forma de proveer información sobre sus fortalezas y debilidades cognitivas.
•La evaluación diagnóstica cognitiva se basa en la psicología
Diseño Cognitivo de Test.
•El marco procedural es una serie de etapas requeridas
para alcanzar simultaneamente propiedades optimas
psicométricas y cognitivas.
• El diseño cognitivo de test es un marco para utilizar la
teoría cognitiva en el diseño de test de habilidades.
•El marco conceptual es una reformulación del concepto de
la validez de constructo para darle un papel central a la teoría
cognitiva en el desarrollo de tests.
Ejemplo: Linear Logistic Trait Model: LLTM
exp(
)
(
1)
1 exp(
)
i m jm m ij i m jm mq
d
P X
q
d
* j m jm mb
q
d
qjm=factor m de complejidad cognitiva del item j
m=peso del factor m en la dificultad del ítem
d=constante de normalización
Propiedades del sistema de diseño
cognitivo de test.
(1) El contenido del test es delimitado por principios explícitos.
(2) El significado de los puntajes está vinculado a los procesos
cognitivos subyacentes.
(3) Los parámetros de los ítems representan las fuentes de complejidad cognitiva en el ítem.
Sistemas de Producción
• Un sistema de producción es un conjunto de reglas de
condiciones y acciones que son llamadas producciones.
Anderson (1993)
• Cuando la condición de una producción se verifica, su
acción se produce, resultando en un cambio que puede hacer que se verifiquen las condiciones para nuevas producciones.
• Se producen comportamientos dinámicos flexibles y
complejos.
• Las acciones cognitivas tienen lugar con la restricción
Sistemas de Producción
• Pueden estar involucradas cientos de producciones en el
modelo.
Anderson (1993)
• Las operaciones de muchas producciones son internas al
sistema cognitivo y no observables.
• Se asume que el aprendizaje puede ocurrir con la
presentación de cada problema adicional.
• Estimaciones del aprendizaje del estudiante de cada
regla de producción son mantenidas y actualizadas mediante técnicas bayesianas.
• Este modelo puede ser usado de hecho para resolver
Inferencia basada en probabilidad en
diagnóstico cognitivo.
Mislevy (1995)
• Espacio de modelos de estudiantes: caracterización
simplificada de los conocimientos de los estudiantes, habilidades, y/o estrategias, indexadas por variables que indican sus aspectos clave.
• A partir de la teoría y datos, se postulan probabilidades para las
formas en que los estudiantes con diferentes configuraciones en el espacio resolverán problemas, responderán preguntas, etc.
• La aplicación de teoría de probabilidades permite asignar a las
Redes de Inferencia.
Mislevy (1995)
•“Independencia Condicional”: Un conjunto de variables puede
estar relacionado en una población, pero son independientes dado un segundo conjunto de variables.
• La representación recursiva y las relaciones de independencia
y dependencia condicional simplifican en gran medida la expresión de la distribución conjunta.
•Representación Recursiva de la distribución conjunta de las
Redes de Inferencia.
Mislevy (1995)
•La red se puede representar por un grafo dirigido acíclico
• Las direcciones indican que variables son escritas cómo
condicionales en otras en la representación.
• Acíclico refiere a que no se pueden dar ciclos de dependencia
entre las variables.
• Cada variable es un nodo en el grafo.
• La dirección de la flecha va de los eventos condicionantes a
Redes de Inferencia.
Mislevy (1995)
•“Cliques”:subconjunto de variables que están todas ligadas por
pares unas a las otras.
• “Intersección de cliques”: conjunto de variables comunes a
dos cliques.
•“Cliques” y “Intersecciones de Cliques” son la estructura para la
actualización local de la red.
•“Representación conjunta del árbol” representa la estructura
conectada en forma simple (por un solo camino) de “cliques” y
Redes de Inferencia.
Mislevy (1995)
•“Tablas Potenciales” contienen distribución conjunta de “cliques”
y intesecciones.
•Las “tablas potenciales” se usan para hacer actualizaciones
locales de la red.
•Las actualizaciones se realizan cada vez que se recoge nueva
Aplicación al diagnóstico cognitivo.
Mislevy (1995)
•“Universo de modelos de estudiantes”: es un “supermodelo”
que está indexado por parámetros que significan distinciones
entre estados de comprensión.
• es un vector de parámetros del modelo de estudiante.
• Los parámetros en pueden ser cuantitativos o cualitativos, y
los cualitativos pueden ser ordenados, parcialmente ordenados o no ordenados.
• El problema de modelización es delinear los estados o
Aplicación al diagnóstico cognitivo.
Mislevy (1995)
•“Modelo de rendimiento” consiste de una base de
conocimiento y reglas de manipulación que pueden ser ejecutadas en un dominio de interés.
• El “problema de construcción de tareas” es la elaboración
de situaciones para las cuales los estudiantes que difieren en los parámetros del espacio es probable que se comporten en formas observables diferentes.
• P(X/), es la probabilidad condicional de diferentes
Aplicación al diagnóstico cognitivo.
Mislevy (1995)
• El problema de inferencia es razonar desde las observaciones
a los modelos de estudiante, para lo cual se usan las redes de inferencia y los cómputos locales.
•La “construcción del modelo” y “construcción de ítems”
definen las variables relevantes (variables del modelo de
estudiante y las variables observables X) y proveen de las
Aplicación al diagnóstico Cognitivo.
Mislevy (1995)
•P( ) y P(X/ ) implican lo que se espera inicialmente para lo
que se puede observar a partir de un estudiante.
• Una vez que se tienen nuevas observaciones se revisan las
probabilidades sobre la red para hacer inferencias acerca de
dado X mediante P( / X ) P(X/ ) P( ).
• P( / X ) carácteriza la creencia acerca de un modelo particular
Atributos psicométricos.
• Los atributos caracterizan los ítems de un test.
• Los atributos pueden ser interpretados como procesos
cognitivos o habilidades que son requeridos para un desempeño correcto en un ítem particular de un test.
• Un atributo puede ser también una producción individual
en un modelo de sistema de producción de habilidad.
• Un atributo puede ser en otros casos conceptos más vagos
como “aprendizaje de fracciones” o “habilidades de
Rule
Space
Model.
Rule
Space
Model.
Kikumi K. Tatsuoka
• El “análisis de espacio de reglas” es una aproximación probabilistica a la evaluación diagnóstica cognitiva cuyo propósito es identificar los estados de conocimiento de los examinados, basándose en el análisis de los requerimientos cognitivos de la tarea, también llamados atributos.
• Un atributo de una tarea es una expresión de una dimensión latente de la tarea que es requerida en orden de completar la tarea exitosamente.
Rule
Space
Model.
Kikumi K. Tatsuoka
• El modelo de espacio de reglas permite el mapeo de patrones de atributos (estados de conocimiento) en patrones ideales de escores de ítems, correspondientes a los diversos estados de conocimiento.
Modelos Multidimensionales de
Teoría de Respuesta a los Ítems.
Modelos Multidimensionales de Teoría de
Respuesta a los Ítems.
• Se asume que la respuesta a un ítem depende de la posición
del sujeto en un espacio latente multidimensional en el cual se representa la habilidad del sujeto para responder
correctamente a un ítem.
• Modelos “Compensatorios” vs “Parcialmente
Modelos Multidimensionales de
Teoría de Respuesta a los Ítems.
Discriminación Multidimensional del
ítem.
2 1 F j ij fA
• Aj es la capacidad de un ítem dediscriminar individuos a través de las F-dimensiones del espacio latente
• Aj es una función de la pendiente de la superficie de respuesta
a los ítems (SRI) definida por el modelo en el punto donde ocurre el máximo de las pendientes máximas, en la dirección indicada por la localización multidimensional.
Dificultad Multidimensional del ítem:
MDIFF.
• La localización multidimensional de un ítem
está dada por,
y sus cosenos directores.
• Indica la distancia a partir del origen en el espacio al
Dirección de la pendiente máxima a
partir del origen.
Ítem-vectores
• El origen del vector esta dado por la dificultad
multidimensional , esto es, la distancia del origen del espacio al punto de máxima pendiente.
• Su longitud está dada por Aj.
Ejemplo: Modelización
del patrón de
respuesta de un test
de Evaluación de la
Paridad.
• Existen dos grandes tipos de modelos de evaluación de la paridad.
•Uno se basa en asumir que la extracción de la paridad involucra alguna forma de cálculo mental. De acuerdo a dicha hipótesis se espera que exista un efecto denominado efecto del tamaño, en el cual existe una relación monótona creciente entre la magnitud de los números y los tiempos de respuesta y la frecuencia de errores, y la magnitud del número es entonces una variable relevante para explicar tiempos de respuesta y tasas de error .
i
v
1
4
2
7
3
9
4
6
5
33
6
74
7
86
8
14
9
51
10 38
i
v
11 27
12 66
13 58
14 40
15 71
16 85
17 123
18 269
19 496
20 346
Tarea de Evaluación de la Paridad• Los ítems se presentan en forma visual, en un test psicométrico convecional.
•Al principio del test se encuentra una consigna que explica en que consiste la
tarea y define las restricciones que existen a la forma de respuesta a los ítems.
•La consigna fue leída por un evaluador previamente.
•La respuesta a cada ítems se hizo
Figura 1. Parámetros estimados para el modelo MIRT para la solución de 2 y 3 dimensiones. Valores más negativos de MDIFF corresponden a ítems de menor dificultad. Con azul se señalan los ítems más fáciles y con rojo los más difíciles dentro de cada grupo de ítems (1 cifra, 2 cifras, 3 cifras).Los valores sombreados corresponden a el ítem más difícil (celeste) y más fácil (rosa).
Figura 1. Parámetros estimados para el modelo MIRT para la solución de 2 y 3 dimensiones. Valores más negativos de MDIFF corresponden a ítems de menor dificultad. Con azul se señalan los ítems más fáciles y con rojo los más difíciles dentro de cada grupo de ítems (1 cifra, 2 cifras, 3 cifras).Los valores sombreados corresponden a el ítem más difícil (celeste) y más fácil (rosa).
Modelización
Cognitiva de los ítems
.• La aproximación seguida para elaborar un modelo cognitivo de las respuestas a los ítems se basó en la idea usada por “Embretson” de analisar el efecto de “factores de complejidad cognitiva”.
•Tatsuoka (rule space methods) usa también una aproximación similar para evaluar las matrices Q o de incidencia de atritutos cognitvos de los ítems de un test. Usa un modelo de regresión lineal que considera la variable respuesta “dificultad unidimensional del ítem”, y las columnas de la matriz Q de atributos cognitivos como variables explicativas
(considera R2 y R2ajustado para comparar entre modelos).
•Para Tatsuoka la matriz Q es una definición operativa del modelo cognitivo utilizado.
•En este caso se utilizó como medida para caracterizar el procesamiento de información cogntiva el MDIFF.
•Se consideraron todos los factores de complejidad cognitiva de acuerdo a las dos hipótesis alternativas.
Modelización
Cognitiva de los ítems
.• El enfoque seguido se basa en la Teoría de procesamiento de información cognitiva.
Información cognitiva.
La información refiere a las representaciones derivadas por un sujeto a partir de la estimulación ambiental o a partir del procesamiento de
dichas influencias que producen selecciones entre opciones alternativas para la creencia o la acción.
Procesamiento de información Cognitiva.
El procesamiento de información refiere a cómo la información es modificada para que ésta eventualmente produzca su influencia
observada.
Modelos de Procesamiento de información cognitiva.
Modelización
Cognitiva de los ítems
.Análisis de Cluster de Ítems para Confirmar la
Estructura Dimensional.
• Una aproximación a la determinación de la dimensión del espacio
latente necesario para modelar bien las relaciones en los datos es
hacer un análisis de cluster de una medida de similaridad de los
constructos medidos por los ítems.
• El número de cluster encontrados es un límite superior para la
dimensión del espacio latente.
• El número de dimensiones se puede determinar usando análisis de
cluster comparando los resultados de análisis con diferente número de dimensiones.
• Si los análisis de cluster son esencialmente los mismos para
diferentes números de dimensiones, el menor número de dimensiones
usado para el análisis es suficiente para modelizar las relaciones en la
Medidas de Similaridad
• Ángulo entre cada par de vector-item (Miller y Hirsch, 1992)
Medidas de Similaridad
• Covarianza condicional entre items.
Métodos de Análisis de Cluster.
• Kim (2001) encontró que el método que parece funcionar mejor con el ángulo entre ítems es el método de Ward (1963).
Ejemplo: Dimensión del espacio
latente en el Test
de Paridad.
• Se aplicó cómo medida de similaridad el ángulo entre ítems y el método de análisis de cluster fue el método de análisis de cluster gerárquico de Ward.
-4 -2 0 2 4 -4 -2 0 2 4 1 2 1 432 5 6 7 8 9 10 12 13 14 15 16 17 18 19 20
Test
de Evaluación de la Paridad: Gráfico
40 85 74 38 14 123 71 86 269 66 34 6 7 49 6 4 6 33 51 27 9 58 0 100 2 00 300 400 Cluster Dendrogram
hclust (*, "ward")Valor del Ítem
40 85 74 38 14 123 71 86 269 66 346 7 496 4 6 33 51 27 9 58 0 100 200 30 0 40 0 Cluster Dendrogram:2D
hclust (*, "ward")Valor del Ítem
He ig ht 58 346 86 14 496 74 38 9 51 4 6 40 7 66 85 269 27 123 33 71 0 100 200 300 Cluster Dendrogram:3D hclust (*, "ward") Valor del Ítem
H ei ght 49 6 86 14 58 346 74 38 6 4 9 40 7 66 85 269 123 27 71 33 51 0 50 150 250 Cluster Dendrogram:4D
hclust (*, "ward")Valor del Ítem
H e ight 74 496 58 346 38 86 14 33 9 6 4 66 7 40 85 26 9 27 123 51 71 0 50 150 Cluster Dendrogram:5D
hclust (*, "ward")Valor del Ítem
He
ig
58 346 86 14 496 74 38 9 51 4 6 40 7 66 85 26 9 27 123 33 71 0 100 200 300 Cluster Dendrogram:3D hclust (*, "ward") Valor del Ítem
H ei ght 49 6 86 14 58 346 74 38 6 4 9 40 7 66 85 269 123 27 71 33 51 0 50 150 250 Cluster Dendrogram:4D
hclust (*, "ward")Valor del Ítem
H e ight 74 496 58 346 38 86 14 33 9 6 4 66 7 40 85 26 9 27 123 51 71 0 50 150 Cluster Dendrogram:5D
hclust (*, "ward")Valor del Ítem
He ig ht 74 496 14 86 38 58 346 9 6 4 66 7 40 85 269 27 123 33 51 71 0 50 10 0 150 200 Cluster Dendrogram:6D
hclust (*, "ward")Valor del Ítem
H
ei
• dimensión = 2, no captura apropiadamente las relaciones entre los ítems.
• dimensión = 3, se observa una mejora importante.
• dimensión = 4 y 5 una mejora relativamente pequeña
respecto a dimensión = 3, pero poco diferencia entre d=4 y d=5.
• Cluster 1: Contiene ítems de una sola cifra, “66”, “40”.
Resumen de la interpretación de los
resultados anteriores.
• Cluster 2: Contiene ítems “pares” de múltiples cifras: ej.
“38”.
• Cluster 3: Contiene ítems “impares” de múltiples cifras:
Codificación del estímulo