• No se han encontrado resultados

Hallazgos más Importantes de los Estudios Monte Carlo

CFI 0.95 SRMR 0.08

11. APPENDIX 2: GENERAL DISCUSSION (Spanish Version)

11.1. Hallazgos más Importantes de los Estudios Monte Carlo

11.1.1. Hallazgos del Estudio 1: El Método MAP

El Estudio 1 evaluó el desempeño del método MAP. A pesar que este método había sido estudiado de manera extensiva con variables continuas (e.g., Peres-Neto, Jackson, &

Somers, 2005; Zwick & Velicer, 1982, 1986; Velicer et al., 2000) y que era recomendado frecuentemente en guías de mejores prácticas para el análisis factorial (Hayton et al., 2004;

Henson & Roberts, 2006; Patil, Singh, Mishra, & Donovan, 2008), su efectividad con variables ordinales no había sido examinada previamente. Además de los siete factores de los datos que fueron descritos anteriormente, dos factores de “método” también fueron manipulados en este estudio: el tipo de matriz de correlación (Pearson o policórica) y la potencia a la que se elevaron las correlaciones parciales (segunda o cuarta). Una cuestión que tuvo que ser resuelta previo al estudio fue qué hacer con las matrices policóricas no-Gramianas, ya que el método MAP requiere de matrices de correlaciones Gramianas para su

cómputo. En este sentido, análisis preliminares mostraron que suavizar las matrices policóricas no-Gramianas con el procedimiento “ridge” (Wothke, 1993) producía buenos resultados, por lo que se decidió llevar a cabo los estudios Monte Carlo suavizando todas las matrices policóricas no-Gramianas con este procedimiento. Con el fin de determinar si el surgimiento y suavizado de matrices policóricas no-Gramianas tenía algún impacto en la efectividad del método MAP estos casos fueron identificados y analizados por separado.

Los resultados del Estudio 1 mostraron que el método MAP con correlaciones policóricas es sustancialmente más preciso que el MAP con correlaciones Pearson, independientemente de si la matriz policórica es originalmente Gramiana o no-Gramiana. A pesar que MAP con policóricas es de por sí moderadamente superior al MAP con correlaciones Pearson para datos simétricos, la deferencia se convierte en sustancial en la medida en que los niveles de asimetría crecen. Con respecto al factor potencia, los resultados indicaron que elevando las correlaciones parciales al cuadrado se obtienen estimaciones más precisas que elevándolas a la cuarta potencia. En general, la versión más precisa del método MAP es la que utiliza correlaciones policóricas y eleva las correlaciones parciales al cuadrado. Por otro lado, todas las variantes del método MAP exhibieron una fuerte tendencia a subestimar el número de factores, especialmente cuando las saturaciones eran bajas y/o el número de variables por factor era pequeño, condiciones en las cuales el método MAP tiene un nivel de precisión extremadamente bajo. Estos últimos resultados son consistentes con los hallazgos de estudios previos con variables continuas (Zwick & Velicer, 1982, 1986).

Un hallazgo nuevo del Estudio 1 fue la identificación del rol crítico que tiene la interacción de saturaciones x número de variables por factor en la efectividad del método MAP. Específicamente, con un número pequeño de variables por factor (4), la precisión del método MAP no mejora cuando las saturaciones aumentan de un nivel bajo (0.40) a un nivel

medio (0.55). En cambio, un aumento similar en las saturaciones produce un incremento sustancial en precisión con un nivel medio (8) o grande (12) de variables por factor.

11.1.2. Hallazgos del Estudio 2: El Análisis Paralelo

El Estudio 2 evaluó el desempeño del método PA. El Análisis Paralelo tenía la particularidad entre los métodos de retención de haber sido evaluado previamente de manera sistemática con variables ordinales. El problema era, sin embargo, que los hallazgos de los estudios previos eran inconcluyentes y frecuentemente contradictorios. Algunos estudios sugerían que PA funcionaba mejor con correlaciones Pearson (Weng & Cheng, 2005), otros que PA funcionaba igual de bien con correlaciones Pearson y policóricas (Cho, Li, &

Bandalos, 2009), y aún otros que PA era inefectivo con cualquier tipo de matriz de correlación (Tran & Formann, 2009). Además, algunos estudios recomendaban el percentil 95 o 99 de los autovalores aleatorios (Weng & Cheng, 2005), mientras otros encontraron que la media era más efectiva (Cho et al., 2009). También, una versión nueva de PA con extracción de Análisis Factorial de Rango Mínimo (MRFA, por sus siglas en inglés) había sido propuesta recientemente (Timmerman & Lorenzo-Seva, 2011), y análisis preliminares habían mostrado que era moderadamente superior a la versión original de PA con PCA. Con el objetivo de abordar estos hallazgos inconcluyentes, diversas características de los estudios previos fueron identificadas que podrían haber producido los resultados contradictorios, y se diseñó un estudio Monte Carlo a gran escala para evaluar de manera extensiva el desempeño de PA. En el diseño del Estudio 2 se incorporaron tres factores relacionados al método PA, entre los que estaban la matriz de correlación (Pearson o policórica), el método de extracción (PCA o MRFA), y el percentil de los autovalores aleatorios (la media o el percentil 95), además de los siete factores de los datos que se manipularon en todos los estudios.

De manera similar al Estudio 1, fue necesario tomar una decisión sobre las matrices policóricas no-Gramianas. A pesar de que PA con extracción PCA podía ser calculado con matrices no-Gramianas, algunos autores habían decidido eliminar estos casos (Trann &

Formann, 2009), mientras que otros habían argumentado que PA no podía ser interpretado con autovalores negativos (Timmerman & Lorenzo-Seva, 2011). Esta problemática fue abordada en el Estudio 2 a partir de dos estrategias distintas: (1) las matrices no-Gramianas fueron suavizadas utilizando el método de los Autovalores (Knol & ten Berge, 1989), así preservando la lógica estricta del método PA; y (2) no se les dio ningún tratamiento a los autovalores negativos al tiempo que se ofrecieron argumentos teóricos de por qué la lógica general del método PA se mantenía aún en estos casos. Nuevamente, los casos con matrices policóricas no-Gramianas fueron identificados y analizados por separado.

Según los resultados del Estudio 2, las matrices no-Gramianas no producen efectos notables en la efectividad de PA. Adicionalmente, suavizar las matrices no-Gramianas y utilizar los autovalores originales sin tratamiento producen los mismos niveles de precisión, sugiriendo de nuevo que PA no se ve afectado por el estatus-Gramiano de la matriz policórica. En cuanto al impacto de los factores relacionados al método PA, Análisis de Varianza (ANOVA) indicaron que el tipo de matriz de correlación y el método de extracción tienen un efecto grande en la precisión de PA, mientras que el percentil de los autovalores aleatorios tiene un efecto medio. En general, PA funciona mejor con correlaciones policóricas, extracción PCA y la media de los autovalores aleatorios. El análisis paralelo con correlaciones Pearson y extracción PCA funciona bien cuando los variables tienen un nivel de asimetría moderado (0.0 a ±1.0), pero es inefectivo con niveles grandes de asimetría (±1.5 a ±2.0), debido al surgimiento de factores de dificultad. Adicionalmente, PA con extracción MRFA muestra un desempeño pobre con un número pequeño de variables por factor (4) y el percentil 95 de los autovalores aleatorios tiene una fuerte tendencia a subfactorizar cuando

los factores están correlacionados. Además, un ANOVA con la mejor variante de PA (correlaciones policóricas + extracción PCA + media de los autovalores aleatorios) mostró que se veía afectado principalmente por las saturaciones y el tamaño muestral, las cuales alcanzaron un nivel de impacto grande en la efectividad del método PA.

Finalmente, análisis adicionales mostraron que la variante más efectiva de PA a nivel general (correlaciones policóricas + extracción PCA + media de los autovalores aleatorios) es generalmente la más efectiva para todas las combinaciones de las características de los datos que son observables (tamaño muestral, número de categorías de respuesta, y nivel de asimetría), apoyando aún más su uso en la práctica sobre otras variantes. Sin embargo, se debe destacar que inclusive esta variante de PA muestra una tendencia notable a subestimar el número de factores con tamaños muestrales pequeños, pocas variables por factor, muchos factores, y/o correlaciones factoriales altas.