• No se han encontrado resultados

EXPOSITO LANGA, MANUEL GONZALEZ LADRON DE GUEVARA, FERNANDO MARÍN GARCÍA, JUAN ANTONIO

N/A
N/A
Protected

Academic year: 2021

Share "EXPOSITO LANGA, MANUEL GONZALEZ LADRON DE GUEVARA, FERNANDO MARÍN GARCÍA, JUAN ANTONIO"

Copied!
45
0
0

Texto completo

(1)

10.DOE-INVEST Curso 2010 Metodología de Investigación del

Juan A

DOE

10.DOE-PUBLICAC 4ª Jornada 2010. Metodología de Investigación del DOE - Nuevas formas de análisis de datos para

publicaciones científicas

•EXPOSITO LANGA, MANUEL

•GONZALEZ LADRON DE

Juan A. Marin Garcia. UPV- 2010

•GONZALEZ LADRON DE

GUEVARA, FERNANDO

•MARÍN GARCÍA, JUAN ANTONIO

Objetivo

• Ventajas del SEM sobre otras técnicas de análisis.

• Motivar a los asistentes para que quieran aprender a usar EQS.

– Software para SEM. (Enumeración)

P i EQS ( LISREL AMOS)

Juan A

– Primeros pasos con EQS (vs LISREL o AMOS). – Desarrollo de un minimodelo.

– Recursos online seleccionados sobre SEM con EQS

• Mostrar ejemplos de artículos que estamos preparando o que tengamos publicados en revistas o congresos.

– Modelos sobre los que vamos a trabajar – Resultados • Docencia en “espiral”: Juan A. Marin Garcia. UPV- 2010 Docencia en espiral :

– Van a estar viendo cómo se hace siempre lo mismo, pero primero en abstracto (Fernando), luego en un ejemplo concreto descontextualizado (Juan), luego en 3 ejercicios de escritura de artículos científicos).

(2)

Juan A

Ó

¿qué sabéis de estadística multivariante?

Juan A. Marin Garcia.

UPV- 2010

DIAGNÓSTICO PREVIO

Ejercicio de validación de una

escala

• Indique, marcando la casilla

correspondiente, el grado en que se

siente satisfecho con las siguientes

Juan A

siente satisfecho con las siguientes

facetas de su ocupación actual (bien sea

un puesto de trabajo o como estudiante)

Juan A. Marin Garcia. UPV- 2010

(3)

Juan A Juan A. Marin Garcia.

UPV- 2010

PRUEBA DE CONOCIMIENTOS

Prueba de conocimientos

• La validez de un

cuestionario significa que en situaciones iguales se responda lo mismo

– Verdadero/falso

Si A tá l i d

• NO puedo aplicar SEM

a variables con

preguntas de

percepción (tipo poco o

mucho)

Juan A

• Si A está correlacionado con B, significa que A es causa de B

– Verdadero/Falso

• El  de Cronbach toma valores entre 0-1 y nos dice el % de la varianza es explicada por los factores elegidos

V d d /f l

mucho)

– Verdadero/falso

• El primer paso para la

toma de datos (trabajo

de campo) es la

creación de un

cuestionario

– Verdadero/falso Juan A. Marin Garcia. UPV- 2010 – Verdader/falso Verdadero/falso

• En SEM, modelo de

medida es sinónimo de

modelo de estructura

– Verdadero/falso

(4)

Respuestas

• La validez de un

cuestionario significa que en situaciones iguales se responda lo mismo

– Verdadero/falso

Si A tá l i d

• NO puedo aplicar SEM

a variables con

preguntas de

percepción (tipo poco o

mucho)

Juan A

• Si A está correlacionado con B, significa que A es causa de B

– Verdadero/Falso

• El  de Cronbach toma valores entre 0-1 y nos dice el % de la varianza es explicada por los factores elegidos

V d d /f l

mucho)

– Verdadero/falso

• El primer paso para la

toma de datos (trabajo

de campo) es la

creación de un

cuestionario

– Verdadero/falso Juan A. Marin Garcia. UPV- 2010 – Verdader/falso Verdadero/falso

• En SEM, modelo de

medida es sinónimo de

modelo de estructura

– Verdadero/falso

Validez/Fiabilidad

Medir la temperatura

• Validez:

Mid l t

t

l

ti

Juan A

– Mide la temperatura, que es lo que tiene

que medir

• Fiabilidad:

– Si lo aplico en sitios diferentes, pero en

condiciones similares, da el mismo número

Juan A. Marin Garcia.

UPV- 2010

– Si lo aplico a un mismo sitio, sin cambiar las

condiciones, en instantes de tiempo

diferentes, da el mismo número.

(5)

Correlación vs causalidad

• Si A y B están correlacionadas, puede

ser porque:

A es causa de B

Juan A

– A es causa de B

– B es causa de A

– C es causa de A y causa de B

• La causalidad sólo se puede demostrar

con estudios “longitudinales” o con

Juan A. Marin Garcia. UPV- 2010

g

experimentos

Tipos de variables para SEM

• Tienen que ser cualquier tipo de escalas

– Continua

Discontinua

Juan A

– Discontinua

• Intervalo

• Ordinal: categorías ordenadas (por ejemplo,

Likert -1 muy poco … 5 mucho)

Juan A. Marin Garcia. UPV- 2010

(6)

 de Cronbach

• Grado de correlación interna entre varias

variables

Ejemplo del grado de consanguinidad

Juan A

– Ejemplo del grado de consanguinidad

• Entre hermanos

• Entre primos

• Con la familia política

Juan A. Marin Garcia. UPV- 2010

Lo primero que hay que hacer para un estudio de campo…

• Empaparse de

LA TEORIA!!!!!

– Qué se sabe ya sobre el tema

Juan A

• Modelos o relaciones entre variables

– Si no hay hueco de investigación no hay investigación y por lo tanto no es necesario hacer un estudio de campo.

• Forma de medir las variables que aparecen en

los modelo

E l í d l t CREAR Juan A. Marin Garcia. UPV- 2010

– En la mayoría de los casos no tengo que CREAR un cuestionario tengo que usar alguno existente y contrastado (validado)

» Como mucho tengo que traducirlo y validar la traducción

(7)

Diagrama de secuencias

• El diagrama de secuencias es una representación gráfica de las relaciones entre los constructos de la investigación. Se compone de: • Modelo de medida:

– Una variable latente es un concepto supuesto y no observado que solo puede ser aproximado mediante variables medibles u observables (variables manifiestas).

• Las variables manifiestas u observadas (indicators) son recogidas a través de algún

Juan A

Las variables manifiestas u observadas (indicators) son recogidas a través de algún método de obtención de datos (entrevistas, cuestionarios, observación....)

• Las variables manifiestas se representan por un rectángulo en el diagrama de secuencias • Las variables latentes se representan con un óvalo

• Modelo de estructura

– Las relaciones entre las variables latentes

Juan A. Marin Garcia. UPV- 2010 – Juan A

Á

Software para SEM. (Enumeración)

Primeros pasos con EQS (vs LISREL o AMOS). Desarrollo de un minimodelo.

Recursos online seleccionados sobre SEM con EQS

Juan A. Marin Garcia.

(8)

Secuencia de contenidos

•Referencias: Recursos online seleccionados sobre SEM •Software para SEM

•Primeros pasos con EQS •Desarrollo de un minimodelo

FERNANDO GONZÁLEZ LADRÓN DE GUEVARA

Recursos online

http://tinyurl.com/yzjyqq9

htt //

l

/f

l

(9)

Software para SEM

• Lisrel

: The original SEM software

• Amos

: SPSS

• R

: Opensource

• Otros: Systat, SAS, Mplus, Mx

• EQS

• Comparativa y referencias:

http://www2.gsu.edu/~mkteer/

(10)

Descripción EQS Software

http://tinyurl.com/yfstg56

• Byrne, B. (2006). Structural Equation

M d li

With E

Modeling With Eqs

Primeros pasos con EQS

„

Ejecutar programa

Prepararlos datos antes de realizar análisis „Prepararlos datos antes de realizar análisis.

„Matrizde varianzas/covarianzas (calculada de los datos primarios)

„Datos primarios(SPSS archivo, ASCII)

„Análisisgráfico de datos (histograma…) „Regresiónmúltiple

„ Especificar las relaciones entre variables en la forma p

de variables dependientes e independientes. En fución

del tipo de modeloque se quiere generar. El programa

generará el modelo.

(11)

Desarrollo minimodelo

Datos primarios

Desarrollo minimodelo

Modelo factorial de primer orden

Lealtad

. Factor latente.

Medida con

l1, l2, l3, l4 y l5

(Variables medibles) (Likert 1-7)

Con errores de medida:

l1 —> E8

l2 —> E9

l3

> E10

l3 —> E10

l4 —> E11

l5 —> E12

(12)

Desarrollo de un minimodelo

Modelo

/TITLE

Lealtad /SPECIFICATIONS

DATA='c:\documents and settings\administrador.user0304\escritorio\cursosem\mdeus to.ess';

VARIABLES=18; CASES=138;

METHOD=ML,ROBUST; ANALYSIS=COVARIANCE; MATRIX=RAW; /LABELS /LABELS V1=r1; V2=r2; V3=r4; V4=r5; V5=cc1; V6=cc2; V7=cc3; V8=l1; V9=l2; V10=l3; V11=l4; V12=l5; V13=rtp1; V14=rtp2; V15=rtp3; V16=rtp4; V17=rtp5; V18=r3; /EQUATIONS V8 = 1F1 + E8; V9 = *F1 + E9; V10 = *F1 + E10; V11 = *F1 + E11; V12 = *F1 + E12; /VARIANCES F1 = *; E8 = *; E9 = *; E10 = *; E11 = *; E12 = *; /COVARIANCES /PRINT EIS; FIT=ALL; TABLE=EQUATION; /END

(13)

Juan A

Ó

Una aplicación sencillita

Juan A. Marin Garcia.

UPV- 2010

INTRODUCCIÓN AL SEM

JUAN MARIN

SEM frente a otras técnicas

• Ventajas

– Es la única que puede CONFIRMAR si un conjunto de datos se ajusta a un modelo de medida/estructura propuesto con variables NO OBSERVADAS. – Permite calcular el índice de fiabilidad compuesta (que no es sensible al número

de ítems, como le pasa al  de Cronbach)

– Extiende y supera las limitaciones de la regresión lineal y el AFE

Juan A

y p g y

• Contempla el error de medida en las estimaciones de los parámetros

• De un solo análisis tienes todos los efectos mediadores de un modelo de estructura. Estima los parámetros teniendo en cuenta el modelo completo

• Inconvenientes

– No siempre “converge”

• No se trata de si ajusta o no el modelo • Sino de que el modelo se “cuelga”

– No es una técnica fácil de “digerir” (procedimientos, limitaciones e interpretación de los listados)

• Si nunca has hecho ningún análisis estadístico multivariante, no conviene empezar por esto. N i h d Juan A. Marin Garcia. UPV- 2010

– Necesita muchos datos

• Mínimo 5 casos por parámetro a estimar, ideal 25 casos por parámetro. • Truco: Se puede reducir el número de parámetros a estimar

– Primero el modelo de medida

– Cuando se hace el modelo de estructura, entonces se FIJAN los valores de los parámetros del modelo de medida y solo se estiman los de estructura.

– Hay análisis muy tediosos (si se comparan con regresiones)

• Moderación • Multigrupos

(14)

Juan A

Desde el conjunto de datos introducidos en SPSS

Juan A. Marin Garcia.

UPV- 2010

PASO A PASO DE

VALIDACIÓN DE UNA ESCALA

Escala Propuesta por la teoría

Juan A

E4*

GC1-010 Normas apoyan ideas innovadoras GC2-011 Sistemas de información para difundir el

conocimiento

GC3-012 Operarios que acceden, aplican y renuevan el

conocimiento de forma continua

GC4-013 Mecanismos formales para compartir mejores

prácticas KM E1* E2* E3* Juan A. Marin Garcia. UPV- 2010

(15)

Realizamos todos los pasos

• (ver vídeos en OCW)

– Matriz de datos en SPSS – Descriptivos y comentarlos – Correlación y cometarlas – AFE

• Máxima verosimilitud

• Rotación ortogonal (con un factor innecesaria pero no se si va a salir sólo un factor)

Juan A

Rotación ortogonal (con un factor innecesaria… pero no se si va a salir sólo un factor) • Ordenar factores

• Ocultar cargas < 0.3

• Descriptivos (KMO y Prueba de esfericidad) • Comentarios

– Varianza extraída

– Cargas factoriales

– Impresiones sobre unidimensionalidad

• AFC

– Importar datos de SPSS a EQS – Modelo de medida con diagrama – Documentar bien el Título – Repasar opciones Repasar el código Juan A. Marin Garcia. UPV- 2010 – Repasar el código – Ejecutar – Repasar la salida

• Atención a avisos o conditional coded

• Todos los valores estimados significativos (cargas, error y varianzas) • Cargas factoriales elevadas (>0.7)

• Ver estimaciones en el diagrama

• Calculo de Índice de Fiabilidad Compuesta y Varianza Extraída (plantilla excel para los cálculos)

Juan A

Modelo de estructura de satisfacción

Juan A. Marin Garcia.

UPV- 2010

REPETIMOS TODO EL

ANÁLISIS CON DATOS “EN

VIVO”

(16)

Toma de datos

• Melia, J. L., Pradilla, J. F., Martí, N., Sancerni, M. D., Oliver, A., & Tomás, J. M. (1990). Estructura factorial, fiabilidad y validez del Cuestionario de Satisfacción S21/26: Un instrumento con formato dicotómico orientado al trabajo profesional. Revista de PsicologiaUniversitas Tarraconensis, 12(1/2), 25-39. (Cuestionario S21/26 parcial) O O O T E CHO O HO Juan A

Indique, marcando la casilla correspondiente, el grado en que se siente satisfecho con las siguientes facetas de su ocupación actual (bien sea un puesto de trabajo o como estudiante) MU Y INSAT ISFE CH BAS TANT E INSAT ISFE CH ALG O INSAT ISFE CH INDIF E RTEN T A L G O SA T ISF E C BAS TANT E S A TISF ECH O M U Y SA TISF E C 1 Me gusta mi trabajo 1 2 3 4 5 6 7

2 Estoy satisfecho con las posibilidades que me da mi trabajo

de hacer las cosas en las que yo destaco 1 2 3 4 5 6 7

3 Estoy satisfecho con mi trabajo porque me permite hacer

cosas que me gustan 1 2 3 4 5 6 7

Juan A. Marin Garcia. UPV- 2010

18 Me satisface mi capacidad actual para decidir por mí mismo

aspectos de mi trabajo 1 2 3 4 5 6 7

6 La limpieza e higiene de mi lugar de trabajo es buena 1 2 3 4 5 6 7

7 La iluminación, ventilación y temperatura de mi lugar de

trabajo están bien reguladas 1 2 3 4 5 6 7

8 El entorno físico y el espacio en que trabajo son

satisfactorios 1 2 3 4 5 6 7

24 Los medios materiales que tengo para hacer mi trabajo son

adecuados y satisfactorios 1 2 3 4 5 6 7 Ambiente Satisfacción intrínseca Juan A D2 at is fa cc ió n I n tr in se Am b ie n te Juan A. Marin Garcia. UPV- 2010 S. 1 S. 2 S. 3 S.1 8 E1 E2 E3 E4 S. 6 S. 7 S. 8 S.2 4 E5 E6 E7 E8

(17)

Fin de esta parte

• ¿Os gustaría saber hacer todo esto?

– Inscribiros en cursos donde os explicaran

con detalle cómo hacer todo esto con algún

Juan A

con detalle cómo hacer todo esto con algún

software concreto

• A continuación veremos ejemplos

concretos de cómo se ha usado

SEM/EQS para preparar artículos

i

tífi

l

bl

id

Juan A. Marin Garcia. UPV- 2010

científicos, los problemas aparecidos y

cómo han sido superados.

Juan A

Ó

Ejemplos Juan A. Marin Garcia.

(18)

Manuel Expósito Langa Manuel Expósito Langa

Departamento de Organización de Empresas Departamento de Organización de Empresas Departamento de Organización de Empresas Departamento de Organización de Empresas

Universidad Politécnica de Valencia Universidad Politécnica de Valencia

El contexto teórico

• El capital social

– Dimensión relacional (fortaleza de los vínculos)

• Confianza

• Integración interna de los procesos

• Integración externa en la cadena de suministro

2

g

(19)

interna Integración externa Confianza y compromiso Resultado empresarial H2 H3 H4 H5 interna 3 Fortaleza de los vínculos H1

Técnicas de análisis típicas

• Escalas de medida…

– Alfa de Cronbach – Medias

– Análisis factorial exploratorio

• Kaiser, H.F. (1974), “An index of factorial simplicity”, Psychometrika, Num. 39, pp. 31-36.

• Modelo…

– Regresiones lineales por separado

– Condiciones para que se cumpla el efecto mediador (Baron y Kenny, 1986)

(20)

y complejidad. Múltiples causas simultáneas y mayor

y complejidad. Múltiples causas simultáneas y mayor

capacidad explicativa (rompecabezas completo)

• Más fácil de interpretar. Permite condensar las

relaciones de muchas variables en pocos factores

• Elimina el efecto del error de medida de las relaciones

entre las variables. Permite cuantificar la calidad de la

5

entre las variables. Permite cuantificar la calidad de la

medición de los datos

• Es bien recibido en las revistas

Validación de escalas

• Validez de las escalas

La validez de contenido: Con la revisión bibliográfica o La validez de contenido: Con la revisión bibliográfica o La validez convergente: Sucesivos AFC para comprobar:

 unidimensionalidad (Carga factorial> 0,7; P-Value>0,05; GFI, CFI y AGF >0,9 y RMSEA < 0,05 y cero en intervalo)

 consistencia interna (Alpha de Cronbach y Fiabilidad compuesta> 0,7)

o Validez discriminante (al menos 2 comprobaciones para garantizar validez de

los constructos):

6 los constructos):

 Test del intervalo de confianza  Test de la varianza extraída

(21)

1.Existen equipos informales con los proveedores/clientes clave para integrar procesos ,413 2=69,756 p-valor = ,000 GFI = ,875 AGF = ,749 CFI = ,897 RMSEA = ,160 (,123-,197) α de Cronbach = ,859 ρc= ,864 AVE = ,495 2.Se comparten ideas, información

y otros recursos con los proveedores/clientes clave

,399 3.Existen equipos formales con los proveedores/clientes clave para integrar procesos

,649 4.Se realiza una planificación conjunta con los proveedores/clientes clave para anticipar y resolver problemas

,714 5.Se establecen objetivos

conjuntos con los 868

Integración externa

Análisis factorial con 4 ítems factorial (λ)Carga

Fiabilidad

4.Se realiza una planificación conjunta con los proveedores/clientes clave para anticipar y resolver problemas

,676 2=4,773 p-valor = ,092 GFI = ,985 AGF = ,925 CFI = ,993 RMSEA = ,095

5.Se establecen objetivos conjuntos con los proveedores/clientes clave

,897

6 S d ll bilid d

7

conjuntos con los proveedores/clientes clave

,868 6.Se desarrollan responsabilidades conjuntas con los proveedores/clientes clave

,878 7.Se toman decisiones conjuntas con los proveedores/clientes clave para mejorar la eficiencia de los costes ,825 , (,000-,207) α de Cronbach = ,889 ρc=,893 AVE = ,677

6.Se desarrollan responsabilidades conjuntas con los

proveedores/clientes clave

,881

7.Se toman decisiones conjuntas con los proveedores/clientes clave para mejorar la eficiencia de los costes

,820

Validación de escalas

Confianza Análisis factorial con 6 ítems

Carga

factorial Fiabilidad

(λ)

1.Sus proveedores/clientes clave mantienen habitualmente las promesas realizadas a su empresa

,738 2 = 20,423 p-valor =,015 GFI = ,964 AGF = ,917 CFI = ,977 RMSEA = ,090 (,037-,143) α de Cronbach = ,863 ρc = ,887 AVE = ,574

2.A la hora de tomar decisiones importantes, sus

proveedores/clientes clave tienen interés en que la relación sea beneficiosa para ambas partes

,733

3.Sus proveedores/clientes clave

son de confianza ,858

4.Su empresa está muy comprometida en sus relaciones

d / li t ,873

Confianza

Análisis factorial con 5 ítems Carga

factorial (λ) Fiabilidad

1.Sus proveedores/clientes clave mantienen habitualmente las promesas realizadas a su empresa

,733 2 = 9,220 p-valor =,101 GFI = ,979 AGF = ,937 CFI = ,991 RMSEA 074

2.A la hora de tomar decisiones importantes, sus

proveedores/clientes clave tienen interés en que la relación sea

,733

con sus proveedores/clientes clave

5.Su empresa tiene la intención de mantener o ampliar su relación con sus proveedores/clientes clave

,802

6.Su relación con proveedores/clientes clave va más allá del mero negocio, llegando a ser amistad o familiar

,473 RMSEA = ,074 (,000-,147) α de Cronbach = ,895 ρc = ,900 AVE = ,645

beneficiosa para ambas partes 3.Sus proveedores/clientes clave

son de confianza ,851

4.Su empresa está muy comprometida en sus relaciones con sus proveedores/clientes clave

,881

5.Su empresa tiene la intención de mantener o ampliar su relación con sus proveedores/clientes clave

(22)

Factor Ítems factorialCarga Fiabilidad Correlaciones F1 F2 F1 (integración externa) 4i. Planificación conjunta ,688 α de Cronbach = ,889 ρc = ,893 AVE = ,678 1 5i. Objetivos conjuntos ,866

6i. Responsabilidades conjuntas ,895 7i. Decisiones conjuntas ,830 1c.Mantienen las promesas ,742

d 2c.Tienen interés en que

la relación sea ,764 9 F2 (Confianza) α de Cronbach = ,895 ρc = ,901 AVE = ,647 beneficiosa para ambas

partes

,764

3c.Son de confianza ,839 ,247 1 4c.Empresa

comprometida en sus relaciones con clientes

,856 5c.Intención de mantener o ampliar su relación ,815 Parámetros globales

2= 608,559 p-valor =,000 GFI = ,702 AGFI = ,605 CFI = ,803 RMSEA= ,155 (,142-,167)

Validación de escalas

• Integración interna

• Resultados

– Logísticos – Empresariales

• Validar escalas con Confianza o Integración interna

F t l

d l

í

l

10

• Fortaleza de los vínculos…

(23)

Experiencias prácticas:

• Un modelo de medida CIO2010 – CEDE (mandado en breve)

Juan A

Un modelo de medida CIO2010 CEDE (mandado en breve) • Un modelo estructuralACEDE2009- IJOPM (en revisión) •Dudas

• Memory allocation

• montar modelos de 3º orden

• Identificar colinealidad cuando hay problemas de pivotado de la matriz • Problemas con el “conditional code”

Juan A. Marin Garcia.

UPV- 2010

JUAN MARIN

Juan A

Í

Cómo pasar de los listados a las tablas de los artículos: • Un modelo de medida

• Un modelo de estructura

Juan A. Marin Garcia.

(24)

Modelo de medida

Juan A Juan A. Marin Garcia. UPV- 2010

Vemos el modelo 2

• Listado de EQS

– Archivo texto con resaltados en color de los

puntos críticos

Juan A

puntos críticos

• Como queda presentado en el artículo

– Fila en la tabla de bondad de ajuste.

– Fila en las tablas de las escalas.

Juan A. Marin Garcia. UPV- 2010

(25)

Listado EQS

• art117mod2jornDOE05.out

• En amarillo, las cosas que creo que son

básicas al principio

Juan A

básicas al principio

• En gris las cosas que os pueden volver

locos al principio

Juan A. Marin Garcia. UPV- 2010

Cómo queda en artículo

Modelo d.f. (ind) Chi2 (Ind) Chi2 signif Chi 2/d. f.

CFI IFI MFI GFI AG FI RMS A Mod1a 1539 (1596) 4702.599 (6954.763) .0000 3,0556 .410 .416 .000 .397 .352 .127 Juan A Mod1b 170 (190) 667.967 (1537.876) .0000 3,9292 .631 .636 .143 .627 .539 .152 Cod Formulación

Cuestionario Autores T052 T053 Corr T052 Control Estadístico de Procesos (SPC) [****] 1,02 (1,56) 0,88** Juan A. Marin Garcia. UPV- 2010 T053 Utilizamos gráficas [***] 0,59** 1,34 (1,81) 0,91** N 128 128 CFA 0,75 0,79* AFE 0,80 0,80

(26)

PROGRAM CONTROL INFORMATION

1 /TITLE 2 art117.modlo 2 15 subesclas sin lo de HRM, pero no

correlacionadas entre ellas.

3 /SPECIFICATIONS 4 DATA='rutafichero\datos_v3.ess'; 6 VARIABLES=265; CASES=128; 7 METHOD=ML,ROBUST; ANALYSIS=COVARIANCE; MATRIX=RAW; 8 /LABELS 9 V1=T.035; V2=T.036; V3=T.037; V4=T.038; V5=T.039; 10 V6=T.043; V7=T.044; V8=T.014; V9=T.028; V10=T.029; 11 V11=T.032; V12=T.033; V13=T.034; V14=T.078; V15=T.020; .... listado de variables... 62 /EQUATIONS 63 V1 = 1F1 + E1; 64 V2 = *F1 + E2; 65 V3 = *F1 + E3; 66 V4 = *F1 + E4; 67 V5 = *F1 + E5; 68 V6 = 1F2 + E6; 69 V7 = *F2 + E7; 70 V8 = 1F4 + E8; 71 V9 = 1F3 + E9; 72 V10 = *F3 + E10; 73 V11 = *F4 + E11; 74 V12 = *F4 + E12; 75 V13 = *F3 + E13; 76 V14 = *F4 + E14; 77 V15 = 1F5 + E15; 78 V16 = *F5 + E16; 79 V17 = *F5 + E17; 80 V18 = *F5 + E18; 81 V19 = *F5 + E19; 82 V20 = 1F6 + E20; 83 V21 = *F6 + E21; 84 V22 = *F6 + E22; 85 V23 = 1F7 + E23; 86 V24 = *F7 + E24; 87 V25 = *F7 + E25; 88 V26 = 1F8 + E26; 89 V27 = *F7 + E27; 90 V28 = *F8 + E28; 91 V29 = *F8 + E29; 92 V30 = 1F9 + E30; 93 V31 = *F9 + E31; 94 V32 = 1F10 + E32; 95 V33 = *F10 + E33; 96 V34 = *F9 + E34; 97 V35 = *F9 + E35; 98 V36 = 1F11 + E36; 99 V37 = *F11 + E37;

(27)

25-Oct-09 PAGE: 3 EQS Licensee: TITLE: art117.modlo 2 15 subesclas sin lo de HRM, pero no

correlaci 110 V67 = 1F15 + E67; 111 V68 = *F15 + E68; 112 V69 = *F15 + E69; 113 V70 = *F15 + E70; 114 V71 = *F15 + E71; 115 V72 = *F15 + E72; 116 V73 = *F15 + E73; 117 V74 = *F15 + E74; 118 V75 = *F15 + E75; 119 V76 = *F15 + E76; 120 /VARIANCES 121 F1 to F15 = *; 136 E1 to E76 = *; 193 194 /PRINT 195 EIS; 196 FIT=ALL; 197 TABLE=EQUATION; 198 /END

198 RECORDS OF INPUT MODEL FILE WERE READ

DATA IS READ FROM "ruta del archivo" v3.ess THERE ARE 265 VARIABLES AND 128 CASES

IT IS A RAW DATA ESS FILE

*** NOTE *** THIS FILE CONTAINS ALPHANUMERIC VARIABLES, WHICH MUST NOT BE USED IN THE MODEL.

25-Oct-09 PAGE: 5 EQS Licensee: TITLE: art117.modlo 2 15 subesclas sin lo de HRM, pero no

correlaci

SAMPLE STATISTICS BASED ON COMPLETE CASES

UNIVARIATE STATISTICS

(28)

VARIABLE T.043 T.044 T.014 T.028 T.029 V6 V7 V8 V9 V10 MEAN 2.0547 2.5859 .9883 2.3672 1.9570 SKEWNESS (G1) .1306 -.3870 1.2829 -.1281 .2036 KURTOSIS (G2) 1.7134 1.5251 .1072 1.7034 -1.6056 STANDARD DEV. 2.0051 1.9543 1.6295 2.0346 1.9319

... continua con otras variables...

MULTIVARIATE KURTOSIS MARDIA'S COEFFICIENT (G2,P) = 108.0226 NORMALIZED ESTIMATE = 7.4509

ELLIPTICAL THEORY KURTOSIS ESTIMATES

MARDIA-BASED KAPPA = .0321 MEAN SCALED UNIVARIATE KURTOSIS = -.0391

MARDIA-BASED KAPPA IS USED IN COMPUTATION. KAPPA= .0321

CASE NUMBERS WITH LARGEST CONTRIBUTION TO NORMALIZED MULTIVARIATE KURTOSIS: --- CASE NUMBER 78 82 89 121 126 ESTIMATE 267.4263 265.0629 449.7688 461.9973 298.2465

25-Oct-09 PAGE: 6 EQS Licensee: TITLE: art117.modlo 2 15 subesclas sin lo de HRM, pero no

(29)

T.037 V3 2.595 1.987 3.324

T.038 V4 3.003 2.362 2.919 3.640 ... 6 paginas con lamatriz de covarianzas...

BENTLER-WEEKS STRUCTURAL REPRESENTATION: NUMBER OF DEPENDENT VARIABLES = 57

DEPENDENT V'S : 1 2 3 4 5 6 7 8 9 10 DEPENDENT V'S : 11 12 13 14 15 16 17 18 19 20 DEPENDENT V'S : 21 22 23 24 25 26 27 28 29 30 DEPENDENT V'S : 31 32 33 34 35 36 37 38 39 40 DEPENDENT V'S : 41 42 43 63 64 65 66 67 68 69 DEPENDENT V'S : 70 71 72 73 74 75 76 NUMBER OF INDEPENDENT VARIABLES = 72

INDEPENDENT F'S : 1 2 3 4 5 6 7 8 9 10 INDEPENDENT F'S : 11 12 13 14 15 INDEPENDENT E'S : 1 2 3 4 5 6 7 8 9 10 INDEPENDENT E'S : 11 12 13 14 15 16 17 18 19 20 INDEPENDENT E'S : 21 22 23 24 25 26 27 28 29 30 INDEPENDENT E'S : 31 32 33 34 35 36 37 38 39 40 INDEPENDENT E'S : 41 42 43 63 64 65 66 67 68 69 INDEPENDENT E'S : 70 71 72 73 74 75 76 NUMBER OF FREE PARAMETERS = 114

NUMBER OF FIXED NONZERO PARAMETERS = 72

*** WARNING MESSAGES ABOVE, IF ANY, REFER TO THE MODEL PROVIDED. CALCULATIONS FOR INDEPENDENCE MODEL NOW BEGIN.

*** WARNING MESSAGES ABOVE, IF ANY, REFER TO INDEPENDENCE MODEL. CALCULATIONS FOR USER'S MODEL NOW BEGIN.

3RD STAGE OF COMPUTATION REQUIRED 30550859 WORDS OF MEMORY. PROGRAM ALLOCATED 38000000 WORDS

(30)

MAXIMUM LIKELIHOOD SOLUTION (NORMAL DISTRIBUTION THEORY)

F10,F10 VARIANCE OF PARAMETER ESTIMATE IS SET TO ZERO. F11,F11 VARIANCE OF PARAMETER ESTIMATE IS SET TO ZERO. E32,E32 VARIANCE OF PARAMETER ESTIMATE IS SET TO ZERO.

RESIDUAL COVARIANCE MATRIX (S-SIGMA) :

T.035 T.036 T.037 T.038 T.039 V1 V2 V3 V4 V5 T.035 V1 .000 T.036 V2 .173 .000 T.037 V3 -.071 -.093 .000 T.038 V4 -.042 -.015 .065 .000 T.039 V5 .159 -.169 -.048 -.015 .000 T.043 V6 2.076 1.609 1.899 2.052 2.610 T.044 V7 2.091 1.408 1.917 2.094 2.684 T.014 V8 .973 1.096 1.045 1.016 .919 T.028 V9 2.220 1.867 2.001 2.332 2.473

...7 paginsc on taa de residuos...

AVERAGE ABSOLUTE RESIDUAL = .6690

AVERAGE OFF-DIAGONAL ABSOLUTE RESIDUAL = .6928

25-Oct-09 PAGE: 8 EQS Licensee: TITLE: art117.modlo 2 15 subesclas sin lo de HRM, pero no

correlaci

MAXIMUM LIKELIHOOD SOLUTION (NORMAL DISTRIBUTION THEORY)

STANDARDIZED RESIDUAL MATRIX:

T.035 T.036 T.037 T.038 T.039 V1 V2 V3 V4 V5 T.035 V1 .000 T.036 V2 .054 .000

(31)

T.028 V9 .576 .542 .540 .601 .595

...7 pagis con residuos estandarizados...

AVERAGE ABSOLUTE STANDARDIZED RESIDUAL = .2386

AVERAGE OFF-DIAGONAL ABSOLUTE STANDARDIZED RESIDUAL = .2471

LARGEST STANDARDIZED RESIDUALS:

NO. PARAMETER ESTIMATE NO. PARAMETER ESTIMATE --- - --- - 1 V13, V12 .785 11 V41, V3 .615 2 V37, V31 .702 12 V41, V1 .614 3 V13, V11 .698 13 V26, V24 .611 4 V16, V14 .686 14 V27, V14 .611 5 V15, V14 .674 15 V18, V3 .610 6 V7, V5 .672 16 V36, V30 .603 7 V42, V5 .645 17 V9, V4 .601 8 V6, V5 .637 18 V36, V31 .598 9 V13, V8 .633 19 V9, V5 .595 10 V41, V5 .623 20 V10, V1 .595

25-Oct-09 PAGE: 9 EQS Licensee: TITLE: art117.modlo 2 15 subesclas sin lo de HRM, pero no

correlaci

MAXIMUM LIKELIHOOD SOLUTION (NORMAL DISTRIBUTION THEORY)

DISTRIBUTION OF STANDARDIZED RESIDUALS

--- ! ! 400- * * - ! * * ! ! * * ! ! * * ! ! * * * ! RANGE FREQ PERCENT 300- * * * - ! * * * ! 1 -0.5 - -- 0 .00%

(32)

! * * * * * ! 9 0.3 - 0.2 400 24.20% 100- * * * * * - A 0.4 - 0.3 314 19.00% ! * * * * * * * ! B 0.5 - 0.4 152 9.20% ! * * * * * * * ! C ++ - 0.5 85 5.14% ! * * * * * * * ! ! * * * * * * * ! TOTAL 1653 100.00% --- 1 2 3 4 5 6 7 8 9 A B C EACH "*" REPRESENTS 20 RESIDUALS

25-Oct-09 PAGE: 10 EQS Licensee: TITLE: art117.modlo 2 15 subesclas sin lo de HRM, pero no

correlaci

MAXIMUM LIKELIHOOD SOLUTION (NORMAL DISTRIBUTION THEORY) *** WARNING *** TEST RESULTS MAY NOT BE APPROPRIATE DUE TO CONDITION CODE

GOODNESS OF FIT SUMMARY FOR METHOD = ML

INDEPENDENCE MODEL CHI-SQUARE = 6954.763 ON 1596 DEGREES OF FREEDOM

INDEPENDENCE AIC = 3762.763 INDEPENDENCE CAIC = -2385.077 MODEL AIC = 493.454 MODEL CAIC = -5434.821 CHI-SQUARE = 3571.454 BASED ON 1539 DEGREES OF FREEDOM PROBABILITY VALUE FOR THE CHI-SQUARE STATISTIC IS .00000 THE NORMAL THEORY RLS CHI-SQUARE FOR THIS ML SOLUTION IS 4921.277.

FIT INDICES

BENTLER-BONETT NORMED FIT INDEX = .486 BENTLER-BONETT NON-NORMED FIT INDEX = .607 COMPARATIVE FIT INDEX (CFI) = .621 BOLLEN'S (IFI) FIT INDEX = .625 MCDONALD'S (MFI) FIT INDEX = .000 JORESKOG-SORBOM'S GFI FIT INDEX = .424 JORESKOG-SORBOM'S AGFI FIT INDEX = .381 ROOT MEAN-SQUARE RESIDUAL (RMR) = .819 STANDARDIZED RMR = .281

(33)

T.035 T.036 T.037 T.038 T.039 T.043 .369 .322 .359 .392 .310 .180 ... continua la tabla...

GOODNESS OF FIT SUMMARY FOR METHOD = ROBUST

ROBUST INDEPENDENCE MODEL CHI-SQUARE = 6283.622 ON 1596 DEGREES OF FREEDOM

INDEPENDENCE AIC = 3091.622 INDEPENDENCE CAIC = -3056.218 MODEL AIC = 450.470 MODEL CAIC = -5477.804 SATORRA-BENTLER SCALED CHI-SQUARE = 3528.4702 ON 1539 DEGREES OF FREEDOM

PROBABILITY VALUE FOR THE CHI-SQUARE STATISTIC IS .00000

MEAN- AND VARIANCE-ADJUSTED CHI-SQUARE = 145.352 ON 63 D.F.

PROBABILITY VALUE FOR THE CHI-SQUARE STATISTIC IS .00000 FIT INDICES

BENTLER-BONETT NORMED FIT INDEX = .438 BENTLER-BONETT NON-NORMED FIT INDEX = .560 COMPARATIVE FIT INDEX (CFI) = .576 BOLLEN'S (IFI) FIT INDEX = .581 MCDONALD'S (MFI) FIT INDEX = .000

ROOT MEAN-SQUARE ERROR OF APPROXIMATION (RMSEA) = .101 90% CONFIDENCE INTERVAL OF RMSEA ( .096, .105)

ITERATIVE SUMMARY PARAMETER

ITERATION ABS CHANGE ALPHA FUNCTION 1 .639327 1.00000 33.51043 2 .202709 1.00000 28.52100 3 .074275 .50000 28.26956 4 .050206 .50000 28.21094 5 .036808 .50000 28.16443 6 .021417 1.00000 28.12280 7 .001618 1.00000 28.12169 8 .000166 1.00000 28.12169

25-Oct-09 PAGE: 11 EQS Licensee: TITLE: art117.modlo 2 15 subesclas sin lo de HRM, pero no

(34)

T.036 =V2 = .780*F1 + 1.000 E2 .069 11.375@ ( .061) ( 12.857@ T.037 =V3 = .937*F1 + 1.000 E3 .067 14.032@ ( .071) ( 13.257@ T.038 =V4 = 1.070*F1 + 1.000 E4 .063 16.962@ ( .045) ( 23.856@ ....7 paginas con el resto de las ecuaciones del modelo de medida

25-Oct-09 PAGE: 16 EQS Licensee: TITLE: art117.modlo 2 15 subesclas sin lo de HRM, pero no

correlaci

MAXIMUM LIKELIHOOD SOLUTION (NORMAL DISTRIBUTION THEORY) VARIANCES OF INDEPENDENT VARIABLES

STATISTICS SIGNIFICANT AT THE 5% LEVEL ARE MARKED WITH @. V F I F1 - F1 2.846*I I .448 I I 6.353@I I ( .263)I I ( 10.822@I I I I F2 - F2 3.920*I I .000 I I 2.4E+10@I I ( .006)I I ( 668.303@I I I I F3 - F3 3.192*I I .616 I I 5.183@I I ( .509)I I ( 6.274@I I I .... mas factores...

(35)

I ( 94.531@I I I I F11 - F11 2.341*I I .000 I I 1.0E+38@I I ( .023)I I ( 102.123@I I I I F12 - F12 1.770*I I .340 I I 5.209@I I ( .335)I I ( 5.290@I I I ....mas factores...

25-Oct-09 PAGE: 18 EQS Licensee: TITLE: art117.modlo 2 15 subesclas sin lo de HRM, pero no

correlaci

MAXIMUM LIKELIHOOD SOLUTION (NORMAL DISTRIBUTION THEORY) VARIANCES OF INDEPENDENT VARIABLES

STATISTICS SIGNIFICANT AT THE 5% LEVEL ARE MARKED WITH @. E D E1 -T.035 .748*I I .122 I I 6.126@I I ( .209)I I ( 3.579@I I I I E2 -T.036 1.128*I I .155 I I 7.272@I I ( .191)I I ( 5.908@I I I I ... mas varianzas de errores...

E31 -T.051 .537*I I .171 I I 3.136@I I ( .212)I I ( 2.537@I I

(36)

.312 I I 7.907@I I ( .295)I I ( 8.362@I I I I E35 -T.057 2.234*I I .297 I I 7.527@I I ( .364)I I ( 6.131@I I I I ... más varianzas de errores....

25-Oct-09 PAGE: 23 EQS Licensee: TITLE: art117.modlo 2 15 subesclas sin lo de HRM, pero no

correlaci

MAXIMUM LIKELIHOOD SOLUTION (NORMAL DISTRIBUTION THEORY)

STANDARDIZED SOLUTION: R-SQUARED T.035 =V1 = .890 F1 + .456 E1 .792 T.036 =V2 = .778*F1 + .628 E2 .606 T.037 =V3 = .867*F1 + .498 E3 .752 T.038 =V4 = .946*F1 + .324 E4 .895 .... más ecuaciones... T.032 =V11 = .871*F4 + .492 E11 .758 T.033 =V12 = .917*F4 + .400 E12 .840 T.034 =V13 = .523*F3 + .853 E13 .273 T.078 =V14 = .401*F4 + .916 E14 .161 T.020 =V15 = .991 F5 + .137 E15 .981 T.021 =V16 = .968*F5 + .252 E16 .936 T.022 =V17 = .945*F5 + .327 E17 .893 T.023 =V18 = .355*F5 + .935 E18 .126 T.024 =V19 = .577*F5 + .817 E19 .333 .... más ecuaciones....

(37)

--- E N D O F M E T H O D --- ---1 Execution begins at 18:09:13 Execution ends at 18:10:51 Elapsed time = 98.00 seconds

(38)

Modelo estructural

Lean Manufacturing

(hard & soft)

Training Size H19 H18 H4 H2 H1 H8 Juan A Training Empowerment (influence & independent decision-making) Objective Result (i) Perceived performance Communication H3 H19 H5 H4 H5 H7 H6 H10 H9 H12 H13 H11 H15 Juan A. Marin Garcia. UPV- 2010 Remuneration Path Correlation H14 H16 H17

Escalas

• Cuestionario Ad-hoc

Juan A

• Escalas (estandarización previa a suma de escala)

Escale Number of Items  Cronbach

V-1 Hard Lean 10 0.60 V-2 Soft Lean 6 0.59 V-3 Employee influence 7 0.70 V-4 Independent decision-making 6 0.76 V-5 Training 8 0.87 Remuneration 3 0.21 V11- Perceived performance 7 0.62 Juan A. Marin Garcia. UPV- 2010

• Encuesta poblacional.

n= 101 (64% población)

V12- Total stock & Productivity

2 0.56

V13- On-time delivery & lead time

2 0.61

Absenteeism & turnover 2 0.48

First Time through & product not rejected

(39)

CFA

Subj

Inv-prod On-time

FTT No dev Absent bajas

Model Chi2S-B

(d.f) (P-value)

CFI IFI MFI GFI RMSA

(conf. Interval) Constrained 89.58 (77) (0.15) 0.91 0.94 0.91 0.88 0.05 (0.00,0.09) Juan A prod time V1-Size -0.282 0.132 V2-Hard-Lean -0.534* -0.211 V3- Soft-Lean 0.483* 0.417* -0.120 V-4 Employee influence V5- Independent decision-making 0.130 -0.146 V6- Training Juan A. Marin Garcia. UPV- 2010 g V7- Incentives-individaul targets -0.232* V8- Incentivevs group targets 0.108 -0.222* 0.209* V-9- Incentives -suggestions 0.180* V-10- Communication R2 0.229 0.049 0.171 0.035 0.017 0.060 0.038 Juan A

AFC con Máxima verosimilitud y no “componentes Principales” Cómo ver las estimaciones en el Archivo de “diagrama”

Juan A. Marin Garcia.

(40)

Ejemplo de las diferencias con la

extracción de PC o ML

• Análisis de componentes principales (PC). Método para la extracción de factores utilizada para formar combinaciones lineales independientes de las variables observadas. La primera componente tiene la varianza máxima. Las componentes sucesivas explican progresivamente

Juan A

componentes sucesivas explican progresivamente proporciones menores de la varianza y no están correlacionadas las unas con las otras. El análisis de componentes principales se utiliza para obtener la solución factorial inicial. Puede utilizarse cuando una matriz de correlaciones es singular.

• Método de máxima verosimilitud (ML). Método de extracción factorial que proporciona las estimaciones de los parámetros que con mayor probabilidad han producido Juan A.

Marin Garcia. UPV- 2010

p q y p p

la matriz de correlaciones observada, si la muestra procede de una distribución normal multivariada. Las correlaciones se ponderan por el inverso de la unicidad de las variables, y se emplea un algoritmo iterativo.

Matriz factoriala T 011 GC2 011 1 Factor Matriz de componentesa 1 Compone nte Juan A ,910 ,886 ,839 T.011 GC2-011 Sistemas de información para difundir el conocimiento T.012 GC3-012 Operarios que acceden, aplican y renuevan el conocimiento de forma continua

T.010 GC1-010 Normas apoyan ideas innovadoras ,921 ,910 ,889 T.011 GC2-011 Sistemas de información para difundir el conocimiento T.012 GC3-012 Operarios que acceden, aplican y renuevan el conocimiento de forma continua T.010 GC1-010 Normas apoyan ideas innovadoras 1 Juan A. Marin Garcia. UPV- 2010 ,814 T.013 GC4-013 Mecanismos formales para compartir mejores prácticas

Método de extracción: Máxima verosimilitud. 1 factores extraídos. Requeridas 4 iteraciones. a.

,877 T.013 GC4-013

Mecanismos formales para compartir mejores prácticas

Método de extracción: Análisis de componentes principal es. 1 componentes extraídos

(41)

Ver estimaciones EQS en el diagrama

Juan A Juan A. Marin Garcia. UPV- 2010 Juan A

Después del curso inicial todo estaba claro, pero tras dos año s aplicando SEM con EQS, me han surgido estas…

Juan A. Marin Garcia.

(42)

Dudas (i)

• Resolver problema Memory allocation

• Build 94, usar correlaciones en lugar de raw

data Working array

Juan A

data, Working array

• Pero no consigo meter más de 62 variables

• Identificar colinealidad cuando hay

problemas de pivotado de la matriz

• Para poder eliminar las variables

Juan A. Marin Garcia. UPV- 2010

conflictivas

Dudas (ii)

• Montar modelos de 3º orden

– Ojo, suele ser un factor de método.

Hay que hacer las ecuaciones a mano

Juan A

– Hay que hacer las ecuaciones a mano

– ¿qué factor se fija a uno?

• 1º orden, el error de un ítem

• 2º orden la covarianza del factor

• 3º orden ¿?¿?¿?

Juan A. Marin Garcia. UPV- 2010

(43)

Dudas (iii)

• Comparar modelos competitivos NO

ANIDADOS

Juan A Juan A. Marin Garcia. UPV- 2010

Dudas (iv)

• Probar modelos con variables de control

– Split Sample Methods

M d l

lti

Juan A

• Modelos multigrupo

• Modelos grandes (muchas variables y/o

muchos parámetros) pero N “pequeña”

– ¿se puede probar el modelo global a partir

de mini-modelos parciales?

Juan A. Marin Garcia. UPV- 2010

p

• Por ejemplo: ¿las combinaciones de los

constructos de dos en dos, para probar un

modelo con 5 constructos?

(44)

Dudas (v)

• Problemas de especificación o de

“conditional code”

Hay varias soluciones

pero no las domino

Juan A

– Hay varias soluciones… pero no las domino

mucho.

Juan A. Marin Garcia. UPV- 2010

Dudas, comentarios, inquietudes

• GUO, B.; PERRON, B. E.; GILLESPIE, D. F. (2008): A

Systematic Review of Structural Equation Modelling in Social Work Research. British Journal of Social Work

(doi:10.1093/bjsw/bcn101).

Juan A

• Hair, J. F., Anderson, R. E., Tatham, R. L., & Black, W. C. (1999).

Análisis de datos multivariante. (4º ed.) Prentice Hall.

– Capítulo 11

Juan A. Marin Garcia. UPV- 2010

(45)

Fin

Juan A Juan A. Marin Garcia. UPV- 2010

Referencias

Documento similar

Falso techo continuo de placas de yeso laminado4. Fachada revestimiento continuo de mortero monocapa fratasado, con hidrofugado de

prisma teórico-normativo adquiere el delito de falso testimonio en la actualidad, frente a la pasividad de nuestros tribunales a la hora de combatir este fenómeno delictivo-, aportar

selección única, selección múltiple, verdadero y falso, términos pareados y preguntas abiertas, de desarrollo. Esto permite responder a las necesidades,

No se trata entonces de un falso documento, sino de un texto verdadero, similar a las transacciones del año 1016, pero copiado de manera tardía (siglo xii o xiii) y sobre

Mientras la condición retorne verdadero, se ejecuta el bloque de instrucciones; al retornar falso la verificación de la condición, se sale de la estructura repetitiva y continúa

Pero Judas se colgó y su espíritu regresó aSatanás; pero después de Pentecostés, aquel mismo espíritu que estaba sobre Judas, vino sobre la vid falsa que crece

Este falso documental que García Gómez define como “simulacro baudrillesco” reescribe la historia del cine a través de la figura de Colin McKenzie, director

cal, cemento, arena con pintura que inicia donde termina el porcelanato CIELO FALSO:.. placas de drywall con