Modelos lineales Regresión simple y múltiple

Modelos lineales

Regresión simple y múltiple

Dept. of Marine Science and Applied Biology Jose Jacobo Zubcoff

Modelos de Regresión Simple

• Que tipo de relación existe entre 2 variables

• Predicción de valores a partir de una de ellas

• Variable Explicativa, Predictor o Independiente

• Variable Dependiente

Estudio conjunto de dos variables

• Datos de dos variables de una muestra.

– En cada fila tenemos los datos de un individuo

– Cada columna representa los valores que toma una variable sobre los mismos.

– Las individuos no se muestran en ningún orden particular.

• Las observaciones pueden ser representadas en un diagrama de dispersión

• Nuestro objetivo será intentar reconocer a partir del mismo si hay relación entre las variables, de qué tipo, y si es posible predecir el valor de una de ellas en

función de la otra.

Altura en cm.

Peso en Kg.

162 61

154 60

180 78

158 62

171 66

169 60

166 54

176 84

163 68

... ...

30 40 50 60 70 80 90 100

140 150 160 170 180 190 200

Diagramas de dispersión o nube de puntos

Mide 187 cm.

Mide 161 cm.

Pesa 76 kg.

Pesa 50 kg.

Tenemos las alturas y los pesos de 30 individuos representados en un diagrama de dispersión.

30 40 50 60 70 80 90 100

140 150 160 170 180 190 200

Relación entre variables

Tenemos las alturas y los pesos de 30 individuos representados en un diagrama de dispersión.

Par ece qu e e l pes o aum ent a con la altur a

30 40 50 60 70 80 90 100

140 150 160 170 180 190 200

Predicción de una variable en función de la otra

Aparentemente el peso aumenta 10Kg por cada 10 cm de altura... o sea, el peso aumenta en una unidad por cada unidad de altura.

10 cm.

10 kg.

Incorrelación

30 80 130 180 230 280 330

140 150 160 170 180 190 200

Relación directa e inversa

Fuerte relación directa.

30 40 50 60 70 80 90 100

140 150 160 170 180 190 200

Cierta relación inversa

0 10 20 30 40 50 60 70 80

140 150 160 170 180 190 200

Para valores de X por encima de la media tenemos valores de Y por encima y por debajo en proporciones similares.

Incorrelación.

Para los valores de X mayores que la media le corresponden valores de Y menores. Esto es relación inversa o decreciente.

•Para los valores de X mayores que la media le corresponden valores de Y mayores también.

•Para los valores de X menores que la media le corresponden valores de Y menores también.

Esto se llama relación directa.

¿Cuándo es bueno un modelo de regresión?

• Lo adecuado del modelo depende de la relación entre:

– la dispersión marginal de Y

– La dispersión de Y condicionada a X

• Es decir, fijando valores de X, vemos cómo se distribuye Y

– La distribución de Y, para valores fijados de X, se denomina distribución condicionada.

– La distribución de Y, independientemente del valor de X, se denomina distribución marginal.

• Si la dispersión se reduce notablemente, el modelo de regresión será adecuado.

150 160 170 180 190

320340360380400420

y 320340360380400420320340360380400420320340360380400420320340360380400420 r= 0.415 r^2 = 0.172

150 160 170 180 190

350360370380390

y 350360370380390350360370380390350360370380390350360370380390 r= 0.984 r^2 = 0.969

Interpretación de la variabilidad en Y

Y En primer lugar olvidemos que existe la

variable X. Veamos cuál es la variabilidad en el eje Y.

La franja sombreada indica la zona donde varían los valores de Y.

Proyección sobre el eje Y = olvidar X

Interpretación del residuo

Miremos ahora los errores de predicción (líneas Y verticales). Los proyectamos sobre el eje Y.

Se observa que los errores de predicción, residuos, están menos dispersos que la variable Y original.

Cuanto menos dispersos sean los residuos, mejor será la bondad del ajuste.

Ejemplos de correlaciones positivas

r=0,1

30 80 130 180 230 280 330

140 150 160 170 180 190 200

r=0,4

30 40 50 60 70 80 90 100 110 120 130

140 150 160 170 180 190 200

r=0,8

30 40 50 60 70 80 90 100

140 150 160 170 180 190 200

r=0,99

30 40 50 60 70 80 90 100

140 150 160 170 180 190 200

Ejemplos de correlaciones negativas

r=-0,5

0 10 20 30 40 50 60 70 80 90

140 150 160 170 180 190 200

r=-0,7

0 10 20 30 40 50 60 70 80

140 150 160 170 180 190 200

r=-0,95

0 10 20 30 40 50 60 70 80

140 150 160 170 180 190 200

r=-0,999

0 10 20 30 40 50 60 70 80

140 150 160 170 180 190 200

Regresion Lineal

Asociación entre variables continuas

Regresion Lineal

Medidas de Bondad de ajuste

• Coeficiente de correlación

El coeficiente de correlación (r) es una medida de la intensidad de la relación entre dos variables

-1 <= r <= 1

• Coeficiente de determinación

Es la proporción de la varianza de la variable dependiente que está explicada por una variable independiente en un modelo estadístico.

0 <= r² <= 1

• Pendiente y constante

Regresión lineal

Modelo de regresión lineal simple

• En el modelo de regresión lineal simple, dado dos variables

– Y (dependiente)

– X (independiente, explicativa, predictora)

• buscamos encontrar una función de X muy simple (lineal) que nos permita aproximar Y mediante

– Ŷ = b₀ + b₁X

• b₀ (ordenada en el origen, constante)

• b₁ (pendiente de la recta)

• Y e Ŷ rara vez coincidirán por muy bueno que sea el modelo de regresión. A la cantidad

– e = (Y-Ŷ) se le denomina residuo o error residual.

• El modelo lineal de regresión se construye utilizando la técnica de estimación mínimo cuadrática:

– Buscar b₀, b₁ de tal manera que se minimice la cantidad

• Σ

e

• Se comprueba que para lograr dicho resultado basta con elegir:

• Se obtiene además otras ventajas

– El error residual medio es nulo

– La varianza del error residual es mínima para dicha estimación.

– Traducido: En término medio no nos equivocamos. Cualquier otra estimación que no cometa error en término medio, si es de tipo lineal, será peor por

presentar mayor variabilidad con respecto al error medio (que es cero).

Regresión lineal

Modelos de Regresión Simple

• Modelo Lineal o Recta de Regresión

X Y = γ + β

Método de Mínimos Cuadrados

X X

Y

E ( ) = γ + β

2 1

1

2 ⁿ

( Y ( X ))

i

i n

i

i

γ β

ε = ∑ − +

∑

Modelos de Regresión Simple

X b Y

a = −

2 1

2 1

1

2 2 1

) (

) )(

(

X XY n

i

i n

i

i i

n

i

i n

i

i i

S S X

X

Y Y

X X

X n X

Y X n Y

X

b =

−

−

−

=

"

"

"

"

#

$

%%

%%

&

'

−

−

=

∑

∑

∑

∑

=

=

=

=

Fórmula para la estimación por Mínimos Cuadrados

Varianza Residual de Y para cada valor de X

(

)

1

2 2

..

2

)) 1 (

2 ( 1

X Y

n i

i i

X

Y

S b S

n bX n

a n Y

S −

−

= − +

− −

= ∑

=

Regresion Lineal Simple

Modelo lineal

Y = b

+ b

X

Una variable

Y

X

Recta de regresión

Regresion Lineal Múltiple

Modelo lineal

Y = b

+ b

X

+ b

X

+ … + b

X

Una variable

Y

VARIAS variables

X

, X

, X

• Cada variable predictora aportará una “explicación” de la variabilidad de Y

• En el caso de que alguna no aporte “explicación” significativa se debe eliminar del modelo

• El modelo final debe ser el que explique la mayor parte de la variabilidad de Y, siendo el más simple de todos (si hubiera varios que explican igualmente Y)

Regresion Lineal Múltiple

Modelo lineal

Y = b

+ b

X

+ b

X

+ … + b

X

Selección del modelo

Backward (hacia atrás): se parte de TODAS las variables explicativas y se va eliminado la no significativas.

Forward (hacia delante): se parte de 1 variable explicativa y se van introduciendo variable de manera iterativa comprobando que sean significativos sus efectos en Y

El modelo final debe ser el que explique la mayor parte de la variabilidad de Y, siendo el más simple de todos (si hubiera varios que explican igualmente Y)

Regresion Lineal Múltiple

Supuestos:

• No debe existir ninguna relación exacta entre cualesquiera de las variables independientes.

• Cuando el modelo tiene dos variables explicativas se habla de colinealidad, si hay más de dos variables explicativas, entonces, hablamos de

multicolinealidad.

• La multicolinealidad es una cuestión de grado no de existencia.

• Se supone que es un problema de la muestra y no de la población.

Si en un modelo de RLM alguna variable independiente es combinación lineal de otras, el modelo es irresoluble, debido a que la matriz X'X es singular, su determinante es cero y no se puede invertir

Y = b

+ b

X

+ b

X

+ … + b

X

Regresion Lineal

Supuestos de la Regresión Lineal

Multicolinealidad: ¿cómo detectarla?

-Estudiar el coeficiente de correlación simple R² elevado y pocas t significativas…

-Estudiar las correlaciones parciales -Hacer regresiones auxiliares

Multicolinealidad si:

R² de regresión auxiliar > R² global Que hacer con la multicolinealidad:

-Eliminar variables con t menos significativa

-Hacer un PCA para estudiar multicolinealidad (y explicarla)

En regresiones múltiples es muy difícil eliminar completamente:

”Vigilar” las multicolinealidades (para la predicción se supone que se mantienen en el futuro también)

Regresion Lineal

Supuestos de la Regresión Lineal Variabilidad de los valores de X

No todos los valores de X en una muestra dada deben ser iguales.

La varianza de (X) debe ser un número positivo finito. Gujarati (1997)

La variación en Y al igual que en X es esencial para utilizar el análisis de regresión como herramienta de investigación.

las variables deben variar!!!

Regresion Lineal

Supuestos de la Regresión Lineal

El error aleatorio debe cumplir:

El valor medio esperado es = 0

En caso contrario habrá otros factores que están perturbando el error (y no han sido inclidos en el modelo!!)

ES UNA SEÑAL!!!

Solución: incluir todos los factores/variables que afectan a la variable dependiente

Regresion Lineal

Supuestos de la Regresión Lineal

El número de observaciones debe ser mayor que el número de parámetros estimados por el modelo.

Mínimo 1 muestra mas que las variables independientes!!

Niveles de fundamentación, número de muestras mínimo para:

Nivel I: 3(K+1). Siendo K el número de variables independientes Nivel II: 4(K+1).

Nivel III: 6(K+1).

Regresion Lineal

Supuestos de la Regresión Lineal

Los errores residuales deben ser HOMOCEDASTICOS

Homocedástico Heterocedástico

En caso de heterocedasticidad revisar modelo, falta algo o sobra…

Transformar variables, … Es el modelo adecuado?

Regresion Lineal

Supuestos de la Regresión Lineal

Los errores residuales deben distribuirse como una var. NORMAL Revisar la Normalidad de los residuos.

En consonancia con lo anterior, la heterocedasticidad es otra señal!!

la transformación puede mejorar este supuesto.

Regresion Lineal

Supuestos de la Regresión Lineal

Los errores no deben estar correlacionados

Autocorrelaciones positiva, negativa y ausencia de autocorrelación

Indica que el error aumenta (AR positiva) o disminuye (AR Negativa) cuando Var.Dep. aumenta Las transformaciones a veces corrigen este problema, estudiar modelo adecuado!!

Durbin-Watson

Regresion Lineal

Regresion Lineal

OTROS Supuestos de la Regresión Lineal

- Las variables importantes deben estar en el modelo - No existen valores atípicos

- No existen puntos influyentes

Regresion Lineal

OTROS Supuestos de la Regresión Lineal:

Valores atípicos

Regresion Lineal

Puntos Influyentes

Método de

Distancia de Cook

Regresion Lineal Múltiple

RESUMEN

Supuestos de la Regresión Lineal

• No debe existir ninguna relación exacta entre cualesquiera de las variables independientes (Multicolinealidad)

• Independencia de los Residuos (ausencia de autocorrelación)

• Normalidad de los Residuos

• Homocedasticidad de los Residuos

Otros requisitos

• Las variables deben variar!!

• Número suficiente de muestras

• Variables NO incluidas en el modelo NO afectan sistemáticamente

• Linealidad (en caso de NO linealidad es un error de especificación)

• Ausencia de outliers y puntos influyentes