PRESENTACIÓN CLASE. REGRESIÓN LINEAL SIMPLE

Se dispone de una muestra de observaciones formadas por pares de

A través de esta muestra, se desea estudiar la relación existente

entre las dos variables X e Y.

Es posible representar estas observaciones mediante un gráfico de

dispersión, como el anterior.

También se puede expresar el grado de asociación mediante

MEDIDAS DE ASOCIACION DE VARIABLES

Covarianza entre las variables X e Y. Es una medida de la variación conjunta.

Se define como:

Puede tomar valores positivos o negativos.

xy i

i

S

n

y

y

x

x

n

Y

X

,

)

1

(

)(

)

1

Covarianza positiva, significa que ambas variables tienden a variar de la

misma forma, hay una asociación positiva.

Negativa, significa que si una aumenta, la otra tiende a disminuir, y vice versa.

Ejemplo 1

DATOS DEL CLUB DE SALUD

Datos correspondientes a 20 empleados del club de salud de una empresa

X pulsasiones or minuto en reposo Y tiempo en correr 1 milla ( reg)

Fuente: S. Chatterjee - A. Hadi: " Sentivity Analysis in Linear Regression"

Calcularemos la covarianza entre estas dos variables

Covarianza

Valores centrados y productos:

obs X-64,3 Y-382,8 prod 1 2,7 98,2 265,14 2 -12,3 -90,8 1116,84 3 -8,3 -25,8 214,14

4 1,7 13,2 22,44

5 0,7 -37,8 -26,46 6 15,7 86,2 1353,34 7 12,7 42,2 535,94

8 0,7 10,2 7,14

9 3,7 -36,8 -136,16 10 1,7 18,2 30,94 11 5,7 -115,8 -660,06 12 -5,3 -14,8 78,44 13 -6,3 -87,8 553,14 14 -12,3 8,2 -100,86 15 -0,3 104,2 -31,26 16 7,7 98,2 756,14 17 -7,3 -8,8 64,24 18 -5,3 -15,8 83,74 19 5,7 86,2 491,34 20 -1,3 -130,8 170,04

Promedio : 239,41

La covarianza entre las

Coeficiente de correlación lineal.

La covariaza tiene el inconveniente de que su valor no es acotado, por lo que, a

partir de él es difícil juzgar si es grande o pequeña.

Se define la correlación, que es una medida de asociación lineal independiente de

las unidades de medida.

Coeficiente de correlación lineal.

La covariaza tiene el inconveniente de que su valor no es acotado, por lo que, a partir

de él es difícil juzgar si es grande o pequeña.

Se define la correlación, que es una medida de asociación lineal independiente de las

unidades de medida:

Es igual a la covarianza dividida por las desviaciones estándar:

yy xx xy i i i i

S

S

S

y

y

x

x

y

y

x

x

dsY

dsX

Y

X

Y

X

corr





















El valor de la correlación entre cualquier par de variables es un

número entre -1 y 1. n valor alto de correlación no indica que

Ejemplo (continuación)

Coeficiente de Correlación

Se deben calcular las desviaciones standard.

Para ello se deben elevar al cuadrado las observaciones centradas y promediar, obteniéndose las varianzas.

Las desviaciones standard son las raíces cuadradas de éstas. cuadrados de

obs X-64,3 Y-382,8 1 7,3 9643,2 2 151,3 8244,6 3 68,9 665,6 4 2,9 174,2 5 0,5 1428,8 6 246,5 7430,4 7 161,3 1780,8 8 0,5 104,0 9 13,7 1354,2 10 2,9 331,2 11 32,5 13409,6 12 28,1 219,0 13 39,7 7708,8 14 151,3 67,2 15 0,1 10857,6 16 59,3 9643,2 17 53,3 77,4 18 28,1 249,6 19 32,5 7430,4 20 1,7 17108,6 Promedios : 54,11 4896,46 (varianzas)

Las desviaciones standard son

dsX = 7,36 ds Y = 69,97

Para obtener las correlaciones se debe

dividir la covarianza por las desviaciones standard:

El siguiente es un gráfico de dispersión que muestra estos datos.

Club de Salud

0 100 200 300 400 500 600

0 20 40 60 80 100

Pulsaciones por m inuto

REGRESION LINEAL SIMPLE

Ahora asumiremos que si hay una relación de causalidad de la variable X

(causa) hacia la variable Y (efecto).

Además, se sabe que esa relación es de tipo lineal, dentro del rango de los

datos.

Estableceremos un modelo para explicar la causa (Y) en términos del efecto

(X), del tipo siguiente:

para i = 1,2,..., n

en que

a

y

b

son dos cantidades fijas (

parámetros

del modelo) y los

ei

son cantidades aleatorias que representan las diferencias entre lo

que postula el modelo y lo que realmente se observa,

y

.

Por esa razón a los

e

los llamaremos "errores" o "errores aleatorios".

Se asume que tienen valor esperado 0 y desviación estándar común .

i i

i

a

bX

e

Ejemplo 2

Se piensa que si aumentan el porcentaje de comisión pagada al vendedor de automóviles, aumenta la venta.

Estudio sobre 15 concesionarios similares

X Comisiones pagadas a vendedores de autos en un mes (%)

Y Ganancias netas por ventas, en el mismo mes (Millones de $)

obs X Y

1 3.6 11.28

2 5.2 14.74

3 5.3 18.46

4 7.3 20.01

5 5.0 12.43

6 5.2 15.37

7 3.0 9.59

8 3.1 11.26

9 3.2 8.05

10 7.5 27.91

11 8.3 24.62

12 6.1 18.80

13 4.9 13.87

14 5.8 12.11

Representación de los datos en un gráfico de dispersión:

Ganancias ne tas ve rs us com is ione s

0.00 5.00 10.00 15.00 20.00 25.00 30.00

0.0 2.0 4.0 6.0 8.0 10.0

com is ión (%)

G

an

an

ci

as

(

M

M

Se puede apreciar la relación lineal existente entre ambas variables observadas.

Nuestro problema es estimar los parámetros a, b y para poder identificar el

modelo.

Para estimar a y b se utiliza el método de Mínimos cuadrados, que consiste en

encontrar aquellos valores de a y de b que hagan mínima la suma de los

cuadrados de las desviaciones de las observaciones respecto de la recta que

En la figura, son los cuadrados de los segmentos verticales cuya suma de

cuadrados se debe minimizar, para determinar a y b.

Estos segmentos representan los errores e del modelo. b se llama pendiente de la

xx xy i i i

S

S

x

x

y

y

x

x

b















)

(

)

)(

(

x

b

y

a





Ejemplo 2 (continuación)

Calculamos los promedios de ambas variables y se las restamos a los valores.

Promedio de la X : 5.4 Promedio de la Y : 16.1

Desviaciones respecto de las medias, sus cuadrados y productos: obs X-5.4 Y-16.1 cuadrados prod.

1 -1.8 -4.9 3.1 23.7 8.6

2 -0.2 -1.4 0.0 2.0 0.2

3 -0.1 2.3 0.0 5.3 -0.2

4 1.9 3.9 3.7 14.9 7.4

5 -0.4 -3.7 0.1 13.8 1.4

6 -0.2 -0.8 0.0 0.6 0.1

7 -2.4 -6.6 5.6 42.9 15.6 8 -2.3 -4.9 5.2 23.8 11.1 9 -2.2 -8.1 4.7 65.6 17.6 10 2.1 11.8 4.5 138.5 25.0

11 2.9 8.5 8.6 71.8 24.8

12 0.7 2.7 0.5 7.0 1.9

13 -0.5 -2.3 0.2 5.2 1.1 14 0.4 -4.0 0.2 16.3 -1.7

15 1.7 7.5 3.0 56.8 13.0

sumas 0.0 0.0 39.6 488.3 126.1

Sxx Syy Sxy

Entonces utilizando las fórmulas de arriba,

El modelo, para estos datos, es

para i=1,2,.. 15

Representa una recta, cuyo intercepto con el eje vertical es -0.96, y su

pendiente es 3.18, o sea, si el porcentaje de comisión X aumenta en 1%, la

ganancia neta Y aumenta en 3.18 Millones de pesos.

i i

i

X

e

Ganancias ne tas ve r s us com is ione s

-5.00 0.00 5.00 10.00 15.00 20.00 25.00 30.00

0.0 2.0 4.0 6.0 8.0 10.0

com is ión (%)

Ga

na

nc

ia

s

(M

M

$)

Ejemplo 2 (continuación)

La tabla siguiente contiene los valores de Y ajustados , para cada valor de X, además de los valores de Y observados, a modo de comparación. Los ajustados se obtienen por la fórmula.

obs X Y Yajust. dif 1 3.6 11.28 10.50 0.78 2 5.2 14.74 15.59 -0.85 3 5.3 18.46 15.91 2.54 4 7.3 20.01 22.28 -2.27 5 5.0 12.43 14.96 -2.52 6 5.2 15.37 15.59 -0.23 7 3.0 9.59 8.59 1.00 8 3.1 11.26 8.91 2.36 9 3.2 8.05 9.23 -1.18 10 7.5 27.91 22.92 5.00 11 8.3 24.62 25.46 -0.84 12 6.1 18.80 18.46 0.34 13 4.9 13.87 14.64 -0.77 14 5.8 12.11 17.50 -5.40 15 7.1 23.68 21.64 2.04 promedio 5.4 16.1 16.1 0.00

i

i

X

Se puede observar que el promedio de los valores ajustados es igual al

promedio de los valores observados, y que el promedio de las diferencias es

cero.

Con la suma de los cuadrados de las diferencias 𝑦_𝑖 − 𝑦 , es una estimación

Coeficiente de determinación.

Es una medida de bondad de ajuste del modelos de regresión lineal a los

datos.

Es deseable que los valores de Y ajustados al modelo, sean lo más parecidos

posible a los valores observados.

Una medida de lo parecido que son, es el coeficiente de correlación.

Se define el coeficiente de determinación, 𝑅2 , como el cuadrado del coeficiente de correlación entre los valores de Y observados y los valores de

Sin embargo se puede demostrar que es igual a la siguiente expresión:

El rango de 𝑅2 es entre 0, cero ajuste, hasta 1, ajuste perfecto (cuando los puntos aparecen en un línea recta).







_





_



 



 _{2 2}

Ejemplo 2 (continuación)

Más arriba se calcularos las sumas de cuadrados y de productos, y dieron los siguientes valores:

Sxx = 39.6 , Syy = 488.3 , Sxy = 126.1 Entonces el coeficiente de determinación es

que señala que el ajuste del modelo a los datos es bueno.

82 . 0 3

. 488 *

6 . 39

) 1 . 126

( 2

2  

Errores de Y (llamado error de correlación), Intercepto y de la Pendiente

Error de Y

𝑆_𝑌 = 𝑛𝑖=1 𝑌𝑖−𝑌 2 𝑛−2

Error del Intercepto

𝑆_𝑎 = 𝑆_𝑌 1

𝑛 +

𝑋 2

𝑋_𝑖−𝑋 2

𝑛 𝑖=1

Error de la Pendiente

𝑆_𝑏 = 𝑆𝑌

𝑋_𝑖−𝑋 2

Ejemplo 2 (continuación)

𝑌_𝑖 − 𝑌 2

𝑛

𝑖=1 = 87,0364 𝑆𝑦 =

87,0364

15−2 = 2,59

𝑆_𝑏 = 2,59

39,6=0,41

𝑆_𝑎 = 2,59 1

15 +

5,4 2

39,6 =2,32

La ecuación se colca así: (𝑌_𝑖 ± 2,59) = 3,18 ± 0,41 𝑋 − (9,6 ± 2,32) ¿Cual será el valor de 𝑥_𝑖 con su error para Y=12,43?

Intervalo de confianza para la

pendiente

𝑏 ± 𝑡∝

2, 𝑛−2

𝑆_𝑏

Prueba con el estadístico t de Student

𝑡 = 𝑟 𝑛 − 2

Para el ejemplo 2.

b = 3,18 y 𝑆_𝑏 = 0,41 𝑡∝

2, 𝑛−2

= 2,16

3,18±2,16𝑥0,41

El rango será: 4,31 a 2,29 α= 0,05

Para comprobar si hay relación

𝐻₀: 𝜌 = 0 𝐻₁: 𝜌 ≠ 0

Si t_c > t_crítico , se rechaza la hipótesis nula para α= 0,05

𝑡_𝑐 = 0,905 (15−2)

(1−0,82) = 7,69 Como el 𝑡𝑐 > 𝑡𝑐𝑟𝑖𝑡𝑖𝑐𝑜 se rechaza

𝐻₀