Distribucions bivariants, independencia, covariància, correlació

Distribucions bivariants, independencia, covari` ancia, correlaci´ o

Albert Satorra

UPF

Continguts

1 Variables aleat`ories bivariants (discretes)

Distribucions conjuntes, marginals, condicionades, esperan¸ca condicional

Independencia entre variables

2 Associaci´o entre variables: Covari`ancia i correlaci´o Desigualtat de Cauchy-Schwarz, acotaci´o de ρ_XY

3 Exemples

Introducci´ o

Interessa la variaci´o conjunte de dues o m´es variables aleat`ories lligades al mateix espai mostral Ω. Primer ens centrarem en dues variables X i Y discretes. Motivem el tema amb un exemple.

Exemple: Tenim una caixa amb boles 1 2 3 de la que fem dues extraccions. Sigui X la bola de la primera extracci´o i Y la bola de la segona extracci´o. Considerem dos casos: i) extraccions sense restituci´o, i ii) extraccions amb restituci´o. En i), la distribuci´o de probabilitat conjunta P_XY(x , y ) (les probabilitats p(x , y ) de les diferents combinacions dels valors de les variables ) ´es

P_XY 1 2 3 P_Y(y )

1 0 1/6 1/6 1/3

2 1/6 0 1/6 1/3

3 1/6 1/6 0 1/3

P_X(x ) 1/3 1/3 1/3 1

En ii), la distribuci´o de probabilitat conjunta P_XY(x , y ) ´es

P_XY 1 2 3 P_Y(y )

1 1/9 1/9 1/9 1/3

2 1/9 1/9 1/9 1/3

3 1/9 1/9 1/9 1/3

PX(x ) 1/3 1/3 1/3 1

Distribuci´ o bivariant discreta

Z = (X,Y) a valors un conjunt finit o infinit numerable Ω lligats a un experiment aleatori. Distribuci´o de Probabilitat Conjunta:

P_XY(x_i, y_j) = P([X = x_i] ∩ [Y = y_j]) (probabilitats dels diferents valors de la variable). Tenim que

P_XY(xi, yj) ≥ 0 P

x ,yPXY(xi, yj) = 1

De la conjunta obtenim les Distribucions Marginals:

P_X(x ) =P

yP_XY(x , y ), marginal de X P_Y(y ) =P

xp(x , y ) , marginal de Y

NOTA: de les marginals no podem obtenir la distribuci´o conjunta, llevat el cas en que X i Y s´on independents (ho veurem d’aqu´ı un moment).

Distribuci´ o condicionada (condicional), Y | X = x , X | Y = y

Si sabem s’ha produit X = x , modifica aquesta informaci´o la P(Y ) ? Parlarem de la variable Y condicionada a X = x, Y | X = x . Parlem de la distribuci´o de probabilitat condicionalP_{Y |X}

P_{Y |X}(y ) = P_XY(x , y ) P_X(x )

o, simplement, P_{X |Y} Noteu que hi ha una distribuci´o condicional diferent per cada valor de la variable X. Podem considerar tamb´e l’ esperan¸ca condicionada E [Y | X ]

E (Y | X = x ) =X

j

y_jP[y_j | x]

que ´es una funci´o de x . A vegades, E (Y | X = x ) ´es linial en x, ´es a dir

Independencia entre X i Y :

Quan Y | X = x ´es igual a Y , o de forma equivalent, quan P_{Y |X} = P_Y, parlem de independ`encia entre X i Y.

Hi ha independ`encia entre X i Y si (i nom´es si) PXY(x , y ) = PX(x )PY(y )

´

es a dir, distribuci´o de probabilitat conjunta ´es el producte de les marginals. ´Es una propietat sim`etrica, independ`encia entre X i Y implica

(Y | X = x ) = Y i

(X | Y = y ) = X

Esperan¸ ca d’una funci´ o g (X , Y )

E (g (X , Y )) =X

x

X

y

g (x , y )P(x , y ) Ara podem demostrar E (X + Y ) = EX + EY :

E (X + Y ) =X

x

X

y

(x + y )P(x , y ) =X

x

X

y

xP(x , y ) +X

x

X

y

yP(x , y )

=X

x

x (X

y

P(x , y )) +X

y

y (X

x

P(x , y ))

=X

x

x (pX(x )) +X

y

y (pY(y )) = E (X ) + E (Y )

Exemple: E (XY )

E (XY ) =X

x

X

y

xyP(x , y )

Es verifica que E (XY ) = E (X )E (Y )?? Considereu dues variables X i Y i la varian¸ca de la variable (univariant) suma X + Y

V (X + Y ) = E ((X + Y )²) − (E (X + Y ))² (E (X + Y ))²= (EX )²+ (EY )²+ 2(EX )(EY )

E (X + Y )²= E (X²+ Y²+ 2XY ) = E (X²) + E (Y²) + 2E (XY ) De manera que

V (X +Y ) = (E (X²)−(EX )²)+(E (Y²)−(EY )²)+2(E (XY )−(EX )(EY ))

= V (X ) + V (Y ) + 2 {E (XY ) − (EX )(EY )}

Associaci´ o entre variables: Covari` ancia, C (X , Y ), σ

La σ_XY entre dues variables aleat`ories X i Y ´es

σXY = E (X − µX)(Y − µY) = E (XY ) − E (X )E (Y ) Mesura associaci´o (variaci´o conjunta) entre les dues variables X i Y . NOTEU: C(X,Y)= 0 no implica independ`encia entre X i Y.Per un exemple, considerem X: -1 0 1 amb distribuci´o uniforme (P[X=x] = 1/3), aleshores la va Y = X²no ´es independent de X i, en canvi, C (X , Y ) = 0

Ara podem enunciar una nova propietat de la vari`ancia.

Propietats de la vari` ancia de la suma i esperan¸ ca del producte el cas de independ` encia

Independ`encia entre X i Y implica EXY = EXEY (⇔ Cov (X , Y ) = 0)

Demostraci´o:

EXY =X x

X y

xyP_XY(x , y ) =X x

X y

xyP_X(x )P_Y(y )

= X

x xP_X(x )

!

 X

y yP_Y(y )



 = E (X )E (Y )

V (X + Y ) = VX + VY (Noteu que V (X − Y ) = VX + VY ) malgrat la indepen`encia, en general, V (X .Y ) 6= V (X )V (Y ) Independencia entre m´es de dues variables aleat`ories X₁, . . . , X_K:

P_X1X2...XK(x₁, . . . , x_K) = P_X1(x₁) . . . P_XK(x_K) En aquest cas: E (X1X2. . . X_K) = E (X1)E (X2) . . . E (X_K).

Propietat fonamental:

V (X + Y ) = V (X ) + V (Y ) + 2Cov (X , Y )

V(X +Y) = V(X) + V(Y) + 2Cov(X,Y)

Demostraci´o

V (X + Y ) = E [(X + Y )²] − [E (X + Y )]²

= EX²+ EY²+ 2EXY − ((EX )²+ (EY )²+ 2(EX )(EY ))

= (EX²− (EX )²) + (EY²− (EY )²) + 2(EXY − (EX )(EY )) V (X ) + V (Y ) + 2C (X , Y )

Si X₁, X₂, . . . X_n s´on (mutuament) independents:

V (X₁+ X₂+ · · · + X_n) = V (X₁) + V (X₂) + · · · + V (X_n) E (X1× X₂× · · · × X_n) = E (X1) × E (X2) × · · · × E (Xn)

Propietats del operador covari` ancia

Cov(X,Y) = Cov(Y,X)

Cov(k,Z) = 0 (aqu´ı k denota una variable aleatoria constant) V(X) = Cov(X,X)

Cov(kX,Y) = kCov(X,Y) (noteu que k pot esser negatiu, de manera que Cov(-2X,Y) = -2Cov(X,Y)

Cov(X+k,Y) = Cov(X,Y)

Cov(X+Y,Z) = Cov(X,Z) + Cov(Y,Z) .

Exemple

Tenim una caixa amb les boles 1 2 3 i efectuem dues extraccions.

Considerem dos casos: (i) amb restituci´o; (ii) sense restituci´o. X ´es el n´umero de la primera extracci´o i Y al n´umero corresponent a la segona extracci´o. Cal calcular Cov(X,Y) en els dos casos.

En ambdos casos (i) i (ii), tenim

EX = EY = (3 + 1)/2 = 2 V (X ) = V (Y ) = (2 × 4)/12 = 2/3

σX = σY =p 2/3 En el cas (ii):

EXY = 1×2×1/6+1×3×1/6+2×1×1/6+2×3×1/6+3×1×1/6+3×2×1/6

= (2 + 3 + 2 + 6 + 3 + 6)/6 = 22/6 = 11/3

Exemple (cont.)

De manera que

C (X , Y ) = 11/3 − 4 = 11/3 − 12/3 = −1/3 ρ(X , Y ) = −1/3

2/3 = −0.5

P_{Y |X =1}(1) = 0; P_{Y |X =1}(2) = 1/2; P_{Y |X =1}(3) = 1/2

⇒ E (Y | X = 1) = (2 + 3)/2 = 2.5

P_{Y |X =2}(1) = 1/2; P_{Y |X =2}(2) = 0; P_{Y |X =2}(3) = 1/2

⇒ E (Y | X = 2) = (1 + 3)/2 = 2

P_{Y |X =3}(1) = 1/2; P_{Y |X =3}(2) = 1/2; P_{Y |X =3}(3) = 0

⇒ E (Y | X = 3) = (1 + 2)/2 = 1.5

Independ` encia implica σ

= ρ

= 0

Si les variables X i Y s´on independents, aleshores E (XY ) = E (X )E (Y ) de manera que σXY = 0 i ρXY = _σ^σXY

XσY = 0.

Tamb´e es pot veure que en el cas de independ`encia, E (Y | X ) = E (Y ), idem E (X | Y ) = E (X ); ´es a dir, les esperances condicionades s´on les mateixes que sense condicionar.

compte! σ

= ρ

= 0 NO implica Independ` encia

PXY 0 1 PX(x )

−1 0 1/3 1/3

0 1/3 0 1/3

1 0 1/3 1/3

P_Y(y ) 1/3 2/3 1

En aquest cas, Y = X² ; ´es a dir, no s´on independents. Tot i aix`o, podem veure que σ12= ρ12= 0. ´Es a dir, que covari`ancia zero no guaranteix independ`encia. Solament en el cas (o veurem) de distribuci´o conjunta normal bivariant.

Exemple d’esperan¸ca condicional

Noteu que E (Y | X = x ) ´es una funci´o de x , que podem representar en el gr`afic de regressi´o seg¨uent:

Figure : La funci´o de regressi´o E (Y | X )

regressio Y | X

X E(Y | X) 0.00.51.01.52.02.53.0

1 2 3

Exemple (cont.)

En el cas (i) (amb restituci´o), tenim:

EXY = 1×2×(1/9)+1×3×(1/9)+2×1×(1/9)+2×3×(1/9)+3×1×(1/9)+3×2×(1/9)+1×1×(1/9)+2×2×(1/9)+3×3×(1/9) (2 + 3 + 2 + 6 + 3 + 6 + 1 + 4 + 9)/9 = 36/9 = 4

De manera que

C (X , Y ) = 4 − 4 = 0

En aquest cas (i), P_{Y |X =x}(y ) = PY(y ) = 1/3, de manera que

E (Y | X = x ) = E (Y ) = 2 per qualsevol valor de x , de manera que la funci´o de regressi´o E (Y | X = x ) ´es constant en x

Exemple (cont.): Esperan¸ ca condicional, E (Y | X )

E (Y | X = x ) ´es constant en x

Figure : La regressi´o E (Y | X )

regressio E(Y | X), cas (i) amb restitucio

X E(Y | X) 0.00.51.01.52.02.53.0

1 2 3

Correlaci´ o entre les variables X i Y , ρ(X , Y ), ρ

, r

ρ_XY = C (X , Y )

pV (X )V (Y ) = σ_XY σXσY

Noteu tamb´e que σXY = ρXYσXσY, de manera que podem obtenir la covari`ancia a partir de la correlaci´o i les desviacions est`andards. De fet, ρ_XY coincideix amb la covari`ancia si les X i Y s´on variables

estandarditzades (tipificades, amb esperan¸ca zero, i vari`ancia 1). Veurem que

−1 ≤ ρ_XY ≤ 1

amb igualtat (a 1 o −1) solament si hi ha relaci´o lineal exacta entre elles, si hi ha a, b, c tal que aX + bY = c. Independ`encia implica correlaci´o zero, per`o correlaci´o zero no implica independ`encia. Noteu que hi ha correlaci´o zero si i solament si la covari`ancia ´es zero.

Desigualtat de Cauchy-Schwarz i acotaci´ o de ρ

(EXY )² ≤ EX²EY²

Demostraci´o: Si Z = kX + Y , aleshores Z²= k²X²+ Y²+ 2kXY . Tenim que 0 ≤ E (Z²) = k²EX²+ 2kEXY + EY², d’on obtenim ... (recordeu ax²+ bx + c = 0, el discriminant de l’equaci´o ∆ = b²− 4ac ≤ 0 . . . Si ∆ = 0 aleshores hi ha un k amb Z = kX + Y = 0, ´es a dir, Y = kX ).

Apliqueu la desigualtat anterior a les variables centrades X − µX i Y − µ_Y, i obteniu

(Cov (X , Y ))²≤ V (X )V (Y ) De manera que

(Cov (X , Y ))²

V (X )V (Y ) = Cov (X , Y ) σ_Xσ_y

2

= ρ²_XY ≤ 1

. . . acotaci´ o −1 ≤ ρ

≤ +1

amb igualtat si i solament si hi ha una dependencia linial exacta entre X i Y, si hi han a i b tals que Y = a + bX .

Noteu que obtenim igualtat (es a dir correlaci´o +1 o −1) en el cas

solament que hi hagi un valor de k pel que Y − µ_Y = k(X − µ_X), ´es a dir, quan Y = (µY − kµ_X) + kX = a + bX .

Donades les variables X₁ i X₂ la matriu Σ =

 σ₁² σ12 σ12 σ₂²



S’anomena matriu de var. -covar. del vector aleatoria (X₁, X₂). Per la desigualtat de Cauchy-Schwarz, el determinant d’aquest matriu σ²₁₂− σ²₁σ²₂ ≥ 0. Direm que Σ ´es una matriu semi-definida positiva.

Exemple:

Tenim una caixa amb boles 1 2 3 4 de la que fem dues extraccions.

Sigui X la bola de la primera extracci´o i Y la bola de la segona extracci´o.

Considerem dos casos a) extraccions sense restituci´o i b) extraccions amb restituci´o. Considerarem primer el cas a). En aquest cas la distribuci´o de probabilitat conjunta ser`a

PXY 1 2 3 4

1 0 1/12 1/12 1/12

2 1/12 0 1/12 1/12

3 1/12 1/12 0 1/12

4 1/12 1/12 1/12 0

Exemple:

Cal considerar les distribucions de probabilitat marginals que, en aquest exemple, seran distribucions uniformes de 1 a 4. En aquest cas a) les variables X i Y no s´on independents. Tamb´e podem considerar les corresponents distribucions de probabilitat condicionals. Y | X o X | Y . Tenim que la distribuci´o condicionada Y | X = 3 ser`a:

Y | X = 3 : 1 2 3 4 P_{Y |X =3} : 1/3 1/3 0 1/3

exemple (cont.)

Tenim que E (Y | X = 3) = 7/3. De fet,

X : 1 2 3 4

E (Y | X ) 9/3 8/3 7/3 6/3

(fer una representaci´o gr`afica de E (Y | X = x ) que ´es linial en x Noteu que Cov (X , Y ) = EXY − EXEY = 35/6 − (2.5)(2.5) = −0.4166. La variancia de les marginals ´es:

V (X ) = EXX − EXEX = 30/4 − (2.5)(2.5) = 1.25 = 1.109² Per tant, la correlaci´o ser`a: ρ = ^√−0.4166_1.25×1.25 = −0.333

exemple (cont.)

Podem ara considerar el cas ii) d’ extraccions amb restituci´o. En aquest cas ´es f`acil veure que hi ha independ`encia entre X i Y , que les

distribucions marginals s´on iguals, que les esperances condicionades s´on iguals constants, que la covariancia i la correlaci´o s´on zero, etc.

Exemples:

Tenim dos valors de borsa X i Y cada un amb guany esperat 100 amb vari`ancia 10. Tenim l’opci´o de i) comprar-ne 2 valors de X o ii) comprar-ne un de X i un de Y . Quina de les dues inversions t´e m´es risc?. Comenteu els tres casos: Cov(X,Y) = 0, Cov(X,Y) positiva, Cov(X,Y) negativa.

1 Considerem els valors X i Y amb distribuci´o de probabilitat conjunta

P_XY 1 2 3

1 0.2 0.1 0.1 2 0.4 0.1 0.1

Trobeu les distribucions de probabilitat condicionades, marginals, la covari`ancia, esperan¸ca condicional, etc.

2 Si invertim 100 euros, que t´e m´es vari`ancia (risc), comprar deu bons de 10 en el mateix actiu X , o comprar deu bonos de 10 en deu actius diferents X<sub>1</sub>, . . . , X<sub>10</sub> independents. Suposeu que el valor esperat i la vari`ancia s´on iguals en tots els actius. Hi ha difer`encia entre valors esperats de les dues opcions?