Algebra Lineal Aplicada para Modelos Lineales
Yuri Miranda Gonzáles
Universidad Mayor de San Andrés
Carrera de Estadística
Abril 2013
En el área de modelos lineales y econometría, la necesidad de contar con elementos teóricos sobre algebra lineal es imprescindible para una correcta com-prensión y aplicación de estas herramientas, el presente documento muestra un compendio de conceptos, teoremas y demostraciones necesarios para contar con las herramientas teóricas.
Es así que el principal objetivo del documento es la comprensión de los siguientes resultados:
Al multilpicar un vector por una matriz simétrica idempotente se obtiene la proyección ortogonal de este vector sobre el espacio vectorial generado por las columnas de la matriz.
SiY es un vector de variables N(0;1)dencomponentes, que se proyecta ortogonalmente sobre un espacio de dimensiónrentonces el cuadrado del módulo del vector proyectado 2(r).
La descomposición de un vector den componentes como una suma de h
vectores ortogonales entre sí, y se expresa el vector como una suma de estos hvectores, entonces el cuadrado del módulo de cada vector de los componentes sigue una distribución 2(a los del espacio donde se generó). Este compendio es el resultado de las clases impartidas en la Carrera de Estadística de la Universidad Mayor de San Andrés (UMSA), en base princi-palmente a las siguientes fuentes: Apéndice II de Regresión y Diseño de Ex-perimentos, Daniel Peña 2010; Apéndice de derivadas de matrices de Análisis Multivariante, Mardia 1991; Capítulo I Vectors of random variables de GAF Seber 1987, también el clásico libro de Algebra Lineal de Anton.
1
Vectores
1. Producto escalar (o interno) de dos vectores
X0Y =Y0X =Xxiyi
2. Norma o longitud de un vectorX
jXj=pX0X =qXx2 i
3. Un conjunto dekvectores(X1; X2; : : : Xk)son linealmente independientes
(LI)si en la siguiente combinación lineal (cl)
c1X1+ +ckXk= 0 la única solucion esc1=c2= = 0.
4. Sea un conjunto de k vectores LI de n componentes, se llama espacio vectorial (E) generado por este, al que contiene todos los vectoresZ que pueden expresarse como combinación lineal de estos.
si z2 E)z=c1X1+ +ckXk
5. La dimensión del espacioEk = número de vectoresLI que lo generan.
1.1
Ortogonalidad en vectores
1. Dos vectores son ortogonales, jXj jYj= 0que es consecuecia de
X0Y =jXj jYjcos
cuando = 90o)cos = 0
Por lo tanto: dos vectores son ortoganeles,
X0Y = 0ó Y0X = 0
2. X es ortogonal aEp siX es ortogonal a todo vector deEp:por tanto
si Y 2Ep)Y0X = 0
2
Matrices y formas cuadráticas
Algunas propiedades de transpuesta de matrices
(A0)0 = A;(A+B)0=A0+B0 ;(AB)0=B0A0
siA = A0 )Aes simétrica
2.1
Rango de una matriz
A cadaAn n se puede asociar unEp generado por sus vectores columna)el rango de la matriz es la dimensión de este espacio.
rango(A) =rango(A0)
el rango también es el máximo número de vectores columna o …laLI
2.2
Propiedades de inversa
1. (AB) 1=B 1A 1para matrices cuadradas no singulares 2. (ABC) 1=C1B 1A 1
3. (A0) 1= (A 1)0
4. A 1 =jAj 1
5. SiA es simétrica)A 1 también
2.3
Matriz ortogonal
Ces una matriz ortogonal si escuadrada y tal que:
CC0 =C0C=I
y como consecuencia se tiene:
C0 =C 1
por lo tanto las …las o columnas de una matriz ortogonal son vectores ortogonales entre si y de longitud 1. Claro...:
0 B @ C0 1 .. . C0 n 1 C A( C0 1 Cn0 ) = 0 B @ 1 0 . .. 0 1 1 C A= 0 B @ C0 1C1 0 . .. 0 C0 nCn 1 C A además: jCj=jC0j= 1
2.4
Matriz de…nida positiva
Una matrizAes de…nida positiva si:Z0AZ >0dondeZ es un vector.
Todos los valores propios deA, i >0
Propiedades:
1. Toda matrizAde…nida positiva es invertible yA 1 es de…nida positiva 2. Toda matrizA de…nida positiva tiene al menos una matriz N cuadrada
tal que:
3
Forma cuadrática
Una forma cuadrática (F C) es un escalar con la siguiente expresión:
Y0AY = n X i=1 n X j=1 aijyiyj donde:Y = 0 B @ y1 .. . yn 1 C A; A=matriz de n n:EntoncesF C= Y0 1 n n nA nY1 UnaF C es semide…nida positiva entonces:
1. Y0AY 0
2. A es de…nida o semide…nida positiva. Recortar tambien que una matriz de…nida positiva cumple:
3. Se llama rango de una FC al rango de la matrizA
3.1
Diagonalización de matrices simétricas
1. Valores y vectores propiosAx= x)det( I A) = 0
los vectores propios de una matriz cuadrada son losxtal que:
( I A)x= 0
Nota: Una matriz simétrica tiene i2Ry autovectores ortogonales. 2. Diagonalización de matrices simétricas
Toda matrizAsimétrica puede diagonalizarse, mediante la transformación
C0AC=D
donde:
C es ortogonal y esta construida con los vectores …la con los autovectores deA
Los elementos deD serán sus atovalores.
ComojCj=jC0j= 1)el determinante deAserá el producto de sus raices
caracteristicas.
El rango de una matriz = al número de i6= 0
Por lo tanto "si se diagonaliza una matriz simétrica su rango será el número de elementos no nulos de la diagonal principal de la matriz D"
3.2
Una matriz importante: Matriz Idempotente
Es una matriz cuadrada simétrica que cumple:AA=A=A0A
3.2.1 Nota
Una matriz idempotente o bien es singular o bien es matriz unidad (matriz singular,jAj= 0;rangor < norden de la matriz)
Claro...
1. SijAj 6= 0) 9A 1 y comoAes idempotente
AA=A
A 1AA=A 1A
IA=I)A=I)por tanto una matriz idempotente que no es laIsera singular.
Los i de una idempotente son cero o unos...
( I A)x = 0)Ax= x AAx = A x Ax = Ax x = 2x x( 2 ) = 0 = 1; = 0
por lo tanto si se diagonaliza una idempotente se obtiene en la diagonal principal el número de unos= rango de la matriz, y el resto de elementos son cero.
3.2.2 Conclusiónes importantes:
1. (a) Una matriz idempotenteAes siempre semide…nida postiva. Dem. X0AX)X0A0AX )(AX)0(AX) 0
(b) SiA es idempotente)también seráI A
Dem. (I A) (I A) =I A IA+AA=I A
3.2.3 Traza de una matriz
1. SiCn n con elementoscij )tr(C) = n
X
i=1
cij y es un operador lineal, con las siguientes propiedades:
(a) tr(A+B) =tr(A) +tr(B)
(c) tr(ABC) =tr(CAB) =tr(BCA)
(d) Si A es idempotente su rango=tr(A):
3.3
Proyección Ortogonal
El vectorY den componentes y dimensionp, p < n. La proyección ortogonal deY sobreEp , es el vectorV , que cumple:
Ep V W Y Ep V W Y es decir: 1. Y =V +W con V 2Ep 2. U0W = 0 8U 2Ep
3.4
Un ejemplo importante...
SeaY un vetor y seaEp un espacio vectorial de dimension1engendrado por el vectorX ,)la proyección deY sobreX será:
X V=cX Y X V=cX Y V =cX (1)
dondeces un escalar. Para hallarV, se tiene
V +e=Y )e=Y V
el vectore=Y V debe ser ortogonal aV, por tanto aX, es decir
X0(Y V) = 0
X0Y X0cX = 0
X0Y = X0Xc
por tanto
De (1) se tiene: V =cX=Xc, entonces...
V =X(X0X) 1X0Y =AY
por tanto la proyección de un vector Y sobre X se obtiene multiplicando el vector por una matrizA=X(X0X) 1X0
La matriz A es cuadrada de n n , idempotente y de rango igual al del espacio sobre el que se proyecta que en este caso es uno. En efecto:
1. es cuadrada... Xn 1(X0X)1 11 X10 n =An n 2. es idempotente... (X(X0X) 1X0)(X(X0X) 1X0) =X(X0X) 1X0 3. es de rango uno... rg(A) =tr(A) =tr(X(X0X) 1X0) =tr(XX 1(X0) 1X0) =tr(I) = 1
Estas propiedades encontradas para proyecciones sobre una recta son val-idas en general, como se desarrolla e los siguietes teoremas:
Teorema 1 Sea el vector Y 2Rn y X una matriz de n p donde las …las de
X son una base de un subespacio vectorialEp.
Se tiene la matriz Acomo:
A=X(X0X) 1X0
La proyección del vectorY sobre el espacio Ep es
AY
donde la matrizA es cuadrada, simetrica, idempotete y de rangop.
Demostración. Para la idempotencia, se tiene que comoV =AY es la
proyec-ción deY sobre el espacio vectorialR(A)generado por las columnas deA
entonces A es idempotente por que la proyección deV sobre R(A)será AV
(y tendrá que ser invariante ya queV esta dentro deR(A)).
V =AV
peroV =AY, entonces
AY =AAY
lo que quiere decir que tiene que cumplirseA=A2por tanto la matriz proyección
tiene que ser idempotente.
Teorema 2 El cuadrado del modulo de la proyecció de Y sobreEp será:
Y0AY
donde A es idempotente
Demostración. El cuadrado del módulo de la proyección es:
4
Vectores y matrices aleatorias
De…nición.- Se tiene Z una matriz de variables aleatorias, y X y Y vectores aleatorios entonces:
E[Z] = [E]
Teorema.- si A = [(aij)], B = [(bij)]; C = [(cij)] matrices constantes, en-tonces:
E[AZB+C] =AE[Z]B+C E[AX] =AE[X]
E[AX+BY] =AE[X] +BE[Y]
De…nición.- La covaranza entre dos vectores aleatorios se de…ne como:
Cov[X; Y] = [(Cov[Xi; Yj])]
Teorema.-Cov[X; Y] =E[(X E[X])(Y E[Y])0]
V[Y] = [Cov[Yi; Yj]]
V[X] =E[XX0] (E[X])(E[X])0
Cov[AX; BY] =ACov[X; Y]B0 Cov[AX; Y] =ACov[X; Y]
Cov[X; BY] =Cov[X; Y]B0
V[AX] =Cov[AX; AX] =ACov[X; X]A0=AV[X]A0
Para profundizar los conceptos, demostraciones y ejemplos de estos resul-tados, puede ver capítuo 1 Vectors of Random Variables de Lineal Regression Analysis G.A.F. SEBER (1997)
5
Distribución normal
Se tiene y1; y2; :::; yn variables aleatorias indepedientes distribuidas N( ; 2): Entoces:
z = a0Y=a1y1+ +anyn
E(z) = Xai
V(z) = 2Xa2i
Teorema 3 Si
z1 = a01Y
z2 = a02Y
dondeY N( ; 2I). Las variables z
1 yz2 serán independientes si
a01a2= 0
Demostración. Como z1 y z2 son normales entonces, incorrelación implica
independencia por lo tanto se tiene que
Cov(z1; z1) = Cov(a01Y;a02Y)
= a1Cov(Y;Y)a02
= a1 2a02=a1a02 2
y sera cero solo cuando los vectoresa1;a2 sean ortogonales.
6
Distribución de formas cuadráticas de
vari-ables normales
En la forma cuadraticaY0AY el vectorY seráN(0;I), es decir los compoenentes
deY serán independientes y con = 1
Teorema 4 Para que Y0AY se distribuya 2(r), entonces la condición nece-saria y su…ciente es queAsea idempotente de orden r
Demostración. Si se realiza la trasformación X =CY dondeC es ortogonal
y diagonaliza aA yX se distribuye normal.
Y = C 1X Y = C0X Y0AY = X0CAC0X = X0DX = r X i=1 x2i 2(r) ) Y0AY 2(r)
Teorema 5 SiY N(0; I)se proyecta sobre un espacio vectorial de dimensión
r, el cuadrado del modulo de su proyección se distribuye chi cuadrado conrgl.
Demostración. El modulo de un vector es pX0X:Como la proyección de un
vector Y sobre un espacio vectorial es AY, Entoces el cuadrado de su modulo es: (AY)0AY = Y A0AY
= Y0AY 2(r)
Teorema 6 Dos formas cuadráticas Y0AY y Y0BY serán independientes si
7
Derivadas matriciales
Si X es un vector de variables xi ,entonces la derivada de una función que depende del vectorX es un vector donde sus componentes son las derivadas de
f respecto a cada componente. por ejemplo
Sif = 8x1+ 4x2+ 6x3) @X@f = 0 @ 84 6 1 A 1. Sif =a0X @(a0X) @X =a
2. Sif =X0AX , dondeAes una matriz cuadrada y simétrica
@(X0AX)
@X = 2AX
3. Sif =AX, dondeAes una matriz cualquiera
@(AX)
@X =A
0
4. Otras propiedades importantes: @lnjXj @X = (X0) 1 @traza(AB) @A =B 0 @jXj @X =jXj(X0) 1 @traza(A0BA) @A = 2BA
8
Inversa de una matriz particionada
Si
A= A11 A12
A21 A22
DondeA11 yA22son matrices cuadradas no singulares y se de…neB como:
B= (A11 A12A221A21) 1 se tiene: A 1= B BA12A221 A221A21B A221+A221A21BA12A221
9
Determinante
Si A= A11 A12 A21 A22se tiene:
jAj=jA22j A11 A12A221A21 =jA11j A22 A21A111A12 Propiedades de inversas de sumas de matrices
Se tiene las matricesAyC no singulares, y la siguiente multiplicación:
(A+BCD) 1=A 1 A 1B(DA 1B+C 1) 1DA 1
como un caso particular conbydcomo vectores se tiene:
(A+bd0) 1=A 1 (1 +d0A 1b) 1(A 1b)(d0A 1)
10
Bibliogra…a
[1] Anton, "Algebra Lineal",
[2] Daniel Peña, "Regresión y Diseño de Experimentos", 2010 [3] G.A.F. Seber, "Linear Regression Analysis", 1997
