Tema 2. Algebra Lineal.
Eliminaci´on gaussiana, ortonormalizaci´on (Gram-Schmidt) y m´ınimos cuadrados. Factorizaciones LU y QR.
Valores singulares, din´amica de errores y pivotaje parcial. Ideas sobre m´etodos iterativos.
Referencias: [San98], Cap. 10; [Str80], Caps. 1, 3, 7.1
Nota hist´orica:
En los otros Temas de este programa aparece varias veces el nombre de Newton (1643-1727), y en efecto la mayor´ıa de las ideas clave expuestas en ellos, ya hab´ıan nacido en el siglo XVII y se desarrollaron del todo en el XVIII, aunque la presencia de los ordenadores las haya hecho m´as potentes y aplicables, y la Teor´ıa de Conjuntos haya provocado muchos cambios en nuestro modo de expresarlas.
En este Tema la historia es distinta: aunque las ideas b´asicas para resolver ecuaciones lineales son a´un m´as antiguas, el lenguaje del Algebra Lineal no se consolid´o hasta comienzos del siglo XX, tard´o m´as que otro medio siglo en empezar a ser bagaje com´un de los cient´ıficos (un proceso a´un incompleto en muchos sentidos), y s´olo ese lenguaje, una vez instalado, permiti´o entender en profundidad lo que ocurre al resolver un SEL, o en general al calcular con matrices. A partir de los a˜nos 1950, la presencia de los ordenadores (cuya potencia de c´alculo ha crecido en esas d´ecadas por un factor > 109) ha hecho nacer en este campo muchas ideas nuevas,
y cambiar la relevancia de las ya conocidas, de modo que el juicio sobre “qu´e ideas sobre el c´alculo efectivo en Algebra Lineal es esencial entender”ha debido reformarse varias veces recientemente, y parece que esto seguir´a ocurriendo.
1. Producto de matrices y eliminaci´on gaussiana (Repaso de A.L., y un par de ideas clave.) •El productoC=BAde dos matrices es la matriz de la composici´on de las funciones
x→Ax, y→By ,
y tiene sus columnas enIm(B) =L{columnas deB}, sus filas enL{filas deA}.
Si llamamosfia las filas deA,Bia las columnas deB, vistas ambas como matrices, cada producto Bifi tiene el tama˜no deBA , y se tiene BA=!iBifi .
•El ´unico modo sensato deresolver un SELAx=b(conA∈ Mm×n), es decir, de hallarx=A−1b
dadosA, b, es laeliminaci´on gaussiana:
usaroperaciones de filas (que son reversibles) para llegar a un SELtriangularequivalente, que se puede resolver porsustituci´on regresiva.
La raz´on es elcoste en operaciones para ngrande, que se suele medir en2 “f lops” = productos y
cocientes, porque todas las sumas y restas acompa˜nan a un producto o cociente: ≈n3/3f lops para laeliminaci´on,
≈n2/2 para lasustituci´on regresiva,
para una matriz llena.
En comparaci´on, laregla de Cramer y la idea de hallar A−1 usando determinantes, son dos
dis-parates (salvo que los determinantes se calculen usando Gauss, y entonces ¡ya no hacen falta!). Har´a falta permutar filas, si sale unpivotenulo, pero supongamos de momento que eso no pasa.
! 2.1
1Pero mejor [Str98], Chap. 2, 4, 6, 9.
2. Gauss como factorizaci´onA=LU .
Lasoperaciones de filas vistas como el resultado de operar por la izquierda con una matriz: todas las que usan un mismopivote di = aii se resumen en una sola matriz Mi , que resta a cada fila k > iun m´ultiplo de la filai. En el ejemplo
A= 12 −31 23 0 2 5 , son M1= −12 1 0 1 ,M2= 1 1 −0.4 1 ,
y el resultado final es una matriztriangular superior: U =M2M1A=
1 −51 −21 5.4
. Observar c´omo son las inversasMi−1 , y por qu´e el productoL=M1−1M2−1 es la “superposici´on” de sus elementos%= 0 (cadaMi−1 del producto L opera con la filai de I sobre la columnai , sin tocar otras); eso no ocurre conM2M1 , pero s´ı para unaAarbitraria y sus correspondientesMi−1. El algoritmo que resulta, y que produce los factores LU (si no sale ning´un pivoteukk nulo), es:
Inicio: L=I .
Para k= 1, . . . , m , fila k de U = fila k de A ; y para cada fila i > k ,
• lik=aik/ akk , % los multiplicadores forman L
• aij =aij−likakj , para cada j > k. % la fila i de A, modificada
Observaciones:
•El progreso del algoritmo en el pasok= 1 puede verse de este modo:
− toma la filaf1 deAcomo primera deU , y la columna A1/a11 como columnaL1,
− resta aAel producto L1f1 , que tienelas mismas primera fila y columna que A,y
− recomienza con la matrizB de tama˜non−1 que resulta al suprimir esas lineas de ceros. Visto as´ı, LU es unalgoritmo recursivo, que“ejecuta el pasok= 1y se llama de nuevo a s´ı mismo”. •En el caso de una matrizn×nyregular3, las dos matricesL, U soncuadradas y triangulares.
El algoritmo trabaja igual con una matrizm×n(a condici´on de que no salgan “pivotes nulos”): L esm×myU es comoA; pero sirango(A) =r < m, las filasfi ,i > rdeU son≡0 ; en tal caso
LU =!ri=1Lifi ,
y las restantes columnas deL y filas deU pueden suprimirse sin que el producto cambie; dicho de otro modo: si tras el pasok=rse tiene A≡0 bajo la filar, la factorizaci´on ha concluido, y los
factores reducidosson de tama˜nom×r,r×n. ! 2.2
PROPOSICION: La factorizaci´onA=LU , si existe, es ´unica.
Prueba: La afirmaci´on es que no puede haber otros vectores Li, fi que empiecen por i−1 ceros seguidos de un 1 en la columnaLi y seguidos de alg´unci%= 0en la filafi, y que cumplan tambi´en A=!ri=1Lifi . (Que exista una tal igualdadimplica que el bloque i, j≤k deA es regular para cadak≤r, lo que a su vez garantiza que el algoritmo encontrar´arpivotes%= 0).
Si paraA invertible se tuviesen dos factorizacionesA=L1U1=L2U2 , todas esas matrices ser´ıan
regulares, y ser´ıaL−21L1=U2U1−1=I, debido al LEMA que se da m´as abajo.
La prueba en el caso general es as´ı: comoL1 empieza con un 1, f1 es la primera fila deA , y la
igualdadA=LU implica queL1=A1/a11 ; esto es todo lo que hab´ıa que probar sir= 1.
Si r >1 , sea B el bloque i, j > 1 de A−L1f1 =!ri=2Lifi ; si suprimimos en esos Li, fi su 0
inicial, los vectores que resultan dan una factorizaci´on LU deB , que es ´unica por recurrencia. LEMA:La clase de las matricestriangulares superioreses cerrada por productos e inversas; y lo mismo vale para la de lastriangulares inferioresque tengan adem´as diagonal≡1 .
Ser triangular superior equivale a dejar invariante cada subespacioEk =L{e1, . . . , ek} , lo que se
transmite a las composiciones e inversas; la clase de las triangulares inferiores es cerrada porque son traspuestas de las superiores; es f´acil ver que tambi´en se transmite la diagonal≡1 .
3. Diferencias entre la vida real y los “ejemplos escolares” de SEL:
•en un ejemplo “de la vida real” los coeficientes no tienen por qu´e ser enteros peque˜nos, luego no hay que ir “evitando denominadores”, las operaciones sonentre n´umeros reales arbitrarios; por eso no hay desventaja en que laLdeA=LU tenga diagonal≡1 .
•ejemplos de problemas que conducen a SEL muy grandes4 (ver Secci´on 1.6 de [Str80]); por eso
es tan importante medir el coste en operaciones, y por eso importa s´olo el t´ermino principal: ≈n3/3f lops para laeliminaci´on,
≈n2 para lasustituci´on adelante-y-atr´as,
para una matriz llena. A veces las matrices de esos SEL tienenmuchos ceros, lo que puede hacer eficientes m´etodos que no lo son para unamatriz llena (que no tenga esas “zonas de ceros”).
! 2.3 4. Gram-Schmidt, soluciones LS y seudoinversas.
•Orto-normalizarn≤m vectoresvj deIRm,(algoritmo de Gram-Schmidt): SeanKk=L{v1, . . . , vk}. Inicio: w1=v1=|w1|q1 .
Parak= 2, . . . , n , sean wk =vk−pk =|wk|qk , donde pk es laproyecci´on ortogonal de vk sobreKk−1 , que se calcula as´ı5:
pk =& j<k vk·wj wj·wj wj= & j<k (vk·qj)qj
• La ecuaci´onAx=b , con m ecuaciones yn inc´ognitas, no tiene soluci´on sib /∈Im(A) , lo que puede ocurrir sirango(A)< m, en particular sim > n.
Eso se llama un SELsobredeterminado, y la “soluci´on” xque suele buscarse entonces es la que minimiza|Ax−b|. Se la llama soluci´on dem´ınimos cuadrados(least squares,LS), y equivale a:
encontrarx∈IRn tal queAx=πA(b), conπA=la proyecci´on ortogonal sobreIm(A)
⊂IRm, El ejemplo m´as simple y de uso m´as frecuente en toda clase de aplicaciones de las Matem´aticas es el de unarecta de regresi´on: una ecuaci´ony=a0+a1xque “aproxime
lo mejor posible” un gran n´umerom de pares de datos xi, yi ; las inc´ognitas son en ese caso a0, a1 ; en el Tema 3 veremos una versi´on m´as general de esta misma idea.
Otro ejemplo muy relevante es el siguiente: por razones que se podr´an entender tras el punto 6. de este Tema, una matrizA muy grande sueleparecer singular (desde el punto de vista del calculo con precisi´on finita que est´a a nuestro alcance) aunque no lo sea; al ordenador no le queda entonces m´as remedio que tratar el SEL Ax = b como si fuese sobredeterminado; y eso es por lo tanto lo que hace en esa situaci´on un programa como
Matlab: calcula la soluci´on por m´ınimos cuadrados, como mejor aproximaci´on a la
soluci´on exacta que en teor´ıaexiste . . .
Queremos por lo tanto que sea (Ax−b)⊥Im(A) , es decir , AT(Ax
−b) = 0 , ATAx=ATb. De aqu´ı despejamosxen vista de la siguiente
PROPOSICION: SiA∈ Mm×n tiene rangor=n < m,ATAes invertible. Prueba:
ComoATAesn
×n, basta probar que tiene rangon, probando queKer(ATA) =Ker(A); pero ATAx= 0
⇒ |A(x)|2=xTATAx= 0,
⇒ Ker(ATA)
⊂Ker(A).6
En consecuencia, lasoluci´on de m´ınimos cuadradoses: x= (ATA)−1ATb . DEFINICION: Llamamos a (ATA)−1AT laseudo-inversaA[−1] deA, que cumple:
A[−1]A=I ,AA[−1]b=b sib
∈Im(A)
Cuando rango = n´umero de filas, como le sucede aB=AT , tambi´en hay unainversa a un lado, la matrizC=BT(BBT)−1 , que cumpleBC=I .
En este caso, el SELBx=bs´ı tiene soluciones, perox=Cbesla que tiene|x| m´ınimo posible. Para ver por qu´e, observar queCb∈(Ker B)⊥ =Im(BT) , y que es soluci´on: B(Cb) =b , luego cualquier otra esx=Cb+ucon u∈Ker B , y se tiene |x|2=
|Cb|2+
|u|2 .
! 2.4
4A d´ıa de hoy eso puede significarn >104. 5Recordar el punto 3.: “a mano” son mejores losw
j , pero en la “vida real” es m´as simple usar losqj.
5. Gram-Schmidt como A=QR. Ver este ejemplo: A= 1 −1 2 2 3 3 0 2 5 1 1 4 = w1 w2w3 1 1 21 1 1 , conwj=|wj|qj es decir:
A=QR , conQ= (qj) ,R= al otro factor con cada filaimultiplicada por|wi|. Seanvj las columnas deA, y recordemos que los denominadores no son problema; el algoritmo es:
Para k= 1, . . . , n ,
− para j < k , rjk=vk·qj , % proyecci´on de vk sobre cada qj , j < k − wk=vk−!j<krjkqj , % wk es el resto ortogonal de vk ...
− rkk=|wk| , qk =wk/ rkk . % ... que una vez normalizado, es qk ComoQTQ=I, si queremos hallar x=A−1b basta ahora
−resolverQy=bhaciendoy=QTb (coste =mn f lops),
−y a continuaci´onRx=y (sustituci´on regresiva, coste =n2/2f lops).
A lo que hay que sumar el coste≈n2mde hallar los factoresQ, R.
PROPOSICION:
La factorizaci´onA=QRde una matriz conrango=n´umero de columnas, es casi´unica.
Prueba: Para cadak ,L{q1, . . . , qk}=Kk =L{v1, . . . , vk} , luego cada columnaqk deQtiene la
direcci´on ortogonal aKk−1 enKk , s´olo su signo es libre.
En el proceso usado (G-Sch),R resumelos factores que conviertenA en la ortogonalQ= (qj). Pero se puede hacer al rev´es: usarfactores ortogonales a la izquierda deA parairla convirtiendo en triangular superior.
Eso es lo que hacen losfactores Householder, usando la misma idea que ya vimos en el punto 2. para LU: la de unalgoritmo recursivo al que basta “limpiar la primera columna”, y recomenzar con tama˜non−1 :
•H1es una simetr´ıa que transformav1en±|v1|e1: H1(x) =x−2(u·x)/|u|2, conu=v1± |v1|e1;
(el signo se escoge para evitar queusea unadiferencia peque˜na);
•Hk hace lo mismo con el bloquei, j≥k, dejando fijos los vectorese1, . . . , ek−1, de modo que los
ceros creados en las columnas anteriores permanecen.
Por lo tantoel productoR=Hn−1· · ·H1A es triangular.
Si usamos este proceso para llegar aA=QR , la tarea de resolverAx=b se reduce a: −aplicar cadaHk ab para obtenery=QTb(no necesitamos escribir Q);
6. Din´amica de errores y SVD.
Para unproblema que parte de unos datosay busca una soluci´onx=F(a) , definimos en B2:
κ(F, a) = sup x
|δx| |x| :
|δa|
|a| = el peor valor posible para el cociente de los errores relativos En el caso de serF una funci´on linealB:IRn
→IRm, a˜nadimos otra (a´un m´as pesismista) DEFINICION: Llamamosκ(B) al “peor caso posible”: κ(B) = supaκ(B, a) .
Ejemplo 1:
B=
) 1 2
2 3
*
Como toda matrizsim´etrica,B tiene una
base ortonormal de autovectores {ui},Bui=λiui , en este caso conλ1,2= 2±√5 .
La figura muestra el c´ırculo unidad y su imagen7, que es una elipse
con semiejes de direcci´onui y longitud|λi|= 4.24, 0.24 .
El peor caso posible paraκ(B, a) es si a=u2 , con errorδa=cu1 ,
lo que daκ(B) =|λ1/λ2|= 17.94 . !4 !3 !2 !1 0 1 2 3 4 !3 !2 !1 0 1 2 3
La idea es igual para cualquier sim´etricaB :IRn→IRn , y da κ(B) =|λ1/λn|
si los autovalores se ordenan como aqu´ı de mayor a menor tama˜no.
Y el caso de unaB cualquiera esen este sentido casi igual, pese a que, incluso si es n×n, puede tener autovalores complejos, o no tener suficientes autovectores:
PROPOSICION: DadaB :IRn
→IRm hay unabase ortonormal
{vi} deIRn tal que losB(vi) =σiui
∈IRm son ortogonales.
Si tomamos los|ui|= 1 , matricesU, V con columnasui, vi , y la matriz diagonal Σ con diagonal σi , esto equivale a8
B=UΣVT ,VTV =I=UTU
y se llama a{σi}(que se toman por convenio en ordendecreciente), losvalores singularesdeB , a la ecuaci´on B =UΣVT , su descomposici´on en valores singulares (SVD). El gr´afico que sigue muestra la de la matriz
B= ) 1 1 0 1 * = ) 0.85 −0.53 0.53 0.85 * ) 1.62 0.62 * ) 0.53 0.85 −0.85 0.53 * =UΣVT !1 !0.5 0 0.5 1 !1 !0.8 !0.6 !0.4 !0.2 0 0.2 0.4 0.6 0.8 1
En el caso deB sim´etrica n×n, esU =V ,σi=|λi| ; pero el significado geom´etrico es el mismo en todos los casos: σi son los semiejes delhiperelipsoide B(D) , donde D es el disco unidad, y el peor caso paraκ(B, a) es como antesa=un , con error δa=cu1, lo que da la
7Se han marcado tambi´en los puntos unidade
iy sus im´agenes.
PROPOSICION: κ(B) =σ1/σn
Un modo de calcular la SVD para matricesm×2 : los autovectores deA=BTB sonvi , conλi=σ2
i , como muestra la igualdad A= (UΣVT)TUΣVT =VΣ2VT . El mismo argumento permite probar en general la existencia9de la SVD.
! 2.6 Observaciones:
• N´otese que el cambio a una base ortonormal, o la composici´on con una funci´on ortogonal Q , conserva todo lo que se refiere a tama˜nos, aunque cambia o destruye los autovectores; por eso las proposiciones anteriores vienen a decir que “todo funciona como siB fuese diagonal”.
•σ1= supu|Bu|/|u|, a quien llamaremos la norma||B||; siB−1=A, los valores singulares deB son inversos de los deA, yσn= 1/||A||; esto ´ultimo es cierto tambi´en siA=B[−1] ;
•estamos t´acitamente suponiendoσn >0 , que no es posible sim < n; en tal caso (y en general siKer(B)%={0} , recordar el ejemplo B(a1, a2) =a1−a2 ) se tendr´aκ(B) =∞, y lo ´unico que
puede interesar esκ(B, a) ;
•siB=A−1, entonces κ(A) =κ(B) es el peorκposible del problema “hallar xtal queAx=b”; • si ese problema est´asobredeterminado, lo que buscamos es la soluci´on LS: x=A[−1](b) , que
tieneKer%={0}, luegoκ(A[−1]) =
∞; pero podemos fijarb, y llamary=πA(b) =A(x) : max|δx| |δb| =||A [−1] || , |x| |b| = |y| |b| |x| |A(x)| ≥c/||A||
conc=|y|/|b|= coseno del ´angulo entreby la Im(A) , y resulta para este problema: κ(A[−1], b) = max δb ) |δx| |x| : |δb| |b| * ≤ ||A|| · ||A [−1] || c
que se alcanza sixes paralelo alv1 de la SVD deA , es decir, siπA(b)/A(v1) .
7. Pivotar en LU, y otros m´etodos estables. En ejemplos tan inocentes como el giroA=
)
−1 1
*
se encuentra uno con un “pivote”= 0 . No hay factorizaci´onA=LU: hay que cambiar el orden de las filas y llegar en su lugar aP A=LU. Aun sin eso, usar pivotes peque˜nos puede ser desastroso para laestabilidad: siε <<1 ,
A= ) ε −1 1 0 * =) 1/ε1 1 * ) ε 1/ε−1 * tieneκ(A)≈1 pero cada factor tiene κ≈1/ε2 .
Para ver las posibles consecuencias, supongamosε=εm; al buscar la soluci´on de Ax=b con b= + 1 1 , =A + 1 ε−1 , , resolveremos primero b=Ly= ) 1 1/ε 1 * + 1 1−1/ε , , y al redondear resulta y˜= + 1 −1/ε , =Ux˜= ) ε −1 1/ε * + 0 −1 , , la primera coordenada de la soluci´on exactaxse ha perdido del todo. El remedio es de nuevo: P A=LU .
! 2.7 M´etodo queelude ese problema: usar en su lugar la factorizaci´on A=QR, calculada con factores Householder, o conGram-Schmidt-modificado10.
9Pero no conviene como m´etodo de c´alculo: hallar los autovalores de una matriz grande no es posible“a mano”, y con
m´etodos de aproximaci´on, ´este es un c´alculoinestable, porqueκ(BTB) =κ(B)2. 10Ver! 2.5. El Gram-Schmidt cl´asico tambi´en suele ser inestable.
8. M´etodos iterativos
La idea delTema 1es aplicable a la ecuaci´on lineal Ax=b : basta definirG(x) de modo que en el punto xbuscado seaG(x) =x, con||G$(x)||<1para que sea un atractor.
(G$, la matriz derivada)
PartiendoAen dos trozosA=S−T se tiene
Ax=b ⇔ Sx=b+T x, es decir, la iteraci´on Sxk =b+T xk−1
pero hace falta:
− que est´e definidaS−1, y||S−1T||sea lo menor posible, y
− que resolver Sx=c seamucho menos costosoque resolver directamente Ax=b . Dos maneras cl´asicas de hacerlo, siaii %= 0∀i, son ´estas: sean
D la matriz diagonal (aii) ,S la triangular inferior (aij) ,j ≤i.
ResolverDx=c s´olo cuestan f lops, resolverSx=c , unosn2/2 , frente a losn3/3 deAx=b.
Esto da, suponiendo que se cumpla la condici´on sobre||DG||, los m´etodos de
Jacobi: Dxk=b−(A−D)xk−1 , yGauss-Seidel Sxk =b−(A−S)xk−1
Otra posibilidad es usar alguna media ponderada de esos vectoresxk, xk−1:
Sxk =w(b−(A−S)xk−1) + (1−w)Sxk−1=wb+ (S−wA)xk−1
con la idea de escoger el w que haga lo menor posible la ||DG|| = ||I−wS−1A
|| . Por razones mucho m´as largas de explicar, hay clases importantes de matrices para las que eso se logra con alg´unw∈(1,2) , es decir llegando“algo m´as all´a de la siguiente iterada de Gauss-Seidel”; por eso este m´etodo sufre el nombre desobre-relajaci´on (en ingl´es,succesive over-relaxation,SOR). Una idea importante: pese a que estamos hablando (para simplificar la analog´ıa con el casodim= 1 visto en elTema 1) de la norma||DG||, la cantidad que importa es elradio espectral: el tama˜no del menor autovalor de la matrizDG; verlo en el ejemplo siguiente:
! 2.8
Y una pregunta: puesto que ten´ıamosm´etodos directos11, que daban en un n´umero fijo de pasos
un resultado potencialmente exacto,¿por qu´e iterar para conseguir aproximaciones? Respuestas:
• n3/3f lopsesdemasiado coste sines muy grande: ¡la matriz misma s´olo tienen2elementos!
• hay matricesA gigantescas para las que alg´un “truco” permite calcularAx paraxdado con un coste peque˜no, mientras que “manipular sus entradas” est´a fuera de nuestro alcance; para ese caso hay m´etodos iterativos que usanAcomo unacaja negra;
• muchas matrices A son “esencialmente singulares”, porque el cociente σk/σ1 de sus valores
singulares es desde˜nable a partir de ciertok=r ; en ese caso, todo el “funcionamiento deA” se reduce a lo que hace con el subespacioL{v1, . . . , vr} ; hay m´etodos iterativos que tratan de
ir aproximando ese subespacio y calcular la soluci´on buscada dentro de ´el;
• el otro gran problema del Algebra Lineal Num´erica: hallar autovalores y autovectores de A , no admite m´etodos directos, porque supondr´ıan hallar “exactamente” ra´ıces de un polinomio de grado arbitrario: por encima den= 2 , lo ´unico que podemos esperar para ese problema son m´etodos iterativos, que suelen explotar la misma idea anterior: al iterarAse ir´a aproximando el subespacio donde est´an sus mayores autovalores.
Intentaremos describir someramente alguno de los m´etodos basados en estas ideas.
