Sobre la descomposici´
on en valores singulares y
seudoinversa de una matriz
*Boris Mederos, David Gardea, Gustavo Tapia y Jaime Romero **
Resumen
En este trabajo presentaremos la descomposici´on en valores singulares de una matriz y sus propiedades. Utilizaremos dicha descomposici´on matricial para calcular la seudovinversaA+ aplicada a un vectorb.
Palabras clave: Matriz seudoinversa.
1.
Introducci´
on
En este trabajo estudiaremos un caso muy importante de descomposici´on matricial conocido como descomposici´on en valores singulares de una matriz y su relaci´on con el problema de aproximaci´on de su inversa, ver [1]. Muchas veces al resolver el sistema lineal:
Ax=b,
con A∈Rn×m, el sistema tiene infinitas soluciones en el caso n < m o no es
posible resolverlo cuandon > m. En el caso de n > muna posible idea es en-contrar la ˆx tal queAˆxsea lo m´as cercano al vectorbcon respecto a la norma euclidiana. La idea anterior es equivalente a encontrar el ˆx que minimiza el residuoAx−b, lo que equivale a resolver un problema de m´ınimos cuadrados. Al resolver el problema de m´ınimos cuadrados uno puede obtener un conjunto infinito de soluciones, lo que conduce a un problema mal planteado [2, 3]. Una posible soluci´on a esto es encontrar dentro de todas las posibles soluciones, la que tiene menor norma (m´as peque˜na).
*Art´ıculo de divulgaci´on
La transformaci´on que asocia b con la soluci´on de menor tama˜no de Ax−b en el sentido de los m´ınimos cuadrados, es lineal y se denomina de seudoin-versa o inseudoin-versa generalizada de Moore-Penrose. Una de las grandes utilidades de la descomposici´on en valores singulares (SVD), es que permite calcular de manera directa la seudoinversa; tambi´en permite analizar c´omo errores en b, afectan las soluciones de Ax=ben el sentido generalizado.
Nuestro trabajo est´a organizado de la siguiente manera: la primera secci´on introduce los conceptos de ortogonalidad y transformaciones ortogonales, la segunda nos explica c´omo obtener la SVD de una matriz, as´ı como algunas de sus propiedades, y finalmente, la tercera secci´on relaciona la SVD con el concepto de seudoinversa, llev´andonos a una f´ormula expl´ıcita para su c´alculo.
2.
Ortogonalidad,
normas
y
transformaciones
ortogonales
La ortogonalidad tiene un papel muy importante a la hora de los c´alculos de matrices. Un conjunto de vectores {x1, x2, ..., xn} en Rn, es ortogonal si xtixj = 0, cuandoi6=j; y ortonormal si xtixj =δij. Intuitivamente, los
vecto-res ortogonales son independientes, ya que apuntan en direcciones totalmente diferentes. Una colecci´on de subespaciosS1, S2, , , SnenRnes mutuamente or-togonal, si xty = 0, cuandox∈Si yy ∈Sj para todo i6=j. El complemento
ortogonal de un subespacio S est´a definido por:
S⊥={y∈Rn : ytx= 0, ∀x∈S}
y no es dif´ıcil demostrar que los vectores {v1, v2, ..., vk } forman una base
ortonormal para un subespacio S ∈ Rn, si son ortonormales y su espacio
generado es S. Una matriz Q ∈ Rn×n, se dice que es ortogonal si QtQ = I.
SiQ= [q1, q2, ..., qn] es ortogonal, entonces lasqi forman una base ortonormal
de Rn.
Teorema 2.1. Si V1 ∈Rn×r tiene columnas ortogonales, entonces existeV2 ∈ Rn×(n−r), de manera que:
es ortogonal. T´engase en cuenta queran(V1)⊥=ran(V2).
A continuaci´on, introduciremos los conceptos de norma de una matriz inducida por la norma de vectores.
Def inici´on 2.2. Dada una matrizA∈Rn×n, llamaremos a:
kAkp= m´ax x∈Rn, x6=0
kAxkp
kxkp de p-norma de Ainducida por la normap en Rn.
En particular, la 2-norma ser´a de gran utilidad en este trabajo. La 2-norma es invariante bajo la transformaci´on ortogonal, ya que si QtQ = I, entonces kQk2
2=xtQtQx=kxk22. La 2-norma y la norma de Frobenius son invariantes
con respecto a las transformaciones ortogonal. En particular, es f´acil demostrar que para dos matrices ortogonalesQyZ de dimensiones adecuadas, tenemos:
kQAZkF =kAkF
y
kQAZk2 =kAk2.
3.
Descomposici´
on en valores singulares
La teor´ıa de las normas desarrolladas en las secciones previas, se puede utilizar para probar la muy ´util descomposici´on en valores singulares.
Teorema 3.1. Sea una matriz A ∈Rn×r real, entonces existen matrices
or-togonales:
U = [u1, ..., um]
y
V = [v1, ..., vn],
de manera que UtAV = diag(σ1, σ2, ..., σp), donde p = m´ın{m, n} y σk ≥
Demostraci´on. Seanx∈Rnyy∈
Rm, tal quekxk2 =kyk2 = 1, que satisfacen
Ax=σy,σ =kAk2
ExistenV2 ∈Rn×(n−1) yU2 ∈Rm×(m−1), tal que V = [x, V2] yU = [y, U2] son
ortogonales. No es dif´ıcil ver que UtAV tiene la siguiente estructura:
UtAV = " σ wt 0 B # =A1, ya que: A1 " σ w # 2 2 = (σ2+wtw)2+kBwk22 ≥(σ2+wtw)2 A1 " σ w # 2 2 " σ w # 2 2 = kA1 " σ w # 2 2 σ2+wtw ≥σ 2+wtw kA1k22 = m´axkA1zk 2 2 kzk2 2 ≥ A1 " σ w # 2 2 " σ w # 2 2 ≥σ2+wtw. Se tienekA1k2
2 =σ2+wtw. Sin embargo, σ2 =kAk22 =kA1k22 , conduce a que
w= 0. Luego A1 =UtAV = " σ 0 0 B # .
Los σi son llamados valores singulares de A. El vectorui es el i-´esimo vector
singular izquierdo y el vector vi es el i-esimo vector singular derecho. Es f´acil
comprobar queAV =UΣ yAtU =VΣt. Es conveniente escribir las igualdades anteriores:
Avi=σiui, i= 1, ..., n
Aui =σivi, i= 1, ..., n
La descomposici´on en valores singulares revela gran parte de la estructura de una matriz. A partir de la SVD de A, dada por el teorema anterior, se define r como el entero que satisface
σ1≥σ2 ≥...≥σr> σr+1=...=σp = 0;
entonces,
rank(A) =r
ran(A) = span({vr+1, ..., vp})
null(A) = span({v1, ..., vr}).
Por otro lado, haciendo el producto de matrices en la descomposici´on (SVD) tenemos que: A= n X i=1 σiuivit.
Def inici´on 3.2. v∈Rnes llamada una
Soluci´on por m´ınimos cuadrados si y s´olo si:
kAx−bk= ´ınf{kAz−bk : z∈Rn}.
Mejor soluci´on aproximada de Ax=bsi y s´olo si x es una soluci´on por m´ınimos cuadrados:
dondek.k es la norma euclidiana.
Se podr´ıan utilizar otras normas que llevar´ıan a distintas nociones de solucio-nes generalizadas. Adem´as, en lugar de reducir al m´ınimo kzk con frecuencia es de inter´es minimizar kLzk para alguna matriz Ldada. Vamos a demostrar que la mejor soluci´on aproximada siempre existe y es ´unica; entonces, la si-guiente definici´on tiene sentido:
Def inici´on 3.3. Definiremos comoA+la matriz que asigna a cadab, la mejor soluci´on aproximada de Ax−b y se llama inversa generalizada de Moore-Penrose de A.
Ahora vamos a construirA+y por lo tanto, las mejores soluciones aproximadas a trav´es de la descomposici´on en valores singulares (SVD) deA.
Teorema 3.4. Sea A una matriz que tiene descomposici´on en valores singu-lares, entonces A+: A+=V σ1
0
. .. σr 00
. .. 0 Ut.Demostraci´on. Seab∈Rn arbitrario. Basta con demostrar que:
x=U 1 σ1
0
. .. 1 σr 00
. .. 0 Vtbes la mejor soluci´on aproximada de Ax=b. Sea z ∈Rn arbitraria, y =Utz, c=Vtb:
y = y1 y2 c= c1 c2
cony1,c1 en Rr. Usando que una transformaci´on unitaria deja sin cambios la
norma euclidiana, llegamos a:
kb−Azk22=kVt(b−AU Utz)k22 = c1 c2 − Σ 0 0 0 ! y1 y2 2 2 = c1−Σy1 c2 2 2 ,
donde Σ = diag(σ1, σ2, ..., σr). Por lo tanto, kb−Azk2 es m´ınima si y s´olo si
y1 = Σ−1c1 yy2 puede ser arbitraria. La norma euclidiana de y es m´ınima si
y s´olo si y2= 0; z es la mejor soluci´on aproximada si y s´olo si:
y= Σ −1c 0 ! es decir, z=U y= Σ −1 0 0 0 ! Vtb=x.
La prueba anterior implica la existencia y unicidad de la mejor aproximaci´on y muestra que otras soluciones en m´ınimos cuadrados tienen la forma:
Σ−1c1
y2
!
Con y2 arbitraria, x puede ser escrita como: x=A+b= n X i=1 (vitb) σi ui.
Esta f´ormula demuestra c´omo errores en b, afectan el resultado de A+b. Si
los errores en b corresponden a valores singulares grandes, entonces ´estos no afectan la soluci´on A+b. Por otra parte, los errores correspondientes a valo-res singulavalo-res peque˜nos amplificar´an el error por un factor de σ1
i, de manera que estos errores en los datos son muy da˜ninos; esto demuestra inestabilidad num´erica.
Si A tiene autovalores peque˜nos, una idea para reducir esta inestabilidad es reemplazar la suma x=Pn i=1 (vt ib) σi ui por: xα = r X i=1 (vitb) σi ui, σi> α,
siendoαun par´ametro de regularizaci´on que es seleccionado convenientemente
Bibliograf´ıa
[1] Golub, G.; Van Loan, C. Matrix Computation.Johns Hopkins Studies in the Mathematical Science, (1996).
[2] Engl, H. Inverse Problems. Aportaciones Matem´aticas, (1995).
[3] Somersalo, J. Statistical and Computational Inverse Problems. Springer Verlag. Applied Mathematical Sciences, 160 (2004).
Boris Mederos Madrazo (boris.mederos@uacj.mx)
David Gardea(david fwb@hotmail.com)
Gustavo Tapia Sanchez(gtapia@uacj.mx)
Jaime Romero(jromero@uacj.mx)
Departamento de F´ısica y Matem´aticas, IIT, Universidad Aut´onoma de Ciudad Ju´arez,
Av. Del Charro n´um. 450 norte, Ciudad Ju´arez, Chih., M´exico, C.P. 32310, A.P. 1594-D.