Sobre la descomposición en valores singulares y seudoinversa de una matriz *

(1)

Sobre la descomposici´

on en valores singulares y

seudoinversa de una matriz

*

Boris Mederos, David Gardea, Gustavo Tapia y Jaime Romero **

Resumen

En este trabajo presentaremos la descomposici´on en valores singulares de una matriz y sus propiedades. Utilizaremos dicha descomposici´on matricial para calcular la seudovinversaA+ _{aplicada a un vector}_b_.

Palabras clave: Matriz seudoinversa.

1. Introducci´

on

En este trabajo estudiaremos un caso muy importante de descomposición matricial conocido como descomposición en valores singulares de una matriz y su relación con el problema de aproximación de su inversa, ver [1]. Muchas veces al resolver el sistema lineal:

Ax=b,

con A∈_Rn×m_{, el sistema tiene infinitas soluciones en el caso} _{n < m} _{o no es}

posible resolverlo cuandon > m. En el caso de n > muna posible idea es en-contrar la ˆx tal queAˆxsea lo más cercano al vectorbcon respecto a la norma euclidiana. La idea anterior es equivalente a encontrar el ˆx que minimiza el residuoAx−b, lo que equivale a resolver un problema de m´ınimos cuadrados. Al resolver el problema de m´ınimos cuadrados uno puede obtener un conjunto infinito de soluciones, lo que conduce a un problema mal planteado [2, 3]. Una posible solución a esto es encontrar dentro de todas las posibles soluciones, la que tiene menor norma (más pequeña).

*_{Art´ıculo de divulgaci´}_on

(2)

La transformación que asocia b con la solución de menor tamaño de Ax−b en el sentido de los m´ınimos cuadrados, es lineal y se denomina de seudoin-versa o inseudoin-versa generalizada de Moore-Penrose. Una de las grandes utilidades de la descomposición en valores singulares (SVD), es que permite calcular de manera directa la seudoinversa; también permite analizar cómo errores en b, afectan las soluciones de Ax=ben el sentido generalizado.

Nuestro trabajo está organizado de la siguiente manera: la primera sección introduce los conceptos de ortogonalidad y transformaciones ortogonales, la segunda nos explica cómo obtener la SVD de una matriz, as´ı como algunas de sus propiedades, y finalmente, la tercera sección relaciona la SVD con el concepto de seudoinversa, llevándonos a una fórmula expl´ıcita para su cálculo.

2. Ortogonalidad,

normas

y

transformaciones

ortogonales

La ortogonalidad tiene un papel muy importante a la hora de los c´alculos de matrices. Un conjunto de vectores {x1, x2, ..., xn} en Rn, es ortogonal si xt_ixj = 0, cuandoi6=j; y ortonormal si xt_ixj =δij. Intuitivamente, los

vecto-res ortogonales son independientes, ya que apuntan en direcciones totalmente diferentes. Una colecci´on de subespaciosS1, S2, , , SnenRnes mutuamente or-togonal, si xty = 0, cuandox∈Si yy ∈Sj para todo i6=j. El complemento

ortogonal de un subespacio S est´a definido por:

S⊥={y∈_Rn : ytx= 0, ∀x∈S}

y no es dif´ıcil demostrar que los vectores {v1, v2, ..., vk } forman una base

ortonormal para un subespacio S ∈ _Rn_{, si son ortonormales y su espacio}

generado es S. Una matriz Q ∈ _Rn×n_{, se dice que es ortogonal si} _Qt_Q ₌ _I.

SiQ= [q1, q2, ..., qn] es ortogonal, entonces lasqi forman una base ortonormal

de Rn.

Teorema 2.1. Si V1 ∈Rn×r tiene columnas ortogonales, entonces existeV2 ∈ Rn×(n−r), de manera que:

(3)

es ortogonal. T´engase en cuenta queran(V1)⊥=ran(V2).

A continuaci´on, introduciremos los conceptos de norma de una matriz inducida por la norma de vectores.

Def inici´on 2.2. Dada una matrizA∈Rn×n, llamaremos a:

kAkp= m´ax x∈_Rn_{, x}₆₌₀

kAxkp

kxk_p de p-norma de Ainducida por la normap en Rn.

En particular, la 2-norma ser´a de gran utilidad en este trabajo. La 2-norma es invariante bajo la transformaci´on ortogonal, ya que si QtQ = I, entonces kQk2

2=xtQtQx=kxk22. La 2-norma y la norma de Frobenius son invariantes

con respecto a las transformaciones ortogonal. En particular, es f´acil demostrar que para dos matrices ortogonalesQyZ de dimensiones adecuadas, tenemos:

kQAZkF =kAkF

y

kQAZk2 =kAk2.

3. Descomposici´

on en valores singulares

La teor´ıa de las normas desarrolladas en las secciones previas, se puede utilizar para probar la muy ´util descomposici´on en valores singulares.

Teorema 3.1. Sea una matriz A ∈_Rn×r _{real, entonces existen matrices}

or-togonales:

U = [u1, ..., um]

y

V = [v1, ..., vn],

de manera que UtAV = diag(σ1, σ2, ..., σp), donde p = m´ın{m, n} y σk ≥

(4)

Demostraci´on. Seanx∈_Rn_y_y_∈

Rm, tal quekxk2 =kyk2 = 1, que satisfacen

Ax=σy,σ =kAk₂

ExistenV2 ∈Rn×(n−1) yU2 ∈Rm×(m−1), tal que V = [x, V2] yU = [y, U2] son

ortogonales. No es dif´ıcil ver que UtAV tiene la siguiente estructura:

UtAV = " σ wt 0 B # =A1, ya que: A1 " σ w # 2 2 = (σ2+wtw)2+kBwk2₂ ≥(σ2+wtw)2 A1 " σ w # 2 2 " σ w # 2 2 = kA1 " σ w # 2 2 σ2₊_wt_w ≥σ 2₊_wt_w kA₁k2₂ = m´axkA1zk 2 2 kzk2 2 ≥ A1 " σ w # 2 2 " σ w # 2 2 ≥σ2+wtw. Se tienekA₁k2

2 =σ2+wtw. Sin embargo, σ2 =kAk22 =kA1k22 , conduce a que

w= 0. Luego A1 =UtAV = " σ 0 0 B # .

Los σi son llamados valores singulares de A. El vectorui es el i-´esimo vector

singular izquierdo y el vector vi es el i-esimo vector singular derecho. Es f´acil

comprobar queAV =UΣ yAtU =VΣt. Es conveniente escribir las igualdades anteriores:

(5)

Avi=σiui, i= 1, ..., n

Aui =σivi, i= 1, ..., n

La descomposici´on en valores singulares revela gran parte de la estructura de una matriz. A partir de la SVD de A, dada por el teorema anterior, se define r como el entero que satisface

σ1≥σ2 ≥...≥σr> σr+1=...=σp = 0;

entonces,

rank(A) =r

ran(A) = span({vr+1, ..., vp})

null(A) = span({v1, ..., vr}).

Por otro lado, haciendo el producto de matrices en la descomposici´on (SVD) tenemos que: A= n X i=1 σiuivit.

Def inici´on 3.2. v∈_Rn_{es llamada una}

Soluci´on por m´ınimos cuadrados si y s´olo si:

kAx−bk= ´ınf{kAz−bk : z∈Rn}.

Mejor solución aproximada de Ax=bsi y sólo si x es una solución por m´ınimos cuadrados:

(6)

dondek.k es la norma euclidiana.

Se podr´ıan utilizar otras normas que llevar´ıan a distintas nociones de solucio-nes generalizadas. Además, en lugar de reducir al m´ınimo kzk con frecuencia es de interés minimizar kLzk para alguna matriz Ldada. Vamos a demostrar que la mejor solución aproximada siempre existe y es única; entonces, la si-guiente definición tiene sentido:

Def inici´on 3.3. Definiremos comoA+la matriz que asigna a cadab, la mejor soluci´on aproximada de Ax−b y se llama inversa generalizada de Moore-Penrose de A.

Ahora vamos a construirA+y por lo tanto, las mejores soluciones aproximadas a trav´es de la descomposici´on en valores singulares (SVD) deA.

Teorema 3.4. Sea A una matriz que tiene descomposici´on en valores singu-lares, entonces A+: A+=V           σ1

0

. .. σr 0

0

. .. 0           Ut.

Demostraci´on. Seab∈Rn arbitrario. Basta con demostrar que:

x=U           1 σ1

0

. .. 1 σr 0

0

. .. 0           Vtb

es la mejor soluci´on aproximada de Ax=b. Sea z ∈Rn arbitraria, y =Utz, c=Vtb:

(7)

y = y1 y2 c= c1 c2

cony1,c1 en Rr. Usando que una transformaci´on unitaria deja sin cambios la

norma euclidiana, llegamos a:

kb−Azk2₂=kVt(b−AU Utz)k2₂ = c1 c2 − Σ 0 0 0 ! y1 y2 2 2 = c1−Σy1 c2 2 2 ,

donde Σ = diag(σ1, σ2, ..., σr). Por lo tanto, kb−Azk2 es m´ınima si y s´olo si

y1 = Σ−1c1 yy2 puede ser arbitraria. La norma euclidiana de y es m´ınima si

y sólo si y2= 0; z es la mejor solución aproximada si y sólo si:

y= Σ −1_c 0 ! es decir, z=U y= Σ −1 ₀ 0 0 ! Vtb=x.

La prueba anterior implica la existencia y unicidad de la mejor aproximaci´on y muestra que otras soluciones en m´ınimos cuadrados tienen la forma:

Σ−1c1

y2

!

(8)

Con y2 arbitraria, x puede ser escrita como: x=A+b= n X i=1 (v_itb) σi ui.

Esta f´ormula demuestra c´omo errores en b, afectan el resultado de A+_{b. Si}

los errores en b corresponden a valores singulares grandes, entonces éstos no afectan la solución A+b. Por otra parte, los errores correspondientes a valo-res singulavalo-res pequeños amplificarán el error por un factor de _σ1

i, de manera que estos errores en los datos son muy da˜ninos; esto demuestra inestabilidad num´erica.

Si A tiene autovalores peque˜nos, una idea para reducir esta inestabilidad es reemplazar la suma x=Pn i=1 (vt ib) σi ui por: xα = r X i=1 (v_itb) σi ui, σi> α,

siendoαun par´ametro de regularizaci´on que es seleccionado convenientemente

Bibliograf´ıa

[1] Golub, G.; Van Loan, C. Matrix Computation.Johns Hopkins Studies in the Mathematical Science, (1996).

[2] Engl, H. Inverse Problems. Aportaciones Matem´aticas, (1995).

[3] Somersalo, J. Statistical and Computational Inverse Problems. Springer Verlag. Applied Mathematical Sciences, 160 (2004).

Boris Mederos Madrazo ([email protected])

David Gardea(david [email protected])

Gustavo Tapia Sanchez([email protected])

Jaime Romero([email protected])

Departamento de F´ısica y Matemáticas, IIT, Universidad Autónoma de Ciudad Juárez,

Av. Del Charro núm. 450 norte, Ciudad Juárez, Chih., México, C.P. 32310, A.P. 1594-D.