Valores singulares Introducción

(1)

Valores singulares

3.1. Introducci´

on

Los valores singulares juegan un papel central en el ´algebra lineal num´erica actual. Son esenciales para calcular de forma fiable cantidades tan importantes como el rango de una matriz o la distancia de una matriz no singular al conjunto de las matrices singulares.

Como tantas veces en matemáticas, no fue la necesidad práctica (derivada, por ejemplo, del cálculo numérico) sino la necesidad de profundizar en el conocimiento lo que produjo el surgimiento de los valores singulares. Por otra parte, no ha sido hasta el reciente desarrollo del álgebra lineal numérica cuando tal concepto ha adquirido la importancia que actualmente tiene e incluso la denominación que ahora le estamos dando. En efecto, fue en la segunda parte del siglo XIX cuando algunos geómetras se preguntaron, utilizando lenguaje actual, por la posibilidad de reducir unitariamente una forma cuadrática a forma diagonal. Entre los matemáticos que contribuyeron

(2)

a la soluci´on de este problema se encuentran nombres tan famosos como Eugenio Beltrami, Camille Jordan, James Joseph Sylvester, Erhard Scmidt o Hermann Weyl.

Una breve e interesante historia de los valores singulares puede encontrarse en el

report de G. W. Stewart: On the early history of the Singular Value Decomposition

que se puede obtener en la direcci´on

http://citeseer.ist.psu.edu/stewart92early.html

o mediante ftp an´onimo en thales.cs.umd.eduen el directorio pub/reports.

En nuestro proceso hacia la definici´on de los valores singulares y del teorema central de este cap´ıtulo (El Teorema SVD) necesitamos recordar el concepto de matriz unitaria. A ello dedicamos la primera secci´on.

3.2. Matrices Ortogonales y Unitarias

Comenzamos repasando los conceptos de producto escalar y ortogonalidad. Si x, y _PFn _{entonces el producto escalar de} _y _y _x _es

ăx, y _ą“ $ ’ & ’ % n ř i“1 yixi “yTx si F“R, n ř i“1 yixi “y˚x si F“C

Por lo general supondremos que F“C de modo que el producto escalar dex yy lo escribiremos como un producto de matrices; i.e. y˚x. Deberemos entender que en el caso en que los vectores sean reales y hablemos del producto escalar enRn _entonces

se debe sustituir˚ por T_.

Debe observarse que para todo xPCn

x˚x_“

n

ÿ

i“1

|xi|2 “ }x}22.

Esta forma de expresar la norma eucl´ıdea de un vector, la usaremos muy a menudo. Un vector diremos que es unitario si su norma es 1.

Dos vectores se dice que son ortogonales si su producto escalar es cero: xKyôy˚x“0.

(3)

N´otese que y˚x y x˚y son n´umeros complejos conjugados:

x˚y“y˚x, pero si x, y _PRn _entonces _xT_y_“_yT_x.

Dos conjuntos X, Y Ă Fn _{son ortogonales si cada vector de} _X _{es ortogonal a}

cada vector de Y. Escribiremos, en tal caso, X K Y. Si S Ď Fn _{es un subconjunto}

denotaremos

SK “ ty PFn|x˚y“0,@xP Su.

Independientemente de si S es un subespacio vectorial o no, SK siempre lo es, y lo llamaremos el subespacio ortogonal de S. Abusando de lenguaje diremos que un conjunto de vectores no nulos es ortogonal si cada vector es ortogonal a todos los dem´as:

S ortogonal _{ô @}x, y _PS, x˚y_“0.

Si, adem´as, todos los vectores del conjunto son unitarios entonces el conjunto se dice que es ortonormal:

S ortonormal _ôS ortogonal y _@x_PS,_}x_}2 “1.

Proposici´on 3.1 Todos los vectores de un conjunto S“ tv1, . . . , vtu ortogonal son

linealmente independientes. Demostraci´on.- Si řt i“1 aivi “0, entonces para j “1, . . . , t 0_“v_j˚ t ÿ i“1 aivi “ t ÿ i“1 aipv˚jviq “cjpvj˚vjq “cj}xj}. Por lo tanto,cj “0.

Definici´on 3.2 (a) Una matriz U P Cnˆn _es _unitaria _{si sus columnas forman}

una base ortonormal de vectores de Cn_.

(b) Una matriz P _P Rnˆn _es _ortogonal _{si sus columnas forman una base}

(4)

Hay algunas condiciones equivalentes a ser unitaria (aplicado a F “ R sirven para matrices ortogonales):

Proposici´on 3.3 Para U PCnˆn _{las siguientes condiciones son equivalentes:}

(i) U es unitaria.

(ii) U es no singular y U˚ “U´1_.

(iii) U U˚ _“In.

(iv) U˚ es unitaria.

(v) Las filas deU forman un sistema ortonormal de vectores de Cn_.

(vi) Para todo x_PCn _{se tiene} _}_x_}

2 “ }U x}2

La demostración de estas propiedades es más o menos inmediata salvo, quizá, la condición (vi). Desde luego, si U es unitaria entonces

}U x}2₂ “ pU xq˚U x“x˚U˚U x“x˚x“ }x}2₂

donde hemos usado las condiciones (iv) y (iii) equivalentes a ser U unitaria (i.e. U˚U “ In). El rec´ıproco se puede demostrar siguiendo las siguientes ideas: Si

}U x_}2 “ }x}2 entoncesx˚U˚U x“x˚x, que equivale a x˚pU˚U´Inqx“0. Teniendo

en cuenta queU˚U´Ines herm´ıtica (sim´etrica en el caso real de matrices

ortogona-les) es fácil ver quex˚pU˚UÍnqx“0 implicaU˚UÍn“0. En efecto, si ponemos

A_“U˚U_´In, x˚Ax “0 para todo xPFn implica que si ei “ p0, . . . ,1, . . . ,0q es el

i-´esimo vector can´onico entonces

e˚_iAei “0ñaii“0

pei`ejq˚Apei`ejq “ 0ñRepaijq “0.

pei`iejq˚Apei`iejq “ 0ñImpaijq “ 0

Las matrices unitarias forman un subgrupo multiplicativo del Grupo General Lineal, llamado Grupo Unitario. La condici´on (vi) de la Proposici´on 3.3 indica que el grupo unitario es el grupo de isometr´ıas para la norma eucl´ıdea.

(5)

Definici´on 3.4 Una norma} ¨ } en Cmˆn _{se dice que es unitariamente invariantes}

si _@A _P Cmˆn _{y para todo par de matrices unitarias} _U _P _Cmˆm _y _V _P _Cnˆn _se

cumple que _}U AV_{} “ }}A_}.

Proposici´on 3.5 Las normas } ¨ }2 y } ¨ }F definidas en Cnˆn son unitariamente

invariantes.

Demostraci´on.- Recordemos que _}A_}2

F “ trpA˚Aq “ trpAA˚q. As´ı, si U es

unitaria

}U A}2_F “trpA˚U˚U Aq “ trpA˚Aq “ }A}2_F. De la misma forma, si V es unitaria

}AV}2_F “trppAVqpAVq˚q “trpAV V˚A˚q “ trpAA˚q “ }A}2_F. Por lo tanto, si U y V son unitarias:

}U AV}F “ }U A}F “ }A}F.

Por otra parte,}A}2 “ m´ax }x}2“1}

Ax}2. Entonces, si U es unitaria

}U A_}2 “ m´ax }x}2“1}

U Ax_}2.

Pero por ser U unitaria, _}U x_}2 “ }x}2, de modo que }U Ax}2 “ }Ax}2 y

}U A_}2 “ m´ax }x}2“1}

U Ax_}2 “ m´ax }x}2“1}

Ax_}2 “ }A}2. Tambi´en, siV es unitaria los conjuntos

tx_P Cn_|}x_}2 “1u “ tV xP Cn|}V x}2 “1u son iguales. Entonces

}AV}2 “ máx }x}2“1} AV x}2 “ máx }V x}2“1} AV x}2 “ máx }y}2“1} Ay}2 “ }A}2. En consecuencia }U AV}2 “ }A}2.

(6)

3.3. Valores singulares

Hay varias formas de introducir los valores singulares de una matriz. Tal y como se ha mencionado en la Introducción de esta Lección, históricamente los va-lores singulares son el resultado de la búsqueda de una forma de reducir las formas cuadráticas a forma diagonal mediante cambios de base ortonormales. Este hecho, sin embargo tiene un significado geométrico que no debe pasar desapercibido:

Las aplicaciones lineales transforman las esferas unidad en hiperelipses.

Una hiperelipse es la generalizaci´on a mdimensiones de una elipse. Podr´ıamos defi-nirla como la superficie que se obtiene al estirar o comprimir la esfera unidad enm direcciones ortogonales por factores σ1, σ2,. . . , σm (posiblemente cero). Es decir, si

fijamos m vectores ortonormales u1, . . . , um P Fm, los vectores σ1u1,. . . , σmum son

los semiejes de la hiperelipse con longitudes σ1,. . . , σm.

Si

Sn´1 “ txPFn|}x}2 “1u

es la esfera unidad y A P Fmˆn _entonces _A_p_Sn´1_q _{es una hiperelipse. La Figura 3.1}

representa el caso n _“m _“2 y F_“R. s₂ u₂ s₁ u₁ v₁ v₂ A

Figura 3.1: Las matrices transforman esferas en elipses

El hecho de que las aplicaciones lineales (o matrices) transformen la esfera uni-dad en hiperelipses no es obvia y quedar´a demostrada cuando probemos el llamado

(7)

Teorema SVD. Por ahora aceptémosla y veamos qué significa en términos de ma-trices. Supongamos que la matriz de la aplicación lineal es A _P Fmˆn _{y que, por}

sencillez, rang_pA_{q “} n_ďm. Notemos que, como aplicaci´on lineal, A:Fn_Ñ_Fm_.

Tal y como hemos mencionado, la hiperelipse queda determinada, en principio, por m vectores ortonormales _tu1, . . . , umu y las correspondientes longitudes de los

semiejes σ1,. . . , σm que los vamos a suponer ordenados de forma que σ1 ě σ2 ě

¨ ¨ ¨ ě σm ě 0. As´ı σiui es el i-´esimo semieje m´as largo de ApSn´1q. As´ı pues,

para i _“ 1, . . . , m σiui P ApSn´1q Ă ImA. Pero como los vectores tu1, . . . , umu son

ortonormales, y por lo tanto son linealmente independientes, si rang_pA_{q “} r debe haber a lo sumorvectoresσiui linealmente independientes. De todo ello se sigue que

hayr de los σi que son distintos de cero a lo m´a. En otras palabras, si la hiperelipse

es la imagen por A de la esfera unidad, debe estar en ImA as´ı que s´olo puede contenerrvectores linealmente independientes. Finalmente seantv1, . . . , vnu ĂSn´1

las anteim´agenes de los semiejes no nulos de la hiperelipse:

Avi “σiui, i“1, . . . , r.

En este momento no es claro por qu´e pero admitamos que los vectoresvi son

orto-gonales (y, por lo tanto, ortonormales porque est´an en la esfera unidad).

La condici´on Avi “ σiui, i “ 1, . . . , r, se puede escribir en forma matricial: Si

ponemos ˆU ““u1 ¨ ¨ ¨ ur ‰ y ˆV ““v1 ¨ ¨ ¨ vr ‰ tenemos que AVˆ _“Σ ˆˆU , Σˆ _“Diag_pσ1, . . . , σrq.

siendo ˆU P Fmˆn _{y ˆ}_V _P _Fnˆn _{matrices cuyas columnas son vectores ortonormales.}

Si escogemos base ortonormal de KerA y que sean ortogonales a los de ˆV podemos formar una matrix unitari V “ “Vˆ V˜‰ que es unitaria y AV “ Uˆ“Σ 0ˆ ‰. Por consiguiente

A“Uˆ“Σ 0ˆ ‰V˚ “UˆΣ ˆˆV˚.

A esta factorizaci´on deAse le llamaDescomposici´on en Valores Singulares Reducida

oEcon´omica de A. O, m´as abreviadamente, SVD Reducida de A.

Hay también unaDescomposición en Valores Singulares Completa de A, que es la que aparece en la mayor´ıa de los libros que tratan el tema, aunque en la mayor parte de las aplicaciones es la descomposición reducida la que se utiliza. Pasar de una descomposición a la otra es muy fácil: Sim _ěn, Û no es una matriz unitaria y ˆΣ no tiene el tamaño deA. Una descomposición completa es una que cumpla estos dos

(8)

requisitos. Para ello basta ampliar el sistema de vectores ortonormales tu1, . . . , unu

hasta una base ortonormal de Cm_{. Tal cosa siempre es posible porque los vectores}

u1, . . . , unson linealmente independientes y se pueden ampliar hasta una base deCn.

Luego basta aplicar el m´etodo de Gram-Schmidt para obtener la base ortonormal. Sea entonces _tu1, . . . , un, un`1, . . . , umuuna base ortonormal de Cm y pongamos

U _““u1 _{¨ ¨ ¨} un un`1 ¨ ¨ ¨ um ‰ y Σ_“ „ _ˆ Σ 0m´nˆn  Entonces UΣV˚ ““Uˆ U˜‰ „ _ˆ Σ 0m´nˆn  V˚“UˆΣVˆ ˚ “A.

Por lo tanto, A _“ UΣV˚ es una descomposición en valores singulares completa de A. Nótese que de una descomposición en valores singulares completa deAse obtiene una reducida sin más que suprimir las filas cero de Σ y las correspondientes columnas deU y V.

Definici´on 3.6 Sea m, n enteros positivos y A _P Cmˆn_{. Una descomposici´on en}

valores singulares (completa) de A es una factorizaci´on

A_“UΣV˚

donde U PCmˆm _y _V _P _Cnˆn _{son unitarias y} _Σ _{es diagonal. Adem´as,}

Σ“ $ ’ ’ & ’ ’ % „ Diagpσ1, . . . , σnq 0m´nˆn  si měn “ Diagpσ1, . . . , σmq 0mˆn´m ‰ si něm

En cualquier caso, σ1 _{ě ¨ ¨ ¨ ě} σp ě 0, p “ m´ıntm, nu son n´umeros reales no

negativos ordenados de mayor a menor y se llaman valores singulares de A. Adem´as, a los vectores u1, . . . , um yv1, . . . , vn que forman las columnas deU yV se

les llama vectores singulares deA por la izquierda y por la derecha, respectivamente. Si AP Rmˆn _{basta cambiar “matriz unitaria” por “matriz ortogonal”.}

Nos queda establecer de manera rigurosa que tal descomposición es siempre posible y que los valores singulares están determinados de forma única por A. Ad-mitiéndolo, deber´ıa ya ser claro que, en efecto, la imagen de la esfera unidad en

(9)

Fn _por _A _“ _U_ΣV˚ _{es una hiperelipse:V}˚ _{por ser unitaria preserva la esfera, Σ la}

deforma estirando o encogiendo la esfera en direcciones ortogonales y U, de nuevo unitaria, la gira o refleja.

Todo lo anterior tiene sentido una vez que demostremos el siguiente resultado fundamental

Teorema 3.7 (Teorema SVD) Toda matriz A P Fmˆn _{admite una}

descomposi-ción en valores singulares. Además, los valores singulares están determinados de forma única, y, siA es cuadrada y sus valores singulares son todos distintos, enton-ces los vectores singulares están también determinados de forma única salvo producto por un número complejo de módulo 1.

Demostración.- SupondremosF“Cy todo lo que vamos a decir es de aplica-ción a matrices de números reales cambiando la palabra “unitaria” por “ortogonal”.

Dado que el caso deA_“0 es trivial, supondremos queA_‰0 y procederemos por inducción sobren, el número de columnas de A. Supondremos, además, quem ěn. Si fuera n ě m, y una vez demostrado el Teorema con m ě n, lo aplicar´ıamos a A˚. As´ı, existir´ıan matrices unitarias U y V tales que A˚ _“ UΣV˚ Entonces A “ pA˚q˚ “ VΣ˚U˚. Como los valores singulares son números reales Σ˚ “ Σ y A“VΣU˚ con U y V unitarias.

Sea entonces n_“1 ym _ě1. Ponemos ˆU _“ 1

}A}2A, ˆΣ“ }A}2 y V “1. As´ı

ˆ

UΣVˆ “ 1

}A_}2

A¨ }A}2¨1“A.

Paran _“1, A_PCmˆ1 _{es un vector columna y por lo tanto ˆ}_U _{es un vector columna} unitario. As´ıA“UˆΣVˆ es una descomposición reducida de Aque puede extenderse a una descomposición completa tal y como hemos visto más arriba.

Consideremos ahora que el Teorema ha sido demostrado para matrices de ta-ma˜no mˆp (p ď n´1). Sea A P Cmˆn _y _σ1 _{“ }}_A_}_{2. Como} _}_A_}

2 “ m´ax }x}2“1}

Ax}2 existe un vector unitario v1 P Cn_, _}_v1_}

2 “ 1, tal que σ1 “ }A}2 “ }Av1}2. Sea u1 “ _}_Av1₁_}₂Av1. As´ı}u1}2 “1 y Av1 “σ1u1. Extendamos u1 y v1 hasta bases orto-normales deCm _y_Cn_{, respectivamente, y sean}_U1 _y _V1 _{las matrices, unitarias, cuyas}

(10)

columnas son los vectores de esas bases. Escribamos U1 “ “ u1 U1 ‰ , V1 “ “ u1 V1 ‰ . Entonces U₁˚AV1 “ „ u˚₁ U˚1  A“v1 V1 ‰ “ „ u˚₁Av1 u˚1AV1 U˚₁Av1 U˚₁AV1  .

Por una parteAv1 “σ1u1implica queu˚₁Av1 “σ1 (recordemos queu˚₁u1 “1 porque u1 es un vector unitario). Adem´as U˚₁Av1 “ σ1U˚₁u1. Pero las columnas de U1 son ortogonales au1 y esto equivale a U˚1u1 “0. As´ı pues

U₁˚AV1 “ „ u˚₁Av1 u˚₁AV1 0 U˚1AV1  .

Veamos que tambi´en u˚₁AV1 “ 0. Pongamos w˚ “ u1˚AV1 y B “ U˚1AV1, S “ U1˚AV1 y z “

„ σ1

w 

. Como la norma espectral es consistente con la norma eucl´ıdea

}S_}2}z}2 ě }Sz}2 “ › › › › „ σ1 w˚ 0 B  „ σ1 w ››_› › 2 “ › › › › „ σ2 1 `w˚w Bw ››_› › 2 ě pσ2 1 `w˚wq “ “ pσ2 1`w˚wq1{2 › › › › „ σ1 w ››_› › 2 “ pσ2 1 `w˚wq1{2}z}2.

As´ı pues,}S}2 ě pσ12`w˚wq1{2. Pero la norma espectral es unitariamente invariante (Proposici´on 3.5); por lo tanto σ1 “ }A}2 “ }S}2 ě pσ12`w˚wq1{2; lo cual implica que w_“0 tal y como quer´ıamos demostrar.

En consecuencia U₁˚AV1 “ „ σ1 0 0 B  .

Debe notarse que B es la restricción de A al subespacio ortogonal a u1; i.e. ă u1 _ąK. Además B _P Cpm´1qˆpn´1q_{. Por la hipótesis de inducción,} _B _{admite una} descomposición en valores singulares: B “ U2Σ2V₂˚ con U2 P Cpm´1qˆpm´1q _y _V2 _P Cpn´1qˆpn´1q _{unitarias y Σ2} _“ „ Diagpσ2, . . . , σnq 0  . As´ı „ 1 0 0 U2˚  U₁˚AV1 „ 1 0 0 V2  “ „ 1 0 0 U2˚  „ σ1 0 0 B  „ 1 0 0 V2  “ „ Diagpσ1, σ2, . . . , σnq 0  .

(11)

Si ponemos U˚ “ „ 1 0 0 U₂˚  U₁˚ y V “V1 „ 1 0 0 V2  ,

tenemos que U˚AV “ Σ y A “ UΣV˚. Esto prueba la existencia de la descompo-sición de A en valores singulares, excepto el ordenamiento de los valores singulares. Según la hipótesis de inducción los valores singulares deB están ordenados de mayor a menor. Basta entonces demostrar que σ1pAq ě σ1pBq. Es decir, }A}2 ě }B}2, o bien, máx

}x}2“1}

Ax_}2 ě m´ax }x}2“1}

Bx_}2. Adem´as, como la norma espectral es unitariamente invariante podemos suponer que

A “ „ σ1 0 0 B  .

Sea x0 PCn´1 _{un vector unitario para el que}_}_Bx0_{} “} _m´ax }x}2“1} Bx}2 y sea y“ „ 0 x0  PCn_.

Claramente y˚y_“x˚₀x0 _“1, de modo que m´ax

}x}2“1}

Ax_}2 ě }Ay} “y˚A˚Ay“x˚0B˚Bx0 “ }Bx0} “ m´ax }x}2“1}

Bx_}2, tal y como se deseaba demostrar.

La unicidad de los valores singulares as´ı como el resto del teorema lo demos-traremos una vez analizadas unas cuantas propiedades importantes de los valores singulares.

Observaciones 3.8 Si APRmˆn _{entonces existen matrices ortogonales} _P _P _Rmˆm

y Q_PRnˆn _{tales que} _A_“_P_ΣQT _con

Σ“ $ ’ ’ & ’ ’ % „ Diagpσ1, . . . , σnq 0m´nˆn  si měn “ Diagpσ1, . . . , σmq 0mˆn´m ‰ si něm.

En cualquier caso, σ1 ě ¨ ¨ ¨ ě σp ě 0, p “ m´ıntm, nu son n´umeros reales no

(12)

3.4. Propiedades de los valores singulares

A continuaci´on analizamos algunas propiedades que se derivan del Teorema SVD.

Proposici´on 3.9 Si r es el n´umero de valores singulares de A distintos de cero, entonces rangA“r.

La demostraci´on es una consecuencia inmediata de que el rango de una matriz no var´ıa si la multiplicamos por matrices invertibles.

Proposici´on 3.10 Si A _“ UΣV˚ es una descomposici´on de A _P Cmˆn _{en valores}

singulares, r “rangA, y U “ “u1 u2 ¨ ¨ ¨ um ‰ y V ““v1 v2 ¨ ¨ ¨ vn ‰ entonces ImA“ău1, . . . , ur ą yKerA“ăvr`1, . . . , vm ą.

Demostraci´on.- Sobre la base de que V y U son invertibles es f´acil ver que ImpAVq “ ImpAq y KerpU˚Aq “ KerpAq.

Ahora bien,

ImpAVq “ ImpUΣq “ăσ1u1, . . . σrur ą“ău1, . . . , urą.

Por otra parte, comotv1, . . . , , vmues una base ortonormal de Cn, sixP Cnentonces

x“ m ř i“1 civi “V ccon c“ pc1, . . . , cmq. As´ı x_PKer_pA_{q ô}Ax_“0_ôAV c_“0_ôU˚AV c_“0_ôΣc_“0_ô ôσici “0,1ďiďrôx“ m ř i“r`1 civi.

Esto significa que KerpAq “ăvr`1, . . . , vm ą.

De forma similar se prueba

Proposici´on 3.11 Si A “ UΣV˚ es una descomposici´on de A P Cmˆn _{en valores}

singulares, r _“rangA, y U _“ “u1 u2 _{¨ ¨ ¨} um ‰ y V _““v1 v2 _{¨ ¨ ¨} vn ‰ entonces ImA˚ “ăv1, . . . , vr ą yKerA˚ “ăur`1, . . . , um ą.

(13)

Esta proposición también se puede ver como una consecuencia inmediata de la anterior teniendo en cuenta las siguientes propiedades cuya demostración es muy simple

pImA_qK _“KerA˚ y _pKerA_qK _“ImA˚

La siguiente proposici´on nos proporciona una forma pr´actica de calcular los valores singulares de una matriz:

Proposici´on 3.12 Los valores singulares de A P Cmˆn _{distintos de cero son las}

ra´ıces cuadradas positivas de los valores propios distintos de cero de A˚A y tambi´en de los de AA˚.

Demostración.- Probaremos que los valores singulares deA son las ra´ıces cua-dradas positivas de los valores propios de A˚A. Que también son los de AA˚ se demuestra igual. También es consecuencia de la siguiente propiedad: Si A_PFmˆn _y

B PFnˆm _{entonces los valores propios distintos de cero de}_AB_y_BA _{son los mismos}_.

La explicación de esta propiedad está contenida en la siguiente ecuación: „ Im Á 0 In  „ AB 0 B 0  „ Im A 0 In  “ „ 0 0 B BA  . Como „ Im A 0 In ´1 “ „ Im Á 0 In  , las matrices „ AB 0 B 0  y „ 0 0 B BA  son semejantes;

i.e. tiene los mismos valores propios. Adem´as, det „ λIm´AB 0 ´B λIn  “λn_det_p_λI m´ ABq y det „ λIm 0 ´B λIn´BA  “λm_det_p_λI

n´BAq. Por lo tanto, las matrices AB y

BA tienen los mismos valores propios distintos de cero.

SiA_“UΣV˚ es una descomposici´on de A en valores singulares entonces A˚A_“VΣ˚U˚UΣV˚ _“VΣT_ΣV˚

porque Σ es una matriz de n´umeros reales. Como V es unitaria V˚ _“ V´1_{, por lo} queA˚A y ΣT_{Σ son semejantes. Es decir, tienen los mismos valores propios. Pero}

(14)

con r “ rangpAq. Por lo tanto σ2

1 ě ¨ ¨ ¨ ě σr2 son los valores propios de ΣTΣ y de

A˚A. .

La demostración de la Proposición anterior nos da un método para calcular los valores singulares de A: se calculan los valores propios de A˚A no nulos, se obtiene su ra´ız cuadrada positiva y el resultado son los valores singulares deAno nulos. Los restantes son cero. Ahora bien, este método no nos proporciona, a priori, los vectores singulares; o lo que es lo mismo, no obtenemos la descomposición SVD de A. Sin embargo, podemos usar el cálculo de los valores y vectores propios de A˚A para obtener dicha descomposición. Para ver el modo de hacerlo tenemos que tener en cuenta algunas propiedades de la matriz A˚A. En primer lugar,A˚A es una matriz herm´ıtica. Además es semidefinida positiva (o definida no negativa). Una matriz herm´ıtica H _P Cnˆn_{, o simétrica si es real, se dice que es semidefinida positiva si}

para todo x P Cnˆ1_, _x˚_Hx _ě_{0. Y es definida positiva si la desigualdad es estricta} para todo x. Una propiedad importante que caracteriza las matrices semidefinidas positivas es que sus valores propios son n´umeros reales no negativos (positivos, si la matriz es definida positiva). La matriz A˚A es semidefinida positiva porque cualquiera que sea x P Fnˆ1_, _x˚_A˚_Ax _{“ }}_Ax_}

2 ě 0. Otra propiedad importante de las matrices herm´ıticas, que se demostrará en la Lección 9, es que son unitariamente diagonalizables. Es decir, que si H P Fnˆn _{es herm´ıtica (simétrica en el caso real)}

entonces existe una matriz unitaria (ortogonal en el caso real) U P Fnˆn _{tal que}

U˚HU _“D, siendo Duna matriz diagonal. Los elementos en la diagonal de D(que son n´umeros reales) son los valores propios de H.

Con estos ingredientes, el siguiente procedimiento nos proporciona una factori-zaci´on SVD deA_P Fmˆn_{donde supodremos que} _m_ě_n_{(en otro caso cambiar´ıamos}

A˚A por AA˚ en todo lo que sigue):

1. Calculamos los valores y vectores propios ortonormales deA˚A:A˚A_“VΛV˚, Λ“Diagpλ1, . . . , λnq con V PFnˆn unitaria y λ1 ě ¨ ¨ ¨ ěλn

2. Observamos queAV es una matriz cuyas columnas son ortonormales. En efec-to, si B _“ AV y bj es su j-´esima columna entonces b˚ibj “ vi˚A˚Avj, y como

V˚A˚AV “Λ, b˚_ibj es el elemento en la posici´on pi, jq de Λ. Es decir,

b˚_ibj “

"

0 si i‰j λi si i“j,

de modo que las columnas de B “ AV son ortonormales y }bj}2 “ ` a

(15)

Por lo tanto, si ponemos uj “ _`?1_λ jbj tenemos que U1 “ “ u1 u2 ¨ ¨ ¨ un ‰ es una matrizmˆncon columnas ortonormales. La ampliamos hasta una matriz U _““U1 U2‰ _PFmˆm _{unitaria. As´ı,} AV _“B _““b1 b2 _{¨ ¨ ¨} bn ‰ “U „ Diag_p`?λ1, . . . ,_`?λnq 0  3. Obtenemos A _“ U „ Diag_p`?λ1, . . . ,` ? λnq 0  V˚. Poniendo, σi “ ` ? λi, i “ 1, . . . , n, y Σ _“ „ Diag_pσ1, . . . , σnq 0 

, tenemos que A _“ UΣV˚ es una descom-posici´on de A en valores singulares.

Recordemos ahora que los valores propios son ´unicos para cada matriz. Esto demuestra la segunda parte del Teorema SVD

Corolario 3.13 Los valores singulares de A est´an determinados de forma ´unica.

Para probar la última parte del Teorema SVD; es decir, que si A es cuadrada y sus valores singulares son todos distintos, entonces los vectores singulares están también determinados de forma única salvo producto por un número complejo de módulo 1, debemos recordar lo siguiente sobre los valores propios de una matriz: Si M PCnˆn _{y sus valores propios son distintos dos a dos entonces admite un sistema}

completo de vectores propios linealmente independientes. Esto es una consecuencia de que a valores propios distintos corresponden vectores propios linealmente inde-pendientes. SiM tienenvalores propios distintos haynvectores propios linealmente independientes; y como est´an en un espacio de dimensi´onndeben ser una base. Aho-ra bien, si vi es un vector propio asociado al valor propio λi entonces M vi “ λivi.

Y cualquier otro vector propio wi asociado al mismo valor propio debe ser

propor-cional avi; es decir, existe αP Ctal que wi “αvi. Ahora, si T “

“

v1 v2 ¨ ¨ ¨ vn

‰ entonces T _P Cnˆn _{es invertible y}

T´1M T “Diagpλ1, . . . , λnq (3.1)

Y rec´ıprocamente, siT _P Cnˆn_{es una matriz invertible que verifica (3.1) con}_λ

i ‰λj,

(16)

Aplicando todo esto a la matriz A˚A y teniendo en cuenta la demostraci´on de la Proposici´on 3.12 tenemos que

V˚A˚AV _“Diag_pσ₁2, σ2₂, . . . , σ2_n_q, y tambi´en

U˚AA˚U “Diagpσ2₁, σ₂2, . . . , σ_n2q.

Esto quiere decir que las columnas deV son una base ortonormal de vectores propios deCn _{respecto de} _A˚_{A; y las de} _U _{son una base ortonormal de vectores propios de} Cn _respecto_AA˚_{. Y, adem´as, si}_A _“_U1ΣV˚

1 es otra descomposición deA en valores singulares, entoncesvi “αvi1 (i-ésimas columnas de V yV1). Como en este caso son, además, vectores unitarios, tenemos que 1 “v˚_ivi “ |α|2v1i˚vi1 “ |α|. Es decir, α es

un escalar de m´odulo 1. Para las columnas de U sirve un razonamiento similar.

La unicidad de los valores singulares produce la siguiente consecuencia:

Proposici´on 3.14 Si A PCmˆn _y _σ1 _{ě ¨ ¨ ¨}_σ

p ě0, p“m´ıntm, nu, son sus valores

singulares, entonces _}A_}2 “σ1 y }A}F “σ21` ¨ ¨ ¨ `σp2.

Demostraci´on.- En efecto si A “ UΣV˚ es una descomposici´on en valores singulares deA, como las normas_}¨}2 y }¨}F son unitariamente invariantes tenemos

}A_}2 “ }Σ}2 y }A}F “ }Σ}F.

Basta probar que }Σ}2 “σ1 y }Σ}F “σ12` ¨ ¨ ¨ `σp2. Lo segundo es inmediato por

la propia definici´on de la norma de Frobenius. En cuanto a lo primero, supongamos por sencillez que m _ě n y sea x _P Cn _{un vector arbitrario de norma eucl´ıdea 1.}

Entonces }Σx}2 “ b σ2 1|x1|2` ¨ ¨ ¨ `σn2|xn|2 ďσ1 a |x1|2_{` ¨ ¨ ¨ ` |}_x n|2 “σ1}x}2 “σ1, donde hemos utilizado que σ1 ě ¨ ¨ ¨ ě σn y que }x}2 “ 1. Adem´as, resulta que si e1 “ p1,0, . . . ,0q PCn _entonces_}_e1_}

2 “1 y }Σe1}2 “σ1. Esto prueba que σ1 “ m´ax

}x}2“1}

Σx}2 “ }Σ}2.

Proposici´on 3.15 SiAP Cnˆn _y_σ1 _{ě ¨ ¨ ¨ ě}_σ

nson sus valores singulares entonces

(17)

Demostraci´on.- SiA“UΣV˚ es una descomposici´on deA en valores singula-res,

det_pA_{q “}det_pU_qdet_pΣ_qdet_pV˚_q.

PeroU y V son unitarias. Entonces, por una parte, U U˚ “In y por otra detpU˚q “

det_pU_qporque el conjugado de cualquier suma y producto de n´umeros complejos es la suma o producto de los conjugados de dichos n´umeros. As´ı pues, 1 “ detpInq “

detpUqdetpU˚q “detpUqdetpUq “ |detpUq|2. En conclusi´on,

|detpUq| “ |detpVq| “1, y

|detpAq| “ |detpΣq| “σ1¨ ¨ ¨. . .¨σn.

Proposici´on 3.16 Si A _P Cnˆn _{es invertible y} _σ1 _{ě ¨ ¨ ¨ ě} _σ

n son sus valores

singulares entonces los valores singulares de A´1 son 1

σn ě ¨ ¨ ¨ ě 1 σ1. En particular, }A´1_} 2 “ 1 σn .

Demostraci´on.- Si A“UΣV˚ es una descomposici´on en valores singulares de A y es invertible, entonces A´1 _“_V_Σ´1_U˚_{. Notemos que}

Σ´1 “Diag ˆ 1 σ1, . . . , 1 σn ˙ y que 1 σ1 ď ¨ ¨ ¨ ď 1 σn

. Existe una matriz de permutaci´on

P “ » — — — – 0 _{¨ ¨ ¨} 0 1 0 ¨ ¨ ¨ 1 0 ... ... ... 1 ¨ ¨ ¨ 0 0 fi ffi ffi ffi fl

tal que PΣ´1PT _“_Diag

ˆ 1 σn , . . . , 1 σ1 ˙ . Si ponemosV1 “V PT _y _U1 _“_{U P}T _resulta

que U1 y V1 son unitarias, porque el producto de matrices unitarias es una matriz unitaria, yA´1 _“_V

1PΣ´1PTU1˚ es una descomposici´on en valores singulares deA´1. Como}A´1_}

(18)

La descomposici´on de A en valores singulares nos proporciona una forma espe-cialmente ´util de escribir A como suma de matrices de rango 1:

Proposici´on 3.17 Si A _“ UΣV˚ _P Cmˆn _{es una descomposici´on de} _A _{en valores}

singulares y rangpAq “r entonces

A_“ r ÿ i“1 σiuivi˚ donde U _“ “u1 ¨ ¨ ¨ um ‰ , V _“ “v1 ¨ ¨ ¨ vn ‰

y σ1 _{ě ¨ ¨ ¨ ě} σr ą 0 son los valores

singulares positivos de A.

Demostraci´on.- Basta poner

Σ“Σ1`Σ2` ¨ ¨ ¨ `Σr, Σi “

„

Diagp0, . . . , σi, . . . ,0q 0

0 0



donde Diag_p0, . . . , σi, . . . ,0q PCrˆr y σi aparece en la i-´esima posici´on.

Es claro que A_“ řr

i“1

UΣiV˚ y que UΣiV˚ “σiuiv˚i.

Debe notarse que

r ÿ i“1 σiuiv˚i “UrΣrVr˚ con Ur“ “ u1 ¨ ¨ ¨ ur ‰ ,Vr“ “ v1 ¨ ¨ ¨ vr ‰

y Σr “Diagpσ1, . . . , σrq, es una

descom-posici´on reducida en valores singulares de A.

3.5. Aproximaci´

on a matrices de menor rango

Una de las aplicaciones m´as interesantes del Teorema SVD es que nos permite calcular el rango de una matriz con bastante fiabilidad. De hecho, el Teorema SVD nos da mucho m´as que eso, nos proporciona una medida de esa fiabilidad. Ello es consecuencia del siguiente teorema que nos proporciona una cota de la distancia que hay de una matriz al conjunto de las matrices de rango menor que ella.

(19)

Teorema 3.18 .- Sea A P Fmˆn _{una matriz de rango} _r_{; y sea} _k _ă _r _{un entero no}

negativo. Entonces

m´ın

rangpBqďk}A´B}2 “σk`1

donde σ1 ěσ2 ě. . .ěσr ą0 son los valores singulares no nulos de A.

Demostraci´on.- Tal y como viene siendo habitual demostraremos que σk`1 es

una cota superior alcanzable del conjunto de n´umeros

t}A_´B_}2 : rangpBq ďku;

es decir, que para cualquier matriz B _P Fmˆn _{con rang}_p_B_{q ď} _k _{se tiene que} _}_A_´

B}2 ě σk`1 y que existe una matriz Ak P Fmˆn con rangpAkq “ k tal que }A´

Ak`1}2 “σk`1.

SeanU P Cmˆm _y _V _P_Cnˆn _{matrices unitarias tales que}

U˚AV “D“Σ“ „ Σr 0 0 0  con Σr“Diagpσ1, σ2, . . . , σrq.

Observemos que como m´ıntn, mu ě r ą k tenemos que k`1 ďn. SeaVk`1 la submatriz de V formada por sus primeras k`1 columnas. Como las columnas de Vk`1 son ortonormales, dim ImVk`1 “k`1.

Sea ahora B P Fmˆn _{una matriz cualquiera tal que rang}_B _ď _{k. Esto significa}

que dim KerpBq “ n´rangpBq ěn´k. Tanto KerB como ImVk`1 son subespacios

vectoriales deFn_{, pero dim Ker}_B_`_{dim Im}_V

k`1 ěn`1. Esto significa que KerBX ImVk`1 ‰ t0u y, en consecuencia, hay un vector x P KerBXImVk`1 no nulo que podemos tomarlo de norma 1: kxk2“1. Ahora

}A´B}2₂ ě }pA´Bqx}2₂ “ }Ax´Bx}2₂ “ }Ax}2₂ “ }UΣV˚x}2₂ “ }ΣV˚x}2₂ porquex PKerB y U es unitaria. Dado que xPImVk`1 es ortogonal a las ´ultimas n´k´1 columnas de V. Es decir, vi˚x “ 0 para i “ k `2, . . . , n. Por lo tanto,

si y _“ V˚x entonces las n _´k_´1 ´ultimas componentes de y son iguales a cero. As´ı pues, teniendo en cuenta que k ăr

(20)

Como σ1 ě ¨ ¨ ¨ ěσk`1 deducimos que

}ΣV˚x_}2₂ _ěσ_k2_`₁_p|y1|2` ¨ ¨ ¨ ` |yk`1|2q “σk`1}y}22

porque yk`2 “ ¨ ¨ ¨ “ yn “ 0. Finalmente, }y}2 “ }V˚x}2 “ }x}2 “ 1 porque V es una matriz unitaria y x un vector de norma eucl´ıdea igual a 1. En consecuencia,

}A_´B_}2

2 ěσk`1, tal y como se deseaba demostrar.

Veamos ahora que existe una matriz Ak de rango k tal que }A´Ak}2 “ σk`1. Pongamos Ak “U DkV˚, siendo Dk “ „ Diagpσ1, . . . , σkq 0 0 0  PCmˆn_.

Teniendo en cuenta que la norma espectral es unitariamente invariante, resulta que

}A´Ak}2 “ }UpD´DkqV˚}2 “ }D´Dk}2. Pero D´Dk“ „ Diagp0, . . . ,0, σk`1, . . . , σrq 0 0 0 

cuyos valores singulares no nulos son σk`1 ě . . . ěσr porque existe una matriz de

permutaci´on -y en consecuencia unitaria- Qtal que

QT_pD_´DkqQ“ „ Diag_pσk`1, . . . , σrq 0 0 0  . Por lo tanto }A´Ak}2 “ }D´Dk}2 “σk`1, lo que concluye la demostraci´on.

Este teorema nos proporciona, como corolario, la distancia de una matriz no singular a la matriz singular más próxima en la norma espectral: el valor singular más pequeño de la matriz no singular.

Corolario 3.19 .- SiA PCnˆn _{es una matriz no singular y}_σ1 _ě_σ2 _ě_{. . .}_ě_σ ną0

son sus valores singulares, entonces

m´ın

(21)

Demostraci´on.- detB “0 si y s´olo si rangpBq ď n´1. Por el teorema anterior m´ın

detpBq“0}A´B}2 “rangpm´ınBqďn´1}A´B}2 “σn.

Una consecuencia inmediata de este Corolario es el siguiente

Corolario 3.20 El conjunto de las matrices de rango completo de Cmˆn _{es abierto.}

Demostración.- En efecto, suponiendo, por sencillez quem _ěn, tenemos que si APFmˆn_{y rang}_p_A_{q “}_n_{entonces las matrices de rango menor que}_n_{más próximas a}

Aest´an a una distanciaσn, medida en la norma espectral. En consecuencia, cualquier

bola abierta con centro en A y radio r _ď σn est´a completamente contenida en el

conjunto de las matrices de rango completo. Esto demuestra que este conjunto es abierto.

3.6. La inversa de Moore-Penrose

Ya hemos visto en la Proposici´on 3.16 que si

A“UΣV˚, Σ“Diagpσ1, . . . , σnq

es una descomposici´on en valores singulares deAPCnˆn_{y ´esta es invertible entonces}

A´1 “V˜Σ ˜˜U˚, Σ˜ “Diag ˆ 1 σn , . . . , 1 σ1 ˙

con ˜V _“ V P y ˜U _“U P, P una matriz de permutaci´on, es una descomposici´on en valores singulares deA´1_.

Podemos usar esta idea para generalizar el concepto de inversa a inversa gene-ralizada (o pseudoinversa) que juega un papel fundamental en varias partes de la matemática y en particular en la solución del problema de m´ınimos cuadrados. Hay varias inversas generalizadas (ver [2]). Aqu´ı sólo trataremos de la llamada inversa generalizada de Moore-Penrose o, simplemente, inversa de Moore-Penrose o pseudo-inversa de Moore-Penrose. En MATLAB se utiliza el comandopinvpara calcularla.

(22)

Supongamos que A P Cmˆn _y _r _“ _rang_p_A_q_{. Sean} _σ1 _{ě ¨ ¨ ¨ ě} _σ r ą 0 sus valores singulares no nulos y A_“UΣV˚, Σ_“ „ Diag_pσ1, . . . , σrq 0 0 0 

una descomposici´on de A en valores singulares. Pongamos

Σ:“ » –Diag ˆ 1 σ1, . . . , 1 σr ˙ 0 0 0 fi fl, y definamos A:_“VΣ:U˚.

Definici´on 3.21 A la matriz A: se le llama inversa generalizada o

pseudo-inversa de Moore-Penrose de A.

En los ejercicios se presentan algunas propiedades importantes de la inversa de Moore-Penrose. En particular, la definición dada aqu´ı no es la que aparece habitual-mente en los libros clásicos, aunque es la que mejor se adapta a nuestras circuns-tancias. La definición habitual es la siguiente: Es la única matriz que cumple las siguientes cuatro propiedades:

piq AA:A“A, piiq A:AA: “A:,

piii_q A:A_{“ p}A:A_q˚, _piv_q AA:_{“ p}AA:_q˚.

Se puede demostrar que la Definición 3.21 es equivalente a estas cuatro condicio-nes. En cualquier caso, a primera vista en la Definición 3.21 no parece que se pueda asegurar que hay una única inversa de Moore-Penrose para cada A. En efecto, la definición depende de la elección de las matricesU yV en la descomposición deAen valores singulares y éstas no son, en general, únicas. Nos proponemos demostrar que, a pesar de la arbitrariedad en la elección de los vectores singulares por la izquierda y por la derecha, la inversa de Moore-Penrose es única:

(23)

Demostraci´on.- Sea A“UΣV˚, Σ“ „ Diagpσ1, . . . , σrq 0 0 0 

una descomposici´on en valores singulares de A, r_“rang_pA_q. Y sea A:_“VΣ:U˚ la correspondiente inversa de Moore-Penrose. Por la Proposici´on 3.10 las r primeras columnas de U y V forman bases ortonormales de Im_pA_q y de Im_pA˚_q, respectiva-mente. De acuerdo con esto escribimos V _““V1 V2‰ y U _““U1 U2‰ con V1 _PCnˆr

y U1 PCmˆr_{. Si adem´as, ponemos}

Σr “Diagpσ1, . . . , σrq entonces Σ´r1 “Diag

ˆ 1 σ1, . . . , 1 σr ˙ , y A “U1ΣrV1˚ y A: “V1Σ´r1U1˚.

Ahora, si hubiera otra descomposici´on deAen valores singulares, como ´estos son ´

unicos, existir´ıan matrices unitarias ˜U P Cmˆm _{y ˜}_V _P _Cnˆn _{tales que} _A _“ _U˜_{Σ ˜}_V˚_.

Partiendo ˜U y ˜V como U y V tendr´ıamos que A _“ U˜1ΣrV˜1˚ con ˜U1 y ˜V1 matrices cuyas columnas forman bases ortonormales de ImpAqy ImpA˚q, respectivamente.

Para esta descomposici´on de A, la inversa de Moore-Penrose correspondiente ser´ıa: ˜A:_“V˜1Σ´r1U˜1˚. Debemos demostrar que A:“A˜:.

Por una parte, las columnas de U1 y ˜U1 forman bases ortonormales de Im_pA_qy las columnas deV1 y ˜V1 forman bases ortonormales de ImpA˚q. Por lo tanto, existen matrices unitariasP, Q_PCrˆr _{tales que}

˜

U1 _“U1P y V1˜ _“V1Q.

(P y Q son las matrices de cambio de bases ortonormales; por lo tanto, unitarias).

Por otra parte,

˜

U1ΣrV˜1˚ “U1ΣrV1˚, de modo que

U1PΣrQ˚V1˚ “U1ΣrV1˚. PeroU₁˚U1 _“V₁˚V1 _“Ir, as´ı que

(24)

Y como Σr es invertible QΣ´1_r P˚_“Σ´1_r , y tambi´en V1QΣ´1r P˚U1˚“V1Σ´1r U1˚. Es decir, ˜ A:“V1Σ˜ ´1r U˜1˚ “V1QΣ´1r P˚U1˚ “V1Σ´1r U1˚ “A:, tal y como se deseaba demostrar.