1.1 Sistemas de ecuaciones lineales: método del gradiente conjugado.

(1)

Preliminares.

1.1 Sistemas de ecuaciones lineales: m´

etodo del gradiente

conju-gado.

1.1.1 Algunos conceptos de Algebra Matricial. Notaciones y conceptos b´asicos

• Vectores en Kny matrices de ordenm×n.

SeaV un espacio vectorial de dimensión finita,n, sobre un cuerpo K(que será Ró C).

Una base paraVes un conjunto de vectores{ei, i= 1,2, . . . , n}deVtales que para cadav∈V existen escalares ´unicosαi∈Kverificando:

α1e1+· · ·+αiei+· · ·+αnen

De esta forma hablaremos de los espacios vectoriales V ' _Kn_{. A los vectores} _v _{lo notaremos} por columnas del tipo:

v=       α1 α2 .. . αn      

mientras notamos porvt= (α1, . . . , αn) yv∗ = (α1, . . . , αn) siendovtel traspuesto

de v yv∗ el conjugado traspuesto dev, o adjunto de v.

Definici´on 1.1

Una matrizAde orden m×nes un arreglo rectangular seg´unm-filas yn-columnas de escalares ai,j ∈K de la forma: A=       a11 a12 · · · a1n a21 a22 · · · a2n .. . ... . .. ... am1 am2 · · · amn      

Adem´as, al conjunto de matrices de ordenm×ncon coeficientes enKlo notamos porMm,n(K)

Los vectores deKn son matrices de ordenn×1.

(2)

M_m,n(K) con las operaciones suma y producto por escalares de K, definidas m´as adelante, es

un espacio vectorial sobre Kde dimensi´on m·n.

• Operaciones con matrices.

Dadas las matricesA= (aij),B= (bhk) de ´ordenes adecuados yα ∈Kse tienen las operaciones

matriciales siguientes:

Suma: A+B= (aij +bij)∈ Mm,n(K) para A,B∈ Mm,n(K);

Producto por escalares: αA= (αaij)∈ Mm,n(K) para A∈ Mm,n(K)

Producto de matrices: A·B= (cik)∈ Mm,n(K) donde

cik = p

X

j=1

ai,jbjk A∈ Mm,p(K) y B∈ Mp,n(K)

SiA= (aij) se llamatraspuestadeA, denotada porAta la matriz: At= (bij) dondebij =aji. An´alogamente se llamatraspuesta conjugada de Aa la matriz A∗ = (bij) con bij =aji. • Producto escalar eucl´ıdeo.

Otro concepto de gran importancia en todo el An´alisis Num´erico es el de producto interno o escalar en Kn; a saber,

Definici´on 1.2

La aplicaci´on hu,vi :Kn×Kn −→ Kdefinida por hu,vi =Pni=1ui¯vi se conoce con el nombre

de producto eucl´ıdeo.

(hu,vi=vt.u si K=Ry hu,vi=v∗.u siK=C)

Algunas propiedades relacionadas con lo anterior:

i) (At)t=A, (A∗)∗ =A.

ii) (A+B)t=At+Bt, (A+B)∗=A∗+B∗ iii) (A.B)t=Bt.At, (A.B)∗ =B∗.A∗

iv) hAu,vi=u,Atv (K=R); hAu,vi=hu,A∗vi (K=C). Matrices cuadradas. Casos particulares.

Especial inter´es tienen las matrices cuadradas; es decir, matrices de orden n×n. Para ´estas, recordamos aqu´ı, algunos tipos especiales.

Diremos que Aes sim´etrica (resp. hermitiana) si At=A (resp. A∗ =A).

Una matrizA= (aij) que verifica: aij = 0 para |i−j| ≥p se llama matriz bandade orden p; en particular, si p= 1 se llamadiagonal y para p= 2 se dice que es tridiagonal.

Las matrices T = (tij) con tij = 0 para i > j (resp. i < j) se llaman triangulares superiores (resp. triangulares inferiores).

(3)

La matriz diagonal con elementos aii = 1 i = 1, . . . , n la notaremos por In y se llama matriz

Unidad o Identidad. As´ı, una matriz A es invertible (o regular) sii existe B ∈ M_n,n(k) ver-ificando: A.B=B.A=I; en cuyo caso la notamos por A−1. En caso contrario, se dice que A es

singular.

Entre las matrices invertibles cabe destacar lasUnitarias (resp. Ortogonales) que cumplen:

A−1 =A∗ para K=C (resp. A−1=At si K=R)

Dos escalares, asociados a una matriz, tienen especial relevancia en el contexto de este cap´ıtulo, ´ estos son: traza(A) = n X i=1 aii y det(A) = X σ (−1)sign(σ)_a 1σ(1)· · ·anσ(n) donde σ es una permutaci´on de {1,2, . . . , n}.

Definici´on 1.3

A real (resp. compleja), es definida positiva ⇐⇒ ∀u ∈ Kn, no nulo, se tiene: utAu > 0 (resp. u∗Au>0. Si la desigualdad es no estricta, entonces se llaman semidefinidas positivas.

Propiedades:

(a) (A·B)−1 ₌_B−1_·_A−1_{; (}_At₎−1_{= (}_A−1₎t (b) traza(A+B) =traza(A) +traza(B);

traza(A.B) =traza(B.A)

(c) SiA yB son definidas positivas, entonces lo es A+B Definici´on 1.4 (valor y vector propio)

Se dice que λ∈_Ces valor propio de Asi, y s´olo si, existex∈_Cn_{− {}_~_0}_{, verificando}

A.x=λx (1.1)

En tal caso, xse llama vector propioasociado a λ.

Observaci´on: Los valores propios de matrices reales no tienen por qu´e ser reales. As´ı los valores propios de 0 −1

1 0

!

son: λ1 =−i, λ2 =i.

Teorema 1.1 (Caracterizaci´on v.p.)

Si Aes una matriz de ordenn, entonces, λes un v.p. paraA,si y s´olo si,

det(A−λI) =0 (1.2)

La ecuaci´on (1.2) se llama ecuaci´on caracter´ısticade A.

Adem´as, es f´acil demostrar que PA(λ) = det(A−λ.I) es un polinomio en λ de gradon llamado

polinomio caracter´ıstico deA.

(4)

Definici´on 1.5 (espectro y radio espectral)

Se llama espectro de A, Sp(A), al conjunto de valores propios (v.p.) de A y radio espectral de A, ρ(A), a: ρ(A) =maxi{|λi| con λi =v.p. de A}

Proposici´on 1.1 (propiedades b´asicas)

SeaA∈ M_n,n(K) yλ1, λ2, . . . , λn sus v.p.; entonces:

i) traza(A) =Pn

i=1λi ; y,det(A) =λ1·λ2· · ·λn

ii) Para cada v.p. de A, λ, el conjunto: Vλ = {v ∈ Kn/Av = λv} es un subespacio vectorial llamado espacio propio asociado a λ.

iii) A es invertible si y s´olo siλi 6= 0 ∀i. Adem´as, si λes valor propio deA, _λ1 lo es deA−1 .

iv) Los v.p. deAyAtson iguales. Adem´as, siλes un v.p. de Aentoncesλlo es de A∗

v) SiAes hermitiana, sus valores propios son reales. Adem´as, vectores propios asociados a valores p. distintos son ortogonales.

vi) Los v.p. de una matriz Unitaria son de m´odulo 1.

vii) Los valores propios de una matriz definida positiva son positivos. Más aún, si A es simétrica real, entonces es definida positiva ⇐⇒sus v.p. son positivos.

La demostración de algunas de estas propiedades se obtiene sin más que aplicar, ya la definición de v.p., ya la caracterización (1.2).

Matrices semejantes. Propiedades.

Es de gran interés práctico el conocimiento de transformaciones matriciales para las que los valores propios son iguales. Estas son las llamadas transformaciones de semejanza, concepto que a contin-uación concretamos.

Definici´on 1.6

Sean A, B matrices de orden n, se dice que A es semejante a B sii existe una matriz regular, P, verificando:

A=PBP−1

Es evidente que, si A es semejante aB, entonces B es semejante aA; y, as´ı diremos queA y B

son semejantes (lo notamos por: A∼B)

Proposici´on 1.2 Si A∼B, entonces:

1. Sp(A)≡Sp(B).

2. si xes un vector propio paraA, entoncesP−1xes vector propio para B 3. traza(A) =traza(B) y det(A) =det(B)

(5)

A continuación centramos nuestro interés en el estudio de matrices para las que se puede obener una matriz semejante de un tipo más simple (p.e. triangular, diagonal, etc...).

Teorema de Schur. Consecuencias. Teorema 1.2 (Schur)

Si Aes una matriz cuadrada de ordenn, entonces existe una matriz unitaria U verificando: U∗AU=T

conT matriz triangular superior.

Este resultado asegura que toda matriz cuadrada posee una matriz triagular semejante a ella, si bien no tiene gran utilidad pr´actica pues requiere el conocimiento de los valores propios que no siempre es f´acil.

Corolario 1.1

• SiA esnormal(A·A∗ =A∗·A), entonces Tes normal y, por tanto, Tes diagonal.

• SiA es hermitiana, entonces existe una matriz unitaria, U, tal que: U∗AU=D(real)

(en particular si A es sim´etrica real entonces es diagonalizable mediante una transformaci´on U=Oortogonal).

1.1.2 Métodos directos de resolución de S.E.L. EL M ÉTODO DE GAUSS

Dado un S.E.L., Ax =b, el m´etodo de Gauss es un proceso sistem´atico que permite transformar la matriz ampliada del sistema, (A|b), en una matriz (U|b∗) dondeUes una matriz triangular superior (sistemas n×n) o escalonada superior (sistemas m×n).

En nuestro caso, suponemos que el sistema esn×ncon una única solución (es decir det (A)6= 0); entonces el proceso sistemático de Gauss consta de dos etapas:

1. Eliminaci´on o reducci´on de la matriz (A|b) a la forma (U|b∗) mediante operaciones elementales sobre sus filas:

(a) Multiplicaci´on por factores no nulos; (b) Intercambio de filas;

(c) Sumar a una fila dada un m´ultiplo de otra.

2. Resoluci´on del nuevo sistema triangular,Ux=b∗, que es equivalente al inicial.

En la primera etapa, parak= 1,2, . . . , n−1, el pasok−´esimo consigue hacer ceros en la columna

(6)

A(k)=             a(1)₁₁ a(1)₁₂ · · · a(1)_1k · · · a(1)_1n 0 a(2)₂₂ · · · a(2)_2k · · · a(2)_2n .. . ... . .. ... . .. ... 0 0 · · · a(k)_kk · · · a(k)_kn .. . . .. ... . .. ... 0 0 · · · a(k)_kk · · · a(k)_kk             ,bk=             b(1)₁ b(2)₂ .. . b(k)_k .. . b(k)n            

de manera que inicialmente: A(1)=A, b1=b

As´ı, en cada paso (A(k)→A(k+1),bk→bk+1) k= 1,2, . . . , n−1 se procede como sigue:

1. Si el elemento a(k)_kk 6= 0 (que se llama pivote), entonces:

• Formamos la matriz de transformaci´on: Mk=

            1 · · · 0 0 · · · 0 .. . . .. ... ... . .. ... 0 · · · 1 0 · · · 0 0 · · · mk+1,k 1 · · · 0 .. . . .. ... ... . .. ... 0 · · · mnk 0 · · · 1             donde mjk =− a(_jkk) a(_k,kk) para j =k+ 1, . . . , n

• Efectuamos los productos: MkA(k)yMkbkobteni´endoseA(k+1)con ceros bajo la diagonal

en las columnas 1,2, . . . , k y el vector de t´erminos independientesbk+1. 2. Sia(k)_kk = 0, entonces:

• Buscamos el primer elemento no nulo a(k)_jk (j > k)

• Intercambiamos las filas j−´esima y k−´esima en A(k),b_k y las notamos igual. • Procedemos como en el caso anterior.

3. Completado el proceso de transformaci´on, resolvemos el sistema resultante: Ux = b∗ donde

U=A(n),yb∗=bn.

En el proceso que se ha llevado a cabo se han distinguido dos situaciones diferentes (pivote no nulo, pivote inicial nulo) pero, ¿cuándo podemos saber si el método de Gauss es posible sin intercambio de filas? Pues bien, la respuesta es la dada a continuación.

Teorema 1.3

Sea el sisteman×n,Ax=b, entonces el m´etodo de Gauss puede completarse sin intercambio de filas

si, y s´olo si,det

    a11 . . . a1k .. . . .. ... ak1 · · · akk     6= 0 k= 1,2, . . . , n

(7)

En ocasiones, el método de Gauss sin intercambio de filas puede presentar graves deficiencias numéricas debido a los errores de redondeo (cuando los pivotes utilizados para la transformación son muy pequeños).

Para evitar este problema se procede con la técnica de elección óptima del pivote en cada etepa del proceso. De aqu´ı surgen las estrategias de pivote parcialypivote total.

El m´etodo de Gauss con estrategia depivote parcial consiste en lo siguiente:

1. Para k= 1, . . . , n−1

• Elecci´on del pivote adecuado en la columna k−´esima: Sea a (k) rk = max n a (k) jk , j =k, . . . , n o , entonces:

– Sir=k, procedemos como en el caso normal

– Sir > k, intercambiamos las filas k−ésima yr−ésima enA(k),b_k y las notamos igual. • Formamos la matriz como en el método normal,

• Efectuamos los productos MkA(k),Mkbk obteniendo A(k+1),bk+1.

2. Resoluci´on del sistema triangular resultante: Ux=b∗ donde U=A(n) y b∗=bn

Por último la estrategia de pivote total, en cada paso, busca el pivote de módulo máximo no sólo en la columna k−ésima sino en las restantesk+ 1, . . . , n.

M´etodos Basados en la Factorizaci´on L.U

A veces ser´ıa deseable disponer de una descomposici´on de la matriz Aen la formaA=L.U dondeL

es triangular inferior y U es triangular superior.

As´ı, el sistema Ax=b podr´ıa resolverse en dos etapas correspondientes a sendos sistemas trian-gulares; a saber:

Ly = b (1.3)

Ux = y (1.4)

Si observamos con detenimiento el proceso seguido en el M´etodo de Gauss (sin intercambio de filas) deducimos que pasamos de una matriz A, regular, a una Triangular superior de la forma:

(8)

Si esto es as´ı, puesto que Mn−1.Mn−2. . .M2.M1 es invertible y triangular inferior, podemos expresar Acomo: A=M−₁1.M−₂1. . .M_n−₋1₂.M−_n₋1₁.U donde M−_k1 =             1 0 . . . 0 0 0 1 . . . 0 0 .. . ... . .. . . . ... . . 1 . . . 0 . . −mk+1,k . . . 0 .. . ... −mn,k . . . 1            

Desde ´estas consideraciones se puede probar el resultado siguiente:

Teorema 1.4

SeaA una matriz cuadrada de orden n, regular, entonces, son equivalentes:

1. det(Ak) = det     a11 . . . a1k .. . . .. ... ak1 . . . akk     6= 0 k= 1,2, . . . , n

2. existe una ´unica descomposici´on en la formaA=L.U donde L tiene unos en la diagonal prin-cipal.

Corolario 1.2

Si A=L.U conL en las condiciones del teorema anterior. Entonces,det(Ak)6= 0 si, y s´olo si,

uii6= 0 i= 1,2, . . . , n.

Ahora bien, no toda matriz cuadrada admite una descomposici´on de la forma L.U; a saber, la

matriz 0 1

1 1

!

Aunque este ejemplo parece desanimar un poco, no lo es tanto si se tiene en cuenta el pr´oximo resultado:

Teorema 1.5

Dada una matriz invertible,A, existe una matriz de permutaci´onPσ tal que la matrizPσ.Ase puede

descomponer en la forma L.U .

C´alculo de la descomposici´on A=L·U

El cálculo de las lij de L y los uhk de U puede hacerse usando el método de Gauss o de forma directa sin más que usar las igualdades:

aij = h

X

p=1

lip.upj con h=min{i, j} e i, j= 1,2, . . . , n.

Si se ordenan las igualdades anteriores de forma adecuada pueden obtenerse algoritmos eficientes de resolución del sistema Ax=b. Más concretamente, vamos a considerar el Método de Doolittle-Banachiewicz que consiste en:

(9)

Algoritmo de Doolittle: etapa de descomposici´on. ENTRADA:A,L=In,U= (0) PROCESO: para k= 1. . . , n uk,k=akk− k−1 P r=1 lkrurk para j =k+ 1, . . . , n uk,j =akj− k−1 P r=1 lkrurj; lj.k = aj,k− k−1 P r=1 ljrurk ukk SALIDA:L, U

As´ı, el algoritmo calcula en cada paso la filak−ésima deUy lak−ésima columna deL. El método se completa con la resolución de los sistemas triangulares (1.3)-(1.4).

Matrices particulares. 1. Matrices tridiagonales. SeaA=        a1 b2 · · · 0 c2 a2 . .. ... .. . . .. ... bn 0 · · · cn an       

conδk= det (Ak)6= 0 ∀k, entonces:

(a) se cumple la recurrencia: δk=akδk−1−bkckδk−2 k= 2, . . . donde δ0= 1

(b) se tiene la descomposici´on: A=L.U=

       1 0 · · · 0 c2δ_δ0₁ 1 . .. ... .. . . .. . .. 0 0 · · · cnδ_δn_n−₋2₁ 1               δ1 δ0 b2 · · · 0 0 δ2 δ1 . .. .. . .. . . .. ... bn 0 · · · 0 δn δn−1        Teorema 1.6

SiA es una matriz tridiagonal verificando:

|a1|>|b2|>0;|an|>|cn|>0;

|ak| ≥ |bk+1|+|ck|, conbk+1ck 6= 0, k= 2, . . . , n−1

Entonces, Aadmite una descomposicin L.U

2. Matrices sim´etricas. Descomposici´on de Choleski.

Teorema 1.7

SiA es sim´etrica definida positiva, entonces: (a) Es invertible con inversa definida positiva;

(10)

Teorema 1.8

SiA es sim´etrica, son equivalentes: (a) A es definida positiva;

(b) A=L.LtconL=triangular inferior de elementos diagonales positivos. Algoritmo de Choleski ENTRADA:A,L= (0) PROCESO: parak= 1. . . , n lk,k = s akk− k−1 P r=1 (lkr)2 para j=k+ 1, . . . , n ljk = ajk− k−1 P r=1 ljrlkr lkk SALIDA:L, Lt

Factorizaci´on A=Q.U: transformaciones Householder.

Ahora tratamos la posibilidad de conseguir una transformaci´on del tipo: A=Q.U, donde U= tri-angular sup.. y la matriz Qes ortogonal; es decir, Qt=Q−1.

Este tipo de descomposicin se basa en el teorema siguiente:

Teorema 1.9

Seav∈_Rn _con_n_>₂ _{entonces, existe un vector unitario}_u_∈

Rn verificando: 1. H=I−2u.utes sim´etrica y ortogonal.

2. Hv=α(1,0, . . . ,0)t dondeα=± kvk₂

La matriz Hdel teorema recibe el nombre de matriz Housholder.

Si aplicamos el teorema a las sucesivas “columnas” de la matrizApodemos conseguir una transfor-mación a la formaA=Q.U dondeQ será un producto de matrices Householder. Más precisamente, se procede como sigue:

En paso k−´esimo, si la matriz de partida tiene la forma: A(k) = Uk−1 B

0 A˜(k)_(n₋_k+1)

!

donde

U es triangular superior; entonces,

• tomamos el vector v=primera columna deA˜(k) que es den−k+ 1 coordenadas.

• Para este se construye la matriz HouseholderH˜k de dimensi´onn−k+ 1 que cumple el teorema

(11)

• Formamos la matriz: Hk=

Ik−1 0

0 H˜(k)

!

con lo que se tiene:

A(k+1) =Hk·A(k)=

Uk B

0 A˜(k)_(n₋_k)

!

Trasn−1 pasos se tendr´a la igualdad: A(n) =Hn−1· · · ·H2·H1·A=U; por lo tanto, se tiene la descomposici´on: A=Q·U=H1·H2· · · ·Hn−1·U

Este proceso puede llevarse a cabo mediante el siguiente algoritmo:

Algoritmo de descomposici´on A=Q.U

ENTRADA: tomarU=A, Q=I_n PROCESO: parak= 1, . . . , n−1 • tomar vconvi = ( 0si i < k uik i=k, . . . , n ye=columna k−´esima deI • calcularα=−sign(vk)kvk2 – si α= 0, SALIDA 1 y FIN; – si α6= 0, calcularu= _k_vv₋−_αα_ee_k 2 yH=I−2u.u t • calcularU=H.U yQ=Q.H

SALIDA 1: La matrizA no es invertible.

SALIDA 2: matriz triangular=U,matriz ortogonal=Q

Completada la fase de descomposici´on, se procede a la resoluci´on del sistema triangular superior:

U.x=Qtb

EJERCICIO: ¿Cómo se puede modificar el algoritmo anterior para incluir la fase de resolución en la forma lo más eficiente posible si no requerimos la expresión de la matriz Q?

Normas vectoriales y normas Matriciales Definici´on 1.7 (norma vectorial)

Sea V un espacio vectorial sobre un cuerpo K ( R ´o C ). Una aplicaci´on k • kv :V −→ R, es una norma sobre V sii verifica las condiciones siguientes:

i) kxkv >0 para todox6=~0;

ii) kλxk_v =|λ|kxk_v para todox∈V yλ∈_K;

(12)

Si V es un espacio vectorial sobre el que se ha definido una norma se llama Espacio Vectorial Normado.

Ejemplos de Normas vectoriales

1.- Sea V ' Kn un espacio vectorial de dimensi´on finita sobre K. Entonces para 1 ≤ p < ∞ la aplicaci´on: kxkp=   n X j=1 |xj|p   1 p con x∈Kn

es una norma sobre V.

2.- Igualmente,kxk∞= max1≤j≤n{|xj|}x∈Kn, es una norma llamada uniforme o del m´aximo.

Observación.- De las normas vectoriales anteriormente definidas las más utilizadas, en la práctica, son: k • k₁ ,k • k₂ (norma eucl´ıdea), yk • k∞.

Dado que la noción de norma nos permite entender la noción de convergencia para una sucesión de vectores y, puesto que ésta dependea prioride la norma usada hemos de conocer cuándo es posible utilizar diferentes normas para un mismo objetivo. Es el caso de normas equivalentes.

A saber, diremos que dos normas,k • kyk • k∗ , sobre un espacio vectorial,V, son equivalentes si, y s´olo si, existen ctes positivas,C, C∗ verificado:

i) kxk∗ _≤_C_k_x_k _∀_x_∈_V

ii) kxk ≤C∗kxk∗ ∀x∈V Proposici´on 1.3

Cualesquiera dos normas vectoriales sobre un espacio de dimensi´on finita son equivalentes.

• Normas Matriciales. Normas inducidas o subordinadas. Normas usuales.

Definici´on 1.8 (norma matricial) Una norma vectorial sobreM_n,n(K)'Kn

2

se llama norma matricial(que la notamos pork•k_M)

sii verifica:

kA.Bk_M ≤ kAk_MkBk_M ∀A, B∈ M_n,n(K)

Hemos de observar que no toda norma vectorial es una norma matricial (encuentre un ejemplo). Sin embargo, dada una norma vectorial sobre Kn se puede definir una norma matricial que

llamaremos norma inducida o subordinada. M´as concretamente, se tiene el resultado siguiente:

Teorema 1.10 (normas inducidas)

Seak • kv una norma vectorial sobreKn. Entonces,

kAk_M = max

kxkv=1

kA·xk_v

(13)

En la demostraci´on de este resultado es de inter´es el lema siguiente.

Lema 1.1

Dada A∈ M_n,n(K) yx∈Kn, se tiene: kA·xkv ≤ kAkMkxkv

As´ı , este resultado nos ratifica en la existencia de normas matriciales entre las que se destacan como usuales las normas inducidas por las vectorialesk • k1,k • k2, yk • k∞y que notaremos de

igual forma.

Teorema 1.11 (Normas inducidas cl´asicas)

Dada una matrizA= (aij)_n×n las normas inducidas pork•k1,k•k2yk•k∞ son:

1. k•k₁ = M ax j=1,...,n _n P i=1 |aij| , 2. k•k₂=pρ(A∗_A₎ _{(norma espectral)} 3. k•k_∞= M ax i=1,...,n ( n P j=1 |aij| )

• Compatibilidad con normas vectoriales.

Para terminar esta secci´on damos un resultado que generaliza la propiedad descrita por el Lema 1.1 a cualquier norma matricial.

Teorema 1.12 (Compatibilidad con normas vectoriales)

Dada una norma matricial, k • k_M, en M_n,n(K); existe una norma vectorial, k • kv, en Kn

compatible con la matricial; es decir,

kAxkv ≤ kAkMkxkv ∀A∈ Mn,n(K) y x∈Kn

Demostraci´on:

Basta considerar la aplicaci´on: k • kv :Kn −→ R definida porkxkv =kx.y∗kM donde y es un vector no nulo fijo.

Un ejemplo de norma matricial no inducida.

La aplicaci´on: kAkE = v u u t n X i,j=1 |aij|2 con A∈ Mn,n(K)

es una norma matricial llamada norma eucl´ıdea o de Frobenius que no es inducida por ninguna norma vectorial; ya que, si lo fuera se verificar´ıa:

kInkE = max kxkv=1 kIxk_v = 1 pero, kInkE = √ n6= 1 si n >1.

(14)

Normas, valores propios y convergencia. Teorema 1.13

Dada una matriz B = (bij)_nxn y una norma inducida por k•k tal que kBk < 1 entonces: I+B es invertible; (I+B) −1 ≤ 1 1−kBk. Teorema 1.14 Son equivalentes: 1. lim k→∞B k_{= (0)}_; 2. lim k→∞B k_v₌−→₀ _∀_v; 3. ρ(B)<1;

4. existe una norma inducida con kBk<1.

Por otra parte, se tiene: lim k→∞ Bk 1 k ₌_ρ₍_B₎

Errores y condicionamiento para sistemas.

Se define el condicionamiento de una matriz para el problema de resolver un sistema como: cond (A) = kAk ·A−1

(lo notamos como condp si usamos k•k_p). Este valor num´erico tiene especial relevancia

en el efecto que pueden tener los errores de redondeo en la resoluci´on de sistemas lineales como se puede intuir desde los resultados siguientes:

Teorema 1.15

En la resoluci´on de un sistema se tiene:

1. Si A es invertible y δb es una perturbaci´on deb, entonces: k_kδ_uu_kk ≤cond(A)k_kδ_bb_kk

2. Si se perturba la matriz, entonces: _k_uk_+∆∆uk_u_k ≤cond(A)k_k∆_AA_kk

Teorema 1.16

El condicionamiento de una matriz A satisface:

• condp(A) = condp A−1≥1 • condp(A) = condp(αA), α6= 0 • cond2(A) = µn(A) µ1(A) • ¿A=At yA−1 =A∗? 1.1.3 M´etodos Iterativos. GENERALIDADES

Dado un sistema lineal Ax=b, siendo A invertible; un método iterativo para su resolución es aquel que proporciona una sucesión

x(k)

k≥0 de vectores que aproximan la soluci´on exacta; es decir, lim k→∞ x(k)−x = 0.

(15)

Para obtener tal sucesión, la forma más extendida ( a la que corresponden los métodos clásicos de Jacobi, Gauss-Seidel, SOR ó w-relajación, etc..) es:

x(0)_{= vector inicial dado}

x(k)=Bx(k−1)+c k= 1,2, . . . (1.5)

donde, B es una matriz y c es un vector de Rn. La matriz B se llama matriz del m´etodo y de

sus propiedades depende que el m´etodo en cuesti´on conduzca a resultados adecuados (en cuanto a convergencia).

Consistencia.

Teniendo en cuenta el prop´osito de un m´etodo del tipo (1.5) diremos que es consistente con el sistema lineal sii cumple: x=Bx+c,o equivalentemente,c= (I−B)A−1b

Convergencia.

Diremos que (1.5) es convergente, sii para cadax(0) ∈_Rn _{se tiene:}

x(k) _k_≥₀→x=A−1b Teorema 1.17 (caraterizaci´on)

El m´etodo (1.5) es convergente si, y s´olo si, (1.5) es consistente; y,ρ(B)<1

Construcci´on de m´etodos iterativos.

Pretendemos, aqu´ı, dar una estrategia genérica que permita buscar métodos de la forma (1.5). Para ello, supongamos que podemos escribirA=M-NdondeMes una matriz invertible. En esta situación,

tendremos,Ax=bes equivalente al sistemaMx=Nx+by por tanto, podemos escribir: x=M−1Nx+M−1b.

As´ı, este mecanismo de trabajo permiten describir un m´etodo (consistente por construcci´on) de la forma:

x(0)= vect.inicial

x(k)=M−1Nx(k−1)+M−1b (1.6)

Es evidente, que el m´etodo (1.6) adopta la forma (1.5) con matriz del m´etodoB=M−1Ny vector

c=M−1_b_._Adem´_{as, es de gran inter´}_{es el resultado siguiente:} Teorema 1.18

Todo m´etodo (1.5) convergente es de la forma (1.6).

Este resultado obliga a buscar descomposiciones diversas de A en la forma A=M−N. Por lo general, los m´etodos de la forma (1.6) suelen presentarse en la forma alternativa siguiente:

x(0)= vect.inicial

Mx(k)=Nx(k−1)+b (1.7)

Esta forma, evita el c´alculo expl´ıcito de la inversa de M resolviendo, en cada paso, un sistema lineal que pretendemos sea mucho m´as simple que el inicial (por ejemplo, diagonal, triangular inferior o superior, etc) y, en cualquier caso, que el coste computacional sea bajo.

(16)

Ciertas matrices tienen gran importancia en varias disciplinas de la ciencia como son las matrices simétricas. Para tales matrices, el análisis de la convergencia de un método (1.6) tiene la respuesta en el resultado siguiente:

Teorema 1.19

Sea A simétrica real y A=M−N con M=invertible. Si Mt+Nes definida positiva; entonces, el método (1.6) converge si, y sólo si,A es definida positiva.

Errores y estabilidad de los m´etodos.

En todo método para resolver numéricamente un sistema, es necesario disponer de un criterio de parada apropiado y para elegirlo se puede estudiar el comportamiento de tales métodos frente a er-rores debidos a la aritmética del ordenador (redondeos) y también dar estimaciones adecuadas del error en cada aproximación. Más precisamente, ¿es estable un método iterativo convergente?, ¿ser´ıa apropiado, p.e. tomar el criterio de parada, x(k)−x(k−1)

<10−t?

Estabilidad

Supongamos que en lugar dex(k) obtenemos˜x(k),entonces:

x(k)=Bx(k−1)+c ˜

x(k)=B˜x(k−1)+c+ρ(k) (ρ(k) = perturbaci´on del paso k) de donde, podemos escribir:

˜ x(k)−x(k)=B ˜ x(k−1)−x(k−1) +ρ(k) =Bk ˜ x(0)−x(0) | {z } ρ(0) + k X j=1 Bk−jρ(j)= k X j=0 Bk−jρ(j) y tomando normas: ˜x(k)−x(k) ≤ k P j=0 Bk−j ρ(j) ⇒ ˜x(k)−x(k) ≤C.sup ρ(j)

es decir, errores pequeños en los cálculos de cada paso conducen a pequeñas variaciones en las aproximaciones calculadas respecto de las teóricas convergentes. En otras palabras un método itera-tivo (1.6) convergente es estable.

Adem´as, sikBk<1; x (k)₋_x ≤ B k x (0)₋_x x (k)₋_x ≤ kBk 1− kBk x (k)₋_x(k−1)

Métodos Clásicos: Jacobi, Gauss-Seidel y w-Relajación

Sean L= (lij) con lij = ( −aij i > j 0 i≤j , U= (uij) conuij = ( −aij i < j 0 i≥j y

D=diag(a11, . . . , ann) entonces A=D−L−U y podemos deducir los m´etodos siguientes: 1. M´etodo de Jacobi: la matriz que lo define es: BJ=D−1(L+U)

(17)

2. M´etodo de Gauss-Seidel: este queda definido por la matriz: BG= (D−L)−1U

3. M´etodo w-Relajaci´on: la matriz asociada se obtiene tomando

M=1 wD−L y N= 1−w w D+U⇒Bw = 1 wD−L −1 1−w w D+U Proposici´on 1.4

Una condición necesaria para la convergencia del métodow-Relajación es que 0< w <2. Convergencia para matrices especiales.

• Matrices Estrictamente Diagonal Dominantes (E.D.D.) Teorema 1.20

SeaA una matriz E.D.D. yC=M ax

( n P j6=i |aij| |aii|, i= 1, . . . , n ) ; entonces: 1. A es invertible;

2. ρ(BJ), ρ(BG)≤C es decir, los métodos de Jacobi y Gauss-Seidel convergen. 3. Si0< w61, el métodow-Relajación converge.

• Matrices Sim´etricas Teorema 1.21

SeaA una matriz sim´etrica real; entonces:

1. si A tiene elementos diagonales positivos, entonces el m´etodo de Gauss-Seidel converge si, y s´olo si,A es definida positiva

2. si B = (bij) con bij = −aij, j 6= i y bii = aii es definida +, entonces, el m´etodo de

Jacobi converge si, y s´olo si,A es definida positiva.

3. si A tiene elementos diagonales positivos, entonces el m´etodo w-Relajacin converge si, y s´olo si,A es definida positiva y0< w <2.

• Matrices Tridiagonales. Teorema 1.22 Sean A=        a1 b2 · · · 0 c2 a2 . .. ... .. . . .. ... bn 0 · · · cn an        y A(µ) =        a1 b_µ2 · · · 0 µc2 a2 . .. ... .. . . .. ... bn µ 0 · · · µcn an        entonces: 1. det (A(µ)) = det (A) ∀µ6= 0 2. ρ(BJ)2 =ρ(BG)

3. si los valores propios deBJson reales, entoncesw−Relajacion´ converge si, y sólo si, Jacobi converge. Además, el valor óptimo de w es:

w0 =

2 1 +

q

(18)

1.1.4 El m´etodo del gradiente conjugado.

Este m´etodo se fundamenta en los siguientes resultados.

Teorema 1.23

Dado el sistema Ax=bcon A sim´etrica definida positiva; entonces, son equivalentes: 1. x* es soluci´on del sistema;

2. x* minimiza la forma cuadr´aticag(x) =hx,Axi −2hx,bi (h•,•ies el producto eucl´ıdeo deRn) Teorema 1.24

Para cada vector no nulo, v, y x∈Rn tal queAx6=b yv6 ⊥(b−Ax) se tiene quef(t) =g(x+tv) alcanza su valor m´ınimo en tv =

hv,b−Axi hv,Avi y es:

g(x+tvv) =g(x)−

hv,b−Axi2 hv,Avi El teorema anterior conduce al m´etodo siguiente.

ALGORITMO DE DESCENSO x(0)_{= vector arbitrario;} Para k = 0,1, . . . v(k) ∈Rn− {~0}; tk= h v(k)_,_b₋_Ax(k)_i hv(k)_,_Av(k)_i , entonces,x(k+1)=x(k)+tkv(k) (1.8)

Una forma m´as efectiva de tomar direcciones de descenso es la que se describe en el algoritmo siguiente:

ALGORITMO DE DESCENSO M ÁS R ÁPIDO. x(0) = vector arbitrario; Para k = 0,1, . . . v(k)=b−Ax(k); tk= h v(k)_,_v(k)_i hv(k)_,_Av(k)_i, entonces,x(k+1) =x(k)+tkv(k) (1.9) La sucesión obtenida,

x(k) _{, es convergente a la soluci´}_{on del sistema Ax=b.}

DIRECCIONES CONJUGADAS

La idea es conseguir direcciones{u1,u2, . . . ,un}en Rn que satisfacen la propiedad siguiente:

hui,Auji=δij (1.10)

(en tal caso se dice que las direcciones son A-ortonormales y A es def. +)

La propiedad (1.10) puede expresarse matricialmente por la igualdad: UtAU=In dondeU es la matriz cuyas columnas son los vectores {u1,u2, . . . ,un}.

(19)

El resultado que se muestra a continuaci´on justifica la utilidad de buscar direcciones de descenso con la propiedad anterior.

Teorema 1.25

Sea{u1,u2, . . . ,un}A–ortonormal y x(0) ∈Rn. Entonces, si calculamos los vectores

x(k)=x(k−1)+

D

b−Ax(k−1),uk

E

uk k= 1, . . . , n

verifica: Ax(n) =b, es decir, x(n) es la soluci´on del sistemaAx=b Demostraci´on.

tomamosti =

D

b−Ax(i−1),ui

E

y desarrollamosAx(n)respecto deti, restamosby multiplicamos por ui observando que (Ax(n)−b)⊥uj ∀j

El teorema anterior puede reescribirse para un sistema A-ortogonal de vectores no nulos. ¿c´omo?

M ´ETODO DEL GRADIENTE CONJUGADO.

ENTRADA:A, b, M(no iter.), x(0)∈n_,_r(0) ₌_b₋_Ax(0)_,_v(0) ₌_r(0) PROCESO: Para k= 0,1, . . .,M−1 tk= hr(k)_,_r(k)_i hv(k)_,_Av(k)_i; x (k+1) ₌_x(k)₊_t kv(k) r(k+1) =r(k)−tkAv(k); sk= hr(k+1)_,_r(k+1)_i hr(k)_,_r(k)_i v(k+1)=r(k+1)+skv(k);

SALIDA: aprox.=x(M) con error=

b−Ax (M) Teorema 1.26

El algoritmo de gradiente conjugado verifica:

param < n, si v(k)6=˜₀ _k_{= 0}_,₁_{, . . . , m}_{; entonces,}

• r(i) ₌_b₋_Ax(i) ₀_≤_i_≤_m

•

r(i), 0≤i≤m es un conjunto ortogonal de vectores no nulos.

• Dv(i),Av(j) E = 0 i6=j • r(i),v(j) = 0 j < i y r(i),v(i) = r(i),r(i)

Ejercicio: Toda matriz simétrica real, invertible, admite una base de vectores A−ortogonal. Estudie cómo se puede modificar el algoritmo anterior para matrices simétricas no def. positivas.