M´ etodo de gradiente conjugado con precondicionamiento

M´ etodo de gradiente conjugado con precondicionamiento

Estos apuntes son casi una copia de los apuntes de Greg Fasshauer:

http://www.math.iit.edu/~fass/477577_Chapter_16.pdf

Objetivos. Estudiar la idea del m´etodo de gradiente conjugado precondicionado.

Requisitos. El m´etodo de gradiente conjugado. El n´umero de condici´on de una matriz.

1. Introducci´on breve. Sea A una matriz sim´etrica positiva definida. Consideramos el sistema de ecuaciones Ax = b, donde b es alg´un vector dado. Se sabe que el m´etodo de gradiente conjugado para este sistema de ecuaciones converge mejor cuando la matriz A es bien condicionada, esto es, cuando su n´umero condici´on no es muy grande. En algunos casos se puede construir una matriz positiva sim´etrica M tal que el producto M⁻¹A es mucho mejor condicionado que la matriz original A.

2. Factorizaci´on de la matriz de precondicionamiento. Como M es sim´etrica y positiva definida, se puede encontrar una matriz L invertible tal que

M⁻¹ = LL^>.

Por ejemplo, para calcular L de manera expl´ıcita, uno puede primero calcular la facto- rizaci´on de Cholesky de la matriz M , y luego invertir el factor inferior izquierdo de la factorizaci´on de Cholesky. Es un procedimiento m´as costoso que resolver el sistema origi- nal Ax = b, y en algoritmo que vamos a deducir no se utilizar´a la matriz L en la forma expl´ıcita. Sin embargo, la matriz L sirve para entender el algoritmo.

3. Transformaci´on del sistema. Transformamos el sistema Ax = b:

Ax = b ⇐⇒ M⁻¹Ax = M⁻¹b ⇐⇒ LL^>Ax = LL^>b

⇐⇒ L^>Ax = L^>b ⇐⇒ L^>ALL⁻¹x = L^>b.

Utilizamos la siguiente notaci´on:

A := Lb ^>AL, x := Lb ⁻¹x, bb := L^>b.

Hemos mostrado que el sistema original Ax = b es equivalente al sistema bAbx = bb. Es f´acil verificar que la matriz bA es sim´etrica y positiva definida.

M´etodo de gradiente conjugado con precondicionamiento, p´agina 1 de 4

4. La matriz bA es sim´etrica y positiva definida. En efecto, Ab^> = L^>A^>(L^>)^> = L^>AL = bA, y si v ∈ Rⁿ\ {0_n}, entonces Lv 6= 0_n y

v^>Av = (Lv)b ^>A(Lv) > 0.

Apliquemos el m´etodo de gradiente conjugado a la matriz bA, pero transformemos las f´ormulas del m´etodo de tal manera que en vez de bA o L o bb se utilicen solamente los objetos originales A, M y b.

5. Duda. En la introducci´on pedimos que sea peque˜no el n´umero κ(M⁻¹A). No veo c´omo relacionarlo con κ( bA).

Deducci´ on de las f´ ormulas del algoritmo

Escribimos las f´ormulas principales del m´etodo de gradiente conjugado aplicado a la matriz A y el vector bb b. Luego transformamos estas f´ormulas de tal manera que solamente se utilicen A, M y b.

6. F´ormula para el residuo. El residuo correspondiente al s-´esimo paso se puede escribir como

rb_s = bb − bAxb_s = L^>b − (L^>AL)L⁻¹x_s = L^>r_s. Denotemos por z_s al siguiente residuo modificado:

z_s := M⁻¹r_s. 7. La norma del residuo.

kbr_sk² = (L^>r_s)^>(L^>r_s) = r^>_sLL^>r_s = r_s^>M⁻¹r_s = r_s^>z_s. (1) 8. Direcciones conjugadas. Denotamos por bps a las direcciones en el m´etodo de gra- diente conjugado aplicado a la matriz bA. Se sabe que los vectores pb_s son bA-ortogonales.

Pongamos

ps := Lpbs. Notamos que los vectores p_s son A-ortogonales.

p^>_sApt=pb^>_sL^>ALpbt. (2) Si s 6= t, entonces este producto es 0.

M´etodo de gradiente conjugado con precondicionamiento, p´agina 2 de 4

9. F´ormula para la longitud del paso. Por (1) y (2),

αb_s= br^>_sbr_s

pb^>_sAbpb_s = r^>_sz_s p^>_sAp_s.

10. F´ormula para el coeficiente de ortogonalizaci´on. Notamos que

pb^>_srb_s+1 = p^>_s(L⁻¹)^>L^>r_s = p^>_sr_s. Por eso

βb_s+1 = pb^>_srb_s+1

pb^>_sAbpb_s = p^>_sr_s+1 p^>_sAps

. (3)

11. Renovaci´on del vector.

xb_s+1 =bx_s+ α_spb_s ⇐⇒ L⁻¹x_s+1 = L⁻¹x_s+ α_sL⁻¹p_s ⇐⇒ x_s+1 = x_s+ α_sp_s. 12. Renovaci´on del residuo.

br_s+1 =rb_s− α_sAbpb_s ⇐⇒ L^>r_s+1 = L^>r_s− α_sL^>AL L⁻¹p_s

⇐⇒ r_s+1 = r_s− α_sAp_s. 13. Renovaci´on de la direcci´on.

pb_s+1 =br_s+1+ β_s+1pb_s ⇐⇒ L⁻¹p_s+1= L^>r_s+1+ β_s+1L⁻¹p_s

⇐⇒ p_s+1= z_s+1+ β_s+1p_s.

M´etodo de gradiente conjugado con precondicionamiento, p´agina 3 de 4

Algoritmo

14. M´etodo de gradiente conjugado con precondicionamiento, en el lenguaje Matlab/Octave. Supongamos que est´a dada una funci´on solveM que resuelve sistemas de ecuaciones lineales con la matriz M . Por ejemplo, si M es una matriz dispersa, entonces se puede usar la funci´on est´andar para resolver sistemas:

solveM = @ (w) M \ w;

Entonces el m´etodo de gradiente conjugado con el precondicionador M se puede programar as´ı:

function [x, s] = precondconjgrad(A, b, tol, smax, solveM), n = length(b);

x = zeros(n, 1);

r = b;

z = solveM(r);

p = z;

delta = r’ * p;

nr = norm(r);

s = 0;

while (s < smax) && (nr >= tol), q = A * p;

alpha = delta / (p’ * q);

x = x + alpha * p;

rold = r;

r = r - alpha * q;

z = solveM(r);

deltaold = delta;

delta = r’ * z;

nr = norm(r);

beta = delta / deltaold;

p = z + beta * p;

s = s + 1;

end end

M´etodo de gradiente conjugado con precondicionamiento, p´agina 4 de 4