Miguel Angel Cano Lengua

(1)

M ´etodos Num ´ericos

Miguel Angel Cano Lengua

[email protected]

Universidad Wiener

Sistema de Ecuaciones Lineales:M ´etodos Directos

(2)

ur-logo

2 Sistema de Ecuaciones Lineales

3 _{M ´etodos Directos}

Sistemas Triangulares

M étodo de eliminaci ón Gausiana Estrat égia de Pivotiamiento Matrices Tridiagonales Factorizaci ón LU

Descomposici ´on de Cholesky 4 _Referencias

(3)

Introducci ´on Sistema de Ecuaciones Lineales M ´etodos Directos Referencias

Palabras claves

Sistemas Lineales

La necesidad de resolver sistemas lineales aparece en una gran cantidad de problemas cient´ıficos.

Existen estimativas que de cuatro problemas de

simulaci ´on en matem ´atica, tres se convierten en resolver sistemas lineales.

Un ejemplo es la soluci ´on de ecuaciones diferenciales por elementos finitos y diferencias finitas.

(4)

ur-logo

Palabras claves

Sistemas Lineales

Sistema Lineal

El problema de resolver un sistema de ecuaciones lineales consiste en encontrar x = (x1,x2, ...,xn)tal que

a11x1+a12x2+ ... +a1nxn =b1

a21x1+a22x2+ ... +a2nxn =b2

...

(5)

Palabras claves

Sistemas Lineales

Expresi ´on Matricial

Definiendo A =     a11 a12 ... a1n a21 a22 ... a2n ... ... ... ... an1 an2 ... ann.     , b =     b1 b2 ... bn    

(6)

ur-logo

Palabras claves

Sistemas Lineales

Expresi ´on Matricial

encontrar el vector x ∈ Rntal que: Ax = b

(7)

Palabras claves

Sistemas Lineales

Observa

Si admitimos que A ∈ Rn×n es invertible, entonces la soluci ´on

ser ´a

x∗ =A−1b.

Lamentablemente, tanto el saber si la matriz es invertible como tambi ´en obtener la inversa de una matriz, son trabajos

(8)

ur-logo

Palabras claves

Sistemas Lineales

Sistemas Triangulares

M étodo de eliminaci ón Gausiana Estrat égia de Pivotiamiento Matrices Tridiagonales Factorizaci ón LU

Refinamiento de la Soluci ´on

Condicionamiento de la matriz y estimativa del error Sistemas In(sobre)-determinados

(9)

Sistemas Triangulares

M étodo de eliminaci ón Gausiana Estrat égia de Pivotiamiento Matrices Tridiagonales Factorizaci ón LU

Descomposici ´on de Cholesky

Sistemas Triangulares

Supongamos que tenemos un sistema donde n = 2. En este caso: a11x1 + a12x2 =b1 a22x2 =b2 donde a116= 0 y a22 6= 0, entonces: x2= b2 a22 1

(10)

ur-logo

Palabras claves

Sistemas Lineales

Supongamos que tenemos un sistema donde n = 3. En este caso:    a11x1 + a12x2 + a13x3=b1 a22x2 + a23x3=b2 a33x3=b3 donde a11,a22,a33 6= 0 entonces: x3= b3 a33 x2= 1 a22 (b2− a23x3) 1

(11)

M étodo de eliminaci ón Gausiana Estrat égia de Pivotiamiento Matrices Tridiagonales Factorizaci ón LU

Palabras claves

Sistemas Lineales

En general, consideremos el sistema            a11x1 + a12x2 ... + a1,n−1xn−1 +a1nxn=b1 0 + a22x2 ... + a2,n−1xn−1 +a2nxn=b2 ... ... ... ... ... ... ... 0 0 0 0 0 an−1,n−1xn−1 +an−1,nxn=bn−1 0 0 0 0 0 0 annxn =bn

(12)

ur-logo

Palabras claves

Sistemas Lineales xn= bn ann xn−1 = 1 an−1,n−1 bn−1− an−1,nxn ... x2= 1 a22 b2− a2nxn− a2,n−1xn−1− ... − a23x3 x1= 1 a11 b1− a1nxn− a1,n−1xn−1− ... − a13x3− a12x2

(13)

M étodo de eliminaci ón Gausiana Estrat égia de Pivotiamiento Matrices Tridiagonales Factorizaci ón LU Descomposici ón de Cholesky

Palabras claves

Sistemas Lineales Algoritmo Triangular Dados aij, j ≥ i, bi,1 ≤ i, j ≤ n. Hacer xn= _ab_nnn suma = 0 Para k = n − 1 : 1 hacer suma = b_k Para j = k + 1 : n hacer suma = suma − akjxj Fin (Para)

(14)

ur-logo

Palabras claves

Sistemas Lineales Ejemplo Sea el problema    3x1 + 2x2 + 2x3=5 2x2 + 2x3=6 1x3=3

La soluci ´on es:

(15)

M étodo de eliminaci ón Gausiana Estrat égia de Pivotiamiento Matrices Tridiagonales Factorizaci ón LU Descomposici ón de Cholesky

Palabras claves

Sistemas Lineales Complejidad

Vemos directamente que el algoritmo envuelve:

1 _{n divisiones} 2 _Adiciones: n P j=1 j = n(n−1)₂ 3 _{Multiplicaciones:} n P j=1 j = n(n−1)₂

(16)

ur-logo

M ´etodo de eliminaci ´on Gausiana

Propiedad

Los m ´etodos directos utilizados para resolver el sistema Ax = b no se altera si lo sometemos a una sucesi ´on de operaciones del tipo:

1 Multiplicaci ´on de una ecuaci ´on por una constante no nula.

2 _{Suma del m ´ultiplo de una ecuaci ´on con otra.}

3 _{Cambio de orden de las ecuaciones}

Presentaremos el m ´etodo de eliminaci ´on Gausiana (Gaus, 1777-1855)

(17)

M ´etodo de eliminaci ´on Gausiana

Estrat égia de Pivotiamiento Matrices Tridiagonales Factorizaci ón LU Descomposici ón de Cholesky

Palabras claves

Sistemas Lineales Considere el sistema:        a11 a12 a13 a14 b1 a21 a22 a23 a24 b2 a31 a32 a33 a34 b3 a41 a42 a43 a44 b4.

(18)

ur-logo

Palabras claves

Sistemas Lineales

Eliminaci ´on de la primera columna:

Supongamos que a11 6= 0.

Trabajando en la segunda fila

(a11 a12 a13 a14 b1) × −a_a21₁₁+

(a21 a22 a23 a24 b2)

(19)

Estrat ´egia de Pivotiamiento Matrices Tridiagonales Factorizaci ´on LU

Palabras claves

Sistemas Lineales

Trabajando en la tercera fila

(a11 a12 a13 a14 b1) × −aa3111+

(a31 a32 a33 a34 b3)

(20)

ur-logo

Palabras claves

Sistemas Lineales

Trabajando en la cuarta fila

(a11 a12 a13 a14 b1) × −aa4111+

(a41 a42 a43 a44 b4)

(21)

Palabras claves

Sistemas Lineales

Trabajando en la i− ´esima fila, i = 2, 3, 4.

(a11 a12 a13 a14 b1) × −aa11i1+

(ai1 ai2 ai3 ai4 bi)

(22)

ur-logo

Palabras claves

Sistemas Lineales

Este proceso podemos expresarlo como: Para i = 2 hasta 4, hacer

Para j = 2 hasta 4 a(2)_ij =aij − (_aa₁₁i1)a1j

Fin (Para)

b(2)_i =bi− (_aa₁₁i1)b1.

(23)

Palabras claves

Sistemas Lineales En general:

Para i = 2 hasta n, hacer Para j = 2 hasta n

a(2)_ij =aij − (_aa₁₁i1)a1j

Fin (Para)

b(2)_i =bi− (_aa₁₁i1)b1.

(24)

ur-logo

Palabras claves

Sistemas Lineales La matriz queda          a11 a12 a13 a14 b1 0 a(2)₂₂ a(2)₂₃ a(2)₂₄ b₂(2) 0 a(2)₃₂ a(2)₃₃ a(2)₃₄ b₃(2) 0 a(2)₄₂ a(2)₄₃ a(2)₄₄ b(2)₄ .

(25)

Palabras claves

Sistemas Lineales

Eliminaci ´on de la segunda columna: Supongamos que a(2)₂₂ 6= 0.

Trabajando en la tercera fila

(0 a(2)₂₂ a(2)₂₃ a₂₄(2) b(2)₂ ) × −a32

a(2)₂₂+

(0 a(2)₃₂ a(2)₃₃ a₃₄(2) b₃(2))

(26)

ur-logo

Palabras claves

Sistemas Lineales

Trabajando en la cuarta fila:

(0 a(2)₂₂ a(2)₂₃ a₂₄(2) b(2)₂ ) × −a42 a(2)₂₂+ (0 a(2)₄₂ a(2)₄₃ a₄₄(2) b₄(2)) 0 0 a(2)₄₃ − (a (2) 42 a(2)₂₂)a (2) 23 a (2) 44 − ( a(2)₄₂ a(2)₂₂)a (2) 24 b (2) 4 − ( a(2)₄₂ a(2)₂₂)b (2) 2

(27)

Palabras claves

Sistemas Lineales En general:

Para i = 3 hasta n, hacer Para j = 3 hasta n a(3)_ij =a2_ij − (a (2) i2 a(2)₂₂)a (2) 2j Fin (Para) b(3)_i =b_i(2)− (a (2) i2 a(2)₂₂)b (2) 2 . Fin (Para)

(28)

ur-logo

Palabras claves

Sistemas Lineales

El sistema queda como:          a11 a12 a13 a14 b1 0 a(2)₂₂ a(2)₂₃ a(2)₂₄ b₂(2) 0 0 a(3)₃₃ a(3)₃₄ b₃(3) 0 0 a(3)₄₃ a(3)₄₄ b(3)₄ .

(29)

Palabras claves

Sistemas Lineales

En general, repitiendo el proceso obtendremos un sistema de la forma:              a11x1 + a12x2 ... + a1,n−1xn−1 +a1nxn=b1 0 + a(2)₂₂x2 ... + a (2) 2,n−1xn−1 +a2nxn=b₂(2) ... ... ... ... ... ... ... 0 0 0 0 0 a(n−1)_n−1,n−1xn−1 +a(n−1)_n−1,nxn=b_n−1(n−1) 0 0 0 0 0 0 a(n)x =b(n)

(30)

ur-logo

Palabras claves

Sistemas Lineales

Observaci ´on

En el proceso de eliminaci ´on, los elementos

a11,a(2)₂₂,a(3)₃₃, ...,a(j)_jj que aparecen en la diagonal son

llamados pivots.

Si en el proceso de eliminaci ´on uno de los pivots se anula, debemos cambiar las filas (siempre escogiendo aquellas debajo de la diagonal para no perder la eliminaci ´on anterior).

(31)

Algoritmo Eliminaci ´on Gaussiana

Dados aij, bi,1 ≤ i, j ≤ n.

Para k = 1 : n − 1 hacer

encontrar i ≥ k tal que aik 6= 0

Si aii =0 para todo i ≥ k entonces A−1no existe

Cambie la linea k con la linea i Para i = k + 1 : n hacer

m = mik = _aa_kkik

bi =bi− mbk

Para j = k + 1 : n hacer aij =aij− makj

(32)

ur-logo

Complejidad de la eliminaci ´on de Gauss

Para cada valor j en el tercer bloque del algoritmo son realizadas dos operaciones: una multiplicaci ´on y una adici ´on. As´ı en este lazo son necesarias:

n

X

j=k +1

(33)

Complejidad de la eliminaci ´on de Gauss

En el segundo bloque (el bloque en i) adem ás de las operaciones contabilizadas anteriormente, para cad i realizamos una divisi ón, una multiplicaci ón y una resta. As´ı el n úmero de operaciones ser á:

n

X

i=k +1

(34)

ur-logo

Complejidad de la eliminaci ´on de Gauss

M ´etodo de Gauss

Para obtener el n ´umero total de operaciones realizamos la suma en k , correspondiente al bloque externo del

algoritmo: n−1 X k =1 3(n − k ) + 2(n − k )(n − k ) = 3 n−1 X k =1 (n − k ) + 2 n−1 X k =1 (n − k )2.

(35)

Complejidad de la eliminaci ´on de Gauss

M ´etodo de Gauss

N ´umero de operaciones aritm ´eticas (cont.)

Obteniendo as´ı, la cantidad de operaciones 2 3n 3₊n2 2 − 7 6n.

Observe que en los c ´alculos anteriores usamos el resultado:

n−1

X

(36)

ur-logo

N ´umero de operaciones aritm ´eticas

M ´etodo de Gauss

Para obtener el n úmero total de operaciones en el m étodo de eliminaci ón gaussiana, necesitamos sumar el n úmero de operaciones neces árias para resolver el sistema triangular.

As´ı, la aplicaci ón del m étodo de eliminaci ón de Gauss, el n úmero de operaciones aritm éticas es:

2 3n 3₊n2 2 − 7 6n + n 2₌ 2 3n 3₊3 2n 2₋ 7 6n.

(37)

Ejemplo

M ´etodo de Gauss    2x1 + 4x2 + 6x3=16 −1x2 + x3=1 2x1 + −x2 + 4x3=7

La soluci ´on es:

(38)

ur-logo

Estrat ´egia de Pivoteamiento

Considere el sistema:

0.004x1 + 15.73x2 = 15.77

0.423x1 − 24.72x2 = −20.49

Trabajando con 4 d´ıgitos en la representaci ón de punto flotante y redondeando al despreciar el quinto d´ıgito, procedemos a la eliminaci ón Gaussina de x1en la segunda ecuaci ón.

(39)

Sistemas Triangulares M ´etodo de eliminaci ´on Gausiana

Estrat ´egia de Pivotiamiento

Matrices Tridiagonales Factorizaci ´on LU

Estrat ´egia de Pivoteamiento

Obtenemos que:

m = 105.8

0.004x1 + 15.73x2 = 15.77

−1689x2 = −1688

De esta manera la soluci ´on obtenida es: x1=12.5; x2=0.9994.

Por otro lado, podemos verificar que la soluci ´on es:

(40)

ur-logo

Estrat ´egia de Pivoteamiento

Invirtiendo el orden de las filas en el sstema, tenemos

0.423x1 − 24.72x2 = −20.49

0.004x1 + 15.73x2 = 15.77

Trabajando de nuevo con cuatro d´ıgitos y eliminamos x1en la

segunda fila tenemos: m = 0.956 × 10−2,tenemos

0.423x1 − 24.72x2 = −20.49

−15.96x2 = 15.96

De esta manera la soluci ´on obtenida es: x1=10; x2=1

(41)

Sistemas Triangulares M ´etodo de eliminaci ´on Gausiana

Estrat ´egia de Pivotiamiento

Matrices Tridiagonales Factorizaci ´on LU

Algoritmo Eliminaci ´on Gaussiana con pivoteamiento

Para k = 1 : n − 1 hacer w = |akk|

Para j = k : n hacer

Si |ajk| > w entonces w = |ajk| y r = j

Fin (Para)

Cambiar las f´ılas k y r Para i = k + 1 : n hacer

m = mik = _aa_kkik

b_i =b_i− mbk

(42)

ur-logo

Matriz de banda

Una matriz es dicha esparsa si la cantidad de ceros es superior al n ´umero de elementos no nulos.

Si adem ´as de esparsa, la matriz tiene los elementos no nulos concentrados en torno de la diagonal, esta es llamada matriz de banda.

(43)

Sistemas Triangulares M étodo de eliminaci ón Gausiana Estrat égia de Pivotiamiento

Matrices Tridiagonales

Factorizaci ´on LU

Matriz de banda

Definici ´on

Una matriz A = (aij)es una matriz de banda p + q + 1, si

(44)

ur-logo

Matriz Tridiagonal

Si p = q = 1, la matriz de banda es llamada tridiagonal, i.e,

A =       d1 c1 a2 d2 c2 ... ... ... an−1 dn−1 cn−1 an dn      

(45)

Sistemas Triangulares M étodo de eliminaci ón Gausiana Estrat égia de Pivotiamiento

Matrices Tridiagonales

Matriz Tridiagonal

Para resolver un sistema lineal con una matriz tridiagonal, i. e,

A =       d1 c1 a2 d2 c2 ... ... ... an−1 dn−1 cn−1 an dn       , b =      b1 b2 .. . bn     

podemos usar cuatro vectores, una para la diagonal principal, dos para las diagonales secundarias y una para el t ´ermino

(46)

ur-logo

Algoritmo Sistema Tridiagonal

Dados vectores a, b, c, d Para k = 1 : n − 1 hacer dk +1=dk +1− (ak +1_d_k )ck bk +1=bk +1− (ak +1_d_k )bk xn= b_dn_n Para k = n − 1 : 1 hacer x_k = (b_k − ckxk +1)/dk Fin(Para) Fin(Para)

(47)

Sistemas Triangulares M étodo de eliminaci ón Gausiana Estrat égia de Pivotiamiento Matrices Tridiagonales Factorizaci ón LU Descomposici ón de Cholesky

Factorizaci ´on LU

Supongamos que A = LU, donde

L es una matriz triangular inferior con elementos de su diagonal igual a 1, y

U es una matriz triangular superior, entonces Ax = b ⇐⇒ LUx = b

(48)

ur-logo

Factorizaci ´on LU

el cual permite obtener dos sistemas:

Sistema 1: encontrar y tal que:

Ly = b

Sistema 2: encontrar x tal que:

(49)

Sistemas Triangulares M étodo de eliminaci ón Gausiana Estrat égia de Pivotiamiento Matrices Tridiagonales

Factorizaci ´on LU

Conocidas L y U, el sistema ser ´a resuelta en 2n2

operaciones aritm ´eticas (dos sistemas triangulares) lo que

representa una ganancia substancial comparado con 2/3n3

(50)

ur-logo

Ejercicio de Factorizaci ´on LU

Estudiar el problema de la existencia de las matrices L y U. Referencia: Matrix Computation, Golub-Van Loan, 1989.

(51)

Observaciones

1 _{Dada una matriz A, los factores L y U son ´unicos si}

exigimos que todos los elementos de la diagonal de L son iguales a 1.

2 _{Se pueden encontrar directamente los elementos de L y U}

a partir de la definici ´on de producto de matrices,

obteniendose un sistema de n2ecuaciones y n2

incognitas, que ser ´a resuelto progresivamente a partir de los valores anteriormente calculados.

(52)

ur-logo

Ejemplo

Considere la matriz: A =   a11 a12 a13 a21 a22 a23 a31 a32 a33  

(53)

Ejemplo

Considere la matriz: LU =   1 0 0 m21 1 0 m31 m32 1     u11 u12 u13 0 u22 u23 0 0 u33  =   a11 a12 a13 a21 a22 a23 a31 a32 a33  

(54)

ur-logo

Ejemplo

  u11 u12 u13 m21u11 m21u12+u22 m21u13+u23 m31u11 m31u12+m32u22 m31u13+m32u23+u33  =   a11 a12 a13 a21 a22 a23 a31 a32 a33  

(55)

Formulaci ´on

De esta manera, si llamamos mij los elementos de L y de uij los

elementos de U, obtenemos: mii =1, ∀i = 1, ..., n uij =aij − i−1 X k =1 mikukj, para i ≤ j mij =  aij − j−1 X mikukj  /u_jj

(56)

ur-logo

Algoritmo Factorizaci ´on LU

Dado la matriz A = (aij) Para i = 1 : n hacer Para j = i : n, hacer uij =aij − i−1 P k =1 mikukj Fin (Para) Para j = i + 1 : n, hacer mji = aji − i−1 P k =1 mjkuki /uii Fin(Para) Fin(Para)

(57)

Observaciones

1 _{Se puede mostrar que los coeficientes m}

ij calculados en el

algoritmo de eliminaci ón Gaussina forman la matriz L (desde que no se realice ning ún cambio de fila) y que la matriz triangular superior del m étodo de eliminaci ón Gaussiana es la propia matriz U.

2 _{En el caso de cambio de filas (pivoteamiento) en la}

eliminaci ´on gaussiana tambi ´en tendremos una

factorizaci ´on triangular pero con LU = A0,donde A0es obtenida con el cambio de filas de A, (ver Ruggiero-Lopes,

(58)

ur-logo

Ejemplo

Sea la matriz: A =   1 +2 −1 2 +3 −2 1 −2 +1  , b =   2 3 0  

(59)

Ejemplo

Calculando los mij y uij por el algoritmo presentado obtenemos:

L =   1 0 0 2 1 0 1 4 1  ; U =   1 +2 −1 0 −1 0 0 0 2  

(60)

ur-logo

Ejemplo

Resolveremos el problema usando los sistemas:

Sistema 1: encontrar y tal que:

Ly = b

Sistema 2: encontrar x tal que:

(61)

Ejemplo

Sistema 1: L =   1 0 0 2 1 0 1 4 1     y1 y2 y3  =   2 3 0   obtenemos: y1=2; y2= −1; y3=2

(62)

ur-logo

Ejemplo

Sistema 2: con estos valores calculamos x atrav ´es del sistema Ux = y , i.e.,   1 2 −1 0 −1 0 0 0 2     x1 x2 x3  =   2 −1 2   obtenemos: x1=1; x2=1; x3=1

(63)

Sistemas Triangulares M étodo de eliminaci ón Gausiana Estrat égia de Pivotiamiento Matrices Tridiagonales Factorizaci ón LU

En algunas aplicaciones, la matriz A es sim ´etrica (A = AT) y definida positiva (xTAx > 0, ∀x ∈ Rn,x 6= 0). En este caso, se puede demostrar que la factorizaci ´on triangular es:

A = LDLT,

donde L es una matriz triangular inferior (con 1 en la diagonal) y D es una matriz diagonal. Esta es la descomposici ´on de Cholesky, y el algoritmo es el siguiente:

(64)

ur-logo

Algoritmo Factorizaci ´on de Cholesky

Dado la matriz A = (aij),sim ´etrica y definida positiva.

Para j = 1 : n, hacer dj =ajj −P dkljk Para i = j + 1 : n, hacer lij = aij− j−1 P k =1 dklikljk ! /dj Fin(Para) Fin(Para)

(65)

Sistemas Triangulares M étodo de eliminaci ón Gausiana Estrat égia de Pivotiamiento Matrices Tridiagonales Factorizaci ón LU

Observaciones

La existencia de la descomposici ón de Cholesky es una condici ón necesaria y suficiente para que una matriz sea definida positiva. As´ı, el algoritmo tambi én puede ser usado para verificar si una matriz sim étrica es definida positiva.

(66)

ur-logo

Referencias

1 _{R. L. Burden y J. D. Faires. An ´alisis Num ´erico. Editorial}

Iberoamericana. M ´exico 1995.

2 _{A. Nieves Hurtado y F. C. Dom´ınguez S. M ´etodos}

Num ´ericos aplicados a la Ingenier´ıa. C´ıa Editorial Continental. M ´exico, 1996.

3 _{S. Chapra y R. Canale. M ´etodos Num ´ericos para}

Ingenieros, 5 Edici ´on, Mc Graw Hill, 2007.

4 _{David Kincaid y Ward Cheney. An ´alisis Num ´erico. Las}

Matem áticas del C álculo Cient´ıfico. Editorial Addison-Wesley Iberoamericana, M éxico, 1994.