Métodos para matrices especiales. Descomposición de Cholesky

Métodos para matrices especiales.

Descomposición de Cholesky

MAT-251 Dr. Alonso Ramírez Manzanares_{CIMAT A.C.}

e-mail: [email protected]

web: http://www.cimat.mx/~alram/met_num/

Dr. Joaquín Peña Acevedo CIMAT A.C.

Alonso Ramírez Manzanares _{Métodos Numéricos 31.08.2015}

Ventajas computacionales de las factorizaciones ...

en segundos

Ventajas computacionales de las factorizaciones ...

en segundos

Alonso Ramírez Manzanares _{Métodos Numéricos 31.08.2015}

Ventajas computacionales de las factorizaciones ...

en segundos

• ¿donde se usan factorizaciones en la vida real? ....

Ventajas computacionales de las factorizaciones ...

en segundos

• ¿donde se usan factorizaciones en la vida real? ....

• Si hacemos una descomposición ( O(n3_{)), de tal forma que resolvemos el}

Alonso Ramírez Manzanares _{Métodos Numéricos 31.08.2015}

Ventajas computacionales de las factorizaciones ...

en segundos

• ¿donde se usan factorizaciones en la vida real? ....

• Si hacemos una descomposición ( O(n3_{)), de tal forma que resolvemos el}

sistema Axi=bi para diferentes vectores bi.

• Entonces la solución estará dada por el orden O(n2_{) en lugar de O(n}3_).

Ventajas computacionales de las factorizaciones ...

en segundos

• ¿donde se usan factorizaciones en la vida real? ....

• Si hacemos una descomposición ( O(n3_{)), de tal forma que resolvemos el}

sistema Axi=bi para diferentes vectores bi.

• Entonces la solución estará dada por el orden O(n2_{) en lugar de O(n}3_).

Alonso Ramírez Manzanares _{Métodos Numéricos 31.08.2015}

Ventajas computacionales de las factorizaciones ...

en segundos

• ¿donde se usan factorizaciones en la vida real? ....

• Si hacemos una descomposición ( O(n3_{)), de tal forma que resolvemos el}

sistema Axi=bi para diferentes vectores bi.

• Entonces la solución estará dada por el orden O(n2_{) en lugar de O(n}3_).

• Para sistemas de tamaño, digamos de 1000x1000

• 10002 _{= 1,000,000 = 0.001 * 1,000,000,000 = 0.001 * 1,000}3

Alonso Ramírez Manzanares _{Métodos Numéricos 31.08.2015}

Matrices con diagonal estrictamente-dominante

• La definición de una matriz cuadrada estrictamente diagonal-dominante es la siguiente:

2 Monday, August 31, 15

Matrices con diagonal estrictamente-dominante

• La definición de una matriz cuadrada estrictamente diagonal-dominante es la siguiente:

Alonso Ramírez Manzanares _{Métodos Numéricos 31.08.2015}

Matrices con diagonal estrictamente-dominante

• La definición de una matriz cuadrada estrictamente diagonal-dominante es la siguiente:

2 Monday, August 31, 15

Matrices con diagonal estrictamente-dominante

• La definición de una matriz cuadrada estrictamente diagonal-dominante es la siguiente:

• Nótese que dada una matriz estrictamente diagonal-dominante, su transpuesta no tiene por que serlo.

Alonso Ramírez Manzanares _{Métodos Numéricos 31.08.2015}

Matrices con diagonal estrictamente-dominante

• La definición de una matriz cuadrada estrictamente diagonal-dominante es la siguiente:

• Nótese que dada una matriz estrictamente diagonal-dominante, su transpuesta no tiene por que serlo.

• Una matriz estrictamente diagonal-dominante tiene inversa. Se puede aplicar eliminación Gaussiana sin necesidad de hacer intercambio de

renglones, y los cálculos serán estables con respecto a los errores de redondeo.

2 Monday, August 31, 15

Una matriz estrictamente diagonal-dominante tiene

inversa, demostración:

• Prueba por contradicción: consideremos que es singular, entonces

consideremos Ax=0, con solución x = (xi) que no es cero. Sea k un índice para

Alonso Ramírez Manzanares _{Métodos Numéricos 31.08.2015}

Una matriz estrictamente diagonal-dominante tiene

inversa, demostración:

• Prueba por contradicción: consideremos que es singular, entonces

consideremos Ax=0, con solución x = (xi) que no es cero. Sea k un índice para

el cual 0 < |xk| = max 1≤j≤n |xj|.

Matrices definidas positivas

• Aquí trabajaremos con aquellas matrices cuadradas y simétricas tales que xT_{A x > 0 para todo vector x diferente de 0. Es decir que la matriz de tamaño}

Alonso Ramírez Manzanares _{Métodos Numéricos 31.08.2015}

Matrices definidas positivas

• Aquí trabajaremos con aquellas matrices cuadradas y simétricas tales que xT_{A x > 0 para todo vector x diferente de 0.}

• Ejemplo, una matriz positiva:

Matrices definidas positivas

• Aquí trabajaremos con aquellas matrices cuadradas y simétricas tales que xT_{A x > 0 para todo vector x diferente de 0.}

Alonso Ramírez Manzanares _{Métodos Numéricos 31.08.2015}

Matrices definidas positivas

• Aquí trabajaremos con aquellas matrices cuadradas y simétricas tales que xT_{A x > 0 para todo vector x diferente de 0.}

• Ejemplo, una matriz positiva:

Matrices definidas positivas

• Aquí trabajaremos con aquellas matrices cuadradas y simétricas tales que xT_{A x > 0 para todo vector x diferente de 0.}

• Ejemplo, una matriz positiva:

Alonso Ramírez Manzanares _{Métodos Numéricos 31.08.2015}

Matrices definidas positivas

• Una matriz no positiva pero que es definida positiva

Matrices definidas positivas

Alonso Ramírez Manzanares _{Métodos Numéricos 31.08.2015}

Matrices definidas positivas

• Una matriz no positiva pero que es definida positiva

La expresión solo puede ser cero cuando todos los xi son cero.

Matrices definidas positivas

• Las matrices positivas definidas aparecen mucho en problemas de CNyE, por ejemplo en las matrices de covarianza.

Alonso Ramírez Manzanares _{Métodos Numéricos 31.08.2015}

Matrices definida positiva

Matrices definida positiva

Alonso Ramírez Manzanares _{Métodos Numéricos 31.08.2015}

Matrices definida positiva

• Propiedades de estas matrices: • A es no singular.

Matrices definida positiva

• Propiedades de estas matrices: • A es no singular.

• Demostración por contradicción: Suponemos singularidad: Ax=0, para x diferente cero, entonces xT_{Ax =0, lo cual contradice que A es}

Alonso Ramírez Manzanares _{Métodos Numéricos 31.08.2015}

Matrices definida positiva

• Propiedades de estas matrices: • A es no singular.

• Demostración por contradicción: Suponemos singularidad: Ax=0, para x diferente cero, entonces xT_{Ax =0, lo cual contradice que A es}

definida positiva.

• aii > 0 para toda i=1,...,n, por lo tanto la traza es no negativa.

Matrices definida positiva

• Propiedades de estas matrices: • A es no singular.

• Demostración por contradicción: Suponemos singularidad: Ax=0, para x diferente cero, entonces xT_{Ax =0, lo cual contradice que A es}

definida positiva.

• aii > 0 para toda i=1,...,n, por lo tanto la traza es no negativa.

• Demostración: Para una i cualquiera, definamos x = (xk) por xi = 1 y xj

Alonso Ramírez Manzanares _{Métodos Numéricos 31.08.2015}

Matrices definida positiva

• Propiedades de estas matrices: • A es no singular.

• Demostración por contradicción: Suponemos singularidad: Ax=0, para x diferente cero, entonces xT_{Ax =0, lo cual contradice que A es}

definida positiva.

• aii > 0 para toda i=1,...,n, por lo tanto la traza es no negativa.

• Demostración: Para una i cualquiera, definamos x = (xk) por xi = 1 y xj

= 0, si j ≠ i. Entonces x ≠ 0, por lo que 0 < xT_{Ax = aii.}

• max i ≤ k,j ≤n |akj| ≤ max 1≤i≤n |aii|

Matrices definida positiva

• Propiedades de estas matrices: • A es no singular.

• Demostración por contradicción: Suponemos singularidad: Ax=0, para x diferente cero, entonces xT_{Ax =0, lo cual contradice que A es}

definida positiva.

• aii > 0 para toda i=1,...,n, por lo tanto la traza es no negativa.

• Demostración: Para una i cualquiera, definamos x = (xk) por xi = 1 y xj

= 0, si j ≠ i. Entonces x ≠ 0, por lo que 0 < xT_{Ax = aii.}

• max i ≤ k,j ≤n |akj| ≤ max 1≤i≤n |aii|

Alonso Ramírez Manzanares _{Métodos Numéricos 31.08.2015}

Matrices definida positiva

• Propiedades de estas matrices: • A es no singular.

• Demostración por contradicción: Suponemos singularidad: Ax=0, para x diferente cero, entonces xT_{Ax =0, lo cual contradice que A es}

definida positiva.

• aii > 0 para toda i=1,...,n, por lo tanto la traza es no negativa.

• Demostración: Para una i cualquiera, definamos x = (xk) por xi = 1 y xj

= 0, si j ≠ i. Entonces x ≠ 0, por lo que 0 < xT_{Ax = aii.}

• max i ≤ k,j ≤n |akj| ≤ max 1≤i≤n |aii|

• Demostración: Tarea. • aij2 < aiiajj para cada i ≠ j

Matrices definida positiva

• Propiedades de estas matrices: • A es no singular.

• Demostración por contradicción: Suponemos singularidad: Ax=0, para x diferente cero, entonces xT_{Ax =0, lo cual contradice que A es}

definida positiva.

• aii > 0 para toda i=1,...,n, por lo tanto la traza es no negativa.

• Demostración: Para una i cualquiera, definamos x = (xk) por xi = 1 y xj

= 0, si j ≠ i. Entonces x ≠ 0, por lo que 0 < xT_{Ax = aii.}

• max i ≤ k,j ≤n |akj| ≤ max 1≤i≤n |aii|

• Demostración: Tarea. • aij2 < aiiajj para cada i ≠ j

Alonso Ramírez Manzanares _{Métodos Numéricos 31.08.2015}

Matrices definida positiva

• Propiedades de estas matrices (2):

• Se puede aplicar eliminación Gaussiana si necesidad de intercambio de renglones.

• Se puede factorizar en la forma L LT _{, donde L es una matriz triangular}

inferior con entradas positivas en la diagonal.

• Se puede factorizar en la forma LDLT_{, donde L es una matriz triangular}

inferior con unos en la diagonal y D es una matriz diagonal con entradas positivas.

Descomposición (factorización) de Cholesky

• André-Louis Cholesky (15 de Octubre de 1875 - 31 de Agosto de 1918). • Se factoriza A = L LT _{, donde L es una matriz triangular inferior con}

entradas positivas en la diagonal. • La descomposición es única,

Alonso Ramírez Manzanares _{Métodos Numéricos 31.08.2015}

Descomposición (factorización) de Cholesky

• André-Louis Cholesky (15 de Octubre de 1875 - 31 de Agosto de 1918). • Se factoriza A = L LT _{, donde L es una matriz triangular inferior con}

entradas positivas en la diagonal. • La descomposición es única,

Descomposición (factorización) de Cholesky

• Algoritmo

... es simétrica...

Alonso Ramírez Manzanares _{Métodos Numéricos 31.08.2015}

Descomposición (factorización) de Cholesky

... es simétrica...

=

Descomposición (factorización) de Cholesky

... es simétrica...

=

• De tal manera,

que procedemos al cálculo columna por columna,

Alonso Ramírez Manzanares _{Métodos Numéricos 31.08.2015}

Descomposición (factorización) de Cholesky

... es simétrica...

=

Es positivo

• De tal manera,

que procedemos al cálculo columna por columna,

Descomposición (factorización) de Cholesky

... es simétrica...

=

• De tal manera,

que procedemos al cálculo columna por columna,

Alonso Ramírez Manzanares _{Métodos Numéricos 31.08.2015}

Descomposición (factorización) de Cholesky

... es simétrica...

=

Es positivo

• De tal manera,

que procedemos al cálculo columna por columna,

Descomposición (factorización) de Cholesky

... es simétrica...

=

para

i

>

j

• De tal manera,

que procedemos al cálculo columna por columna,

Alonso Ramírez Manzanares _{Métodos Numéricos 31.08.2015}

Descomposición (factorización) de Cholesky

... es simétrica...

=

para

i

>

j

Es positivo

Una forma alternativa que evita calcular raices

cuadradas

Alonso Ramírez Manzanares _{Métodos Numéricos 31.08.2015}

Una forma alternativa que evita calcular raices

cuadradas

• De tal manera que L es una matriz triangular inferior con unos en la diagonal y

D es una matriz diagonal con entradas positivas. • multiplicando las matrices tenemos

Una forma alternativa que evita calcular raices

cuadradas

• De tal manera que L es una matriz triangular inferior con unos en la diagonal y

D es una matriz diagonal con entradas positivas. • multiplicando las matrices tenemos

Alonso Ramírez Manzanares _{Métodos Numéricos 31.08.2015}

Una forma alternativa que evita calcular raices cuadradas

Una forma alternativa que evita calcular raices cuadradas

Alonso Ramírez Manzanares _{Métodos Numéricos 31.08.2015}

Una forma alternativa que evita calcular raices cuadradas

• Quedando las entradas definidas como:

Una forma alternativa que evita calcular raices cuadradas

• Quedando las entradas definidas como:

Alonso Ramírez Manzanares _{Métodos Numéricos 31.08.2015}

Relación entre las 2 factorizaciones

• Las 2 factorizaciones LLT _{y LDL}T _{(nótese que son diferentes L’s) se relacionan}

así:

Relación entre las 2 factorizaciones

• Las 2 factorizaciones LLT _{y LDL}T _{(nótese que son diferentes L’s) se relacionan}

Alonso Ramírez Manzanares _{Métodos Numéricos 31.08.2015}

Solución del SEL dada la factorización

LL

T

Solución del SEL dada la factorización

LL

T

• Si tenemos Ax=b entonces usamos LLT_x=b,

• primero hacemos y = LT_{x y solucionamos Ly=b con sustitución hacia}

adelante, con:

Alonso Ramírez Manzanares _{Métodos Numéricos 31.08.2015}

Solución del SEL dada la factorización

LL

T

• Si tenemos Ax=b entonces usamos LLT_x=b,

• primero hacemos y = LT_{x y solucionamos Ly=b con sustitución hacia}

adelante, con:

• Luego solucionamos para x el sistema LT_{x = y con sustitución hacia atrás.}

Alonso Ramírez Manzanares _{Métodos Numéricos 31.08.2015}

Solución del SEL dada la factorización

LDL

T

• Si tenemos el sistema A x=b como LDLT _{x = b haciendo y = DL}T _{x, y}

resolviendo para y el SEL Ly=b con sustitución hacia adelante.

Solución del SEL dada la factorización

LDL

T

• Si tenemos el sistema A x=b como LDLT _{x = b haciendo y = DL}T _{x, y}

resolviendo para y el SEL Ly=b con sustitución hacia adelante.

• Luego usamos z = LT_{x de tal forma que resolvemos para z el SEL Dz=y. Pero}

Alonso Ramírez Manzanares _{Métodos Numéricos 31.08.2015}

Solución del SEL dada la factorización

LDL

T

• Si tenemos el sistema A x=b como LDLT _{x = b haciendo y = DL}T _{x, y}

resolviendo para y el SEL Ly=b con sustitución hacia adelante.

• Luego usamos z = LT_{x de tal forma que resolvemos para z el SEL Dz=y. Pero}

D es diagonal, por lo que esto es muy fácil:

Solución del SEL dada la factorización

LDL

T

• Si tenemos el sistema A x=b como LDLT _{x = b haciendo y = DL}T _{x, y}

resolviendo para y el SEL Ly=b con sustitución hacia adelante.

• Luego usamos z = LT_{x de tal forma que resolvemos para z el SEL Dz=y. Pero}

D es diagonal, por lo que esto es muy fácil:

• Finalmente resolvemos LT_{x = z para x con sustitución hacia atrás y}

Alonso Ramírez Manzanares _{Métodos Numéricos 31.08.2015}

Solución del SEL dada la factorización

LDL

T

• Si tenemos el sistema A x=b como LDLT _{x = b haciendo y = DL}T _{x, y}

resolviendo para y el SEL Ly=b con sustitución hacia adelante.

• Luego usamos z = LT_{x de tal forma que resolvemos para z el SEL Dz=y. Pero}

D es diagonal, por lo que esto es muy fácil:

• Finalmente resolvemos LT_{x = z para x con sustitución hacia atrás y}

TERMINAMOS.

Alonso Ramírez Manzanares _{Métodos Numéricos 31.08.2015}

Matrices bandadas

• Una matriz de tamaño n x n se dice que es bandada si existen los numeros p

y q enteros 1 < p , q < n, tal que aij = 0 para todo p ≤ j- i ó q ≤ i - j

• p denota el número de diagonales arriba de la diagonal principal, incluyéndola.

• q denota el número de diagonales abajo de la diagonal principal, incluyéndola.

• Ejemplo con p = 3 y q = 2.

• El numero de diagonales es p+q-1.

Matrices tridiagonales

• Un grupo muy famoso son las tridiagonales, es decir con p=q=2 •