Método de Broyden

En análisis numérico, el método de Broyden es un método cuasinewtoniano para la solución numérica de sistemas ecuaciones no lineales con más de una variable. Fue descrito originalmente por C. G. Broyden en 1965.

Para hallar la solución del sistema de ecuaciones $f_i(x_1,x_2,...,x_n)=0$, con $i=1,2,...,n$, el método de Newton emplea el jacobiano $J$ en cada iteración, además de calcular su inversa. Sin embargo, computar ese jacobiano es una operación difícil y costosa. La idea que subyace en el método de Broyden consiste en computar el jacobiano entero solamente en la primera iteración, y llevar a cabo una actualización de rango 1 en las demás iteraciones.

$f_i(x_1,x_2,...,x_n)$ se supone continua y diferenciable en un conjunto abierto en ${ℝ}^n$ con derivadas parciales continuas en ese abierto.

En 1979, Gay demostró que, cuando se aplica el método de Broyden a un sistema lineal, se requieren 2n pasos.

Descripción del método

El método de Broyden considera el método de la secante y establece una generalización de él para el espacio multidimensional.

El método de la secante sustituye la primera derivada $f^{\prime }(x_n)$ por la aproximación de diferencia finita

$f^{\prime }(x_n)\simeq \frac{f(x_n)-f(x_{n-1})}{x_n-x_{n-1}}$

y procede según el método de Newton:

$x_{n+1}=x_n-\frac{1}{f^{\prime }(x_n)}f(x_n)$

Broyden establece una generalización de esa fórmula para un sistema de ecuaciones mediante una sustitución de $\frac{1}{f^{\prime }(x_n)}$ por la inversa del jacobiano $J$. Este se determina por medio de la ecuación de la secante (la aproximación de diferencia finita):

$J_n\cdot (x_n-x_{n-1})\simeq F(x_n)-F(x_{n-1})$

Sin embargo, esta ecuación está infradeterminada por más de una dimensión.

Broyden sugiere un procedimiento que consta de los siguientes 3 pasos:

1) Emplear la aproximación del jacobiano $J_{n-1}$

2) Tomar la solución de la ecuación de la secante que suponga la modificación mínima de $J_{n-1}$ (entendiendo por mínima que se dé una minimización de la norma de Frobenius $\Vert J_n-J_{n-1}{\Vert }_F$)

$J_n=J_{n-1}+\frac{\mathrm{\Delta }{F}_n-J_{n-1}\mathrm{\Delta }{x}_n}{\Vert \mathrm{\Delta }{x}_n{\Vert }^2}\mathrm{\Delta }{x}_n^T$

3) Continuar según el método de Newton:

$x_{n+1}=x_n-J_n^{-1}F(x_n).$

En esa última fórmula,

$x_n=(x_1[n],...,x_k[n])$

y

$F_n(x)=(f_1(x_1[n],...,x_k[n]),...,f_k(x_1[n],...,x_k[n])$

son vectores columna de k elementos en un sistema de k dimensiones.

Así:

$\mathrm{\Delta }{x}_n=\left[\begin{array}{c}{x}_1[n]-x_1[n-1]\\ ...\\ x_k[n]-x_k[n-1]\end{array}\right]\text{y}\mathrm{\Delta }{F}_n=\left[\begin{array}{c}{f}_1(x_1[n],...,x_k[n])-f_1(x_1[n-1],...,x_k[n-1])\\ ...\\ f_k(x_1[n],...,x_k[n])-f_k(x_1[n-1],...,x_k[n-1])\end{array}\right].$

Broyden sugiere también la fórmula de Sherman-Morrison para actualizar directamente el inverso de la aproximación del jacobiano por la aproximación de diferencia finita:

$J_n^{-1}=J_{n-1}^{-1}+\frac{\mathrm{\Delta }{x}_n-J_{n-1}^{-1}\mathrm{\Delta }{F}_n}{\mathrm{\Delta }{x}_n^T{J}_{n-1}^{-1}\mathrm{\Delta }{F}_n}(\mathrm{\Delta }{x}_n^T{J}_{n-1}^{-1})$

Este último se conoce como el « buen método de Broyden».

Se puede obtener a partir de él una técnica similar empleando una modificación ligeramente distinta de $J_{n-1}$ que minimiza en su lugar $\Vert J_n^{-1}-J_{n-1}^{-1}{\Vert }_F$

Tal sería el llamado « mal método de Broyden»:

$J_n^{-1}=J_{n-1}^{-1}+\frac{\mathrm{\Delta }{x}_n-J_{n-1}^{-1}\mathrm{\Delta }{F}_n}{\mathrm{\Delta }{F}_n^T\mathrm{\Delta }{F}_n}\mathrm{\Delta }{F}_n^T$

Pero, en cuanto a lo de « mal método», véase "A faster Broyden method" ("Un método de Broyden más rápido").

Se han sugerido muchos otros procedimientos cuasinewtonianos en el campo de la optimización, en el que se busca un máximo o un mínimo hallando la raíz de la primera derivada, o el gradiente si se trata de un espacio multidimensional. Se califica al jacobiano del gradiente de «hessiano», y es simétrico, lo que añade restricciones a la hora de llevar a cabo su actualización.

Fórmula de Sherman Morrison

Si A es una matriz no singular y $x$ y $y$ son vectores con $y^t{A}^{-1}x\ne -1$ entonces $A+x{y}^t$ es no singular y

$(A+x{y}^t{)}^{-1}=A^{-1}-\frac{A^{-1}x{y}^t{A}^{-1}}{1+y^t{A}^{-1}x}$

Esta fórmula de Sherman-Morrison permite calcular la inversa de una matriz a partir de la inversa del Jacobiano, es por eso que solo se requiere en la primera iteración del método de Broyden, ya que para las iteraciones subsecuentes se va empleando la aproximación de la iteración anterior.

Véase también

• Rango (álgebra lineal)

• Método de la secante

• Método de Newton

Enlaces externos

• Artículo sobre los métodos cuasinewtonianos en la Wikipedia en inglés.

• Artículo sobre los métodos cuasinewtonianos en la Wikipedia en francés.

• Artículo sobre los métodos cuasinewtonianos en la Wikipedia en alemán.

• Empleo de métodos cuasinewtonianos en el campo de la optimización y actualizaciones de rango 1 y 2.

• Artículo sobre el uso del método de Newton en el campo de la la optimización en la Wikipedia en inglés.

• Artículo sobre la fórmula de Davidon–Fletcher–Powell en la Wikipedia en inglés.

• Artículo sobre el método Broyden–Fletcher–Goldfarb–Shanno (método BFGS) en la Wikipedia en inglés.

• John H. Mathews: "Cursillo sobre el método de Broyden". En inglés.