Problema de desvanecimiento de gradiente

En aprendizaje de máquinas, el problema de desvanecimiento de gradiente es una dificultad encontrada para entrenar redes neuronales artificiales mediante métodos de aprendizaje basados en descenso estocástico de gradientes y de retropropagación. En tales métodos, cada uno de los pesos de la red neuronal recibe una actualización proporcional a la derivada parcial de la función de error con respecto al peso actual en cada iteración de entrenamiento.

El problema es que, en algunos casos, el gradiente se irá desvaneciendo a valores muy pequeños, impidiendo eficazmente el peso de cambiar su valor. En el caso peor, esto puede impedir que la red neuronal continúe su entrenamiento. Como ejemplo de la causa del problema, funciones de activación tradicionales como la función de la tangente hiperbólica tienen gradientes en la gama (-1, 1), y la retropropagación computa gradientes por la regla de la cadena. Esto tiene el efecto de multiplicar n de estos números pequeños para computar gradientes de las "capas" de frente en una red de n capas, significando que el gradiente (señal de error) disminuye exponencialmente con n mientras las capas de frente se entrenan muy despacio.

La retropropagación permitió a los investigadores entrenar redes neuronales supervisadas profundas desde un inicio con muy poco éxito. La tesis de diploma de 1991 de Hochreiter identificó formalmente la razón de este fracaso en el "problema de desvanecimiento de gradiente", lo cual no sólo afectará a las redes prealimentadas de muchas capas, sino también a las redes recurrentes. Estas últimas se entrenan por desdoblamiento en redes neuronales prealimentadas muy profundas, donde se crea una capa nueva cada vez que se da un paso en la secuencia de entrada por la red.

Cuando se usan funciones de activación cuyas derivadas pueden tomar valores más grandes, uno de los riesgos es encontrar el denominado problema de gradiente explosivo.

Modelos prototípicos

Esta sección se basa en el artículo On the difficulty of training Recurrent Neural Networks de Pascanu, Mikolov y Bengio.

Modelo de red recurrente

Una red recurrente genérica tiene estados ocultos $h_1,h_2,...$, entradas $u_1,u_2,...$ y salidas $x_1,x_2,...$. Se parametriza con $\theta$, de modo que el sistema evoluciona como$$(h_t,x_t)=F(h_{t-1},u_t,\theta )$$A menudo, la salida $x_t$ es una función de $h_t$, como en $x_t=G(h_t)$. El problema del gradiente que desaparece ya se presenta claramente cuando $x_t=h_t$, por lo que simplificamos nuestra notación al caso especial:$$x_t=F(x_{t-1},u_t,\theta )$$Ahora, tomemos su forma diferencial:$$\begin{array}{cc}d{x}_t& ={\mathrm{\nabla }}_{\theta }F(x_{t-1},u_t,\theta )d\theta +{\mathrm{\nabla }}_{x}F(x_{t-1},u_t,\theta )d{x}_{t-1}\\ & ={\mathrm{\nabla }}_{\theta }F(x_{t-1},u_t,\theta )d\theta +{\mathrm{\nabla }}_{x}F(x_{t-1},u_t,\theta )({\mathrm{\nabla }}_{\theta }F(x_{t-2},u_{t-1},\theta )d\theta +{\mathrm{\nabla }}_{x}F(x_{t-2},u_{t-1},\theta )d{x}_{t-2})\\ & =\cdots \\ & =({\mathrm{\nabla }}_{\theta }F(x_{t-1},u_t,\theta )+{\mathrm{\nabla }}_{x}F(x_{t-1},u_t,\theta ){\mathrm{\nabla }}_{\theta }F(x_{t-2},u_{t-1},\theta )+\cdots )d\theta \end{array}$$Entrenar la red requiere definir una función de pérdida a minimizar. Sea $L(x_T,u_1,...,u_T)$Plantilla:Refn entonces minimizarla mediante descenso de gradiente da como resultadoPlantilla:NumBlk$$\mathrm{\Delta }\theta =-\eta \cdot {[{\mathrm{\nabla }}_{x}L(x_T)({\mathrm{\nabla }}_{\theta }F(x_{t-1},u_t,\theta )+{\mathrm{\nabla }}_{x}F(x_{t-1},u_t,\theta ){\mathrm{\nabla }}_{\theta }F(x_{t-2},u_{t-1},\theta )+\cdots )]}^T$$donde $\eta$ es la tasa de aprendizaje.

El problema del gradiente que desaparece/explota surge debido a multiplicaciones repetidas, de la forma$${\mathrm{\nabla }}_{x}F(x_{t-1},u_t,\theta ){\mathrm{\nabla }}_{x}F(x_{t-2},u_{t-1},\theta ){\mathrm{\nabla }}_{x}F(x_{t-3},u_{t-2},\theta )\cdots$$

Ejemplo: red recurrente con activación sigmoide

Para un ejemplo concreto, consideremos una red recurrente típica definida por

$$x_t=F(x_{t-1},u_t,\theta )=W_{rec}\sigma (x_{t-1})+W_{in}{u}_t+b$$donde $\theta =(W_{rec},W_{in})$ es el parámetro de la red, $\sigma$ es la función sigmoide,Plantilla:Refn aplicada a cada coordenada del vector por separado, y $b$ es el vector de sesgo.

Entonces, ${\mathrm{\nabla }}_{x}F(x_{t-1},u_t,\theta )=W_{rec}diag({\sigma }^{\prime }(x_{t-1}))$, y por lo tanto $$\begin{array}{cc}{\mathrm{\nabla }}_{x}F(x_{t-1},u_t,\theta )& {\mathrm{\nabla }}_{x}F(x_{t-2},u_{t-1},\theta )\cdots {\mathrm{\nabla }}_{x}F(x_{t-k},u_{t-k+1},\theta )\\ =W_{rec}diag({\sigma }^{\prime }(x_{t-1}))& W_{rec}diag({\sigma }^{\prime }(x_{t-2}))\cdots W_{rec}diag({\sigma }^{\prime }(x_{t-k}))\end{array}$$Dado que $|{\sigma }^{\prime }|\le 1$, la norma de operador de la multiplicación anterior está acotada por $\Vert W_{rec}{\Vert }^k$. Así, si el radio espectral de $W_{rec}$ es $\gamma <1$, entonces para valores grandes de $k$, la multiplicación anterior tiene una norma de operador acotada superiormente por ${\gamma }^k\to 0$. Este es el problema prototípico del gradiente que desaparece.

El efecto de un gradiente que desaparece es que la red no puede aprender efectos a largo plazo. Recordemos la Ecuación (Plantilla:EquationNote):$${\mathrm{\nabla }}_{\theta }L={\mathrm{\nabla }}_{x}L(x_T,u_1,...,u_T)({\mathrm{\nabla }}_{\theta }F(x_{t-1},u_t,\theta )+{\mathrm{\nabla }}_{x}F(x_{t-1},u_t,\theta ){\mathrm{\nabla }}_{\theta }F(x_{t-2},u_{t-1},\theta )+\cdots )$$Los componentes de ${\mathrm{\nabla }}_{\theta }F(x,u,\theta )$ son solo componentes de $\sigma (x)$ y $u$, por lo que si $u_t,u_{t-1},...$ están acotados, entonces $\Vert {\mathrm{\nabla }}_{\theta }F(x_{t-k-1},u_{t-k},\theta )\Vert$ también está acotado por algún $M>0$, y por lo tanto los términos en ${\mathrm{\nabla }}_{\theta }L$ decaen como $M{\gamma }^k$. Esto significa que, efectivamente, ${\mathrm{\nabla }}_{\theta }L$ se ve afectado solo por los primeros términos $O({\gamma }^{-1})$ en la suma.

Si $\gamma \ge 1$, el análisis anterior no funciona del todo.Plantilla:Refn Para el problema prototípico del gradiente que explota, el siguiente modelo es más claro.

Modelo de sistemas dinámicos

Diagrama de bifurcación de la red recurrente de una sola neurona. El eje horizontal es b, y el eje vertical es x. La curva negra es el conjunto de equilibrios estables e inestables. Nótese que el sistema exhibe histeresis, y puede ser usado como una memoria de un bit.

Siguiendo a (Doya, 1993), consideremos esta red recurrente de una sola neurona con activación sigmoide:$$x_{t+1}=(1-ϵ)x_t+ϵ\sigma (w{x}_t+b)+ϵw^{\prime }{u}_t$$En el límite de $ϵ$ pequeño, la dinámica de la red se convierte en$$\frac{dx}{dt}=-x(t)+\sigma (wx(t)+b)+w^{\prime }u(t)$$Consideremos primero el caso autónomo, con $u=0$. Establezcamos $w=5.0$ y variemos $b$ en $[-3,-2]$. A medida que $b$ disminuye, el sistema tiene un punto estable, luego tiene 2 puntos estables y 1 punto inestable, y finalmente vuelve a tener 1 punto estable. Explícitamente, los puntos estables son $(x,b)=(x,\ln \left(\frac{x}{1-x}\right)-5x)$.

Ahora consideremos $\frac{\mathrm{\Delta }x(T)}{\mathrm{\Delta }x(0)}$ y $\frac{\mathrm{\Delta }x(T)}{\mathrm{\Delta }b}$, donde $T$ es lo suficientemente grande como para que el sistema se haya estabilizado en uno de los puntos estables.

Si $(x(0),b)$ coloca el sistema muy cerca de un punto inestable, entonces una pequeña variación en $x(0)$ o $b$ haría que $x(T)$ se mueva de un punto estable a otro. Esto hace que $\frac{\mathrm{\Delta }x(T)}{\mathrm{\Delta }x(0)}$ y $\frac{\mathrm{\Delta }x(T)}{\mathrm{\Delta }b}$ sean ambos muy grandes, un caso del gradiente que explota.

Si $(x(0),b)$ coloca el sistema lejos de un punto inestable, entonces una pequeña variación en $x(0)$ no tendría efecto en $x(T)$, haciendo que $\frac{\mathrm{\Delta }x(T)}{\mathrm{\Delta }x(0)}=0$, un caso del gradiente que desaparece.

Nótese que en este caso, $\frac{\mathrm{\Delta }x(T)}{\mathrm{\Delta }b}\approx \frac{\partial x(T)}{\partial b}={(\frac{1}{x(T)(1-x(T))}-5)}^{-1}$ no decae a cero ni explota hasta el infinito. De hecho, es el único gradiente bien comportado, lo que explica por qué las investigaciones iniciales se centraron en aprender o diseñar sistemas de redes recurrentes que pudieran realizar cálculos a largo plazo (como devolver la primera entrada que ven al final de un episodio) modelando sus atractores estables.

Para el caso general, la intuición sigue siendo válida (Figuras 3, 4 y 5).

Modelo geométrico

Continuemos usando la red de una sola neurona mencionada, fijando $w=5,x(0)=0.5,u(t)=0$, y consideremos una función de pérdida definida por $L(x(T))=(0.855-x(T){)}^2$. Esto produce un paisaje de pérdida bastante patológico: a medida que $b$ se acerca a $-2.5$ desde arriba, la pérdida se aproxima a cero, pero tan pronto como $b$ cruza $-2.5$, la cuenca del atractor cambia y la pérdida salta a 0.50.Plantilla:Refn

En consecuencia, intentar entrenar $b$ mediante descenso de gradiente "chocaría con una pared en el paisaje de pérdida" y causaría un gradiente que explota. Una situación ligeramente más compleja se grafica en, Figura 6.

Véase también

• Descenso de gradiente estocástico
• Estocástico
• Gradiente