Unidades recurrentes cerradas

Las unidades recurrentes cerradas (GRU, por sus siglas en inglés) son un mecanismo de compuerta en redes neuronales recurrentes, introducido en 2014 por Kyunghyun Cho et al. La GRU es como una memoria a largo plazo (LSTM, por sus siglas en inglés) con un mecanismo de compuerta para introducir u olvidar ciertas características, pero carece de vector de contexto o compuerta de salida, lo que resulta en menos parámetros que la LSTM. El rendimiento de la GRU en determinadas tareas de modelado de música polifónica, modelado de señales de voz y procesamiento de lenguaje natural fue similar al de la LSTM. Las GRU demostraron que la compuerta es útil en general, y el equipo de Bengio no llegó a ninguna conclusión concreta sobre cuál de las dos unidades de compuerta era mejor.

Arquitectura

Existen diversas variaciones de la unidad de compuerta completa, en la que la compuerta se realiza utilizando el estado oculto anterior y el sesgo en diversas combinaciones, y una forma simplificada denominada unidad de compuerta mínima.

El operador $\odot$ denota el producto Hadamard en lo siguiente:

Unidad totalmente cerrada

Inicialmente, para $t=0$, el vector de salida es $h_0=0$.

$\begin{array}{cc}{z}_t& =\sigma (W_z{x}_t+U_z{h}_{t-1}+b_z)\\ r_t& =\sigma (W_r{x}_t+U_r{h}_{t-1}+b_r)\\ {\hat{h}}_t& =\varphi (W_h{x}_t+U_h(r_t\odot h_{t-1})+b_h)\\ h_t& =(1-z_t)\odot h_{t-1}+z_t\odot {\hat{h}}_t\end{array}$

Unidad Recurrente Cerrada, versión totalmente cerrada

Variables ($d$ denota el número de características de entrada y $e$ el número de características de salida):

• $x_t\in {ℝ}^d$: vector de entrada
• $h_t\in {ℝ}^e$: vector de salida
• ${\hat{h}}_t\in {ℝ}^e$: vector de activación candidato
• $z_t\in (0,1{)}^e$: actualizar el vector de puerta
• $r_t\in (0,1{)}^e$: resetear vector puerta
• $W\in {ℝ}^{d\times e}$, $U\in {ℝ}^{e\times e}$ and $b\in {ℝ}^e$: matrices de parámetros y vectores que deben aprenderse durante el entrenamiento.

Funciones de activación

• $\sigma$: El original es una función logística.
• $\varphi$: El original es una tangente hiperbólica.

Son posibles funciones de activación alternativas, siempre que: $\sigma (x)\in [0,1]$.

Tipo 1

Se pueden crear formas alternativas cambiando $z_t$ y $r_t$.

• Tipo 1, cada puerta depende sólo del estado oculto anterior y del sesgo.

  $\begin{array}{cc}{z}_t& =\sigma (U_z{h}_{t-1}+b_z)\\ r_t& =\sigma (U_r{h}_{t-1}+b_r)\\ \end{array}$

• Tipo 2, cada puerta depende sólo del estado oculto anterior.

  $\begin{array}{cc}{z}_t& =\sigma (U_z{h}_{t-1})\\ r_t& =\sigma (U_r{h}_{t-1})\\ \end{array}$

Tipo 2

• Tipo 3, cada puerta se calcula utilizando sólo el sesgo.

$\begin{array}{cc}{z}_t& =\sigma (b_z)\\ r_t& =\sigma (b_r)\\ \end{array}$

Unidad mínima cerrada

Tipo 3

La unidad mínima cerrada (MGU) es similar a la unidad de compuerta completa, salvo que el vector de compuerta de actualización y reinicio se fusiona en una compuerta de olvido. Esto también implica que la ecuación para el vector de salida debe cambiarse:

$\begin{array}{cc}{f}_t& =\sigma (W_f{x}_t+U_f{h}_{t-1}+b_f)\\ {\hat{h}}_t& =\varphi (W_h{x}_t+U_h(f_t\odot h_{t-1})+b_h)\\ h_t& =(1-f_t)\odot h_{t-1}+f_t\odot {\hat{h}}_t\end{array}$

Variables

• $x_t$: vector de entrada
• $h_t$: vector de salida
• ${\hat{h}}_t$: vector de activación candidato
• $f_t$: vector de olvido
• $W$, $U$ y $b$: matrices de parámetros y vector

Unidad recurrente ligera

La unidad recurrente activada por luz (LiGRU) elimina la puerta de reinicio, sustituye tanh por la activación ReLU y aplica la normalización por lotes (BN):

$\begin{array}{cc}{z}_t& =\sigma (\mathrm{BN}(W_z{x}_t)+U_z{h}_{t-1})\\ {\tilde{h}}_t& =\mathrm{ReLU}(\mathrm{BN}(W_h{x}_t)+U_h{h}_{t-1})\\ h_t& =z_t\odot h_{t-1}+(1-z_t)\odot {\tilde{h}}_t\end{array}$

La LiGRU se ha estudiado desde una perspectiva bayesiana. Este análisis dio lugar a una variante denominada unidad recurrente bayesiana ligera (LiBRU), que mostró ligeras mejoras sobre la LiGRU en tareas de reconocimiento del habla.