RNN反向传播梯度爆炸

RNN的时间反向传播原理

  本节将介绍循环神经网络中梯度的计算和存储方法，即通过时间反向传播（back-propagation through time）。正向传播在循环神经网络中比较直观，而通过时间反向传播其实是反向传播在循环神经网络中的具体应用。我们需要将循环神经网络按时间步展开，从而得到模型变量和参数之间的依赖关系，并依据链式求导法则应用反向传播计算并存储梯度。

1. 定义模型

简单起见，我们考虑一个无偏置项的循环神经网络，且激活函数简化为恒等映射 $\phi(x)=x$。设时间步 $t$ 的输入为单样本 $x_t \in R^d$，即不考虑 $batch$，标签为 $y_t$，那么隐藏状态 $h_t \in R^h$ 的计算表达式为：
$h_t=x_{t}W_{dh}+h_{t-1}W_{hh}$
其中，$W_{dh} \in R^{d \times h}$ 和 $W_{hh} \in R^{h \times h}$ 是隐藏层权重系数。设输出层权重系数 $W_{hq} \in R^{h \times q}$，时间步 $t$ 的输出层变量 $o_t \in R^q$ 计算为：
$o_t=h_tW_{hq}$
设时间步 $t$ 的损失为 $l(o_t,y_t)$。时间步数为 $T$ 的损失函数 $L$ 定义为：
$L=\frac{1}{T}\sum_{t=1}^Tl(o_t,y_t)$
我们将 $L$ 称为有关给定时间步 $T$

2.模型计算图

为了可视化循环神经网络中变量和模型参数在计算中的依赖关系，我们可以绘制模型计算图，假设时间步数为 3 的循环神经网络模型计算中的依赖关系，方框代表变量（无阴影）和模型参数（有阴影），圆圈代表运算符。

如上图所示，所有时间步的模型参数都是共享的，而且相邻时间步之间具有依赖性，即：时间步 2 的计算依赖于时间步 1 得到的隐藏状态，时间步 3 的计算又依赖于时间步 2 得到的隐藏状态。例如：时间步 $3$ 的隐藏状态 $h_3$ 的计算依赖模型参数 $W_{hx}$、$W_{hh}$、上一时间步的隐藏状态 $h_2$ 以及当前时间步输入 $x_3$。即：

有时候，一些教材或者书籍也被习惯性写成转置的形式：

这里的 $W_{hd}=W_{hx}$，$d$ 和 $x$。有的文章里面可能会使用下面这种表达形式，大家只要记住转置矩阵满足的运算规律 $(A \cdot B)^T=B^T \cdot A^T$

3. 方法

我们从上图中可以直观的看出模型的参数就是 $W_{hx}$ ，$W_{hh}$ 和 $W_{qh}$ 。所以训练模型反向传播更新参数时，需要计算模型参数的梯度 $\dfrac{\partial{L}}{\partial{W_{hx}}}$，$\dfrac{\partial{L}}{\partial{W_{hh}}}$，$\dfrac{\partial{L}}{\partial{W_{qh}}}$。根据图中的依赖关系，我们可以按照其中箭头所指的反方向依次计算并存储梯度。

首先，目标函数 $L=\frac{1}{T}\sum_{t=1}^Tl(o_t,y_t)$ 有关各时间步输出层变量的梯度 $\dfrac{\partial{L}}{\partial{o_t}} \in R^{q}$ 很容易计算：
$\dfrac{\partial{L}}{\partial{o_t}} = \dfrac{\partial{l(o_t,y_t)}}{T \cdot \partial{o_t}}$
下面，我们可以计算目标函数关于模型参数 $W_{qh}$ 的梯度 $\dfrac{\partial{L}}{\partial{W_{qh}}} \in R^{q \times h}$。根据模型计算图可知，$L$ 通过 $o_1,o_2,,…,o_T$ 依赖 $W_{qh}$。依据链式法则，
$\dfrac{\partial{L}}{\partial{W_{qh}}}=\dfrac{\partial{L}}{\partial{o_i}} \cdot \dfrac{\partial{o_i}}{\partial{W_{qh}}}\ (i=1,2,3,...,T)$
又因为 $o_i=W_{qh}h_i\ (i=1,2,3,...,T)$，于是就有 $\dfrac{\partial{o_i}}{\partial{W_{qh}}}=h_i^T$，所以
$\dfrac{\partial{L}}{\partial{W_{qh}}}=\dfrac{\partial{L}}{\partial{o_i}} \cdot \dfrac{\partial{o_i}}{\partial{W_{qh}}}=\dfrac{\partial{L}}{\partial{o_i}} \cdot h_i^T \ (i=1,2,3,...,T)$
这样写好像不是那么严谨，所以如果从一个数学家的角度出发，他可能考虑将上式写成累加的形式，也就是如下的形式：
$\dfrac{\partial{L}}{\partial{W_{qh}}}=\sum_{t=1}^T\dfrac{\partial{L}}{\partial{o_t}} \cdot \dfrac{\partial{o_t}}{\partial{W_{qh}}}=\sum_{t=1}^T\dfrac{\partial{L}}{\partial{o_t}} \cdot h_t^T$
到此为止，我们已经求出了一个模型参数 $\dfrac{\partial{L}}{\partial{W_{qh}}}$ 的梯度更新公式了。那我们继续来推导剩余的两个模型参数的梯度更新公式吧！前方高能，可能在没推导之前，读者应该意识到了这两个参数并不像前面那个参数的计算梯度那样好求，因为涉及到了前后时间步的隐藏状态之间也存在依赖关系。所以我们先要建立递推关系式：

在建立递推关系式之前，我们先找到递归的出口，那就是最后的时间步 $T$。

目标函数 $L$ 只通过 $o_T$ 依赖最终时间步 $T$ 的隐藏状态 $h_T$。因此，我们先计算目标函数有关最终时间步隐藏状态的梯度 $\dfrac{\partial{L}}{\partial{h_{T}}} \in R^h$。依据链式法则，就可以得到：
$\dfrac{\partial{L}}{\partial{h_{T}}}=\dfrac{\partial{L}}{\partial{o_{T}}} \cdot \dfrac{\partial{o_T}}{\partial{h_{T}}}$
又因为 $o_T=W_{qh}h_T$，所以就有 $\dfrac{\partial{o_T}}{\partial{h_{T}}}=W_{qh}$
$\dfrac{\partial{L}}{\partial{h_{T}}}=\dfrac{\partial{L}}{\partial{o_{T}}} \cdot \dfrac{\partial{o_T}}{\partial{h_{T}}}=W_{qh}^T \cdot \dfrac{\partial{L}}{\partial{o_{T}}}$
接下来对于时间步 $t<T$。因为 $o_t=W_{qh}h_t$，而且在前向传播的时候，$h_{t+1}=W_{hx}x_{t+1}+W_{hh}h_{t}$，所以我们说 $L$ 通过 $h_{t+1}$ 和 $o_t$ 依赖 $h_t$。依据链式法则，目标函数有关时间步 $t<T$ 的隐藏状态的梯度$\dfrac{\partial{L}}{\partial{h_{t}}} \in R^h$ 需要按照时间步从大到小依次计算：
$\dfrac{\partial{L}}{\partial{h_{t}}}=\dfrac{\partial{L}}{\partial{h_{t+1}}} \cdot \dfrac{\partial{h_{t+1}}}{\partial{h_{t}}} + \dfrac{\partial{L}}{\partial{o_{t}}} \cdot \dfrac{\partial{o_t}}{\partial{h_{t}}}=W_{hh}^T\dfrac{\partial{L}}{\partial{h_{t+1}}}+W_{qh}^T\dfrac{\partial{L}}{\partial{o_{t}}}$
根据上面的递推公式和递推关系出口，对于任意时间步 $1 \le t \le T$，我们可以得到目标函数有关隐藏状态梯度的通项公式（这一步如何得到，我们不加证明的直接给出）：
$\frac{\partial L}{\partial \boldsymbol{h}_{t}}=\sum_{i=t}^{T}\left(\boldsymbol{W}_{h h}^{\top}\right)^{T-i} \boldsymbol{W}_{q h}^{\top} \frac{\partial L}{\partial \boldsymbol{o}_{T+t-i}}$
由上式中的指数项可见，当时间步数 $T$ 较大或者时间步 $t$ 较小时，目标函数有关隐藏状态的梯度较容易出现衰减和爆炸。这也会影响其他包含 $\dfrac{\partial L}{\partial {h}_{t}}$ 项的梯度，例如隐藏层中模型参数的梯度 $\dfrac{\partial{L}}{\partial{W_{hx}}}$、$\dfrac{\partial{L}}{\partial{W_{hh}}}$。$L$ 通过 $h_1,\cdots,h_T$

$\frac{\partial L}{\partial {W}_{h x}} =\sum_{t=1}^{T} \frac{\partial L}{\partial {h}_{t}} \cdot \frac{\partial {h}_{t}}{\partial {W}_{h x}}=\sum_{t=1}^{T} \frac{\partial L}{\partial {h}_{t}} {x}_{t}^{\top} \\ \frac{\partial L}{\partial {W}_{h h}} =\sum_{t=1}^{T} \frac{\partial L}{\partial {h}_{t}} \cdot \frac{\partial {h}_{t}}{\partial {W}_{h h}}=\sum_{t=1}^{T} \frac{\partial L}{\partial {h}_{t}} {h}_{t-1}^{\top}$

每次迭代中，我们在依次计算完以上各个梯度后，会将它们存储起来，从而避免重复计算，例如，由于隐藏状态梯度 $\dfrac{\partial L}{\partial {h}_{t}}$ 被计算和存储，之后的模型参数梯度 $\dfrac{\partial L}{\partial W_{h x}}$ 和 $\dfrac{\partial L}{\partial {W}_{h h}}$ 的计算可以直接读取 $\dfrac{\partial L}{\partial{h}_{t}}$

此外，反向传播中的梯度计算可能会依赖变量的当前值，它们正是通过正向传播计算出来的，举例来说，参数梯度 $\dfrac{\partial L}{\partial W_{hh}}$ 的计算需要依赖隐藏状态在时间步 $t=0,1,\cdots,T-1$的当前值 $h_t$

小结：
本节主要介绍了循环神经网络中通过时间反向传播来更新模型参数的推导过程，要求不在于能自己手动推导每一步，而在于理解循环神经网络的梯度为什么会出现衰减或者爆炸，而不是人云亦云或道听途说，后来引入的梯度裁剪、具有门控单元的循环神经网络都是基于这个原因。所以推导不要求，而重在理解问题本身，因为现在也不需要由研究人员手动去计算每一步了，都交给计算机或现有的模块来完成了。

1. 通过时间反向传播是反向传播在循环神经网络中的具体应用；
2. 当总的时间步数较大或者当前时间步较小时，循环神经网络的梯度较容易出现衰减或爆炸；