时间embedding模型

---

文章目录

• 概述
• 一、从RNN到LSTM
• 二、LSTM模型结构剖析

• 2.1 LSTM之遗忘门
• 2.2 LSTM之输入门
• 2.3 LSTM之细胞状态更新
• 2.4 LSTM之输出门

• 三、 LSTM前向传播算法
• 四、 LSTM反向传播算法
• 五、LSTM总结
• 六、项目实战

---

概述

在循环神经网络RNN详细推导中，已经说明了RNN并不能很好的处理较长的序列。一个主要的原因是，RNN在训练中很容易发生梯度消失，这导致训练时梯度不能在较长序列中一直传递下去，从而使RNN无法捕捉到长距离的影响。所以，有学者就提出了LSTM来解决梯度消失的问题。

一、从RNN到LSTM

原始RNN的隐藏层只有一个状态，即$h$，它对于短期的输入非常敏感。所以，就假设再增加一个状态$c$，让它来保存长期的状态，如下图所示：

新增加的状态c，称为单元状态(cell state)。把上图按照时间维度展开：

上图仅仅是一个示意图，可以看出，在$t$时刻，LSTM的输入有三个：当前时刻网络的输入值$x_t$、上一时刻LSTM的输出值、以及上一时刻的单元状态；LSTM的输出有两个：当前时刻LSTM输出值、和当前时刻的单元状态。需要注意的是，他们都是向量。LSTM的关键，就是怎样控制长期状态$c$。在这里，LSTM的思路是使用三个控制开关。第一个开关，负责控制继续保存长期状态c；第二个开关，负责控制把即时状态输入到长期状态c；第三个开关，负责控制是否把长期状态c作为当前的LSTM的输出。三个开关的作用如下图所示：

二、LSTM模型结构剖析

LSTM的结构如下：

下边，就来看一下具体的每个门吧：

2.1 LSTM之遗忘门

遗忘门（forget gate），在LSTM中是以一定的概率控制是否遗忘上一层的隐藏细胞状态。遗忘门子结构如下图所示：

　

　图中输入的有上时刻的隐藏状态$h^{(t−1)}$和本序列数据$x^{(t)}$，通过一个激活函数，一般是sigmoid，得到遗忘门的输出$f^{(t)}$。由于sigmoid的输出$f^{(t)}$在[0,1]之间，因此这里的输出$f^{(t)}$代表了遗忘上一层隐藏细胞状态的概率。用数学表达式即为：

　$f(t)=σ(W_fh^{(t−1)}+U_fx^{(t)}+b_f)$

　其中$W_f,U_f,b_f$为线性关系的系数和偏倚，和RNN中的类似。$σ$为sigmoid激活函数。

2.2 LSTM之输入门

输入门（input gate）负责处理当前序列位置的输入，它的子结构如下图：

从图中可以看到输入门由两部分组成，第一部分使用了sigmoid激活函数，输出为$i(t)$,第二部分使用了$tanh$激活函数，输出为$c'(t)$, 两者的结果后面会相乘再去更新细胞状态。用数学表达式即为：

$i^{(t)}=σ(W_ih^{(t−1)}+U_ix^{(t)}+b_i)$

$c'^{(t)}=tanh(W_ch^{(t−1)}+U_cx^{(t)}+b_c)$

其中$W_i,U_i,b_i,W_c,U_c,b_c$,为线性关系的系数和偏置，和RNN中的类似。$σ$为sigmoid激活函数。

2.3 LSTM之细胞状态更新

在研究LSTM输出门之前，我们要先看看LSTM之细胞状态。前面的遗忘门和输入门的结果都会作用于细胞状态$C^{(t)}$。我们来看看从细胞状态$C^{(t−1)}$如何得到$C^{(t)}$。如下图所示：

细胞状态$C^{(t)}$由两部分组成，第一部分是$C^{(t−1)}$和遗忘门输出$f^{(t)}$的乘积，第二部分是输入门的$i^{(t)}$和$a^{(t)}$的乘积，即：

$C^{(t)}=C^{(t−1)}⊙f^{(t)}+i^{(t)}⊙a^{(t)}$

其中，⊙为Hadamard积，即：向量元素对应相乘。

2.4 LSTM之输出门

有了新的隐藏细胞状态$C^{(t)}$，我们就可以来看输出门了，子结构如下：

从图中可以看出，隐藏状态$h^{(t)}$的更新由两部分组成，第一部分是$o^{(t)}$, 它由上一序列的隐藏状态$h^{(t−1)}$和本序列数据$x^{(t)}$，以及激活函数sigmoid得到，第二部分由隐藏状态$C^{(t)}$和$tanh$激活函数组成, 即：

$o^{(t)}=σ(W_oh^{(t−1)}+U_ox^{(t)}+b_o)$

$h^{(t)}=o^{(t)}⊙tanh(C^{(t)})$

到这里，已经弄个清楚了LSTM的输入们、遗忘门、细胞更新和输出门了。接下来，就来推导一下LSTM的前向传播。

三、 LSTM前向传播算法

现在我们来总结下LSTM前向传播算法。LSTM模型有两个隐藏状态$h^{(t)}$,$C^{(t)}$，模型参数几乎是RNN的4倍，因为现在多了$W_f$,$U_f$,$b_f$,$W_c$,$U_c$,$b_c$,$W_i$,$U_i$,$b_i$,$W_o$,$U_o$,$b_o$这些参数。

前向传播过程在每个时刻的过程为：

1）更新遗忘门输出：
$f^{(t)}=σ(W_fh^{(t−1)}+U_fx^{(t)}+b_f)$

2）更新输入门两部分输出：
$i^{(t)}=σ(W_ih^{(t−1)}+U_ix^{(t)}+b_i)$

$c'^{(t)}=tanh(W_ch^{(t−1)}+U_cx^{(t)}+b_c)$

3）更新细胞状态：
$C^{(t)}=C^{(t−1)}⊙f^{(t)}+i^{(t)}⊙a^{(t)}$

4）更新输出门输出：
$o^{(t)}=σ(W_oh^{(t−1)}+U_ox^{(t)}+b_o)$

$h^{(t)}=o^{(t)}⊙tanh(C^{(t)})$

5）更新当前时刻预测输出：
$\hat{y}^{(t)}=σ(Vh^{(t)}+c)$

四、 LSTM反向传播算法

有了LSTM前向传播算法，接下来推导反向传播算法， 思路和RNN的反向传播算法思路一致，也是通过梯度下降法迭代更新所有的参数，关键点在于计算所有参数基于损失函数的偏导数。

在RNN中，为了反向传播误差，我们通过隐藏状态$h(t)$的梯度$δ^{(t)}$一步步向前传播。在LSTM这里也类似。只不过我们这里有两个隐藏状态$h^{(t)}$和$C^{(t)}$。这里我们定义两个$δ$，即：

$δ(t)h=\frac{∂L}{∂h^{(t)}}$

$δ(t)C=\frac{∂L}{∂C^{(t)}}$

为了便于推导，我们将损失函数$L(t)$分成两块，一块是时刻t的损失$l(t)$，另一块是时刻t之后损失$L(t+1)$，即：
$y= \begin{cases} l(t)+L(t+1)& (t<τ)\\ l(t)& (t=τ) \end{cases}$

而在最后的时刻$τ$的$δ^{(τ)}_h$和$δ^{(τ)}_C$为：
$δ^{(τ)}_h=(\frac{∂O(τ)}{∂h(τ)})^T\frac{∂L(τ)}{∂O(τ)}=V^T(\hat{y}^{(τ)}−y^{(τ)})$

$δ^{(τ)}_C=(\frac{∂h(τ)}{∂C(τ)})^T\frac{∂L(τ)}{∂h(τ)}=δ^{(τ)}_h⊙o^{(τ)}⊙(1−tanh^2(C^{(τ)}))$

接着我们由$δ^{(t+1)}_C$,$δ^{(t+1)}_h$反向推导$δ^{(t)}_h$,$δ^{(t)}_C$。

$δ^{(t)}_h$的梯度由本层t时刻的输出梯度误差和大于t时刻的误差两部分决定，即：
$δ^{(t)}_h=\frac{∂L}{∂h^{(t)}}=\frac{∂l^{(t)}}{∂h(t)}+(\frac{∂h^{(t+1)}}{∂h^{(t)}})^T\frac{∂L^{(t+1)}}{∂h^{(t+1)}}=V^T(\hat(y)^{(t)}−y^{(t)})+(\frac{∂h^{(t+1)}}{∂h(t)})^Tδ^{(t+1)}_h$

整个LSTM反向传播的难点就在于$\frac{∂h^{(t+1)}}{∂h^{(t)}}$这部分的计算。仔细观察，由于$h^{(t)}=o^{(t)}⊙tanh(C^{(t)})$, 在第一项$o^{(t)}$中，包含一个$h$的递推关系，第二项$tanh(C^{(t)})$就复杂了，$tanh$函数里面又可以表示成：
$C^{(t)}=C^{(t−1)}⊙f^{(t)}+i^{(t)}⊙a^{(t)}$

$tanh$ 函数的第一项中，$f^{(t)}$包含一个$h$的递推关系，在$tanh$函数的第二项中，$i^(t)$和$a^(t)$都包含$h$的递推关系，因此，最终$\frac{∂h(t+1)}{∂h(t)}$这部分的计算结果由四部分组成。即：

$ΔC=o^{(t+1)}⊙[1−tanh^2(C^{(t+1)})]$

$\frac{∂h^{(t+1)}}{∂h(t)}=W^T_o[o^{(t+1)}⊙(1−o^{(t+1)})⊙tanh(C^{(t+1)})]+W^T_f[ΔC⊙f^{(t+1)}⊙(1−f^{(t+1)})⊙C^{(t)}]+W^T_c{ΔC⊙i^{(t+1)}⊙[1−(c^{(t+1)})^2]}+W^T_i[ΔC⊙c^{(t+1)}⊙i^{(t+1)}⊙(1−i^{(t+1)})]$

而$δ^{(t)}_C$的反向梯度误差由前一层$δ^{(t+1)}_C$的梯度误差和本层的从$h^{(t)}$传回来的梯度误差两部分组成，即：

$δ^{(t)}_C=(\frac{∂C^{(t+1)}}{∂C^{(t)}})^T\frac{∂L}{∂C^{(t+1)}}+(\frac{∂h^{(t)}}{∂C^{(t)}})^T\frac{∂L}{∂h^{(t)}}=(\frac{∂C^{(t+1)}}{∂C^{(t)}})^Tδ^{(t+1)}_C+δ^{(t)}_h⊙o^{(t)}⊙(1−tanh^2(C^{(t)}))=δ^{(t+1)}_C⊙f^{(t+1)}+δ^{(t)}_h⊙o^{(t)}⊙(1−tanh^2(C^{(t)}))$

有了$δ^{(t)}_h$和$δ^{(t)}_C$， 计算这一大堆参数的梯度就很容易了，这里只给出$W_f$的梯度计算过程，其他的$U_f$,$b_f$,$W_c$,$U_c$,$b_c$,$W_i$,$U_i$,$b_i$,$W_o$,$U_o$,$b_o$，$V$,$c$的梯度大家只要照搬就可以了。
　
$\frac{∂L}{∂W_f}=\sum_{t=1}^{τ}[δ^{(t)}_C⊙C^{(t−1)}⊙f^{(t)}⊙(1−f^{(t)})](h^{(t−1)})^T$

五、LSTM总结

LSTM虽然结构复杂，但是只要理顺了里面的各个部分和之间的关系，进而理解前向反向传播算法是不难的。当然实际应用中LSTM的难点不在前向反向传播算法，这些有算法库帮你搞定，模型结构和一大堆参数的调参才是让人头痛的问题。后边，会继续更新有关于用tensorflow实现LSTM的文章！

六、项目实战

项目实战请转至：tensorflow学习笔记（八）：LSTM手写体(MNIST)识别。