循环神经网络原理（RNN）
- RNN是在自然语言处理领域中最先被用起来的
- 语言模型就是这样的东西：给定一个一句话前面的部分，预测接下来最有可能的一个词是什么。
- 简单的循环神经网络由输入层、一个隐藏层和一个输出层组成：
- x是一个向量，它表示输入层的值（这里面没有画出来表示神经元节点的圆圈）；
- s是一个向量，它表示隐藏层的值（这里隐藏层面画了一个节点，这一层其实是多个节点，节点数与向量s的维度相同）；
- U是输入层到隐藏层的权重矩阵；
- o也是一个向量，它表示输出层的值；
- V是隐藏层到输出层的权重矩阵。
- 循环神经网络的隐藏层的值s不仅仅取决于当前这次的输入x，还取决于上一次隐藏层的值s。
- 权重矩阵 W就是隐藏层上一次的值作为这一次的输入的权重。
展开后:
ot=g(Vst) o t = g ( V s t )
st=f(Uxt+Wst−1) s t = f ( U x t + W s t − 1 )
- f,g都是激活函数
- 第一个式子是全连接层，第二个式子是循环层
- 循环层和全连接层的区别就是循环层多了一个权重矩阵 W。
ot=g(Vst) =g(Vf(Uxt+Wst−1)) =g(Vf(Uxt+Wf(Uxt−1+Wst−2))) =g(Vf(Uxt+Wf(Uxt−1+Wf(Uxt−2+Wst−3)))) =g(Vf(Uxt+Wf(Uxt−1+Wf(Uxt−2+Wf(Uxt−3+…))))) o t = g ( V s t ) = g ( V f ( U x t + W s t − 1 ) ) = g ( V f ( U x t + W f ( U x t − 1 + W s t − 2 ) ) ) = g ( V f ( U x t + W f ( U x t − 1 + W f ( U x t − 2 + W s t − 3 ) ) ) ) = g ( V f ( U x t + W f ( U x t − 1 + W f ( U x t − 2 + W f ( U x t − 3 + … ) ) ) ) )
循环神经网络的训练
- 前向计算每个神经元的输出值aj a j （ 表示网络的第j个神经元，以下同）；
- 反向计算每个神经元的误差项σj，σj σ j ， σ j 在有的文献中也叫做敏感度(sensitivity)。它实际上是网络的损失函数Ed E d 对神经元加权输入的偏导数
- 计算每个神经元连接权重wi,j w i , j 的梯度（ wi,j w i , j 表示从神经元i连接到神经元j的权重）
- 最后，根据梯度下降法则更新每个权重即可。
长短时记忆网络(LSTM)
RNN有个缺点就是很难处理长距离依赖，就是记性差，LSTM成功解决了原始RNN的缺陷
原始的RNN隐藏层只有一个状态，现在再增加一个状态c，让它保存长期的状态
LSTM的输入有三个：
- xt x t :当前时刻网络的输入值
- ht−1 h t − 1 :上一时刻LSTM的输出值
- ct−1 c t − 1 :上一时刻的单元状态
LSTM的输出有两个：
- ht h t :当前时刻LSTM输出值
- ct c t : 当前时刻的单元状态
LSTM的关键，就是怎样控制长期状态c。在这里，LSTM的思路是使用三个控制开关。第一个开关，负责控制继续保存长期状态c；第二个开关，负责控制把即时状态输入到长期状态c；第三个开关，负责控制是否把长期状态c作为当前的LSTM的输出。
前向计算
实现开关的算法，就是门，门实际上就是一层全连接层，它的输入是一个向量，输出是一个0到1之间的实数向量。假设W是门的权重向量，b是偏置项，那么门可以表示为：
g(x)=σ(Wx+b) g ( x ) = σ ( W x + b )
σ σ 是激活函数，值域为(0,1)
LSTM用两个门控制单元状态c的内容：
- 遗忘门：决定了上一时刻的单元状态ct−1
c
t
−
1
有多少保留到当前时刻ct
c
t
- 输入门：决定了当前时刻网络的输入xt
x
t
有多少保存到单元状态ct
c
t
输出门控制单元状态ct c t 有多少输出到当先输出值ht h t
遗忘门：
ft=σ(Wf⋅[ht−1,xt]+bf) f t = σ ( W f ⋅ [ h t − 1 , x t ] + b f )
输入门：
it=σ(Wi⋅[ht−1,xt]+bi) i t = σ ( W i ⋅ [ h t − 1 , x t ] + b i )
当前输入状态ct~ c t ~ :
ct~=tanh(Wc[ht−1,xt]+bc) c t ~ = t a n h ( W c [ h t − 1 , x t ] + b c )
当前时刻的单元状态ct c t :
ct=ft∘ct−1+it∘ct~ c t = f t ∘ c t − 1 + i t ∘ c t ~
∘ ∘ 表示按元素乘
输出门：
ot=σ(Wo⋅[ht−1,xt]+bo) o t = σ ( W o ⋅ [ h t − 1 , x t ] + b o )
最终输出：
ht=ot∘tanh(ct) h t = o t ∘ t a n h ( c t )
实例
