循环神经网络实现简单回归预测循环神经网络语言模型

转载

编程小匠人传奇 2024-01-26 15:12:36

文章标签 循环神经网络实现简单回归预测循环神经网络权重语言模型 文章分类 神经网络人工智能

RNN是在自然语言处理领域中最先被用起来的，比如，RNN可以为语言模型来建模。语言模型是指：给定一个一句话前面的部分，预测接下来最有可能的一个词是什么。比如：

我昨天上学迟到了，老师批评了__。

利用RNN根据前面的信息推测出后面的词语。在上面例子中，接下来的这个词最有可能是『我』，而不太可能是『小明』，甚至是『吃饭』。

循环神经网络实现简单回归预测循环神经网络语言模型_循环神经网络

图1 RNN结构图

基本循环神经网络

下图是一个简单的循环神经网络如，它由输入层x、一个隐藏层s和一个输出层o组成：

循环神经网络实现简单回归预测循环神经网络语言模型_循环神经网络实现简单回归预测_02

图2 RNN结构简化图

x是一个向量，它表示输入层的值；s是一个向量，它表示隐藏层的值；o也是一个向量，它表示输出层的值；U是输入层到隐藏层的权重矩阵；V是隐藏层到输出层的权重矩阵。循环神经网络的隐藏层的值s不仅仅取决于当前这次的输入x，还取决于上一次隐藏层的值s。权重矩阵 W就是隐藏层上一次的值作为这一次的输入的权重。

把上面的图展开，循环神经网络如下图所示：

循环神经网络实现简单回归预测循环神经网络语言模型_循环神经网络实现简单回归预测_03

图3 RNN结构时间展开图

网络在t时刻接收到输入xt x t ，隐藏层的值是st s t ，输出值是ot o t ，st s t 的值不仅仅取决于xt x t ，还取决于st−1 s t − 1 。可以用下面的公式来表示循环神经网络的计算方法：

ot=g(Vst)(1) (1) o t = g ( V s t )

st=f(Uxt+Wst−1)(2) (2) s t = f ( U x t + W s t − 1 )

如果把公式2代入公式1中，可以得到：

ot=g(Vst)=g(Vf(Uxt+Wst−1))(1) (1) o t = g ( V s t ) = g ( V f ( U x t + W s t − 1 ) )

=g(Vf(Uxt+Wf(Uxt−1+Wst−2)))(2) (2) = g ( V f ( U x t + W f ( U x t − 1 + W s t − 2 ) ) )

=g(Vf(Uxt+Wf(Uxt−1+Wf(Uxt−2+Wst−3))))(3) (3) = g ( V f ( U x t + W f ( U x t − 1 + W f ( U x t − 2 + W s t − 3 ) ) ) )

=g(Vf(Uxt+Wf(Uxt−1+Wf(Uxt−2+Wf(Uxt−3+...)))))(3) (3) = g ( V f ( U x t + W f ( U x t − 1 + W f ( U x t − 2 + W f ( U x t − 3 + . . . ) ) ) ) )

从上面可以看出，循环神经网络的输出值ot o t ，是受前面历次输入值xt x t 、xt−1 x t − 1 、xt−2 x t − 2 、xt−3 x t − 3 、……的影响。

双向循环神经网络

对于语言模型来说，很多时候光看前面的词是不够的，比如下面这句话：

我的手机坏了，我打算__一部新手机。

如果我们只看横线前面的词，手机坏了，那么我是打算维修还是换一部新的？这都无法确定。但如果我们看到了横线后面的词是『一部新手机』，那么，横线上的词填『买』的概率就大得多了。

基本循环神经网络是无法对此进行建模的，因此，我们需要双向循环神经网络来实现。如下图所示：

循环神经网络实现简单回归预测循环神经网络语言模型_权重_04

图4 双向循环神经网络

我们先考虑上图中y2 y 2 的计算。从上图可以看出，双向卷积神经网络的隐藏层要保存两个值，一个A参与正向计算，另一个值A’参与反向计算。最终的输出值y2 y 2 取决于A2 A 2 和A′2 A 2 ′ 。其计算方法为：

y2=g(VA2+V′A′2)(4) (4) y 2 = g ( V A 2 + V ′ A 2 ′ )

A2 A 2 和A′2 A 2 ′ 则分别计算：

A2=f(WA1+UX2)(5) (5) A 2 = f ( W A 1 + U X 2 )

A′2=f(W′A′3+U′X2)(6) (6) A 2 ′ = f ( W ′ A 3 ′ + U ′ X 2 )

现在，我们已经可以看出一般的规律：正向计算时，隐藏层的值st s t 与st−1 s t − 1 有关；反向计算时，隐藏层的值s′t s t ′ 与s′t−1 s t − 1 ′ 有关；最终的输出取决于正向和反向计算的和。双向循环神经网络的计算方法如下：

ot=g(Vst+V′s′t)(7) (7) o t = g ( V s t + V ′ s t ′ )

st=f(Uxt+Wst−1)(8) (8) s t = f ( U x t + W s t − 1 )

s′t=f(U′xt+W′s′t+1)(9) (9) s t ′ = f ( U ′ x t + W ′ s t + 1 ′ )

其中xt x t 表示输入层的值；st s t 表示正向隐藏层的值；s′t s t ′ 表示反向隐藏层的值；ot o t 表示输出层的值；U U 是输入层到正向隐藏层的权重矩阵；VV是正向隐藏层到输出层的权重矩阵；U′ U ′ 是输入层到反向隐藏层的权重矩阵；V′ V ′ 是反向隐藏层到输出层的权重矩阵；W W 是隐藏层上一次的值st−1st−1作为这一次的输入的权重矩阵；W′ W ′ 是隐藏层下一次的值st+1 s t + 1 作为这一次的输入的权重矩阵。

从上面三个公式我们可以看到，正向计算和反向计算不共享权重，也就是说U和U’、W和W’、V和V’都是不同的权重矩阵。

上面提及的循环神经网络只有一个隐藏层，我们当然也可以堆叠两个以上的隐藏层，这样就得到了深度循环神经网络。如下图所示：

循环神经网络实现简单回归预测循环神经网络语言模型_循环神经网络_05