RNN 能做回归吗 rnn简单实例

转载

mob64ca140ee96c 2024-04-03 12:31:07

文章标签 RNN 能做回归吗 rnn lstm 深度学习神经网络 文章分类 机器学习人工智能

文章目录

什么是RNN

RNN工作原理图解
多种RNN形态
RNN的公式原理

结合pytorch官方样例学习RNN

什么是RNN

RNN工作原理图解

RNN是怎样工作的？假如在t时刻，神经网络输入x(t)，神经网络会计算状态s(t)，并输出y(t)。

RNN 能做回归吗 rnn简单实例_lstm

到t+1时刻，输入为x(t+1)，神经网络会根据s(t)和s(t+1)来输出y(t+1)。

RNN 能做回归吗 rnn简单实例_神经网络_02

多种RNN形态

RNN经过适当组合，有不同的输入和输出形式，从而能解决不同领域的问题。比如输入一张图片，输出描述它的一段话。

RNN 能做回归吗 rnn简单实例_RNN 能做回归吗_03

或者输入一段中文，输出一段英文。

RNN 能做回归吗 rnn简单实例_神经网络_04

RNN的公式原理

传统RNN的实现主要是下图中的红框部分。

RNN 能做回归吗 rnn简单实例_RNN 能做回归吗_05

用公式表达如下：

RNN 能做回归吗 rnn简单实例_lstm_06

其中 $RNN 能做回归吗 rnn简单实例_神经网络_07$ 并不是最重要的部分，而输出 $RNN 能做回归吗 rnn简单实例_rnn_08$ 是关键。

结合pytorch官方样例学习RNN

根据pytorch官方文档，torch.nn.RNN.html可知，RNN计算隐藏层的方式如下，相当于分别对上个隐藏层输出 $RNN 能做回归吗 rnn简单实例_深度学习_09$ 与 $RNN 能做回归吗 rnn简单实例_rnn_10$ 作线性转换，相加后经过激活层tanh或relu。

RNN 能做回归吗 rnn简单实例_神经网络_11

我们结合代码案例，对这个API做简化版的解释

import torch
from torch import nn

rnn = nn.RNN(10, 20)
input = torch.randn(5, 3, 10)
h0 = torch.randn(1, 3, 20)
output, hn = rnn(input, h0)

# torch.Size([5, 3, 20])
# torch.Size([1, 3, 20])
# tensor(True)
print(output.shape)
print(hn.shape)
print(torch.all(output[-1] == hn))

构造函数的参数简化版解释如下：

input_size – The number of expected features in the input x
hidden_size – The number of features in the hidden state h

所以 nn.RNN(10, 20):的意思是，输入的每个单词长度为10，输出的每个向量长度为20。另外，batch_first 参数默认为False，它会影响输入的维度顺序，当为False时，输入维度是(seq, batch, feature)，为True时是(batch, seq, feature)。

输入的参数简化版解释如下：

输入: input, h_0

input: batch_first 默认为False时，维度为(seq, batch, feature)
h_0: 在本例默认其它参数情况下，维度为(1, batch, feature)

所以，代码块中的input和h0变量分别代表各个时刻t的输入，以及初始的隐藏层状态。

输出的参数简化版解释如下：

输出: output, h_n

output: 在其它参数默认时，维度为(sequence, batch, $RNN 能做回归吗 rnn简单实例_rnn_12$ )。它代表每个时刻t的隐藏层输出 $RNN 能做回归吗 rnn简单实例_RNN 能做回归吗_13$ 。
h_n: 在其它参数默认时，维度为(1, batch, $RNN 能做回归吗 rnn简单实例_rnn_12$ )，它代表最后时刻T的隐藏层输出 $RNN 能做回归吗 rnn简单实例_lstm_15$ 。

所以，代码块中output的维度是[5,3,20]，其中batch是3，序列长度为5（有5个单词）。而hn的维度是[1,3,20]，每个batch都取了 $RNN 能做回归吗 rnn简单实例_深度学习_16$ 。同时，print(torch.all(output[-1] == hn))输出为True说明hn就是output[-1]，hn是最后时刻T的隐藏层输出。