神经网络前馈和反馈神经网络前馈

转载

AI领域布道师 2023-08-10 11:18:03

文章标签 神经网络前馈和反馈神经网络网络深度学习损失函数 文章分类 神经网络人工智能

神经网络是深度学习中最基础也是最重要的模型之一。在神经网络中，前馈网络、激活函数和损失函数都是非常关键的概念。本文将详细介绍这三个要点的原理，并提供代码实例展示它们的实际应用。

一、前馈网络

前馈网络（Feedforward Network）是最基本的神经网络形式，它由输入层、中间层和输出层组成，每一层都由多个神经元（Neuron）构成。在前馈网络中，每个神经元只和它下一层的神经元相连，信息只能单向流动，不会形成回路。

前馈网络的原理非常简单，对于输入数据，依次通过各层神经元的计算和激活函数的作用，最终得到输出结果。这个过程可以用矩阵运算来实现，其中每层神经元的权重和偏置可以通过训练得到。

以下是使用PyTorch实现前馈网络的示例代码：

import torch
import torch.nn as nn
import torch.optim as optim
from torchvision import datasets, transforms

# 定义超参数
batch_size = 64
learning_rate = 0.01
num_epochs = 10

# 下载MNIST数据集并进行预处理
transform = transforms.Compose([transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,))])
train_dataset = datasets.MNIST(root='./data', train=True, transform=transform, download=True)
test_dataset = datasets.MNIST(root='./data', train=False, transform=transform, download=True)

# 创建数据加载器
train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=batch_size, shuffle=True)
test_loader = torch.utils.data.DataLoader(test_dataset, batch_size=batch_size, shuffle=True)

# 定义前馈网络模型
class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.fc1 = nn.Linear(28*28, 256)
        self.fc2 = nn.Linear(256, 10)
        self.relu = nn.ReLU()
        self.softmax = nn.Softmax(dim=1)
        
    def forward(self, x):
        x = x.view(-1, 28*28)  # 将输入图像展平成向量
        x = self.relu(self.fc1(x))
        x = self.softmax(self.fc2(x))
        return x

# 实例化模型并定义损失函数和优化器
model = Net()
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(model.parameters(), lr=learning_rate)

# 训练模型
for epoch in range(num_epochs):
    for batch_idx, (data, target) in enumerate(train_loader):
        optimizer.zero_grad()  # 清空梯度缓存
        output = model(data)   # 前向传播
        loss = criterion(output, target)  # 计算损失函数
        loss.backward()       # 反向传播
        optimizer.step()      # 更新模型参数
        
        if batch_idx % 100 == 0:
            print('Train Epoch: {} [{}/{} ({:.0f}%)]\tLoss: {:.6f}'.format(
                epoch, batch_idx * len(data), len(train_loader.dataset),
                100. * batch_idx / len(train_loader), loss.item()))

# 在测试集上评估模型性能
model.eval（)  # 将模型切换到评估模式
test_loss = 0
correct = 0
with torch.no_grad():
    for data, target in test_loader:
        output = model(data)
        test_loss += criterion(output, target).item()
        pred = output.argmax(dim=1, keepdim=True)  # 获取预测值
        correct += pred.eq(target.view_as(pred)).sum().item()

test_loss /= len(test_loader.dataset)

print('Test set: Average loss: {:.4f}, Accuracy: {}/{} ({:.0f}%)'.format(
    test_loss, correct, len(test_loader.dataset), 100. * correct / len(test_loader.dataset)))

这段代码实现了一个简单的前馈神经网络，包括了两个隐藏层和一个输出层。我们使用了PyTorch中的nn.Module来构建神经网络，其中nn.Linear表示全连接层。在构建神经网络时，我们需要指定每个层的输入和输出的维度。在本例中，我们使用了两个隐藏层，其输出维度均为256，输入维度分别为输入数据的特征数和第一个隐藏层的输出维度。输出层的输出维度为1，即该神经网络用于回归问题。

然后，我们定义了一个损失函数和优化器。这里我们使用了均方误差损失函数（MSE）和随机梯度下降优化器（SGD），其中lr参数表示学习率。

最后，我们对模型进行了训练。我们将数据集拆分成了训练集和验证集，并在每个epoch结束时计算了模型在训练集和验证集上的损失，并输出了结果。

二、激活函数

激活函数是神经网络中的重要组成部分，主要用于将输入信号转换为输出信号。常用的激活函数包括Sigmoid、ReLU、Tanh等。激活函数的作用是引入非线性因素，使得神经网络可以学习更加复杂的模式。

Sigmoid激活函数

Sigmoid函数是最早被使用的激活函数之一，它将输入信号压缩到0到1之间。Sigmoid函数的数学表达式为：

$神经网络前馈和反馈神经网络前馈_神经网络前馈和反馈$

其中， $神经网络前馈和反馈神经网络前馈_损失函数_02$ 为输入信号。

Sigmoid函数的优点是输出值在0到1之间，可以被解释为概率。但是，Sigmoid函数在输入信号非常大或非常小的情况下，梯度会变得非常小，这会导致神经网络的学习变得非常缓慢，甚至完全停止。因此，Sigmoid函数在现代神经网络中已经很少使用。

ReLU激活函数

ReLU函数是现代神经网络中最常用的激活函数之一。ReLU函数的数学表达式为：

$神经网络前馈和反馈神经网络前馈_损失函数_03$

其中， $神经网络前馈和反馈神经网络前馈_损失函数_02$ 为输入信号。

ReLU函数的优点是计算速度非常快，而且不会出现梯度消失的问题。此外，ReLU函数还具有一定的生物学意义，与神经元的兴奋状态相对应。

Tanh激活函数

Tanh函数是Sigmoid函数的另一种形式，它将输入信号压缩到-1到1之间。Tanh函数的数学表达式为：

$神经网络前馈和反馈神经网络前馈_损失函数_05$

其中， $神经网络前馈和反馈神经网络前馈_损失函数_02$ 为输入信号。

Tanh函数与Sigmoid函数类似，但是Tanh函数的输出值在-1到1之间，可以更好地处理负数输入信号。

三、损失函数

在神经网络中，我们需要定义一个损失函数来衡量模型输出的预测值与真实值之间的差距。损失函数通常是一个标量，它的值越小则说明模型的预测结果越接近真实值。训练神经网络的目标就是通过不断地调整模型的参数，使损失函数的值最小化。

常见的损失函数包括：

均方误差（Mean Squared Error, MSE）

均方误差是最常见的回归问题损失函数之一。它是预测值与真实值之间差的平方的平均值。其数学表达式如下：

$神经网络前馈和反馈神经网络前馈_损失函数_07$

其中， $神经网络前馈和反馈神经网络前馈_神经网络前馈和反馈_08$ 表示样本数量， $神经网络前馈和反馈神经网络前馈_神经网络前馈和反馈_09$ 表示第 $神经网络前馈和反馈神经网络前馈_神经网络前馈和反馈_10$ 个样本的真实值， $神经网络前馈和反馈神经网络前馈_损失函数_11$ 表示第 $神经网络前馈和反馈神经网络前馈_神经网络前馈和反馈_10$

PyTorch 中均方误差的实现：

criterion = nn.MSELoss()
loss = criterion(outputs, labels)

其中，nn.MSELoss() 表示创建一个均方误差损失函数的实例，outputs 表示模型的输出，labels 表示样本的真实值，loss 表示损失函数的值。

交叉熵（Cross-Entropy）

交叉熵是分类问题中最常见的损失函数之一。它是通过计算模型输出的概率分布与真实标签的概率分布之间的交叉熵来度量模型的预测误差。其数学表达式如下：

$神经网络前馈和反馈神经网络前馈_网络_13$

其中， $神经网络前馈和反馈神经网络前馈_神经网络前馈和反馈_08$ 表示类别数量， $神经网络前馈和反馈神经网络前馈_神经网络前馈和反馈_09$ 表示第 $神经网络前馈和反馈神经网络前馈_神经网络前馈和反馈_10$ 个类别的真实标签， $神经网络前馈和反馈神经网络前馈_损失函数_11$ 表示第 $神经网络前馈和反馈神经网络前馈_神经网络前馈和反馈_10$

PyTorch 中交叉熵的实现：

criterion = nn.CrossEntropyLoss()
loss = criterion(outputs, labels)

其中，nn.CrossEntropyLoss() 表示创建一个交叉熵损失函数的实例，outputs 表示模型的输出，labels 表示样本的真实标签，loss 表示损失函数的值。

KL散度（KL Divergence）

KL散度是一种用于度量两个概率分布之间距离的指标。在神经网络中，KL散度通常被用作损失函数之一，以度量模型预测的概率分布与真实概率分布之间的差异。

KL散度的计算方式如下：
$神经网络前馈和反馈神经网络前馈_损失函数_19$
其中， $神经网络前馈和反馈神经网络前馈_神经网络前馈和反馈_20$ 和 $神经网络前馈和反馈神经网络前馈_深度学习_21$ 是两个概率分布， $神经网络前馈和反馈神经网络前馈_神经网络前馈和反馈_10$ 是样本空间中的一个元素。 $神经网络前馈和反馈神经网络前馈_损失函数_23$ 表示从概率分布 $神经网络前馈和反馈神经网络前馈_神经网络前馈和反馈_20$ 到概率分布 $神经网络前馈和反馈神经网络前馈_深度学习_21$ 的距离。

在神经网络中，KL散度通常用于衡量两个概率分布之间的差异，例如在生成对抗网络中，KL散度可以用于衡量生成器生成的样本分布与真实样本分布之间的差异，以指导生成器的优化。

Hinge损失

在神经网络中，Hinge损失是一种常用的损失函数，尤其在支持向量机（SVM）中使用广泛。Hinge损失是一种最大边界分类器（maximum margin classifier）的损失函数，它可以帮助我们将样本分为不同的类别，并确保在两个类别之间具有最大的边界。

Hinge损失的公式如下：
$神经网络前馈和反馈神经网络前馈_网络_26$

其中， $神经网络前馈和反馈神经网络前馈_深度学习_27$ 表示样本 $神经网络前馈和反馈神经网络前馈_神经网络前馈和反馈_28$ 的真实类别标签， $神经网络前馈和反馈神经网络前馈_损失函数_29$ 表示样本 $神经网络前馈和反馈神经网络前馈_神经网络前馈和反馈_28$ 的预测得分（例如，SVM中的函数间隔）， $神经网络前馈和反馈神经网络前馈_深度学习_31$ 表示样本 $神经网络前馈和反馈神经网络前馈_神经网络前馈和反馈_28$

当样本 $神经网络前馈和反馈神经网络前馈_神经网络前馈和反馈_28$ 的真实类别为 $神经网络前馈和反馈神经网络前馈_深度学习_34$ 时，我们希望 $神经网络前馈和反馈神经网络前馈_损失函数_29$ 越大越好，即样本 $神经网络前馈和反馈神经网络前馈_神经网络前馈和反馈_28$ 越靠近正类。当样本 $神经网络前馈和反馈神经网络前馈_神经网络前馈和反馈_28$ 的真实类别为 $神经网络前馈和反馈神经网络前馈_网络_38$ 时，我们希望 $神经网络前馈和反馈神经网络前馈_损失函数_29$ 越小越好，即样本 $神经网络前馈和反馈神经网络前馈_神经网络前馈和反馈_28$ 越靠近负类。在样本分类正确的情况下，即 $神经网络前馈和反馈神经网络前馈_网络_41$ 时，损失为0；在样本分类错误的情况下，即 $神经网络前馈和反馈神经网络前馈_深度学习_42$ 时，损失为 $神经网络前馈和反馈神经网络前馈_深度学习_43$ 。