在pytoch中使用torch.nn命名空间提供了你需要建立自己的神经网络的基石。在PyTorch每个模块的子类nn.Module。神经网络是一个模块本身,由其他模块(层)组成。

导入你所需要的模块

假设构建一个网络模型如下:

卷积层--》Relu层--》池化层--》全连接层--》Relu层--》全连接层

import os import torch from torch import nn from torch.utils.data import DataLoader from torchvision import datasets, transforms

获取训练设备

我们希望能够在 GPU 等硬件加速器上训练我们的模型(如果可用)。让我们检查一下 torch.cuda是否可用,否则我们继续使用CPU。


device = 'cuda' if torch.cuda.is_available() else 'cpu' print('Using {} device'.format(device))


参数初始化

在参数初始化完成之后,可以通过以下四个关键步骤来定义和训练神经网络:

  1. 前向传播
  2. 损失计算
  3. 反向传播
  4. 更新参数

Pytorch实现图神经网络 pytorch 神经网络_Pytorch实现图神经网络

  

定义类

首先,我们通过子类化定义我们的神经网络nn.Module,并先初始化神经网络层__init__。每个nn.Module子类都在forward方法中实现对输入数据的操作。

class NeuralNetwork(nn.Module): def __init__(self): super(NeuralNetwork, self).__init__() self.flatten = nn.Flatten() self.linear_relu_stack = nn.Sequential( nn.Linear(28*28, 512), nn.ReLU(), nn.Linear(512, 512), nn.ReLU(), nn.Linear(512, 10), nn.ReLU() ) def forward(self, x): x = self.flatten(x) logits = self.linear_relu_stack(x) return logits

注意:

初始化nn.Flatten 层以将每个 2D 28x28 图像转换为 784 个像素值的连续数组(保持小批量维度(dim=0))torch.Size([3, 784])

nn.Sequential是一个有序的模块容器。数据按照定义的相同顺序通过所有模块。您可以使用顺序容器来组合一个快速网络。 

线性层 nn.linear是使用其存储的权重和偏置所述输入施加线性变换的模块,torch.Size([3, 20])

非线性激活nn.relu是在模型的输入和输出之间创建复杂映射的原因

我们创建 的实例NeuralNetwork,并将其移动到device,并打印其结构。


model = NeuralNetwork().to(device)print(model)


在输入上调用模型会返回一个 10 维张量,其中包含每个类的原始预测值。我们通过将其传递给nn.Softmax模块的实例来获得预测概率。

X = torch.rand(1, 28, 28, device=device)logits = model(X) pred_probab = nn.Softmax(dim=1)(logits) y_pred = pred_probab.argmax(1) print(f"Predicted class: {y_pred}")

 

Pytorch实现图神经网络 pytorch 神经网络_Soft_02

 模型层

我们将取一个由 3 张大小为 28x28 的图像组成的小批量样本,看看当我们通过网络传递它时会发生什么。

input_image = torch.rand(3,28,28)print(input_image.size())#torch.Size([3, 28, 28])

nn.Softmax

神经网络的最后一个线性层返回logits - [-infty, infty] 中的原始值 - 传递给 nn.Softmax模块。logits 被缩放到值 [0, 1],代表模型对每个类的预测概率。dim参数指示值必须总和为 1 的维度。


flatten = nn.Flatten()flat_image = flatten(input_image) print(flat_image.size())#torch.Size([3, 784])


nn.线性层 :使用其存储的权重和偏置所述输入施加线性变换的模块

layer1 = nn.Linear(in_features=28*28, out_features=20)hidden1 = layer1(flat_image) print(hidden1.size())#torch.Size([3, 20])

nn.relu() 

print(f"Before ReLU: {hidden1}\n\n")hidden1 = nn.ReLU()(hidden1) print(f"After ReLU: {hidden1}")

Pytorch实现图神经网络 pytorch 神经网络_Soft_03

 nn.顺序


nn.Sequential是一个有序的模块容器。数据按照定义的相同顺序通过所有模块。您可以使用顺序容器来组合一个快速网络,例如seq_modules.


seq_modules = nn.Sequential( flatten, layer1, nn.ReLU(), nn.Linear(20, 10) ) input_image = torch.rand(3,28,28) logits = seq_modules(input_image)


nn.Softmax

神经网络的最后一个线性层返回logits - [-infty, infty] 中的原始值 - 传递给 nn.Softmax模块。logits 被缩放到值 [0, 1],代表模型对每个类的预测概率。dim参数指示值必须总和为 1 的维度。



softmax = nn.Softmax(dim=1)pred_probab = softmax(logits)




Pytorch实现图神经网络 pytorch 神经网络_Soft_04

  

模型参数

神经网络内的许多层都是参数化的,即具有在训练期间优化的相关权重和偏差。子类化会nn.Module自动跟踪模型对象中定义的所有字段,并使所有参数都可以使用模型的parameters()named_parameters()方法访问。

在这个例子中,我们迭代每个参数,并打印它的大小和它的值的预览。


print("Model structure: ", model, "\n\n")for name, param in model.named_parameters():    print(f"Layer: {name} | Size: {param.size()} | Values : {param[:2]} \n")

参考链接:python构建神经网络流程