pytorch l1损失计算公式

先亮代码，分成了两个文件一个是model1，用于存放模型，另一个文件是train，用于数据训练以及展示等功能，这样更符合实际应用场景。

model1：

import torch
from torch import nn
from torch.nn import Conv2d,MaxPool2d,Flatten,Linear,Sequential
class qiqi(nn.Module):
    def __init__(self):
        super(qiqi, self).__init__()
        self.model1 = Sequential(
            Conv2d(3, 32, 5, padding=2),    #注意有逗号
            MaxPool2d(2),
            Conv2d(32, 32, 5, padding=2),
            MaxPool2d(2),
            Conv2d(32, 64, 5, padding=2),
            MaxPool2d(2),
            Flatten(),
            Linear(1024, 64),
            Linear(64, 10)
        )
    def forward(self,x):
        x=self.model1(x)
        return x

#测试一下模型
if __name__ == '__main__':
    qq=qiqi()
    input = torch.ones((64,3,32,32))
    output = qq(input)
    print(output.shape)

train：

import torch
import torchvision
from torch import nn
from torch import optim
from torch.nn import Conv2d,MaxPool2d,Flatten,Linear,Sequential
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter
from model1 import *  #直接调用

#准备数据集
train_data = torchvision.datasets.CIFAR10(root="./dataset2", train=True, transform=torchvision.transforms.ToTensor(),
                                         download=True)
test_data = torchvision.datasets.CIFAR10(root = "./dataset2",train=False, transform=torchvision.transforms.ToTensor(),
                                        download=True)
#length长度
train_data_size = len(train_data)
test_data_size = len(test_data)
print("训练数据集的长度为：{}".format(train_data_size))
print("测试数据集的长度为：{}".format(test_data_size))

#利用DataLoader来加载数据集
train_dataloader = DataLoader(train_data,batch_size=64)
test_dataloader = DataLoader(test_data,batch_size=64)


#创建网络模型
qq=qiqi()

#损失函数
loss_fn = nn.CrossEntropyLoss()

#优化器
learning_rate = 1e-2
optimizer = torch.optim.SGD(qq.parameters(),lr=learning_rate)

#设置训练网络的一些参数
#记录训练的次数
total_train_step = 0
#记录测试的次数
total_test_step = 0
#训练的轮数
epoch = 10

writer = SummaryWriter("total_process")
for i in range(epoch):
    print("--------第 {} 轮训练开始--------".format(i+1))
    #训练步骤开始
    qq.train()   #这行代码在这里作用不大，因为模型中是一些常见的函数
    for data in train_dataloader:
        imgs,targets=data
        outputs = qq(imgs)
        loss = loss_fn(outputs,targets)

        #优化器优化模型
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

        total_train_step = total_train_step+1
        if total_train_step % 100 == 0:
        print("本轮用时：{}".format(end_time-start_time) )
        print("训练次数：{}, loss: {}".format(total_train_step,loss.item)) #这里item也可以    不用
        writer.add_scalar("train_loss",loss.item(),total_train_step)


    #测试步骤开始
    qq.eval（)   #对现在的网络层没影响，在含有bn层和dropout层的模型中有影响，因为这两个层在训练和测试是不一样的
    total_test_loss = 0
    total_accurancy = 0
    with torch.no_grad():
        for data in test_dataloader:
            imgs, targets = data
            outputs = qq(imgs)
            loss = loss_fn(outputs, targets)
            total_test_loss = total_test_loss + loss.item()
            accurancy = (outputs.argmax(1) == targets).sum()
            total_accurancy = total_accurancy + accurancy

    print("整体测试集上的loss：{}".format(total_test_loss))
    print("整体测试集上的正确率：{}".format(total_accurancy/test_data_size))
    writer.add_scalar("test_loss",total_test_loss,total_test_step)
    writer.add_scalar("test_accuracy",total_accurancy/test_data_size,total_test_step)
    total_test_step = total_test_step + 1

    torch.save(qq,"qq_{}.pth".format(i))
    print("模型已保存")

writer.close()

补充一下正确率那一块代码的理解：

拿一个简单的二分类举例：

输出只能输出概率，第一步要在Argmax的帮助下找到最大值并归为其中一类（argmax(1)表示横着判断，argmax(0)表示竖着判断），如图所示，第一行判定分类为1，第二行判断分类为1，所以第一步处理后的结果为:[1][1]；第二步，与targets进行比较分类一致为true，分类不一致为false，为true的是分类正确的，最终求和得到分类正确的数目

上面在训练和测试的过程中用train和eval是因为bn层和dropout层在训练和测试是不一样的 

运行结果 ：

tensorboard展示的结果：

 

 

 

 接下来对代码进行一些升级（为了方便，将代码放在一个文件中）

使用GPU进行训练：（两种方法）

两种方法的核心理念是一致的，都是将网络模型、数据、损失函数调用cuda()

 第一个方法：

#
if torch.cuda.is_available():
    qq=qq.cuda()
#
if torch.cuda.is_available():
    loss_fn = loss_fn.cuda()
#训练集和测试集中都要加入
if torch.cuda.is_available():
    imgs = imgs.cuda()
    targets = targets.cuda()

第二个方法：

#在一开始输入
device = torch.device("cuda:0")
#之后在数据(测试+训练)、模型、损失函数中分别输入
qq = qq.to(device)

loss_fn = loss_fn.to(device)

imgs = imgs.to(device)
targets = targets.to(device)

方法二的完整代码：

import torch
import torchvision
from torch import nn
from torch import optim
from torch.nn import Conv2d,MaxPool2d,Flatten,Linear,Sequential
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter
import time

#定义训练的设备
device = torch.device("cuda")
#准备数据集
train_data = torchvision.datasets.CIFAR10(root="./dataset2", train=True, transform=torchvision.transforms.ToTensor(),
                                         download=True)
test_data = torchvision.datasets.CIFAR10(root = "./dataset2",train=False, transform=torchvision.transforms.ToTensor(),
                                        download=True)
#length长度
train_data_size = len(train_data)
test_data_size = len(test_data)
print("训练数据集的长度为：{}".format(train_data_size))
print("测试数据集的长度为：{}".format(test_data_size))

#利用DataLoader来加载数据集
train_dataloader = DataLoader(train_data,batch_size=64)
test_dataloader = DataLoader(test_data,batch_size=64)

#准备训练模型
class qiqi(nn.Module):
    def __init__(self):
        super(qiqi, self).__init__()
        self.model1 = Sequential(
            Conv2d(3, 32, 5, padding=2),    #注意有逗号
            MaxPool2d(2),
            Conv2d(32, 32, 5, padding=2),
            MaxPool2d(2),
            Conv2d(32, 64, 5, padding=2),
            MaxPool2d(2),
            Flatten(),
            Linear(1024, 64),
            Linear(64, 10)
        )
    def forward(self,x):
        x=self.model1(x)
        return x
#创建网络模型
qq=qiqi()
qq = qq.to(device)

#损失函数
loss_fn = nn.CrossEntropyLoss()
loss_fn = loss_fn.to(device)

#优化器
learning_rate = 1e-2
optimizer = torch.optim.SGD(qq.parameters(),lr=learning_rate)

#设置训练网络的一些参数
#记录训练的次数
total_train_step = 0
#记录测试的次数
total_test_step = 0
#训练的轮数
epoch = 10
#记录时间
start_time = time.time()
writer = SummaryWriter("train_gpu2")
for i in range(epoch):
    print("--------第 {} 轮训练开始--------".format(i+1))
    #训练步骤开始
    qq.train() #对现在的网络层没影响，在含有bn层和dropout层的模型中有影响，因为这两个层在训练和测试是不一样的
    for data in train_dataloader:
        imgs,targets = data
        imgs = imgs.to(device)
        targets = targets.to(device)
        outputs = qq(imgs)
        loss = loss_fn(outputs,targets)

        #优化器优化模型
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

        total_train_step = total_train_step+1
        if total_train_step % 100 == 0:
            end_time = time.time()
            print("本轮用时：{}".format(end_time-start_time) )
            print("训练次数：{}, loss: {}".format(total_train_step,loss.item())) #这里item也可以不用
            writer.add_scalar("train_loss",loss.item(),total_train_step)

    #测试步骤开始
    qq.eval（)   #对现在的网络层没影响，在含有bn层和dropout层的模型中有影响，因为这两个层在训练和测试是不一样的
    total_test_loss = 0
    total_accurancy = 0
    with torch.no_grad():
        for data in test_dataloader:
            imgs, targets = data
            imgs = imgs.to(device)
            targets = targets.to(device)
            outputs = qq(imgs)
            loss = loss_fn(outputs, targets)
            total_test_loss = total_test_loss + loss.item()
            accurancy = (outputs.argmax(1) == targets).sum()
            total_accurancy = total_accurancy + accurancy

    print("整体测试集上的loss：{}".format(total_test_loss))
    print("整体测试集上的正确率：{}".format(total_accurancy/test_data_size))
    writer.add_scalar("test_loss",total_test_loss,total_test_step)
    writer.add_scalar("test_accuracy",total_accurancy/test_data_size,total_test_step)
    total_test_step = total_test_step + 1

    torch.save(qq,"qq_{}.pth".format(i))
    print("模型已保存")

writer.close()