首先补上上一个博客中在Win10下安装PyTorch的内容。

Win10下安装PyTorch的GPU版本需要注意的地方

Win10环境下安装PyTorch，进入官网，然后对着官网安装即可。但是我在安装过程中遇到了几个问题，列举出来。

1. 空间不足

我在安装过程中遇到了这个提示，发现是c盘空间不足，因此在安装时最好先把c盘空间留出来，至少

应该留5G以上。

pytorch gpu内存溢出 pytorch显存不够_新版本

2.安装的下载过程总是失败

之前装的时候一直是下载着下载着就停住了，然后就失败了，我也不知道是为什么，在Ubuntu下装的时候就没有这个问题。这次装的时候我科学上网了下，就装成功了。所以一直下载失败的或许可以试试。当然这只是我的个人体验，不一定是这样的。

3.不支持显卡

如果选择安装的是GPU版本，需要注意，使用conda安装的话会默认安装最新版本，然而最新版本的PyTorch不支持GTX9系显卡及以下显卡。如果是9系及以下显卡，则在使用CUDA时会报错：

RuntimeError: cuda runtime error (48) : no kernel image is available for execution on the device at /opt/conda/conda-bld/pytorch_1518244421288/work/torch/lib/THC/generic/THCTensorMath.cu:15

解决方案如下：
pytorch新版本不支持GTX9系显卡的问题与解决方案Warning for old GPU and cuda runtime error with fast.ai lesson

下面进入这次的内容

实现梯度下降算法

梯度下降算法是一种优化算法。对其具体的理解，我觉的莫烦老师讲的挺好的：
神经网络 梯度下降 将莫烦老师的代码实现。（以下内容为莫烦[关系拟合 (回归)]代码复现及解释(https://morvanzhou.github.io/tutorials/machine-learning/torch/3-01-regression/)）
首先定义一个函数：
函数为pytorch gpu内存溢出 pytorch显存不够_解决方案_02
然后将其数据离散化，并添加噪声，得到数据集：

x = torch.unsqueeze(torch.linspace(-1, 1, 100), dim=1)  
y = x.pow(2) + 0.2*torch.rand(x.size())              
plt.scatter(x.data.numpy(), y.data.numpy())
plt.show()

得到数据集如图所示：

pytorch gpu内存溢出 pytorch显存不够_官网_03


其中，linespace(-1, 1, 100)的意思是将-1到1分成100个点。

unsqueeze函数的解释如下所示：

pytorch gpu内存溢出 pytorch显存不够_解决方案_04


建立神经网络：

import torch.nn.functional as F     # 激励函数都在这
class Net(torch.nn.Module):
    def __init__(self, n_feature, n_hidden, n_output):
        super(Net, self).__init__()     # 继承 __init__ 功能
        # 定义每层用什么样的形式
        self.hidden = torch.nn.Linear(n_feature, n_hidden)   # 隐藏层线性输出
        self.predict = torch.nn.Linear(n_hidden, n_output)   # 输出层线性输出

    def forward(self, x):   # 这同时也是 Module 中的 forward 功能
        # 正向传播输入值, 神经网络分析出输出值
        x = F.relu(self.hidden(x))      # 激励函数(隐藏层的线性值)
        x = self.predict(x)             # 输出值
        return x

net = Net(n_feature=1, n_hidden=10, n_output=1)
print(net)  # net 的结构

接下来对网络进行训练：

optimizer = torch.optim.SGD(net.parameters(), lr=0.2)  # 传入 net 的所有参数, 学习率
loss_func = torch.nn.MSELoss()      # 预测值和真实值的误差计算公式 (均方差)
plt.ion()   # 画图
for t in range(200):
    prediction = net(x)     # 喂给 net 训练数据 x, 输出预测值
    loss = loss_func(prediction, y)     # 计算两者的误差
    optimizer.zero_grad()   # 清空上一步的残余更新参数值
    loss.backward()         # 误差反向传播, 计算参数更新值
    optimizer.step()        # 将参数更新值施加到 net 的 parameters 上
    if t % 5 == 0:
        # plot and show learning process
        plt.cla()
        plt.scatter(x.data.numpy(), y.data.numpy())
        plt.plot(x.data.numpy(), prediction.data.numpy(), 'r-', lw=5)
        plt.text(0.5, 0, 'Loss=%.4f' % loss.data.numpy(), fontdict={'size': 20, 'color':  'red'})
        plt.pause(0.1)
plt.ioff()
plt.show()

得到的结果为（其中一幅图）：

pytorch gpu内存溢出 pytorch显存不够_新版本_05


这里使用的是随机梯度下降（SGD），这篇文章的内容可以作为参考：

详解梯度下降法的三种形式BGD、SGD以及MBGD 至此，使用PyTorch实现梯度下降法的内容完成了。