(声明:由于本人大二,能力有限,刚接触机器学习,且深度学习接触很少,而且也是第一次写博客,肯定有很多不足的地方,且知识介绍的比较浅薄,望大家及时斧正,我会不断提升的,谢谢)

一、(使用PyTorch实现)

1,首先就是要明白基本要素,有模型、数据集,损失函数、优化函数-随机梯度下降

2,然后就是基本流程,首先生成数据集

线性回归正则化的目的 线性回归的原则_线性回归正则化的目的


然后使用图像来展示数据集

线性回归正则化的目的 线性回归的原则_随机数_02


然后就是读取数据集、初始化模型参数、定义模型、定义损失函数、

定义优化函数、然后就是训练,这几步的代码就不一一赘余,

3,我的思考与收获:

首先之前只看西瓜书,很少动手实现,这一次真正体会到动手实践的好处,也更清楚的懂得了线性回归的详细流程,也懂得了很多为什么,比如为什么每次优化完之后要进行参数梯度的清零,因为如果不清零则下一次梯度会进行累加,也下去查了很多关于torch中的一些函数,例如:

torch.ones()/torch.zeros(),与MATLAB的ones/zeros很接近。初始化生成均匀分布

torch.rand(*sizes, out=None) → Tensor返回一个张量,包含了从区间[0, 1)的均匀分布中抽取的一组随机数。张量的形状由参数sizes定义。标准正态分布

torch.randn(*sizes, out=None) → Tensor返回一个张量,包含了从标准正态分布(均值为0,方差为1,即高斯白噪声)中抽取的一组随机数。张量的形状由参数sizes定义。

torch.mul(a, b)是矩阵a和b对应位相乘,a和b的维度必须相等,比如a的维度是(1, 2),b的维度是(1, 2),返回的仍是(1, 2)的矩阵

torch.mm(a, b)是矩阵a和b矩阵相乘,比如a的维度是(1, 2),b的维度是(2, 3),返回的就是(1, 3)的矩阵

torch.Tensor是一种包含单一数据类型元素的多维矩阵,定义了7种CPU tensor和8种GPU tensor类型。

random.shuffle(a):用于将一个列表中的元素打乱。shuffle() 是不能直接访问的,需要导入 random 模块,然后通过 random 静态对象调用该方法。

backward()是pytorch中提供的函数,配套有require_grad:

所有的tensor都有.requires_grad属性,可以设置这个属性.x =tensor.ones(2,4,requires_grad=True)

如果想改变这个属性,就调用tensor.requires_grad_()方法:   x.requires_grad_(False)

还有很多知识点还来不及消化,因为边看视频的同时,我也会查阅很多书籍,所以进度略慢,有时候来不及总结,望多体谅