文章目录
- 优化问题
- 梯度下降
- 随机梯度下降
在线性模型训练的时候，一开始并不知道w的最优值是什么，可以使用一个随机值来作为w的初始值，使用一定的算法来对w进行更新
优化问题
寻找使得目标函数最优的权重组合的问题就是优化问题
梯度下降
通俗的讲，梯度下降就是使得梯度往下降的方向，也就是负方向走。一般来说，梯度往正方向走，表示梯度大于0,，表示函数是往递增方向走，而这里需要的是找最低点，最低点一定是在往下走，所以这里的梯度要取负号。梯度下降更新权重的公式如下（注意是减），α表示学习率：
梯度下降算法属于贪心算法的一种，它的权重的更新，每一次都是朝着梯度下降最快的方向进行更新，当梯度为0的时候，算法收敛，权重不再更新。梯度下降可能得到的是一个局部最优解（非凸函数）。
在深度学习中，尽管梯度下降算法会陷入局部最优，但是在深度学习中梯度下降算法依旧广泛应用：在之前大家认为，深度学习的目标函数会出现很多的局部最优解，但是实际上，其损失函数并没有很多的局部最优解。但是深度学习的损失函数会存在很多的鞍点（也就某一点上梯度为0，从一个切面上看是最小值，从另一个切面看是最大值的点，如下图 ），导致权重无法继续迭代，可以使用动量法来解决鞍点问题。
代码实现：
- 要求：模拟梯度下降算法，计算在x_data、y_data数据集下，y=w*x模型找到合适的w的值。
- 和第二课不同的是，第一课的w是我们认为设定的，通过一个for循环使得w迭代，这一次需要的是通过模型找到适合的w
import matplotlib.pyplot as plt
x_data=[1.0,2.0,3.0]
y_data=[2.0,4.0,6.0]
w=1.0
# 求预测值
def forward(x):
return x*w
# 损失函数
def cost(xs,ys):
costs=0
# 用zip打包成元祖，并返回元祖组成的列表
for x,y in zip(xs,ys):
y_pred=forward(x)
costs+=(y_pred-y)**2
return costs/len(xs)
# 计算梯度
def gradient(xs,ys):
grad=0
for x,y in zip(xs,ys):
grad+=2*x*(x*w-y)
return grad/len(xs)
cost_list=[]
epoch_list=[]
print('predict before training',forward(4))
for epoch in range(200):
cost_val=cost(x_data,y_data)
grad_val=gradient(x_data,y_data)
w-=0.01*grad_val
epoch_list.append(epoch)
cost_list.append(cost_val)
print('epoch:',epoch,'w=',w,'loss=',cost_val)
print('predict after training:',forward(4))
# 画图
plt.plot(epoch_list,cost_list)
plt.xlabel('epoch')
plt.ylabel('loss')
plt.show()部分结果截图
随机梯度下降
在上面的梯度下降中，求损失的时候用的是全部数据的平均损失作为更新的依据。而随机梯度下降是在全部的数据中随机选择一个作为更新的依据。使用随机梯度下降可以有效的避开鞍点
import matplotlib.pyplot as plt
x_data=[1.0,2.0,3.0]
y_data=[2.0,4.0,6.0]
w=1.0
# 求预测值
def forward(x):
return x*w
# 损失函数
def cost(x,y):
y_pred=forward(x)
return (y_pred-y)**2
# 计算梯度
def gradient(x,y):
return 2*x*(x*w-y)
cost_list=[]
epoch_list=[]
print('predict before training',forward(4))
for epoch in range(200):
for x,y in zip(x_data,y_data):
grad_val=gradient(x,y)
print('\tgrad:',x,y,w)
w-=0.01*grad_val
print('\tgrad:',x,y,w,'\n')
cost_val=cost(x,y)
epoch_list.append(epoch)
cost_list.append(cost_val)
print('epoch:',epoch,'w=',w,'loss=',cost_val)
print('predict after training:',forward(4))
# 画图
plt.plot(epoch_list,cost_list)
plt.xlabel('epoch')
plt.ylabel('loss')
plt.show()结果截图：
在第一个梯度下降中，样本x与样本x+1之间没有时序关系，我们计算的是他们的总的损失，这些运行时可以并行运行的。但是在第二个随机梯度下降中，我们是先计算了x再计算的x+1，数据之间存在先后的关系，有依赖关系，不能用并行计算。所以梯度下降可以有效提高运算的效率，而随机梯度下降可以获得一个优异的w。把以上两种方法折中，就产生了小批量随机梯度下降，取了一种性能与时间复杂度之间的折中。
