机器学习梯度下降梯度下降算法代码

转载

mob64ca1410eb61 2024-01-08 17:02:15

文章标签 机器学习梯度下降 ide 最优解迭代 文章分类 机器学习人工智能

原理

梯度下降法也是一种继最小二乘法后求解最优解的技术之一，在机器学习和深度学习上的应用也十分广泛。
最小二乘法对于模型并不复杂的情况来说，可以一步到位的求出最优解，这是它的优势也是劣势。因为对于模型稍微复杂点，就无法在理论和公式上给出一步到位的解。这时就需要梯度下降法来迭代地求出最优解。当然求出的也有可能是局部最优解。

机器学习梯度下降梯度下降算法代码_机器学习梯度下降

代码演示

首先进行一维函数的代码演示：下图是一个关于x的二次函数，找出最优解，使得y最小。

import numpy as np
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签
plt.rcParams['axes.unicode_minus']=False #用来正常显示负号
#构建一维图像
def one_dimension_image(x):
    return 0.5*(x-2)**2
#构建一维图像的导数
def one_derivate(x):
    return 0.5*2*(x-2)

Gtadient_Descent_X = []#存放梯度下降的X坐标
Gtadient_Descent_Y = []#存放梯度下降的Y坐标
x_current = 8 #X初始值
y_current = one_dimension_image(x_current)
Gtadient_Descent_X.append(x_current)
Gtadient_Descent_Y.append(y_current)
learning_rate = 1.5
iter_num = 0 #迭代次数
f_change = x_current #变换值初始化为X的初始值
while f_change >= 1e-10 and iter_num < 100:
    x_now = x_current-learning_rate*one_derivate(x_current)
    y_now = one_dimension_image(x_now)
    f_change = np.abs(y_current-y_now)   
    x_current = x_now
    y_current = y_now
    iter_num += 1
    Gtadient_Descent_X.append(x_current)
    Gtadient_Descent_Y.append(y_current)
#构建数据集
X_data = np.arange(-4,8,0.05)
Y_data = np.array(list(map(lambda t:one_dimension_image(t),X_data)))

plt.figure(facecolor='w')
plt.plot(X_data,Y_data,'r-',linewidth = 2)
plt.plot(Gtadient_Descent_X,Gtadient_Descent_Y,'bo--',linewidth=2)
plt.title('函数$y=0.5*(x-2)^2$\n学习率为%.3f,最终解为:{%.5f,%.5f},迭代次数为%d'%(learning_rate,x_current,y_current,iter_num))
plt.show()

机器学习梯度下降梯度下降算法代码_最优解_02

下面进行二维函数的代码演示，与一维不同的是，这次函数的自变量有两个，一个x1，另一个x2.

import matplotlib as mpl
import numpy as np
from mpl_toolkits.mplot3d import Axes3D

mpl.rcParams['font.sans-serif'] = [u'SimHei']
mpl.rcParams['axes.unicode_minus'] = False
#构建二维图像
def two_dimension_image(x1,x2):
    return 0.6*(x1+x2)**2-x1*x2
#构建二维图像的偏导数x1
def two_derivate_x1(x1,x2):
    return 0.6*2*(x1+x2)-x2
#构建二维图像的偏导数x2
def two_derivate_x2(x1,x2):
    return 0.6*2*(x1+x2)-x1
Gtadient_Descent_X1 = []#存放梯度下降的X1坐标
Gtadient_Descent_X2 = []#存放梯度下降的X2坐标
Gtadient_Descent_F = []#存放梯度下降的F坐标
x1_current = 8 #X1初始值
x2_current = 4  #X2初始值
f_current = two_dimension_image(x1_current,x2_current)  #Y初始值
Gtadient_Descent_X1.append(x1_current)
Gtadient_Descent_X2.append(x2_current)
Gtadient_Descent_F.append(f_current)
learning_rate = 0.5
iter_num = 0 #迭代次数
f_change1 = x1_current #变换值初始化为X1的初始值
f_change2 = x2_current #变换值初始化为X2的初始值
while np.abs(f_change1) >= 1e-10 and np.abs(f_change2) >= 1e-10 and iter_num < 500:
    x1_now = x1_current-learning_rate*two_derivate_x1(x1_current,x2_current)
    x2_now = x2_current-learning_rate*two_derivate_x2(x1_current,x2_current)
    f_now = two_dimension_image(x1_now,x2_now)
    f_change1 =x1_current-x1_now
    f_change2 = x2_current-x2_now
    x1_current = x1_now
    x2_current = x2_now
    f_current = f_now
    iter_num += 1
    Gtadient_Descent_X1.append(x1_current)
    Gtadient_Descent_X2.append(x2_current)
    Gtadient_Descent_F.append(f_current)
x1_data = np.arange(-5,5,0.2)
x2_data = np.arange(-5,5,0.2)
x1_data,x2_data = np.meshgrid(x1_data,x2_data)
Y = np.array(list(map(lambda t:two_dimension_image(t[0],t[1]),zip(x1_data.flatten(),x2_data.flatten()))))
Y.shape = x1_data.shape

fig = plt.figure(facecolor='w')
ax = Axes3D(fig)
ax.plot_surface(x1_data,x2_data,Y,rstride = 1,cstride = 1,cmap = plt.cm.jet)
ax.plot(Gtadient_Descent_X1, Gtadient_Descent_X2, Gtadient_Descent_F,'bo--')
ax.set_title('函数$0.6*(x1+x2)^2-x1*x2$,最优解为{%.5f,%.5f,%.5f}\n迭代次数为%d'%(x1_current,x2_current,f_current,iter_num))
plt.show()

机器学习梯度下降梯度下降算法代码_迭代_03

部分代码解释

numpy.meshgrid()——生成网格点坐标矩阵

输入参数x和y是列向量，输出的X和Y是坐标矩阵。
比如输入的x是(3,)的，y是(4,)的，那么输出的X矩阵和Y矩阵就是(3,4)。即总共产生了12*12个点。

x = np.array([0, 1,])
y = np.array([0, 1,2])
X, Y = np.meshgrid(x, y)
print(X)
print(Y)

[[0 1]
[0 1]
[0 1]]
[[0 0]
[1 1]
[2 2]]

numpy.ndarray.flatten——返回一个折叠成一维的数组

该函数只能适用于numpy对象，即array或者mat，普通的list列表是不行的。

x = np.array([[1,2],[3,4],[5,6]])
a = np.mat([[1,2,3],[4,5,6]])
print(x.flatten())
print(a.flatten())

[1 2 3 4 5 6]
[[1 2 3 4 5 6]]

plt.figure(facecolor=‘w’)——创建自定义图像

figure(num=None, figsize=None, dpi=None, facecolor=None, edgecolor=None, frameon=True)
num:图像编号或名称，数字为编号，字符串为名称
figsize:指定figure的宽和高，单位为英寸，如(4,3)；
dpi参数指定绘图对象的分辨率，即每英寸多少个像素，缺省值为80 1英寸等于2.5cm,A4纸是 21*30cm的纸张
facecolor:背景颜色
edgecolor:边框颜色
frameon:是否显示边框