学习参考《统计学习方法》

疑惑处如下

使用感知机对随机生成数据集进行分类 (线性可分)_梯度下降

每次梯度下降都是针对一个误分类点 而单个误分类点的损失函数为Li(w,b)=-yi*(w*xi+b) 对w与b求完偏导之后即为-xi*yi与-yi

 

代码如下:

import numpy as np
from matplotlib import pyplot as plt

np.random.seed(0)
X=np.r_[np.random.randn(20,2)-[3,3],np.random.randn(20,2)+[3,3]]
Y=20*[-1]+20*[1]


w,b=[0.0,0.0],0.0
step=0.01

while True:
p=-1
for i in range(40):
if Y[i]*(w[0]*X[i][0]+w[1]*X[i][1]+b)<=0:
p=i
break
if p==-1:
break
while Y[p]*(w[0]*X[p][0]+w[1]*X[p][1]+b)<=0:
w[0]=w[0]+step*X[p][0]*Y[p]
w[1]=w[1]+step*X[p][1]*Y[p]
b=b+step*Y[p]

plt.title('Perceptron')
plt.xlabel('X0')
plt.ylabel('X1')
for i in range(40):
if Y[i]==-1:
plt.scatter(X[i][0],X[i][1],c='b')
else:
plt.scatter(X[i][0],X[i][1],c='r')

XX=np.linspace(-10,10)
YY=-(w[0]/w[1])*XX-b/w[1]
plt.plot(XX,YY,'-c',label='Hyperplane')
plt.show()

随机数据及最终超平面如图所示

使用感知机对随机生成数据集进行分类 (线性可分)_误分类_02

使用感知机对随机生成数据集进行分类 (线性可分)_感知机_03