python 支持向量机 代码 python支持向量机参数

支持向量机算法

• 1 概述
• 2 算法特点
• 3 算法原理

• 3.1 距离计算
• 3.2 分类器的求解优化

• 3.2.1 要优化的目标
• 3.2.2 目标函数

• 3.3 软间隔最大化
• 3.4 核函数

• 4 总结
• 5、python实现

1 概述

  支持向量机（support vector machines,SVM）主要作为一种二分类模型。它的强大之处在于既可以用作线性分类器又可以作为非线性分类器。

2 算法特点

• 优点：泛化错误率低，计算开销不大，结果容易解释。
• 缺点：对参数调节和核函数的选择敏感，原始分类器不加修改仅适用于二分类问题。
• 适用数据类型：数值型和标称型数据。

3 算法原理

  对于给定的训练数据集，对于线性可分的情况，就是找到一条决策边界使其距离最近的两个不同类别点最远；线性不可分时，主要区别是先将数据通过变换函数（映射函数）映射到新的空间，然后在新空间种使用线性分类。

3.1 距离计算

$w^{T}x+b=0$,那么如何求取其到某个点的距离呢？举个例子求已知点$(x,y)$到$Ax+By+C=0$的距离，可以求得距离为$\frac{\left | Ax+By+C \right |}{\sqrt{A^{2}+B^{2}}}$，扩展到n维空间的分隔面可以写成$w^{T}x+b$，要计算点A到分隔超平面的距离，就必须给出点到分隔面的法线或者垂线的距离，其值为$\left |w^{T}A+b \right |/\left \| w \right \|$

3.2 分类器的求解优化

$T = {(x_{1},y_{1}),(x_{2},y_{2}),\cdots ,(x_{n},y_{n}))}$
当$x_{i}$为正例的时候$y_{i}=+1$，当$x_{i}$为负例的时候$y_{i}=-1$。决策方程为：$y(x)=w^{T}x+b$，可推出

$\begin{matrix} y(x_i)>0\Leftrightarrow y_i=+1\\ y(x_i)<0\Leftrightarrow y_i=-1\end{matrix}\Rightarrow y_i*y(x_i)>0$

3.2.1 要优化的目标

• 找到一条线，是距离该线最近的不同分类点最远
• 点到直线的距离：因$y_i*y(x_i)>0$，则$\left |w^{T}A+b \right |/\left \| w \right \|$可写成$\frac{y_i*(w^{T}A+b)}{\left \| w\right \|}$

3.2.2 目标函数

优化的目标：$\underset{w,b}{max}\left \{ \frac{1}{||w||} \underset{i}{min}\cdot (y_i\cdot (w^{T}x_i+b))\right \}$
首先我们知道$y_i\cdot (w^{T}x_i+b)>0$，通过放缩可以使$y_i\cdot (w^{T}x_i+b)\geq 1$，在此条件下我们只需考虑$\underset{w,b}{max}\frac{1}{||w||}$，使其值最大。为了方便求解和化简，目标函数转成就最小值问题$\underset{w,b}{max}\frac{1}{2}w^2$。
接下来就是求解目标函数：
$\underset{w,b}{max}\frac{1}{2}w^2$
$s.t.(约束条件)\, \, \, \, \, \, \, \, \, \, y_i\cdot (w^{T}x_i+b)\geq 1$
求解目标函数需要用到拉格朗日乘子法
约束条件的优化问题：
$\underset{x}{min}f(x)$
约束条件：
$h_i(x)=0,i=1,2,\cdots,m$$g_j(x)\leq 0,j=1,2,\cdots,n$拉格朗日函数为：
$L(x,\lambda ,\mu )=f(x)+\sum_{i=1}^{m}\lambda _ih_i(x)+\sum_{j=1}^{n}\mu _jg_j(x)$
套用拉格朗日函数可得：
约束条件：$y_i\cdot (w^{T}x_i+b)\geq 1$即$-(y_i\cdot (w^{T}x_i+b)-1)\leqslant0$
可得
$L(x,b ,\alpha )=\frac{1}{2}||w||^2-\sum_{i=1}^{n}\alpha _i(y_i\cdot (w^{T}x_i+b)-1)$

拉格朗日乘子法：
拉格朗日函数和KKT条件：
$L(x,\lambda )=f(x)+\lambda h(x)$约束条件：$\lambda \geq 0,h(x)\leq 0,\lambda h(x)=0$
推广到多个约束条件：
$\underset{x}{min}f(x)$
约束条件：
$h_i(x)=0,i=1,2,\cdots,m$$g_j(x)\leq 0,j=1,2,\cdots,n$
则拉格朗日函数为：
$L(x,\lambda ,\mu )=f(x)+\sum_{i=1}^{m}\lambda _ih_i(x)+\sum_{j=1}^{n}\mu _jg_j(x)$
引入的KKT条件为：

$g_i(x) \leqslant 0$$\mu_j \geq 0$$\mu_j g_j(x)= 0$
SVM求解
(1)根据拉格朗日的对偶性，那原始问题的对偶问题就是极大极小问题：
$\underset{\alpha }{max}\, \, \underset{w,b }{min}L(w,b,\alpha )$
先求$L(w,b,\alpha )$对$w,b$的极小，在求对$\alpha$的极大。
对式子求导
$L(x,b ,\alpha )=\frac{1}{2}||w||^2-\sum_{i=1}^{n}\alpha _i(y_i\cdot (w^{T}x_i+b)-1)$
得：
$w = \sum_{i=1}^{N}\alpha_iy_ix_i$$\sum_{i=1}^{N}\alpha_iy_i = 0$
代入上述条件可求得：
$\underset{w,b}{max}L(w,b,\alpha )=-\frac{1}{2}\sum_{i=1}^{N}\sum_{j=1}^{N}\alpha _i\alpha _jy_iy_j(x_i\cdot x_j)+\sum_{i=1}^{N}\alpha_i$
(2)求$\underset{w,b}{max}L(w,b,\alpha )$对$\alpha$得极大，即是对偶问题。
$\underset{\alpha }{max}\, \, -\frac{1}{2}\sum_{i=1}^{N}\sum_{j=1}^{N}\alpha _i\alpha _jy_iy_j(x_i\cdot x_j)+\sum_{i=1}^{N}\alpha_i$$s.t.\, \,\, \,\, \,\, \,\, \,\, \,\, \, \sum_{i=1}^{N}\alpha_iy_i = 0,\alpha_i\geq0$
将目标函数由极大转换成求极小。
$\underset{\alpha }{min}\, \, \frac{1}{2}\sum_{i=1}^{N}\sum_{j=1}^{N}\alpha _i\alpha _jy_iy_j(x_i\cdot x_j)-\sum_{i=1}^{N}\alpha_i$$s.t.\, \,\, \,\, \,\, \,\, \,\, \,\, \, \sum_{i=1}^{N}\alpha_iy_i = 0,\alpha_i\geq0$
假设通过上式求解到$\alpha_i$,则:
$w = \sum_{i=1}^{N}\alpha_iy_ix_i$$b=y_j- \sum_{i=1}^{N}\alpha_iy_i(x_i,x_j)$
(4)示例
得到目标函数后，该如何求解呢？已知如下图所示的训练数据集：正例有$x_1=(3,3)^T,x_2=(4,3)^T$，负例是$x_3=(1,1)^T$
求解： $\underset{\alpha }{min}\, \, \frac{1}{2}\sum_{i=1}^{N}\sum_{j=1}^{N}\alpha _i\alpha _jy_iy_j(x_i\cdot x_j)-\sum_{i=1}^{N}\alpha_i$
约束条件：
$\alpha_1+\alpha_2-\alpha_3=0$$\alpha_i\geq0,i=1,2,3$

解：

$\underset{\alpha }{min}\, \, \frac{1}{2}\sum_{i=1}^{N}\sum_{j=1}^{N}\alpha _i\alpha _jy_iy_j(x_i\cdot x_j)-\sum_{i=1}^{N}\alpha_i$$=\frac{1}{2}(18\alpha_1^2+25\alpha_2^2+2\alpha_3^2+42\alpha_1\alpha_3-12\alpha_1\alpha_3-14\alpha_2\alpha_3)-\alpha_1-\alpha_2-\alpha_3$

由于：$\alpha_1+\alpha_2=\alpha_3$，化简可得：

$s(\alpha_1,\alpha_2)=4\alpha_2^2+\frac{13}{2}\alpha_2^2+10\alpha_1\alpha_2-2\alpha_1-2\alpha_2$

对$\alpha_1,\alpha_2$求偏导，偏导等于0，可求得：$\alpha_1=1.5,\alpha_2=-1$，已知$\alpha_i>0,\alpha_2<0$，不满足约束条件，所以最小值在边界上。当$\alpha_1=0$时，对$\alpha_2$求偏导可得$\alpha_2=\frac{2}{13},s(0,\frac{2}{13})=-\frac{2}{13}=-0.152$；当$\alpha_2=0$时，对$\alpha_1$求偏导可得$\alpha_1=\frac{1}{4},s(\frac{1}{4},0)=-\frac{1}{4}=-0.25$。可知$\alpha_1=\frac{1}{4},\alpha_2=0$时值最小，可得$\alpha_3=\frac{1}{4}$

将$\alpha_1=\frac{1}{4},\alpha_2=0,\alpha_3=\frac{1}{4}$,带入求解$w = \sum_{i=1}^{N}\alpha_iy_ix_i$$=\frac{1}{4}*1*(3,3)+\frac{1}{4}*(-1)*(1,1)=(\frac{1}{2},\frac{1}{2})$

$b=y_j- \sum_{i=1}^{N}\alpha_iy_i(x_i,x_j)$$=y_1- (\alpha_1y_1(x_1,x_1)+\alpha_3y_3(x_3,x_1)$$=1-(\frac{1}{4}*1*18+\frac{1}{4}*(-1)*6)=-2$

求得的平面方程为：$0.5x_1+0.5x_2-2=0$

可以看到$\alpha_2$并未起到作用，也就是说分类界限只跟最近的不同类别点相关，当然这是线性完全可分得情况下。

3.3 软间隔最大化

  在现实问题中，训练数据集往往时线性不可分的，即在样本中出现噪声或者异常点，此时需要引入软间隔最大化。
目标函数：
$\underset{w,b,\xi }{min}\, \, \frac{1}{2}||w||^2+C\sum_{i=1}^{N}\xi _i$$s.t.\, \,\, \,\, \,\, \,\, \,\, \,y_i(w*x_i+b)\geq 1- \xi_i,\xi _i\geq0$
其中$C$为惩罚参数，$C$值越大，意味着分类要求越严格，误分类个数要越小；$C$值越大，意味着分类要求越宽松，误分类个数要求也相对较多。

3.4 核函数

  对于线性分类问题，可以使用线性分类支持向量机进行分类，但对于非线性的问题，需要使用到核技巧，就是将低维线性不可分映射到高维，通过变换将非线性问题转换成线性问题。

  那么如何将低维数据变换成高维数据呢？这个就要用到变换函数，因为要计算内积，所以引入了核函数，常用的核函数有多项式核函数、高斯核函数。

多项式核函数：

$K(x,z)=(x*z+1)^p$

高斯核函数：

$K(x,z)=exp(-\frac{||x-z||^2}{2\sigma ^2})$

核函数计算，假定$v_1=(x_1,y_1),v_2=(x_2,y_2)$为二维空间上的两点。核函数为$K(v_1,v_2)=<v_1,v_2>$，先将数据由二维映射到三维，变换函数为：$P(x,y)=(x^2,\sqrt{2} xy,y^2)$

通过变换函数：

$K(v_1,v_2)=<P(v_1),P(v_2)>$$=<(x_1^2,\sqrt{2}x_1y_1,y_1^2),(x_2^2,\sqrt{2}x_2y_2,y_2^2>$$=x_1^2x_2^2+2x_1x_2y_1y_2+y_1^2y_2^2$$=(x_1,x_2+y_1y_2)^2$$=<v_1,v_2>^2$

此时我们还发现计算复杂度为$O(n^2)$,如果二维转成四维，计算花费为$O(n^3)$，我们发现对于$<P(v_1),P(V_2)>$的计算结果时在$<v_1,v_2>$基础上加了平方，实际内积计算中可以先计算$<v_1,v_2>$低维内积，再计算指数次方，这样计算花费为$O(n^2)$而不是$O(n^3)$,大大提高了计算效率。

4 总结

   支持向量机决策边界是距离最近不同类别样本点最远的时候最佳。如果样本数据本身线性不可分，可以尝试变换到更高维度。计算时可以先计算低维，再计算高维，可以提高计算效率。

5、python实现

git地址：https://github.com/lingxiaaisuixin/MarchineLearning/tree/master/SVM