ssim损失pytorch实现 svm pytorch

1. 支持向量机核心思想

支持向量机SVM有三宝：间隔，对偶，核技巧

注：核技巧与SVM没有固定的绑定关系，核技巧作用是让SVM从普通的欧式空间映射到高维空间，可以实现非线性的分类

支持向量机的作用是找到一个超平面将上图中的样本进行分类，SVM模型的作用是找到一个超平面$y=w^Tx+b(绿色)$，这个超平面具有很好的鲁棒性，不会随着样本的轻微的波动而进行错误的分类；简而言之：我们要找到一个很好的超平面，这个超平面距离两类样本点的距离足够大，由一定的鲁棒性；
$支持向量机超平面：f(w)=w^Tx+b\tag{1}$

2.SVM的分类

1. Hard-margin SVM ----> 硬间隔 SVM
2. Soft-margin SVM ----->软间隔 SVM
3. Kernel SVM ------>核函数 SVM

3.SVM的模型建立-hard-margin SVM 硬间隔

3.1数据集定义

我们定义数据集中由N个样本$D=\{(x_i,y_i)\}_{i=1}^N,其中x_i \in \mathbb{R}^p;y_i \in\{-1,+1\}$,我们就是运用一个符号函数将上述样本分成$y_1=-1,y_2=+1;$

3.2 求两类样本最小距离点

我们知道，要做最大间隔分类器分两步：

1.间隔，从N个样本中找到一个样本到超平面最小的距离：$margin(w,b)=min_{i=1,2,..,n}\frac{1}{||w||}(w^Tx_i+b) ;for\{x_i,y_i\}$
2. 最大：求出间隔后，再求最大间隔
$\ {}_{w,b}^{max}\ {}_{x_i,i=1,2,..n;}^{min}{\frac{1}{||w||}(w^Tx_i+b)}=\ {}_{w,b}^{max}\ {}_{x_i,i=1,2,..n;}^{min}{\frac{1}{||w||}(w^Tx_i+b)}=\ {}_{w,b}^{max}\frac{1}{||w||}\ {}_{x_i,i=1,2,..n;}^{min}[y_i(w^Tx_i+b)] \tag{2}$
满足：s.t.:$y_i(w^Tx_i+b)>0$
注：
$\because y_i(w^Tx_i+b)>0$
$\therefore 一定存在一个数r>0,对于所有样本\{(x_i,y_i)\};其最小值是r；令：MIN[y_i(w^Tx_i+b)]=r ;$
$\because 因为超平面是可以自由缩放的$
$\therefore 所以对于超平面来说，w^Tx_i+b=2w^Tx_i+2b$
$\therefore 既然都相等，那么我们为了后续方便计算和约束||w||,就可以令r=1$
$\ {}_{w,b}^{max}\frac{1}{||w||}\ {}_{x_i,i=1,2,..n;}^{min}[y_i(w^Tx_i+b)]= \ {}_{w,b}^{max}\frac{1}{||w||}\tag{3}$
$S.T ：y_i(w^Tx_i+b)\geq1；i=1,2,...,N\tag{4}$
我们一般习惯用最小值表示,并将||w||表示成向量形式||W||=$\frac{1}{2}w^Tw$：

3.3最大间隔分类器数学模型(优化问题=凸优化问题convex_optimization)

$\ {}_{w,b}^{min}\frac{1}{2}w^Tw;\tag{5}$
$S.T ：y_i(w^Tx_i+b)\geq1；N个约束：i=1,2,...,N\tag{6}$
以上是一个凸优化问题，目标函数是二次函数，一共有N个约束，即一个二次规划问题(Quadratic Programming)-QP问题；

3.4 数学模型转换

对于此类问题，我们的思想是借助拉格朗日法将凸优化问题(原问题)转换成对偶问题；

整体思路如下图：

3.4.1 将凸优化问题转换成拉格朗日乘子

$原问题:\ {}_{w,b}^{min}\frac{1}{2}w^Tw;\tag{7}$
$原问题:S.T ：y_i(w^Tx_i+b)\geq1；N个约束：i=1,2,...,N\tag{7}$

$拉格朗日函数:L(w,b,\lambda)=\frac{1}{2}w^Tw+\sum_{i=1}^{N}\lambda_i[1-y_i(w^Tx_i+b)];\tag{8}$
$拉格朗日函数:S.T ：\lambda_i\geq0；1-y_i(w^Tx_i+b)\leq 0\tag{8}$
我们通过拉格朗日乘子法，将原问题中带约束的问题转换成无约束的问题：那么原问题的等价模型如下：
$原问题的等价模型：\ {}_{w,b}^{min}\ {}_{\lambda}^{max}L(w,b,\lambda) \tag{9}$
$原问题的等价模型：s.t：\lambda_i \geq 0 \tag{9}$

3.4.2 原问题与等价问题解释

将w,b组成的数据几何分成两个部分:令$\Delta=1-y_i(w^Tx_i+b)$

情况1：
$当\Delta=1-y_i(w^Tx_i+b)>0；且\lambda_i \geq 0;则：$

$\ {}_{\lambda}^{max}L(w,b,\lambda)=\frac{1}{2}w^Tw+\sum_{i=1}^{N}\lambda_i[1-y_i(w^Tx_i+b)]=\frac{1}{2}w^Tw+\infty$

情况2：
$当\Delta=1-y_i(w^Tx_i+b)\leq0；且\lambda_i \geq 0;则：$

$\ {}_{\lambda}^{max}L(w,b,\lambda)=\frac{1}{2}w^Tw+\sum_{i=1}^{N}\lambda_i[1-y_i(w^Tx_i+b)]=\frac{1}{2}w^Tw+0=\frac{1}{2}w^Tw$

合并上述问题：
$\ {}_{w,b}^{min}\ {}_{\lambda}^{max}L(w,b,\lambda)=\ {}_{w,b}^{min}\{\infty,\frac{1}{2}w^Tw\}=\ {}_{w,b}^{min}\{\frac{1}{2}w^Tw\}$

$结论：\ {}_{w,b}^{min}\ {}_{\lambda}^{max}L(w,b,\lambda)=\ {}_{w,b}^{min}\frac{1}{2}w^Tw$

3.4.3对偶问题转换[将原问题 -> 对偶问题]

$原问题：\ {}_{w,b}^{min}\ {}_{\lambda}^{max}L(w,b,\lambda);\lambda_i \geq0；相当于凤尾$
$对偶问题：\ {}_{\lambda}^{max}\ {}_{w,b}^{min}L(w,b,\lambda);\lambda_i \geq0；相当于鸡头$
我们可以用凤尾永远大于鸡头来形象
$凤尾\geq鸡头[弱对偶关系]$
$凤尾=鸡头[强对偶关系]；满足KKT条件情况下的凸优化问题$
$强对偶问题下的等价模型：\ {}_{\lambda}^{max}\ {}_{w,b}^{min}L(w,b,\lambda);\lambda_i \geq0 \tag{10}$

3.4.4对$L(w,b,\lambda)求偏导:\frac{\partial L}{\partial w},\frac{\partial L}{\partial b}$

3.4.4.1 偏导：令$\frac{\partial L}{\partial b}=0$

$\because L(w,b,\lambda)=\frac{1}{2}w^Tw+\sum_{i=1}^{N}\lambda_i[1-y_i(w^Tx_i+b)]$

$\therefore \frac{\partial L}{\partial b}=0-\sum_{i=1}^{N}\lambda_iy_i=0$
$\sum_{i=1}^{N}\lambda_iy_i=0 \tag{11}$
将上式代入L中可得如下：
$L(w,b,\lambda)=\frac{1}{2}w^Tw+\sum_{i=1}^{N}\lambda_i-\sum_{i=1}^{N}\lambda_iy_iw^Tx_i-\sum_{i=1}^{N}\lambda_iy_ib\tag{12}$
$L(w,b,\lambda)=\frac{1}{2}w^Tw+\sum_{i=1}^{N}\lambda_i-\sum_{i=1}^{N}\lambda_iy_iw^Tx_i\tag{13}$

3.4.4.2 偏导：令$\frac{\partial L}{\partial w}=0$

$\because L(w,b,\lambda)=\frac{1}{2}w^Tw+\sum_{i=1}^{N}\lambda_i-\sum_{i=1}^{N}\lambda_iy_iw^Tx_i$

求偏导：

$\therefore \frac{\partial L}{\partial w}=w+0-\sum_{i=1}^{N}\lambda_iy_ix_i=0$

结果：

$\therefore w=\sum_{i=1}^{N}\lambda_iy_ix_i$

$此w算出来的结果w=\sum_{i=1}^{N}\lambda_iy_ix_i代入到 L(w,b,\lambda);此时的L就是最小值$

将其结果代入：

$L(w,b,\lambda)_{min}=\frac{1}{2}(\sum_{i=1}^{N}\lambda_iy_ix_i)^T(\sum_{j=1}^{N}\lambda_jy_jx_j)+\sum_{i=1}^{N}\lambda_i-\sum_{i=i}^{N}\lambda_iy_i(\sum_{j=1}^{N}\lambda_jy_jx_j)^Tx_i$
$注：\lambda_i,y_i都是实数，x_i是向量；故上式可以整理得：$
$L(w,b,\lambda)_{min}=\frac{1}{2}(\sum_{i=1}^{N}\lambda_iy_ix_i^T)(\sum_{j=1}^{N}\lambda_jy_jx_j)+\sum_{i=1}^{N}\lambda_i-\sum_{i=i}^{N}\lambda_iy_i(\sum_{j=1}^{N}\lambda_jy_jx_j^T)x_i$
调换顺序：
$L(w,b,\lambda)_{min}=\frac{1}{2}\sum_{i=1}^{N}\sum_{j=1}^{N}\lambda_i\lambda_jy_iy_jx_i^Tx_j+\sum_{i=1}^{N}\lambda_i-\sum_{i=1}^{N}\sum_{j=1}^{N}\lambda_i\lambda_jy_iy_jx_i^Tx_j$
合并可得：
$结果：L(w,b,\lambda)_{min}=-\frac{1}{2}\sum_{i=1}^{N}\sum_{j=1}^{N}\lambda_i\lambda_jy_iy_jx_i^Tx_j+\sum_{i=1}^{N}\lambda_i\tag{14}$

更新后模型：

$\ {}_{\lambda}^{max}\ {}_{w,b}^{min}L(w,b,\lambda)=-\frac{1}{2}\sum_{i=1}^{N}\sum_{j=1}^{N}\lambda_i\lambda_jy_iy_jx_i^Tx_j+\sum_{i=1}^{N}\lambda_i\tag{15}$

化简模型如下：
$\ {}_{\lambda}^{min}[\frac{1}{2}\sum_{i=1}^{N}\sum_{j=1}^{N}\lambda_i\lambda_jy_iy_jx_i^Tx_j-\sum_{i=1}^{N}\lambda_i]\tag{16}$
$s.t:\lambda_i \geq 0\tag{16}$
$\sum_{i=1}^{N}\lambda_iy_i=0 \tag{16}$

3.5 KKT条件

$\frac{\partial L}{\partial w}=0;\frac{\partial L}{\partial b}=0 \tag{17-1}$
$\lambda_i[1-y_i(w^Tx_i+b)]=0;slackness-complementary互补松弛条件\tag{17-2}$
$\lambda_i \geq 0\tag{17-3}$
$1-y_i(w^Tx_i+b) \leq 0 \tag{17-4}$

由上述KKT条件可得
$w^*=\sum_{i=1}^{N}\lambda_iy_ix_i;\tag{18}$

对于样本中的数据由KKT条件可得如下数据相关图形性质：

由互补松弛条件(17-2)可得:

$\lambda_i[1-y_i(w^Tx_i+b)]=0$
则数据我们可以知道，在距离超平面最近的两个点满足$\lambda_i≠0，且y_i(w^Tx_i+b)=1$

在两边同时乘以$y_i$可得如下：

$y_i^2(w^Tx_i+b)=y_i;$我们知道$y_i^2=1$则：

$w^Tx_i+b=y_i;且y_i=±1$

故最近两个点的值为:

$直线1：w^Tx_i+b=+1;$

$直线2：w^Tx_i+b=-1;$

我们假设样本中一定存在点$\{x_k,y_k\};$

$满足:w^Tx_k+b=y_k \tag{19}$

$b=y_k-w^Tx_k\tag{20}$

将$w^*=\sum_{i=1}^{N}\lambda_iy_ix_i$代入方程可得：

$b^*=y_k-\sum_{i=1}^{N}\lambda_iy_ix_i^Tx_k \tag{21}$

$结论:w^*=\sum_{i=1}^{N}\lambda_iy_ix_i;b^*=y_k-\sum_{i=1}^{N}\lambda_iy_ix_i^Tx_k\tag{22-1}$

$结论：模型：f(x)=sign(w*^Tx+b^*)\tag{22-2}$

$结论：超平面：w*^Tx+b^*\tag{22-3}$

$w^*是数据data的线性组合；$

4.软间隔-SVM

soft-SVM顾名思义就是软的支持向量机，主要作用是算法本身能允许兼容一点点错误。所以我们需要在硬间隔的基础上增加一个损失函数Loss function；我们知道样本被错误分类的情况是$Loss=\sum_{i=1}^{N}I\{y_i(w^Tx_i+b)<1\}$;但是这个函数关于w是不连续的；我们令：$z=y(w^Tx+b)$;则函数的图像如下：

由图可知：在z=1处出现断点，即不连续现象；就会导致函数在求导出现不可导现象；为了解决上述问题，我们可以用距离来表示损失函数；

$1）当y_i(w^Tx_i+b)\geq1;loss=0 \tag{23}$

$2）当y_i(w^Tx_i+b)<1;loss=1-y_i(w^Tx_i+b) \tag{23}$

综上所述：

$loss=max\{0,1-y_i(w^Tx_i+b)\}\tag{24}$

图像为：可以看出此时的Loss为连续函数；

那么数学模型可变为如下：

$\ {}_{w,b}^{min}\frac{1}{2}w^Tw+C\sum_{i=1}^{N}max\{0,1-y_i(w^Tx_i+b)\}\tag{25-1}$

$s.t :y_i(w^Tx_i+b)\geq1\tag{25-2}$

我们引入$\xi_i=1-y_i(w^Tx_i+b)；距离\xi _i\geq0$数学模型可优化为：

$\ {}_{w,b}^{min}\frac{1}{2}w^Tw+C\sum_{i=1}^{N}\xi_i\tag{26-1}$

$S.T：y_i(w^Tx_i+b)\geq1-\xi_i；\xi_i\geq0\tag{26-2}$

图形如下：

用图像表示为：我们在硬间隔的条件下新增了一个缓冲区，由于这个缓冲区的存在，我们可以允许由一点点的误差。而支持向量的区间被放宽到了$1-\xi_i$

5.约束优化问题

在SVM中有很多带约束条件的优化问题，对于此类问题，我们需要约束优化的原问题转换成等价的无约束问题；

整体思路如下：

5.1 约束优化问题与无约束问题的等价性

原问题描述：
$min_{x\in R^p}f(x)\tag{27-1}$
$s.t.：m_i(x)\leq0;i=1,2,3,...,M;\tag{27-2}$
$s.t.：n_i(x)=0;i=1,2,3,...,N;\tag{27-3}$

用拉格朗日函数表示如下：
$L(x,\lambda,\eta)=f(x)+\sum_{i=1}^{M}\lambda_im_i(x)+\sum_{i=1}^{N}\eta_in_i(x) \tag{28}$

等价数学模型-原问题的约束问题如下：
${}_{x}^{min}{}_{\lambda,\eta}^{max}L(x,\lambda,\eta)\tag{29-1}$
$s.t：\lambda_i\geq0,i=1,2,...,N\tag{29-2}$

现在我们解释下为啥两个模型是等价的：

$1)当x违反了约束m_i(x),即：m_i(x)>0;则{max}_{\lambda}^{}L(x,\lambda,\eta)\rightarrow+\infty \tag{30}$
$2)当x满足约束m_i(x),即：m_i(x)\leq0;则{max}_{\lambda}^{}L(x,\lambda,\eta)≠+\infty \tag{31}$
$综上所述：{}_{x}^{min}{}_{\lambda,\eta}^{max}L(x,\lambda,\eta)={}_{x}^{min}\{L_{max},+\infty\}\tag{32}$
$注：L_{max}=好的x;+\infty=坏的x；显而易见：L_{max} < +\infty$
$结论：{}_{x}^{min}{}_{\lambda,\eta}^{max}L(x,\lambda,\eta)={}_{x}^{min}\{L_{max},+\infty\}={}_{x}^{min}\{L_{max}\}\tag{33}$
重点！！!
也就是说，当我们用拉格朗日函数代替约束条件(不等式)时，其实等式中就自动将不满足条件的数据过滤掉了；也就从约束条件变成了无约束的等式模型；所以含不等式约束条件模型(27)与不含约束条件模型(28)等价！！！

5.2 原问题转换成对偶问题(弱对偶性)：

5.2.1弱对偶性描述：

${}_{max,min}^{对偶问题(鸡头)}\leq{}_{mim,max}^{原问题(凤尾)}$
之前我们感性认识：鸡头$\leq$凤尾，毕竟鸡头始终是鸡，凤尾终究还是凤 ，凤永远大于鸡；

我们要证明的目的是要证明原问题和对偶问题等价：

原问题(关于x的函数)：
${}_{x}^{min}{}_{\lambda,\eta}^{max}L(x,\lambda,\eta)\tag{34-1}$
$s.t：\lambda_i\geq0,i=1,2,...,N\tag{34-2}$
对偶问题(关于$\lambda,\eta$最大化的函数)：
${}_{\lambda,\eta}^{max}{}_{x}^{min}L(x,\lambda,\eta)\tag{35-1}$
$s.t：\lambda_i\geq0,i=1,2,...,N\tag{35-2}$

5.2.2弱对偶型证明：

$目的：{}_{\lambda,\eta}^{max}{}_{x}^{min}L(x,\lambda,\eta)\leq {}_{x}^{min}{}_{\lambda,\eta}^{max}L(x,\lambda,\eta)$
证明如下：

$\because {}_{x}^{min}L(x,\lambda,\eta)\leq L(x,\lambda,\eta)\leq {}_{\lambda,\eta}^{max}L(x,\lambda,\eta)$

$令：{}_{x}^{min}L(x,\lambda,\eta)=A(\lambda,\eta) ，和， {}_{\lambda,\eta}^{max}L(x,\lambda,\eta)=B(x)$

$\therefore A(\lambda,\eta)\leq B(x)$

$\because A(\lambda,\eta)小于任何B(x)$

$\therefore A(\lambda,\eta)_{max}一定小于等于B(x)_{min}$

代入即得：

${}_{\lambda,\eta}^{max}{}_{x}^{min}L(x,\lambda,\eta)\leq {}_{x}^{min}{}_{\lambda,\eta}^{max}L(x,\lambda,\eta)$

6.对偶问题的几何解释

原问题的优化模型如下：
$min_{x\in R^p}f(x)\tag{36-1}$
$s.t.：m_i(x)\leq0;i=1,2,3,...,M;\tag{36-2}$
$s.t.：n_i(x)=0;i=1,2,3,...,N;\tag{36-3}$
为方便几何表达，我们可以简化上述模型为：
$min_{x\in R^p}f(x)\tag{37-1}$
$s.t.：m_1(x)\leq0;\tag{37-2}$
上述原问题转换成拉格朗日函数为：
$L(x,\lambda)=f(x)+\lambda m_1(x);\tag{37-3}$
$s.t：\lambda\geq0;\tag{37-4}$
定义域：

$D=\{dom\quad f{\cap}_{i=1}^{N}\quad m_i{\cap}_{i=1}^{N}dom \quad n_j\}\Rightarrow G=\{(m_1(x),f)|x\in D\}=\{(u,t)|x\in D\}$

定义原问题最优解为：

$p^*=min\{f(x)\}=inf\{t|(u,t)\in G,u\leq0\}\tag{38}$
定义对偶问题最优解为：
$d^*={}_{\lambda}^{max}{}_{x}^{min}L(x,\lambda)\tag{39}$
代入拉格朗日函数为：
$L(x,\lambda)=f(x)+\lambda m_1(x);\tag{40}$
$d^*={}_{\lambda}^{max}{}_{x}^{min}L(x,\lambda)={}_{\lambda}^{max}{}_{x}^{min}\{f(x)+\lambda m_1(x)\}={}_{\lambda}^{max}{}_{x}^{min}\{t+\lambda u\}={}_{\lambda}^{max}g(\lambda)\tag{41}$
由于我们知道${}_{x}^{min}\{t+\lambda u\}只跟\lambda有关，所以我们可以令g(\lambda)={}_{x}^{min}\{t+\lambda u\}$
$g(\lambda)=inf\{(t+\lambda u）|(u,t)\in G\}$
现在我们主要问题是如何将上述两个最优解$p^* 和 d^*映射到图形空间中$

6.1 $p^*$原问题最优解几何表示

原问题最优解：

$p^*=min\{f(x)\}=inf\{t|(u,t)\in G,u\leq0\}\tag{42}$

图像表示如下：

6.2 $d^*$对偶问题最优解几何表示

对偶问题最优解：

$d^*=={}_{\lambda}^{max}g(\lambda)且g(\lambda)=inf\{(t+\lambda u）|(u,t)\in G\}\tag{43}$

图像表示：

通过不断移动$t+\lambda u=\bigtriangleup$可以得到无数个几何点为$\{\bigtriangleup_1,...,\bigtriangleup_{100}\}$
$t轴上的点为g(\lambda);为了获得尽可能大的g(\lambda),我们通过把直线斜率变大来表示，$从而满足直线与定义域两个点相切;

调整斜率得到如下图形：

由上述图形可得：凹函数的$p^*$和$d^*$
$d^*< p^*$
那什么时候可以得到$p^*$=$d^*$？

一般我们发现当函数为凸函数的时候满足$p^*$=$d^*$

如图所示：

综上所述：

$d^*\leq p^*\tag{44}$

上面我们从几何的角度来重新解释了这个问题，其实仔细的想一想也不算很难。但是，强对偶性

的证明这个东西有点难，实际上学习机器学习中的 SVM，学到这就差不多够了。如果是强对偶性，我

们还需要满足两个条件，也就是 1. 是一个凸优化问题；2. slater 条件。就可以得到 d∗ = p∗。但是这只是一个充分必要条件，满足其他的条件也可能是强对偶关系。而 SVM 是一个

二次规划问题，那么它一定是一个强对偶问题。

7.Slater Condition

通常凸优化问题不一定是强对偶问题，我们往往需要在凸优化问题上加一些限制条件才可以构成凸优化问题，比如slatter-condition;但这种条件往往是充分非必要条件；这种条件有很多种，一般有slatter-condition和以后讲的KKT条件；

7.1 Slater-condition描述

存在一个$\hat{x}\in relint \{D\}$,满足对于每一个$i=0,...,m;m_i(\hat{x})<0$;其中relint{D}=relative-interior相对内部的意思，不包含边界。

注：

1） 对于绝大多数的凸优化问题来说，通常slater条件是成立的；

2）放松的slater条件为：假设M中有K个仿射函数(一阶的多项式函数)，那么我们可以不需要校验这K个放射函数，只需要校验其余(M-K)个函数

3）SVM 是一个典型的凸二次规划问题，也就是目标函数 f 是凸函数，$m_i$是仿射函数，$n_j$为仿射。那么在几何上是什么意思呢？也就是限制至少有一个点在坐标系的左边，使得限制直线不是垂直的；如下图所述：

4） 如果u=0即直线垂直u轴的时候，我们就对此问题不给予考虑；

5）如果我们的凸优化问题满足了stater条件，那么它的强对偶关系一定成立；恰恰我们的凸二次优化问题天然满足slater条件或放松的slater条件；

6）如果是SVM+强对偶关系+凸优化问题，那么我们就可以用KKT条件直接求解

8.KKT Condition

由上文可得，当我们遇到凸优化问题，且它满足slater-condition时，我们可以得到强对偶关系，即$d^*=p^*$但由于这个条件是充分非必要条件；但凸优化问题在满足KKT Condition的情况下，能够得到充分必要条件；即：
$convex+slater-condition \Rightarrow充分非必要条件\Rightarrow强对偶关系\tag{45}$
$convex+KKT-condition \Leftrightarrow充分必要条件 \Leftrightarrow强对偶关系\tag{46}$

8.1KKT条件概述

1. 可行性条件：
   1.1 $m_i(x)\leq0;i=1,2,..,M$
   1.2 $n_j(x)=0;i=1,2,..,N$
   1.3 $\lambda_i ^*\geq0$
2. 互补松弛条件：$\lambda_i^*m_i(x^*)=0;i=1,...,M$
3. 梯度为0：$\frac{\partial{L(x,\lambda^*,\eta^*)}}{x}|_{x=x^*}=0$

8.2原问题的数学模型

$min \quad f(x)\tag{47}$
$s.t: \quad m_i(x)\leq0;i=1,...,M\tag{47}$
$\quad n_j(x)\leq0;j=1,...,N\tag{47}$

8.3原问题的拉格朗日模型

$L(x,\lambda,\eta)=f(x)+\sum_{i}\lambda_im_i(x)+\sum_{j}\eta_{j}n_j(x)\tag{48}$
${}_{x}^{min}{}_{\lambda,\eta}^{max}L(x,\lambda,\eta)\tag{48}$
$s.t:\lambda_i\geq0;i=1,2,..,M\tag{48}$

8.4对偶问题的拉格朗日模型

$L(x,\lambda,\eta)=f(x)+\sum_{i}\lambda_im_i(x)+\sum_{j}\eta_{j}n_j(x)\tag{49}$
${}_{\lambda,\eta}^{max}{}_{x}^{min}L(x,\lambda,\eta)\tag{49}$
$s.t:\lambda_i\geq0;i=1,2,..,M\tag{49}$

8.5互补松弛条件证明

我们可以令：$g(\lambda,\eta)={}_{x}^{min}L(x,\lambda,\eta);当取值\lambda^*,\eta^*的时候，可以得到d^*={}_{x}^{min}L(x,\lambda^*,\eta^*)$

详解：

$\because d^*={}_{x}^{min}L(x,\lambda^*,\eta^*);且{}_{x}^{min}L(x,\lambda^*,\eta^*)\leq L(x,\lambda^*,\eta^*)$

$\therefore d^*\leq L(x,\lambda^*,\eta^*)$

$\because L(x,\lambda^*,\eta^*)=f(x)+\sum_{i}\lambda^*_im_i(x)+\sum_{j}\eta^*_{j}n_j(x)$

$\therefore d^*\leq f(x)+\sum_{i}\lambda^*_im_i(x)+\sum_{j}\eta^*_{j}n_j(x);(注：对于任意x成立)$

$我们令上述x=x^*；由于m_i(x^*)\leq0;i=1,2,..,M;n_j(x^*)=0;i=1,2,..,N;\lambda_i ^*\geq0;$

$\therefore d^*\leq f(x^*)+\sum_{i}\lambda^*_im_i(x^*)$

$\because 已知f(x^*)=q^*;且\lambda^*_im_i(x^*)\leq0;为了满足强对偶条件d^*=q^*;$

$\therefore \lambda^*_im_i(x^*)=0;i=1,2,...,M$

证毕！

8.6梯度为0

$\because {}_{x}^{min}L(x,\lambda^*,\eta^*)=L(x^*,\lambda^*,\eta^*)$

$\therefore 我们知道我们在x=x^*处取得最小值，我们通常默认m_i(x),n_j(x)函数可微；$

$\frac{\partial{L(x,\lambda^*,\eta^*)}}{x}|_{x=x^*}=0$

证毕！