拉格朗日乘子法求极值和KKT条件讲解及Python代码实现
- 一、三类问题描述
- 1.无约束最优化问题
- 2.有等式约束的非线性
- 3.有等式和不等式约束的非线性问题
- 二、拉格朗日乘子法
- 三、KKT条件
- 四、例题讲解
- 1.等式约束条件
- 2.不等式约束条件
- 五、Python代码实现
一、三类问题描述
1.无约束最优化问题
寻找到一个合适的值x，使得f(x)最小：minf(x)
这种没有任何约束的最优化问题是最简单的，解法一般有梯度下降法、牛顿法、拟牛顿法等等。
2.有等式约束的非线性
3.有等式和不等式约束的非线性问题
这个式子是说：在满足m个等式 即 hi(x)=0 和 n个不等式 gj(x)<=0 的条件下求f(x)的最小值。
二、拉格朗日乘子法
对于第二类的问题，我们可以将其转化一下：
λi 为拉格朗日乘子。
令 ∂F(x)/∂x=0 , ∂F(x)/∂λ=0 ,该最优化问题即可的解
三、KKT条件
在满足KKT条件时，可以将带有不等式的非线性最优化问题转化为无约束的最优化问题。
并且要满足相关条件：
（1） ∂F(x,λ,μ)/∂x=0∂F(x,λ,μ)/∂x=0 这个条件是计算最优化问题的核心。 使用梯度下降法可以迭代求解。
（2） λi≠0λi≠0 这个条件保证等式约束是成立的，如果该值为零，相当于丢失了约束条件。
（3） μj>=0μj>=0 ,原条件中 gj(x)<=0gj(x)<=0 ,公式加上一个小于等于0的数，符合最小化的方向。如果加一个正数，则与最小化方向相反，所以 这个条件保证了 μjgj(x)μjgj(x) 小于等于0 。
（4） ujgj(x)=0ujgj(x)=0 ,该条件表明只有在该项取最大值时，整个公式取极小值才是真正的极小值。 这个式子最大为0， 所以要求其为0。
进一步思考， 这两项相乘为0，那么至少有一项为0， 如果是 ujuj 为0 ，说明这个条件并未生效，就是说整个函数的极小值并不在这个条件的边界上。 如果gj(x)=0gj(x)=0 极小值说明在这个条件的边界上。
（5）原本的约束条件 gj(x)<=0gj(x)<=0 , hi(x)=0
四、例题讲解
1.等式约束条件
给定椭球：
求这个椭球的内接长方体的最大体积。这个问题实际上就是条件极值问题，即在条件
求
首先定义拉格朗日函数F(x)：
对
求偏导：
联立前面三个方程得到 bx = ay 和 az = cx, 带入第四个方程解出来
代入解得最大体积为：
2.不等式约束条件
下面我直接给出例题：
最后求的结果：
五、Python代码实现
这里我们求解：
from sympy import *
x1,x2,k = symbols('x1,x2,k')
f = 60-10*x1-4*x2+(x1)**2+(x2)**2-x1*x2
g = x1+x2-8
#构造拉格朗日等式
L=f-k*g
#求导，构造KKT条件
dx1 = diff(L, x1) # 对x1求偏导
print("dx1=",dx1)
dx2 = diff(L,x2) #对x2求偏导
print("dx2=",dx2)
dk = diff(L,k) #对k求偏导
print("dk=",dk)
dx1= -k + 2*x1 - x2 - 10
dx2= -k - x1 + 2*x2 - 4
dk= -x1 - x2 + 8
#求出个变量解
m= solve([dx1,dx2,dk],[x1,x2,k])
print(m)
{x1: 5, x2: 3, k: -3}
#给变量重新赋值
x1=m[x1]
x2=m[x2]
k=m[k]
#计算方程的值
f = 60-10*x1-4*x2+(x1)**2+(x2)**2-x1*x2
print("方程的极小值为：",f)运行结果展示：
这里只展示了等式约束的求解，非等式约束在后续学习中继续学习！
参考文献
[1]椭球例子讲解 [2]参考地址
