n元函数的极值

0 引言

前面的文章介绍过一元函数的极值问题—— 一元函数极值问题 这篇文章来讲讲多元函数的极值问题，其实很多逻辑可以和一元函数的极值问题联系。

1 极值(局部极值)

设f(X)为定义在n维欧式空间的某一区域R上的n元实函数，其中X=$(x_1,x_2,…,x_n )^T$。对于$X^*∈R$，如果存在某个$ε>0$，使得X∈R且$‖X-X^* ‖<ε$的X均满足：
$f(X)≥f(X^*)$则称$X^*$为f(X)在R上的局部(相对)极小点，$f(X^*)$为局部极小值。

上面的定义看似很复杂晦涩，其实想表达的意思很简单，原理和一元函数的极值是一样的。

“对于$X^*∈R$，如果存在某个ε>0，使得$X∈R$且$‖X-X^* ‖<ε$的X”其实意思是“$X^*∈R$，如果存在某个ε>0，使得所有与$X^*$的距离小于ε的X均满足$f(X)≥f(X^*)$”，再直白一点就是，在以$X^*$为中心，且与$X^*$的距离为ε的局部区域中，$X^*$对应的函数值$f(X^*)$均满足$f(X)≥f(X^*)$，则$X^*$就是局部最小点，$f(X^*)$就是局部极小值。

可以想象一下在一片群山中，某处山谷是附近的最低点，那么山谷对应的地理位置就是局部最小点，山谷的海拔或者说高度就是局部最小值。

但是大家再仔细思考一下，如果这个山谷中，有一块水平的平地，且最低点就在这里面，也就是说这块平地所有点其实都是最低点，那说明这个局部极小点$X^*$并不唯一，$X^*$所对应的位置并不是严格的局部极小点（因为这块平地的点都是极小点），所以我们就引出另一个定义：严格局部极小点。

若对于所有$X≠X^*$且与$X^*$的距离小于ε的X∈R，有
$f(X)>f(X^*)$则称$X^*$为f(X)在R上的严格局部极小点，$f(X^*)$为严格局部极小值。
这个理解与上面相似，在一片区域内，所有的点对应的函数值都比$X^*$处对应的函数值$f(X^*)$大，注意不存在等于的情况，必须都大，那么$X^*$就是严格局部极小点

通过观察比较，可以发现上下的定义区别在与不等式中的不等号是否带等号，局部(相对)极小点为$f(X)≥f(X^*)$，严格局部极小点为$f(X)>f(X^*)$。所以，结合上面的解释以及定义的比较，就能够比较清楚地理解两者的区别了。

2 最值(全局极值)

在一元中，除了介绍极值点，还介绍了最值点，注意！最值点的英文表达是global maximum、global minimum，global 指的就是全局而不是局部了。所以接下来我们介绍一下全局极小值、严格全局极小值！

若点$X^*∈R$，对于所有X∈R均满足：
$f(X)≥f(X^*)$则称$X^*$为f(X)在R上的全局极小点，$f(X^*)$为全局极小值。
同理有,若对于所有$X≠X^*$的$X∈R$，都有
$f(X)>f(X^*)$则称$X^*$为f(X)在R上的严格全局极小点，$f(X^*)$为严格全局极小值。
当然，若将上述不等式反向，即可得到相应的极大点以及极大值点的定义！

3 极值存在条件

同一元函数的极值一样，我们接下来介绍一下n元函数极值点存在的条件，主要分为必要条件、充分条件。
先介绍一个概念：梯度。梯度是一个向量，表示函数在某一点上的变化率。梯度在一元函数中表示为斜率(y对x求导)，而对于多元函数，梯度可以用偏导数来计算。
设$f(X)$为定义在n维欧式空间的某一区域R上的n元实函数，其中$X=(x_1,x_2,…,x_n )^T$，其梯度记为$∇f(X)$，则梯度的计算公式为
$∇f(X)=(∂f(X)/∂x_1,∂f(X)/∂x_2,⋯,∂f(X)/∂x_i,⋯,∂f(X)/∂x_n)^T$其中，$∂f(X)/(∂x_i )$表示函数$f(X)$对变量$x_i$的偏导数。梯度简单理解就是对所有变量都求一遍一阶导，再都放在一起组成一个向量。

3.1 必要条件：

设R是n维欧式空间上的某一开集(开集与开区间概念相似，即端点或者区域边缘取不到集合)，$f(X)$在R上有一阶连续偏导数即
$∂f(X)/∂x_1 、 ∂f(X)/∂x_2 、 ∂f(X)/∂x_3 、⋯、 ∂f(X)/∂x_n$存在。若f(X)且在点$X^*∈R$取得局部极值，则必有
$∂f(X^* )/∂x_1=∂f(X^* )/∂x_2=⋯=∂f(X^* )/∂x_n=0$即
$∇f(X^* )=0$其中$∇f(X^* )$是函数$f(X)$在点$X^*$处的梯度。
这里注意一下为什么要强调“$f(X)$在R上有一阶连续偏导数”，因为前面其实有提到，驻点（导数为0的点）不一定是极值点（比如$f(x)=x^3$），极值点也不一定是驻点（比如$f(x)=|x|$的角点存在）。而我们假设$f(X)$在R上有一阶连续偏导数，实际上已经排除了角点的存在。对于平滑的函数，极值仅在一阶导数为零处即驻点处存在。
和一元函数类似，对于多元函数f(X)，满足$∇f(X^* )=0$的点，我们也称为驻点或者平稳点，但需要注意的是，在区域内部，极值点必为驻点，但驻点不一定是极值点。

以上多元函数极值点存在的必要条件。接下来，再介绍一下多元函数极值点存在的充分条件。

3.2 充分条件：

设R是n维欧式空间$E^n$上的某一开集，$f(X)$在R上具有二阶连续偏导数，即
$(∂^2 f(X))\over{∂x_i ∂x_j}$ 存在，其中$i,j=1,2,3,…,n$

若对于$f(X)$，有$X^*∈R且∇f(X^* )=0$，并且对于任何非零向量$Z∈E^n$，有
$Z^T H(X^* )Z>0$
则$X^*$为$f(X)$的严格局部极小点。

其中，$H(X^*)$为$f(X)$在$X^*$处的海塞矩阵(Hessian Matrix)：
$H(X^*)= \begin{bmatrix} ∂^2 f(X^*)\over{∂x_1^2} & ∂^2 f(X^*)\over{∂x_1∂x_2} & ... & ∂^2 f(X^*)\over{∂x_1∂x_n} \\ ∂^2 f(X^*)\over{∂x_2∂x_1} & ∂^2 f(X^*)\over{∂x_2^2} & ... & ∂^2 f(X^*)\over{∂x_2∂x_n}\\ ... & ... & ... & ... \\ ∂^2 f(X^*)\over{∂x_n∂x_1} & ∂^2 f(X^*)\over{∂x_n∂x_2} & ... & ∂^2 f(X^*)\over{∂x_n∂x_n} \end{bmatrix}$实际上，$Z^T H(X^* )Z>0$表示$f(X)$在$X^*$处的海塞矩阵$H(X^*)$为正定矩阵。