Jacobian矩阵和深度学习 jacobian矩阵怎么求

转载

goody 2023-09-08 08:59:02

文章标签 Jacobian矩阵和深度学习斜率标量 R3 文章分类 深度学习人工智能

Jacobian矩阵

1. Jacobian

在向量分析中, 雅可比矩阵是一阶偏导数以一定方式排列成的矩阵, 其行列式称为雅可比行列式.

雅可比矩阵

雅可比矩阵的重要性在于它体现了一个可微方程与给出点的最优线性逼近. 因此, 雅可比矩阵类似于多元函数的导数.

雅可比矩阵定义：　　雅可比矩阵定义为向量对向量的微分矩阵

假设$F$: ${R_n} \to {R_m}$是一个从欧式n维空间转换到欧式m维空间的函数.

$\begin{bmatrix} \frac{\partial y_1}{\partial x_1} & \cdots & \frac{\partial y_1}{\partial x_n} \\ \vdots & \ddots & \vdots \\ \frac{\partial y_m}{\partial x_1} & \cdots & \frac{\partial y_m}{\partial x_n} \end{bmatrix}.$

此矩阵表示为：

$J_F(x_1,\ldots,x_n)$

，或者

$\frac{\partial(y_1,\ldots,y_m)}{\partial(x_1,\ldots,x_n)}.$

这个矩阵的第i行是由梯度函数的转置yi(i=1,…,m)表示的.
如果p是R_n中的一点，F在p点可微分，那么在这一点的导数由J_F(p)给出(这是求该点导数最简便的方法)。在此情况下，由J_F(p)描述的线性算子即接近点p的F的最优线性逼近，x逼近于p

$F(\mathbf{x}) \approx F(\mathbf{p}) + J_F(\mathbf{p})\cdot (\mathbf{x}-\mathbf{p})$

例子

由球坐标系到直角坐标系的转化由F函数给出:R × [0,π] × [0,2π] → R³

$x_1 = r \sin\theta \cos\phi \,$

$x_2 = r \sin\theta \sin\phi \,$

$x_3 = r \cos\theta \,$

此坐标变换的雅可比矩阵是

$J_F(r,\theta,\phi) =\begin{bmatrix}\frac{\partial x_1}{\partial r} & \frac{\partial x_1}{\partial \theta} & \frac{\partial x_1}{\partial \phi} \\[3pt]\frac{\partial x_2}{\partial r} & \frac{\partial x_2}{\partial \theta} & \frac{\partial x_2}{\partial \phi} \\[3pt]\frac{\partial x_3}{\partial r} & \frac{\partial x_3}{\partial \theta} & \frac{\partial x_3}{\partial \phi} \\\end{bmatrix}=\begin{bmatrix} \sin\theta \cos\phi & r \cos\theta \cos\phi & -r \sin\theta \sin\phi \\\sin\theta \sin\phi & r \cos\theta \sin\phi & r \sin\theta \cos\phi \\ \cos\theta & -r \sin\theta & 0 \end{bmatrix}.$

R⁴的f函数:

$y_1 = x_1 \,$

$y_2 = 5x_3 \,$

$y_3 = 4x_2^2 - 2x_3 \,$

$y_4 = x_3 \sin(x_1) \,$

其雅可比矩阵为:

$J_F(x_1,x_2,x_3) =\begin{bmatrix}\frac{\partial y_1}{\partial x_1} & \frac{\partial y_1}{\partial x_2} & \frac{\partial y_1}{\partial x_3} \\[3pt]\frac{\partial y_2}{\partial x_1} & \frac{\partial y_2}{\partial x_2} & \frac{\partial y_2}{\partial x_3} \\[3pt]\frac{\partial y_3}{\partial x_1} & \frac{\partial y_3}{\partial x_2} & \frac{\partial y_3}{\partial x_3} \\[3pt]\frac{\partial y_4}{\partial x_1} & \frac{\partial y_4}{\partial x_2} & \frac{\partial y_4}{\partial x_3} \\\end{bmatrix}=\begin{bmatrix} 1 & 0 & 0 \\ 0 & 0 & 5 \\ 0 & 8x_2 & -2 \\ x_3\cos(x_1) & 0 & \sin(x_1) \end{bmatrix}.$

此例子说明雅可比矩阵不一定为方矩阵。

在动力系统中

考虑形为x' = F(x)的动力系统，F : Rⁿ → Rⁿ。如果F(x₀) = 0，那么x₀是一个驻点。系统接近驻点时的表现通常可以从J_F(x₀)的特征值来决定。

雅可比行列式

如果m = n, 那么$F$是从n维空间到n维空间的函数, 且它的雅可比矩阵是一个方块矩阵. 于是我们可以取它的行列式, 称为雅可比行列式.

在某个给定点的雅可比行列式提供了在接近该点时的表现的重要信息. 例如, 如果连续可微函数$F$在${\bf{p}}$点的雅可比行列式不是零, 那么它在该点附近具有反函数. 这称为反函数定理. 更进一步, 如果${\bf{p}}$点的雅可比行列式是正数, 则$F$在${\bf{p}}$点的取向不变；如果是负数, 则$F$的取向相反. 而从雅可比行列式的绝对值, 就可以知道函数$F$在${\bf{p}}$点的缩放因子；这就是为什么它出现在换元积分法中.

对于取向问题可以这么理解, 例如一个物体在平面上匀速运动, 如果施加一个正方向的力$F$, 即取向相同, 则加速运动, 类比于速度的导数加速度为正；如果施加一个反方向的力$F$, 即取向相反, 则减速运动, 类比于速度的导数加速度为负.

梯度

在向量微积分中，标量场的梯度是一个向量场。标量场中某一点上的梯度指向标量场增长最快的方向，梯度的长度是这个最大的变化率。更严格的说，从欧氏空间Rn到R的函数的梯度是在Rn某一点最佳的线性近似。在这个意义上，梯度是雅戈比矩阵的一个特殊情况。

在单变量的实值函数的情况，梯度只是导数，或者，对于一个线性函数，也就是线的斜率。

梯度一词有时用于斜度，也就是一个曲面沿着给定方向的倾斜程度。可以通过取向量梯度和所研究的方向的点积来得到斜度。梯度的数值有时也被称为梯度。

在二元函数的情形，设函数z=f(x,y)在平面区域D内具有一阶连续偏导数，则对于每一点P(x,y)∈D，都可以定出一个向量

(δf/x)*i+(δf/y)*j

这向量称为函数z=f(x,y)在点P(x,y)的梯度，记作gradf(x,y)

类似的对三元函数也可以定义一个：(δf/x)*i+(δf/y)*j+(δf/z)*k 记为grad[f(x,y,z)]

梯度本意是一个向量（矢量），当某一函数在某点处沿着该方向的方向导数取得该点处的最大值，即函数在该点处沿方向变化最快，变化率最大（为该梯度的模）。

偏导数

在数学中，一个多变量的函数的偏导数，就是它关于其中一个变量的导数而保持其他变量恒定（相对于全导数，在其中所有变量都允许变化）。偏导数在向量分析和微分几何中是很有用的。

适用领域范围
    向量分析
适用领域范围
    微分几何
意    义
    表示固定面上一点的切线斜率