矩阵的 Frobenius 范数及其求偏导法则

矩阵的 Frobenius 范数及其求偏导法则

定义：设$A = [a_{ij}]_{m \times n}$是一个$m \times n$矩阵，称$\left \|A \right \|_F = \sqrt{tr(A^TA)} = \sqrt{\displaystyle\sum_{i=1}^{m}\displaystyle\sum_{j=1}^{n}a_{ij}^2}$是这个矩阵得Frobenius范数

• 求导法则1 设$A = [a_{ij}]_{m \times n}$，$X = [x_{ij}]_{m \times n}$是两个$m \times n$的矩阵，则有

$\frac{\partial tr(A^TX)}{\partial x_{ij}} = \frac{\partial tr(X^TA)}{\partial x_{ij}} = a_{ij} = [A_{ij}]$

证：因$A^TX = \begin{bmatrix}\displaystyle\sum_{p=1}^{m}a_{pi}x_{pj} \end{bmatrix}_{n \times n}$，$tr(A^TX) = \displaystyle\sum_{t=1}^{n}\displaystyle\sum_{p=1}^{m}a_{pt}x_{pt}$。

当 p = i，t = j 时有$\frac{\partial (a_{pt}x_{pt})}{\partial (x_{ij})} = \frac{\partial (a_{ij}x_{ij})}{\partial (x_{ij})} = a_{ij} = [A_{ij}]$。

$tr(A^TX)$求和式中其他各项的偏导数都等于0，所以有$\frac{\partial (A^TX)}{\partial x_{ij}} = \frac{\partial \displaystyle\sum_{p=1}^{n}\displaystyle\sum_{q=1}^{n}\displaystyle\sum_{t=1}^{m}a_{tp}x_{tq}}{\partial x_{ij}} = a_{ij} = [A]_{ij}$

• 具体例子

让我们通过一个具体的例子来更好地理解这个求导过程。假设我们有一个2x2的矩阵$A$和另一个2x2的矩阵$X$，它们的形式如下：

$A = \begin{bmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{bmatrix}, \quad X = \begin{bmatrix} x_{11} & x_{12} \\ x_{21} & x_{22} \end{bmatrix}$

现在我们要计算$\frac{\partial tr(A^TX)}{\partial x_{ij}}$对于任意的$i, j$。

首先，$A^T$是$A$的转置，因此

$A^T = \begin{bmatrix} a_{11} & a_{21} \\ a_{12} & a_{22} \end{bmatrix}$

接着，$A^TX$的乘积是：

$A^TX = \begin{bmatrix} a_{11} & a_{21} \\ a_{12} & a_{22} \end{bmatrix} \begin{bmatrix} x_{11} & x_{12} \\ x_{21} & x_{22} \end{bmatrix} = \begin{bmatrix} a_{11}x_{11} + a_{21}x_{21} & a_{11}x_{12} + a_{21}x_{22} \\ a_{12}x_{11} + a_{22}x_{21} & a_{12}x_{12} + a_{22}x_{22} \end{bmatrix}$

矩阵$A^TX$的迹（即对角元素之和）为：

$tr(A^TX) = (a_{11}x_{11} + a_{21}x_{21}) + (a_{12}x_{12} + a_{22}x_{22})$

现在，我们要计算$\frac{\partial tr(A^TX)}{\partial x_{ij}}$。根据$i, j$的不同取值，我们可以分别计算出：

• 当$i = 1, j = 1$时，

$\frac{\partial tr(A^TX)}{\partial x_{11}} = \frac{\partial (a_{11}x_{11} + a_{21}x_{21} + a_{12}x_{12} + a_{22}x_{22})}{\partial x_{11}} = a_{11}$

• 当$i = 1, j = 2$时，

$\frac{\partial tr(A^TX)}{\partial x_{12}} = \frac{\partial (a_{11}x_{11} + a_{21}x_{21} + a_{12}x_{12} + a_{22}x_{22})}{\partial x_{12}} = a_{12}$

• 当$i = 2, j = 1$时，

$\frac{\partial tr(A^TX)}{\partial x_{21}} = \frac{\partial (a_{11}x_{11} + a_{21}x_{21} + a_{12}x_{12} + a_{22}x_{22})}{\partial x_{21}} = a_{21}$

• 当$i = 2, j = 2$时，

$\frac{\partial tr(A^TX)}{\partial x_{22}} = \frac{\partial (a_{11}x_{11} + a_{21}x_{21} + a_{12}x_{12} + a_{22}x_{22})}{\partial x_{22}} = a_{22}$

因此$\frac{\partial tr(A^TX)}{\partial x_{ij}} = A = \begin{bmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{bmatrix}$

从上面的例子可以看出，对于任何$i, j$，都有$\frac{\partial tr(A^TX)}{\partial x_{ij}} = a_{ij}$，这正是$A$矩阵中的对应元素。这就是求导法则1所表达的意思：矩阵$A$中的每个元素就是关于$X$中相应位置元素的偏导数。

其中，对于$\left \|A \right \|_F = \sqrt{tr(A^TA)} = \sqrt{\displaystyle\sum_{i=1}^{m}\displaystyle\sum_{j=1}^{n}a_{ij}^2}$，我们通过结合具体例子进行理解。

这里请注意：$\left \|A \right \|_F = \sqrt{tr(A^TA)}$

• 具体例子

Frobenius范数是对矩阵元素的平方和开方（因此其就是一个实数)，它衡量的是矩阵所有元素的欧几里得长度。通过一个具体的2x2矩阵来理解这个概念。

假设我们有一个2x2的矩阵$A$：

$A = \begin{bmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{bmatrix}$

那么$A^T$（$A$的转置）就是：

$A^T = \begin{bmatrix} a_{11} & a_{21} \\ a_{12} & a_{22} \end{bmatrix}$

现在计算$A^TA$的乘积：

$A^TA = \begin{bmatrix} a_{11} & a_{21} \\ a_{12} & a_{22} \end{bmatrix} \begin{bmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{bmatrix} = \begin{bmatrix} a_{11}^2 + a_{21}^2 & a_{11}a_{12} + a_{21}a_{22} \\ a_{11}a_{12} + a_{21}a_{22} & a_{12}^2 + a_{22}^2 \end{bmatrix}$

接着，计算$A^TA$的迹（对角线元素之和）：

$tr(A^TA) = (a_{11}^2 + a_{21}^2) + (a_{12}^2 + a_{22}^2) = a_{11}^2 + a_{21}^2 + a_{12}^2 + a_{22}^2$

最后，Frobenius范数$\|A\|_F$就是上述迹的平方根：

$\|A\|_F = \sqrt{tr(A^TA)} = \sqrt{a_{11}^2 + a_{21}^2 + a_{12}^2 + a_{22}^2}$

这就是矩阵$A$所有元素的平方和再开方的结果。换句话说，它是矩阵$A$中所有元素的平方和的平方根。

举个数值例子，如果

$A = \begin{bmatrix} 1 & 2 \\ 3 & 4 \end{bmatrix}$

那么

$A^TA = \begin{bmatrix} 1 & 3 \\ 2 & 4 \end{bmatrix} \begin{bmatrix} 1 & 2 \\ 3 & 4 \end{bmatrix} = \begin{bmatrix} 10 & 14 \\ 14 & 20 \end{bmatrix}$

并且

$tr(A^TA) = 10 + 20 = 30$

因此，

$\|A\|_F = \sqrt{30}$

这样我们就得到了矩阵$A$的Frobenius范数。

定义：设$A = [a_{ij}]_{m \times n}$是一个$m \times n$矩阵，称$\left \|A \right \|_F = \sqrt{tr(A^TA)} = \sqrt{\displaystyle\sum_{i=1}^{m}\displaystyle\sum_{j=1}^{n}a_{ij}^2}$是这个矩阵得Frobenius范数

• 求导法则 2 设$A = [a_{ij}]_{m \times m}$是$m \times m$矩阵，$X = [x_{ij}]_{m \times n}$是$m \times n$矩阵，则有

$\frac{\partial tr(X^TAX)}{\partial x_{ij}}=\sum_{q=1}^ma_{iq}x_{qj}+\sum_{p=1}^ma_{pi}x_{pj}=\Big[ AX+A^TX\Big]_{ij}$

证：因为$\quad X^{T}AX=\left[\sum_{p=1}^{m}\sum_{q=1}^{m}x_{pi}a_{pq}x_{qj}\right]_{m\times n},\quad tr(X^{T}AX)=\sum_{t=1}^{n}\sum_{p=1}^{m}\sum_{q=1}^{m}x_{pi}a_{pq}x_{qt}\quad$

当 p = i，t = j 时有$\frac{\partial(\sum_{q=1}^{m}x_{ij}a_{iq}x_{qj})}{\partial x_{ij}}=\sum_{q=1}^{m}a_{iq}x_{qj}=[AX]_{ij}$

当 q = i，t = j 时有$\frac{\partial(\sum_{p=1}^mx_{pj}a_{pi}x_{ij})}{\partial x_{ij}}=\sum_{p=1}^ma_{pi}x_{pj}=\left[A^TX\right]_{ij}$

$tr(X^TAX)$求和式中其他各项的偏导数都等于0，所以有$\frac{\partial tr(X^TAX)}{\partial x_{ij}}=\sum_{q=1}^ma_{iq}x_{qj}+\sum_{p=1}^ma_{pi}x_{pj}=\Big[ AX+A^TX\Big]_{ij}$

• 具体例子

我们可以通过一个具体的2x2矩阵的例子来说明求导法则2。假设$A$是一个2x2的方阵，而$X$也是一个2x2的矩阵，那么我们可以具体计算$\frac{\partial tr(X^TAX)}{\partial x_{ij}}$。

令

$A = \begin{bmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{bmatrix}, \quad X = \begin{bmatrix} x_{11} & x_{12} \\ x_{21} & x_{22} \end{bmatrix}$

首先，我们需要计算$X^TAX$：

$X^T = \begin{bmatrix} x_{11} & x_{21} \\ x_{12} & x_{22} \end{bmatrix}$

$X^TAX = \begin{bmatrix} x_{11} & x_{21} \\ x_{12} & x_{22} \end{bmatrix} \begin{bmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{bmatrix} \begin{bmatrix} x_{11} & x_{12} \\ x_{21} & x_{22} \end{bmatrix}$

这个乘积的结果是一个2x2的矩阵，其元素是通过以下方式得到的（注意，这里的计算可能有误）：

$(X^TAX)_{11} = x_{11}(a_{11}x_{11} + a_{12}x_{21}) + x_{21}(a_{21}x_{11} + a_{22}x_{21})$
$(X^TAX)_{12} = x_{11}(a_{11}x_{12} + a_{12}x_{22}) + x_{21}(a_{21}x_{12} + a_{22}x_{22})$
$(X^TAX)_{21} = x_{12}(a_{11}x_{11} + a_{12}x_{21}) + x_{22}(a_{21}x_{11} + a_{22}x_{21})$
$(X^TAX)_{22} = x_{12}(a_{11}x_{12} + a_{12}x_{22}) + x_{22}(a_{21}x_{12} + a_{22}x_{22})$

接着，$X^TAX$的迹为对角线元素之和：

$tr(X^TAX) = (X^TAX)_{11} + (X^TAX)_{22}$

现在，我们要计算$\frac{\partial tr(X^TAX)}{\partial x_{ij}}$对于任意的$i, j$。

例如，考虑$\frac{\partial tr(X^TAX)}{\partial x_{11}}$：

$\frac{\partial tr(X^TAX)}{\partial x_{11}} = \frac{\partial}{\partial x_{11}} \Big( (X^TAX)_{11} + (X^TAX)_{22} \Big)$

根据$(X^TAX)_{11}$和$(X^TAX)_{22}$的表达式，我们可以看到$x_{11}$出现在$(X^TAX)_{11}$中两次（一次与$a_{11}$相乘，一次与$a_{21}$相乘），并且在$(X^TAX)_{22}$中不出现。因此，

$\frac{\partial (X^TAX)_{11}}{\partial x_{11}} = a_{11}x_{11} + a_{21}x_{21}$

对于$(X^TAX)_{22}$，$x_{11}$不参与，所以偏导数为0。于是我们有：

$\frac{\partial tr(X^TAX)}{\partial x_{11}} = a_{11}x_{11} + a_{21}x_{21}$

同样的方法可以用于其他元素$x_{ij}$。对于$\frac{\partial tr(X^TAX)}{\partial x_{12}}$，我们会发现$x_{12}$只出现在$(X^TAX)_{12}$和$(X^TAX)_{22}$中，所以：

$\frac{\partial tr(X^TAX)}{\partial x_{12}} = a_{11}x_{12} + a_{12}x_{22} + a_{21}x_{12} + a_{22}x_{22}$

简化后就是$[AX]_{12} + [A^TX]_{12}$。

按照这种方式，我们可以得出一般形式的结论：

$\frac{\partial tr(X^TAX)}{\partial x_{ij}} = \sum_{q=1}^m a_{iq}x_{qj} + \sum_{p=1}^m a_{pi}x_{pj} = [AX + A^TX]_{ij}$

这就是求导法则2所表达的内容：关于$X$中元素$x_{ij}$的偏导数等于$AX$与$A^TX$在位置$(i,j)$处的元素之和。

$\frac{1}{2}\Big\|Y-AX\Big\|_{F}^{2}=\frac{1}{2} tr[(Y-AX)^{T}(Y-AX)]=\frac{1}{2} tr[(Y^{T}-X^{T}A^{T})(Y-AX)]$

例题1：$\text{设} Y=\left[ y_{ij} \right]_{l\times n} , A=[a_{ij}]_{l\times m} , X=[x_{ij} ]_{m\times n} , \text{求} \frac{\partial(\frac{1}{2}\left\|Y-AX\right\|_{F}^{2})}{\partial x_{ij}}$

解：$\begin{gathered} \frac{1}{2}\Big\|Y-AX\Big\|_{F}^{2}=\frac{1}{2} tr[(Y-AX)^{T}(Y-AX)]=\frac{1}{2} tr[(Y^{T}-X^{T}A^{T})(Y-AX)] \\ =\frac{1}{2}[tr(Y^{T}Y)-tr(X^{T}A^{T}Y)-tr(Y^{T}AX)+tr(X^{T}A^{T}AX)] \\ =\frac{1}{2}[tr(Y^{T}Y)-tr(X^{T}A^{T}Y)-tr(X^{T}A^{T}Y)+tr(X^{T}A^{T}AX)] \\ =\frac{1}{2}tr(Y^{T}Y)-tr(X^{T}A^{T}Y)+\frac{1}{2}tr(X^{T}A^{T}AX) 。 \end{gathered}$

这里注意，$tr(Y^TAX) = tr([Y^TAX]^T) = tr(X^TA^TY)$

其中，$Y^TY$中不含$x_{ij}$，所以$\frac{\partial tr(Y^TY)}{\partial x_{ij}}=0$

把$tr(X^TA^TY)$中的$A^TY$看作时上面求导法则1 中的 A，则有：$\frac{\partial tr(X^TA^TY)}{\partial x_{ij}}=[A^TY]_{ij}$

把$tr(X^TA^TAX)$中$A^TA$看着时上面求导法则2 中的 A，则有：$\frac{\partial tr(X^TA^TAX)}{\partial x_{ij}}=[A^TAX+(A^TA)^TX]_{ij}=[A^TAX+A^TAX]_{ij}=[2A^TAX]_{ij}$

所以有$\begin{aligned}&\frac{\partial(\frac{1}{2}\left\|Y-AX\right\|_{F}^{2})}{\partial x_{ij}}=\frac{1}{2}\cdot\frac{\partial tr(Y^{T}Y)}{\partial x_{ij}}-\frac{\partial tr(X^{T}A^{T}Y)}{\partial x_{ij}}+\frac{1}{2}\cdot\frac{\partial tr(X^{T}A^{T}AX)}{\partial x_{ij}}\\&=\frac{1}{2}\cdot0-[A^{T}Y]_{ij}+\frac{1}{2}[2A^{T}AX]_{ij}=[-A^{T}Y+A^{T}AX]_{ij} 。\end{aligned}$

根据上述的内容，我们可得如下规律：
$\frac{\partial tr(X^TA^T)}{\partial x_{ij}}=[A^T]_{ij}\\ \frac{\partial tr(A^TX)}{\partial x_{ij}}=[(A^T)^T]_{ij} = [A]_{ij}\\ \frac{\partial tr(XA^T)}{\partial x_{ij}}=[A]_{ji}\\ \frac{\partial tr(X^TAX)}{\partial x_{ij}}=[AX+(X^TA)^T]_{ij}= [AX+A^TX]_{ij} = [A+A^T]X$

请注意：$tr(BC) = tr(CB)$

例题2：$\text{设} Y=\left[ y_{ij} \right]_{l\times n} , A=\left[ a_{ij} \right]_{l\times m} , X=\left[ x_{ij} \right]_{m\times n} , \text{求} \frac{\partial(\frac{1}{2}\left\|Y-AX\right\|_{F}^{2})}{\partial a_{ij}}$

解：$\begin{gathered} \frac{1}{2}\Big\|Y-AX\Big\|_{F}^{2}=\frac{1}{2}tr(Y^{T}Y)-tr(X^{T}A^{T}Y)+\frac{1}{2}tr(X^{T}A^{T}AX) \\ =\frac{1}{2}tr(Y^{T}Y)-tr(A^{T}YX^{T})+\frac{1}{2}tr(AXX^{T}A^{T}) 。 \\ \frac{\partial(\frac{1}{2}\|Y-AX\|_{F}^{2})}{\partial a_{ij}}=\frac{1}{2}\cdot\frac{\partial tr(Y^{T}Y)}{\partial a_{ij}}-\frac{\partial tr(A^{T}YX^{T})}{\partial a_{ij}}+\frac{1}{2}\cdot\frac{\partial tr(AXX^{T}A^{T})}{\partial a_{ij}} \\ =\frac{1}{2}\cdot0-[YX^{T}]_{ij}+\frac{1}{2}[2(XX^{T}A^{T})^{T}]_{ij}=[-YX^{T}+AXX^{T}]_{ij} 。 \end{gathered}$

注 上面把$tr(AXX^TA^T)$中的$A^T$和$XX^T$看着求导法则2中的 X 和 A，因为$A^T$相对于法则中的 X 做了一个转置，所以对$a_{ij}$求偏导的结果中也要作一个转置

定理：

$tr(AB) = tr(BA)$

$tr(ABC) = tr(CAB) = tr(BCA)$

$tr(A)=tr(A^T)$

$\frac{\partial tr(XB)}{\partial X} = \frac{\partial tr(BX)}{\partial X} = B^T$

$\frac{\partial tr(X^TB)}{\partial X} = \frac{\partial tr(BX^T)}{\partial X} = B$

$\frac{\partial tr(X)}{\partial X} = I(单位矩阵)$

$\frac{\partial tr(A^TXB^T)}{\partial X} = \frac{\partial tr(BX^TA)}{\partial X} = AB$

$\frac{\partial tr(AXBX^T)}{\partial X} = AXB + A^TXB^T$
$\frac{\partial tr(AXBX)}{\partial X} = A^TX^TB^T + B^TX^TA^T$