计算拉普拉斯矩阵的特征值python 拉普拉斯矩阵 特征值

目录

• 0. 前言
• 1. 正文

• 1.1 标准化拉普拉斯是非满秩矩阵

• 1.1.1 拉普拉斯是非满秩矩阵
• 1.1.2 标准化拉普拉斯是非满秩矩阵
• 1.1.3 拉普拉斯矩阵及标准化拉普拉斯矩阵特征值与特征向量之间的关系

• 1.2 标准化拉普拉斯矩阵是半正定矩阵

• 1.2.1 标准化邻接矩阵的二次型化简
• 1.2.2 标准化拉普拉斯矩阵是半正定矩阵的证明

• 1.3 标准化邻接矩阵的特征值范围

• 1.3.1 瑞利商（Rayleigh quotient）
• 1.3.2 标准化邻接矩阵的特征值范围计算
• 1.3.3 标准化拉普拉斯矩阵的特征值范围计算

• 参考网址

0. 前言

谱图使用标准化拉普拉斯矩阵 $L^{norm}$ 的一个重要原因就是，$L^{norm}$ 比拉普拉斯矩阵$L$ 稳定。很多资料只是简单地介绍了$L^{norm}$ ，在kipfGCN中也只是简单地提到 $L^{norm}$

1. 正文

设标准化邻接矩阵 $A^{norm}$ 的特征值为 $\alpha_1\le\alpha_2\le\cdots\le\alpha_n$；标准化拉普拉斯矩阵 $L^{norm}$ 的特征值为$\lambda_1\le\lambda_2\le\cdots\le\lambda_n$。有：

$-1\le\alpha_1\le\alpha_2\le\cdots\le\alpha_n\le1$ $0\le\lambda_1\le\lambda_2\le\cdots\le\lambda_n\le2$

编号	推论	目的
1.1	标准化拉普拉斯是非满秩矩阵	标准化拉普拉斯矩阵至少有一个特征值为0
1.2	标准化拉普拉斯矩阵是半正定矩阵	标准化拉普拉斯矩阵所有特征值非负

1.1 标准化拉普拉斯是非满秩矩阵

1.1.1 拉普拉斯是非满秩矩阵

首先，证明拉普拉斯矩阵 $L$

令 $D = \begin{bmatrix} d_1 & & & \\ & d_2 & & \\ & & \ddots & \\ & & & dn \\ \end{bmatrix}$，$A = \begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & & \vdots \\ a_{n1} & a_{n2} & \cdots & a_{nn} \\ \end{bmatrix}$，则：

$\begin{aligned}\tag{1} |L|=|D-A|=\begin{vmatrix} d_1-a_{11} & -a_{12} & \cdots & -a_{1n} \\ -a_{21} & d_2-a_{22} & \cdots & -a_{2n} \\ \vdots & \vdots & & \vdots \\ -a_{n1} & -a_{n2} & \cdots & d-a_{nn} \\ \end{vmatrix} \end{aligned}$，将第2~n行分别加到第一行，可得第一行的元素为：
$\tag{2} [d_1+\sum_{i=1}^{n}(-a_{i1}),\,d_2+\sum_{i=1}^{n}(-a_{i2}), ...,\,d_n+\sum_{i=1}^{n}(-a_{in})]$，因为度矩阵对角线元素是邻接矩阵对应行（列）的和，因此有：
$d_1=\sum_{i=1}^{n}(a_{i1}),\,\,\,d_2=\sum_{i=1}^{n}(a_{i2}),\,\,\,...,d_n=\sum_{i=1}^{n}(a_{in})$，所以 $(2)$ 的元素全为0，即$|L|=0$。

1.1.2 标准化拉普拉斯是非满秩矩阵

其次，证明标准化拉普拉斯矩阵 $L^{norm}$

$\because |L^{norm}|=|D^{-\frac 1 2}LD^{-\frac 1 2}|=|D^{-\frac 1 2}||L||D^{-\frac 1 2}|$,      $|L|=0$
$\therefore |L^{norm}|=0$

1.1.3 拉普拉斯矩阵及标准化拉普拉斯矩阵特征值与特征向量之间的关系

上一节我们知道，拉普拉斯矩阵 $L$ 和标准化拉普拉斯矩阵 $L^{norm}$ 都是非满秩矩阵，都有至少一个特征值为 0。设 $e$ 是 $L$ 的一个对应于特征值 0 的特征向量，有 $Le=0$。因为：

$L^{norm} D^{\frac 1 2}e=D^{-\frac 1 2}LD^{-\frac 1 2}D^{\frac 1 2}e=D^{-\frac 1 2}(Le)=0$

所以$D^{\frac 1 2}e$ 是 $L^{norm}$

1.2 标准化拉普拉斯矩阵是半正定矩阵

1.2.1 标准化邻接矩阵的二次型化简

设 $A = \begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & & \vdots \\ a_{n1} & a_{n2} & \cdots & a_{nn} \\ \end{bmatrix},\,D =\begin{bmatrix} d_1 & & & \\ & d_2 & & \\ & & \ddots & \\ & & & d_n \\ \end{bmatrix}$，则$D^{-\frac 1 2} =\begin{bmatrix} {\frac 1 {\sqrt{d_1}}} & & & \\ & {\frac 1 {\sqrt{d_2}}} & & \\ & & \ddots & \\ & & & {\frac 1 {\sqrt{d_n}}} \\ \end{bmatrix}$

$\text{标准化邻接矩阵} \,\,A^{norm} = D^{-\frac 1 2}AD^{-\frac 1 2}= \begin{bmatrix} {\frac {a_{11}} {\sqrt{d_1d_1}}} & {\frac {a_{12}} {\sqrt{d_2d_1}}} & \cdots & {\frac {a_{1n}} {\sqrt{d_2d_n}}} \\ {\frac {a_{21}} {\sqrt{d_2d_1}}} & {\frac {a_{22}} {\sqrt{d_2d_2}}} & \cdots & {\frac {a_{2n}} {\sqrt{d_2d_n}}} \\ \vdots & \vdots & & \vdots \\ {\frac {a_{n1}} {\sqrt{d_nd_1}}} & {\frac {a_{n1}} {\sqrt{d_nd_1}}} & \cdots & {\frac {a_{nn}} {\sqrt{d_nd_n}}} \\ \end{bmatrix}$，令$\bold{x}=[x_1, x_2,\cdots, x_n]^T$，则：
$\begin{aligned} \bold{x}^TA^{norm}\bold{x}&=[x_1, x_2,\cdots, x_n] \begin{bmatrix} {\frac {a_{11}} {\sqrt{d_1d_1}}} & {\frac {a_{12}} {\sqrt{d_2d_1}}} & \cdots & {\frac {a_{1n}} {\sqrt{d_2d_n}}} \\ {\frac {a_{21}} {\sqrt{d_2d_1}}} & {\frac {a_{22}} {\sqrt{d_2d_2}}} & \cdots & {\frac {a_{2n}} {\sqrt{d_2d_n}}} \\ \vdots & \vdots & & \vdots \\ {\frac {a_{n1}} {\sqrt{d_nd_1}}} & {\frac {a_{n1}} {\sqrt{d_nd_1}}} & \cdots & {\frac {a_{nn}} {\sqrt{d_nd_n}}} \\ \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \\ \end{bmatrix} \\ &=\begin{bmatrix} \sum_i^n{\frac {x_ia_{i1}} {\sqrt{d_id_1}}},\, \sum_i^n{\frac {x_ia_{i2}} {\sqrt{d_id_2}}},\, \cdots,\, \sum_i^n{\frac {x_ia_{in}} {\sqrt{d_id_n}}} \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \\ \end{bmatrix} \\ &= \sum_i^n{\frac {x_ix_1a_{i1}} {\sqrt{d_id_1}}}+ \sum_i^n{\frac {x_ix_2a_{i2}} {\sqrt{d_id_2}}}+ \cdots+ \sum_i^n{\frac {x_ix_na_{in}} {\sqrt{d_id_n}}} \\ &=\sum_{i,j}^n{\frac {x_ix_ja_{ij}} {\sqrt{d_id_j}}} \\ &=\sum_{(i,j)\in E}{\frac {2x_ix_ja_{ij}} {\sqrt{d_id_j}}} \,\,\,\,(因为a_{ij}=a_{ji},所以有个2;a_{ij}\in\{0,1\},所以可以消去.) \end{aligned}$，其中 $E$

1.2.2 标准化拉普拉斯矩阵是半正定矩阵的证明

对 $\forall \bold{x}\in \mathbb{R}^n$，$L^{norm}$的二次型为：
$\begin{aligned} \bold{x}^TL^{norm}\bold{x}&=\bold{x}^T\Big(I-A^{norm}\Big)\bold{x} \\ &=\sum_{i\in V}x_i^2-\sum_{(i,j)\in E}{\frac {2x_ix_j} {\sqrt{d_id_j}}} \\ &=\sum_{(i,j)\in E}\Bigg({\frac {x_i^2} {d_i}}+{\frac {x_j^2} {d_j}}\Bigg)-\sum_{(i,j)\in E}{\frac {2x_ix_j} {\sqrt{d_id_j}}} \\ &=\sum_{(i,j)\in E}\Bigg({\frac {x_i} {\sqrt{d_i}}}-{\frac {x_j} {\sqrt{d_j}}}\Bigg)^2\\ &\ge0 \end{aligned}$，根据半正定矩阵的定义可知，$L^{norm}$

1.3 标准化邻接矩阵的特征值范围

1.3.1 瑞利商（Rayleigh quotient）

在求标准化邻接矩阵 $A^{norm}$ 的特征值范围前，需要了解瑞利商。瑞利商的定义如下：
$R(A,x)=\frac{x^TAx}{x^Tx}$，其中 $A$ 为 $n\times n$ 对称矩阵，$x$ 为 $n$ 维度向量。如果A的特征值为$\lambda_1\le\lambda_2\le\cdots\le\lambda_n$，则其瑞利商的下界为$\lambda_{1}$，上界为 $\lambda_{n}$。

关于瑞利商，参见我的博客：瑞利商性质及证明。

1.3.2 标准化邻接矩阵的特征值范围计算

$x^TL^{norm}x\ge0\rArr x^T(I-A^{norm})x\ge0\rArr x^Tx-x^TA^{norm}x\ge0\rArr 1\ge{\frac {x^TA^{norm}x} {x^Tx}}$，由瑞利商的性质可知，$A^{norm}$ 最大特征值小于等于1，即 $\alpha_n\le1$；当 $x=D^{\frac 1 2}e$ 时，$\alpha_n=1$。

类似于证明 $L^{norm}$ 是半正定矩阵，$I+A^{norm}$

$x^T(I+A^{norm})x=\sum_{i\in V}x_i^2+\sum_{(i,j)\in E}\Big( {\frac {x_i} {\sqrt{d_i}}}+{\frac {x_j} {\sqrt{d_j}}} \Big)^2\ge0$，所以有：
$x^T(I+A^{norm})x\ge0\rArr x^Tx+x^TA^{norm}x\ge0\rArr {\frac {x^TA^{norm}x} {x^Tx}}\ge-1$，由瑞利商的性质可知，$A^{norm}$ 最小特征值大于等于-1，即 $\alpha_1\ge-1$。

所以标准化邻接矩阵 $A^{norm}$ 的特征值满足$-1\le\alpha_1\le\alpha_2\le\cdots\le\alpha_n=1$

1.3.3 标准化拉普拉斯矩阵的特征值范围计算

$\because$
$\begin{aligned} &\frac {x^TL^{norm}x} {x^Tx}=\frac {x^T(I-A^{norm})x} {x^Tx}=1-\frac {x^TA^{norm}x} {x^Tx}=1-R(A^{norm},x) \\ &-1\le R(A^{norm},x)\le1 \end{aligned}$$\therefore$
$\begin{aligned} &0\le \frac {x^TL^{norm}x} {x^Tx} \le2 \end{aligned}$，其下确界为0，当 $x=D^{\frac 1 2}e$ 时，$\lambda_1=0$。

证毕。