随机过程（2.2）—— 多维高斯分布

• ​​随机过程（2.1）—— 多维随机变量（随机向量）​​
• 多维高斯分布是一种特殊的多维随机分布，应用非常广泛。本文参考​​【机器学习】【白板推导系列】​​

---

文章目录

• ​​1. 定义​​
• ​​2. 理解​​

• ​​2.1 几何意义​​
• ​​2.2 参数数量​​

• ​​3. 特征函数​​
• ​​4. 性质​​

• ​​4.1 边缘分布​​
• ​​4.2 分量独立性​​
• ​​4.3 线性变换​​

• ​​5. 综合例题​​

1. 定义

• 若 $n$ 维 r.v. $\pmb{X}$ 的概率密度函数为
  $f(\pmb{x}) = f(x_1,...,x_n) = \frac{1}{(2\pi)^{n/2}|B|^{1/2}}e^{-\frac{1}{2}(\mathbf{x}-\mathbf{a})^\top \mathbf{B}^{-1}(\mathbf{x}-\mathbf{a})}$ 其中 $\pmb{B}$ 为 $n$ 阶实对称正定矩阵（所有特征值 > 0），则称随机向量 $\pmb{X}$ 服从期望为 $\pmb{a}$，协方差矩阵为 $\pmb{B}$ 的多维正态分布，记为 $\pmb{X}\sim N(\pmb{a},\pmb{B})$
• 注意这里 $\pmb{B}$ 是一个协方差矩阵，展开为
  $\begin{aligned} \pmb{B} &= \begin{bmatrix} DX_1 &\text{Cov}(X_1,X_2) &\dots &\text{Cov}(X_1,X_n) \\ \text{Cov}(X_2,X_1) &DX_2 &\dots &\text{Cov}(X_2,X_n) \\ \vdots &\vdots &&\vdots\\ \text{Cov}(X_n,X_1) &\text{Cov}(X_n,X_2) &\dots &DX_n \end{bmatrix}\\ & = \begin{bmatrix} \sigma_1^2 &\rho_{12}\sigma_1\sigma_2 &\dots &\rho_{1n}\sigma_1\sigma_n \\ \rho_{21}\sigma_2\sigma_1 &\sigma_2^2 &\dots &\rho_{2n}\sigma_2\sigma_n \\ \vdots &\vdots &&\vdots\\ \rho_{n,1}\sigma_n\sigma_1 &\rho_{n,2}\sigma_n\sigma_2 &\dots &\sigma_n^2 \end{bmatrix} \end{aligned}$ 显然它 $\pmb{B}$ 是实对称矩阵，通常情况下（只要 $X_i$。这种实对称正定矩阵是一种正定 hermitian 矩阵，可以做乔里斯基分解 $\pmb{B} = \pmb{LL^\top}$（$\pmb{L}$
• 显然 $f(\pmb{x})$ 在任意取值下都是非负的，下面证明 $\int_{R^n} f(\pmb{x})d\pmb{x}=1$，这个证明中用到两个技巧

1. 上面提到的 $\pmb{B} = \pmb{LL^\top}$
2. 向量对向量求导会得到一个 Jacobi 行列式，令 $\pmb{x} = \pmb{Ly}+\pmb{a}$，则 $\frac{\partial\mathbf{x}}{\partial\mathbf{y}} = |\pmb{L}|$

2. 理解

2.1 几何意义

• $\pmb{X}\sim N(\pmb{a},\pmb{B})$ 的概率密度函数 $f(\pmb{x}) = \frac{1}{(2\pi)^{n/2}|B|^{1/2}}e^{-\frac{1}{2}(\mathbf{x}-\mathbf{a})^\top \mathbf{B}^{-1}(\mathbf{x}-\mathbf{a})}$，关注其中的指数部分，这是一个二次型，设为 $\triangle = (\mathbf{x}-\mathbf{a})^\top \mathbf{B}^{-1}(\mathbf{x}-\mathbf{a})$

1. 首先明确 $(\mathbf{x-a})$ 尺寸为 $n\times 1$，$\mathbf{B}$ 尺寸为 $n\times n$，$\triangle$，可以看作 $\mathbf{x}$ 和 $\mathbf{a}$

2. 注意 $\pmb{B}$ 是实对称矩阵，一般情况下（$X_i$

   1. 正定对称 $\Rightarrow$ ​​​乔里斯基分解​​​：$\pmb{B} = \pmb{LL^\top}$，其中 $\pmb{L}$
   2. 正定对称 $\Rightarrow$ ​​​LDL分解​​​：$\pmb{B} = \pmb{LDL^\top}$，其中 $\pmb{D}$ 是一个对角阵，$\pmb{L}$
   3. 实对称 $\Rightarrow$ $\pmb{B}_{n\times n}$ ​​​正交相似于其特征值组成的对角阵​​​，即 $\pmb{B = U\Lambda U^\top}$，其中 $\pmb{U}$ 是正交矩阵（有 $\pmb{UU^\top}=\pmb{U^\top U} = \pmb{E}$），其列向量为 $\pmb{B}$ 的特征向量，$\Lambda = \text{diag} \{\lambda_1,\lambda_2,...,\lambda_p\}$（$\lambda_i$ 是 $\pmb{B}$ 的特征值）。这是因为 $n$ 阶实对称矩阵的所有特征值都是实数，各个特征值的代数重数和几何重数相等（有 $n$ 个线性无关特征向量），且所有特征向量相互正交（​​参考此处​​）。此结论也可理解为 Schur 定理在实数域上的推论
   4. 可相似对角化 $\Rightarrow$ $\pmb{B}_{n\times n}$ 可以 ​​​谱分解​​​：$\pmb{B = P\Lambda P^{-1}}$，其中 $\pmb{P}$ 的列向量是 $\pmb{B}$ 的（右）特征向量，$\pmb{P}^{-1}$ 的行向量是 $\pmb{B}$ 的左特征向量（参考此处），$\Lambda = \text{diag} \{\lambda_1,\lambda_2,...,\lambda_p\}$（$\lambda_i$ 是 $\pmb{B}$ 的特征值）。注意性质 3 中的 $\pmb{U}$ 是正交矩阵，有 $\pmb{U^{-1}=U^\top}$，因此实对称矩阵 $\pmb{B}$

   利用上述性质 3/4 分析 $\pmb{B}^{-1}$，可如下展开（其中 $\pmb{u_i}$ 是列向量，尺寸 $n\times 1$）
   $\begin{aligned} \pmb{B}^{-1} &= (\pmb{U\Lambda U^\top})^{-1} \\ &= (\pmb{U^\top})^{-1} \pmb{\Lambda}^{-1}\pmb{U}^{-1} \\ &= \pmb{U}\pmb{\Lambda}^{-1}\pmb{U^\top} \\ &=\sum_{i=1}^n \pmb{u_i}\frac{1}{\lambda_i}\pmb{u_i^\top} \end{aligned}$

• 进一步考虑多元高斯分布指数部分的二次型
  $\begin{aligned} \triangle &= (\mathbf{x}-\mathbf{a})^\top \mathbf{B}^{-1}(\mathbf{x}-\mathbf{a}) \\ &= (\mathbf{x}-\mathbf{a})^\top \sum_{i=1}^n \pmb{u_i}\frac{1}{\lambda_i}\pmb{u_i^\top} (\mathbf{x}-\mathbf{a}) \\ &= \sum_{i=1}^n (\mathbf{x}-\mathbf{a})^\top \pmb{u_i}\frac{1}{\lambda_i}\pmb{u_i^\top} (\mathbf{x}-\mathbf{a}) \\ &\xlongequal{\quad设\mathbf{y_i}= (\mathbf{x}-\mathbf{a})^\top \mathbf{u_i}\quad} \sum_{i=1}^n \frac{y_i^2}{\lambda_i} \end{aligned}$ 可见 $\triangle=k$ 时，$\triangle=\sum_{i=1}^n \frac{y_i^2}{\lambda_i} = k$ 是 $p$ 维空间中一个超椭圆。注意到 $y_i= (\pmb{x}-\pmb{a})^\top \pmb{u_i}$，可以看作先把 $\pmb{x}$ 沿 $\pmb{a}$ 方向平移，然后向 $\pmb{u_i}$ 方向上的投影。不妨在 $\pmb{u_i}$ 方向设置坐标轴 $\pmb{y_i}$，二维情况（$n=2$）的示意图如下



• 可见随着 $k$ 值变化，$\triangle$ 对应到空间中一系列超椭圆，若把 $k$。进一步考虑整个 n 元高斯分布的概率密度函数 $f(\pmb{x}) = \frac{1}{(2\pi)^{n/2}|B|^{1/2}}e^{-\frac{1}{2}\triangle}$，前面分数部分是个常数，$e^x$ 则是和 $x$ 正相关，所以概率密度函数 $f(\pmb{x})$
• 可以如下绘制二维情况下 $f(\pmb{x})$ 图像，这里设置期望为 $\pmb{a} = \begin{bmatrix}0\\0 \end{bmatrix}$，协方差矩阵为 $\pmb{B} = \begin{bmatrix}0.8 &0.2\\0.2 &0.2 \end{bmatrix}$

%matplotlib notebook
import numpy as np
import scipy.stats as st
import matplotlib.pylab as plt
from mpl_toolkits.mplot3d import Axes3D

mu = np.array([0,0])
cov = np.array([[0.8, 0.2], 
                [0.2, 0.2]])

fig = plt.figure(figsize = (10,5))
a0 = fig.add_subplot(1,2,1,label='a0',projection='3d') 
a1 = fig.add_subplot(1,2,2,label='a1',projection='3d') 

x, y = np.mgrid[-2.5:2.5:.1, -2.5:2.5:.1]
pos = np.empty(x.shape + (2,))
pos[:, :, 0] = x; pos[:, :, 1] = y
rv = st.multivariate_normal(mu, cov)   # 生成多元正态分布
a0.scatter(x, y, rv.pdf(pos),s=1,alpha=0.5,cmap="rainbow") 
a1.plot_surface(x, y, rv.pdf(pos),alpha=0.5,cmap=plt.cm.cool)

2.2 参数数量

• 考察上述 $\pmb{B}$ 矩阵的参数个数，由于 $\pmb{B}$ 是对称矩阵，当尺寸为 $n\times n$ 时，参数有 $1+2+...+n = \frac{n^2+n}{2}$ 个，这时所有参数都非零，意味着 $n$ 元高斯随机变量 $\pmb{x}=\begin{bmatrix}x_1\\x_2\\\vdots\\x_n \end{bmatrix}$ 中任意两个维度 $x_i,x_j,i\neq j$ 相关。举例来说，期望为 $\pmb{a} = \begin{bmatrix}1\\2 \end{bmatrix}$，协方差矩阵为 $\pmb{B} = \begin{bmatrix}0.8 &0.2\\0.2 &0.2 \end{bmatrix}$ 时属于这种情况，此时 $\triangle$，如下所示

%matplotlib notebook
import numpy as np
import scipy.stats as st
import matplotlib.pylab as plt
from mpl_toolkits.mplot3d import Axes3D

mu = np.array([1,2])
cov = np.array([[0.8, 0.2], 
                [0.2, 0.2]])

fig = plt.figure(figsize = (10,5))
a0 = fig.add_subplot(1,2,1,label='a0',projection='3d') 
a1 = fig.add_subplot(1,2,2,label='a1') 

x, y = np.mgrid[-1.5:3.5:.1, -0.5:4.5:.1]
pos = np.empty(x.shape + (2,))
pos[:, :, 0] = x; pos[:, :, 1] = y
rv = st.multivariate_normal(mu, cov)   # 生成多元正态分布
a0.scatter(x, y, rv.pdf(pos),s=1,alpha=0.5,cmap="rainbow") 
a1.contourf(x, y, rv.pdf(pos))         # 等高线
a1.grid(alpha=0.5)                     # 坐标网格

• 希望减少参数数量，可以假设 $n$ 元高斯随机变量 $\pmb{x}=\begin{bmatrix}x_1\\x_2\\\vdots\\x_n \end{bmatrix}$ 中任意两个维度 $x_i,x_j,i\neq j$ 相互独立，这时 $\pmb{B}$ 除了主对角元素外其他元素都是 $0$，参数减少到 $n$ 个。举例来说，期望为 $\pmb{a} = \begin{bmatrix}1\\2 \end{bmatrix}$，协方差矩阵为 $\pmb{B} = \begin{bmatrix}0.8 &0\\0 &0.2 \end{bmatrix}$ 时属于这种情况，此时 $\triangle$，如下所示

• 进一步减少参数数量，可以假设 $n$ 元高斯随机变量 $\pmb{x}=\begin{bmatrix}x_1\\x_2\\\vdots\\x_n \end{bmatrix}$ 中任意两个维度 $x_i,x_j,i\neq j$ 相互独立且各向同性，这时 $\pmb{B}$ 除了主对角元素外其他元素都是 $0$，且主对角线元素都为相等正数，参数减少到 $1$ 个。举例来说，期望为 $\pmb{a} = \begin{bmatrix}1\\2 \end{bmatrix}$，协方差矩阵为 $\pmb{B} = \begin{bmatrix}1 &0\\0 &1 \end{bmatrix}$ 时属于这种情况，此时 $\triangle$，如下所示

• 可以使用极大似然估计来估计多维高斯分布的参数，请参考：一文看懂 “极大似然估计” 与 “最大后验估计” —— 极大似然估计篇

3. 特征函数

• 注意到 $n$ 元正态分布函数的概率密度函数很复杂，要计算 $\pmb{B}$
• 普通一元正态分布 $X \sim N(\mu,\sigma^2)$ 的特征函数为（证明见 ​​4.2​​ 节分量独立性证明）
  $\varphi_X(t) = e^{it\mu-\frac{1}{2}t^2\sigma^2}$
• $n$ 元正态分布 $\pmb{X}\sim N(\pmb{a},\pmb{B})$ 的特征函数为
  $\varphi_{\mathbf{x}}(\mathbf{t}) = e^{i\mathbf{t^\top a}-\frac{1}{2}\mathbf{t^\top Bt}}$ 详细证明过程如下



• 
  

4. 性质

4.1 边缘分布

1. ​​“多元正态随机向量” 的每个元素是 “一个正态随机变量”​​​：$X_j \sim N(a_j,b_{jj})$
3. ​​“多元正态随机向量” 的部分向量仍为 “多元正态随机向量”​​​：若 $\pmb{X} \sim N(\pmb{a,B})$，则其第 $k_1,...,k_m$ 分量组成的随机向量满足
   $\pmb{X}^* = \begin{bmatrix}X_{k1}\\X_{k2}\\\vdots \\X_{km} \end{bmatrix} \sim N(\pmb{a}^*,\pmb{B}^*)$ 其中 $\pmb{B}^* = \begin{bmatrix}\pmb{I}_m &\pmb{0}\end{bmatrix}\pmb{B}\begin{bmatrix}\pmb{I}_m \\\pmb{0}\end{bmatrix}$ 是保留 $\pmb{B}$ 的第 $k_1,...,k_m$ 行列所得的 $m\times m$ 矩阵，$\pmb{a}^* = \begin{bmatrix}a_{k_1}\\a_{k_2}\\\vdots \\a_{k_m} \end{bmatrix}$ 是 $\pmb{a}$ 的第 $k_1,...,k_m$ 分量拼成的向量。从特征函数角度证明如下



4. 
   

4.2 分量独立性

• ​​独立性​​​：若 $\pmb{X} = [X_1,X_2,\dots,X_n]^\top \sim N(\pmb{a,B})$，以下陈述等价（注: 随机变量 ​​互不相关​​ 指没有线性关系，即协方差为0；​​独立​​ 指没有一切关系）

  1. $X_1,X_2,\dots,X_n$ 相互独立
  2. $X_1,X_2,\dots,X_n$ 两两独立
  3. $X_1,X_2,\dots,X_n$ 两两互不相关
  4. $\pmb{B}$ 为对角阵（即不同的两个元协方差为0）

• 证明：$1\Rightarrow 2$ 显然；$2\Rightarrow 3$ 是随机变量性质；$3\Rightarrow 4$ 是互不相关定义；只需证明 $4 \Rightarrow 1$ 即得四者等价

4.3 线性变换

• ​​一组正态分布随机变量的线性组合（多元正态随机向量的线性变换）仍然服从正态分布​​
2. 设有 $n$ 元随机向量 $\pmb{X}\sim N(\pmb{a,B})$，则对 $\forall \pmb{l}\neq \pmb{0} \in\mathbb{R}^n$ 有
   $\pmb{l^\top X}\sim N(\pmb{l^\top a},\pmb{l^\top B l})$ 这里 $\pmb{l^\top X} = \sum_{i=1}^n l_iX_i$ 其实就是对 $\pmb{X}$ 中所有正态随机变量 $X_i$ 线性组合得到的一元正态随机变量。上式从特征函数角度可证明如下



3. 注意，这里 $\varphi_{\mathbf{x}}(t\pmb{l})$ 是 n 元正态分布的特征函数；$\varphi_{\mathbf{l^\top x}}(t)$
5. 设有 $n$ 元随机向量 $\pmb{X}\sim N(\pmb{a,B})$，$\pmb{C}$ 为 $m\times n$ 矩阵，且行向量线性无关，则
   $\mathbf{CX} \sim N(\mathbf{Ca},\mathbf{CBC^\top})$ 其实这里 $\pmb{C}$ 中的每一行都对应了一个 1 中的线性组合。上式可以用特征函数证明如下



6. 注意，$\varphi_{\mathbf{x}}(\pmb{C^\top t})$ 表示的是 $n$ 元正态分布的特征函数；$\varphi_{\mathbf{Cx}}(\pmb{t})$ 表示的是 $m$ 元正态分布的特征函数（$\pmb{C}_{m\times n}$ 将 $n$ 元的 $\pmb{x}$ 变换为 $m$

5. 综合例题