高斯混合分布的均值和方差 高斯分布的方差公式

---

本文主要推导高斯分布（正态分布）的积分，期望E(X)和方差V(X)。

其中主要是方差V(X)的推导，本文介绍3种高斯方差的推导方法。

高斯分布的概率密度函数：
$f(x) = \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{(x-u)^2}{2\delta^2}}} \tag{1}$

---

高斯分布的概率分布函数（归一化）：
$\begin{aligned} F &=\int^{ +\infty }_{ - \infty }f(x)dx=\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{(x-u)^2}{2\delta^2}}dx}\\\\ &=\frac{1}{\sqrt{2\pi}\delta}\int^{ +\infty }_{ - \infty } {e^{-\frac{(x-u)^2}{2\delta^2}}d(x-u)}\\\\ &=\frac{1}{\sqrt{2\pi}\delta}\int^{ +\infty }_{ - \infty } {e^{-\frac{x^2}{2\delta^2}}dx} \end{aligned} \tag{2}$

概率密度函数的积分为$F(x)=1$，如下开始证明。这里直接计算$F(x)$比较困难，但可以利用双重积分转极坐标计算体积的方式计算$F(x)^2$，如下
$\begin{aligned} F^2 &=\frac{1}{\sqrt{2\pi}\delta}\int^{ +\infty }_{ - \infty } {e^{-\frac{x^2}{2\delta^2}}dx} \frac{1}{\sqrt{2\pi}\delta}\int^{ +\infty }_{ - \infty } {e^{-\frac{y^2}{2\delta^2}}dy}\\\\ &=\frac{1}{2\pi\delta^2}\int^{ +\infty }_{ - \infty }\int^{ +\infty }_{ - \infty } {e^{-\frac{x^2+y^2}{2\delta^2}}dxdy} \end{aligned} \tag{3}$

令 $x=r\sin\theta$ , $y=r\cos\theta$ , 坐标系转换到极坐标系就行积分
$\begin{aligned} F^2 &=\frac{1}{2\pi\delta^2}\int^{ 2\pi }_{ 0 }\int^{ +\infty }_{ 0 } {e^{-\frac{r^2}{2\delta^2}}rdrd\theta}\\\\ &=\frac{1}{2\pi\delta^2}\int^{ 2\pi }_{ 0 }d\theta\int^{ +\infty }_{ 0 } {e^{-\frac{r^2}{2\delta^2}}rdr}\\\\ &=\frac{1}{\delta^2}\int^{ +\infty }_{ 0 } {e^{-\frac{r^2}{2\delta^2}}rdr}\\\\ &=\int^{ +\infty }_{ 0 } {e^{-\frac{r^2}{2\delta^2}}d(\frac{r^2}{2\delta^2})}\\\\ &=\int^{ +\infty }_{ 0 } {e^{-m}dm}\\\\ &=1 \end{aligned} \tag{4}$

即可证明得：
$F =\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{(x-u)^2}{2\delta^2}}dx}=1\tag{5}$

注：这里可以由 $F^2=1$ 看出，$F$为一个2维正态分布，其在二维空间中体积为1

---

高斯分布的期望 $E(x)=u$
$\begin{aligned} E(x)&=\int^{ +\infty }_{ - \infty }xf(x)dx=\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{(x-u)^2}{2\delta^2}}xdx}\\\\ &=\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{x^2}{2\delta^2}}(x+u)dx}\\\\ &=\underbrace{\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{x^2}{2\delta^2}}xdx}}_{0}+u\underbrace{\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{x^2}{2\delta^2}}dx}}_{1}\\\\ &=u \end{aligned}\tag{6}$

由于 $\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{x^2}{2\delta^2}}xdx}$ 为奇函数，积分为0，因此可得高斯分布的期望： $E(x)=u$

---

高斯分布的方差 $V(x)=\delta^2$
$\begin{aligned} V&=\int^{ +\infty }_{ - \infty }(x-u)^2f(x)dx\\\\ &=\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{(x-u)^2}{2\delta^2}}(x-u)^2dx}\\\\ &=\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{x^2}{2\delta^2}}x^2dx} \end{aligned}\tag{7}$

如下介绍3种推导方法，第一种最为复杂的推导，先计算 $V^2$
$\begin{aligned} V^2&=\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{x^2}{2\delta^2}}x^2dx}\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{y^2}{2\delta^2}}y^2dy}\\\\ &=\frac{1}{2\pi\delta^2}\int^{ +\infty }_{ - \infty }\int^{ +\infty }_{ - \infty } {e^{-\frac{x^2+y^2}{2\delta^2}}x^2y^2dxdy} \end{aligned}\tag{8}$

令 $x=r\sin\theta$ , $y=r\cos\theta$
$\begin{aligned} V^2&=\frac{1}{2\pi\delta^2}\int^{ 2\pi }_{ 0 }\int^{ +\infty }_{ 0 } {r^4\sin^2\theta \cos^2\theta e^{-\frac{r^2}{2\delta^2}}rdrd\theta}\\\\ &=\frac{1}{2\pi\delta^2}\int^{ 2\pi }_{ 0 } {\sin^2\theta \cos^2\theta d\theta\int^{ +\infty }_{ 0 }r^5e^{-\frac{r^2}{2\delta^2}}dr} \end{aligned}\tag{9}$

上面两部分可分开计算，首先计算左边关于 $\theta$ 的积分，由于 $\sin^2 \theta=\frac{1-\cos2\theta}{2}$ ：
$\begin{aligned} \int^{ 2\pi }_{ 0 } {\sin^2\theta \cos^2\theta d\theta}&=\frac{1}{4}\int^{ 2\pi }_{ 0 }{\sin^22\theta d\theta}\\\\ &=\frac{1}{4}\int^{ 2\pi }_{ 0 }\frac{1-\cos4\theta }{2} d\theta\\\\ &=\frac{1}{8}\int^{ 2\pi }_{ 0 }d\theta-\frac{1}{8}\int^{ 2\pi }_{ 0} {\cos4\theta } d\theta\\\\ &=\frac{\pi}{4}-\frac{1}{32}\int^{ 8\pi }_{ 0} {\cos\theta } d\theta\\\\ &=\frac{\pi}{4} \end{aligned}\tag{10}$

计算右边关于 $r$ 的积分，设 $m=r^2$
$\begin{aligned} \int^{ +\infty }_{ 0 }r^5e^{-\frac{r^2}{2\delta^2}}dr&=\frac{1}{2}\int^{ +\infty }_{ 0 }m^2e^{-\frac{m}{2\delta^2}}dm\\\\ &=-\delta^2\int^{ +\infty }_{ 0 }m^2d(e^{-\frac{m}{2\delta^2}})\\\\ &=-\delta^2 \bigg( m^2e^{-\frac{m}{2\delta^2}}|^{+\infty}_{0}-\int^{ +\infty }_{ 0 }e^{-\frac{m} {2\delta^2}}d(m^2)\bigg)\\\\ \lim_{m\rightarrow+\infty} m^2e^{-\frac{m}{2\delta^2}}=0\longrightarrow&=2\delta^2 \int^{ +\infty }_{ 0 }me^{-\frac{m}{2\delta^2}}dm\\\\ &=-4\delta^4\int^{ +\infty }_{ 0 }md(e^{-\frac{m}{2\delta^2}})\\\\ &=-4\delta^4 \bigg( me^{-\frac{m}{2\delta^2}}|^{+\infty}_{0}-\int^{ +\infty }_{ 0 }e^{-\frac{m} {2\delta^2}}dm\bigg)\\\\ \lim_{m\rightarrow+\infty} me^{-\frac{m}{2\delta^2}}=0\longrightarrow&=4\delta^4 \int^{ +\infty }_{ 0 }e^{-\frac{m}{2\delta^2}}dm\\\\ &=8\delta^6 \end{aligned}\tag{11}$

因此
$\begin{aligned} V^2&=\frac{1}{2\pi\delta^2}\int^{ 2\pi }_{ 0 } {\sin^2\theta \cos^2\theta d\theta\cdot\int^{ +\infty }_{ 0 }r^5e^{-\frac{r^2}{2\delta^2}}rdr}\\\\ &=\frac{1}{2\pi\delta^2}\cdot\frac{\pi}{4}\cdot8\delta^6\\\\ &=\delta^4 \end{aligned}\tag{12}$

所以 $V=\delta^2$，即证。

如下介绍第二种较为巧妙的推导：
$\begin{aligned} V&=\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{(x-u)^2}{2\delta^2}}(x-u)^2dx}\\\\ &=\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{x^2}{2\delta^2}}x^2dx}\\\\ &=-\frac{\delta}{\sqrt{2\pi}}\int^{ +\infty }_{ - \infty } xd\Big(e^{-\frac{x^2}{2\delta^2}}\Big)\\\\ &=-\frac{\delta}{\sqrt{2\pi}}\bigg(\underbrace{xe^{-\frac{x^2}{2\delta^2}}|^{+\infty}_{-\infty}}_{0}-\int^{ +\infty }_{ - \infty }{e^{-\frac{x^2}{2\delta^2}}dx}\bigg)\\\\ &=\frac{\delta}{\sqrt{2\pi}}\int^{ +\infty }_{ - \infty }{e^{-\frac{x^2}{2\delta^2}}dx}\\\\ &=\delta^2 \cdot\frac{1}{\sqrt{2\pi}\delta}\int^{ +\infty }_{ - \infty }{e^{-\frac{x^2}{2\delta^2}}dx}\\\\ &=\delta^2 \end{aligned}\tag{13}$

第三种证明方法则利用方差特性：
$\begin{aligned} V(x)&=E\Big((x-E(x))^2\Big)\\\\ &=E\Big(x^2-2xE(x)+E^2(x)\Big)\\\\ &=E(x^2)-2E(x)E(x)+E^2(x)\\\\ &=E(x^2)-E^2(x)\\\\ &=E(x^2)-u^2 \end{aligned}\tag{14}$

这里只需再求取 $E(x^2)$

期望 $E(x)$ 的另一个叫法是分布函数的 一阶矩 ，而 $E(x^2)$ 也叫 二阶矩，这里就是求概率分布的二阶矩

$E(x^2)=\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{(x-u)^2}{2\delta^2}}x^2dx}\tag{15}$

参考第二种证明的方法，可以比较快速的得到：

$E(x^2)=\delta^2+u^2\tag{16}$

从而可得 $V(x)=E(x^2)-u^2=\delta^2$

感悟：三种方法证明完成，最近在看《概率机器人》，里面所有理论基础都是概率贝叶斯，索性重新推导了高斯分布，发现高斯分布真是一个伟大的发现，用一个如此优雅的曲线描绘这个世界的创造规律，从而让所有的不确定性可以被估计和优化，打开了人类与上帝对话的一个窗口，窥探上帝的造物规律。

参考文献：

https://www.zhihu.com/question/23971601