一、多元标准高斯分布
高斯分布在机器学习中出现得很频繁。高斯分布被誉为"上帝的分布", 其强悍的建模能力和优美的数学性质使得高斯分布在现实中得到广泛的应用。我们知道, 大量独立同分布的随机变量的均值在做适当标准化之后会依分布收敛于高斯分布, 这使得高斯分布具有普适性的建模能力。
首先是一元高斯分布：
若是随机变量
,则有如下概率密度函数
如果我们对随机变量X进行标准化，则
从而有
此时随机变量Z是有X得来的，
服从一元标准高斯分布，其均值
，其方差
，其概率密度函数为：
随机变量 X 标准化的过程, 实际上的消除量纲影响和分布差异的过程. 通过将随机变量的值减去其均值再除以标准差, 使得随机变量与其均值的差距可以用若干个标准差来衡量, 从而实现了不同随机变量与其对应均值的差距, 可以以一种相对的距离来进行比较。标量进行标准化一方面的原因就是方便比较。
而多元标准高斯分布的概率密度函数就是由一元高斯分布导出的。假设我们有随机变量
,其中，
,其
相互独立。即随机向量中的每个随机变量
都服从标准高斯分布且两两彼此独立，则结合上文的一元高斯分布，我们可得随机向量
的联合概率密度函数为：
我们成随机向量
,即随机向量服从均值为零向量, 协方差矩阵为单位矩阵的高斯分布.。在这里，随机向量
的协方差矩阵是
组成的矩阵
由于随机向量
，所以其协方差矩阵的对角线元素为1，其余元素为0.如果我们取常数
,则可得函数
的等高线为
,当随机向量
由此可知，其等高线以（0,0）为圆心的同心圆。
二、多元高斯分布
这里讨论的就是一般情况。即向量
,即
,且
彼此并不独立的普通情况，接下来的操作就是我们需要将不符合要求的
使其符合要求，也就是使
彼此相互独立。从而求得其概率密度函数。
通过一系列的操作，我们可以得到联合概率密度函数的最终表达形式:
原本由定理1, 我们还需要求线性变换矩阵 B, 才能确定随机向量
的联合概率密度函数的表达式, 现在可得最终形式, 随机向量
的联合概率密度函数由其均值向量
和其协方差矩阵
唯一确定, 但我们需要明白的是, 这是通过定理1的线性变换
得到的, 即此线性变换隐含其中.
