【深度学习-笔记】(2)–高斯过程&高斯回归
个人笔记,记录思考过程,已注明参考文献。
如果你看不懂他,可以试着先去接受他。就好像,打不过就加入。
文章目录
- 【深度学习-笔记】(2)--高斯过程&高斯回归
- 一、高斯分布(正态分布)
- 1. 一元高斯分布
- 2. 多元(二元及以上)高斯分布
- 二、高斯过程
- 三、高斯过程回归(Gauss Process Regression,GPR)(待更新)
- 参考文献
一、高斯分布(正态分布)
高斯分布(正态分布)是一个常见的连续概率分布。
正态分布的数学期望值或期望值等于位置参数,决定了分布的位置;其方差
的开平方或标准差σ等于尺度参数,决定了分布的幅度。正态分布的概率密度函数曲线呈钟形,因此人们又经常称之为钟形曲线(类似于寺庙里的大钟,因此得名)。
我们通常所说的标准正态分布是位置参数,方差
的正态分布。
1. 一元高斯分布
若随机变量X服从一个位置参数为,方差为
的正态分布,可以记为
~
,则其概率密度函数为:
其中,和
的求法不再赘述。
2. 多元(二元及以上)高斯分布
这里以二元高斯分布为例: 二维高斯分布则包含有两个变量,二维高斯分布的均值由两个变量的均值描述,其方差由变量的协方差矩阵进行描述,协方差矩阵
表示的是两个变量之间的关系(标准差和方差一般是用来描述一维数据的,而面对二维数据,则使用协方差来表示):
其中,和
分别为两个变量的协方差值。协方差的计算公式为:
其中,若为一维数据,协方差可以表示为:
其实就是方差公式。而对于多维数据,为度量各个维度偏离其均值的程度,协方差可以表示为:
这里Σ是对称正定的n × n矩阵。具体计算可参考协方差计算。最后,二元高斯随机变量~
,其概率密度可以表示为:
其中
二、高斯过程
高斯过程是指随机变量的一个集合,其中任意有限个样本的线性组合都有一个联合高斯分布。
一个高斯过程是由均值函数和协方差函数
确定的。它可理解成高斯分布的一个生成过程。高斯分布的均值和协方差是向量和矩阵(意思就是多维高斯分布的均值和方差是确定的值,比如均值是(0.1,0.2,0.5)。),而高斯过程的均值和方差则分别是均值函数和协方差矩阵函数。
1.有限域
设 {
}是任意有限集(定义域有限),考虑所有可能的
所组成的函数集合
,那么得到的
也是有限的,用集合来表示:
那么有限域的高斯过程为:
其中,为单位矩阵。
表达式为:
2.无限域
无限域体现在由组成的集合中,
是随机的,有无限多的组合。假设有一个随机变量的集合:{
},这里定义高斯过程是一个随机过程,满足随机变量集合的任意有限子集都服从多元高斯分布。那么设定均值函数
和协方差函数
。
如果随机变量集合:是从均值函数为
、协方差函数为
的高斯过程中取出的变量集,那么对于任意有限集合:
,它们相对应的随机变量
服从高斯分布:
记为:
其中,均值和协方差记为:
☆☆☆扩展矩阵的协方差:(待更新)。
三、高斯过程回归(Gauss Process Regression,GPR)(待更新)
设为训练集,训练数据独立同分布,分布未知,我们定义高斯过程回归模型(Gaussian Process Regression,以下简称GPR)的表达式为:
高斯核:
其中和
为超参数。