【深度学习-笔记】(2)–高斯过程&高斯回归

个人笔记,记录思考过程,已注明参考文献。
如果你看不懂他,可以试着先去接受他。就好像,打不过就加入。


文章目录

  • 【深度学习-笔记】(2)--高斯过程&高斯回归
  • 一、高斯分布(正态分布)
  • 1. 一元高斯分布
  • 2. 多元(二元及以上)高斯分布
  • 二、高斯过程
  • 三、高斯过程回归(Gauss Process Regression,GPR)(待更新)
  • 参考文献


一、高斯分布(正态分布)

高斯分布(正态分布)是一个常见的连续概率分布。

正态分布的数学期望值或期望值高斯分布r语言函数 高斯分布参数_深度学习等于位置参数,决定了分布的位置;其方差高斯分布r语言函数 高斯分布参数_深度学习_02的开平方或标准差σ等于尺度参数,决定了分布的幅度。正态分布的概率密度函数曲线呈钟形,因此人们又经常称之为钟形曲线(类似于寺庙里的大钟,因此得名)。

高斯分布r语言函数 高斯分布参数_高斯分布r语言函数_03

我们通常所说的标准正态分布是位置参数高斯分布r语言函数 高斯分布参数_正态分布_04,方差高斯分布r语言函数 高斯分布参数_深度学习_05的正态分布。

1. 一元高斯分布

若随机变量X服从一个位置参数为高斯分布r语言函数 高斯分布参数_深度学习,方差为高斯分布r语言函数 高斯分布参数_正态分布_07的正态分布,可以记为高斯分布r语言函数 高斯分布参数_机器学习_08~高斯分布r语言函数 高斯分布参数_高斯分布r语言函数_09,则其概率密度函数为:
高斯分布r语言函数 高斯分布参数_深度学习_10
其中,高斯分布r语言函数 高斯分布参数_深度学习_11高斯分布r语言函数 高斯分布参数_深度学习_02的求法不再赘述。

2. 多元(二元及以上)高斯分布

这里以二元高斯分布为例: 二维高斯分布则包含有两个变量,二维高斯分布的均值高斯分布r语言函数 高斯分布参数_深度学习由两个变量的均值描述,其方差由变量的协方差矩阵进行描述,协方差矩阵高斯分布r语言函数 高斯分布参数_方差_14表示的是两个变量之间的关系(标准差和方差一般是用来描述一维数据的,而面对二维数据,则使用协方差来表示):

高斯分布r语言函数 高斯分布参数_方差_15

其中,高斯分布r语言函数 高斯分布参数_正态分布_16高斯分布r语言函数 高斯分布参数_正态分布_16分别为两个变量的协方差值。协方差的计算公式为:

高斯分布r语言函数 高斯分布参数_正态分布_18

其中,若为一维数据,协方差可以表示为:

高斯分布r语言函数 高斯分布参数_正态分布_19

其实就是方差公式。而对于多维数据,为度量各个维度偏离其均值的程度,协方差可以表示为:

高斯分布r语言函数 高斯分布参数_正态分布_20

这里Σ是对称正定的n × n矩阵。具体计算可参考协方差计算。最后,二元高斯随机变量高斯分布r语言函数 高斯分布参数_高斯分布r语言函数_21~高斯分布r语言函数 高斯分布参数_方差_22,其概率密度可以表示为:

高斯分布r语言函数 高斯分布参数_高斯分布r语言函数_23

其中

高斯分布r语言函数 高斯分布参数_高斯分布r语言函数_24

高斯分布r语言函数 高斯分布参数_正态分布_25

二、高斯过程

高斯过程是指随机变量的一个集合,其中任意有限个样本的线性组合都有一个联合高斯分布。
一个高斯过程是由均值函数高斯分布r语言函数 高斯分布参数_深度学习_26和协方差函数高斯分布r语言函数 高斯分布参数_正态分布_27确定的。它可理解成高斯分布的一个生成过程。高斯分布的均值和协方差是向量和矩阵(意思就是多维高斯分布的均值和方差是确定的值,比如均值是(0.1,0.2,0.5)。),而高斯过程的均值和方差则分别是均值函数协方差矩阵函数
1.有限域
高斯分布r语言函数 高斯分布参数_正态分布_28 {高斯分布r语言函数 高斯分布参数_正态分布_29}是任意有限集(定义域有限),考虑所有可能的高斯分布r语言函数 高斯分布参数_机器学习_30所组成的函数集合高斯分布r语言函数 高斯分布参数_高斯分布r语言函数_31,那么得到的高斯分布r语言函数 高斯分布参数_深度学习_32也是有限的,用集合来表示:
高斯分布r语言函数 高斯分布参数_方差_33
那么有限域的高斯过程为:
高斯分布r语言函数 高斯分布参数_方差_34
其中,高斯分布r语言函数 高斯分布参数_深度学习_35为单位矩阵。高斯分布r语言函数 高斯分布参数_高斯分布r语言函数_36
表达式为:
高斯分布r语言函数 高斯分布参数_正态分布_37
2.无限域
无限域体现在由高斯分布r语言函数 高斯分布参数_机器学习_08组成的集合中,高斯分布r语言函数 高斯分布参数_高斯分布r语言函数_21是随机的,有无限多的组合。假设有一个随机变量的集合:{ 高斯分布r语言函数 高斯分布参数_方差_40},这里定义高斯过程是一个随机过程,满足随机变量集合的任意有限子集都服从多元高斯分布。那么设定均值函数高斯分布r语言函数 高斯分布参数_深度学习_26和协方差函数高斯分布r语言函数 高斯分布参数_高斯分布r语言函数_42
如果随机变量集合:高斯分布r语言函数 高斯分布参数_方差_40是从均值函数为高斯分布r语言函数 高斯分布参数_机器学习_44、协方差函数为高斯分布r语言函数 高斯分布参数_深度学习_45的高斯过程中取出的变量集,那么对于任意有限集合:高斯分布r语言函数 高斯分布参数_方差_46,它们相对应的随机变量高斯分布r语言函数 高斯分布参数_高斯分布r语言函数_47服从高斯分布:
高斯分布r语言函数 高斯分布参数_深度学习_48
记为:
高斯分布r语言函数 高斯分布参数_高斯分布r语言函数_49
其中,均值和协方差记为:
高斯分布r语言函数 高斯分布参数_深度学习_50
☆☆☆扩展矩阵的协方差:(待更新)。

三、高斯过程回归(Gauss Process Regression,GPR)(待更新)

高斯分布r语言函数 高斯分布参数_机器学习_51为训练集,训练数据独立同分布,分布未知,我们定义高斯过程回归模型(Gaussian Process Regression,以下简称GPR)的表达式为:

高斯核:高斯分布r语言函数 高斯分布参数_深度学习_52
其中高斯分布r语言函数 高斯分布参数_深度学习_53高斯分布r语言函数 高斯分布参数_深度学习_54为超参数。