支持向量机rbf核函数

核函数与再生核希尔伯特空间

• 1.支持向量积-核函数
• 2.一个函数为核函数的条件
• 3.核函数与希尔伯特空间

• 3.1希尔伯特空间-Hilbert空间

1.支持向量积-核函数

核(kernel)的概念由Aizenman et al.于1964年引入模式识别领域，原文介绍的是势函数的方法。在那之后，核函数在模式识别领域沉积了很久。1992年Boser 等人的在解决支持向量机算法时，重新将核的概念引入机器学习领域；从此引发了核函数研究应用的热潮。一个最简单的应用就是：利用核方法扩展经典算法，将算法中的内积替换成核函数。

在支持向量机中，核函数是 将 原线性不可分的特征空间中的特征向量$x$，映射到 线性可分的高维特征空间的特征向量$\phi(x)$，然后,特征向量$\phi(x)$之间求内积的一个表达式。(核函数就是一个表达式)
$k(x_n,x_m)=\phi(x_n)^T\phi(x_m)$

核函数的巧妙之处：高维空间中特征向量的内积表达式，可以直接用低维特征向量的各个维度的坐标表示。所以，只需将低维度特征$x,x$带入核函数$k(x,x$求函数值，就等价于$x->\phi(x) ,x$的过程，当高维空间维很高时，内积求解十分缓慢，所以核函数是一个十分便利的工具。

基本概念： 核函数$k(x,x$，样本（特征向量）$\{x_i^n\}$，gram矩阵$K=\{ K_{i,j} \}$,$K_{i,j}=k(x_i,x_j)$
$\left[ \begin{matrix} k(x_1,x_1) & k(x_1,x_2) & ... & k(x_1,x_n)\\ k(x_2,x_1) & k(x_2,x_2) & ... & k(x_2,x_n)\\ ... & ...& ... & ... & \\ k(x_n,x_1) & k(x_n,x_2) & ... & k(x_n,x_n) \end{matrix} \right]$

详细SVM与核函数参见（对偶问题的求解巴拉巴拉）：https://cuijiahua.com/blog/2017/11/ml_9_svm_2.html

---

---

2.一个函数为核函数的条件

可以通过多种方式构造核函数，（1）原始的映射构造法、（2）核函数性质+简单核函数构造法[RBF核函数就可以从此构造出来]、（3）概率生成式模型开始构造。

高维特征向量的内积 实际是 低维特征向量 各个分量的函数=》高维内积 是一个函数。但是，并非每一个函数都对应着一个高维内积。只有当一个函数满足mercer定理时，它才能作为一个核函数。所以可以通过mercer定义判断一个函数是否可以作为一个核函数。

---

Mercer定理： 对称且半正定的函数可以作为一个核函数。

（离散化）简单理解：“半正定”三个字常见于矩阵分析中。此处，可通过判定对称函数Gram 矩阵的半正定性，进而判断源函数的半正定性质。一个n × n的实对称矩阵A是正定的当且仅当对于所有的非零实系数向量z，都有$z^TAz > 0$。

具体做法：将样本$\{x_{i=1}^{i=n}\}$带入函数$k(x,x$，计算gram矩阵$K=\{ K_{i,j} \}$,$K_{i,j}=k(x_i,x_j)$，判定gram矩阵的半正定性。

（连续化）定义：一个对称函数$k(x,x$是半正定的，当且仅当对于任意的函数g下式成立：
$\int_\mathcal{X}g(x)k(x,x$

---

通过Gram矩阵特征值分解(谱分解)，可以将$k(x_i,x_j)$表示成gram矩阵特征值与特征向量分量组合的形式：
$Q^TKQ=diag(\lambda_1,\lambda_2,...,\lambda_n)=\Lambda$

$K=Q\Lambda Q^T$

$Q$为特征向量矩阵，$v_i$为n维向量，其第二个下标表示该向量分量：
$Q=[v_1,v_2,...,v_n]$

$K=Q\Lambda Q^T=[\lambda_1v_1,\lambda_2v_2,...,\lambda_nv_n][v_1,v_2,...,v_n]^T$
$=\left[ \begin{matrix} \lambda_1v_{11}&\lambda_2v_{21}&...&\lambda_nv_{n1}\\ \lambda_1v_{12}&\lambda_2v_{22}&...&\lambda_nv_{n2}\\ ... & ...& ... & ... & \\ \lambda_1v_{1n}&\lambda_2v_{2n}&...&\lambda_nv_{nn} \end{matrix} \right] \left[ \begin{matrix} v_{11}&v_{12}&...&v_{1n}\\ v_{21}&v_{22}&...&v_{2n}\\ ... & ...& ... & ... & \\ v_{n1}&v_{n2}&...&v_{nn} \end{matrix} \right]$

$k(x_i,x_j)=\sum_{k=1}^n\lambda_kv_{ki}v_{kj}$

注意：$v_{ki}$第一个下标表示：这是第$k$个特征向量，第二个下标表示：这是第$k$个特征向量的第$i$个分量。
当特征$n\rightarrow \infty$时，离散-》连续。$v_{ki}$可以看做第k个特征函数的第i个函数值，即$\psi_k(x_i)$。此时，核函数可以写为：
$k(x,x$

---

用到的工具：

矩阵A的特征向量特征值:$Ax=\lambda x$,矩阵A作用于(每一矩阵都对应一个变换)特征向量$x$，其效果等价与对向量$x$做尺度变换。（所以$x$真是一个很神奇的方向呢！！）

每一个矩阵A都相似于一个上三角矩阵：通初等变换可以将一个矩阵转换成一个上三角阵，将这些初等变换乘在一起，就构成了一个变换矩阵。

每次的初等变换选择 特征值变换，且，矩阵A是一个对称矩阵，那矩阵A可以进行特征值分解:
$Q^TAQ=diag(\lambda_1,\lambda_2,...,\lambda_n)$

$Q$的列向量组成$A$的一个完备标准正交向量系。

---

---

3.核函数与希尔伯特空间

原来线性映射$\phi(x)$

所以：每一个核函数都对应着自己的一个再生核希尔伯特空间。

下面先介绍希尔波特空间，再介绍再生核希尔伯特空间。

3.1希尔伯特空间-Hilbert空间

从 泛函 说 希尔伯特空间[2]
希尔伯特空间 是 希尔伯特 在解决 无穷维线性方程组 时提出的概念，原来的线性代数理论都是基于有限维欧几里得空间的，无法适用，这迫使希尔伯特去思考无穷维欧几里得空间，也就是无穷序列空间的性质。

$l^2$空间：所有2范数$\sum x_n^2$（n为向量的下标）为有限的 无穷维向量$x$

$L^2$空间：单位闭区间上所有平方可积的实函数（就是说 f（x）的平方在[0，1]上的积分存在且有限）按照函数的加法和数乘成为一个线性空间。
$\int f^2(x)dx$

$L^2$希尔伯特空间是一个函数空间，其中定义内积如下：
$<f，g>= \int|f*g|dx$

范数:
$‖f‖=\sqrt{<f，f>}=\sqrt{\int f ^2(x)dx}$

泛函：就是自变量为函数，因变量为实数的映射。一个简单的例子，某一个泛函的定义域在$L^2$Hilbert space上。

---

从 定义 说 希尔伯特空间
向量空间：空间中的点具有加法和数乘的操作
内积空间：向量空间上定义一个内积操作
赋范空间：根据内积可以定义一个范数
度量空间：范数可以用于定义一个度量
Hilbert Space：如果一个空间在其定义的度量下是完备的，那么这个空间叫做 Hilbert Space。[1]
完备性：一个空间上的任意柯西序列必收敛于空间中的某一点——相当于闭集的定义

对于常见的$\mathbb{R}^n$,满足内积运算，能够推导出$l_2$范数，且是完备的，所以是希尔伯特空间。欧几里德空间 是 希尔伯特空间的一个重要特例，一个抽象的希尔伯特空间中的元素往往被称为向量。在实际应用中，它可能代表了一列复数或是一个函数。

---

核函数的再生性
对于任意的$f\in \mathcal{H}$，都有：
$f(x)=<f(.),k(.,x)>$

k(.,.)被称为希尔伯特空间$\mathcal{H}$的再生核。
由核的再生性还可以推到出：
$k(x,x$

---

再生核希尔伯特空间： 由具有再生性的核 张成的希尔伯特空间
定义：对于一个紧致的$\mathcal{X}\in \mathbb{R}^d$；和希尔伯特空间$\mathcal{H}$，其中元素为$f:\mathcal{X}\rightarrow \mathbb{R}$，如果存在$k:\mathcal{X}\rightarrow \mathbb{R}$，满足如下条件，就叫$\mathcal{H}$为再生核希尔伯特空间。
1.$k$有再生性：$f(x)=<f(.),k(.,x)>$
2.$k$张成$\mathcal{H}$：$\mathcal{H}=\overline{span\{k(.,x):x\in \mathcal{X}\}}$

所以说具有再生性的核都可以张成自己的一个再生核希尔伯特空间。

参考资料：
[1]希尔伯特空间，数学空间的神秘之地 ：http://www.sohu.com/a/315344647_348129介绍了一个大概，从定义出发去验证希尔伯特空间
[2]再生核希尔伯特空间：https://wenku.baidu.com/view/09df5b7a11a6f524ccbff121dd36a32d7375c7c6.html

---