R语言线性分类判别LDA和二次分类判别QDA实例

 一、线性分类判别

对于二分类问题，LDA针对的是：数据服从高斯分布，且均值不同，方差相同。

概率密度：

p是数据的维度。

分类判别函数：

可以看出结果是关于x的一次函数：wx+w0，线性分类判别的说法由此得来。

参数计算：

 

二、二次分类判别

对于二分类问题，QDA针对的是：数据服从高斯分布，且均值不同，方差不同。

数据方差相同的时候，一次判别就可以，如左图所示;但如果方差差别较大，就是一个二次问题了，像右图那样。

 从sklearn给的例子中，也容易观察到：

QDA对数据有更好的适用性，QDA判别公式：

 

三、Fisher判据

　　A-Fisher理论推导

 Fisher一个总原则是：投影之后的数据，最小化类内误差，同时最大化类间误差

其中，分别对应投影后的类均值。对应投影后的类内方差。

重写类内总方差、类间距离：

 准则函数重写：

容易求解：

其中常借助SVD求解：Sw = U∑VT，Sw-1 = U∑-1VT,借助特征值分解也是可以的。

 

---

参考文献

1.用SPSS估计HLM层次线性模型模型

2.R语言线性判别分析（LDA），二次判别分析（QDA）和正则判别分析（RDA）

3.基于R语言的lmer混合线性回归模型

4.R语言Gibbs抽样的贝叶斯简单线性回归仿真分析

5.在r语言中使用GAM（广义相加模型）进行电力负荷时间序列分析

6.使用SAS，Stata，HLM，R，SPSS和Mplus的分层线性模型HLM

7.R语言中的岭回归、套索回归、主成分回归：线性模型选择和正则化

8.R语言用线性回归模型预测空气质量臭氧数据

9.R语言分层线性模型案例