机器学习 主成分回归pcr 主成分回归方法

PCA

• 主成分回归
• 数据降维

• 二维数据->一维数据、
• 三维数据->二维数据

• 主成分分析的原理—— PCA投影
• PCA与线性回归的区别
• matlab自带PCA函数
• 代码

主成分回归

判定自变量相关程度大小，即变量间是否存在严重的多重共线性。若存在就用主成分分析，将存在多重共线性的变量合并为一个新的变量，然后再和其它自变量纳入回归。这整个过程叫主成分回归。

数据降维

二维数据->一维数据、

• 
  

降维到一维之后的数据：

三维数据->二维数据

上图中的数据可以投影到二维平面上，大致在如下平面上：

投影之后如下图所示：

主成分分析的原理—— PCA投影

假设有一组二维数据如下图所示：

若将上图中的数据投影到图中的红色直线上，注意到原始数据到投影数据的距离为蓝色线段，且距离最短。PCA求解的目标是：将原始数据投影到低维平面上，使得图中蓝色线段的和达到最小，即投影误差最小。

换一个投影方向，投影到图中玫红色的直线上，投影误差达到最大化。

将二维数据投影成一维数据，需要寻找一个投影方向，或者是一个n维向量

将三维数据降为二维数据，需要寻找两个n维向量，组成一个投影平面：

PCA与线性回归的区别

在PCA由二维投影成一维的过程中，与线性回归类似，都是寻找一条直线，但是本质却不同。左图是线性回归中的预测直线，预测值与真实值之间的误差是图中蓝色线段，可见蓝色线短和y轴平行；右图是PCA的投影方向，蓝色线段是投影误差，可见蓝色线段垂直于投影方向，是最短距离。除此之外，线性回归需要使用标记数据，获取样本的类别标记，而PCA算法则是无监督的，不需要使用样本的类别标记。

matlab自带PCA函数

数据集X(每行为一个样本,行数为样本数)

• coeff = pca(X)
• coeff = pca(X,Name,Value)
• [coeff,score,latent] = pca(___)
• [coeff,score,latent,tsquared] = pca(___)
• [coeff,score,latent,tsquared,explained,mu] = pca(___)

Input Argument 0
X :--数据集 假设n个样本, 每个样本p维,则 X是n-by-p的matrix

Input Argument 1
'Algorithm' — Principal component algorithm
'svd' (default) | 'eig' | 'als'
解释:PCA 涉及到求协方差矩阵的特征向量, 在matlab 有三种算法
默认 :SVD,
eig (Eigenvalue decomposition )算法, 此算法当n(number of examples) > p (features) 时,速度快于SVD,但是计算的结果没有SVD精确
als( Alternating least squares )算法,此算法为了处理数据集X中有少许缺失数据时的情况(i.e 0), 但是对于X为稀疏数据集(缺失数据过多)时,不好用

Input Argument 2
'Centered' — Indicator for centering columns
true (default) | false
解释:选择是否对数据进行中心化, 也是数据的特征是否进行零均值化(i.e.按列减去均值, 为了得到covariance matrix), 如果选择了true,  则可用score*coeff'恢复中心化后的X, 若选择了false,则可用score*coeff'恢复原始的X

Input Argument 3
'Economy' — Indicator for economy size output
true (default) | false
解释: 有时候输出的coeff(映射矩阵p-by-p)过大, 而且是没有必要的(因为我们要降维),所以可以只输出coeff(以及score,latent)的前d列,
d是数据集的自由度,数据集没NAN的时候d=n-1; 具体的解释见matlab.总之如果将看见完整的PCA结果,可以设置为false.
默认:true ,(默认ture以后对于初次使用matlab这个函数的人非常迷惑).

Input Argument 4
'NumComponents' — Number of components requested
number of variables (default) | scalar integer
解释:输出指定的components 也就是更为灵活的Economy,但是经过试验发现指定成分数 仅在小于d(自由度)时有效,大于d时无效;
默认: number of variables ( i.e p,特征数目)

Input Argument 5
'Rows' — Action to take for NaN values
'complete' (default) | 'pairwise' | 'all'
解释: 此选项是为了智能处理数据集X中含有NAN的情况
complete: 计算之前.移除X中含有NAN的行(i.e 样本),计算完成后,含有NAN的行被重新插入到score and tsquared相应的位置中(coeff呢?)
pairwise : 首先这个选项必须配合 'Argorithm'中 'eig'进行使用.如果没有指定'eig'(默认svd)，当指定pairwise时,则会自动切换为eig; 指定为svd,则会发送warning message，然后自动切换为eig;若指定为als, 则会发送warning message然后忽略 'Rows'此选项。 成功使用此选项时,若计算协方差(i,j)处值时遇到NAN,则使用X中第i或j列中不含NAN的行此处来计算的协方差值.
all : 当确定X中无缺失数据,使用'all',则pca会使用X中所有的数据,当遇到NAN时则会自动终止.

Input Argument 6
'Weights' — Observation weights
ones (default) | row vector
解释: 基于observations(i.e 样本)的权重pca,有需求的可以自己查查

Input Argument 7
'VariableWeights' — Variable weights
row vector | 'variance'
解释:基于variables(i.e.features)的权重pca,有需求的自己查
默认: 无默认值, 也就是默认不使用此选项

Input Argument 8
'Coeff0' — Initial value for coefficients
matrix of random values (default) | p-by-k matrix
解释: Initial value for the coefficient matrix coeff, 不是太看的懂,但是要配合'Algorithm'中的'als'使用
默认:   p-by-random

Input Argument 9
'Score0' — Initial value for scores
matrix of random values (default) | k-by-m matrix
解释: Initial value for scores matri score.不是太看的懂,但是要配合'Algorithm'中的 'als'使用
默认 : n-by-random

Input Argument 10
'Options' — Options for iterations
structure(此用法是个结构体)
解释:用于迭代的选项,仅配合'Algorithm'中的'als'使用. 因为'als'是使用迭代的方法进行计算的、对这个不感兴趣, 有兴趣的可以去help一下附上help中的使用方法 opt = statset('pca'); opt.MaxIter = 2000; coeff =pca(X,'Options',opt);

Output Argument 1
coeff : 主成分系数 应该就是协方差矩阵的特征向量矩阵(也就是映射矩阵).完整输出的情况下是一个p-by-p 的matrix.每一列都是一个特征向量.按对应的特征值的大小,从大到小进行排列.

Output Argument 2
score: 进行旋转(也就是利用映射矩阵coeff进行)后的结果i.e. score = X * coeff. n-by-p matrix这里有个坑 如果你使用pca时使用的是默认的中心化(i.e 不对’Centered’设置’false’),拿X * coeff 和score对比的时候,记得把X中心化后再乘以coeff,之后再和score对比…;同样如果pca使用的是默认值, 恢复的X = score * coeff’ (注意转置)是中心化后的数据

Output Argument 3
latent: 主成分方差 也就是各特征向量对应的特征值,从大到小进行排列

Output Argument 4
tsquared :层次不够 无法解释......

Output Argument 5
explained : 每一个主成分所贡献的比例,可以更直观的选择所需要降维的维数了,不用再用特征值去求了

Output Argument 6
mu: X 按列的均值,当前仅当 'Centered'置于'true'(默认值)时才会返回此变量
 

代码

clc;
clear;

load fisheriris
data=meas;

% data行为不同样本的特征，列为不同特征，latent长度与data列数相同，res为维度累计占比
% coeff按对应的特征值的大小,从大到小进行排列.
[coeff,score,latent,tsquare] = pca(data);%我们这里需要他的pc和latent值做分析
% 根据res结果决定降到final维
res=cumsum(latent)./sum(latent);
final=2;
% 取coeff中的1:final列来做最后的变换矩阵
data_after_PCA=score(:,1:final);
% 散点图表示每个样例在pc1和pc2两个成分上的位置，可以看出大量的鸢尾花数据基本分为两类，每个点表示一个鸢尾花数据
scatter(data_after_PCA(:,1),data_after_PCA(:,2))