07无监督学习-降维PCA

PCA方法及其应用主成分分析(PCA)

• 主成分分析(Principal Component Analysis, PCA）是最常用的一种降维方法，通常用于高维数据集的探索与可视化，还可以用作数据压缩和预处理等。
• PCA可以把具有相关性的高维变量合成为线性无关的低维变量，称为主成分。主成分能够尽可能保留原始数据的信息。

在介绍PCA的原理之前需要回顾涉及到的相关术语：

• 方差
  是各个样本和样本均值的差的平方和的均值，用来度量一组数据的分散程度。
  
• 协方差
  用于度量两个变量之间的线性相关性程度，若两个变量的协方差为0，则可认为二者线性无关。协方差矩阵则是由变量的协方差值构成的矩阵(对称阵）。
  
• 协方差矩阵
  矩阵的特征向量是描述数据集结构的非零向量并满足如下公式
  
  A是方阵，v是征向量，A是特征值。
• 特征向量和特征值

原理

矩阵的主成分就是其协方差矩阵对应的特征向量，按照对应的特征值大小进行排序，最大的特征值就是第一主成分，其次是第二主成分，以此类推。

算法过程

1、对所有样本进行中心化:xi-(x1+x2…xm)/m

2、计算样本的协方差矩阵X(X.T)

3、对协方差矩阵X(X.T)做特征值分解

4、取最大的d个特征值所对应的特征向量w1,w2…wd

输出投影矩阵W=(w1,w2,…,wd)

PCA算法的原理《机器学习周志华》

sklearn中主成分分析

在sklearn库中，可以使用sklearn.decomposition.PCA加载PCA进行降维，主要参数有：

• n_components：指定主成分的个数，即降维后数据的维度。
• svd_solver ：设置特征值分解的方法，默认为‘auto'，其他可选有‘full'， ‘arpack'， 'randomized'。
• 其他可查看官网API学习

PCA实现高维数据可视化

目标：已知鸢尾花数据是4维的，共三类样本。使用PCA实现对鸢尾花数据进行降维，实现在二维平面上的可视化。由4维转变为2维。

实例程序编写：

具体代码：

1、建立工程，导人sklearn相关工具包：

# 1、建立工程，导人sklearn相关工具包
import matplotlib.pyplot as plt
# 加载matplotlib用于数据的可视化
from sklearn.decomposition import PCA
# 加载PCA算法包
from sklearn.datasets import load_iris

2、加载数据并进行降维：

# 2、加载鸢尾花数据集导入函数
# 加载数据并进行降维
data = load_iris()
# 以字典形式加载鸢尾花数据集
# y表示数据集中的标签，X表示数据集中的属性数据
y = data.target
X = data.data
# 加载PCA算法，设置降维后主成分数目为2
pca = PCA(n_components=2)
# 对元数据进行降维，保存在reduced_X中
reduced_X = pca.fit_transform(X)

3、按类别将降维后的数据进行保存：

# 3、按类别将降维后的数据进行保存
# 第一二三类据点
red_x, red_y = [], []
blue_x, blue_y = [], []
green_x, green_y = [], []
for i in range(len(reduced_X)):
if y[i] == 0:
red_x.append(reduced_X[i][0])
red_y.append(reduced_X[i][1])
elif y[i] == 1:
blue_x.append(reduced_X[i][0])
blue_y.append(reduced_X[i][1])
else:
green_x.append(reduced_X[i][0])
green_y.append(reduced_X[i][1])

4、降维后数据点的可视化：

# 4、降维后数据点的可视化
# 第一二三类据点的可视化，调用scatter()函数
plt.scatter(red_x, red_y, c='r', marker='x')
plt.scatter(blue_x, blue_y, c='b', marker='D')
plt.scatter(green_x, green_y, c='g', marker='.')
plt.show()

结果展示：

红色：第一类数据点的散点图

蓝色：第二类数据点的散点图

绿色：第绿类数据点的散点图

可以看出，降维后的数据仍能够清晰地分成三类。这样不仅能削减数据的维度，降低分类任务的工作量，还能保证分类的质量。

最后的思考

感觉这次代码不是很复杂，可以理解，用到了一个plt.scatter()函数

plt.scatter()用法：

# plt.scatter()函数的原型：
matplotlib.pyplot.scatter(x, y, s=None, c=None, marker=None, cmap=None, norm=None, vmin=None, vmax=None, alpha=None, linewidths=None, verts=None, edgecolors=None, *, data=None, **kwargs)

参数的解释：

• x，y：表示的是大小为(n)的数组，也就是我们即将绘制散点图的数据点
• s：是一个实数或者是一个数组大小为(n)，这个是一个可选的参数。
• c：表示的是颜色，也是一个可选项。默认是蓝色’b’，表示的是标记的颜色，或者可以是一个表示颜色的字符，或者是一个长度为n的表示颜色的序列等等，感觉还没用到过现在不解释了。但是c不可以是一个单独的RGB数字，也不可以是一个RGBA的序列。可以是他们的2维数组（只有一行）。
• marker：表示的是标记的样式，默认的是’o’。

Typora插入数学公式的一些用法：​

我也不知道为什么，博客园没法上传Typora公式，就只能截图了