在周志华的《机器学习》第 10 章介绍“主成分分析”一节中，有这样一句批注：

实践中常通过对 X ​ X​ X​ 进行奇异值分解来替代协方差矩阵的特征值分解。

下面解释这句话的意思。

首先我们复习一下，将任意形状的矩阵 X X X 如何进行 SVD 分解，其基本思路是构造对称矩阵。

X T X = ( V Σ T U T ) ( U Σ V T ) = V Σ T ( U T U ) Σ V T = V Σ T Σ V T X^TX = (V \Sigma^T U^T)(U \Sigma V^T)=V \Sigma^T (U^TU) \Sigma V^T=V \Sigma^T \Sigma V^T XTX=(VΣTUT)(UΣVT)=VΣT(UTU)ΣVT=VΣTΣVT

X X T = ( U Σ V T ) ( V Σ T U T ) = U Σ ( V T V ) Σ T U T = U Σ Σ T U T XX^T = (U \Sigma V^T)(V \Sigma^T U^T)=U \Sigma (V^TV) \Sigma^T U^T=U \Sigma \Sigma^T U^T XXT=(UΣVT)(VΣTUT)=UΣ(VTV)ΣTUT=UΣΣTUT

这里 X T X X^TX XTX 是协方差矩阵，是一个方阵，并且有：

  1. V V V 是 X T X X^TX XTX 的特征向量按照列排成的矩阵（按照 X T X X^TX XTX 的特征值从大到小对应排列）；
  2. U U U 是 X X T XX^T XXT 的特征向量按照列排成的矩阵（按照 X X T XX^T XXT 的特征值从大到小对应排列）。

PCA 是对 X X X 的协方差矩阵 X T X X^TX XTX 做特征值分解，即要得到的是矩阵 V V V 。

而 PCA 求出的 V V V 只是坐标旋转以后的新线性空间的标准正交基，降维还得做线性变换，即用矩阵 V V V 右乘，得 X V XV XV ，矩阵 X V XV XV 才是我们关心的降维以后的数据。由 X = U Σ V T X=U \Sigma V^T X=UΣVT，可以得到 X V = U Σ XV=U \Sigma XV=UΣ，即新线性空间的坐标。

SVD 的经典算法有 Golub-Kahan 算法、分治法、Jacobi 法几种，这些算法其实都比较快，在一些软件底层的实现中，采用的是上述方法中的一种。因此，我们想要的是 V V V，经典算法帮我们快速算出了 V V V，因此就没有必要先算 X T X X^TX XTX，再对其做特征值分解了。这其实就是书上这句批注的意思。