1. 基本概念

针对高维空间中的数据集,矩阵分解通过寻找到一组基及每一个数据点在该基向量下的表示,可对原始高维空间中的数据集进行压缩表示。

X=[x1,,xm]Rm×n 为数据矩阵,矩阵分解的数学含义即为,找到如下的两个矩阵(URm×k,ARk×n),其矩阵乘法可实现对原始数据集的最优逼近:

XUA

  • URm×kU 中的每一列(共 k列)可视为对该高维数据集空间中的基向量;
  • ARk×nA 中的每一列(共 n 列)可视为每一个样本在基向量下的线性表示(k 维表示);

从这一角度来看,矩阵分解可视为 mk 的降维算法。

矩阵分解可进一步定义为如下的优化问题:

minU,AXUA2F