1. 基本概念
针对高维空间中的数据集,矩阵分解通过寻找到一组基及每一个数据点在该基向量下的表示,可对原始高维空间中的数据集进行压缩表示。
令 X=[x1,⋯,xm]∈Rm×n 为数据矩阵,矩阵分解的数学含义即为,找到如下的两个矩阵(U∈Rm×k,A∈Rk×n),其矩阵乘法可实现对原始数据集的最优逼近:
- U∈Rm×k,U 中的每一列(共 k列)可视为对该高维数据集空间中的基向量;
- A∈Rk×n:A 中的每一列(共 n 列)可视为每一个样本在基向量下的线性表示(k 维表示);
从这一角度来看,矩阵分解可视为 m→k 的降维算法。
矩阵分解可进一步定义为如下的优化问题: