如何去求模型当中的W，使得损失最⼩？（目的是找到最小损失对应的W值）
线性回归经常使用的两种优化算法

  • 正规方程
  • 梯度下降法

正规方程

什么是正规方程

优化算法——正规方程_算法

理解：X为特征值矩阵，y为⽬标值矩阵。直接求到最好的结果
缺点：当特征过多过复杂时，求解速度太慢并且得不到结果

优化算法——正规方程_正规方程_02

正规方程求解举例

以下表示数据为例：

优化算法——正规方程_算法_03


即：

优化算法——正规方程_最小值_04


运⽤正规方程方法求解参数：

优化算法——正规方程_最小值_05

正规方程的推导

把该损失函数转换成矩阵写法：

优化算法——正规方程_特征值_06


其中y是真实值矩阵，X是特征值矩阵，w是权重矩阵

对其求解关于w的最小值，起止y,X 均已知二次函数直接求导，导数为零的位置，即为最小值。

求导：

优化算法——正规方程_特征值_07


注：式(1)到式(2)推导过程中, X是⼀个m行n列的矩阵，并不能保证其有逆矩阵，但是右乘X

T把其变成⼀个方阵，保证

其有逆矩阵。

式（5）到式（6）推导过程中，和上类似。