5.1 多元线性回归下的梯度下降

    在前面我们谈到了多元线性回归,它是一种有多个特征变量的形式,这里我们将讨论如何找到满足这一假设函数的参数,尤其是使用梯度下降方法来解决多特征的线性回归问题。

θ0到θn,你可以将它想像成n + 1维的向量θ,我们的代价函数是从θ0到θn的J,同样不要将J看成一个n + 1个自变量的函数,而是看成一个带有n + 1维向量θ的函数J(θ)。关于梯度下降算法,如图所示,不断的使用θj减去α倍的对应的导数项,就是J(θ)对于θj的偏导数。

一元线性回归和多元线性回归的梯度下降_多元线性回归

θ0和θ1有两条不同的更新规则。仅有一点区别是,之前我们只有一个特征的时候,我们称该特征为x(i),但是我们现在会将它记为x(i)1,(如下图蓝色笔记所示)。当我们有多个特征的时候,我们的梯度下降算法变成了下图右边所示,用蓝色笔圈出的部分是对代价函数求偏导数之后得出来的,你需要明白的是为什么左右两边都是梯度下降算法,考虑这样一种情况,有两个或者两个以上的特征,同时我们有对θ0、θ1、θ2等的更新规则,如果你观察θ0的更新规则,你会发现,这和左边当n=1时的情况相同,之所以它们是等价的,是因为我们约定x0=1,同样你也会发现θ1的更新规则也和之前的更新规则相同,这里我们只是用了新的符号x(i)1来表示我们的第一个特征。现在我们有多个特征,我们可以用相同的规则处理θ2等其它参数。

一元线性回归和多元线性回归的梯度下降_机器学习_02