线性回归的梯度下降公式详细推导过程 线性回归梯度下降法

线性回归

代价函数：用于衡量假设函数的准确性

平方差代价函数

θ0和θ1为模型参数

简化：令θ0=0,即h(x)=θ1*x

无简化的代价函数图形

等高图

---

梯度下降

作用：最小化函数

思路：

开始给定θ0和θ1的初始值，一般为0

然后不断地同时改变θ0和θ1使得函数最小

其中α是自定的学习速率，控制我们更新θ的幅度

每次更新都能使得θ的值使函数更小直到最小

---

线性回归的批量梯度下降

如下为θ0的计算过程

1，批量梯度下降法：在更新参数时都使用所有的样本来进行更新。

优点：全局最优解，能保证每一次更新权值，都能降低损失函数；易于并行实现。
缺点：当样本数目很多时，训练过程会很慢。

理解：走完样本再开始改参数

---

线性回归的随机梯度下降

2，随机梯度下降法：在更新参数时都使用一个样本来进行更新。每一次跟新参数都用一个样本，更新很多次。如果样本量很大的情况（例如几十万），那么可能只用其中几万条或者几千条的样本，就已经将参数迭代到最优解了，对比上面的批量梯度下降，迭代一次需要用到十几万训练样本，一次迭代不可能最优，如果迭代10次的话就需要遍历训练样本10次，这种方式计算复杂度太高。

优点：训练速度快；
缺点：准确度下降，并不是全局最优；不易于并行实现。从迭代的次数上来看，随机梯度下降法迭代的次数较多，在解空间的搜索过程看起来很盲目。噪音很多，使得它并不是每次迭代都向着整体最优化方向。

理解：对参数，走一样本，改一点
收敛：每次更新前计算cost函数的值，每1000次迭代求一次cost的平均值，画图
学习速率a：可以令a = b/（i+c），其中i为迭代次数，使得a自动在大量迭代后变小,b和c是常数.

---

多变量线性回归

特征缩放

部分图片来源：吴恩达机器学习视频