Q1:Regression可以做什么?

可以预测股票

residual残差结构图 regress函数残差图_梯度下降法

可以无人驾驶

residual残差结构图 regress函数残差图_过拟合_02

可以做推荐系统

residual残差结构图 regress函数残差图_residual残差结构图_03

Q2:宝可梦案例

residual残差结构图 regress函数残差图_过拟合_04

预测宝可梦的CP值

residual残差结构图 regress函数残差图_过拟合_05

residual残差结构图 regress函数残差图_损失函数_06

定几个自变量和因变量

步骤一:首先找Model——就是Function Set

residual残差结构图 regress函数残差图_residual残差结构图_07

Linear model(线性模型)

residual残差结构图 regress函数残差图_过拟合_08

xi是各种属性——feature

wi:weight,   b:bias

步骤二:找出合适的函数

收集10只神奇宝贝的数据,然后拟合

residual残差结构图 regress函数残差图_损失函数_09

如何确定Function的好坏,定义一个损失函数

residual残差结构图 regress函数残差图_损失函数_10

有了损失函数后,我们可以用图像的形式表现出来

residual残差结构图 regress函数残差图_residual残差结构图_11

每一个点都代表了一个Function,颜色越偏红代表数值越大,越偏蓝代表数值越小即损失最小。

找出损失值最小的函数

residual残差结构图 regress函数残差图_梯度下降法_12

步骤三:梯度下降法

residual残差结构图 regress函数残差图_residual残差结构图_13

首先随机选取一个初始点,在初始点计算w参数对L的导数,如果切线斜率为负,则应该增加w;为正,则减少w;

至于移动多少呢?

residual残差结构图 regress函数残差图_过拟合_14

residual残差结构图 regress函数残差图_过拟合_15

更新w1后,重新以此计算

直到斜率计算为0,即某个低谷。

上面为一个参数,接下来来看两个参数

也是一样的,找初始点,移动点,

步骤三:梯度下降法

residual残差结构图 regress函数残差图_损失函数_16

啥是gradient?

residual残差结构图 regress函数残差图_过拟合_17

可视化一下这个找最小损失值的过程

residual残差结构图 regress函数残差图_过拟合_18

梯度下降法有一个让人担心的情况:可能要看人品找点

residual残差结构图 regress函数残差图_损失函数_19

但在Linear Model里不用担心,因为最低点肯定是唯一的。

算一下看看

residual残差结构图 regress函数残差图_损失函数_20

residual残差结构图 regress函数残差图_损失函数_21

算下Generalization,就是在测试集上试一下,略。

试着使用更复杂的Model

 

residual残差结构图 regress函数残差图_损失函数_22

residual残差结构图 regress函数残差图_过拟合_23

residual残差结构图 regress函数残差图_损失函数_24

residual残差结构图 regress函数残差图_梯度下降法_25

归纳总结一下

越复杂的Model包含了越多的Function

residual残差结构图 regress函数残差图_梯度下降法_26

但训练集和测试集上的表现是不一样的,可能测试集上表现就不那么好了

residual残差结构图 regress函数残差图_过拟合_27

就是我们常说的过拟合了。。。。所以这里要选择3次数比较好

同时,当我们收集更多数据后,发现会有新的变量

residual残差结构图 regress函数残差图_损失函数_28

residual残差结构图 regress函数残差图_梯度下降法_29

改写成Linear Function

residual残差结构图 regress函数残差图_residual残差结构图_30

residual残差结构图 regress函数残差图_过拟合_31

模型还能再改进吗?

residual残差结构图 regress函数残差图_损失函数_32

把能想到的所有变量!都!塞!进!模!型!

residual残差结构图 regress函数残差图_residual残差结构图_33

emmmm结果就是太复杂,过拟合了

那怎么办?Regularization

改写损失函数,使得找到平滑的Function

residual残差结构图 regress函数残差图_损失函数_34

residual残差结构图 regress函数残差图_residual残差结构图_35

<在做Regulization的时候不需要考虑bias>

/End