Q1:Regression可以做什么?
可以预测股票
可以无人驾驶
可以做推荐系统
Q2:宝可梦案例
预测宝可梦的CP值
定几个自变量和因变量
步骤一:首先找Model——就是Function Set
Linear model(线性模型)
xi是各种属性——feature
wi:weight, b:bias
步骤二:找出合适的函数
收集10只神奇宝贝的数据,然后拟合
如何确定Function的好坏,定义一个损失函数
有了损失函数后,我们可以用图像的形式表现出来
每一个点都代表了一个Function,颜色越偏红代表数值越大,越偏蓝代表数值越小即损失最小。
找出损失值最小的函数
步骤三:梯度下降法
首先随机选取一个初始点,在初始点计算w参数对L的导数,如果切线斜率为负,则应该增加w;为正,则减少w;
至于移动多少呢?
更新w1后,重新以此计算
直到斜率计算为0,即某个低谷。
上面为一个参数,接下来来看两个参数
也是一样的,找初始点,移动点,
步骤三:梯度下降法
啥是gradient?
可视化一下这个找最小损失值的过程
梯度下降法有一个让人担心的情况:可能要看人品找点
但在Linear Model里不用担心,因为最低点肯定是唯一的。
算一下看看
算下Generalization,就是在测试集上试一下,略。
试着使用更复杂的Model
归纳总结一下
越复杂的Model包含了越多的Function
但训练集和测试集上的表现是不一样的,可能测试集上表现就不那么好了
就是我们常说的过拟合了。。。。所以这里要选择3次数比较好
同时,当我们收集更多数据后,发现会有新的变量
改写成Linear Function
模型还能再改进吗?
把能想到的所有变量!都!塞!进!模!型!
emmmm结果就是太复杂,过拟合了
那怎么办?Regularization
改写损失函数,使得找到平滑的Function
<在做Regulization的时候不需要考虑bias>
/End