一、偏差bias和方差variance
简书中记录回归分析1.回归任务:
对于下面图中的数据,我们希望寻找一个函数来拟合这些数据,也就是回归任务:
我们尝试使用一次、二次直至五次的函数集来拟合一个简单的回归问题,在实验过程中发现对于低阶的函数效果不是太好,增加函数的复杂度后效果有了好转,但当函数过于复杂时,效果又会变差:
- 事实上模型的损失主要来自两个方面:偏差(bias)和方差(variance)。以打靶作比喻,假设我们要求解的那个函数处于靶心位置,而我们采用的模型代表的函数集如果偏离靶心太远,就相当于有大的偏差,而如果这个使用这个函数集多次实验求解的函数不稳定,就相当于有大的方差:
- 高阶函数的方差比较大,但是平均以后更加地接近真实分布,可以直观理解为高阶函数集较于低阶函数集包括更多的可选函数,因此更容易接近真实函数,下图中靶子上面蓝色的圆圈表示函数集覆盖的范围:
总结与解决方法
总结来说对于低阶函数来说,损失主要来自偏差,而高阶函数的损失主要来自方差。低阶函数的拟合能力有限,因此带来的问题称为欠拟合(underfitting),而高阶函数由于过于地powerful,从而容易带来**过拟合(overfitting)**的问题:
应对大的偏差的方法:
①增加更多特征作为输入
②使用更复杂的模型
应对大的方差的方法:
- 更多数据
- 正则化:regularization
- 加大模型的限制,减少模型的弹性
二、机器学习任务攻略
明确每个问题到底出在哪里