一、偏差bias和方差variance

简书中记录回归分析1.回归任务:

对于下面图中的数据,我们希望寻找一个函数来拟合这些数据,也就是回归任务

gcn做回归任务_深度学习

我们尝试使用一次、二次直至五次的函数集来拟合一个简单的回归问题,在实验过程中发现对于低阶的函数效果不是太好,增加函数的复杂度后效果有了好转,但当函数过于复杂时,效果又会变差:

  • 事实上模型的损失主要来自两个方面:偏差(bias)和方差(variance)。以打靶作比喻,假设我们要求解的那个函数处于靶心位置,而我们采用的模型代表的函数集如果偏离靶心太远,就相当于有大的偏差,而如果这个使用这个函数集多次实验求解的函数不稳定,就相当于有大的方差:
  • 高阶函数的方差比较大,但是平均以后更加地接近真实分布,可以直观理解为高阶函数集较于低阶函数集包括更多的可选函数,因此更容易接近真实函数,下图中靶子上面蓝色的圆圈表示函数集覆盖的范围:
总结与解决方法

总结来说对于低阶函数来说,损失主要来自偏差,而高阶函数的损失主要来自方差。低阶函数的拟合能力有限,因此带来的问题称为欠拟合(underfitting),而高阶函数由于过于地powerful,从而容易带来**过拟合(overfitting)**的问题:

应对大的偏差的方法:
①增加更多特征作为输入
②使用更复杂的模型

应对大的方差的方法:

  1. 更多数据
  2. 正则化:regularization
  3. 加大模型的限制,减少模型的弹性

二、机器学习任务攻略

明确每个问题到底出在哪里

gcn做回归任务_回归_02

2-1小节-机器学习任务攻略简略版2-1小节攻略