以线性回归和逻辑回归来实际看一下什么是过拟合问题

 

线性回归

线性回归是使用多项式来拟合变量之间的关系,从而可以根据某些变量来预测另外的变量。

图中的一个红叉叉描述了一个关系实例,横轴代表房子面积,纵轴代表房子的面积。

最左边的图是使用一次多项式来拟合两个变量之间的关系,我们可以直观的感受到直线并不能很好的描述两个变量之间的关系,主要原因就是一次多项式的表达力不够,这个现象叫做欠拟合。

然后直接来看最右边的图,我们使用一个4次多项式来拟合两个变量之间的关系,这条曲线完美的通过了所有的样例点,但是这种扭扭曲曲的线条并不一定适用于未出现的样例点,只是很强的拟合了现有的数据,所以我们把这个情况称作过拟合(over fitting)

机器学习中的过拟合、欠拟合问题_machine learning

 

 逻辑回归

首先声明逻辑回归是一个分类问题,这个令人捉摸不透的叫法需要从很久很久以前说起。。。。。。所以就不说了

逻辑回归的本质是找到决策边界

机器学习中的过拟合、欠拟合问题_machine learning_02

主要参考自 吴恩达的机器学习视频  https://www.bilibili.com/video/BV164411b7dx?p=39