对Week12-Week16做简单的总结，不仔细看所有细节。大体内容：借由非线性分类模型引出Overfitting的问题，从而提出Regularization和Validation，以及机器学习中三个原则。
非线性分类模型
XwT X w T ，那么非线性的是否可以有良好的分类能力呢。看下面一个例子：
对于上面的情况，右图的二次曲线(圆)显然能更好的分隔两类点。其实可以通过映射把原来线性不可分的点变为可分。具体如下：
现在有两个学习模型，一个是2阶，一个是10阶多项式，分别对上述两种情况建模分析，两个学习模型的效果如下：
对于f1
f
1
，2阶多项式的学习模型Ein
E
i
n
,Eout
E
o
u
t
相差小，10阶多项式模型相差大，出现过拟合情况。
对于f2
f
2
，10阶多项式学习模型Ein
E
i
n
,Eout
E
o
u
t
相差大，仍然出现过拟合情况。
为什么低阶的多项式拟合的反而更好？先看下两个模型的学习曲线：
可知，数据量N N 不大的时候，2阶多项式泛化能力更强。
Noise
上节分析出样本数量较少会造成overfitting，那么噪声和复杂度呢？
上图中红色越深表示overfitting越高，蓝色越深overfitting越低。固定模型复杂度，NN越大，σ2 σ 2 越小，越不容易overfitting。固定σ2 σ 2 ，模型复杂度越高，N N 越小，越容易发生overfitting。发现noise的σ2σ2对overfitting影响很大，把noise称为stochastic noise。同时模型复杂度的影响称为deterministic noise。总结导致overfitting的因素：
Dealing With Overfitting
处理overfitting问题主要有以下几种方式：
- start from simple model
- data cleaning/pruning
- data hinting
- regularization
- validataion
前三种更像是数据的预处理，data cleaning/pruning就是对训练数据集里label明显错误的样本进行修正（data cleaning），或者对错误的样本看成是noise，进行剔除（data pruning）。data cleaning/pruning关键在于如何准确寻找label错误的点或者是noise的点，而且如果这些点相比训练样本N很小的话，这种处理效果不太明显。
data hinting是针对N不够大的情况，如果没有办法获得更多的训练集，那么data hinting就可以对已知的样本进行简单的处理、变换，从而获得更多的样本。举个例子，数字分类问题，可以对已知的数字图片进行轻微的平移或者旋转，从而让N丰富起来，达到扩大训练集的目的。这种额外获得的例子称之为virtual examples。但是要注意一点的就是，新获取的virtual examples可能不再是iid某个distribution。所以新构建的virtual examples要尽量合理，且是独立同分布的。
Regularization
Ein E i n 做个平衡，通过构造惩罚项实现。常用的如岭回归中L2 L 2 正则化，lasso回归中L1 L 1 正则化。具体不多说，林老师的课程笔记可以参看红色石头的笔记。
Validataion
g g <script type="math/tex" id="MathJax-Element-40">g</script>。参看红色石头的笔记。
Three Learning Principles
Occam’s Razor
奥卡姆剃刀意为“如无必要，勿增实体”，即应该选择尽可能简单的模型。
Sampling Bias
抽样误差将可能小，是指训练数据和验证数据要服从同一个分布。
Data Snooping
在机器学习过程中，避免“偷窥数据”非常重要，但实际上，完全避免也很困难。实际操作中，有一些方法可以帮助我们尽量避免偷窥数据。第一个方法是“看不见”数据。就是说当我们在选择模型的时候，尽量用我们的经验和知识来做判断选择，而不是通过数据来选择。先选模型，再看数据。第二个方法是保持怀疑。就是说时刻保持对别人的论文或者研究成果保持警惕与怀疑，要通过自己的研究与测试来进行模型选择，这样才能得到比较正确的结论。
Summary
机器学习基石磨磨蹭蹭的终于算是看完，前面的课程看的还是比较认真，后面的马马虎虎吧。从VC维讲起，还是很难理解。如果考虑实战，工作中能直接应用，或许从接受度上讲还是很好的了。
