深度学习再次理解
一、relu激活函数
一言以蔽之，其实，relu函数的作用就是增加了神经网络各层之间的**非线性关系，**否则，如果没有激活函数，层与层之间是简单的线性关系，每层都相当于矩阵相乘，这样怎么能够完成我们需要神经网络完成的复杂任务，
我们利用神经网络去解决图像分割，边界探测，超分辨等问题时候，我们的输入（假设为x），与期望的输出（假设为y）之间的关系究竟是什么？也就是y=f(x)中*，f是什么，我们也不清楚，但是我们对一点很确信，那就是f不是一个简单的线性函数，应该是一个抽象的复杂的关系，那么利用神经网络就是去学习这个关系，存放在model中，利用得到的model去推测训练集之外的数据，得到期望的结果*
深度学习的目的是用一堆神经元堆出一个函数大致的样子，然后通过大量的数据去反向拟合出这个函数的各个参数，最终勾勒出函数的完整形状。
那如果激活函数只是线性函数，那一层层的线性函数堆起来还是线性的，这年头线性函数能干啥呀？
肯定不行，这样整个网络表现能力有限，所以要引入非线性的激活函数进来。
二.关于训练集和验证集与测试集的准确率
一般而言数据集会分成三分一个是训练集，一个是验证集，一个是测试集。训练集和验证集是用来观测模型的训练过程，而测试集是模型训练完成之后，一个效果评判，论文放出的准确率都是测试集。除非标明是dev验证集
论文中放的一般是测试集准确率，验证集在训练过程中可以指示当前训练任务的拟合情况，可以评估模型是否欠拟合，但最终还是要看测试集上的表现，测试集可以用于评估模型过拟合的程度。
训练集和验证集都处于模型训练阶段，训练集中的数据是神经网络学习的对象，**验证集用于显示模型训练到某一步时，准确率的大概值。**模型训练时，准确率高高低低，最后一点的训练准确率不一定是最高的，验证集的存在可以挑选最优准确率的模型参数。测试集才是评判训练完的模型性能的数据集。训练集和测试集理论上要符合独立同分布IID原则，但现实数据繁杂，训练集和测试集的分布不可能完全相同，所以就导致训练时的准确率的参考意义不大，不然也不会有什么过拟合和欠拟合了。训练模型的最终目的是对测试集的应用，训练集和验证集都是辅助于训练阶段。
论文中放的一般是测试集准确率，验证集在训练过程中可以指示当前训练任务的拟合情况，可以评估模型是否欠拟合，但最终还是要看测试集上的表现，测试集可以用于评估模型过拟合的程度。
