train是训练集，val是训练过程中的测试集，是为了让你在边训练边看到训练的结果，及时判断学习状态。test就是训练模型结束后，用于评价模型结果的测试集。只有train就可以训练，val不是必须的，比例也可以设置很小。test对于model训练也不是必须的，但是一般都要预留一些用来检测，通常推荐比例是8:1:1
val是validation的简称。training dataset和validation dataset都是在训练的时候起作用。
而因为validation的数据集和training没有交集，所以这部分数据对最终训练出的模型没有贡献。validation的主要作用是来验证是否过拟合、以及用来调节训练参数等。
比如训练0-10000次迭代过程中，train和validation的loss都是不断降低，
但是从10000-20000过程中train loss不断降低，validation的loss不降反升。
那么就证明继续训练下去，模型只是对training dataset这部分拟合的特别好，但是泛化能力很差。
所以与其选取20000次的结果，不如选择10000次的结果。
这个过程的名字叫做Early Stop，validation数据在此过程中必不可少。
如果跑caffe自带的训练demo，你会用到train_val.prototxt，这里面的val其实就是validation。
而网络输入的TEST层，其实就是validation，而不是test。你可以通过观察validation的loss和train的loss定下你需要的模型。
但是为什么现在很多人都不用validation了呢？
我的理解是现在模型中防止过拟合的机制已经比较完善了，Dropout\BN等做的很好了。
而且很多时候大家都用原来的模型进行fine tune，也比从头开始更难过拟合。
所以大家一般都定一个训练迭代次数，直接取最后的模型来测试。
train loss 和 val loss 的关系：
- Underfitting – val loss 和 train loss 的值都很大
- Overfitting – val loss 的值很大 train loss的值很小
- Good fit – val loss 的值很小，但是比train loss 的值稍大
- Unknown fit*** - val loss 的值很小，train loss 的值很大
***在一般情况下，train loss 的值总是会比 val loss 低一些，不过也有以下例外：
- train set 比 val set 的数据更难判断
- 在网络中应用了如 dropout, batch_norm 等层。这是由于keras 在eval 阶段不会启用dropout 等正则化层。
- 在网络训练的早期，由于前几个batch loss值会比较大，keras train loss的计算方式是batch loss的平均值，所以会受到极值的影响。
- 数据集太小。
- 数据增强应用在了val set上
所以这时你需要检查：
- 网络结构
- 数据集大小
- 数据集分割方式
- 数据预处理与数据增强
- 评估方式(metrics)
