在其他参数基本一致的情况下,单独调整batchsize,来查看一下对训练的影响.

记录下不同batch_size情况下在Epoch下loss的变化率

训练模型

下面是一个训练模型的summary,我将在此模型下修改batch size然后观察数据变化

【记录】batch_size对cnn训练的影响_数据

batch_size

不同的batch_size会导致不同的收敛速度和每一个epoch的训练时长

下图是batch_size=64的训练截图

【记录】batch_size对cnn训练的影响_数据_02

数据结果

针对不同的batch size,做epoch10次训练下的数据统计,数据如下:

【记录】batch_size对cnn训练的影响_数据统计_03


  1. batch越小,每一个epoch的事件越长,但这个关系似乎不是线性变化
  2. batch越小,初始的epoch的loss也越低,说明需要的epoch次数可能比大的batch size要少;但是这种loss的变化似乎也不是线性的