在其他参数基本一致的情况下,单独调整batchsize,来查看一下对训练的影响.
记录下不同batch_size情况下在Epoch下loss的变化率
训练模型
下面是一个训练模型的summary,我将在此模型下修改batch size然后观察数据变化
batch_size
不同的batch_size会导致不同的收敛速度和每一个epoch的训练时长
下图是batch_size=64的训练截图
数据结果
针对不同的batch size,做epoch10次训练下的数据统计,数据如下:
- batch越小,每一个epoch的事件越长,但这个关系似乎不是线性变化
- batch越小,初始的epoch的loss也越低,说明需要的epoch次数可能比大的batch size要少;但是这种loss的变化似乎也不是线性的