小目标的检测性能较差的原因之一是:训练数据中小目标的再现性较差,因此,作者提出对小目标样本进行 Oversampling(过采样),然后在对样本里的小目标进行 Copy-Pasting(复制粘贴),以此来提供足够的小目标来和 anchor 进行匹配,以此实现提高小目标检测的性能。

2.1 Oversampling

在训练阶段对有小目标的图像进行Oversampling(过采样),来解决含有小目标的图像较少的问题,过采样简单来说就是将一张图片重复加入训练几次,这种方式十分简单,但也有效,并且实现方式也很简单只需要将含有小目标的样本多复制几遍并修改名字就行。复制的次数就是oversampleing rate(过采样率),通过控制oversampleing rate来实现大中小的样本数量均衡。

2.2 Copy-Pasting

作者在Oversampling基础上增加了Copy-Pasting(复制粘贴策略),也就是将小目标贴到图像中的任意位置并生成新的标注,并且粘贴的小目标可以进行随机变换(缩放,翻折,旋转等),这种方式通过增加每个图像中小目标的数量,匹配的 anchor 的数量也会随之增加,这进而提升了小目标在训练阶段对 loss 计算的贡献。

作者提出了三种复制粘贴小目标的方式:

1、图像中选择一个小目标,然后在随机位置复制粘贴多次

2、图像中选择许多小目标,并在任意位置复制粘贴它们一次

3、图像中所有的小目标在任意位置复制粘贴多次

下图说明了所提出的 augmentation 策略以及如何在训练中增加匹配 anchor 的数量,从而更好地检测小目标。

提升小目标检测的一种新的包围框相似度度量 小目标检测 提升方法_pytorch

03

实验结果

3.1 Oversampling

作者做了充足的实验验证了这种扩增方式对小目标性能的提升。首先作者将Baseline(Mask RCNN)与加入Oversampling进行对比,如Table 3 所示,可以看出  Oversampling 不管是在检测还是分割都有所提高,但可能对大尺度目标的检测效果有损害,因此需要根据实际数据进行调整,并不是越大越好。

提升小目标检测的一种新的包围框相似度度量 小目标检测 提升方法_复制粘贴_02

3.2 Copy-Pasted

接着作者对Copy-Pasting(复制粘贴)的有效性进行了验证,将Baseline(Mask RCNN)与 几种组合Oversampling以及Augmentation进行比较如 Table 4所示。主要包括以下几类:

1、用Copy-Pasted后的图像代替原始的图像(表格中的第二行)

2、在上面方法的基础上使用Oversampling(表格中的第三行)可以发现,上述两个的结果相比于Baseline都比较差。

3、在测试的时候,不是在原始的测试集上了,而是用训练集上的Augmentation方法同样去处理Test数据集,性能获得了较大的提高。

提升小目标检测的一种新的包围框相似度度量 小目标检测 提升方法_机器学习_03

作者认为出现这种情况是由于人工复制的不完美性导致的,例如粘贴的目标 mask 和 background 亮度差,这些相对容易被神经网络发现。采用augmentation and oversampling 相结合的方法,取得了较好的效果,augmentation的概率为 0.5,这使得原始目标和 augmented 的目标比例为 2:1。这种设置比单纯的 oversampling 效果更好,验证了所提出的粘贴小对象策略的有效性。

3.3 Copy-Pasted Strategies

作者最后还对三种复制粘贴策略进行了测试:

1、图像中选择一个小目标,然后在随机位置复制粘贴多次;

2、图像中选择许多小目标,并在任意位置复制粘贴它们一次;

3、图像中所有的小目标在任意位置复制粘贴多次。

这里我们简要介绍一下最好的情况,在这三种策略中第二种也就是选择多个小目标进行复制粘贴取得了最好的效果,并且在粘贴三次小目标的效果最好。如图表所示:

提升小目标检测的一种新的包围框相似度度量 小目标检测 提升方法_深度学习_04

04

总结

这篇文章分析表明小目标检测性能较差的原因之一是训练数据中小目标数量较少,导致在anchor匹配小目标匹配少,大目标匹配多的不平衡性,也就是训练数据中小目标的再现性较差。因此,作者提出了过采样和复制粘贴的策略通过增加小目标的数量提升小目标检测的性能并且在实验中证明了其有效性。