深度学习论文: YOLO-ReT: Towards High Accuracy Real-time Object Detection on Edge GPUs及其PyTorch实现
YOLO-ReT: Towards High Accuracy Real-time Object Detection on Edge GPUs
PDF: ​​​https://arxiv.org/pdf/2110.13713.pdf​​​ PyTorch代码: ​​https://github.com/shanglianlm0525/CvPytorch​​ PyTorch代码: ​​https://github.com/shanglianlm0525/PyTorch-Networks​​

1 概述

  • 提出了一种新的迁移学习backbone采用的灵感是来自不同任务的转换信息流的变化，旨在补充特征交互模块，并提高准确性和推理速度的各种边缘GPU设备上的可用性。
  • 提出了一种新的边缘GPU友好模块RFCR，用于多尺度特征交互。

2 YOLO-ReT

深度学习论文: YOLO-ReT: Towards High Accuracy Real-time Object Detection on Edge GPUs及其PyTorch实现_初始化

2-1 Raw Feature Collection and Redistribution

  • 将来自Backbone的原始多尺度特征融合在一起，然后将其重新分配到每个特征尺度。因此，每个比例的特征图包含了所有其他比例尺度的特征。这种层不涉及任何沉重的计算或参数，但允许每对特征尺度之间的直接联系
  • RFCR模块有效结合多尺度特征，兼容各种Backbone和检测头；
  • RFCR模块的特征收集与检测头的输出尺度数无关，便于更好的特征交互；

PyTorch代码：

2-2 Backbone Truncation
  • 分类模型不保留空间信息，迁移到目标检测任务，部分权重可能有害；
  • Backbone的初始层的迁移学习能力是非常重要的，而最后一层并不会为检测/识别提供关键信息；
深度学习论文: YOLO-ReT: Towards High Accuracy Real-time Object Detection on Edge GPUs及其PyTorch实现_pytorch_02

 当增加使用预训练过的权值初始化的特征提取Backbone的比例时，模型的性能得到了提高，这也强调了迁移学习的重要性。然而，在60%左右，表现开始恶化和波动。这表明，与随机初始化相比，使用来自ImageNet的迁移学习权值初始化最后一层特征提取器实际上会损害性能，这可能是因为这些层的特定任务性质导致它们陷入局部极小值。
3 Evaluations
深度学习论文: YOLO-ReT: Towards High Accuracy Real-time Object Detection on Edge GPUs及其PyTorch实现_初始化_03