已知目标数量的目标检测 目标检测的算法有哪些

常见的目标检测算法

• 1、传统的目标检测方法
• 2、two-stage方法

• 2.1 RCNN
• 2.2 fast RCNN
• 2.3 faster RCNN

• 3、one-stage方法

• 3.1 YOLO系列

• （1）YOLO V1
• （2）YOLO V2
• （3）YOLO V3
• （4）YOLO V4
• （5）YOLO V5

• 3.2 SSD系列

• （1）SSD
• （2）FSSD
• （3）DSSD

目前，常见的目标检测（object detection）算法分为3类：
1、传统的目标检测方法：特征提取+分类器
2、two-stage方法：候选框+分类，如R-CNN、SPP-net、Fast R-CNN、Faster R-CNN、R-FCN
3、one-stage方法：直接回归，如YOLO系列、SSD系列

1、传统的目标检测方法

传统的目标检测流程：

Step1：图像预处理：图像灰度化、滤波、二值化、形态学处理、边缘检测等操作，增强图片质量；

Step2：区域选择：图像分割，选择区域；

Step3：特征提取：包括形状特征、颜色特征和纹理特征等。常用的特征提取方法：

形状特征：边界特征法（如Hough）、傅里叶形状描述符(Fourier shape deors)、几何参数（如面积、周长、圆度、偏心率等）、形状不变矩、有限元法（FEM）、旋转函数（Turning）和小波描述符（Wavelet Deor）等。

颜色特征：颜色集、颜色矩、颜色聚合向量、颜色相关图等。

纹理特征：灰度差分统计法、局部二进制模式（ LBP）、灰度共生矩阵（GLCM）、灰度-梯度共生矩阵（G-GLCM）等。

还有常见的尺度不变特征变换（SIFT）、SURF特征描述算子、ORB特征描述算子、方向梯度直方图（HOG）和哈尔特征（Harr）、方向梯度直方图（HOG）等。

Step4：分类器。常见的分类器包括K-近邻法（K-NN）、支持向量机（SVM）、决策树、集成学习(如Adaboost)、随机森林、朴素贝叶斯法、隐马尔可夫模型、高斯混合模型。

2、two-stage方法

	RCNN	Fast RCNN	Faster RCNN
效果	53.3mAP，47s	66mAP，0.3s	67mAP，0.2s
过程	Selective Search + CNN + SVM	Selective Search + CNN + RoI	RPN + CNN + RoI

2.1 RCNN

2014 CVPR，Rich feature hierarchies for accurate object detection and semantic segmentation 在VOC2012中，RCNN获得53.3mAP。（速度慢，一张图要47s）

RCNN的流程：selective search +CNN +L-svm

（1）输入图像；

（2）用选择性搜索selective search代替传统的滑动窗口，从上到下提取出2000个候选区域region proposals（生成候选区域的方法有很多，比如：objectness, selective search ,category-independent object proposals , constrained，parametric min-cuts (CPMC) , multi-scale combinatorial

grouping, Ciresan等，作者选择了selective search）

（3）对于每个候选区域，使用AlexNet提取特征，得到4096维的特征。由于AlextNet的输入图像是227×227，但selective search产生的候选区域大小不一，因此，统一将候选框的尺寸变换到227×227

（4）使用L-SVM进行分类（类别+1背景），计算IOU，采用非极大值抑制NMS选取效果好的区域。

2.2 fast RCNN

2015 ICCV，Fast R-CNN 在VOC2012，fast RCNN获得66mAP，一张图需要0.3s

fast RCNN的流程：

（1）用选择性搜索selective search提取出2000个候选区域region proposals；

（2）使用CNN提取特征，得到feature map

（3）根据RoI框选出对应的区域，利用RoI pooling层固定维度；

（4）softmax分类，多任务损失函数回归BBox并进行位置调整

RCNN与fast RCNN在结构上主要有几点不同：

（1）fast RCNN：一张完整的图片=>CNN=>每个候选框的特征=>分类+回归；RCNN：候选框(2k)=>CNN=>每个候选框的特征=>分类+回归

（2）fast RCNN使用RoI框选出感兴趣的区域后，利用RoI pooling来固定维度；RCNN暴力变维

（3）fast RCNN使用softmax进行分类；RCNN用L-SVM；

（4）fast RCNN损失函数使用了多任务损失函数(multi-task loss)，将边框回归Bounding Box Regression直接加入到CNN网络中训练；

2.3 faster RCNN

2015 NIPS，Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks 在VOC2007test，faster RCNN获得69.9mAP，在VOC2012test，faster RCNN获得67mAP，一张图需要198ms
faster RCNN的流程：RPN提取候选框+fast RCNN检测
（1）用RPN提取候选区域；
（2）使用CNN提取特征，得到feature map
（3）利用RoI pooling层固定维度；
（4）softmax分类，多任务损失函数回归BBox并进行位置调整

3、one-stage方法

3.1 YOLO系列

R-CNN系列将检测过程分为两步：候选框提取+分类，而YOLO只需要一步，使用了回归的思想，将图片作为输入，直接在输出层对BBox的位置和类别进行回归。

（1）YOLO V1

2016年，YOLOV1:You Only Look Once:Unified, Real-Time Object Detection 在PASCAL VOC2007中，YOLO v1获得63.4mAP，45FPS

YOLO V1的步骤：

1、输入图像，将图像划分为S*S的网格（grid cell），object的中心落在哪个网格，哪个网格就负责预测该object；（这里S=7）

2、每个网格需要预测B个BBox的位置信息（x,y,w,h）和置信度confidence信息（这里B=2）

Pr(classi|object)：类别；

Pr(object)：有object落在网格gride cell里，Pr(object)=1，否则Pr(object)=0。

IOU:预测的bounding box和实际的groundtruth之间的IOU值。

Pr(object)*IOU：置信度

即：输入图像，将图像划分为7×7个网格，每个网格预测2个边框，由于PSSCAL VOC有20个类别标签，则可预测出7×7×（2×5+20）个目标窗口，然后根据设定的阈值，滤除分数低的边框，再利用NMS去除冗余边框。

3、网络框架：24个Conv+2FC

4、损失函数：

（2）YOLO V2

2016年，YOLO V2:YOLO9000: Better, Faster, Stronger 在PASCAL VOC2007中，在67 FPS的情况下，YOLOv2获得76.8mAP；在40 FPS的情况下，获得78.6mAP。

YOLOv2相对v1版本，预测更准确（Better），速度更快（Faster），识别对象更多（Stronger）。

1、预测更准确（Better）

（1）批量归一化Batch Normalization：提高收敛性，Conv+ReLu+BN，达到了正则化的效果（YOLOv2不使用dropout）==>>mAP提升2.4%

（2）高分辨率图像分类器High Resolution Classifier：采用224×224图像预训练后，再采用448×448进行微调。（YOLO v1预训练中224×224图像输入，测试中采用448×448）= = >>mAP提升3.7%

（3）使用先验框Convolutional With Anchor Boxes：YOLO v2采用了先验框，在每个grid预先设定一组不同大小和宽高比的边框，来覆盖整个图像的不同位置和多种尺度。YOLO v2去掉了全连接层，使用Anchor Boxes来预测 Bounding Boxes；去掉了网络中一个Pooling层，这让卷积层的输出能有更高的分辨率。（YOLOV1包含有全连接层，从而能直接预测Bounding Boxes的坐标值。 Faster R-CNN的用卷积层与Region Proposal Network（RPN）来预测Anchor Box的偏移值与置信度，而不是直接预测坐标值。）= = >>召回率提升了7%，mAP降低了0.2%（不使用Anchor Boxes：召回率81%，69.5mAP；使用Anchor Boxes：召回率88%，69.3mAP）

（4）聚类提取先验框的尺度信息Dimension Clusters：YOLO v2采用欧氏距离的K-mean对标注的边框进行聚类分析，以自动找到尽可能匹配样本的边框尺寸。（以前的Anchor Boxes的尺寸是手动选择的）

centroid是聚类时被选作中心的边框，box是其它边框，d就是两者间的“距离”。IOU越大，“距离”越近。选择聚类分类数K=5。

（5）约束预测边框位置Direct location prediction：由于之前的tx,ty取值没有约束，因此预测边框的中心可能出现在任何位置，训练早期阶段不容易稳定。YOLO v2调整了预测公式，将预测边框的中心约束在特定gird网格内，计算如下：

因为使用了限制让数值变得参数化，也让网络更容易学习、更稳定。= = >>预测边框中心位置提高5%

（6）细粒度特征Fine-Grained Features：YOLO v2中输入416416经过卷积网络下采样最后输出是1313，这对于大型物体的检测已经足够了，为了更好的检测出一些小物体，添加一个 passthrough 层，通过将相邻要素堆叠到不同的通道而不是空间位置中，从而将高分辨率要素与低分辨率要素连接起来。= = >>mAP提升1%

（7）多尺度图像训练Multi-Scale Training：YOLO v2在不同尺度的图像上都能达到一个比较好的预测效果。如下图，输入图片尺寸越小，速度越快，但精度越差。

2、速度更快（Faster）

（1）Darknet-19：backbone网络采用Darknet-19（19个Conv+5个Maxpooling），去除了FC层，采用全局平均池化Global Avgpool进行预测。= = >>Darknet-19仅需要55.8亿次操作即可处理图像，但在ImageNet上达到72.9％的top-1精度和91.2％的top-5精度。（比VGG-16快，但准确性不如VGG-16）

（2）分类训练Training for classification：在ImageNet 1000 个分类标签的数据集上训练，采用随机梯度下降法stochastic gradient descent， epochs=160，初始学习率 starting learning rate= 0.1，多项式率衰减的幂polynomial rate decay with a power of

4，权重衰减weight decay=0.0005，动量momentum=0.9，网络框架采用Darknet，使用数据增强（包括 random 剪裁crops, 旋转rotations, and 色度hue, 饱和度saturation, and 曝光exposure shifts.）= = >>top-1精度76.5％、top-5精度93.3％

（3）检测训练Training for detection：删除最后一个Conv，加上3个3×3的Conv（每个Conv有1024个filters）,每个Conv层接着一个1×1的Conv层。对于VOC，每个网格预测5个Bounding Boxes，每个Bounding Boxes预测5个坐标和20类，总共125个Filters。从最后的3×3×512层到倒数第二个卷积层添加了一个Passthough，以便使用细粒度特征。 epochs=160，初始学习率 starting learning rate= 0.001，在60-90个epochs时将其除以10,权重衰减weight decay=0.0005，动量momentum=0.9。

3、识别对象更多（Stronger）

（1）分层分类Hierarchical classification

（2）Dataset combination with WordTree：

（3）Joint classification and detection.

（3）YOLO V3

YOLOv3: An Incremental Improvement 输入图像为320×320，YOLO v3达到了28.2mAP，22ms，与SSD的精度一样，但是速度提高了3倍。

1、基础网络Darknet-53：

（1）采用Darknet-53（YOLO v2采用Darknet-19）

（2）用s=2的Conv层代替池化层（YOLO v2有5个Maxpooling）达到下采样的效果

2、边框回归：
YOLOV3思想理论是将输入图像分成SxS个格子，若某个物体Ground truth的中心位置的坐标落入到某个格子，那么这个格子就负责检测中心落在该栅格中的物体。

YOLOV3进行3次检测，分别52x52, 26x26, 13x13的feature map上，即S分别为52,26,13。32倍降采样的感受野最大（13x13），适合检测大的目标，每个cell的三个anchor boxes为(116 ,90),(156 ,198)，(373 ,326)。16倍（26x26）适合一般大小的物体，anchor boxes为(30,61)， (62,45)，(59,119)。8倍的感受野最小（52x52），适合检测小目标，因此anchor boxes为(10,13)，(16,30)，(33,23)。所以当输入为416×416时，实际总共有(52×52+26×26+13×13)×3=10647个proposal boxes。

3、多尺度预测：FPN网络

YOLOV3采用FPN结构来进行多尺度预测。

YOLOV3每种尺度预测3个box，有3种尺度（52x52, 26x26, 13x13），anchor的设计方式仍然使用聚类,得到9个聚类中心。

尺度1：使用8×8的特征图，在基础网络之后添加一些卷积层再输出box信息。= =>>降采样32倍，用于大目标的检测。

尺度2：使用16×16的特征图，从尺度1中的倒数第二层的卷积层上采样(x2)再与最后一个16x16大小的特征图相加,再次通过多个卷积后输出box信息.相比尺度1变大两倍.= =>>降采样16倍，用于一般大小的目标检测。

尺度3：使用了32x32大小的特征图，与尺度2的过程类似。= =>>降采样8倍，用于小的目标检测。

通常，一幅图像包含各种不同的物体，有大有小，因此，网络必须具备能够“看到”不同大小的物体的能力。并且网络越深，特征图就会越小，所以越往后小的物体也就越难检测出来。随着网络深度的加深，浅层的feature map中主要包含低级的信息（物体边缘，颜色，初级位置信息等），深层的feature map中包含高等信息（例如物体的语义信息：狗，猫，汽车等等）。

4、YOLOV3采用了类似ResNet残差结构，更好地获取物体特征。

5、替换softmax层：对应多重label分类

（1）Softmax使得每个框分配一个类别（score最大的一个），而对于Open Images这种数据集，目标可能有重叠的类别标签，因此Softmax不适用于多标签分类。

（2）Softmax层被替换为一个1x1的卷积层+logistic激活函数的结构，且准确率不会下降。

6、分类损失采用binary cross-entropy loss

（4）YOLO V4

2020年4月，Alexey Bochkovskiy发表了YOLOv4: Optimal Speed and Accuracy of Object Detection YOLOv4在MS COCO数据集上获得了: 43.5%AP (65.7% AP50) ，65 FPS ，比YOLO V3提高了10%（AP）和12%（FPS）。

YOLO V4像是目标检测Tricks的文献综述，列举了目标检测中的Backbone、Neck和Heads的一些常用方法：

1、Bag of freebies（BoF）：提高精度而不增加推断时间

（1）数据增广data augmentation：增加训练样本的多样性，使得检测模型具有高的鲁棒性。

1）像素级别pixel-wise：几何增强 geometric distortions和色彩增强 photometric distortions。

几何增强 geometric distortions：缩放scale、裁剪crop，翻转flip、旋转rotation

色彩增强 photometric distortions：对比度contrast，亮度brightness，色度hue，饱和度saturation，图片加噪noise of an image

2）解决目标遮挡及不足的问题occlucion：

在图像中随机裁剪多个矩形区域：hide-and-seek， grid mask

在图像中随机裁剪矩形区域，并用0来填充：random erase，CutOut

在heatmap上裁剪并填充：DropOut，DropConnect， DropBlock

3）使用多张图像using multiple image:

两图像相加/乘，使用叠加系数调整标签：MixUp

剪裁后的图像覆盖到其他图像的矩形区域，根据混合区域大小调整标签:CutMix

4） style transfer GAN：有效地减少纹理偏差

（2）解决数据不平衡的问题（背景和目标之间的不平衡；类别不平衡等）

1）在二阶目标检测 two-stage object detector，常用hard negative example mining 和online hard example mining解决

2）focal loss==>>解决不同类别之间数据不均衡的问题

3）label smothing==>>One-hot编码之后label没有关联，将hard label转换成soft label

4）知识蒸馏 knowledge distillation

（3）设计BBox回归的目标函数

1）传统的目标检测方法使用均方根误差Mean Square Error (MSE)直接对BBox的中心坐标、宽、高进行回归，即 { x_center, y_center, w, h }，或者对左上角和右下角进行回归，即{ x_top-left, y_top-right,x_bottom-left,y_bottom-right }

**2）基于锚点的方法 anchor-based method：**估计偏移量，如{ x_center-offset,y_center-offset,w_offset,h_offset}和 {x_top-left-offset,y_top-left-offset,x_bottom-right-offset,y_bottom-right-offset}。

==>>1）和2）预测Bbox每个点的坐标值是将这些点作为独立的变量，但是实际上并没有将目标物体当成一个整体进行预测，因此3）

**3）IoU 损失函数：**将Bbox区域和ground truth的BBox区域的作为整体进行考虑。IoU损失函数需要计算BBox四个坐标点以及ground truth的IoU。（IoU具有尺度不变性，它可以解决传统算法比如l_1}和 l_2范数计算 {x,y,w,h}存在的问题，这个损失函数会随着尺度的变化而发生变化。）。如：GIoU loss除了包含覆盖区域外，还包含对象的形状和方向，DIoU loss考虑了物体中心的距离；CIoU loss同时考虑了重叠面积、中心点之间的距离和纵横比

2、Bag of specials（Bos）：增加少许的计算量cost提高精度

（1）扩大感受野enhance receptive field：SPP、ASSP、RFB

（2）注意力attention 机制：channel-wise attention和point-wise attention。

channel-wise attention： Squeeze-and-Excitation (SE)：top-1准确率accuracy提高1%，CPU计算提高2%，GPU计算提高10%==>>适合移动端

point-wise attention：Spatial Attention Module (SAM)：top-1准确率accuracy提高0.5%，CPU计算提高0.1%，不影响GPU的推理速度

（3）特征融合feature integration：

早期：底层的物理特征low-level physical feature和高级的语义特征high-level semantic feature融合，如skip connection、 hyper-column。

特征金字塔：SFAM, ASFF和BiFPN

SFAM：使用SE模块对多尺度feature map进行channel-wise

ASFF:采用softmax进行point-wise加权，然后将不同尺度的feature map相加

BiFPN:使用多输入权重残差连接进行scale-wise

**（4）激活函数activation function：**一个好的激活函数能够使得梯度传播的更高效，并且不会增加额外的计算量。

ReLU：解决传统tanh和sigmoid激活函数中经常遇到的梯度消失的问题；

LReLU和PReLU：解决当输出<0时，ReLU梯度为0的问题;

ReLU6和hard-Swish：为量化网络设计的；

SELU：神经网络自归一化；

Swish和Mish：连续可导

（5）后处理 post-processing :

NMS:过滤效果不好的BBox，保留效果好的BBox；

Girshick:在R-CNN中添加置信度得分作为参考，根据得分从高到底执行 greedy NMS；

soft NMS：在greedy NMS使用时，物体遮挡会导致置信度得分下降

DIoU NMS：在soft NMS上将中心点的距离信息添加到BBox中

【注】anchor-free方法不再后处理。那么，YOLO v4的结构是什么呢？

在结构上，YOLO v4和YOLO v3的对比，此外，YOLO V4还运用了很多BoF和BoS的技巧。

1、网络结构

在结构上，YOLO v4和YOLO v3的对比：

	YOLO V3	YOLOV4
Backbone	DarkNet53	CSPDarkNet53
Neck	FPN	SPP+PAN
Head	YOLO V3	YOLO V3

YOLO v4 主干网络Backbone所用的是CSPDarknet53（YOLO v3用的是Darknet53），那么前面加个CSP有什么优点呢。CSPNet源自论文“ CSPNet:A new backbone that can enhance learning capability of cnn”，全称叫“Cross Stage Partial Network(CSPNet)”。CSPNet可以增强CNN的学习能力，通过将梯度的变化从头到尾地集成到特征图中，在减少了计算量的同时可以保证准确率。CSPNet可以和Backbone结合，如ResNet、ResNeXt和DenseNet，这不就和Darknet53结合一起成为了YOLO v4 主干网络CSPDarknet53。CSPNet的优点：

1、增强CNN的学习能力，能够在轻量化的同时保持准确性。
2.降低计算瓶颈。
3.降低内存成本。

YOLO v4 的结构如下：

Backbone:CSPDarknet53，提取图像中的浅层特征（low-level），如提取边缘，颜色，纹理等。

Neck：SPP+PAN。SPP：增强感受野，分离出上下文特征，不降低允许速度。PANet：为不同检测器不同的backbone选择参数聚合（YOLO v3是FPN）

不同尺寸的感受野的总结：
等于目标物体的大小时：能够看到整个对象
等于网络的大小：能够看到对象周围的上下文信息
大于网络的大小：增加图像点和最终激活之间连接的数量

Head：YOLO Head，直接得到bbox。

（Object Detection = Backbone + Neck + Head）

（1）Backbone:CSPDarknet53。

由上图可以看出，CSPDarknet53包含了5个CSP模块，如下图。输入图像是608×608，经过5次CSP模块后，得到特征图大小是608×608。

激活函数：Mish。在Backbone中，YOLO V4采用的是Mish激活函数，不过在后面（Neck和Head）中，采用的是Leaky ReLu。

（2）Neck:SPP+PANet

YOLO V4中说了蛤，常用的Neck有：

SPP===>>>空间金字塔池化（Spatial Pyramid Pooling，SPP）

SPP源于论文“Spatial pyramid pooling in deep convolutional networks for
visual recognition”

传统的CNN由于全连接层的存在，限制了输入必须固定size和scale，所以在实际使用中往往需要对原图片进行crop（截取固定大小的patch）和warp（缩放固定大小的patch）的操作，crop操作导致物体可能会被截断，warp操作导致物体变形，无论是是crop还是warp，都无法保证在不失真的情况下将图片传入到CNN当中。因此，引入SPP，通过SPP来一处CNN对固定输入的要求。Spp是一个处理multi-scale和multi-size灵活的方法，增加CNN的鲁棒性，提升分类效果。

PANet===>>>路径聚合网络 (Path Aggregation Network, PANet)

PANet源于论文“Path aggregation network for instance segmentation”

PANet获得COCO2017实例分割第一，目标检测第二。

PANet旨在提升基于侯选区域的实例分割框架内的信息流传播。通过自下向上(bottom-up)的路径增强在较低层(lower layer)中准确的定位信息流，建立底层特征和高层特征之间的信息路径，从而增强整个特征层次架构。

(a)FPN (红线部分)：包括一个自底向上（网络的前向过程，这样就能构成特征金字塔）的线路，一个自顶向下（采用上采样upsampling）的线路，横向连接（将上采样的结果和自底向上生成的相同大小的feature map进行融合）。

（b）自下而上(bottom-up)的增强路径（绿线部分）：用于缩短信息路径，利用low-level 特征中存储的精确定位信号，提升特征金字塔架构。

（c）自适应特征池化(Adaptive feature pooling)：用于恢复每个候选区域和所有特征层次之间被破坏的信息路径，聚合每个特征层次上的每个候选区域，避免任意分配的结果。

此外，YOLO V4还运用了很多BoF和BoS的技巧。

在目标检测训练中，通常对CNN的优化改进方法：

激活函数Activations：ReLU，leaky-ReLU，parameter-ReLU，ReLU6，SELU，Swish或Mish

BBox回归loss函数Bounding box regression loss：MSE，IoU，GIoU，CIoU，DIoU

数据增强Data augmentation：CutOut，MixUp，CutMix，Mosaic

正则化Regularization method：DropOut，DropPath，Spatial DropOut或DropBlock

通过均值和方差对激活函数进行归一化Normalization of the network activations by their mean and variance：Batch Normalization (BN), Cross-GPU Batch Normalization (CGBN or SyncBN), Filter Response Normalization (FRN), or Cross-Iteration Batch Normalization (CBN)

跨连接Skip-connections：Residual connections, Weightedresidual connections, Multi-input weighted residualconnections (MiWRC), or Cross stage partial connections (CSP)

	Backbone	Neck	Head
	CSPDarknet53	SPP+PAN	YOLOv3 Head
BoF	CutMix and Mosaic data augmentation, DropBlock regularization,Class label smoothing	-	CIoU-loss, CmBN, DropBlock regularization, Mosaic data augmentation, Self-Adversarial Training, Eliminate grid sensitivity, Using multiple anchors for a single groundtruth, Cosine annealing scheduler , Optimal hyper parameters, Random training shapes
BoS	Mish activation, Cross-stage partial connections (CSP), Multi-input weighted residual connections (MiWRC)	-	Mish activation, SPP-block, SAM-block, PAN path-aggregation block,DIoU-NMS
作用	预训练	多尺度特征图融合	预测

（5）YOLO V5

2020年6月，Ultralytics发布了YOLOV5 Yolov5官方代码中，给出的目标检测网络中一共有4个版本，分别是Yolov5s、Yolov5m、Yolov5l、Yolov5x四个模型。YOLOV5相对于YOLOV4来说创新性的地方很少，不过它还是很快的

3.2 SSD系列

（1）SSD

2016年，Single Shot MultiBox Detector 对于300×300的输入，SSD在VOC2007test，可达到74.3%mAP，59FPS；对于512×512的输入，SSD达到了76.9 % mAP

SSD优点：
1、比Faster R-CNN要快，比YOLO要准确（这里指YOLO v1）
2、多尺度特征图预测
3、低分辨率的输入图像上实现简单的端到端训练和高精度

SSD的整体框架：

1、SSD的Backbone采用VGG16（把VCC16的FC6和FC7换成了卷积层，FC6==>>Conv6，FC7==>>Conv7），移除dropout层和fc8层

2、多尺度feature map：抽取了Conv3、Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2共6个feature map构造不同的BBox，大的feature map检测小目标，小的feature map检测大目标（如下图，直观一点）

输入：300×300×3

Conv3：38×38×512==>缩小了8倍

Conv7：19×19×1024==>缩小了16倍

Conv8_2：10×10×512==>缩小了32倍

Conv9_2：5×5×256==>缩小了64倍

Conv10_2：3×3×256==>缩小了128倍

Conv11_2：1×1×256==>缩小了256倍

3、将上述6个feature map获得的BBox结合起来，利用NMS抑制效果不好的BBox，得到最终的结果。

（2）FSSD

2017CVPR，FSSD: Feature Fusion Single Shot Multibox Detector FSSD在VOC2007test获得82.7mAP，65.8FPS

在目标检测中，为了解决多尺度目标检测问题，有如下方案：

图a：图像金字塔Featurized image pyramid：将图像做成不同的scale，然后不同scale的图像生成对应的不同scale的特征。这种方法增加了时间成本。

图b：单尺度的特征图single feature map，采用最后一层的特征进行预测，常用于two-stage的检测中，如RCNN系列。该方法在单尺度feature map 固定感受野，很难覆盖到尺度变化的目标。

图c：特征金字塔feature pyramid network（FPN），顶层特征通过上采样和底层特征进行融合。自底向上（网络的前向过程）、自顶向下（采用上采样upsampling）、横向连接（将上采样的结果与自底向上生成的相同的feature map 进行融合）。该方法比较耗时，需要多次做concate、 element-wise等操作。

图d：SSD的多尺度特征融合方式，从网络不同层抽取不同尺度的feature map做预测。但SSD中没用到足够的浅层特征，不利于小目标检测。

图e：FSSD。在SSD上新增了一个轻量型的特征融合模块，通过轻量型的结构来达到融合高低层feature的目的。

FSSD架构：

（1）Backbone为VGG16，融合了conv4_3、FC7、conv7_2，新增层conv6_2、conv7_2、conv8_2、conv9_2构成目标检测层，feature map的尺度大小分别为：38×38、19×19、10×10、5×5、3×3、1×1，作者认为feature map小于10×10包含的信息太少，因此使用conv3_3、conv4_3、FC7、conv7_2做特征融合（实验中，conv6_2的步长s=1，因此conv7_2也是10×10），但融合conv3_3后性能没有提高。 == >> 融合conv4_3、FC7、conv7_2。

（2）将conv4_3、FC7、conv7_2使用1×1的卷积层降维到256，FC7、conv7_2用双线性插值做上采样，缩放至同一尺寸38×38，然后进行concat融合操作，再加个BN层正则化。

（3）FSSD将融合后的feature map 生成新的特征金字塔，3种特征金字塔的生成方式如下：

(a)：fusion feature map也参与了预测 => 78.2mAP

(b)：fusion feature map没有参与预测 => 78.8mAP

©：将simple bolok Conv+ReLU替换成了bottleneck block（2个Conv+ReLU） => 78.4mAP

（3）DSSD

2017，DSSD : Deconvolutional Single Shot Detector DSSD在VOC2007test获得81.5%mAP，VOC2012test获得80.0%mAP，COCO获得33.2%mAP
SSD对于小目标物体的检测效果不够理想（虽然浅层的feature map容易定位小目标，但是浅层feature map没有充分的语义信息，因此很难对目标进行准确的分类），为了提高小目标物体检测的精度，提出了DSSD。
DSSD主要做了以下方面的改进：
1、把SSD中使用的Backbone VGG-16换成了Resnet-101，增强特征提取能力；
2、使用反卷积层增加上下文信息

DSSD框架：

1、backbone：Resnet-101

把SSD中使用的VGG-16换成了Resnet-101，两者对比如下图。（DSSD中，红色的为反卷积层），但Backbone为Resnet-101的SSD的准确率比VGG的低。（Resnet-101的为76.4，VGG为77.5）

2、预测模块prediction module

SSD中在feature layer中直接输出Cls（类别）和Loc Regress（坐标），这导致计算量很大，如图a（76.4mAP）。MS-NNS中指出，改进每个任务的子网可以提高准确性。因此，DSSD在每个预测层添加了残差块：图b添加了一个残差块，但是跳过了连接（76.9mAP）；图c添加了1个残差块（77.1mAP）；图d添加了两个残差块（77.0mAP）。结果表明，增加残差预测模块后，检测准确率比原来的SSD的精度提高了。

3、反卷积模块Deconvolution Module

为了整合浅层特征图（Feature Layer from SSD）和反卷积层（Deconvolution Layer）的信息，作者引入反卷积模块，如下图：

(1)每个卷积层后面都添加了BN（Batch Normalization）

(2)反卷积层参与训练，而不是简单的双线性插值

(3)测试了不同的结合方式：元素求和 element-wise sum（78.4mAP）和元素点积element-wise product(78.6mAP)，结果表明元素点积element-wise product的效果要好

以后会继续补充阿，尤其是YOLO V4给了那么多Tricks：
1、深度学习中的网络结构backbone汇总； 2、Neck汇总；
3、激活函数汇总；
······

参考： 、目标检测之YOLO算法：YOLOv1,YOLOv2,YOLOv3,TinyYOLO，YOLOv4,YOLOv5,YOLObile,YOLOF详解