one shot目标检测目标检测 yolo

转载

时光机3号 2024-02-12 20:25:49

文章标签 one shot目标检测深度学习 tensorflow 图像处理 ide 文章分类 计算机视觉人工智能

1、YoLo算法

YoLo 算法采用一个单独的CNN模型实现端到端的目标检测，利用整张图作为网络的输入，直接在输出层回归bounding box的位置及其所属的类别，结构如下图所示：

one shot目标检测目标检测 yolo_one shot目标检测

图片resize成固定大小
送入CNN网络，进行分类回归任务
YoLo算法和R-CNN算法不同之处就是YoLo算法是一个整体的框架（one-stage），而R-CNN是two-stage，需要提取候选框和目标分类回归两个步骤。

1.1 算法思想

YoLo是You Only Look Once，不同于R-CNN之处就是将候选区域提取和目标分类回归合二为一，你仅仅看一眼就知道图片中有哪些对象以及它们的位置。

YoLo模型采用与定义预测区域的方法来完成目标检测，就是将原始图像划分为 $one shot目标检测目标检测 yolo_深度学习_02$ 个grid，如果某个object的中心落在这个网格内，则这个grid就负责预测这个object。每个网格要预测B个bounding box，每个bounding box除了要预测位置之外，还要附带预测一个confidence值。每个网格还要预测C个类别的分数。

one shot目标检测目标检测 yolo_图像处理_03

通过得到这98个目标的分类和回归结果，再进行NMS就可以得到最终的目标检测结果。

1.2 YoLo的网络结构

YoLo的结构比较简单，通过卷积-池化-全连接，基本上和CNN分类网络没有本质上的区别，最大的不同就是输出层用线性函数作为激活函数，目的是为了预测bounding box的位置。简单的说，YoLo的结构就是输入图片经过神经网络的变换得到一个输出的张量，如下图所示：

one shot目标检测目标检测 yolo_ide_04

1.2.1 网络输入

网络输入为原始图像，需要resize为448x448。因为最后的卷积层后接了两个全连接层，而全连接层需要固定的向量所为输入。因此YoLo的输入图像大小为448x448

1.2.2 网络输出

YoLo的输出是一个7x7x30的张量。根据YoLo的设计，输入图像被划分为7x7的grid，输出张量中的7x7对应着输入图像的7x7网格。或者我们把7x7x30的张量看作是49个30维的向量，也就是输入图像中的每个网格对应输出一个30维的向量。如下图所示：

one shot目标检测目标检测 yolo_ide_05

其中，30维的向量包含2个bounding box的位置和confidence以及该网格属于20个类别的概率（使用的是VOC数据集，因此是20个类别（猫，狗，鸟……）。如果使用的是COCO数据集，则为80个类别）

one shot目标检测目标检测 yolo_one shot目标检测_06

2个bounding box 的位置，中心点坐标和bbox的宽度和高度
2个bounding box 的置信度confidence
20个对象的分类概率（属于该类别的概率）

bounding box的置信度=该bounding box内存在对象的概率*该bounding box与该对象实际bounding box的IOU，公式如下：
$one shot目标检测目标检测 yolo_深度学习_07$

$one shot目标检测目标检测 yolo_ide_08$ 是bounding box内存在对象的概率

1.3 YoLo模型训练

1.3.1 构建训练样本

将一幅图片送入到YoLo模型中，对应输出的是7x7x30的张量，构建标签label时对于原图像中的每一个grid都需要构建一个30维的向量。

one shot目标检测目标检测 yolo_tensorflow_09

1. 20个对象的概率

对于输入图像中过的每一个对象，先找到中心点（真实标签值）。如上图的自行车，其中心点在黄色圆点位置，中心点落在黄色网格内，所以这个黄色网格对应的30维向量中，自行车的概率是1，其他对象的概率是0。所有其他48个网格的30维向量中，该自行车的概率都是0。这就是“中心点所在的网络对预测该对象负责”。狗和汽车的分类概率也是同样的方法。

2. 2个bounding box的位置
训练样本的bounding box位置应该是该对象真实位置的bounding box，但是一个对象对应了2个bounding box，需要根据网络输出的bounding box与对象实际的bounding box的IOU来决定，因此要在训练过程中动态决定到底用哪一个bounding box。

3. 2个bounding box的confidence
根据以上可知，预测置信度公式：
$one shot目标检测目标检测 yolo_深度学习_07$
$one shot目标检测目标检测 yolo_深度学习_11$ 是利用网络输出的2个bounding box与对象真实bounding box计算出来的。通过对比这两个bounding box的IOU，较大的负责预测该对象，即该bounding box的 $one shot目标检测目标检测 yolo_tensorflow_12$ ，同时对象真实bounding box的位置填入该bounding box。另一个不负责预测的bounding box的 $one shot目标检测目标检测 yolo_图像处理_13$ ，也就是置信度与IOU值直接相关，而 $one shot目标检测目标检测 yolo_one shot目标检测_14$ 判断改变框是否负责该对象。

上图中自行车所在的grid对应的结果如下图所示：

one shot目标检测目标检测 yolo_ide_15

1.3.2 损失函数

损失就是网络实际输出和样本标签间的偏差：

one shot目标检测目标检测 yolo_one shot目标检测_16

损失函数：

one shot目标检测目标检测 yolo_tensorflow_17

其中 $one shot目标检测目标检测 yolo_one shot目标检测_18$ 表示目标是否出现在网格单元 $one shot目标检测目标检测 yolo_ide_19$ 中， $one shot目标检测目标检测 yolo_ide_20$ 表示单元格 $one shot目标检测目标检测 yolo_ide_19$ 中的第 $one shot目标检测目标检测 yolo_ide_22$ 个边界框预测器负责该预测，YoLo设置 $one shot目标检测目标检测 yolo_深度学习_23$ 即调低不存在对象的bounding box的置信度误差的权重。

one shot目标检测目标检测 yolo_图像处理_24

计算边框高度、宽度误差损失用开方的说明：

one shot目标检测目标检测 yolo_ide_25

$one shot目标检测目标检测 yolo_tensorflow_26$ 的变化率逐渐趋于平缓，而 $one shot目标检测目标检测 yolo_深度学习_27$ 的变化率是1，假设小框预测的宽度与真实宽度的差值等于大框预测的宽度与真实宽度的差值，那么 $one shot目标检测目标检测 yolo_图像处理_28$ ，而 $one shot目标检测目标检测 yolo_tensorflow_29$ ，也就是损失将会相同，这即是加上开方的原因，让损失差异化。