resnet50模块 resnet50 fpn

转载

mob64ca140ee96c 2024-03-15 08:23:55

文章标签 resnet50模块卷积神经网络深度学习计算机视觉 git 文章分类 架构后端开发

在看本文之前，请下载对应的代码作为参考：pytorch/vision/detection/faster_rcnn。

总体结构

花了点时间把整个代码架构理了理，画了如下这张图：

(*) 假设原始图片大小是599x900

resnet50模块 resnet50 fpn_计算机视觉

主体部分分为这几大部分：

Transform，主要是对输入图像进行转换
Resnet-50，主干网，主要是特征提取
FPN，主要用于构建特征金字塔给RPN提供输入特征图
RPN，主要是产生region proposals
ROI，主要是检测object区域，各个区域的labels以及各个区域的scores

Transform

请看torchvision Faster-RCNN ResNet-50 FPN代码解析（图片转换和坐标）

Resnet-50

这里就不多做介绍，这里用的标准的Resnet-50。

FPN

前面的libtorch学习笔记（17）- ResNet50 FPN以及如何应用于Faster-RCNN已经有详细介绍，请参考之。

RPN

首先请看RPN头部紫色部分，对应的代码中是：

class RegionProposalNetwork(torch.nn.Module):
	......
    def forward(self,
                images,       # type: ImageList
                features,     # type: Dict[str, Tensor]
                targets=None  # type: Optional[List[Dict[str, Tensor]]]
                ):
		......
        # RPN uses all feature maps that are available
        features = list(features.values())
        objectness, pred_bbox_deltas = self.head(features)
		......

class RPNHead(nn.Module):
	......
    def __init__(self, in_channels, num_anchors):
        super(RPNHead, self).__init__()
        self.conv = nn.Conv2d(
            in_channels, in_channels, kernel_size=3, stride=1, padding=1
        )
        self.cls_logits = nn.Conv2d(in_channels, num_anchors, kernel_size=1, stride=1)
        self.bbox_pred = nn.Conv2d(
            in_channels, num_anchors * 4, kernel_size=1, stride=1
        )
        	
    def forward(self, x):
        # type: (List[Tensor]) -> Tuple[List[Tensor], List[Tensor]]
        logits = []
        bbox_reg = []
        for feature in x:
            t = F.relu(self.conv(feature))
            logits.append(self.cls_logits(t))
            bbox_reg.append(self.bbox_pred(t))
        return logits, bbox_reg

这里先对5个特征图进行3x3的卷积处理，输入和输出的channel都是256，这里主要是对特征进行进一步提取以便于产生proposals。然后再对这些输出，同时进行两个1x1的卷积处理：

Objectness，用于表明每点在某层特征图上对应的anchor是否在一个object的可能性张量
pred_bbox_deltas，用于表明每点在某层特征图上对应的anchor距离中心点各个方向的偏移的张量
这一点是和标准的Faster-RCNN提到的是不一样的，标准论文中每个点取9个不同的anchors，这里是5个特征层，每层每点取3个anchor，总共取15个anchor，具体参考前面文章libtorch学习笔记（17）- ResNet50 FPN以及如何应用于Faster-RCNN。这也是为什么cls_logits这个1x1卷积层输出为3（3 anchor/point in one level * 1 (foreground possibility)），而bbox_pred则是12（3 anchor/point in one level * 4 (4 offset/box)）。

然后再看anchor_generator，这个模块主要是在每层特征图上产生3个anchors。

最后卷积层对每层特征图进行处理后进入concat_box_prediction_layers函数进行拼接，

resnet50模块 resnet50 fpn_git_02

最后得到的box_cls变成了这样的layout，box_regression也是按照这个顺序排列的：

resnet50模块 resnet50 fpn_深度学习_03

box_coder.decode在这里的作用把产生的anchor和box_regression结合产生
$resnet50模块 resnet50 fpn_卷积神经网络_04$
这些在R-CNN论文中已经由详细描述，而且前面的笔记也已经做了详细描述，这里就不做赘述。
最后RPN网络通过filter_proposals选出1000个proposals。
具体实现解读参考另外一篇torchvision Faster-RCNN ResNet-50 FPN代码解析（RPN。