mask-rcnn.jpg

其实卷积是和图片大小是无关的,请关注我的西瓜视频账号 zidea 可以找到对应相关视频分享

FPN(Feature pyramid networks)

Faster R-CNN 使用标准的 Resnet 网络结构作为基础网络,来提取特征,提取大小不同的特征图来用来解决图像识别中目标的尺度问题,也就是相当在一系列尺寸不同(从小到大尺寸不同)的图片上进行特征提取来图像识别。

随着隐含层递增,隐含输出的特征图的大小减小一半,特征响应图通道数(深度)增加一倍。如图所示,我们从 resnet-50 架构的 4 个特征响应图中提取了特征(第1层,第2层,第3层,第4层输出)。

在 FPN 网络中最终输出的特征图,使用一种称为从上至下路径(top-bottom path)的方法。从最小的特征图通过上采样得到更大尺寸的通道数为 256 的特征响应图。然后逐个元素地将其添加到上一次迭代的上采样输出中。这样好处是不会丢失信息,不同大小尺寸特征图都会融合之后,保留各个层的特征响应图的信息。

此过程的所有输出都经过

resnet50 要如何使用_特征提取

卷积层以创建最终的 4 个特征图(P2,P3,P4,P5。第五个特征图(P6) 是通过对 P5 进行 max pooling 而生成的特征图。注意,在这里我们一定要对尺寸格外小心,上采样操作涉及的最小尺寸特征图是 (w/32,h / 32)。这里需要确保输入张量(tensor)的尺寸可被 32 整除。

这里通过一个例子来说明,假设图片大小为 w = 800 和 h = 1080。将宽和高同时除以 32 w/32 = 25,h/32 = 33.75,得到的特征图的大小为 (25,33)。接下来在上采样时,特征图尺寸将为 (50,66),应该将其逐元素添加到另一个尺寸为 (50,67) 的特征图中,因为两个 tensor 只有维度保持一致才能进行相加,所以这里因为维度不一致无法相加(合并)而会抛出错误。这是我们在使用 FPN 时,输入 tensor 应为 32 的倍数的原因。