文章目录

  • 池化
  • 池化的步骤
  • 全连接层


池化

如何从全连接层网络改成resnet网络_卷积核


深度神经网络,每隔几个卷积层就会有些池化层夹在中间,还有这些非线性层。

池化层的作用是为了使中间生成的中间层更小更容易控制,最后又更少的参数

最常见的方法是最大池化法,下图例子中,池化层也有一个卷积核的大小,而且卷积核的大小和我们要处理的池化区域的大小是相同的,在这个例子中,我们用了2*2过滤器,并且我们这里设定步长为2,在这里我们不进行取数量级的方法,只取其中的最大值。

如何从全连接层网络改成resnet网络_卷积核_02


是否使用特定的步长,使它们不会相互重叠?
是的对于池化层来说是这样的,让他们没有任何重叠。在这里只用一个值来表示一个区域。

为什么最大值池化要好于均值池化?
均值池化不是没有用但是最大值池化更常用,它有这样意义,我有一批神经元的激活值,每个神经元表示了激发程度,你可以把最大值池化表示为这组卷积核在图像任意区域的受激发程度,最大值池化更显著。


池化的步骤

如何从全连接层网络改成resnet网络_全连接_03


1选择容量为whd的输入

2然后设置超参数,选择池化的空间范围或卷积核的大小,以及步长然后计算。

3然后上图计算

下图是常见的设置2*2的过滤器带2的步长。

如何从全连接层网络改成resnet网络_如何从全连接层网络改成resnet网络_04

全连接层

如何从全连接层网络改成resnet网络_卷积核_05


在最后我们会得到一个知道大小的矩阵,我们将其直接拉平,这样就获得一组一维输入与朴素神经网络相连接,得到卷积最后的全连接层,即与每个卷积图输出相连接的权重。