神经网络深度与宽度 神经网络深度选择

VGGNET：探索卷积神经网络的深度

比较典型的是下面的D-VGG16和E-VGG19模型

Architecture

1. input的图像统一大小都是224*224
2. 对于输入数据只做了一个预处理：每个像素点减去了一个RGB的平均值，这个平均值是在训练集中所有的图片总体求出来的一个平均值。
3. 统一使用一个小的filter 3*3，有一些部分也使用了1 * 1的，这样直接转换成了一个全连接层了。
4. 使用padding，使得输出图像与输入图像的空间上的大小保持一致
5. 使用2$\times$2 MAX-pooling，步长设置为2，这就意味着每经过一个池化层，图片就被缩小了一半。
6. 卷积层过后接入三个全连接层 :第一，二层为4096，第三层为1000，这样正好和image net数据集类别数量相同。最后使用softmax进行概率输出。
7. 统一使用RELU 激活函数
8. 在VGG之前的卷积网络的第一层filter的大小会被设置的很大，例如在AlexNet中使用了11$\times$11，步长为4的filter。而VGG使用的还是3*3，步长为1.
   note：通过两个3*3的卷积操作，实际上等价于一个5 * 5卷积操作，3个3 * 3就等价于一个7 * 7

这样的积少成多网络有什么好处？

以3个3*3的卷积网络替代一个7 * 7的卷积为例。

1. 合并使用了三个RELU，而使用7 * 7 只有一个RELU，只有一个会使得决策函数有更多的偏见可能。
2. 减少了参数的数量：如果假设在经过卷积之后数据的通道数不变，一直是C。
   3个$3\times3$的卷积核：$3\times C \times(3\times3\times C)=27C^2$
   1个$7\times 7$卷积核：$C\times(7\times7\times C)=49C^2$

Training

1. batch_size 设置成256
2. 采用带有动量的随机梯度下降法，momentum 设置为0.9
3. regularization by weight decay 5*10-4
4. 在最后三层全连接层的前两层运用了dropout方法，概率设置为0.5.
5. 学习率初始化为10-2，当验证集的准确率不再提高时候，将它再缩小十倍。
6. 为了加快训练速度，会预先训练好一些小模型，使用小模型中的参数去训练大模型。

首先，经过预先训练的小模型，发现使用LRN 对实验的结果并没有提升，所以决定不适用local response normalization。11 layers的A模型 到E 的19 layers模型，准确率有所提升，C中加入的1 * 1 的卷积核对结果会有负的影响，所以不考虑。

当深度到达19层时，模型的错误率就已经趋向饱和了。

pytorch 实现模型A

def vgg_block(conv_nums,in_channel,out_channel):
    box=[]
    for i in range(conv_nums):
        if i==0:
            box.append(nn.Conv2d(in_channel,out_channel,kernel_size=3,padding=1))
        else:
            box.append(nn.Conv2d(out_channel,out_channel,kernel_size=3,padding=1))
        box.append(nn.ReLU())
    box.append(nn.MaxPool2d(2,2))
    return nn.Sequential(*box)
    
    
    
def vgg(conv_arch,fc_features,fc_hidden_units=4096):
    net=nn.Sequential()
    for i ,(conv_nums,in_channel,out_channel) in enumerate(conv_arch):
        net.add_module("vgg_block"+str(i+1),vgg_block(conv_nums,in_channel,out_channel))
    net.add_module("fc",nn.Sequential(
                        nn.Flatten(),
                        nn.Linear(fc_features,fc_hidden_units),
                        nn.ReLU(),
                        nn.Dropout(0.5),
                        nn.Linear(fc_hidden_units,fc_hidden_units),
                        nn.ReLU(),
                        nn.Dropout(0.5),
                        nn.Linear(fc_hidden_units,10)
    
    ))
    return net    
    

conv_arch = ((1, 1, 64), (1, 64, 128), (2, 128, 256), (2, 256, 512), (2, 512, 512))
# 经过5个vgg_block, 宽高会减半5次, 变成 224/32 = 7
fc_features = 512 * 7 * 7 # c * w * h
fc_hidden_units = 4096 # 任意

net=vgg(conv_arch,fc_features,fc_hidden_units)