经典的卷积神经网络 常用卷积神经网络

---

---

4.典型卷积神经网络

4.1 简介

现有卷积神经网络分类：基于空间、深度、多路、宽度、特征通道、注意力等结构；
常见的卷积神经网络：LeNet、AlexNet、VGGNet、GoogleNet、ResNet、DenseNet、SENet等；

4.2 LeNet

1. LeNet由Yann LeCun在1998年提出，是最早出现的第一代卷积神经网络；
2. 网络结构：

1. 输入图像：单通道的$28\times28$大小的图像，矩阵表示$[1,28,28]$；
2. 第一个卷积层conv1的卷积核尺寸$5\times5$，滑动步长为1，卷积核数目20，经过该层后图像的尺寸变为$24(28-5+1=24)$，输出矩阵为$[20,24,24]$；
3. 第一个池化层pool核尺寸为$2\times2$，步长2，池化操作后图像尺寸减半，变为$12\times12$，输出矩阵为$[20,12,12]$；
4. 第二个卷积层conv2的卷积核尺寸为$5\times5$，步长为1，卷积核数目为50，卷积后图像尺寸变为8，$12-5+1=8$，输出矩阵$[50,8,8]$；
5. 第二个池化层pool2核尺寸为$2\times2$，步长为2，池化操作后图像尺寸减半，变为$4\times4$，输出矩阵为$[50,4,4]$；
6. pool2后面接全连接层fc1，神经元数目为500，再接ReLU激活函数；
7. 再接fc2，神经元个数为10，得到10维的特征向量，用于10个数字的分类训练，送入softmax分类，得到分类结果的概率输出；

4.3 AlexNet

1. 2012年Hinton及学生Alex Krizhevsky提出AlexNet，是第一个现代深度卷积网络模型；
2. 首次使用了现代深度卷积网络的技术方法，如：使用GPU进行并行训练、采用ReLU作为非线性激活函数、使用dropout防止过拟合、使用数据增强提高模型准确率；
3. AlexNet结构：5个卷积层、3个全连接层、1个softmax层；

4.4 VGGNet

1. VGGNet采用更小的卷积核与更深的网络提升参数效率；
2. VGGNet泛化性能好，常用于图像特征抽取、目标检测候选框的生成等；
3. VGGNet参数量巨大；

4.5 其他常见CNN网络

1. GoogleNet；
2. ResNet；
3. DenseNet；
4. SENet；