卷积神经网络的基础模块为卷激流包括卷积（用于维数拓展）、非线性（洗属性、饱和、侧抑制）、池化（空间或特征类型的聚合）和批量归一化（优化操作，目的是为了加快训练过程中的收敛速度，同事避免陷入局部最优）等四种操作。下面简单介绍这四种操作。
1、卷积：利用卷积核对输入图像进行处理，可以得到鲁棒性较高的特征。
数字信号处理中常用的卷积类型包括三种，即Full卷积、same卷积和vaild卷积。卷积流中常用的是vaild卷积。
2、池化：降采样操作，即在一个小区域中，采取一个特定的值作为输出值。
本质上，池化操作执行空间或特征类型的聚和，将死空间维度，其主要意义是：减少计算量，刻画评议不变特性；约减下一层的输入维度，有效控制过拟合风险。池化操作有最大池化、平均池化、范数池化和对数概率池化等，唱的池化为最大池化（一种非线性下采样方式），还有空间域金字塔池化方式，他是一种多尺度的池化方法，可以获取输入（指卷积后得特征映射图）的多尺度信息；另外，空间域金字塔池化可以把任何尺度的图像的卷积特征转化成相同维度，这不仅可以让卷积神经网络处理任意尺度的图像，还能避免cropping和warping操作所导致的一些信息丢失，具有非常重要的意义。
3、激活函数：非线性操作，通过弯曲或扭曲实现表征能力的提升。
激活函数的核心是：通过层级非线性映射的复合式的整个网络的非线性刻画能力得到提升，弱网络中没有非线性操作，风多的层级组合仍为线性逼近方式，表征或挖局数据中高层语义特征的能力有限。
4、批量归一化：优化操作，减少训练过程中的不稳定性。
目的是避免随着层级的加深而导致信息的传递呈现逐层衰减的趋势，因为数据范围大的输入在模式分类中的作用可能偏大，而数据范围小的输入作用可能偏小，总值数据范围偏大或偏小，可能导致深度神经网络收敛慢、训练时间长。
摘自——
《深度学习、优化与识别》
