神经网络缺陷检测原理神经网络残差是干嘛的

转载

jojo 2023-11-24 13:58:58

文章标签 神经网络缺陷检测原理神经网络数据卷积 文章分类 神经网络人工智能

神经网络缺陷检测原理神经网络残差是干嘛的_卷积

本文建议阅读时间 8 min

本文作者：铜豌豆 & Leong

残差神经网络 (ResNet) 是由微软研究院的何恺明、张祥雨、任少卿、孙剑等人提出的。ResNet 在 2015 年的 ILSVRC（ImageNet Large Scale Visual Recognition Challenge）中取得了图像分类、检测、定位三个冠军。2016 年 CVPR 论文：《Deep Residual Learning for Image Recognition》就介绍了 ResNet，该论文截至当前 (2020.1.3) 已被引用超过 36500 次。

残差神经网络的主要贡献是发现了 “退化现象（Degradation）”，并针对退化现象发明了“快捷连接（Shortcut connection）”（或者跳过连接），极大的消除了深度过大的神经网络训练困难问题。神经网络的 “深度” 首次突破了 100 层、最大的神经网络甚至超过了 1000 层。

神经网络缺陷检测原理神经网络残差是干嘛的_卷积_02

ILSVRC 2015 图像分类排名

ResNet 论文网址： https://arxiv.org/ab s/1512.03385

从一个信念说起

在 2012 年的 ILSVRC 挑战赛中，AlexNet 取得了冠军，并且大幅度领先于第二名。由此引发了对 AlexNet 广泛研究，并让大家树立了一个信念 ——“越深网络准确率越高”。这个信念随着 VGGNet、Inception v1、Inception v2、Inception v3 不断验证、不断强化，得到越来越多的认可，但是，始终有一个问题无法回避，这个信念正确吗？
它是正确的，至少在理论上是正确的。

假设一个层数较少的神经网络已经达到了较高准确率，我们可以在这个神经网络之后，拼接一段恒等变换的网络层，这些恒等变换的网络层对输入数据不做任何转换，直接返回（y=x），就能得到一个深度较大的神经网络，并且，这个深度较大的神经网络的准确率等于拼接之前的神经网络准确率，准确率没有理由降低。

层数较多的神经网络，可由较浅的神经网络和恒等变换网络拼接而成，下图所示。

神经网络缺陷检测原理神经网络残差是干嘛的_卷积_03

退化现象与对策

在讲退化这个概念之前先说一下梯度消失 (Gradients Vanishing) 和梯度爆炸 (Gradients Exploding) 这个概念。也就是在训练神经网络的时候，导数或坡度有时会变得非常大，或者非常小，多个层以后梯度将以指数方式变大或者变小，这加大了训练的难度。

当网络很深时，很小的数乘起来将会变成 0（梯度消失），很大的数乘起来会变得非常大（梯度爆炸）

通过实验，ResNet 随着网络层不断的加深，模型的准确率先是不断的提高，达到最大值（准确率饱和），然后随着网络深度的继续增加，模型准确率毫无征兆的出现大幅度的降低。以下曲线显示 20 层普通网络的训练误差和测试误差低于 56 层普通网络，这个现象与 “越深的网络准确率越高” 的信念显然是矛盾的、冲突的。ResNet 团队把这一现象称为 “退化（Degradation）”。

神经网络缺陷检测原理神经网络残差是干嘛的_数据_04

ResNet 团队把退化现象归因为深层神经网络难以实现 “恒等变换（y=x）”。乍一看，让人难以置信，原来能够模拟任何函数的深层神经网络，竟然无法实现恒等变换这么简单的映射了？

让我们来回想深度学习的起源，与传统的机器学习相比，深度学习的关键特征在于网络层数更深、非线性转换（激活）、自动的特征提取和特征转换，其中，非线性转换是关键目标，它将数据映射到高纬空间以便于更好的完成 “数据分类”。随着网络深度的不断增大，所引入的激活函数也越来越多，数据被映射到更加离散的空间，此时已经难以让数据回到原点（恒等变换）。或者说，神经网络将这些数据映射回原点所需要的计算量，已经远远超过我们所能承受的。

退化现象让我们对非线性转换进行反思，非线性转换极大的提高了数据分类能力，但是，随着网络的深度不断的加大，我们在非线性转换方面已经走的太远，竟然无法实现线性转换。显然，在神经网络中增加线性转换分支成为很好的选择，于是，ResNet 团队在 ResNet 模块中增加了快捷连接分支，在线性转换和非线性转换之间寻求一个平衡。