resnet中引入自注意力机制 resnet 注意力

论文阅读笔记 - Residual Attention Network for Img Classification

• 摘要
• 简介

• 堆叠的网络结构
• 注意力残差学习

• 研究现状
• 重点 attention module
• 代码实现

摘要

文章中提出了残差注意力网络，将注意力机制结合到残差网络当中。残差注意力网络通过堆叠注意力模块来组成，这些注意力模块可以产生注意力敏感的特征。来自不同模块的具有注意力敏感的特征可以自适应地改变。在每一个attention模型内部使用了自上而下和至下而上的前馈结构，将前馈和反馈注意力机制展开到单一的前馈处理当中。文章提出用残差注意力学习的方法可以训练非常深的网络，网络可以轻松扩展到100层以上。
通过这个机制可以让分类多0.6%的准确率。

简介

注意力机制可以选择注意力集中的位置，还可以提高在这个位置上的物体的表征能力。以前的研究把注意力流描述为一个可以不同关注方面的连续的过程，从图中可以看出，加了注意力机制后可以降低背景的响应，可以让注意力集中在热气球上。

残差注意力机制可以加入到任何CNN当中，提高CNN的表现力。

堆叠的网络结构

残差注意力网络是由多个注意力模块堆叠起来的，不同的注意力模块可以捕捉到不同类型的注意力形式。

注意力残差学习

残差学习可以让网络更深
自下而上又自上而下的前馈方式在人体姿态估计和图像分割上运用的很成功，文章里也借鉴了这种结构，这种结构可以在一个单一的处理过程中模拟至上而下和至下而上的注意力反馈

研究现状

pass

重点 attention module

代码实现

参考 https://github.com/tengshaofeng/ResidualAttentionNetwork-pytorch/tree/master/Residual-Attention-Network