paper:http://mftp.mmcheng.net/Papers/20TIP-DFI.pdf code:https:///backseason/DFI
文章目录
- 论文实验结果
摘要
显著对象分割、边缘检测和骨架提取是三个对比鲜明的低像素视觉问题，现有的工作主要是针对每个任务设计量身定制的方法。但是，为每个任务存储一个预先训练好的模型并按顺序执行多个不同的任务是不方便和效率低下的。有些方法可以联合解决特定的相关任务，但需要同时支持不同类型注释的数据集。在本文中，我们首先展示了这些任务所共享的一些相似之处，然后演示了如何利用它们来开发一个可以端到端训练的统一框架。特别地，我们引入了一个选择性集成模块，该模块允许每个任务根据自己的特征从共享主干中动态选择不同级别的特征。此外，我们还设计了一个任务自适应注意模块，旨在根据图像内容先验智能地分配不同任务的信息。为了评估我们提出的网络在这些任务上的性能，我们在多个有代表性数据集上进行了详尽的实验。我们将表明，虽然这些任务自然截然不同，但我们的网络可以很好地处理所有它们，甚至比目前的单用途最先进的方法表现得更好。此外，我们还进行了充分的消融分析，从而提供了对所提议的框架的设计原理的充分理解。
论文的贡献
- 我们设计了一种动态特征集成策略，根据每个输入和任务自动探索特征组合，并在一个端到端统一的框架中解决三个对比任务，同时运行。
- 我们将我们的多任务方法与每个任务的单一用途技术进行了比较，并获得了更好的性能。
方法
在本节中，我们建议不尝试手动设计一个可能适用于这三个任务的体系结构，而是鼓励网络根据每个任务的好处和每个输入的内容在不同的级别动态选择特性。
Dynamic Feature Integration
在以前的许多多任务方法中都提到，不同任务所需的特征差别很大。其中大多数需要在单个数据集内进行多种注释，这很难获得。不同的是，我们使用了来自多个单独数据集的不同任务的训练数据，并且它更有可能满足不同任务所需要的特征发生冲突的情况，如图所示。1.为了解决这个问题，我们提出了DFIM，它根据训练和测试期间根据每个任务和输入动态调整特征集成策略。与现有的基于对不同任务特征的手动观察来集成来自主干的特定级别特征的方法相比，DFIM学习了特征集成策略。
Task-Adaptive Attention
由于我们利用来自多个单独数据集的训练数据，域转移问题不容忽视。如何有效有效地合并来自不同数据集的信息对于维护所有任务的整体性能是必不可少的。如图第一行（单个任务）所示。4，不同任务喜欢的功能水平差别很大。如果我们直接使用DFIM所生成的任务特定特征映射{dr、t}(r∈{2、4、8、16})来预测每个任务，某些任务到网络共享部分的梯度可能与其他任务明显偏差，从而将优化方向偏到局部最小值，导致拟合不足。
为此，我们建议在将来自主干的共享特征动态集成并为每个任务进行定制后，让网络具有智能地为不同任务分配信息的能力。
论文实验结果
