清华大学提出视频去模糊领域适应方案，硬盘里的珍藏电影可以更清晰了 精华

引言：视频动态场景中的模糊问题及其挑战

这篇论文主要研究了动态场景视频去模糊技术，旨在消除拍摄过程中产生的不想要的模糊瑕疵。然而，尽管之前的视频去模糊方法取得了显著的成果，但由于训练和测试视频之间的域差距，导致在真实世界场景中的表现大幅下降。为了解决这个问题，作者提出了一种基于模糊模型的域自适应方案，通过测试时的模糊来实现去模糊模型在未知域的微调。首先，作者提出了一个相对清晰度检测模块，用于从模糊的输入图像中识别出相对清晰的区域，并将它们视为伪清晰图像。然后，利用模糊模型根据测试时的伪清晰图像生成模糊图像。为了根据目标数据分布合成模糊图像，作者提出了一个域自适应模糊条件生成模块，为模糊模型创建域特定的模糊条件。最后，生成的伪清晰和模糊对用于微调去模糊模型以获得更好的性能。

论文标题：Domain-adaptive Video Deblurring via Test-time Blurring

机构：National Yang Ming Chiao Tung University, Taiwan; National Tsing Hua University, Taiwan; National Chengchi University, Taiwan; Qualcomm Technologies, Inc., San Diego

论文链接：https://arxiv.org/pdf/2407.09059.pdf

提出的域适应方法概述

1. 域适应的必要性

由于摄像机设置和拍摄场景的多样性，不同的视频可能呈现出不同的模糊模式，这些模式在训练阶段可能未被模型见过，从而导致模型在实际应用中效果下降。域适应方法通过调整模型以适应新的域特性，有助于提升模型在未见领域的性能。

2. 方法的核心组件：相对锐度检测模块和域适应模糊条件生成模块

相对锐度检测模块（RSDM）用于从模糊视频中检测出相对清晰的区域，这些区域被视为伪锐利图像。域适应模糊条件生成模块（DBCGM）则根据这些伪锐利图像和视频中的运动线索，生成与目标域特定模糊条件相匹配的模糊图像。这些生成的模糊图像随后用于微调去模糊模型，以适应目标域的特性，从而在推理时实现域适应。

相对锐度检测模块（RSDM）详解

1. 模块的功能与工作原理

相对锐度检测模块（RSDM）的主要功能是从模糊视频中提取相对清晰的区域，这些区域被视为伪清晰图像用于域适应。该模块包括一个模糊强度估计器（Blur Magnitude Estimator, BME），它能够预测每个像素的模糊程度，并生成一个模糊强度图。这个图通过一个自适应的锐度阈值进行二值化处理，以筛选出相对清晰的区域。这些区域随后被裁剪出来，用于后续的域适应模糊处理。

2. 模糊强度估计器的设计与优化

模糊强度估计器采用了一个五阶段的编解码器设计，其中包括多尺度特征融合（Multi-Scale Feature Fusion, MSFF）。这种设计能够有效地从不同尺度捕捉图像特征，提高模糊强度的预测精度。为了优化这个估计器，使用了GoPro数据集进行训练，该数据集通过高速摄像机拍摄连续的清晰帧来合成模糊图像，从而为模糊强度提供了真实的训练基准。

域适应模糊条件生成模块（DBCGM）详解

1. 生成域特定模糊条件的方法

域适应模糊条件生成模块（DBCGM）利用从相对锐度检测模块（RSDM）获得的伪清晰图像，结合ID-Blau模糊模型，生成与目标域中存在的模糊模式一致的模糊图像。该模块包括模糊方向估计器（Blur Orientation Estimator）和模糊强度估计器（BME），它们共同工作以生成域特定的模糊条件。这些条件反映了视频中连续帧间的运动信息和曝光过程中的模糊强度。

2. 利用连续帧的运动信息优化模糊效果

DBCGM通过分析连续帧之间的运动轨迹图来优化模糊效果。这一过程涉及到预训练的光流网络，用于计算相邻帧之间的运动。通过这种方式，可以更准确地模拟实际视频拍摄过程中的运动模糊，生成更自然、与目标域一致的模糊图像。这些图像随后用于微调去模糊模型，以提高其在未知域中的表现。

实验设置与验证

1. 使用的数据集和模型

在本研究中，我们使用了GoPro数据集来优化ID-Blau模型和模糊度量估计器（BME）。GoPro数据集包含了由高速摄像机拍摄的连续清晰帧合成的模糊图像。此外，我们还采用了四种先进的视频去模糊模型，包括ESTRNN、MMP-RNN、DSTNet和Shift-Net，以验证我们提出的域适应方法的有效性。这些模型原本训练于合成数据集，而我们将其在五个真实世界的视频去模糊数据集上进行微调，包括BSD的三个子集和RealBlur以及RBVD测试集。

2. 实验结果与分析

我们的域适应方法在五个真实世界的视频去模糊数据集上均显著提高了视频去模糊模型的性能。具体来说，与基线模型相比，我们的方法在BSD-1ms8ms、BSD-2ms16ms、BSD-3ms24ms、RealBlur和RBVD测试集上分别提高了4.61dB、3.90dB、2.57dB、1.92dB和2.31dB的平均峰值信噪比（PSNR）。这些结果证明了我们的域适应方法能够有效地利用生成的域适应训练对，对原始训练于合成数据集的去模糊模型进行有效微调。

本文转载自 ​​AI论文解读​​，作者：柏企科技圈