超分辨率研究的意义
超分辨率研究的问题是 将低分辨率的图像重建为高分辨率的图像。这种操作主要有这么几种应用场景:
- 图像压缩方面,在传输过程中可以只传输低分辨率的图片,然后通过重建操作得到高分辨率图像。低分辨率图像相比高分辨率图像来说,减少网络负载。
- 医学图像方面,可以通过设备得到低分辨率图像,通过重建,能更加清晰看到组织、细胞的状态。
- 公安安防方面。这方面主要是由于受天气的影响,存在**图像模糊、**分辨率低问题。通过超分辨率重建,可以恢复清晰的车牌号码、人脸。
- 遥感方面、获取高分辨率图像一直来是这方面的难点、所以希望引入高分辨重建提高图像的分辨率。
- 视频方面
超分辨率重建技术概述
1. 退化模型
这个模型的意思描述了,客观的自然环境下高分辨率如何退化为我们眼中的低分辨率的图片。这个过程包括三个主要的因素:运动变化、成像模糊、降采样。可以通过以下公式来描述这个过程:
其中L表示低分辨图,H表示高分辨率图,F:运动矩阵、B:模糊作用矩阵、D:降采样矩阵、N:加性噪声。所以图像的超分辨重建是这个过程的逆过程,这给这方面的研究提供了坚实的理论基础。
2. 评价准则
参考资料:https://www.zhihu.com/search?type=content&q=峰值信噪比 图像的评价准则主要是两种:
- 峰值信噪比(Peak signal-to-noise ratio, PSNR)
- 其中,W,H表示图像的长和宽,表示原图,表示重建后的图像,值越大代表失真越少。
- 结构相似性(Structural Similarity, SSIM)
SSIM从亮度、对比度和结构三方面来评估两幅图像的相似性。 - 从上面可以看出,值越大失真越少。
3.图像超分辨率三种方法
根据分类准则的不同,可以将图像超分辨率重建技术划分为不同的类别。从输入的低分辨率图像数量角度来看,可以分为单帧图像的超分辨率重建和多帧图像(视频)的超分辨率重建;从变换空间角度来看,可以分为频域超分辨率重建、时域超分辨率重建、色阶超分辨率重建等;从重建算法角度来看,可以分为基于插值的重建、基于重构的重建和基于学习的超分辨率重建。
- 基于插值的超分辨重建
这一类,包括Opencv中的最近邻插值法、双线性插值法和双立方插值法。 - 基于重构的超分辨率重建
这种方法类似于 分类算法中的传统方法。估算变换矩阵,常用方法:迭代反投影法、凸集投影法、最大后验概率法 - 基于学习的超分辨率重建
这种包括流行学习、稀疏编码、深度学习方法。
4.深度学习法
深度学习法的三篇开篇之作:
- SRCNN(Super-Resolution Convolutional Neural Network)
- ESPCN (Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network)
- RGAN (Photo-Realistic Single Image SuperResolution Using a Generative Adversarial Network)
这个暑假,这个方向的论文需要详细了解以下。