RAISR:
- RAISR: Rapid and Accurate Image Super Resolution --Yaniv Romano, 2017(211 Citations)
核心思想
LR patch $A$与滤波器 $h$ 卷积 = HR像素 $b$
算法流程
offline阶段:X2SR
1、LR图通过bicubic插值,得HR初始图$Y$,$Y$的像素分为4个像素类型(P1-P4),分切$\sqrt{n}*\sqrt{n}$的patch
2、统计以P1像素类的像素$y_i$的patch内的h、v方向梯度信息$g_h$、$g_v$
3、根据$g_h$、$g_v$使用公式计算$y_i$的梯度angle、梯度strength、梯度coherence三种特征(类特征信息),P1像素类的像素根据三种特征归类;
其中,设置梯度Angle范围为[0,180],分为24段;梯度Strength和梯度Coherence范围为[0, 1.0],范围各分成3段。每个像素类的LR patch及其对应的HR patch可以分24x3x3=216梯度特征类中
4、假设Q包含一种梯度特征类的LR patch数据,V包含LR patch对应的HR patch数据,解最小二乘公式,得到每梯度特征类对应的h $$ min_h \lVert Qh − V\rVert_2^2 $$ 其中,h表示每个梯度特征类对应的滤波器(类映射关系)
online阶段:
1、input图用bilinear插值得到HR初始图$Y$,分切patch $y_i$
2、找到$y_i$的中心像素对应的像素类型
3、统计patch $y_i$的梯度信息,求出梯度(Angle,Strength,Coherence)
4、根据像素类型和梯度(Angle,Strength,Coherence),在864个分类中,找到$y_i$对应的特征类型,提取对应滤波器
5、$y_i$和它对应的滤波器做卷积操作,得到patch $y_i$中心像素对应的HR图像素$x_i$
6、循环2-5步遍历全图$Y$,输出HR图$X$
(1-6步流程图见上图)
7、根据局部结构相似度修正HR图像异常像素点
(1-7步流程图见下图)
对训练图像集HR做锐化或对比度增强操作之后,再做训练。得到的滤波器可以使得重建图像清晰度、对比度更好,且不增加重建时间。
实验效果
filter滤波器大小 11x11,文本的滤波器用大小9x9