一,背景
随着各种数字仪器和数码产品的普及,图像和视频已成为人类活动中最常用的信息载体,它们包含着物体的大量信息,成为人们获取外界原始信息的主要途径。然而在图像的获取、传输和存贮过程中常常会受到各种噪声的干扰和影响而使图像降质,并且图像预处理算法的好坏又直接关系到后续图像处理的效果,如图像分割、目标识别、边缘提取等,所以为了获取高质量数字图像,很有必要对图像进行降噪处理,尽可能的保持原始信息完整性(即主要特征)的同时,又能够去除信号中无用的信息。所以,降噪处理一直是图像处理和计算机视觉研究的热点。
图像视频去噪的最终目的是改善给定的图像,解决实际图像由于噪声干扰而导致图像质量下降的问题。通过去噪技术可以有效地提高图像质量,增大信噪比,更好的体现原来图像所携带的信息,作为一种重要的预处理手段,人们对图像去噪算法进行了广泛的研究。在现有的去噪算法中,有的去噪算法在低维信号图像处理中取得较好的效果,却不适用于高维信号图像处理;或者去噪效果较好,却丢失部分图像边缘信息,或者致力于研究检测图像边缘信息,保留图像细节。如何在抵制噪音和保留细节上找到一个较好的平衡点,成为近年来研究的重点。
二,图像去噪理论基础
2.1 图像噪声概念
噪声可以理解为“妨碍人们感觉器官对所接收的信源信息理解的因素”。例如,一幅黑白图片,其平面亮度分布假定为f(x,y),那么对其接收起干扰作用的亮度分布R(x,y),即可称为图像噪声。但是,噪声在理论上可以定义为“不可预测,只能用概率统计方法来认识的随机误差”。因此将图像噪声看成是多维随机过程是合适的,因而描述噪声的方法完全可以借用随机过程的描述,即用其概率分布函数和概率密度分布函数。但在很多情况下,这样的描述方法是很复杂的,甚至是不可能的。而实际应用往往也不必要。通常是用其数字特征,即均值方差,相关函数等。因为这些数字特征都可以从某些方面反映出噪声的特征。
2.2 常见的图像噪声
在我们的图像中常见的噪声主要有以下几种:
(1),加性噪声
加性嗓声和图像信号强度是不相关的,如图像在传输过程中引进的“信道噪声”电视摄像机扫描图像的噪声的。这类带有噪声的图像g可看成为理想无噪声图像f与噪声n之和,即:
(2),乘性噪声
乘性嗓声和图像信号是相关的,往往随图像信号的变化而变化,如飞点扫描图像中的嗓声、电视扫描光栅、胶片颗粒造成等,这类噪声和图像的关系是:
(3),量化噪声
量化嗓声是数字图像的主要噪声源,其大小显示出数字图像和原始图像的差异,减少这种嗓声的最好办法就是采用按灰度级概率密度函数选择化级的最优化措施。
(4),“椒盐”噪声
此类嗓声如图像切割引起的即黑图像上的白点,白图像上的黑点噪声,在变换域引入的误差,使图像反变换后造成的变换噪声等。
2.3 图像噪声模型
实际获得的图像含有的噪声,根据不同分类可将噪声进行不同的分类。从噪声的概率分情况来看,可分为高斯噪声、瑞利噪声、伽马噪声、指数噪声和均匀噪声。它们对应的概率密度函数(PDF)如下:
(1),高斯噪声
在空间域和频域中,由于高斯噪声在数学上的易处理性,这种噪声(也称为正态噪声)模型经常被用在实践中。高斯随机变量Z的PDF由下式给出:
其中,z表示灰度值,μ表示z的平均值或期望值,α表示z的标准差。当z服从上述分布时,其值有95%落在[(μ-2σ), (μ+2σ)]范围内。
(2)脉冲噪声(椒盐噪声)
(双极)脉冲噪声的PDF可由下式给出:
如果b>a,则灰度值b在图像中将显示为一个亮点,反之则a的值将显示为一个暗点。若Pa或Pb为零,则脉冲称为单极脉冲。如果Pa和Pb均不可能为零,尤其是它们近似相等时,则脉冲噪声值将类似于随机分布在图像上的胡椒和盐粉微粒。由于这个原因,双极脉冲噪声也称为椒盐噪声。
(3)瑞利噪声
其均值和方差分别为:
(4)伽马噪声
其密度的均值和方差为:
(5)指数分布噪声
其中a>0,概率密度函数的期望值和方差是:
(6)均匀噪声
其均值和方差分别为:
2.4 图像去噪算法分类
(1),空间域滤波
空域滤波是在原图像上直接进行数据运算,对像素的灰度值进行处理。常见的空间域图像去噪算法有邻域平均法、中值滤波、低通滤波等。
(2),变换域滤波
图像变换域去噪方法是对图像进行某种变换,将图像从空间域转换到变换域,再对变换域中的变换系数进行处理,再进行反变换将图像从变换域转换到空间域来达到去除图像嗓声的目的。将图像从空间域转换到变换域的变换方法很多,如傅立叶变换、沃尔什-哈达玛变换、余弦变换、K-L变换以及小波变换等。而傅立叶变换和小波变换则是常见的用于图像去噪的变换方法。
(3),偏微分方程
偏微分方程是近年来兴起的一种图像处理方法,主要针对低层图像处理并取得了很好的效果。偏微分方程具有各向异性的特点,应用在图像去噪中,可以在去除噪声的同时,很好的保持边缘。偏微分方程的应用主要可以分为两类:一种是基本的迭代格式,通过随时间变化的更新,使得图像向所要得到的效果逐渐逼近,这种算法的代表为Perona和Malik的方程[27],以及对其改进后的后续工作。该方法在确定扩散系数时有很大的选择空间,在前向扩散的同时具有后向扩散的功能,所以,具有平滑图像和将边缘尖锐化的能力。偏微分方程在低噪声密度的图像处理中取得了较好的效果,但是在处理高噪声密度图像时去噪效果不好,而且处理时间明显高出许多。
(4),变分法
另一种利用数学进行图像去噪方法是基于变分法的思想,确定图像的能量函数,通过对能量函数的最小化工作,使得图像达到平滑状态,现在得到广泛应用的全变分TV模型就是这一类。这类方法的关键是找到合适的能量方程,保证演化的稳定性,获得理想的结果。
(5),形态学噪声滤除器
将开与闭结合可用来滤除噪声,首先对有噪声图像进行开运算,可选择结构要素矩阵比噪声尺寸大,因而开运算的结果是将背景噪声去除;再对前一步得到的图像进行闭运算,将图像上的噪声去掉。据此可知,此方法适用的图像类型是图像中的对象尺寸都比较大,且没有微小细节,对这类图像除噪效果会较好。
三,几种图像去噪算法介绍
3.1 基于空间域的中值滤波
中值滤波器是一种常用的非线性平滑滤波器,基本原理是把数字图像或数字序列中一点的值用该点邻域内各点的中值代换。设f(x,y)表示数字图像像素点(x,y)的灰度值,滤波窗口为A的中值滤波器可以定义为:
当n为奇数时,n个数x1,x2,…xn的中值就是按数值大小顺序处于中间的数;当n为偶数时,我们定义两个中间数平均值为中值。
3.2 基于小波域的小波阈值去噪
小波萎缩法是目前研究最为广泛的方法,小波萎缩法又分成如下两类:第1类是阈值萎缩,由于阈值萎缩主要基于如下事实,即比较大的小波系数一般都是以实际信号为主,而比较小的系数则很大程度是噪声。因此可通过设定合适的阈值,首先将小于闽值的系数置零,而保留大于闭值的小波系数;然后经过阈值函数映射得到估计系数;最后对估计系数进行逆变换,就可以实现去噪和重建;而另外一种萎缩方法则不同,它是通过判断系数被噪声污染的程度,并为这种程度引入各种度量方法(例如概率和隶属度等),进而确定萎缩的比例,所以这种萎缩方法又被称为比例萎缩。阈值萎缩方法中的两个基本要素是阈值和阈值函数。
阈值的选择:
阈值的确定在阈值萎缩中是最关键的。目前使用的阈值可以分成全局阈值和局部适应阈值两类。其中,全局阈值对各层所有的小波系数或同一层内的小波系数都是统一的;而局部适应阈值是根据当前系数周围的局部情况来确定阈值。目前提出的全局阈值主要有以下几种:
(1),Donoho和Johastone统一阈值(简称DJ阈值):
其中σ为噪声标准方差,N为信号的尺寸或长度。
(2),基于零均值正态分布的置信区间阈值:
(3),Bayes Shrink阈值和Map Shrink阈值。在小波系数服从广义高斯分布的假设下,Chang等人得出了阈值:
其中,(R为噪声标准方差,RB为广义高斯分布的标准方差值)。
(4),最小最大化阈值:这是Donoho和John Stone在最小最大化意义下得出的阈值与上边的阈值不同,它是依赖于信号的,而且没有显式表达式,在求取时需要预先知道原信号。
(5),理想阈值:理想阈值是在均方差准则下的最优阈值,同最大最小化阈值一样,也没有显式的表达式,并且这个阈值的计算通常也需先知道信号本身。
阈值函数:
Bruce和Gao。提出了一种半软阈值函数:
该方法通过选择合适的阈值T1和12,可以在软阈值方法和硬阈值方法之间达到很好的折中。另外,zhang等人为了对SIJRE误差准则函数进行基于梯度的优化搜索,提出了另外一种阈值函数,这种阈值函数同上边闭值函数所不同的是它拥有更高的导数阶,故其重建图像更为平滑,但该文作者将去噪效果的提高归功于搜索方法,其实,Donoh。和 Johnstone提出的在当前小波系数集合中,搜索最优阈值的方法,对于当前已经是优的了,由此可见,该去噪效果的提高则应归功于阈值函数的选取。
3.3 基于PDE的图像去噪
目前,基于PDE的图像处理方法的研究,也是图像去噪的研究热点方向,并且己经取得了一定的理论和实际应用方面的成它的去噪过程为通过建立噪声图像为某非线性PDE的初始条件,然后求解这个PDE,得到在不同时刻的解,即为滤波结果。Perona和Malik提出了基于PDE的非线性扩散滤波方法(以下简称P-M),各向异性的去噪模型根据图像的梯度值决定扩散的速度,使之能兼顾噪声消除和边缘保持两方面的要求。
以P-M模型为代表的这类方法己经在图像增强、图像分割和边缘检测等领域得到了广泛的应用,取得了很好的效果。
P-M是一种非线性的各向异性方法,目的是为了克服线性滤波方法存在的模糊边缘和边缘位置移动的缺点。基本思想是:图像特征强的地方减少扩散系数,图像特征弱的地方增强扩散系数。方程如下:
其中u(x,y,t)是随时间变化的图像,是梯度的模,扩散系数函数用于控制扩散速度。理想的扩散系数应当使各向异性扩散在灰度变化平缓的区域快速进行,而在灰度变化急剧的位置(即图像特征处)低速扩散乃至不扩散函数,所以,应具有如下性质:
基于以上的两个性质,P-M提出了如下扩散系数函数:
其中k为边缘阈值,用来判断边缘区域和平坦区域。引入通量函数,主要是为了阐明阈值k在扩散操作中的作用,其函数定义如下:
尽管P-M方程在抑制噪声与保留图像重要特征方面取得了一定的效果,但却表现出病态且不稳定。Catt等人对该方程进行了改进,他们先用高斯核同图像作卷积,然后取其梯度模作图像边缘信息的估计。文献提出用优化的对称指数滤波器对图像作光滑,然后取其梯度模作图像边缘信息的估计。这两种估计方法的基本思想是降低噪声的干扰,更加真实地提取图像的边缘特征信息,以便利用边缘信息更好地控制P-M方程的扩散行为。
3.4 全变分(TV)图像去噪
TV方法是由Rudin Osher and Fatemi提出,它基于变分法的思想,确定图像的能量函数,通过对图像能量函数最小化达到平滑去噪的目的。是现在比较流行的图像复原方法。图像的能量函数方程为:
在文献[2]中给出的全变分去噪能量泛函为:
为了使得能量函数最小,其欧拉-拉格朗日方程为:
其中,梯度算子:
正则项:
用来减少平坦区域的退化。将整体左边转换成图像中任意像素点中的局部坐标系后,方程可以分解成边缘方向和边缘正交的两个方向,分解后个方向的系数控制着该方向的扩散强度。扩散方向实际上是一个分线性的各向异性的扩散方程,其扩散算子仅沿图像梯度的正交方向扩散,扩散系数为1/|▽μ|,而朝着梯度方向无扩散。这样可以通过图像的梯度来判断边缘位置,使得边缘扩散系数最小,从而降低对边缘的模糊程度,但是也由于边缘的扩散系数小,噪声得不到很好的抑制,而且当|▽μ|>λ的时候,势能函数是非凸的,使得边缘处处理表现不稳定。所以,如何确定扩散参数的值是一个问题。
四,评价图像质量的客观参数
客观评价算法根据其对参考图像的依赖程度, 可分成三类。
(1)全参考:需要和参考图像上的像素点做一一对应的比较;
(2)半参考:只需要和参考图像上的部分统计特征做比较;
(3)无参考:不需要具体的参考图像。其中全参考算法是研究时间最长、发展最成熟的部分
a,PNSR峰值信噪比
b,ENL等效视数
c,SNR信噪比
引用别人的一片博客:
Lin Zhang等人在论文《A COMPREHENSIVEEVALUATION OF FULL REFERENCE IMAGE QUALITY ASSESSMENT ALGORITHMS》中,比较了几种全参考图像质量评价算法,在此记录一下他们的结果。
下表所示是他们所用的图像库,包含了:TID2008database,CSIQ database,LIVEdatabase,IVCdatabase,Toyama-MICTdatabase,Cornell A57 database,以及 WirelessImaging Quality database (WIQ)。从上到下数据库的规模依次下降。
一共比较了如下所列的全参考图像客观质量评价算法:
PeakSignal to Noise Ratio(PSNR)
峰值信噪比。
noise quality measure (NQM) index
参考文献:N. Damera-Venkata, T.D. Kite, W.S. Geisler, B.L. Evans, and A.C.Bovik, “Image quality assessment based on a degradation model,” IEEE Trans. IP,vol. 9, pp. 636-650, 2000.
universal quality index (UQI)
参考文献:Z. Wang and A.C. Bovik, “A universal image quality index,” IEEE SignalProcess. Lett., vol. 9, pp. 81-84, 2002.
structural similarity (SSIM) index
参考文献:Z. Wang, A.C. Bovik, H.R. Sheikh, and E.P. Simoncelli,”Image qualityassessment: from error visibility to structural similarity,” IEEE Trans. IP,vol. 13, pp. 600-612, 2004.
multi-scaleSSIM (MS-SSIM) index
参考文献:Z. Wang, E.P. Simoncelli, and A.C. Bovik, “Multi-scale structuralsimilarity for image quality assessment,” ACSSC’03, pp. 1398-1402, 2003.
information fidelity criterion (IFC) index
参考文献:H.R. Sheikh, A.C. Bovik, and G. de Veciana, “An information fidelitycriterion for image quality assessment using natural scene statistics,” IEEETrans. IP, vol. 14, pp. 2117-2128, 2005.
visual information fidelity (VIF) index
参考文献:H.R. Sheikh and A.C. Bovik, “Image information and visual quality,”IEEE Trans. IP, vol. 15, pp. 430-444, 2006.
visual signal to noise ratio (VSNR) index
参考文献:D.M. Chandler and S.S. Hemami, “VSNR: a wavelet-based visualsignal-to-noise ratio for natural images,” IEEE Trans. IP, vol. 16, pp.2284-2298, 2007.
information content weighted SSIM (IW-SSIM) index
参考文献:Z. Wang and Q. Li, “Information content weighting for perceptualimage quality assessment,” IEEE Trans. IP, vol. 20,
pp. 1185-1198, 2011.
Riesz transforms based feature similarity (RFSIM) index
参考文献:L. Zhang, L. Zhang, and X. Mou, “RFSIM: a feature based imagequality assessment metric using Riesz transforms,” ICIP’10, pp. 321-324, 2010.
feature similarity (FSIM) index
参考文献:L. Zhang, L. Zhang, X. Mou, and D. Zhang, “FSIM: a feature similarityindex for image quality assessment,” IEEE Trans. IP, vol. 20, pp. 2378-2386,2011.
统计了每种全参考图像质量评价算法的客观值和主观值之间的相关系数:
斯皮尔曼秩相关系数(Spearman rankorder correlation coefficient,SROCC),肯德尔秩次相关系数(Kendallrank-order correlation coefficient,KROCC),皮尔森线性相关系数(Pearsonlinear correlation coefficient,PLCC)。客观算法的结果和主观评价的结果相关性越高,则以上三个系数的值越接近于1,说明算法越准确。由表可见,FSIM算法的准确度相对来说是最高的,三个系数的取值分分别达到了0.9094,0.7409,0.9050。
下表将上表的数值进行了一下排名。排在前面的有FSIM,IW-SSIM,RFSIM,MS-SSIM。猛然发现:PSNR真的是好不准啊~~
下表反映了每种全参考质量评价算法的耗时,耗时越短,说明算法速度越快。
总体说来FSIM,IW-SSIM,RFSIM这三种比较新的图像质量评价算法准确性比较高
五,总结
随着科技的发展和工作生活的需要,数字图像滤波应用将越来越广泛,要求也将越来越高。到目前为止,仍有很多去噪方面的新思想、新方法出现,不断的充实图像去噪方法。而且,噪声的研究范围也在不断扩大,由高斯噪声到非高斯噪声。去噪技术有很广泛的应用和研究的前景,而且,研究领域也在不断的拓展。
本文主要的内容是对图像的去噪技术做一个简单的介绍。全文对图像去噪技术进行了概述,包括噪声的概念和去噪原理,并对一些基本的图像去噪方法做了介绍。由于时间关系,并且这是导论课程的论文作业,就没有进行深入细致的研究。
参考文献
[1] GonzalesRC,WoodsRE.DigitalImageProeessing,SeeondEdition Beijing Eleetronieand Industrial Press,2002
[2] Leonid I. Rudin 1, Stanley Osher and Emad Fatemi Nonlinear total variation based noise removal algorithms 1992
[3] W.Luo,An efficient detail preserving approach for removing impulse noise in images,IEEE Signal Proeess.Lett.,2006,13(7):413-416.
[4]