失焦圖像的無參考質量評價

劉玉濤 趙德斌

Abstract： Images are vulnerable to different kinds of distortions， such as blur， noise， blocking， etc.， which all degrade the image quality. Among the distorted images， out-of-focus blurred images are frequently-encountered and occupy a large proportion. However， few efforts have been done to quality evaluation for these images. In this paper， a dedicated quality evaluation scheme is devised to automatically infer the quality of out-of-focus blurred images， which is named GPSQ （Gradient magnitude and Phase congruency-based and Saliency-guided Quality model）. In GPSQ， a pair of low-level features， including Gradient Magnitude （GM） and Phase Congruency （PC）， are extracted to characterize the image local blurriness. Then saliency detection is performed on the image to generate a corresponding saliency map. Finally， the local structure map with the saliency map is weighted to estimate the visual quality of the out-of-focus blurred image. Experimental results demonstrate the proposed GPSQ delivers high consistency with subjective evaluation results.

引言

隨著手機相機的普及使得圖像的獲取變得非常便捷。然而，不適當的相機參數或者人為拍攝的隨意性使得獲取的照片很容易遭受失真的干擾。這些失真主要有模糊、噪聲、對比度改變等等。在失真圖像里面，失焦模糊圖像占據很大比例，因此，本文提出一種專門用于失焦圖像的質量評價的方法。該方法不僅可以在拍攝過程中檢測失焦模糊圖像的質量，還可以幫助在拍攝后期剔除失焦模糊的圖像。

一般地，圖像質量評價方法可分為3類，即：全參考、半參考和無參考評價方法。其中，全參考質量評價方法是指在原圖或者無失真圖已知的情況下，通過比對原圖和對應的失真圖來預測失真圖的質量。代表性的方法主要有PSNR（peak signal-to noise ratio）和SSIM （structural similarity index） [1]等。具體來說，PSNR的做法是計算均方誤差（Mean Squared Error， MSE）來估計圖像的質量，MSE越小表示失真圖像與原圖越接近，從而失真圖像的質量越高，相反失真圖像的質量越低。SSIM通過計算原圖與失真圖像之間的亮度、對比度和結構相似性來估計圖像的質量。因為有原圖可以參考，分析可知全參考評價方法的預測性能是最高的，但是要求原圖已知的條件太高，現實應用中往往很難達到。因此，研究者考慮只提取部分原圖的信息或特征，通過比較特征來對圖像的質量進行預測，這就是半參考的圖像質量評價方法。該類方法不需要參考原圖全部的信息，只需要提取原圖的一些特征，運行時極大地降低了數據量。代表性方法主要有RRED（Reduced Reference Entropic Differencing） [2]和FEDM（Free-energy based Distortion Metric） [3]等。第三類方法是無參考的圖像質量評價方法。這類方法毋須參考原圖的信息，可以對失真的未知原圖質量做出估計，而且能夠充分貼合現實情況，準確率高的無參考質量評價方法在實際的圖像處理中有著重要意義。主流的無參考質量評價方法可以參考BRISQUE、NFERM等模型。因為在圖像獲取過程中，沒有原圖可以對照，本文中研究設計的質量評價方法就屬于無參考評價方法。

1提出的失焦圖像質量評價方法

本文中，首先提取圖像的2個低視覺層次的特征，分別是梯度幅值（GM）和相位一致性（PC）， 然后結合GM和PC得到局部結構圖，該結構圖可以局部地度量失焦圖像的模糊度，于是借助顯著性檢測方法對失焦圖像進行顯著性檢測，得到對應的顯著圖，在顯著圖中，值越大的區域說明該區域要更多地受到人眼的關注。進一步地，將用顯著圖加權結構圖得到質量圖，再通過池化處理得到最后的質量估計。

1.1GM提取

人類視覺系統通過提取視野中的結構來理解視野的內容，然而在失焦圖像中，由于失焦模糊的引入使圖像的結構信息遭到破壞，阻礙了視覺系統對圖像的正常解釋，從而導致圖像的質量下降。所以度量結構信息的損失能夠有效地預測圖像質量的下降程度。

1.2PC提取

除了利用GM提取圖像的結構信息，研究同時考慮了圖像結構在圖像頻域里的表現特性，即提取圖像的PC特征來進一步提取圖像的結構信息。與GM比較，PC對光照和對比度的改變不敏感，即在光照或者對比度不佳的條件下，也可以很好地提取出圖像的結構信息。具體的計算方法如下。

圖2中，（a）是一幅失焦圖像，（b）、（c）、（d）分別是（a）的GM、PC和S圖。首先觀察紅色方框的位置，即會發現墻的邊緣兩側白云和白塔都是白色，導致（b）中利用空域GM提取墻的邊緣并不明顯，然而（c）可以高性能地提取墻的邊緣；同樣地，觀察黃色方框的位置，分析表明圍欄具有相似的頻率表現，所以（c）中利用頻域PC提取的邊緣效果不好，而利用GM可以很好地提取邊緣，如圖（b）中黃色方框所示。觀察（d）圖，又會發現不論是紅色方框里的邊緣，還是黃色方框里的邊緣都能夠有效地提取出來。由此則可推演得到GM和PC對于邊緣結構提取各有優缺點，最大值結合可以融合GM和PC的優點，從而全面地提取出圖像的邊緣結構，在后面的分析中，研究將利用實驗結果來進一步驗證這一研究論點。

由于人類視覺系統不是對圖像中所有的內容感興趣，在得到局部結構圖S后，還要對失焦圖像進行顯著性檢測，得到一幅顯著圖。在顯著圖中，值越大說明該點受人眼關注程度越高，所以顯著性檢測可以使最終的預測更加準確。本文的做法是用顯著圖來加權生成的局部結構圖，再設計得到一個局部的質量圖Q，假設顯著圖為SM，則：Q（i， j）=SM（i， j）·S（i， j）∑（i， j）∈QSM（i， j）（11）至此，基于池化得到的局部質量圖Q，可計算得到最后的質量估計，即：Quality=1N∑（i，j）∈ΩQ2（i， j） （12）其中，Ω是Q中前20%（按從大到小排序）的數的位置的集合，N是Ω的元素的個數。

2實驗結果與分析

本節研究將通過實驗來驗證文中設計算法的預測性能。首先，給出評價算法預測性能的指標，然后提及了研究擬將用到的圖像測試集，接著探討了本文算法與當前主流算法的預測性能比較，最后驗證了本文算法中提供特征的有效性以及顯著性檢測在提高預測性能上的作用。

2.1預測性能評價準則

研究中，采用4個統計指標來評價本文研發算法的預測性能，分別是斯皮爾曼等級相關系數（SROCC）、肯德爾等級相關系數（KROCC）、皮爾森線性相關系數（PLCC）和均方根誤差（RMSE）。此后將計算預測的質量分數與人為標定的質量分數之間的3個相關性系數，系數越接近于1說明預測的性能越好；預測的質量分數與人為標定的質量分數的均方誤差越接近于0，說明預測性能越高。在計算PLCC和RMSE之前，視頻質量專家組建議先將算法預測的質量分數進行非線性擬合[4]，擬合函數一般采用：

2.2測試圖像庫

實驗中采用2個公開的失焦圖像庫來測試本文提出的方法。第一個數據庫[5]包含150幅失焦圖像，每幅失焦圖像的質量都經過人為標定，對應一個主觀質量分數，這150幅圖像可以分為30個場景，每個場景有5個不同的失焦模糊等級。另一個數據集[6]包含585張圖像，這些圖像可以分為5大類，分別是無模糊、失焦模糊、簡單運動模糊、復雜運動模糊以及混合模糊。根據本文研究的問題，設計選擇失焦模糊這一類作為仿真測試數據集。在圖3中，就整體展示了數據集里的失焦圖像示例。

2.3預測性能的比較

研究將提出的方法與目前主流的算法進行對比，實驗結果可見表1、表2（最優結果由黑體表示）。表1、表2分別列出了在第一個、第二個數據庫上的預測性能。過程中，將研究比較的算法分為2類。第一類是通用的質量評價方法，包含：BIQI[7]、DIIVINE[8]、NFERM[9]以及NIQE[10]；第二類方法是專門用于模糊失真的評價方法，其中包含CPBD[11]、ARISMC[12]、FISH[13]、S3[14]。

由表1中的結果分析可知，通用的評價方法對失焦圖像具有評價的能力，比如NFERM的準確率達到了70% （PLCC=0.752 9）以上，DIIVINE也達到了60%（PLCC=0.647 5）以上，而BIQI和NIQE的預測性能相對較低。同時，專門評價模糊的模型比通用的模型性能要高，其準確率都在60%以上。這種情況是因為失焦模糊也屬于模糊，即使得專門評價模糊的方法對其就表現出更強的針對性。通過比較研究發現，本文提出的方法GPSQ取得了最優的評價性能，準確率達到93.41%，各項指標都取得了最優值。

對比表1和表2，可以發現表2中所有算法的預測性能都有所下降，究其原因可解析為如下2點：

（1）在第二個數據庫里，圖像的分辨率不固定，而已有研究表明圖像的分辨率對圖像的主觀質量是有影響的，但第一個數據庫的圖分辨率則是固定的。

（2）第二個數據庫圖像的對比度和亮度也是不固定的，而對比度和亮度也是影響圖像主觀質量的重要原因。

因此，第二個數據庫中圖像失真的情況更趨復雜，單純使用模糊評價的方法將難以準確預測其主觀質量。盡管如此，本文提出的方法仍然取得了最優的實驗結果，并且各項指標也都達到了最優，這就證明了本文提出方法的優越性。

2.4GM和PC驗證

在前述章節中，研究選用一個例子論述了GM和PC可以互補地提取圖像的結構特征，最大值融合GM和PC可以系統全面地提取出圖像的結構，因此，利用融合GM和PC提取特征可以得到比任何一個更好的預測性能。研究中在第一個數據庫上進行實驗，分別利用GM、PC和兩者的結合來提取圖像的結構特征，然后分別用于質量預測，實驗結果可見表3。觀察表3可以發現，僅用GM或者PC也可以達到較高的預測準確性，而且兩者相差不大，PLCC都在0.9以上。但在結合GM和PC之后，各項指標比GM或者PC都出現明顯的增長，說明預測性能比GM或者PC任何一方都得到了可觀的改進，這也證明了本文采取最大值融合策略的合理性。

2.5顯著性檢測對預測性能的影響

在本文的方法中，研究利用顯著性檢測來得到失焦圖像的人眼顯著圖，并用于對結構圖進行加權，從而可以提高算法預測的準確度。在這一節，將展開如下實驗來驗證顯著性在預測性能提升方面的作用。不失一般性，采用了4種主流的顯著性檢測模型，即Covsal[15]、GBVS[16]、Itti[17]和RARE[18]，結構圖的生成也對比了2種方法，即：FISH和S3，利用顯著圖來加權結構圖的方法是固定的，并在第一個數據庫上進行實驗，利用SROCC來評價預測性能，實驗結果可見表4。在表4中，None表示不采用顯著性模型。從表4中分析發現：首先，，不論是FISH、S3還是本文的方法GPSQ、采用Covsal、GBVS和Itti做顯著性檢測，最終的預測性能都高于不采用顯著性檢測的做法，從而證明了本次研究采用顯著性檢測來提高預測準確率的良好效果。其次，研究發現在任何一種顯著性檢測的模型下，本文的方法都取得了最優的預測結果，證明了本文算法的優越性。當利用Covsal模型時，本文的算法取得了最佳的性能，所以研究默認在提出的方法中將采用Covsal模型進行顯著性檢測。最后，在RARE模型下，其SROCC的值都低于不采用顯著性檢測的SROCC的值，說明預測性能還取決于顯著性檢測的準確率，顯著性檢測不準確會導致運行后預測性能的降低?；诖?，還將用一個顯著性檢測的示例來推得演繹說明。研究比較Covsal和RARE的顯著性檢測結果，視像標識處理后可如圖4所示。圖4中，（a）是一張失焦圖像，（b）和（c）分別是Covsal和RARE得到的顯著圖。在顯著圖中，越亮的地方表示人眼對該處會有特別觀察傾向，觀察圖中的紅色矩形框，就會發現RARE認為背景的紅花更吸引人眼的關注，實際上研究者觀察圖（a），也會更多地聚焦于前景的花上面。顯然，Covsal的檢測結果更符合實踐判斷，從而提高了質量評價的準確性。

2.6算法復雜度分析

對質量評價算法而言，算法時間復雜度也是一個重要的指標，在這一小節研究將對提出算法的時間復雜度進行分析，同時還將給出所有算法在一幅480×720圖像上運行時間的效果對比。實驗的硬件配置為一臺Thinkpad X220筆記本電腦，其內置的CPU為2.5 GHz，RAM為4 G；軟件平臺為Matlab R2012a。實驗結果可詳見表5。在表5中，N代表圖像元素個數；C是常數；d是窗口大??；W和H分別代表圖像的寬度和高度；m是DNT鄰域大??；b是直方圖單元的數量；k是塊大小。從表5中可以看出，NFERM的運行時間最長，其次是S3和ARISMC，而FISH所需的運行時間最短，并且其時間復雜度是常數級；BIQI、CPBD以及NIQE的時間復雜度都是線性階，即O（N），由此推得的運行時間均在1 s之內。本文提出方法的時間復雜度居于中間的位置，算法主要的耗時步驟在顯著性檢測，后續的研究中可采取更加快捷的顯著性檢測方法，從而大幅降低本文方法的運行時間。

3結束語

本文提出了一種專門針對失焦模糊圖像的質量評價方法。在該方法的探討中，研究提取了2種低視覺層次的特征來度量圖像的模糊度，即梯度幅值特征和相位一致性特征，通過結合這2種特征得到一個局部的結構信息圖。同時，研究還對失焦圖像進行顯著性檢測，得到對應的顯著圖。然后，又用顯著圖來加權局部的結構信息圖得到局部質量圖，通過對局部質量圖進行池化得到最終的質量估計。通過實驗驗證了本文方法得到了與主觀質量評價較高的一致性，而且本文的方法在主流的質量評價方法中也取得了最優的預測性能。

參考文獻

[1] WANG Zhou， BOVIK A C， SHEIKH H R， et al. Image quality assessment： From error visibility to structural similarity[J]. IEEE Transactions on Image Processing， 2004， 13 （4）： 600-612.

[2] SOUNDARARAJAN R， BOVIK A C. Rred indices： Reduced reference entropic differencing for image quality assessment[J]. IEEE Transactions on Image Processing， 2012， 21 （2）：517-526.

[3] ZHAI G， WU X， YANG X， et al. A psychovisual quality metric in free-energy principle[J]. IEEE Transactions on Image Processing， 2012， 21 （1）：41-52.

[4] Video Quality Experts Group （VQEG）. Final report from the video quality experts group on the validation of objective models of video quality assessment[EB/OL]. [2000-03].http：//www.its.bldrdoc.gov/vqeg/projects/frtv_phaseI/index.php.

[5] LIU Yutao， ZHAI Guangtao， LIU Xianming， et al. Quality assessment for out-of-focus blurred images[C]//Visual Communications and Image Processing （VCIP） . Singapore：IEEE， 2015：1-4.

[6] CIANCIO A. DA COSTA A L， DA SILVA E A， et al. No-reference blur assessment of digital pictures based on multifeature classifiers[J]. IEEE Transactions on Image Processing， 2011， 20 （1）：64-75.

[7] MOORTHY A K， BOVIK A C. A two-step framework for constructing blind image quality indices[J]. IEEE Signal Processing Letters， 2010， 17 （5）：513-516.

[8] MOORTHYA K， BOVIK A C. Blind image quality assessment： From natural scene statistics to perceptual quality[J]. IEEE Transactions on Image Processing， 2011， 20 （12）：3350-3364.

[9] GU Ke， ZHAI Guangtao， YANG Xiaokang， et al. Using free energy principle for blind image quality assessment[J]. IEEE Transactions on Multimedia， 2015， 17 （1）：50-63.

[10]MITTAL A， SOUNDARARAJAN R， BOVIK A C. Making a “completely blind” image quality analyzer[J]. IEEE Signal Processing Letters， 2013， 20 （3）： 209-212.

[11]NARVEKAR N D， KARAM L J. A no-reference image blur metric based on the cumulative probability of blur detection （CPBD）[J]. IEEE Transactions on Image Processing， 2011， 20 （9）： 2678-2683.

[12]GU Ke， ZHAI Guangtao， LIN Weisi， et al. No-reference image sharpness assessment in autoregressive parameter space[J]. IEEE Transactions on Image Processing， 2015， 24 （10）：3218-3231.

[13]VU P V， CHANDLER D M. A fast wavelet-based algorithm for global and local image sharpness estimation[J]. IEEE Signal Processing Letters， 2012， 19 （7）： 423-426.

[14]VU C T， PHAN T D， CHANDLER D M. S3： A spectral and spatial measure of local perceived sharpness in natural images[J]. IEEE Transactions on Image Processing，2012， 21 （3）： 934-945.

[15]ERDEM E， ERDEM A. Visual saliency estimation by nonlinearly integrating features using region covariances[J]. Journal of vision， 2013， 13 （4）： 11.

[16]HAREL J， KOCH C， PERONA P. Graph-based visual saliency[C]// IPS' 06 Proceedings of the 19th International Conference on Neural Information Processing Systems. Canada：ACM， 2006： 545-552.

[17]ITTI L， KOCH C， NIEBUR E. A model of saliency-based visual attention for rapid scene analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，1998， 20 （11）：1254-1259.

[18]RICHE N， MANCAS M， GOSSELIN B， et al. Rare： A new bottom-up saliency model[C]// 2012 19th IEEE International Conference on Image Processing. Orlando， FL， USA：IEEE，2012： 641-644.