基于自然統計特征分布的無參考圖像質量評價

陳 勇 帥 鋒 樊 強

?

基于自然統計特征分布的無參考圖像質量評價

陳 勇*帥 鋒 樊 強

(重慶郵電大學工業物聯網與網絡化控制教育部重點實驗室 重慶 400065)

針對目前的無參考評價方法無法準確反映人類對圖像質量的視覺感知效果，該文提出一種基于自然統計特征分布(DIstribution Characteristics of Natural statistics, DICN)的無參考圖像質量評價方法。其原理是用小波變換將圖像分解為低頻子帶和高頻子帶部分，再將高頻子帶部分分成的小塊，提取每一子塊的幅值和信息熵，并分別計算其分布直方圖均值和斜度作為特征，利用支持向量回歸思想對特征進行訓練，建立5種不同失真類型的質量預測模型。在此基礎上，采用支持向量機針對圖像特征構造分類器并進行失真判斷以確定不同失真的權重，結合5種失真評價模型可得到自然統計特征分布的無參考評價模型。實驗結果分析表明，該算法的評價效果優于現有的經典算法，與主觀評價具有較好一致性，能夠準確反映人類對圖像質量的視覺感知效果。

無參考圖像質量評價；小波分解；局部幅值；局部熵

1 引言

數字圖像在處理、傳輸和存儲過程中會產生不同類型、不同程度的失真，嚴重影響人們對圖像信息的提取與理解。因此在圖像采集、傳輸、復原、增強、檢索、識別等應用領域建立有效的圖像質量評價機制至關重要[1]。

自然場景統計(Natural Scene Statistics, NSS)是對自然圖像具有的某種屬性的統計分析，可以用來測量退化所造成的圖像自然屬性的破壞[2]，作為圖像基本成分廣泛應用于通用型無參考評價算法中。而小波變換具有多尺度特性，經小波變換處理的圖像可以較好地模擬人類視覺系統的多分辨率特性，成為無參考評價算法常用的圖像處理方法。文獻[3]采用回歸模型估算質量，提出了基于兩階段框架的通用型無參考質量評價方法(Blind Image Quality Indices, BIQI)；文獻[4]在文獻[3]的基礎上通過計算影響圖像質量的各種失真類型的概率來反映對圖像質量產生的影響程度，提出了基于失真識別的圖像保真度與完整性評價指標(Distortion Identification-based Image Verity and INtegrity Evaluation index, DIIVINE)；文獻[5]采用小波分解的方法，并計算子帶中的幅值、方差以及信息熵的均值來構建字典，對測試圖像的特征進行稀疏編碼，提出了基于自然場景統計的稀疏表示(Sparse Representation of Natural Scene Statistics, SRNSS) 的盲圖像評價模型；文獻[6]根據經小波分解的子帶能量在對數域的線性分布規律，通過量化失真圖像預測值與實際值之間的能量差異來表征圖像質量。同時其他的尺度變換方法也相繼采用，文獻[7]引入了局部DCT變換系數統計的廣義參數化模型來預測圖像質量得分，提出了基于離散余弦變換統計模型的盲圖像質量評價(DCT Statistics Model-Based Blind Image Quality Assessment)，并命名為BLIINDS-II算法；文獻[8]采用擬合的高斯分布模型參數作為NR特征用于圖像失真程度的描述，提出一種時域圖像質量無參考評價算法(Blind/ Referenceless Image Spatial QUality Evaluator, BRISQUE)；在文獻[8]基礎上，文獻[9]采用由“自然屬性”的偏離程度來度量圖像的失真程度，提出了一種自然圖像質量評價方法(Natural Image Quality Evaluator, NIQE)。綜上所述，利用圖像自然統計特性來建立質量評價模型，已經取得了較好的評價效果，但仍難以比擬全參考評價模型[10]，與人類視覺的主觀一致性還存在一定差距。

本文研究發現自然圖像在不同的失真情況下局部幅值和局部熵的分布趨勢具有一定的規律性，采用小波變換將圖像分解到不同頻率特性的子帶空間，提取高頻子帶每個子塊的局部幅值和局部熵，分析其直方圖變化規律，并通過支持向量機[11]訓練建立評價模型；然后基于支持向量機的分類原理對失真圖像的失真類型進行判斷并確定不同類型的權值，提出基于自然統計特征分布(DIstribution Characteristics of Natural, DICN)的無參考圖像質量評價方法。在LIVE數據庫[12]上實驗，證明了本文的特征提取和學習方法的合理性，并且預測分數與主觀分數具有很好的一致性。

2 自然統計特征的提取與分析

失真對圖像自然屬性影響可以表現為圖像特征的變化。因此提取既能反映不同失真的差異又能反映對圖像的影響程度的失真特征是關鍵。局部幅值反映圖像子帶的頻率分布，局部熵反映圖像某一區域的信息量的多少[13]。文獻[14]認為信息熵能夠有效地測量圖像的信息，通過對圖像信息熵直方圖和圖像矩陣的分析發現信息熵能夠跨尺度地反應圖像的統計學信息。但僅僅是信息熵無法完全體現圖像質量變化的全部規律。而圖像局部幅值可以反映圖像子帶的頻率分布，因此本文將其作為對信息熵的補充。由于小波變換具有多尺度特性，經其變換處理的圖像可以較好地模擬人類視覺系統的多分辨率特性。圖1所示本文通過小波變換分解輸入圖像產生的1個低頻子帶和6個高頻子帶，進而提取在高頻子帶的局部幅值和局部熵。

圖1 小波二階分解示意圖

為建立圖像小波域局部幅值、局部熵與圖像質量的關系，分別對JPEG壓縮失真、JPEG2000壓縮失真、快速衰落(Fastfading)失真、高斯模糊(Gblur)失真以及加性白噪聲(WN) 5種情況下的小波域局部熵和局部幅值的變化情況進行分析。在文獻[14]的基礎上針對LIVE庫中上述5種失真類型的953幅圖像進行研究發現局部幅值、局部熵的分布所對應不同失真類型具一定規律。圖2從LIVE圖像庫中選取一組圖像進行自然統計特征的提取與分析為例進行說明。首先選取一組JPEG壓縮失真圖像，其中圖2(a)為原始圖像，圖2(b)-圖2(d)為失真程度依次遞增的3幅圖(注：根據數據庫主觀評價值(DMOS)進行選取)。

圖2 JPEG失真圖像

采用小波將圖2中所示的4幅圖像進行分解，并分別計算圖像的高頻子帶局部幅值和局部熵，然后將局部幅值和局部熵分別按照從小到大排列并構造直方圖如圖3，其中圖3(a)為局部幅值分布直方圖，橫坐標為高頻子帶CH的局部幅值的分布范圍，縱坐標為局部幅值所占百分比；圖3(b)為局部熵分布直方圖，橫坐標是高頻子帶CH的局部熵的分布范圍，縱坐標是局部熵所占百分比。由圖3(a)分析可知，隨著失真程度的增加，局部幅值直方圖分布逐漸向左傾斜，同時趨向平緩；如圖3(b)所示局部熵直方圖分布向左斜且逐漸平緩，分布范圍也越來越分散。

圖3 JPEG失真圖像局部特征直方圖

從LIVE圖像庫中分別選取與圖2相同的原始圖片及其4種不同類型失真的4組圖片(注：省略圖片)，采用上述相同方法得到的局部幅值和局部熵的分布的直方圖如圖4-圖7所示。隨著JPEG2000失真程度的增加，圖像的局部幅值直方圖逐漸向左平移，圖像的局部熵直方圖逐漸向右偏斜，且分布越來越平緩如圖4所示。

圖4 JPEG2000失真圖像局部特征直方圖

圖5 Fastfading失真圖像局部特征直方圖

圖6 Gblur失真圖像局部特征直方圖

圖7 WN失真圖像局部特征直方圖

隨著自然圖像快速衰落失真程度的增加，由圖5可知圖像的局部幅值直方圖逐漸向左平移，且分布范圍逐漸集中；圖像的局部熵直方圖則向右側傾斜，而在傾斜過程中整體變化趨勢趨于陡峭。

圖6表明，隨著自然圖像高斯模糊程度的增加，圖像的局部幅值直方圖逐漸向左側傾斜，且左側變化逐漸陡峭，右側部分變化不大；圖像的局部熵直方圖向右側傾斜，同時隨著失真程度的增加，圖像的左右兩側傾斜角度大小逐漸相同。

然而對WN失真圖像由圖7可以看出，隨著自然圖像噪聲含量的增加，圖像的局部幅值直方圖逐漸向右側移動，且在移動的過程中變化逐漸陡峭；圖像的局部熵直方圖隨著失真程度的增加逐漸陡峭且集中。

綜上所述，自然圖像在同種類型不同程度的失真情況下局部幅值和局部熵的分布具有一定的規律性，隨著失真程度的加劇，自然圖像的局部幅值和局部熵分布所構成的直方圖會發生不同程度、不同方向的平移或傾斜；然而不同失真類型，其局部幅值與局部熵的分布有所不同。對此，將圖像的局部幅值和局部熵按照從小到大進行排列，分別構造和兩組數據集：

由于圖像的局部幅值和局部熵分布主要集中在中間區域，從數據集和中提取位于中間區域的60%的總數據進行分析，均值和偏斜度數據集分別為

3 基于支持向量回歸的圖像質量預測與分類

將支持向量回歸(Support Vector Regression, SVR)[15]的思想應用到圖像質量的分類預測中，并選用基于支持向量機(SVM)的綜合性的軟件庫LIBSVM[16]訓練、建立質量預測模型與失真分類器。

3.1 圖像質量預測模型

由上述分析可知，自然圖像在不同的失真情況下局部幅值和局部熵的分布趨勢都有一定的規律性，為此，針對自然圖像常見的5種失真類型分別訓練，提取訓練樣本的自然統計特征，再與圖像的主觀評價值構成訓練集：

設定一個線性回歸函數

通過求解上述模型即可得到回歸方程：

3.2 圖像失真分類器

提取不同失真圖像的特征可以得到不同的評價模型。對未知失真類型的圖像進行評價，需要構造失真分類器以判斷圖像的失真類型。將訓練樣本分為常見的5類，分別設置不同的標簽。JPEG的標簽; JPEG2000的標簽；快速衰落的標簽；高斯模糊的標簽；加性白噪聲的標簽。提取訓練樣本的自然統計特征值及其對應的標簽構造訓練集：

根據待測圖像的輸入特征，通過式(22)即可輸出待測圖像在5種不同失真類型下的權重，由預測模型與失真分類器組建待測圖像的無參考質量評價模型：

4 實驗結果與分析

4.1 一致性實驗

本文選擇LIVE圖像庫進行訓練與測試。LIVE圖像庫包含29幅高分辨率的自然圖像，自然圖像經過5種常見的失真處理得到5個失真圖像庫。在建立模型時，隨機選取每一個失真圖像庫中70%的圖像作為訓練樣本，其余作為測試樣本。采用所提評價模型分別對5個失真子庫進行客觀評價，得到圖8(a)-圖8(e)的5幅擬合圖，其中圖8(f)則是所有失真圖像的綜合擬合圖。圖中橫坐標是DICN的客觀評價值，縱坐標是失真圖像的主觀評價值，每個點代表一幅測試圖像。散點圖越集中、擬合曲線線性度越好，則表示客觀評價結果與主觀感知的一致性越好。選用Pearson線性相關系數(LCC), Spearman等級相關系數(SROCC), Kendell等級相關系數(KROCC)，均方根誤差(RMSE)和平均絕對誤差(MAE)等評價指標對所提算法的性能進行客觀評估，其中LCC, SROCC, KROCC的值越接近1，圖像質量越好；RMSE, MAE的值越小，主觀一致性越高。LIVE數據庫上各失真類型的質量評價結果如表1所示。

圖8 失真圖像的客觀評價值與DMOS的擬合曲線

表1 LIVE數據庫上各失真類型的質量評價性能

根據圖8(a)-圖8(e)的擬合結果和表1的質量評價性能分析，客觀評價結果與主觀感知具有一致性，其中WN失真類型的擬合效果線性度最好，但Fastfading失真類型的擬合效果不太理想。根據2.2節的失真圖像局部特征直方圖分布情況， Fastfading失真圖像的局部幅值和局部熵直方圖的變化雖有一定的規律但并不顯著，而WN失真圖像的局部幅值和局部熵直方圖則有著非常明顯的變化規律，本文提取的特征雖然在針對某類失真時有一定局限性，但總體對常見失真的評價效果與主觀感知的一致性相吻合, 即預測分數與主觀分數具有很好的一致性。

4.2 客觀對比實驗

本文選擇反映客觀評價方法精度的Pearson線性相關系數(LCC)和反映單調性的Spearman等級相關系數(SROCC)兩個指標，驗證算法的精度和單調性。PSNR, IFC[19], VIF[20], BIQI[3], DIIVINE[4], BLIINDS-II[5], SRNSS[6], BRISQUR[7], NIQE[8]等作為對比算法。其中，PSNR, IFC和VIF為全參考評價方法；而BIQI, DIIVINE, BLIINDS-II,BRISQUR, SRNSS和NIQE為具有代表性的無參考評價方法。測試圖來自LIVE圖像庫。其評價結果分別如表2，表3。

表2 LIVE數據庫上質量評價性能指標LCC對比

由表2和表3中的數據分析可知，相比于無參考評價方法(如BIQI, DIIVINE, BLIINDS-II, BRISQUR, SRNSS和NIQE)，本文算法的綜合評價性能最優；相比于全參考評價方法(如PSNR, SSIM, IFC和VIF)，本文算法的綜合性能僅略低于信息保真度準則方法VIF，而要優于其他全參考評價方法。視覺信息保真度(VIF)是一種基于自然場景統計模型(NSS)在進行圖像質量評價時，要以使用“基準”或“完美”的圖像作為參考的相似性或者保真度為前提，其實際的應用就會受到一定的制約。因此本文算法的實際應用價值更高。

4.3 算法復雜度分析

算法復雜度實驗驗證：測試試驗平臺：英特爾酷睿T9600處理器，2.8 GHz主頻，4 GB內存，WIN10專業版操作系統，Matlab2015a仿真軟件。由表4可以看出，本文算法的時間復雜度遠遠小于DIIVINE, BLIINDS-II等經典算法，稍大于BRISQUR算法，雖然與PSNR算法還有一定差距，由表2和表3中的數據可知本文算法的精確度卻比PSNR算法高。本文算法僅提取圖像信息熵和幅值的直方圖的偏斜度與均值作為特征，因此特征量少，降低了計算的復雜度，減少了處理時間。

表4 算法運行時間測試(s/圖像)

5 結論

本文提出了一種基于自然統計的無參考圖像質量評價方法(DICN)。首先，通過小波變換將圖像轉換到小波域，對高頻子帶圖像進行分塊并提取各圖像塊的幅值和熵，根據圖像的局部幅值以及局部熵在不同失真條件下的直方圖的分布規律提取圖像的自然統計特征。然后，采用支持向量回歸的學習方法對5種失真圖像庫中的圖像進行訓練得到在這5種失真條件下圖像的自然統計特征與圖像的質量之間的映射關系。最后，通過支持向量機分類方法將上述5種失真映射模型與圖像的客觀質量之間的映射關系相結合建立圖像的最終評價模型。實驗結果表明，本文方法(DICN)與人類主觀感知具有較好的一致性，證明是一種有效的無參考圖像質量評價方法。

[1] REDZUAN A M and LING Shao. Non-distortion-specific no-reference image quality assessment: a survey[J]., 2015, 301(4): 141-160. doi: 10.1016/ j.ins.2014.12.055.

[2] 賈惠珍, 孫權森, 王同罕. 結合感知特征和自然場景統計的無參考圖像質量評價[J]. 中國圖象圖形學報, 2014, 19(6): 859-867. doi: 10.11834/jig.20140606.

JIA Huizhen, SUN Quansen, and WANG Tonghan. Blind image quality assessment based on perceptual features and natural scene statistics[J]., 2014, 19(6): 859-867. doi: 10.11834/jig.20140606.

[3] MOORTHY A K and BOVIK A C. A two-step framework for constructing blind image quality indices[J]., 2010, 17(5): 513-516. doi: 10.1109/LSP. 2010.2043888.

[4] MOORTHY A K and BOVIK A C. Blind image quality assessment: From natural scene statistics to perceptual quality[J]., 2011, 20(12): 3350-3364. doi: 10.1109/TIP.2011.2147325.

[5] HE L, TAO D, LI X,. Sparse representation for blind image quality assessment[C]. 25th IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Rhode Island, 2012: 1146-1153. doi: 10.1109/CVPR.2012.6247795.

[6] 金波, 李朝鋒, 吳小俊. 結合NSS和小波變換的無參考圖像質量評價[J]. 中國圖象圖形學報, 2012, 17(1): 33-39.

JIN Bo, LI Chaofeng, and WU Xiaojun. No-reference image quality assessment based on natural scene statistics and wavelet[J]., 2012, 17(1): 33-39.

[7] SAAD M A, BOVIK A C, and CHARRIER C. DCT statistics model-based blind image quality assessment[C]. IEEE International Conference on Image Processing, Brussels, Belgium, 2011: 3093-3096. doi: 10.1109/ICIP.2011.6116319.

[8] MITTAL A, MOORTHY A K, and BOVIK A C. No-reference image quality assessment in the spatial domain [J]., 2012, 21(12): 4695-4708. doi: 10.1109/TIP.2012.2214050.

[9] MITTAL A, SOUNDARARAN R, and BOVIK A C. Making a “completely blind” image quality analyzer[J]., 2013, 20(3): 209-212. doi: 10.1109/ LSP.2012.2227726.

[10] 蔣剛毅, 黃大江, 王旭, 等. 圖像質量評價方法研究進展[J]. 電子與信息學報, 2010, 32(1): 219-226. doi: 10.3724/SP.J. 1146.2009.00091.

JIANG Gangyi, HUANG Dajiang, and WANG Xu,. Overview on image quality assessment methods[J].&, 2010, 32(1): 219-226. doi: 10.3724/SP.J.1146.2009.00091.

[11] VAPNIK V N. An overview of statistical learning theory [J]., 1999, 10(5): 988-999. doi: 10.1109/72.788640.

[12] SHEIKH H R, WANG Z, CORMACKL,LIVE image quality assessment database, Version 2[OL]. http://live.ece. utexas.edu/research/quality,2014.

[13] 付曉薇, 代蕓, 陳黎, 等. 基于局部熵的量子衍生醫學超聲圖像去斑[J]. 電子與信息學報, 2015, 37(3): 560-566. doi: 10. 11999/JEIT140587.

FU Xiaowei, DAI Yun, CHEN Li,. Quantum-inspired despeckling of medical ultrasound images based on local entropy[J].&, 2015, 37(3): 560-566. doi: 10.11999/JEIT140587.

[14] LIU Lixiong, LIU Bao, HUANG Hua,No-reference image quality assessment based on spatial and spectral entropies[J].:, 2014, 29(8): 856-863. doi: 10.1016/j.image. 2014.06.006.

[15] SCH?LKOPF B, SMOLA A J, WILLIAMSON R C,. New support vector algorithms[J]., 2000, 12(5): 1207-1245. doi: 10.1162/089976600300015565.

[16] CHANG C C and LIN C J. LIBSVM: A library for support vector machines, Version 3.20[OL]. http://www. csie.ntu.edu. tw/~cjlin/libsvm/index.html,2014.

[18] 張繼紅, 鄭俊生. 多元再生核徑向基函數研究[J]. 大連交通大學學報, 2015, 36(1): 109-117. doi: 10.13291/j.cnki.djdxac. 2015.01.029.

ZHANG Jihong and ZHENG Junsheng. Study of multivariate reproducing kernel radial basis function[J].,2015, 36(1): 109-117. doi: 10.13291/ j.cnki.djdxac.2015.01.029.

[19] SHEIKH H R and BOVIK A C. Image information and visual quality[J]., 2006, 15(2): 430-444. doi: 10.1109/TIP.2005.859378.

[20] SHEIKH H R, BOVIK A C, and DE VECIANA G. An information fidelity criterion for image quality assessment using natural scene statistics[J]., 2005, 14(12): 2117-2128. doi: 10.1109/TIP.2005. 859389.

A No-reference Image Quality Assessment Based on Distribution Characteristics of Natural Statistics

CHEN Yong SHUAI Feng FAN Qiang

(&,,,400065,)

The current No-Reference Image Quality Assessment (NR-IQA) methods are not well consistent with subjective evaluation, a novel NR-IQA method based on the DIstribution Characteristics of Natural statistics (DICN) is proposed in this paper. In the proposed method, image is decomposed into low frequency subbands and high frequency subbands with wavelet, and its high frequency subbands are divided into blocks at size of 8×8, their amplitude and entropy are respectively extracted from the blocks, then their mean values of the distribution histogram and skewness are respectively calculated, and their results are as the image features. The features trained by Support Vector Regression (SVR) are for building 5 kinds of distortion image quality pre-measurement model. To determine the weights of the different distortions, the image features of classifier based on SVR are structured for carrying out the distortion evalution. Based on 5 kinds of distortion evaluation models, the NR-IQA model with the natural statistical distribution can be obtained. The results of experiments show that the proposed method performance is better than the present classical methods. The method is well consistent with the subjective assessment results, and can reflect human subjective feeling well.

No-Reference Image Quality Assessment (NR-IQA); Wavelet decomposition; Local amplitude; Local entropy

TP391

A

1009-5896(2016)07-1645-09

10.11999/JEIT151058

2015-09-14；改回日期：2016-01-20；網絡出版：2016-03-14

陳勇 chenyong@cqupt.edu.cn

國家自然科學基金(60975008)，重慶市教委科學技術研究項目(KJ1400434)

The National Natural Science Foundation of China (60975008), Science and Technology Research Project of Chongqing Education Committee (KJ1400434)

陳 勇： 男，1963年生，教授，研究方向為圖像處理與模式識別.

帥 鋒： 男，1990年生，碩士生，研究方向為圖像處理.

樊 強： 男，1989年生，碩士，研究方向為圖像處理.