基于視覺顯著失真度的圖像質量自適應評價方法

豐明坤 趙生妹 邢 超

?

基于視覺顯著失真度的圖像質量自適應評價方法

豐明坤*①②趙生妹①邢 超①

①(南京郵電大學信號處理與傳輸研究院 南京 210003)②(浙江科技學院信息與電子工程學院 杭州 310023)

針對結構相似(SSIM)圖像質量評價算法沒有考慮人眼視覺多通道性和對圖像高失真評價的不穩定性，提出一種基于視覺顯著失真度的圖像質量自適應融合(VSAP)評價方法。該方法首先采用log-Gabor濾波提取圖像的高頻、中頻及低頻3層視覺特征，基于log-Gabor變換尺度和方向權重系數計算特征值的相似度；然后基于視覺閾值多分辨性迭加計算出特征值的失真度；最后，根據視覺失真度自適應融合相似度評價與失真度評價獲得圖像質量的最終客觀評價。實驗結果表明，VSAP方法不但對圖像不同類型失真的客觀評價與主觀感知具有更高的相關性，而且3個主要指標斯皮爾曼等級相關系數(SROCC)、曲線擬合相關系數(CC)和均方根誤差(RMSE)對圖像不同水平失真的整體評價性能更穩定，明顯優于其它評價方法。

圖像質量評價；計算機視覺；log-Gabor濾波器；視覺顯著；自適應融合

1 引言

隨著圖像應用技術的發展，圖像質量評價的研究引起了人們的關注，該研究分為主觀評價和客觀評價兩種方法，前者通過測試者的主觀感知來評價圖像的質量；后者則依據計算機模擬人類視覺系統建模研究圖像質量。客觀方法以其速度快、實時性強而成為了研究重點。在全參考圖像質量客觀評價研究領域中，人類視覺系統(Human Visual System, HVS)建模方法比峰值信噪比(Peak Signal to Noise Ratio, PSNR)類方法具有較高的準確度。Dalay模型[6]和Lubin模型[7]基于每個視覺通道的感知門限檢測概率評價圖像。文獻[8]基于基準、亮度和掩膜的歸一化因子使用Minkowski度量進行評價。文獻[9]則利用離散余弦和小波變換模擬人眼評價圖像質量。文獻[10]優化了評價參數。HVS方法的缺點是建模效率較低，并且較少考慮圖像自身的失真特性。

近些年基于系統論提出了一些新的方法。文獻[11]提出的SSIM(StructuralSIMilarity)方法基于圖像結構相關性評價其質量。文獻[12]提出的信息保真度準則(Information Fidelity Criterion, IFC)方法基于失真圖像和參考圖像共享信息量的大小進行質量評價。文獻[13]提出的奇異值分解 (Singular Value Decomposition, SVD)算法基于參考圖像和失真圖像奇異值的差值評價圖像質量。文獻[14]將圖像分離出頻率失真度量 (Distortion Measure, DM) 和加性噪聲失真度量(Noise Quality Measure, NQM)并分別進行評價。系統論方法的優點是基于圖像的語義信息進行質量評價，建模效率較高，但缺點是沒有考慮HVS的多通道特性。

當前，比較多的研究將HVS特性融入圖像高層系統論，取得了較好的評價效果。文獻[15]提出的多尺度結構相似度(Multi-Scale Structural SIMilarity, MS-SSIM)算法融合了圖像多個尺度上的SSIM評價。文獻[16]提出的特征相似度(Feature SIMilarity, FSIM)算法則基于相位一致性特征評價圖像質量。文獻[17]提出了基于局部統計結構相關(StatisticalLocal Correlation, SLC)算法。文獻[18]提出了圖像奇異值分解的結構相似度評價算法。文獻[19]提出的視覺顯著索引(Visual Saliency Index, VSI)算法在視覺顯著圖(Graph-Based Visual Saliency, GBVS)變換域計算圖像的SSIM值。文獻[20]提出的視覺信息保真度(Visual Information Fidelity, VIF)算法則評價圖像視覺稀疏特征的相似度。這些改進方法的缺點是圖像視覺特征算法不統一，且不能自適應地融合最佳評價策略。

該領域目前仍然存在的問題是針對圖像不同類型失真和不同程度失真的評價，沒有一種方法整體上保持較好的評價性能。針對該問題，并借鑒HVS特性及SSIM類改進算法的成果，本文提出一種基于圖像視覺失真度顯著的自適應融合(Visual Salience Adaptive Pooling, VSAP)評價方法。VSAP首先采用2維log-Gabor變換模擬人眼提取圖像視覺顯著特征，然后將HVS對比度敏感函數和中央凹融入評價，分別計算失真圖像和參考圖像的視覺結構相似度和視覺失真度，最后基于圖像失真度自適應地融合了相似度評價和失真度評價。

2 圖像質量評價自適應融合VSAP方法

基于圖像失真度自適應融合的VSAP方法可用圖1描述。該方法首先對圖像進行log-Gabor變換模擬人眼提取圖像的多通道視覺顯著圖特征，然后設計視覺結構相似度(Visual Structural SIMilarity, VSSIM)算法和視覺閾值迭加自適應(Visual Threshold Iteratively Adaptive, VTIA)算法分別計算失真圖像和參考圖像的相似度與失真度，最后基于圖像失真度函數自適應地融合VSSIM與VTIA獲得圖像質量評價VSAP值。其中，VSSIM算法首先獨立計算對應通道的相似度值；然后在每個視覺尺度上，基于視覺方向權重系數加權融合值，獲得該視覺尺度通道的相似度值；最后基于視覺尺度權重系數加權融合，獲得最終相似度測量VSSIM值。VTIA算法則按照VSSIM算法相似的流程計算失真度MSE。兩者不同之處在于VTIA每一步融合過程均多考慮了視覺中央凹效應，且VSSIM融合采用乘積的方式，而VTIA則采用迭加求和的方式。

圖1 VSAP方法原理

HVS通常根據圖像自身失真度，自適應地調節視覺分辨率并融合多重評價方法，因此，VSAP方法統一并自適應地融合了VSSIM和VTIA的評價結果，可用式(1)表示：

2.1 log-Gabor變換的視覺特性

log-Gabor小波具有以下優點：(1)空域和頻域聯合測不準下限；(2)頻譜覆蓋寬；(3)高頻端延長的尾巴符合自然圖像統計特性；(4)對數結構吻合HVS特性[16]。

2維log-Gabor是1維log-Gabor的徑向高斯平滑擴展，其頻域函數為[16]

2.2 圖像視覺相似度VSSIM算法

圖2 VSSIM算法原理

其中，視覺尺度調制和視覺方向調制分別如下：

(1)視覺尺度調制：圖像中頻、高頻及低頻視覺特征對評價結果的影響不同，據此，基于對比度敏感函數定義視覺尺度權重系數[21]：

(2)視覺方向調制：log-Gabor具有良好的視覺方向性，據此，定義視覺方向權重系數[21]：

2.3圖像視覺失真度VTIA算法

圖3 VTIA方法

失真閾值判決準則為

(2)視覺中央凹調制： 文獻[22]的中央凹理論認為：中央凹中心區域的空間分辨率高于非中心區域的分辨率。文獻[23]將這種特性表示成如式(17)所示的空間函數：

疊加所有通道的失真度，可得最終評價結果VTIA為

3 實驗結果分析

本實驗采用LIVE數據庫，該庫包含以下5種典型失真：(1)JPEG壓縮；(2)JPEG2000壓縮；(3)WN白噪聲；(4)gblur高斯模糊；(5)fastfading移動信道。根據視頻質量專家組VQEG規范化標準測試3個指標：(1)反映主、客觀評價結果數據相關性的斯皮爾曼等級相關系數SROCC指標；(2)基于非線性數據擬合回歸算法的相關系數CC；(3)擬合均方根誤差RMSE。實驗過程保持嚴格同等條件，每個方法每次測試都從同一初始參數開始。

3.1基于圖像不同失真類型的實驗結果

表1是VSAP方法和其它方法基于圖像不同失真類型的非線性數據擬合回歸算法的Pearson相關系數CC和均方根誤差RMSE實驗結果，CC衡量預測的準確性，越接近１則說明數據擬合一致性越好，RMSE是標準非線性擬合的準確度，RMSE越小說明擬合精度越高。表1中加粗數字表示性能較好，結果顯示VSAP方法的CC和RMSE指標對于各類圖像失真都能保持較好的預測相關性和精度，且整體評價性能(RMSE=6.104, CC=0.965)明顯優于其它方法。

表1 VSAP方法及其它方法的均方根誤差RMSE和相關系數CC比較

表2中SROCC指標的實驗結果越接近１說明該方法的主、客觀相關性越好。表中加粗數字表示性能較高，結果說明了VSAP方法對各類失真的客觀評價與主觀感知相對其它方法保持了較高的相關性，且整體評價性能明顯優于其它方法(SROCC= 0.963，高于FSIM方法0.2個百分點)。

表2 VSAP方法及其它方法的SROCC比較結果

3.2基于圖像不同失真程度的實驗結果

本實驗依據平均主觀分值(Mean Opinion Scores, MOS)將圖像失真劃分為低()、中()、高() 3個失真水平，對每個失真水平保持統一的實驗初值條件，對不同失真水平的評價，只有當3個指標RMSE, CC和SROCC都保持較高的水平時，才能說明該方法性能較好。表3中加粗數字表示性能較低，結果表明多數方法對圖像高失真的評價性能不穩定，與主觀感知相關性較低，MSSIM的SROCC也僅有0.544。本文VSAP方法對圖像高失真水平的評價性能，相對其它方法有了明顯的提升(RMSE=6.004, CC=0.625, SROCC=0.638)，也是唯一對不同水平失真整體評價保持較好穩定性能的方法。

表3 VSAP方法及其它方法基于圖像不同失真度的測試

圖4是VSAP方法和其它兩個方法的主客觀測試結果散點及非線性回歸圖，圖4(a)是基于視覺閾值信噪比的圖像質量評價方法，圖4(b)是基于結構相關的圖像質量評價方法，圖4(c)圖是基于圖像失真度自適應融合的質量評價方法。圖4結果顯示VSAP方法擬合曲線的評價結果整體分布較為均勻，預測的線性度較為準確，每個測量結果的散點圍繞擬合曲線均勻集中分布說明VSAP方法的評價精度高。

圖4 VSAP及其它方法的主客觀評價散點圖

4 結束語

利用log-Gabor變換的視覺顯著性，計算圖像多通道相似度和失真度，并結合HVS的視覺方向、視覺尺度調制效應及中央凹融合獲得失真圖像和參考圖像的相似度與失真度測量結果，最后提出的VSAP融合評價基于圖像失真度自適應地融合了相似度與失真度，實驗結果說明該方法評價結果與主觀評價較為吻合，整體上精度比其它方法優越。后期研究將在log-Gabor變換的視覺特性和圖像失真度之間建立一種自適應的關系，并結合圖像處理的后期視覺心理決策機制，通過混合專家(Mixture of Expert, MoE)理論最優化地融合多重圖像質量評價方法。

參考文獻

[1] 蔣剛毅, 黃大江, 王旭, 等. 圖像質量評價方法研究進展[J]. 電子與信息學報, 2010, 32(1): 219-226.

Jiang Gang-yi, Huang Da-jiang, Wang Xu,.. Overview on image quality assessment methods[J].&, 2010, 32(1): 219-226.

[2] 張飛艷, 謝偉, 陳榮元, 等. 基于視覺加權的奇異值分解壓縮圖像質量評價測度[J]. 電子與信息學報, 2010, 32(5): 1061-1065.

Zhang Fei-yan, Xie Wei, Chen Rong-yuan,.. Compression image quality assessment based on human visual weight and singular value decomposition[J].&, 2010, 32(5): 1061-1065.

[3] 王翔, 丁勇. 基于Gabor濾波器的全參考圖像質量評價方法[J]. 浙江大學學報(工學版), 2013, 47(3): 422-430.

Wang Xiang and Ding Yong. Full reference image quality assessment based on Gabor filter[J].(), 2013, 47(3): 422-430.

[4] 米曾真. 小波域中CSF頻率與方向加權的圖像質量評價方法[J]. 電子學報, 2014, 42(7): 1273-1276.

Mi Zeng-zhen. Image quality evaluation method based on frequency and direction weighted to CSF in wavelet domain[J]., 2014, 42(7): 1273-1276.

[5] Yalman Y. Histogram based perceptual quality assessment method for color images[J]., 2014, 36(6): 899-908.

[6] Daly S. The visible different predictor: an algorithm for the assessment of images fidelity[C]. Digital Images and Human Vision Conference, Cambridge, England, 1993: 179-206.

[7] Lubin J. A visual discrimination model for images system design and evaluation[C]. Proceedings of the Conference on Visual Models for Target Detection and Recognition, Singapore City, Singapore, 1995: 207-220.

[8] Safranek R J and Johnston J D. A perceptually tuned sub-band image coder with image dependent quantization and post-quantization data compression[C]. Proceedings of the IEEE International Conference on Acoust, Speech and Signal Processing, Glasgow, UK, 1989: 1945-1948.

[9] Watson A B. DCT quantization matrices visually optimized for individual images[C]. Proceedings of the SPIE Human vision, Visual Processing, and Digital Display IV, Washington, USA, 1993: 202-216.

[10] Teo P C and Heeger D J. Perceptual image distortion[C]. SPIE International Conference on Image Processing, Texas, USA, 1994: 982-986.

[11] Wang Zhou, Bovik A C, Sheikh H R,.. Image quality assessment: from error visibility to structural similarity[J]., 2004, 13(4): 600-612.

[12] Sheikh H R, Bovik A C, and Veciana G D. An information fidelity criterion for image quality assessment using natural scene statistics[J]., 2005, 14(12): 2117-2128.

[13] Aleksandr S D, Alexander G, and Eskicioglu A M. An SVD-based grayscale image quality measure for local and global assessment[J]., 2006, 15(2): 422-429.

[14] Venkata N D, Kite T D, Bovik A C,Image quality assessment based on degradation model[J]., 2000, 9(4): 636-650.

[15] Wang Zhou, Simoncelli EP, and BovikA C. Multi-scale structural similarity for image quality assessment[C]. Proceedings of the 37th IEEE Asilomar Conference on Signals, Systems and Computers, Pacific Grove, Canada, 2002(2): 1398-1402.

[16] ZhangLin, ZhangLei, MouXuanqin,.. FSIM: a feature similarity index for image quality assessment[J]., 2011, 20(8): 2378-2386.

[17] Ding Yong, Wang Shao-ze, and Zhang Dong. Full-reference image quality assessment using statistical local correlation [J]., 2014, 50(2): 79-81.

[18] Hu An-zhou, Zhang Rong, Yin Dong,.. Image quality assessment using a SVD-based structural projection[J].:, 2014, 29(3): 293-302.

[19] Zhang Lin, Shen Ying, and Li Hong-yu. VSI: a visual saliency-induced index for perceptual image quality assessment[J]., 2014, 23(10): 4270-4281.

[20] ChangHua-wen, YangHua, Gan Yong,.. Sparse feature fidelity for perceptual image quality assessment[J]., 2013, 22(10): 4007-4018.

[21] LarsonEC and ChandlerDM. Most apparent distortion: full-reference image quality assessment and the role of strategy[J]., 2010, 19(1): 011006-1-011006-21.

[22] Wandell B A. Foundations of Vision[M]. Stanford: Sinauer Associates, 1995: 277-284.

[23] WangZhou, Lu L G, and Bovik A C. Foveation scalablevideo coding with automatic fixation selection[J]., 2003, 12(2): 243-254.

Image Quality Self-adaptive Assessment Based on Visual Salience Distortion

Feng Ming-kun①②Zhao Sheng-mei①Xing Chao①

①(,,210003,)②(,,310023,)

The StructuralSIMilarity (SSIM) algorithm of image quality assessment does not take into account the characteristics of multi-channel resolutions of human vision, it is also not consistent with subjective human evaluation for high level distortions. A Visual Salience Adaptive Pooling (VSAP) strategy of image quality assessment is proposed based on visual multi-scale and multi-orientation of log-Gabor transformation. Firstly, the visual characteristics of image on the high, medium, and low frequency are extracted by the log-Gabor transformation. Then the visual similarity scores based on visual scales and visual orientations of log-Gabor are calculated, accordingly, the visual distortion levels of image are calculated iteratively with the visual multi- resolution threshold. Finally, a strategy of image quality assessment is proposed with adaptive pooling similarity scores to distortion scores. The experimental results show that objective assessments of VSAP for different types of distortion hold higher correlation with subjective assessment. More importantly, the overall assessment performance of the Spearman Rank-Order Correlation Coefficient (SROCC), Correlation Coefficient (CC) and Root Mean Square Error (RMSE) for different levels of distortion is more consistent with subjective scores and superiorto other methods.

Image quality assessment; Computer vision; log-Gabor filter; Visual salience; Adaptive pooling

TN911.73

A

1009-5896(2015)09-2062-07

10.11999/JEIT141641

豐明坤 104027@zust.edu.cn

2014-12-25收到，2015-04-01改回，2015-06-11網絡優先出版

豐明坤： 男，1978 年生，博士生，講師，研究方向為計算機視覺、圖像質量評價.

趙生妹： 女，1968 年生，博士，教授，博士生導師，研究方向為無線通信中的信號處理.

邢 超： 男，1980 年生，博士生，研究方向為編碼信息論.