一種多扭曲失真圖像的質量評價方法

王春哲，李杰，李明晶，郭盼

一種多扭曲失真圖像的質量評價方法

王春哲1，李杰2*，李明晶2，郭盼1

(1．長春理工大學研究生院，吉林長春130022; 2．長春大學電子信息工程學院，吉林長春130022)

針對現有評價方法不適合于多扭曲失真圖像這一問題，本文展開了對多扭曲失真圖像評價方法的研究。在分析圖像的邊緣信息和奇異值向量對視覺特征的表征能力的基礎上，提出一種基于邊緣信息奇異值分解的圖像質量評價算法。首先，利用Sobel算子提取參考圖像及失真圖像視覺敏感的邊緣信息，再對兩圖像的邊緣信息進行奇異值分解，利用奇異值向量之間的夾角來描述失真圖像的畸變程度。最后，采用LIVE數據庫中的450張多扭曲的失真圖像驗證該文算法，并與MSE、PSNR、SSIM、CSSIM等算法進行了對比。實驗結果表明，該文算法對多扭曲失真圖像的質量評價具有更高的穩定性，主客觀評價的一致性較傳統評價方法更好。通過對比時間效率，該方法基本上滿足實際需求，具有更高的適用性。

圖像邊緣信息;奇異值分解;圖像質量評價

1 引言

在圖像處理的諸多領域，都需要對被測試的圖像質量進行評價［1］，評價方法分主觀評價和客觀評價。主觀評價方法主要是通過觀察者直接觀察圖像并按照某種標準對圖像的質量做出評價，由于受到觀察者本身諸多因素影響，且評價方法費時［2-3］，不適用于實時系統。客觀評價方法一般采用一種數學模型來逼近主觀評價，客觀評價與主觀評價結果的一致性是衡量客觀評價方法優劣的重要指標。

根據對原始圖像信息依賴程度，客觀質量評價方法主要分為全參考、無參考和部分參考3種類型［4］。全參考評價方法是利用參考圖像的全部信息，通過計算失真圖像與參考圖像之間的視覺感知誤差值來衡量失真圖像的視覺質量，主要有均方誤差(MSE，Mean Square Error)、峰值信噪比(PSNR，Peak Signal to Noise Ratio)和結構相似度(SSIM，Structural Similarity Index Measurement Systemm)等方法［5-6］;無參考評價方法則不需要參考圖像的任何信息，直接對失真圖像做基于統計特性的描述，無參考評價方法能夠滿足實際需要，但由于沒有任何參考圖像的預知信息，無參考評價方法的難度較大［7］;部分參考評價方法是利用參考圖像的部分信息或某些特征，評價失真圖像的視覺感知質量，例如利用輪廓波變換的方向系數進行評價的方法(CSSIM，thecontourlettransformbased Structural Similarity)［7］。

目前客觀質量評價方法中比較成熟的方法，大多是只針對某一種特定失真圖像的評價算法［8］，但是一般人眼感受的圖像信息要經過圖像的獲取、壓縮、傳輸、接收等幾個階段，人眼最終獲得的是一副具有多種失真的圖像。2012年，Texas大學圖像和視頻工程實驗室發布的多扭曲失真圖像數據庫(LIVE Multiply Distorted Image Quality Database)，為多扭曲失真圖像評價算法的研究提供了標準的圖像庫，開創了多扭曲失真圖像的質量評價研究的先河。本文在深入研究人眼視覺敏感理論及結構特征的基礎上，用圖像的邊緣信息模擬人眼的視覺特性，以邊緣信息的奇異值解釋圖像的結構特征，利用兩奇異值向量之間的夾角描述多扭曲失真圖像的畸變程度。實驗結果表明，針對多扭曲失真類型的圖像，該文方法與主觀評價的一致性優于其他傳統方法。

2 圖像的邊緣信息

由于圖像的邊緣信息包含了圖像的大部分視覺敏感特征，因此可通過提取圖像的邊緣信息來評價圖像的視覺感知質量。提取圖像的邊緣信息的算子很多，如Canny算子、LoG算子、Sobel算子等，考慮到算法的計算復雜度等因素［9］，選擇計算復雜度低的Sobel算子進行邊緣信息的提取。Sobel算子是一種利用局部差分尋找邊緣的算子，算子不但能提供較為精確的邊緣方向信息，而且對噪聲具有很好的平滑作用。該算子包含兩組3×3的矩陣，分別為橫向及縱向，將與之圖像做平面卷積，即可得出橫向及縱向的亮度差分近似值。

若AM×N代表原始圖像，Sx及Sy分別代表經橫向及縱向邊緣檢測的圖像，Sobel算子公式如下:

選擇一個合適的閾值t，如果g(x，y)＞t，則認為這個像素點為邊緣點［8］。

每個像素的梯度g(x，y)定義為:

3 圖像的結構特征及奇異值分解

圖像的奇異值包含了圖像的大部結構特征，圖像矩陣進行奇異值分解以后，奇異值表現出來的即為圖像的結構特征。當圖像有輕微的幾何擾動時，圖像的結構特征基本不變。

圖像的奇異值分解是圖像矩陣對角化的過程，若圖像矩陣AM×N為實矩陣，則存在正交矩陣UM×M，VN×N，對角矩陣SM×N，有:

其中:UTU=I，VTV=I，r=rank(A)，S=diag(s1，s2，…，sr，0，…，0)。將這r個分量從大到小排列，即:s1≥s2≥…≥sr，s1，s2，…，sr即為圖像A的奇異值，構成了A的奇異值向量［10］。

4 圖像邊緣信息的奇異值分解

從信息分布的角度分析，圖像的結構特征與人眼視覺特性HVS(Human Visual System)不一致，因此圖像的奇異值所表述的圖像結構信息不能客觀的反應圖像的真實質量。由于人眼對圖像的輪廓和邊緣信息敏感［9］，因此本文采用對圖像的邊緣信息進行奇異值分解的方法解決此問題。

圖像邊緣信息奇異值分解的算法結構如圖1所示，首先運用Sobel算子提取參考圖像和失真圖像的邊緣信息，再分別對兩圖像的邊緣信息進行奇異值分解，然后通過兩圖像邊緣信息的奇異值夾角的大小來衡量失真圖像的質量。兩向量的夾角越小，表明兩圖像的相關程度越大，失真圖像的視覺感知質量越好。

圖1 邊緣信息的奇異值分解(EQSVD)Fig．1Singular value decomposition of edge information

奇異值夾角定義［10］如下:

其中:si為參考圖像奇異值，表示的是失真圖的奇異值。

5 實驗

5．1數據庫及非線性回歸函數的選取

實驗采用美國Texas大學圖像和視頻工程實驗室提供的多失真圖像數據庫［11］，該數據庫中有15張標準參考圖像和450張失真圖像，圖像分辨率為1 280×720。其失真圖像由兩部分組成，第一部分225張失真圖像，由模糊圖像經不同壓縮倍率形成的多扭曲失真圖像;第二部分225張失真圖像，由模糊圖像添加不同程度的噪聲形成的多扭曲失真圖像。該數據庫中還給出了每張圖像的主觀差異評分DMOS(Difference Mean Opinion Score)值，DMOS值是圖像的主觀評價MOS(Mean Opinion Score)值與滿分100分之間的差值，若DMOS值越小，圖像的主觀觀測質量越好。

由于客觀評分與主觀評分存在非線性關系，為了衡量客觀評價，需將客觀評價結果進行非線性補償，本文采用高斯函數對客觀評價結果進行補償，即:

其中:a1，a2，b1，b2，c1，c2是待測系數。

5．2方法實現

本文用來比較的客觀評價方法有全參考型MSE、PSNR、SSIM方法和部分參考型CSSIM方法。計算數據庫中450張失真圖像客觀測度MSE、PSNR、SSIM、CSSIM、EQSVD的客觀成績，并用式5將客觀評分非線性映射到主觀評分中，使用以下3個評價標準對客觀預測和主觀評價的一致程度進行評估。

(1)非線性回歸下的客觀評分與主觀差異評分DMOS的均方誤差均值(RMSE，Root Mean Square Error)，如式6。

(2)非線性回歸下的客觀評分與主觀差異評分DMOS的相關系數(CC，Correlation Coefficient)，如式(7)。

式(6～8)中，xi表示非線性客觀評分，yi表示主觀差異評分DMOS值，x－為xi的均值，y－為yi的均值。

5．3實驗結果及分析

首先對數據庫中450張失真圖像進行測試，將本文算法EQSVD與MSE、PSN、SSIM、CSSIM方法進行比較［7］，非線性擬合結果如圖2、圖3所示。

從圖2的高斯非線性擬合結果可以看出，EQSVD方法的散點圖最為集中，非線性擬合效果明顯好于其他3種全參考評價方法。

(3)非線性回歸下的客觀評分與主觀差異評分DMOS的絕對誤差均值(MAE，Mean Absolute Error)，如式(8)。

圖3 部分參考評價模型相對于DMOS的散點圖Fig．3Scatter of image quality assessment of reduced reference VS the DMOS

從圖3的非線性擬合結果也可以看到，EQSVD散點圖要比CSSIM方法散點圖集中，非線性擬合結果也優于部分參考質量評價CSSIM方法。

為更精確分析所提算法性能，實驗也采取RMSE、CC和MAE等3個評價標準比較了上述幾種評價方法的效果，結果見表1。

從表1中數據可看出，EQSVD所對應的絕對誤差均值MAE和均方根誤差均值RMSE明顯小于其他評價方法，EQSVD所對應的相關系數CC最大。因此，表1各指標說明了EQSVD算法不論與全參考評價方法MSE、PSNR、SSIM方法還是與部分參考評價方法CSSIM相比，與主觀觀測質量的一致性更好。

表1 客觀評價方法的性能比較Tab．1Performance comparison of objective assessment methods

為驗證本文算法的復雜度，本文設計了算法復雜度對比試驗，實驗中以數據庫中一幅失真圖像(1 280×720)為例，用于仿真的計算機CPU型號為Intel(R)Celeron(R)G550，工作頻率為2.60 GHz，RAM為4 GHz。各種算法的運算時間比較結果見表2。

表2 運算時間比較Tab．2Comparison of computation time

從表2可看出，SSIM方法的速度最快，而CSSIM方法需要對輪廓波每個方向都進行SSIM運算，運算復雜程度最大，運行時間最長。本文設計的EQSVD方法運行時間優于CSSIM。

綜合表1和表2指標，EQSVD方法性能比較其他方法更優越。

6 結論

提出一種基于邊緣信息奇異值分解的EQSVD評價方法，通過Sobel算子對參考圖像及失真圖像的邊緣信息進行奇異值分解，通過求其兩圖像的奇異值夾角分析兩圖像的相似程度。通過對多扭曲失真標準圖像的仿真實驗表明，EQSVD方法比MSE、PSNR、SSIM、CSSIM等算法具有更高的穩定性，主客觀評價的一致性較傳統評價方法更好。

［1］Lin W，Kuo C．Perceptual visual quality metrics:a survey［J］．Journal of Visual Communication and Image Representation，2011，22(4):297-312．

［2］趙夢，韋學輝．一種基于主成分分析法的圖像質量評價方法［J］．杭州電子科技大學學報，2012，32(3):41-44．

Zhao M，Wei X H．An image quality evaluation method based on principal component analysis［J］．Hangzhou University of Electronic Science and Technology Journals，2012，32(3):41-44．(in Chinese)

［3］MaL，Li S N，King N N．Reduced-reference image quality assessment in reorganized DCT domain［J］．Signal Processing: Image Communication，2013，28(8):884-902．

［4］Li J，Wu K Z，Zhang X M，et al．Image quality assessment based on multi-channel regional mutual information［J］．AEUInternational Journal of Electronics and Communications，2012，66(9):784-787．

［5］KalitkinN N，Golovanov R V．Smoothed gradients criterion for image quality assessment［J］．Doklady Mathematics，2013，88(1):495-498．

［6］錢方，郭勁，孫濤，等．基于小波加權的激光干擾效果評估［J］．液晶與顯示，2013，28(5):781-787．

Qian F，Guo J，Sun T，et al．Assessment of laser-dazziing effects based on weighted wavelet transforms［J］．Chinese Journal of Liquid Crystals and Displays，2013，28(5):781-787．(in Chinese)

［7］徐云生，尹東．一種基于Contourlet變換的圖像質量評價算法［J］．電子技術，2010，47(7):23-26．

Xu Y S，Ying D．An image quality assessment algorithm based on contourlet transform［J］．Electronic Technology，2010，47 (7):23-26．(in Chinese)

［8］姚軍財．基于人眼對比度敏感視覺特性的圖像質量評價方法［J］．液晶與顯示，2011，26(3):390-396．

Yao J C．Image quality assessment method based on contrast sensitivity characteristics of human vision system［J］．Chinese Journal of Liquid Crystals and Displays，2012，27(9):935-947．(in Chinese)

［9］Maria G M，Chaminda T H，Barbara V．Image quality assessment based on edge preservation［J］．Signal Processing: Image Communication，2012，27(8):875-882．

［10］騫森，朱劍英．基于奇異值分解的圖像質量評價［J］．東南大學學報，2006，36(4):643-646．

Qian S，Zhu J Y．Image quality assessment based on singular value decomposition［J］．Journal of Southeast University，2006，36(4):643-646．(in Chinese)

［11］Sheikh H R，Wang Z，Cormack L，et al．LIVE image quality assessment database release 2［OL］．http://live．ece．utexas．edu/research/quality/live_multidistortedimage．htm．

Image quality assessment algorithm for multi-distorted image

WANG Chun-zhe1，LI Jie2*，LI Ming-jing2，GUO Pan1
(1．College of Electronic Information and Engineering，Changchun University of Science and Technology，Changchun 130022，China; 2．College of Electronic Information and Engineering，Changchun University，Changchun 130022，China)

Due to the problem that the existing method of objective quality assessment algorithm is not suitable for multi-distorted images，the quality assessment method for multi-distorted images was studied in this paper．On the basis of analyzing capability that the singular vector and edge information representing visual feature，an algorithm of image quality assessment based on the singular value decomposition of edge information was put forward．Firstly，the edge information of the reference image and distorted image which is sensitive to visual information was extracted by using the Sobel operator．Secondly，the singular value of the edge information of two image was decomposed，then the angle between the singular value was calculated to describe the quality of the distorted image．Finally，the algorithm applied in this paper are verified by more than 450 distorted images in LIVE Multiply Distorted Image Quality Database，and the algorithm was compared with the MSE，PSNR，SSIM，CSSIM method．Experimental results show that the algorithm is more consistent with human subjectscores and has greater stability for multi-distorted image than traditional methods．Through comparison with the time efficiency，the proposed algorithm can basically meet the practical demand，and the algorithm is more usability．

edge information of image;Singular Value Decomposition;image quality assessment

TP391．41

A

10．3788/YJYXS20153004．0681

王春哲(1989－)，男，吉林松原人，碩士生，主要從事圖像質量評價及遙感圖像處理技術的研究。E-mail: 1545208189@qq．com

李杰(1969－)，女，吉林白山人，教授，博士，碩士生導師，主要從事數字圖像傳感器技術和圖像處理技術的研究。E-mail:lijie6915@foxmail．com

1007-2780(2015)04-0681-06

2014-07-11;

2014-09-02．

國家自然科學基金(No．61405191);吉林省科技廳自然基金項目(No．201215107);吉林省教育廳科研項目(吉教科合字［2013］第264號)

*通信聯系人，E-mail:lijie1915@foxmail．com

李明晶(1977－)，女，吉林公主嶺人，副教授，博士，主要從事圖像融合處理技術的研究。E-mail:lmj5320510@ 163．com

郭盼(1989－)，女，吉林九臺人，碩士生，主要從事圖像融合和星圖識別技術的研究。E-mail:963902263@ qq．com