基于DCT域紋理結構相似度的模糊圖像質量評價

王 威，劉 婧，楊蔚蔚，李 驥

（長沙理工大學計算機與通信工程學院，長沙410114）

基于DCT域紋理結構相似度的模糊圖像質量評價

王 威，劉 婧，楊蔚蔚，李 驥

（長沙理工大學計算機與通信工程學院，長沙410114）

結構相似度（SSIM）是一種衡量2幅圖像相似度的重要指標，但是SSIM對于嚴重模糊的圖像評價結果準確度不高。在基于SSIM的圖像質量評價方法基礎上，考慮到紋理信息是圖像的重要組成部分以及人眼對圖像的紋理信息部分十分敏感，提出基于離散余弦變換（DCT）域的紋理結構相似度質量評價（TSSIM）。該評價方法在DCT域中提取圖像的紋理信息，并通過改進SSIM中的結構信息來確定紋理區域的失真，計算TSSIM值。實驗結果表明，該方法得到的Pearson相關系數為0.893 42，Spearman等級相關系數為0.925 07，比SSIM的評價結果更準確，符合人眼的主觀感受。

結構相似度；人類視覺系統；離散余弦變換域；紋理結構相似度；Pearson相關系數；Spearman等級相關系數中文

1 概述

圖像質量評價是對圖像壓縮與處理系統優劣的評價。在圖像處理過程中，如何對圖像處理結果進行質量評價是一個值得重點關注的問題。當前經常使用的評價方法可以分為主客觀這2種常見的類型。其中可信度最高的評價方法是數字圖像的主觀評價（DMOS）方法［1］，但這種方法容易受到客觀條件的影響，比如觀察者自己的情緒、知識背景和自身疲勞程度等因素，而且操作起來更加復雜、成本高、很難嵌入到實時的圖像處理系統中。所以，圖像質量的客觀評價方法目前已成為研究熱點。

最常用的客觀評價方法是均方差（Mean Square Error，MSE）和峰值信噪比（Peak Signal to Noise Ratio，PSNR）［2］，這類方法是基于像素域對參考圖像和真實圖像之間的誤差進行簡單的數字統計。它們計算簡單，物理意義比較明確，但沒有考慮到像素間的相關性，不能充分地考慮人眼視覺特性，因此評價結果與人的主觀感知不能完全一致。隨著研究的深入，一些學者開始利用HVS的某些特性對圖像進行質量評價。文獻［3-4］提出了結構相似度（Structure Sim ilarity，SSIM）［5］的客觀評價方法。SSIM是一種自頂向下的過程，從整體上效仿人類視覺系統（Human Visual System，HVS）的性能，沒有模擬HVS各個低階組成結構的復雜過程，算法簡單，實驗結果表明該方法的性能優于PSNR和目前一些經典的基于HVS的評價方法。但是，SSIM對于嚴重模糊圖像的評價結果并不十分準確。針對SSIM方法自身的不足，出現了一系列改進算法：基于梯度的結構相似度（Gradient-based Structure Sim ilarity，GSSIM）［6］，多尺度結構相似度［7］，基于頻域的結構相似度［8］以及將SSIM與其他圖像質量評價算法加權結合［9］等，這些改進算法對于嚴重模糊圖像的評價取得了較好的發展。

在SSIM評價方法的基礎上，考慮紋理信息對人眼主觀感受的影響以及DCT變換在圖像領域的廣泛使用，本文提出一種基于DCT域的紋理結構相似度（Texture Structure Sim ilarity，TSSIM）的模糊圖像質量評價方法。

2 基于結構相似度的圖像質量評價方法

隨著研究的深入，一些學者開始利用HVS的某些特性對圖像進行質量評價，文獻［5］提出了結構相似度（SSIM）圖像質量評價方法。該方法包含了自然圖像和失真圖像分別在亮度、對比度、結構信息3個部分的比較，這3個部分均可由單獨的函數來表示，通常使用的計算方法如下，用C1，C2，C3增加計算結構的穩定性。

綜合以上計算結果，可以得到模型的評判方法：

其中，ux和uy對應為自然圖像與質降圖像中局部像素塊的平均亮度值；σx和σy則表示為2幅圖像中局部像素塊的量度標準差；σxy為2幅圖像中對應像素塊的亮度相關系數。參數α，β，γ均大于0，以調整3個部分所占的比重，一般都取1；C1，C2，C3為較小的值。

整幅圖像的平均結構相似度為：

其中，N為圖像塊的數量。

SSIM質量評價算法框圖如1所示，X和Y分別表示原始圖像和失真圖像。

圖1 SSIM評價算法框圖

3 TSSM模糊圖像質量評價方法

因為SSIM在計算過程中使用的是空間域的統計信息，不能反映出圖像中人眼所感受到的微小細節反差，所以對于模糊圖像，SSIM的評價值并不非常準確［10］。但是研究表明人眼對圖像的紋理信息部分十分敏感，因此可以將紋理作為圖像的主要結構信息，用來評價圖像的清晰程度，基于此本文提出了基于DCT域的紋理結構相似度模糊圖像質量評價方法。

3.1 紋理圖像提取

紋理圖像的提取有許多方法，最常見的是小波變換。小波變換對紋理進行多分辨率表示，能在更精細的尺度上分析紋理，并且符合人類視覺特征。但是，小波變換多應用于標準或規則紋理圖像，而對于背景更復雜的自然圖像，由于某一紋理區域內的像素并非處處相似，因此往往效果不佳。另外，也存在計算量大的問題。基于此本文采用在DCT域中提取紋理圖像。

DCT域中離散余弦變換系數的值可以有效反映圖像的模糊程度，并且離散余弦具有集中在某一局部區域的性質，少許DCT系數便可以反映出圖像的特征，所以可以將在DCT域中提取反映圖像特征的那一小部分系數作為圖像的紋理信息。因此，本文的重點在于紋理圖像的提取，將圖像進行DCT變換得到系數矩陣，提取系數矩陣中可反映圖像特征的少量DCT系數即對角線向量；然后，將對角線矩陣轉化成對角線矩陣；最后，對對角線矩陣進行DCT逆變換得到紋理圖像。其紋理圖像獲取的具體過程如下：

步驟1 對原始圖像和模糊（降質）圖像進行DCT變換，從而得到DCT系數矩陣G：

步驟2 提取系數矩陣G的對角向量S：

S=（g11，g22，…，grr），r=m in（m，n）

步驟3 將所得對角向量S轉換成對角線矩陣SS：

步驟4 對矩陣SS再進行DCT反變換，這樣就得到了原始圖像和降質圖像的紋理圖像，從而給出了紋理結構信息這一指標：

其中，x和y分別為原始圖像和降質圖像的紋理圖像；θxy表示圖像x和y的灰度協方差；θx和θy表示圖像x和y的灰度方差。

3.2 紋理結構相似度算法原理

將SSIM模型即式（4）中的s（x，y）用式（6）中的紋理結構信息t（x，y）代替，得到基于紋理的結構相似度（TSSIM）。

整幅圖像基于紋理的結構相似度可以由各子圖像塊的TSSIM的均值得到：

其中，N為圖像塊的數量。

該算法結構框圖如圖2所示。其中，X為原始圖像；Y為失真圖像；T（x）和T（y）分別為原始圖像和失真圖像的紋理圖像。

圖2 TSSIM評價算法框圖

4 實驗數據及結果分析

本文的仿真實驗是在美國TEXAS大學LIVE圖像質量評價數據庫中的高斯模糊圖像（Gblur）庫［11］中145幅圖像上進行的（實驗環境：PC；OS：W indows XP；CPU：2.71 GHz；RAM：2 GB；Software：Matlab 7.0）。該圖像庫中的145幅不同程度失真圖像的平均主觀評分差值（DMOS）均已給出。為了測試本文提出的圖像質量評價結果與主觀感知的一致性，選擇了以下2個判定準則：（1）用Pearson相關系數，預測評價方法的準確性；（2）用Spearman等級相關系數，預測評價方法的一致性。

針對LIVE圖像質量評價數據庫中提供的高斯模糊圖像庫失真類型，將所提出的方法與全參考型的PSNR，MSSIM和WBCT（W avelet-based Contourlet Transform）［12］方法進行比較。由實驗結果可以看出，本文方法相對現有方法有較大的改進，相對于PSNR在Pearson相關系數評價值上提升了11個百分點，在Spearman等級相關系數評價值上提升了14個百分點，并且與主觀評價值具有較好的一致性。表1給出了前文提出的不同圖像質量評價模型相對于本文方法在Gblur圖像庫上的實驗結果。

表1 不同質量評價模型對Gblur圖像庫性能比較

為了進一步計算TSSIM對模糊圖像的有效性，分別對Lena圖像和Boat圖像進行不同程度的模糊，如圖3和圖4所示，利用TSSIM算法進行測試，測試結果如表2所示。

圖3 Lena原始圖像與不同程度的模糊圖像

圖4 Boat原始圖像與不同程度的模糊圖像

表2 TSSIM算法對模糊圖像實驗的評價值

從圖3和圖4的3幅不同模糊程度的圖像來看，圖3（b）和圖4（b）效果最好，圖3（d）和圖4（d）效果最差。其中，圖3（b）和圖4（b）的TSSIM值分別為0.841 31和0.922 41，圖3（d）和圖4（d）值分別為0.627 84和0.669 69。因為SSIM在計算過程中使用的是空間域的統計信息，不能反映出圖像中人眼所感受到的微小細節反差，而紋理作為圖像的主要結構信息，可以用來評價圖像的清晰程度，所以圖中的數據大小關系與圖3和圖4的視覺效果一致。

5 結束語

本文在SSIM的基礎上提出了基于紋理的SSIM圖像質量評價方法。該方法利用圖像的紋理信息作為結構信息，由亮度、對比度、紋理3個因子決定，計算這3個因子的乘積得到了圖像質量的綜合指標TSSIM。仿真實驗結果證明，TSSIM算法優于PSNR算法和MSSIM算法，并且克服了SSIM算法評價模糊圖像時客觀結果與主觀感受相矛盾的缺點，是一種比較好的圖像質量評價方法。為了進一步優化和改進本文方法，將從紋理信息的提取入手，尋找更適合的相似性度量方法，獲得更好的圖像質量評價方法，并將其運用到無參考的圖像質量評價上。

［1］ Sheikh H R，Sabir M F，Bovik A C.A Statistical Evaluation of Recent Full Reference in Image Quality Assessment Algorithm s［J］.IEEE Transactions on Im age Processing，2006，15（11）：3440-3451.

［2］ Avcibas I I，Sankur B，Sayood K.Statistical Evaluation of Image Quality Measure Measures［J］.Journal of Electronic Image，2002，11（2）：206-213.

［3］ Wang Zhou，Bovik A C.Why is Image Quality Assessment So Difficult？［C］//Proceedings of IEEE International Conference on Acoustics，Speech and Signal Processing.Washington D.C.，USA：IEEE Press，2002：3313-3316.

［4］ Wang Zhou，Lu Ligang，Bovik A C.Rate Scalable Video Coding Using a Foveation-based Human Visual System［C］//Proceedings of IEEE International Conference on Acoustics，Speech and Signal Processing. Washington D.C.，USA：IEEE Press，2001：1785-1788.

［5］ Wang Zhou，Bovik A C，Sheikh H R，et al.Image Quality Assessment：From Error Visibility to Structural Similarity［J］.IEEE Transactions on Image Processing，2004，13（4）：606-612.

［6］ 楊春玲，陳冠豪，謝勝利.基于梯度信息的圖像質量評判方法的研究［J］.電子學報，2007，35（7）：1313-1317.

［7］ Wang Zhou，Simoncelli E P，Bovik A C.Multi-scale Structural Similarity for Image Quality Assessment［C］// Proceedings of IEEE Asilomar Conference on Signals，Systems and Computers.Washington D.C.，USA：IEEE Press，2003：1398-1402.

［8］ 李 航，路 羊，崔慧娟，等.基于頻域的結構相似度的圖像質量評價方法［J］.清華大學學報：自然科學版，2009，49（4）：559-562.

［9］ 佟雨兵，張其善，常 青，等.基于NN與SVM的圖像質量評價模型［J］.北京航空航天大學學報，2006，32（9）：1031-1034.

［10］ Cadik M，Slavik P.Evaluation of Two Principal Approaches to Objective Image Quality Assessment［C］//Proceedings of the 8th International Conference on Information Visualisation.Washington D.C.，USA：IEEE Press，2004：513-518.

［11］ Sheikh H R，W ang Z.Cormack L，et al.Live Image Quality Assessment Database Release2［EB/OL］.（20014-04-29）.http：//live.ece.utexas.edu/research/ quality.

［12］ 高新波，王體勝.一種基于WBCT的自然圖像質量客觀評價方法［J］.電子學報，2008，36（2）：303-308.

編輯 顧逸斐

Blur Image Quality Assessment Based on DCT Domain Texture Structure Similarity

WANG Wei，LIU Jing，YANG Weiwei，LI Ji
（School of Computing and Communication Engineering，Changsha University of Science&Technology，Changsha 410114，China）

Structure Similarity（SSIM）is an important indicator of measuring the similarity of two images，but there still remain some deficiencies when assessing badly blurred images.In this paper，a new method using image texture combines with SSIM，which takes the importance of the texture information to images and human eye perception structure into account.The algorithm combines texture features in Discrete Cosine Transform（DCT）domain with SSIM to acquire the Texture Structure Similarity（TSSIM）.Experimental results for Pearson correlation coefficient is 0.893 42，and the Spear man rank correlation coefficient is 0.925 07，which show that the proposed method works better in the aspect of subjective visual impression than SSIM.

Structure Similarity（SSIM）；Human Visual System（HVS）；Discrete Cosine Transform（DCT）domain；Texture Structure Similarity（TSSIM）；Pearson correlation coefficient；Spear man rank correlation coefficient

Wang Wei，Liu Jing，Yang Weiwei，et al.Blur Image Quality Assessment Based on DCT Domain Texture Structure Simlarity［J］.Computer Engineering，2015，41（11）：253-256.

1000-3428（2015）11-0253-04

A

TP391.4

10.3969/j.issn.1000-3428.2015.11.043

國家“973”計劃基金資助項目（613XXX0301）；中國博士后科學基金資助項目（2013M 542467）。

王 威（1974-），男，教授，主研方向：視頻圖像處理，信息融合；劉 婧、楊蔚蔚，碩士研究生；李 驥，講師、博士。

2014-10-21

2014-12-12 E-m ail：123410932@qq.com

王 威，劉 婧，楊蔚蔚，等.基于DCT域紋理結構相似度的模糊圖像質量評價［J］.計算機工程，2015，41（11）：253-256.