一種基于結構相似度的部分參考型圖像質量評價方法

林佳楠

(集美大學誠毅學院 信息工程系，福建 廈門 361021)

?

一種基于結構相似度的部分參考型圖像質量評價方法

林佳楠

(集美大學誠毅學院 信息工程系，福建 廈門 361021)

圖像的部分參考評價方法只需要參考圖像的部分提取參數即可，不需要完整的參考圖像，運用相對靈活，成為人們重點研究的對象。結構相似度算法因為其優點得到了越來越多的重視。但是結構相似度算法只能是一種全參考客觀評價方法。因為要采用結構相似度算法就必須有完整的參考圖像。因而，這里提出一種對結構相似度算法的改進方案，使其變為部分參考評價方法，并且保持原有結構相似度算法的良好效果與運算簡便。實驗結果證明，該改進方法達到了設計目的。

部分參考；全參考；客觀評價

當今社會是一個網絡社會，數字多媒體技術也隨之飛速發展。圖像的壓縮、處理、傳輸等技術變得越來越重要。而各種圖像的處理技術的好壞往往取決于最終人看到圖像的感受效果。所以圖像質量的客觀評價變得更加重要起來。目前圖像質量客觀評價被分為三大類：全參考評價方法( Full- Reference, FR)，部分參考評價方法( Reduced- Reference, RR) 和無參考型方法(No- Reference, NR)。全參考客觀評價方法是是三者中最精確的方法，但是由于必須要有完整的源圖像，導致這種方法有許多使用局限性。而無參考型方法因為不使用源圖像信息，只能通過設置各種假設前提條件，所以設計難度大，評價效果也不理想，在實際中很難應用，目前還處于發展的初級階段。圖像的部分參考評價方法只需要參考圖像的部分提取參數即可，不需要完整的參考圖像，運用相對靈活，成為人們重點研究的對象。

圖像內在結構相似度的質量評價方法得到了越來越多的重視。相關實驗結果表明，該算法要比峰值信噪比等傳統指標更符合人們對圖像的主觀視覺感受，而且原理清晰明了，運算簡便。然而該方法只能是一種全參考客觀評價方法。因為要計算結構相似度就必須有完整的參考圖像。因而，本文提出一種對結構相似度的改進方法，使其變為部分參考評價方法，并且保持原有結構相似度的良好效果與計算簡單度。

1 結構相似度方法簡介

1.1 結構相似度方法概述

圖1 相同的MSE

傳統峰值信噪比PSNR統計理論的逐像素對比得到相同的均方誤差MSE，在結構上則具有較大差異。如圖1所示，相同MSE(或者PSNR)的圖像在視覺感受上確存在明顯差異。

德州大學Austin分校提出的結構相似度(SSIM，Structural Similarity Image Metric)理論[1-2]是當前影響力較廣的評測方法之一。它的原理是圖像的各個像素點之間的結構相關性隨著這些像素點空間距離的接近而變強。所以這種方法比較符合人眼的視覺感受，也是他們將結構失真引入到評價應用中，如圖2所示：

圖2 生成結構相似索引圖

結構相似度算法, 是一種基于數理統計的客觀評價方法，原理清晰易懂，如果源圖像與被測圖像的結構相似，則可認為被測圖片質量下降較小。如圖1中，當對比度變化時候, 雖然均方的誤差(MSE, Mean Square Error)評價出的圖像質量得分一致,然而圖像給人的實際感受卻迥然不同, 而結構相似度算法可以明顯得體現出這種效果差異。

1.2 結構相似度的計算

結構相似度算法是先將將圖像劃分為 N×N 大小的圖像塊，共有 M個圖像塊，計算各部分的差異,然后將其組合實現整個結構相似索引圖。其實現原理圖如下圖所示。

圖3 結構相似度實現原理圖

其中l(x,y)表示亮度比較，c(x,y)表示對比度比較，s(x,y)表示結構比較。通過對結構相似索引圖求MSE得到最后的綜合評價分。

SSIM(x,y)=[l(x,y)]α·[c(x,y)]β·[s(x,y)]γ，

其中ux，uy為圖像的灰度均值：

其中C1=(K1L)2，一般K1=0.01。C2=(K2L)2一般K2=0.03。L是像素值的階數(例如每像素8比特的灰度圖像，L=255)。C3=C2/2。

參數α>0，β> 0，γ>0，主要用來調整 3 個部分的相對重要性。

由此，整幅圖像的平均結構相似度MSSIM定義為：

這個值越接近于1，代表待測圖像的質量越好。

從某種意義上來說，結構相似度算法避免了圖像自然內容的復雜問題,直接進行兩信號的逐像素誤差統計方法和結構相似性進行評價，結構相似度法目標是從整體上直接模擬人眼視覺系統提取視覺對象結構的視覺功能。

2 改進的方法

2.1 改進方法總體系統模型

針對結構相似度需要完整參考圖像而無法運用于部分參考評價的不足之處，這里提出一種部分參考型結構相似度評價方法。部分參考型結構相似度方法總體系統模型如圖4所示：

圖4 本文提出的部分參考型結構相似度方法的系統模型

在該部分參考型結構相似度模型中，輔助信道傳輸的特征參數為參考圖像的均值、方差和HVR。并且可以利用圖像空間上的相關性以及視頻前后幀之間的相關性進一步壓縮特征參數占用的帶寬。

2.2 改進方法的具體計算

從上文可知，之所以結構相似度只能是全參考模型，是因為其中的結構度量函數s(x,y)的計算依賴于參考圖像和待測圖像的協方差。因此要將結構相似度改進為部分參考模型，就必須改變結構度量函數s(x,y)的計算方法。

而根據人眼視覺的特點，圖像的結構特征最主要是由其邊緣輪廓決定的。因而本文采用邊緣清晰度系數K_HV來代替s(x,y)。其具體計算方法如下。

選用Sobel水平濾波器ghorizontal(i,j)和垂直濾波器gvertical(i,j)，提取出幀圖像水平和垂直邊緣數據，分別記為R_edge_horizontal(i,j)和R_edge_vertical(i,j)，定義如下：

R_edge_horizontal(i,j)=Data(i,j)*ghorizontal(i,j)，

R_edge_vertical(i,j)=Data(i,j)*gvertical(i,j)，

提取邊緣梯度矢量，矢量幅度記為R_edge(i,j)，即邊緣能量大小，矢量角度記為θ(i,j,k)，定義如下：

計算邊緣能量比值HVR(k)，定義如下：

其中，rmin=20,Δθ=0.225

圖5 HV和示意圖

圖像邊緣清晰度系數K_HV

其中HVRp(k)為待測圖像的HVR，HVRs(k)為參考圖像的HVR。

如果模糊化待測圖像的邊緣，一般會導致HVRpHVRs，因此對比圖像前后的邊緣分量，可以計算出待測圖像清晰度K-HV。和l(x,y)亮度度量、c(x,y)對比度度量一樣，K-HV值是0到1之間的。

其他的計算，包括l(x,y)亮度度量和c(x,y)對比度度量，和原結構相似度里的計算方法相同。最后綜合得到改進方法的綜合評價值：

3 結果與分析

本文仿真使用LIVE 圖像質量評估數據庫[3]。該庫包含多幅高分辨率的 RGB 圖像和其通過JPEG和JPEG2000 壓縮得到的一系列失真圖像，以及每幅圖像的主觀評價(MOS)等信息。計算各失真圖像由客觀測度得出的客觀成績，然后使用視頻質量專家組(VQEG，Video Quality Expert Group)的檢驗標準[5]來對主客觀評價的一致程度進行測算。這些指標是：(1)體現客觀評價方法預測精確性的相關系數(Correlation, CC)；(2)反映客觀評價成績預測單調性的斯皮爾曼等級相關系數(RankOrderCorrelationCoefficient, ROCC)；(3)體現客觀評價方法預測穩定性的離出率(OutlierRatio,OR)。

表1 本文方法與其他方法的主客觀一致性評價對比

圖6 文中方法對 MOS值的預測(JPEG)

圖7 文中方法對 MOS值的預測(JPEG2000)

從實驗結果可以看出，本文提出的改進方法，在實現部分參考即只用參考圖像的部分信息的同時，基本保持了原來結構相似度的評價效果，達到了設計目的。

4 結論

本文提出的改進方法，在實現部分參考即只用參考圖像的部分信息的同時，基本保持了原來結構相似度的評價效果。是一種對于經典結構相似度方法的延伸發展。在較小的改動下，將原本屬于全參考型的結構相似度方法發展為部分參考型客觀評價方法。

[1] Wang Z, Bovik A C, Sheikh H R，et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transaction on Image Processing, 2004, 13(4): 600-612.[2] Wang Z, Lu L, Bovik A C. Video quality assessment using structural distortion measurement[C].Proceedings of the IEEE International Conference on Image Processing, Rochester, 2002. Rochester: Signal Processing Society, 2002:65-68.

[3] A. B. Watson. DCTune: A technique for visual optimization of DCT quantization matrices for individual images [J]. In Society for Information Display Digest of Technical Papers,1993(24)：946-949.

[4] Z. Wang, H. R. Sheikh, A. C. Bovik. Objective video quality assessment[M].Handbook of Video Databases: Design and Application. Boca Raton: CRC Press, 2003.

[5] Video Quality Expert Group. RRNR-TV Group Test Plan DraftVersion1.9[R] .http://www.vqeg org. 2006, .

[6] Sheikh H R,Wang Z,Bovik A C,et al. Image and Video Quality Assessment Research at LIVE[DB/OL] .[2003-10-12].http://live.ece.utexas.edu/rese-arch/quality/.

[7] Imgeun L,Jongsik K. Wavelet Transform Image Coding Using Human Visual System[C] .IEEE Asia-PacificConference on Circuits and Systems. Taipei: IEEE, 1994.

責任編輯：程艷艷

A Reduced-Reference Picture Quality Evaluation Method Based on Structural Similarity

LIN Jianan

(Department of Information Engineering, Chengyi College of Jimei University, Xiamen 361021, China)

The reduced-reference evaluation method of image only requires to consider part of the extracted parameters, which is relatively flexible, becoming one of the focuses in image processing field. Structural similarity algorithm attracts much attention due to its advantages, but it is a full-reference objective evaluation method. Structural similarity algorithm requires a complete reference image. In this paper, an improved scheme for structural similarity algorithm is proposed, making it be a reduced-reference evaluation method, which keeps the good result of original structural similarity algorithm and the convenient calculation. Experimental results show that the proposed method has reached the design aim.

reduced-reference; full-reference; objective evaluation

2016-09-02

林佳楠(1984-)，男，福建廈門人，講師，碩士，主要從事通信技術方面研究。

TP391.41

A

1009-3907(2016)10-0022-05