基于視覺(jué)顯著模型的圖像質(zhì)量評(píng)價(jià)算法*

陳宏達(dá)， 丁 勇

(浙江大學(xué) 超大規(guī)模集成電路設(shè)計(jì)研究所，浙江 杭州 310027)

0 引 言

在圖像處理領(lǐng)域，定量評(píng)估圖像質(zhì)量是不可缺少的一環(huán)[1]。圖像質(zhì)量評(píng)價(jià)可分為主觀圖像質(zhì)量評(píng)價(jià)和客觀圖像質(zhì)量評(píng)價(jià)兩大類。相對(duì)于主觀評(píng)價(jià)，客觀質(zhì)量評(píng)價(jià)若能設(shè)計(jì)出與主觀評(píng)價(jià)相一致的算法，則能夠大大降低圖像評(píng)價(jià)成本，具有巨大的研究和應(yīng)用價(jià)值。

本文討論的算法均為全參考圖像評(píng)價(jià)算法，其中無(wú)失真圖像作為參考圖像[2]。傳統(tǒng)的圖像算法中均方誤差(mean square error,MSE)和峰值信噪比(peak signal-to-noise ratio,PSNR)評(píng)估內(nèi)容相同和失真類型相同的圖像質(zhì)量效果良好，而涉及到多種圖像內(nèi)容或者多種失真類型的質(zhì)量評(píng)估，預(yù)測(cè)結(jié)果與人的主觀評(píng)價(jià)一致性較差[3]。因此，建立以人眼感知為導(dǎo)向的圖像質(zhì)量評(píng)價(jià)算法，對(duì)圖像處理算法的設(shè)計(jì)優(yōu)化和圖像傳輸質(zhì)量的控制監(jiān)測(cè)至關(guān)重要。2004年,Wang Z等人[4]提出了結(jié)構(gòu)相似度(structural similarity，SSIM)方法，該方法以人眼視覺(jué)系統(tǒng)(human visual system，HVS)對(duì)結(jié)構(gòu)信息高度敏感，取得了較好的圖像感知質(zhì)量。在后續(xù)研究中，Simonceili W Z等人[5]又提出了多尺度的SSIM算法(multi-scale SSIM，MS-SSIM)，實(shí)驗(yàn)證明效果好于對(duì)應(yīng)的單一尺度SSIM；而后Wang Z和Li Q改善了原始的MS-SSIM算法，引入了基于信息內(nèi)容的加權(quán)聚合方式，提出基于信息內(nèi)容加權(quán)的SSIM算法(information content weighted SSIM，IW-SSIM)[6]，更深入地模擬人眼感知特性。近幾年來(lái)，研究發(fā)現(xiàn)對(duì)于同樣一幅圖，不同區(qū)域信息對(duì)HVS的刺激程度不同[7]。這種視覺(jué)顯著特性和圖像質(zhì)量評(píng)價(jià)有著內(nèi)在的聯(lián)系[8]。Zhang L等人[9]提出了視覺(jué)顯著性指導(dǎo)的(visual saliency-induced index，VSI)圖像質(zhì)量評(píng)價(jià)算法，將顯著模型和評(píng)價(jià)模型融合在一起，表現(xiàn)出與主觀感知非常一致的評(píng)價(jià)效果。

本文提出一種基于新型視覺(jué)顯著模型的圖像質(zhì)量評(píng)價(jià)算法。首先利用最小可覺(jué)差(just noticeable difference,JND)模型提取圖像的梯度感知圖，再利用超像素分割提取圖像的權(quán)重感知圖，最后在融合兩種感知圖基礎(chǔ)上，采用融合感知圖的均值和方差結(jié)合支持向量回歸(support vector regression，SVR)[10]來(lái)度量圖像質(zhì)量的退化。本文算法中的參考圖和失真圖分別提取梯度感知圖，而權(quán)重感知圖根據(jù)參考圖得出，主要考慮到參考圖像的圖像信息最為完整，由其得出的權(quán)重感知圖能更為準(zhǔn)確地反映出HVS對(duì)圖像不同區(qū)域的敏感性

1 梯度感知圖的提取

人眼的JND[11]理論與HVS的觀察機(jī)制相一致，因此，應(yīng)用JND模型可以有效地模擬HVS的觀察機(jī)制，將圖像中人眼最敏感的區(qū)域提取出來(lái)。本文設(shè)計(jì)了多種方向的卷積核如圖1，從0°，45°，90°和135° 4個(gè)方向提取圖像的梯度信息，并通過(guò)像素最大化原則，獲得最終的梯度感知圖SG

(1)

式中I為輸入圖像,Pn(n=1，2，3，4)為卷積核。相比于傳統(tǒng)的Sobel和Prewitt算子卷積核，這4種卷積核方向更充分，而且更大的卷積核保證了提取梯度信息的完整性。

圖1 梯度感知圖的提取過(guò)程

2 權(quán)重感知圖的提取

圖像的某些區(qū)域會(huì)因?yàn)榘芏嗵荻刃畔?，吸引HVS著重觀察，這種對(duì)圖像局部區(qū)域的感知在梯度感知圖中體現(xiàn)并不充分，由此本文在梯度感知圖的基礎(chǔ)上提取了權(quán)重感知圖。

為了突出圖像不同區(qū)域的敏感度不同，需要將圖像按一定方式分塊，傳統(tǒng)的矩形分塊固然方便快捷，但在分塊的過(guò)程中并沒(méi)有體現(xiàn)HVS的感知特性，本文利用超像素分割算法簡(jiǎn)單線性迭代聚類(simple linear iterative clustering ，SLIC)[12]，SLIC算法主要依據(jù)是像素之間的顏色相似性與鄰近性進(jìn)行圖像分塊

(2)

式中 [lab]為三原色(RGB)顏色空間圖像轉(zhuǎn)換為實(shí)驗(yàn)室(LAB)空間對(duì)應(yīng)的像素值；(x，y)為像素點(diǎn)的位置；[liaibixiyi]為局部分塊的中心點(diǎn)的5維向量；[ljajbjxjyj]為需要判斷所屬塊的像素點(diǎn)的5維向量；S為局部區(qū)域的像素點(diǎn)個(gè)數(shù),本文根據(jù)實(shí)驗(yàn)經(jīng)驗(yàn)選取S為9 000;D為5維向量的歐氏距離，是判斷像素點(diǎn)所屬塊的依據(jù)。

同時(shí)人眼在對(duì)梯度信息的感知過(guò)程中，依然存在敏感性不同的差異，為了提取這部分差異，本文的權(quán)重感知圖分為2個(gè)尺度：調(diào)局部細(xì)節(jié)重要性；強(qiáng)調(diào)整體輪廓重要性

(3)

式中n=1,2為不同尺度；W1=0.3,W2=0.7為大量實(shí)驗(yàn)過(guò)程中選取的最優(yōu)值。

計(jì)算局部區(qū)域的有效像素個(gè)數(shù)占總像素個(gè)數(shù)的比例，作為該區(qū)域的權(quán)重系數(shù)，模擬人眼對(duì)該局部區(qū)域的敏感度

(4)

式中l(wèi)abeli為第i個(gè)超像素區(qū)域；SWn(x，y)為在第i個(gè)超像素區(qū)域中的一個(gè)像素值。

利用JND模型提取參考圖像R梯度感知圖如圖2，提取過(guò)程如圖1；利用SLIC算法將圖像分塊，圖像的顏色信息和位置信息通過(guò)SLIC算法凸顯；后續(xù)梯度感知圖通過(guò)對(duì)感知程度的判斷，分成第一尺度SGW1和第二尺度SGW2，利用式(4)分別與得到的超像素分割圖像SP結(jié)合，得到最終的權(quán)重感知圖SW1和SW2。

圖2 權(quán)重感知圖的提取過(guò)程

3 回歸分析和圖像質(zhì)量預(yù)測(cè)

經(jīng)過(guò)圖1和圖2的過(guò)程，一幅圖像可以得到梯度感知圖SG和權(quán)重感知圖SW1和SW2，兩種感知圖再通過(guò)點(diǎn)乘的方式融合成最后的視覺(jué)顯著圖。由此獲取參考圖像顯著圖與失真圖像顯著圖之間的絕對(duì)值差異，并統(tǒng)計(jì)差異的均值和方差，得到特征矩陣F=[μ1σ1μ2σ2]。為了尋找F映射成客觀質(zhì)量分?jǐn)?shù)的最優(yōu)方式，本文在回歸分析的過(guò)程中選用SVR算法，SVR的目標(biāo)即發(fā)現(xiàn)一種函數(shù)y(F)可以使得預(yù)測(cè)結(jié)果與數(shù)據(jù)庫(kù)中的主觀質(zhì)量分?jǐn)?shù)一致性最高

y(F)=WTφ(F)+γ

(5)

式中φ(F)為特征向量F的非線性函數(shù),w為本文需要尋找出的最優(yōu)參數(shù),γ為偏差因子。訓(xùn)練的目的為求出未知的最優(yōu)參數(shù)和偏差因子。本文隨機(jī)選取了數(shù)據(jù)庫(kù)80 %的數(shù)據(jù)量訓(xùn)練，用20 %的數(shù)據(jù)量測(cè)試，訓(xùn)練集和測(cè)試集的數(shù)據(jù)不重復(fù)。這種訓(xùn)練和測(cè)試的方式在每個(gè)數(shù)據(jù)庫(kù)中重復(fù)了1 000次，取其均值作為最后的質(zhì)量評(píng)價(jià)分?jǐn)?shù)。整體算法框架如圖3所示，實(shí)驗(yàn)結(jié)果表明本文算法與人眼感知有很高的一致性。

圖3 本文提出的圖像質(zhì)量評(píng)價(jià)算法框架

4 實(shí)驗(yàn)與結(jié)果分析

為了分析本文算法效果的優(yōu)劣，采用Pearson線性相關(guān)系數(shù)(Pearson linear correlation coefficient,PLCC)和均方根誤差(root mean square error,RMSE)度量評(píng)價(jià)分?jǐn)?shù)的準(zhǔn)確性，采用Spearman排序相關(guān)系數(shù)(Spearman rank correlation coefficient,SRCC)和Kendall排序相關(guān)系數(shù)(Kendall ranking correlation coefficient,KRCC)評(píng)估質(zhì)量分?jǐn)?shù)的單調(diào)性[13]。PLCC，SRCC和KRCC的值越接近1，RMSE值越接近0，則算法效果越好。采用3個(gè)國(guó)際公知的圖像評(píng)價(jià)數(shù)據(jù)庫(kù)為：LIVE[14]，TID2008[15]，TID2013[16]。這些數(shù)據(jù)庫(kù)中，每幅失真圖像都對(duì)應(yīng)一個(gè)主觀質(zhì)量分?jǐn)?shù)。LIVE數(shù)據(jù)庫(kù)包含5種失真類型的779幅失真圖像；TID2008數(shù)據(jù)庫(kù)包含17種失真類型的1 700幅失真圖像，TID2013數(shù)據(jù)庫(kù)包含24種失真類型的3 000幅失真圖像。在實(shí)驗(yàn)中，基于PLCC，Searman等級(jí)相關(guān)系數(shù)(Spearman rankorder correlation coefficient,SROCC)和RMSE等指標(biāo)，本文算法與多種代表性圖像質(zhì)量評(píng)價(jià)算法進(jìn)行了性能比較。對(duì)比算法包括SSIM[4]，MS-SSIM[5]，IWSSIM[6]，梯度相似性(gradient similarity,GSIM)[17]，多尺度對(duì)比相似度偏差(multiscale contrast similarity deviation,MCSD)[18]，VSI[9]。表1給出了不同算法在3種數(shù)據(jù)庫(kù)上的總體性能比較，其中效果最好的用加粗的形式表示。

表1 不同算法在3個(gè)數(shù)據(jù)庫(kù)中的性能比較

可以看出，在3種數(shù)據(jù)庫(kù)中，本文算法都表現(xiàn)出優(yōu)秀的性能，同時(shí)MCSD算法由于在多尺度特性的基礎(chǔ)上引入了對(duì)比敏感度特性，在LIVE和TID2008數(shù)據(jù)庫(kù)上也表現(xiàn)突出，而同樣采用視覺(jué)顯著圖的VSI算法則在TID2008和TID2013數(shù)據(jù)庫(kù)上更有優(yōu)勢(shì)。本文算法在提取梯度信息的基礎(chǔ)上，提出的權(quán)重感知圖，不但模擬了HVS的感知特性，而且通過(guò)對(duì)感知程度的判斷，將權(quán)重感知圖分層，從細(xì)節(jié)和整體2部分綜合度量圖像的客觀質(zhì)量。實(shí)驗(yàn)結(jié)果表明，本文提出的基于新型視覺(jué)顯著模型的算法在3種數(shù)據(jù)庫(kù)上的性能表現(xiàn)穩(wěn)定，與人眼的主觀評(píng)價(jià)有很強(qiáng)的一致性，體現(xiàn)出很高的魯棒性。

表2給出了不同算法對(duì)LIVE數(shù)據(jù)庫(kù)中多種失真類型的評(píng)價(jià)性能比較，其中SRCC值最高的用加粗形式表示。從表2可以看出，在快通道衰減(fast channel fall-off,FF)失真，JPEG壓縮失真，高斯白噪聲(white noise,WN)失真和JPEG2000(JP2K)壓縮失真中，本文算法表現(xiàn)突出。而針對(duì)高斯模糊(Gaussian blur,GB)失真，由于高斯模糊是對(duì)圖像進(jìn)行低通處理，而MCSD因?yàn)槟M人眼的多通道特性，可以對(duì)這種失真的預(yù)測(cè)取得相對(duì)較好的效果，本文在權(quán)重感知圖上的尺度概念，也對(duì)這種失真起了一定的預(yù)測(cè)作用，表現(xiàn)出僅次于MCSD的效果，評(píng)價(jià)效果也相對(duì)優(yōu)秀。

表2 LIVE數(shù)據(jù)庫(kù)中多種失真類型的SRCC值比較

另外，本文用到了SVR算法，在訓(xùn)練和測(cè)試過(guò)程中在每個(gè)數(shù)據(jù)庫(kù)中重復(fù)了1 000次。圖4為根據(jù)100次測(cè)試結(jié)果得到的每個(gè)數(shù)據(jù)庫(kù)的箱線圖，可以看出在1 000次測(cè)試中，算法的效果性能一直非常穩(wěn)定，數(shù)據(jù)非常集中，都處于中位線附近。

圖4 各個(gè)數(shù)據(jù)庫(kù)的箱線圖

綜上，本文的基于新型視覺(jué)顯著模型的圖像質(zhì)量評(píng)價(jià)算法在跨數(shù)據(jù)庫(kù)和跨失真類型上都表現(xiàn)出與主觀評(píng)價(jià)很好的一致性，是一種非常有效的圖像質(zhì)量預(yù)測(cè)和評(píng)價(jià)方法。

5 結(jié)束語(yǔ)

本文提出了一種基于視覺(jué)顯著模型的全參考圖像質(zhì)量評(píng)價(jià)方法，從梯度感知圖和權(quán)重感知圖，兩個(gè)方面深度契合了人眼感知的特性，同時(shí)在權(quán)重感知圖中，將梯度信息的感知層級(jí)進(jìn)一步細(xì)分，實(shí)驗(yàn)效果也說(shuō)明了算法的優(yōu)異性。而且這種視覺(jué)顯著模型可以適用于后續(xù)的視頻質(zhì)量的檢測(cè)，也對(duì)先存在的圖像質(zhì)量評(píng)價(jià)模型有重要的參考意義。