基于視覺感知高度相關的圖像質量評價

于淼淼，鄭元林，廖開陽，唐梽森

(1.西安理工大學印刷包裝與數字媒體學院，陜西西安710048；2.西安理工大學陜西省印刷包裝工程重點實驗室，陜西西安710048)

數字信息時代拉近了人與人之間的距離，影響和改變著人們的生活方式。隨著多媒體通信系統的日益發展，圖像質量評價(IQA)已然成為業界研究學者關注的焦點，對于圖像處理、圖像壓縮編碼、視頻編碼技術等意義重大。IQA旨在量化人眼對圖像質量的視覺感知，包括主觀評價法和客觀評價法。前者是評價者通過觀察待評估的失真圖像從而給出主觀感知得分，是最符合人眼視覺系統(Human Visual System, HVS)視覺感知的評價方法，但是由于該方法需要耗時耗力耗財的人工完成，因此無法用于大規模實時系統。基于此，客觀評價法應運而生，其基本思想是通過計算機建立數學模型從而模擬人眼對圖像的視覺判斷，目前被廣泛用于實時監控設備、圖像處理算法中的參數優化等。

依據對參考圖像的依賴程度，客觀圖像質量評價方法可分為全參考型(FR)、部分參考型(RR)以及無參考型(NR)。近幾年，FR和NR受到廣泛關注，也是應用最多的兩類方法，并且已有研究[1]將FR-IQA應用到了NR-IQA中，旨在借助前者預測準確率高的特性來增強NR-IQA算法性能。本文主要研究FR-IQA。

現有的FR-IQA依據算法設計原理的不同大致分為兩種類型，一類是傳統的基于計算引導的方法，另一類是基于機器學習的方法。早期的FR-IQA，如峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)和均方根誤差(Mean Squared Error, MSE)，主要通過計算參考圖像及其失真版本在像素水平上的差異來評價失真圖像質量，但這種方法假定圖像像素之間是獨立存在的，這顯然違背了HVS在觀察圖像時的視覺感知機制。隨后，SSIM(Structural Similarity Index Milarity)[2]作為里程碑式的方法，極大推動了IQA的研究進展，對于之后的很多研究成果意義重大。由于圖像的最終接收者是人，一個性能優越的IQA方法必然是通過模擬人眼視覺特性來實現的，因此從SSIM提出后，便掀起了通過考慮人眼感知特性來設計評價算法的熱潮，即通過從不同角度模擬HVS的不同功能來提取低水平圖像特征。MS-SSIM[3]利用HVS的多尺度特性對SSIM進行改進，評價準確性也得到了進一步提升。FSIMc[4]提取圖像的相位一致性特征以及梯度特征，并將相位一致性特征作為加權函數來強調其在全局圖像中的重要性。VSI[5]在提取梯度特征的同時也考慮到了圖像的視覺顯著性(VS)特征，并將其作為加權函數，VS特征描述了一幅圖像中能夠引起人眼注意的局部區域，能夠與主觀感知有高度的相關性。VSM[6]在VSI的基礎上，將梯度及VS特征的提取方法進行改進，表現出更高的預測結果。大部分方法均在空間域中提取圖像特征，Balanov等[7]嘗試提取圖像的變換域特征，并提出了一種基于DCT子帶相似性的IQA算法。HVS的不同功能決定了其具有可同時處理空域和變換域圖像特征的特性，因此SC-QI[8]將色度特征、對比敏感度函數(CSF)及結構對比度指標(SCI)進行融合，同時提取空域和變換域圖像特征，充分模擬了HVS對局部圖像特征和各種失真類型的感知機制。

近年來，隨著各領域對機器學習的研究進一步深入，基于機器學習的IQA方法變得越來越廣泛，也開發出了很多較為成熟的回歸工具。Pei等[9]通過提取Gauss頻帶特征建立基于隨機森林(Random Forest, RF)的回歸模型，所提出的Gauss差分(DOG)模型可與現有其他方法相結合，極大提高了模型的預測性能。Ding等[10]和Narwaria等[11]分別通過基于支持向量回歸(Support Vector Regression, SVR)及奇異值分解(Singular Value Decomposition, SVD)的方法建立質量回歸模型。

研究表明，基于機器學習的IQA方法在圖像質量預測精度以及魯棒性等方面均顯示出絕對優勢，并且一個性能優越的基于機器學習的IQA算法主要表現在兩個方面：一是通過模擬HVS對視覺場景的視覺感知來提取圖像特征，包括空域特征和變換域特征；二是通過模擬大腦機制建立質量回歸模型。因此，本文提出了一種新的基于視覺感知高度相關的機器學習算法CGDR。

1 算法設計

首先，為充分模擬HVS觀察視覺場景時的感知機制，在色度通道中提取參考圖像與失真圖像的顏色信息，在亮度通道中提取梯度特征、CSF特征以及5級DOG頻帶特征；然后計算兩幅圖像間的色度相似性、梯度相似性、對比敏感度相似性以及各級頻帶特征相似性。為降低特征空間維度、控制運算成本，池化策略分別提取色度相似性圖、梯度相似性圖以及對比敏感度相似性圖的均值、標準偏差及熵；最后，通過隨機森林RF進行多特征融合并訓練回歸模型，得到質量預測得分。CGDR的總體算法框架圖見圖1。

1.1 色度相似性特征

就彩色圖像而言，人眼對其顏色空間的感知特性是質量評估的重要組成部分[12]。色度特征是其中一個重要特征之一，它直接影響了彩色圖像的視覺效果。當圖像顏色發生飽和度失真時，提取圖像的顏色特征就顯得尤為重要[13]。從另一個角度講，一幅彩色圖像是由色度與亮度組成的，而大部分圖像特征主要集中在亮度通道上，因此，提取色度特征的結果必然是將圖像的亮度通道與色度通道進行分離。HVS在觀察真實場景時也總是將亮度和色度分開處理的，為了模擬HVS的這種功能，本文首先將圖像由RGB顏色空間轉化為YIQ三個通道，實現亮度信息Y與兩個色度信息I、Q的分離。色彩轉換方式具體如下：

圖1 提出算法CGDR計算流程Fig.1 Computational process of the proposed IQA index CGDR

(1)

自SSIM結構相似性指標被提出后，之后的大部分IQA算法都采用一種特定的形式來計算特征之間的相似度，這種特定形式可表示為：(2ab+c)/(a2+b2+c)，其中a、b表征待比較的兩個物理量，c為常量。這種計算方法具有很強的掩模效應，當物理量(如：亮度和對比度)增強的同時，這些物理量之間的感知差異會變小，即物理量之間的相似度會增大，這是符合HVS的視覺特性的。基于此，本文同樣采用這種特定形式來計算兩幅圖像之間的色度相似性，將參考圖像(失真圖像)的I和Q通道分別定義為I1(I2)和Q1(Q2)，則參考圖像及其失真圖像的色度相似性計算為：

(2)

式中：C1、C2均為正常量，根據經驗取C1=C2=130用于防止分母為零而造成C的不穩定。X為I、Q通道中的像素點。

1.2 改進的梯度相似性特征

對于一幅空間圖像而言，邊緣附近像素點的灰度變化是最劇烈的，在邊緣附近的失真要比在紋理或者平滑區域的失真更容易引起人眼的注意。梯度作為描述圖像邊緣特征最常用的指標，可以有效地描述由于結構和對比度失真而引起的圖像變化。傳統的梯度計算方法主要包括Sobel算子、Scharr算子、Prewitt算子等，它們的共同點是采用包含水平和垂直兩個方向的模板來計算圖像梯度，并且模板的最大尺寸為3×3，這會存在兩個問題：首先，只考慮水平和垂直兩個方向的梯度特征是不準確的，因為圖像的邊緣分布是非常豐富的，很難用兩個方向來描述所有邊緣的變化情況；其次，模板太小則無法包含足夠多的相鄰信息。隨后，很多方法[6, 14] 在此基礎上進行了改進，采用包含四個方向且尺寸更大的梯度模板對圖像做卷積，并選擇四個方向梯度分量的最大值作為最終提取的圖像梯度特征(記為最大分量法)。雖然使用這種方法的效果要比傳統方法好很多，但是選擇四個方向上的最大值并不是最佳的選擇，因為另外三個方向的信息對于梯度的形成同樣至關重要。本文后面會對最大分量法與我們所提出的梯度方法進行比較。

基于以上研究，本文采用一種新的計算方法來提取圖像的梯度特征，在使用多方向大尺寸卷積模板的基礎上，通過聯合四個方向上的梯度信息共同捕獲梯度特征，盡可能多的保留邊緣細節。圖2所示為四方向高通濾波模板，模板大小為5×5，包含 0°、 90°、 45°、135°四個方向。

圖2 四方向高通濾波模板 (a)0°；(b)90°；(c)45°；(d)135°Fig.2 High-pass filter templates in four directions (a) 0°; (b) 90°; (c) 45°; (d) 135°

具體計算方法如下：

(3)

式中：Gk(X,Y)(其中k分別代表x,y,u,v)表示分別使用Mk(k=x,y,u,v)模板所得到的四個梯度分量。(X,Y)表示梯度分量中各個像素點的橫縱坐標值。

然后，定義G1(X,Y)為0°和90°兩個方向的梯度分量，定義G2(X,Y)為45°和135°兩個方向的梯度分量，并計算如下：

(4)

最終，將一幅圖像的全局梯度特征計算為兩個梯度分量的加和，即：

GMap(X,Y)=G1(X,Y)+G2(X,Y)

(5)

圖3是對使用最大分量法與所提出的梯度分量加和法進行的比較。所使用的圖片來源于TID2013數據庫，圖3(a)為原始圖像，圖3(b)和圖3(c)為圖3(a)對應的兩種失真類型的失真圖像，圖3(d)～(f)分別為圖3(a)～(c)使用最大分量法得到的梯度圖，圖3(g)～(i)分別為圖3(a)～(c)使用梯度分量加和法得到的梯度圖。從圖中可以明顯的觀察到，無論哪種失真類型，使用所提出的方法計算得到的梯度特征要比使用最大分量法捕獲更豐富的邊緣信息，從而有效地反映出了圖像在邊緣處的特征變化。

通過采用這種新的梯度計算方法，分別得到參考圖像及其失真版本的梯度特征，記為GMap1(X，Y)和GMap2(X,Y)。與計算色度相似性的原理類似，這里使用相同的方法計算參考圖像及其失真版本之間的梯度相似性，過程如下：

(6)

式中：C3為一個正常量，根據經驗取C3=386用于防止分母為零而造成Gsim的不穩定。

當失真圖像產生多余邊緣時，尤其是當增加的多余邊緣顏色與參考圖像對應像素點的顏色差異較大時，那么獨立的計算參考圖像和失真圖像各自的梯度特征是有一定缺陷的，因為這種方法會誤認為該邊緣是參考圖像經失真后保留下來的正確的邊緣，造成誤判。為了彌補此類計算缺陷，將參考圖像與失真圖像的邊緣相關性融合到所提出的梯度相似性的計算過程中。具體做法是，首先將參考圖像與失真圖像的亮度通道進行融合，見式(7)，再通過式(3)～(5)，計算融合亮度通道后的圖像梯度特征，記為GL。與SSIM中計算相似性類似，接下來通過式(8)～(9)分別計算GL與參考圖像的梯度特征GMap1以及失真圖像的梯度特征GMap2之間的相似性，分別用GRL和GDL表示。其中，C4為正常量，根據經驗取C4=55用于穩定式(8)～(9)，防止分母為零。

L=(L1+L2)/2

(7)

(8)

(9)

圖3 兩種梯度計算方法的比較Fig.3 Comparison of two gradient calculation methods

最后，改進后的梯度相似性特征見式(10)，與只采用梯度分量加和法得到的梯度相似性特征Gsim相比，該公式增加的部分(GDL-GRL)將突出強調參考圖像經失真后所丟失的邊緣多于其失真版本所增加的邊緣，降低對平滑邊緣處的強調。

G=Gsim+[GDL-GRL]

(10)

1.3 DOG頻帶特征

由于梯度特征只強調了圖像中的少部分信息，而圖像大部分的能量主要集中在低頻區域，因此，只在空間域中提取特征不足以準確描述整幅圖像。本文采用Gauss差分(DOG)模型，通過提取不同頻帶特征來模擬HVS可同時處理空域和頻域特征的特性。

DOG響應用于描述具有不同標準偏差的兩個Gauss響應之間的差值，見式(11)，其中Gσ1(X)和Gσ2(X)分別代表標準偏差為σ1和σ2的兩個Gauss函數。一幅圖像的DOG響應見式(12)，即將一幅空間圖像轉化成帶通表示。

DOGσ1,σ2(X)=Gσ1(X)-Gσ2(X)

(11)

IDOGσ1,σ2(X)=I°(Gσ1(X)-Gσ2(X))

(12)

通過式(12)，可將一幅圖像分解為多個頻帶表示:

(13)

式中：N代表圖像分解級數，σi=ki-1(i=1,…,N-1)，°是Hardamard乘積。

通過式(13)，經過N級分解后的圖像I可表示為：

(14)

利用上述方法將參考圖像I1與失真圖像I2分解為5級(N=5)子帶，并計算兩幅圖像在各級頻帶間的相似性，即：

(15)

式中：SSIM(·)表示相似性計算指標，i=0,1,2,3,4。

圖4所示為圖像5級(N=5)DOG分解示例。圖4(a)為TID2013數據庫中其中一幅原始圖像的L通道圖，圖4(b)～(f)分別為分解后的5個頻帶圖。

圖4 圖像5級DOG分解圖Fig.4 5-level DOG decomposition of an image

1.4 CSF對比敏感度相似特征

CSF特征有效反映了HVS與空間頻率之間的關系。實驗表明，將DOG頻帶特征以及CSF兩種特征結合使用有助于增強模型對不同空間頻率的分辨能力，因此本文使用CSF與DOG頻帶特征共同反映人眼視覺系統的頻率響應特性。這里使用SC-QI算法中提出的方法來提取與CSF相關的圖像特征，首先將參考圖像與失真圖像從空間域轉換為DCT系數，然后將csfL1(csfL2)，csfM1(csfM2)和csfH1(csfH2)分別定義為參考圖像(失真圖像)在低頻(LF)、中頻(MF)和高頻(HF)區域的分量。對于一幅參考圖像，其對比度能量值計算如下：

(16)

式中：K=L1,M1,H1，分別對應參考圖像RK的LF，MF和HF三個區域，p(u,v)表示在(u,v)點處DCT系數的歸一化值。同理，對失真圖像用同樣方法計算這三個指標，計算結果記為:csfL2、csfM2以及csfH2。參考圖像與失真圖像在LF，MF和HF區域的相似性值分別計算如下：

(17)

(18)

(19)

式中：C5、C6、C7為正常量，根據SC-QI算法，取C5=20 001 111、C6=1.7、C7=0.006 3用于防止分母為零而造成csfLMap、csfMMap及csfHMap的不穩定。X為LF，MF和HF三個區域中像素點的坐標值。最終，參考圖像與失真圖像的對比敏感度相似性特征表示為：

F=csfLMap(X)·csfMMap(X)·csfHMap(X)

(20)

1.5 池化策略與多特征融合

經上述特征提取過程，可得到參考圖像與失真圖像之間的色度相似性特征、梯度相似性特征、DOG頻帶特征以及對比敏感度相似性特征。池化策略的目的是將提取的圖像特征映射到低維空間中，通過低維空間保留下來的特征要最大程度地代表全局圖像。本文提取色度相似性圖的均值、標準偏差及熵，分別用Cm、Cs及Ce表示，提取梯度相似性圖的均值、標準偏差及熵，分別用Gm、Gs及Ge表示，提取對比敏感度似性圖的均值、標準偏差及熵，分別用Fm、Fs及Fe表示。DOG頻帶特征是一個5維的特征向量，記為[f0f1f2f3f4]。接下來，將3維色度相似性特征、3維梯度相似性特征、3維對比敏感度相似性特征以及5維頻帶特征進行多特征融合，融合后的特征空間用一個14維特征向量表示，即：

V=[CmCsCeGmGsGef0f1f2f3f4FmFsFe]

(21)

1.6 回歸策略

與傳統基于計算引導的方法不同，一旦得到代表每幅失真圖像質量的特征向量與主觀分數MOS后，基于機器學習的方法可自動進行特征學習并通過回歸工具建立回歸模型。在訓練階段，提取訓練集中所有圖像的14維特征向量，與主觀分數一同輸入到回歸工具中，建立回歸模型。測試階段，將測試集中提取的圖像特征向量輸入到訓練好的IQA回歸模型中，最終映射為圖像質量預測得分。

目前已經開發出了很多回歸工具，其中RF和SVR兩種工具使用最為廣泛，也顯示出卓越的學習能力和回歸效果。Pei等[9]利用這兩種回歸技術訓練了六個DOG模型，實驗結果表明，RF的預測性能要優于SVR，尤其是當考慮到圖像色度特征時結果最為顯著。因此，本文采用隨機森林RF訓練質量回歸模型，并設置參數(ntree, mtry)=(500, 2)。

2 實驗結論與分析

2.1 數據庫與評價指標

本實驗在應用最廣泛的四個圖像數據庫上進行，包括TID2013[15]、TID2008[16]、LIVE[17]以及CSIQ[18]，表1比較了這四個圖像數據庫的部分信息。其中，TID2013數據庫是四個數據庫中規模最大的，是TID2008數據庫的拓展版本，共有25幅原始圖像、24種失真類型，每種失真類型有5個失真等級，該數據庫總共包含3 000幅失真圖像。另外，CSIQ數據庫中所包含的參考圖像的數量是最豐富的，LIVE數據庫中圖像的分辨率最高。

表1 四種圖像質量評價數據庫各種信息比較

(22)

2.2 算法綜合性能評價

本文所提出的方法與八種主流的FR-IQA方法進行了比較，這八種方法分別是SSIM, MS-SSIM, IW-SSIM[19], FSIMc, GMSD[20], VSI, SC-QI 以及DOG-SSIM[9]，其中，前七種為基于計算引導的方法，最后一種為基于機器學習的方法。由于TID2013數據庫是TID2008數據庫的拓展版本，因此，本實驗僅在TID2013、LIVE以及CSIQ三個數據庫中進行測試，實驗所得PLCC和SRCC性能指標見表2。除包括在各數據庫中的評價結果外，表2右半部分還列出了每種方法在三個數據庫中的平均值及加權平均值評價結果，權重因子依賴于各個數據庫中失真圖像數量。表2中，加粗部分表示排名最高的圖像質量評價方法所得結果。值得一提的是，為防止過擬合現象，保證訓練集和測試集之間互不重疊，本文采用K-折交叉驗證的方法避免此類問題。具體做法是在TID2013數據庫中采用8-折交叉驗證策略，在LIVE及CSIQ數據庫中采用10-折交叉驗證策略，每次訓練選擇其中1-折作為訓練集，其余作為測試集，每次實驗進行1 000次迭代，并取中位數作為評價指標的最終結果。

由表2可知，提出算法CGDR在各個數據庫中的預測性能遠遠優于其他八種方法，平均結果和加權平均結果同樣顯示出其卓越的綜合表現能力。具體來看，CGDR算法的平均PLCC和SRCC結果分別高于排名第二位方法的2.98%和2.60%，加權平均結果分別高了3.21%和2.99%。

另外，圖5顯示了在TID2013數據庫上通過九種IQA方法獲得的預測得分與主觀分數的散點圖以及通過式(22)得到的最佳擬合邏輯函數，散點圖橫縱坐標分別表示IQA算法的預測得分以及主觀MOS值，每個藍色加號表示數據庫中的一幅圖像。從圖5中可以看出，與其他八種方法相比，提出的CGDR算法的所有采樣點更接近于擬合曲線，這說明與主觀得分有更高的一致性。

表2 九種FR-IQA方法總體性能比較

圖5 TID2013數據庫上通過IQA方法獲得的預測得分與主觀分數的散點圖Fig.5 Scatter plots of subjective MOS and predicted scores obtained by several IQA methods on TID2013 database

2.3 跨數據庫驗證

基于機器學習的IQA方法的預測性能直接取決于訓練數據集與測試數據集，有些方法在一個數據集上的性能非常好，但在其他數據集上卻表現平平。與K-折交叉驗證不同，跨數據庫驗證是在不同數據庫中分別訓練和測試IQA模型，這對于評估模型的整體性能方面更有說服力。

表3為所提出的CGDR算法與其他三種基于機器學方法的跨數據驗證的PLCC結果。其中，前兩種方法分別使用SVR和SVD回歸技術，后一種使用隨機森林RF回歸策略。值得一提的是，由于TID2013數據庫與TID2008數據庫中包含的原始圖像相同，因此本實驗排除在這兩個數據庫間進行驗證。同理，LIVE 與TID2008和TID2013數據庫均有重疊內容，因此，為保證實驗的嚴謹和規范，跨數據庫驗證實驗僅在CSIQ/LIVE以及CSIQ/TID2008數據庫間進行訓練和測試。表3中用粗體標出了每次交叉驗證實驗的最佳值，結果無疑證明了CGDR算法比其他三種方法有更強的魯棒性。

表3 跨數據庫驗證的PLCC結果

2.4 運算復雜性分析

將IQA算法運用到實時系統中時，設計者總是希望在算法的預測精度與運算復雜度之間找到很好的平衡。表4列出了包括提出的CGDR算法在內的九種FR-IQA方法在TID2013數據庫中每幅圖像的平均運行時間，所有方法均使用Matlab 2016a在配有智能英特爾酷睿i7四核處理器的個人計算機上進行計算，其余八種方法的代碼均來自原始作者。

由表4可知，SSIM的運算速度是九種方法中最快的，平均每0.049 7 s運行一對圖像，其次是GMSD，速度快的原因是這兩種方法無論在特征提取過程還是池化階段，其計算過程都比較簡單，計算的復雜程度相對較低。CGDR算法的平均運算時間與MS-SSIM大致相同，速度均落后于其他方法。CGDR算法運行速度慢的原因可能是在特征提取的過程中，對特征空間的維度控制的不夠低，每一幅失真圖像要提取14維特征向量，并且不僅需要在空間域中提取圖像特征，還要將圖像轉變為DCT系數以及分解為DOG子帶來反映其頻率特征，所以導致其運算效率受到影響。雖然平均運算時間相對較高，但CGDR算法與其他八種方法相比保持了最高的預測精度。

表4 TID2013數據庫上九種FR-IQA方法的平均運行時間

Tab.4 Average running time of nine FR-IQA methodsin TID2013 database

FR-IQA算法平均運行時間/sSSIM0.049 7MS-SSIM0.095 3IW-SSIM0.561 3FSIMc0.176 8GMSD0.052 5VSI0.257 6SC-QI0.092 7DOG-SSIM0.067 7CGDR0.561 4

3 結 語

本文提出了一種基于視覺感知高度相關圖像質量評價模型CGDR。該模型在考慮圖像色度特征的同時，使用改進后的梯度計算方法提取圖像的空域梯度特征，并聯合DOG頻域特征以及CSF特征，從而充分模擬人眼對視覺場景的感知機制。在四個數據庫上進行的實驗表明，與主流FR-IQA方法相比，所提出的CGDR算法具有更高的預測精度和更強的魯棒性，能夠與人眼主觀感知保持高度一致性。