基于概率矩陣分解的多失真圖像質量評估算法

王同樂 王 慈

(華東師范大學計算機科學與技術系 上海 200062)

0 引 言

圖像在采集、壓縮、傳輸和存儲過程中會產生各種各樣的失真, 失真使得人眼對于圖像的視覺觀感變差[1],因此在接收端進行圖像質量評價極為重要。圖像質量評價有客觀和主觀之分，主觀圖像質量評價采用平均主觀意見分或者主觀差異評分衡量人的主觀視覺感受。雖然主觀意見評分合理準確，但是非常耗時耗力，因此通過圖像質量評價算法進行自動化地客觀評分非常必要[2]。IQA算法可作為圖像處理系統的基本指標，也可作為圖像去噪、增強和修復算法的性能比較標準，所以圖像質量評價算法具有很大的應用和研究價值。

過去的數十年浮現了大量優秀的IQA算法，從不同的分類角度概括為以下三類。

根據是否需要參考圖像，可分為全參考、半參考和無參考質量評價算法。早期著名的全參考算法有SSIM[3]和VIF[4]等，SSIM基于人眼視覺系統對結構信息敏感的假設，從亮度、對比度和結構三個方面度量失真圖和參考圖的相似性。VIF將HVS視為一個退化通道，通過在小波域中計算互信息比值定義信息保真度。文獻[5]和文獻[6]是近期比較優秀的全參考算法，文獻[5]基于VIF思想解決了參考圖像和失真圖像分辨率大小不一致的全參考圖像質量評價問題。文獻[6]將失真視為真實細節損失和虛假細節增加的過程，利用梯度和梯度殘差信息分別對損失的細節和增加的細節加以描述。考慮到全參考算法需要使用參考圖像信息的局限性，文獻[7]中提出了從使用全部參考信息到幾乎不用任何參考信息的半參考算法，由于半參考算法仍然需要使用參考信息，所以研究者更多的是設計無參考算法。2012年Mittal等提出了基于自然場景統計的BRISQUE[8]，BRISQUE不但具有性能優勢而且計算復雜度低，對無參考算法研究來說具有里程碑意義。總之，全參考算法評價準確，但參考圖像一般不容易獲得；半參考是全參考向無參考算法的過度，需要使用參考圖像的部分信息；無參考算法不需要任何參考信息，但性能得不到保證。

根據圖像失真類型，IQA算法可分為單失真(只包含一種降質類型)和多失真評價算法。近年來多失真IQA研究多于單失真，因此多失真圖像質量評價成為研究熱點。 Gu等[9]首先提出了多失真圖像質量評估的六步法，受Challer[10]的研究啟發，該工作之后引入免能量項以描述不同失真類型之間的相互作用，但是此類方法針對具體的失真類型，對未知失真類型效果并不理想。Ghadiyaram等[11]為描述失真，從一組質量相關的感知圖中提取了大量統計特征，雖然該方法在自然多失真數據庫上取得了最佳結果，但計算復雜度較高。Li等[12]為了刻畫失真對圖像帶來的結構信息影響，提出了基于梯度圖計算LBP加權直方圖的GWH-GLBP方法，GWH-GLBP在合成的多失真數據庫上性能優異，但面對失真因素復雜的自然失真圖像性能略顯不足。總之，從實用性角度來看，單失真質量評估算法針對只包含一種失真類型的圖像設計，使用場景十分有限，現實生活中的失真圖像往往包含了多種失真，并且各種失真類型之間存在相互作用，因此多失真評價方法才更加貼合實際應用。

根據是否需要訓練IQA模型，圖像質量評價算法有有訓練和無訓練之分。隨著IQA研究的不斷深入，人們更希望設計出泛化能力較強的無訓練IQA算法。文獻[13]收集了一組無失真圖像的自然場景統計特征，使用多元高斯模型擬合特征參數，將擬合結果作為無失真圖像的理想統計分布，失真分布與理想分布之間的距離被作為失真度量，該方法開啟了無訓練IQA研究的先河。文獻[14]在文獻[13]的基礎上豐富特征表達，提出了更具競爭優勢的IL-NIQE。文獻[15]發現原始分辨率圖像與其低通/高通版本的不相似性隨著原始分辨率圖像失真程度的變化而改變，據此提出一種多尺度空間下的無訓練方法。文獻[11]為了同時適應單失真和多失真圖像質量評估，首先判斷失真類型，對不同失真類型預測不同失真參數，最后聚合失真參數形成質量分數。 總之，有訓練算法需要訓練IQA模型，無訓練算法直接輸出質量分數，但無訓練算法普遍存在性能瓶頸。

本文提出一種基于PMF的多失真圖像質量評價算法。首先對失真圖像進行降噪以去除冗余信息影響，然后計算降噪圖像的平均對比歸一化系數(Mean Subtracted Contrast Normalized coefficients, MSCN)，從中篩選信息保真度較高的低頻MSCN系數塊，并使用PMF方法對其參考塊進行估計。失真系數塊和估計的參考塊符合一定的統計分布，因此對二者的MSCN系數進行曲線擬合以提取統計特征。為降低特征維度，對提取的塊特征進行了特征聚合，最后使用聚合特征構建出描述失真圖像信息損失的特征向量，借助SVR完成IQA模型的訓練，圖 1給出了算法流程圖。本文方法沒有使用參考圖像，但需要SVR訓練IQA模型，因此是一種基于訓練的無參考圖像質量評估算法。

圖1 算法流程圖

1 相關工作

1.1 圖像平均對比歸一化系數MSCN

Mittal在文獻[8]中提出了MSCN的概念，給定一幅圖像X，其MSCN系數通過下式給出：

(1)

其中：

(2)

(3)

式中：x∈{1,2,…,H},j∈{1,2,…,W}是圖像像素索引，H和W分別表示圖像的高度和寬度；ω={ωk,l|k=-K,…,K,l=-L,…,L}是高斯加權窗口；X(x,y)表示圖像X在空間域坐標(x,y)點的像素值；C是一個很小的常數，以防止除數為零；局部均值χ(x,y)以及標準差ζ(x,y)分別用來表示圖像X在(x,y)點的平均亮度以及對比度。

(4)

(5)

本文定義低頻MSCN系數取值范圍在[?-2δ,?+2δ]，否則為高頻MSCN系數。

1.2 概率矩陣分解PMF

Ruslan Salakhutdinov在文獻[17]中提出了PMF方法，給定觀測矩陣R，R∈RQ×S,存在一個較小的潛變量D，使得R=UT×V，其中U∈RD×Q，V∈RD×S，U、V為未知的低維矩陣，R為秩不超過D的低秩矩陣。R中的觀測值受系統噪音影響且存在大量的缺失值，因此需要根據已有觀測數據計算合適的U、V對R中的缺失值進行預測。為求解上述矩陣分解問題，假設R的條件概率分布如下:

(6)

(7)

(8)

根據最大化后驗原則：

(9)

取對數得:

(10)

(11)

2 基本動機

高清無失真的參考圖像通常被認為不含有任何失真類型，但現實中的失真圖像往往受多種失真因素影響，相比參考圖像而言，這些失真類型對圖像造成的失真效果可以概括為兩類：① 造成了信息損失；② 增加了冗余信息[19]。比如模糊通常造成細節信息的損失，噪聲導致冗余信息的增加，Jpeg壓縮引入了模糊和塊效應，塊效應造成的一系列不連續邊緣點也可以視為一種冗余噪聲。本文打算去除冗余信息影響，得到僅包含信息損失的圖像并從中估計其已損失的信息，這與PMF的思想恰好一致。PMF假設觀測矩陣存在大量信息缺失，通過矩陣分解方法可以預測缺失信息。

研究表明圖像被失真破壞后，其MSCN系數受到影響[8]，圖 2證實了這種現象。圖 2(a)為一幅參考圖像，圖 2(b)為圖 2(a)經過噪聲和模糊破壞的多失真圖像，圖 2(d)為圖 2(a)和圖 2(b)的MSCN系數分布，從圖 2(d)可以看出參考圖像的MSCN系數被改變，但難以辨別哪一部分是由信息損失造成的影響。因此，對圖 2(c)去除了圖 2(b)中疊加的冗余噪聲，得到僅受模糊影響的信息損失圖像，為了從信息損失圖像MSCN系數中尋找信息損失較少的系數，以便使用這些系數進行精確的估計，我們將信息損失圖像的MSCN系數劃分成低頻和高頻進行詳細分析。

圖 2(e)為信息損失圖像和參考圖像高頻MSCN系數分布，圖 2(f)為低頻MSCN系數分布，其中高頻系數是指在[-2δ,2δ]之外的系數，低頻與之相反,δ為信息損失圖像MSCN系數標準差。為了便于觀察，圖 2(e)中的高頻系數取了絕對值，通過采用互信作為度量，圖 2(e)中兩個分布的互信息為0.13，圖 2(f)中互信息為0.72，這證實了信息損失圖像低頻MSCN系數信息保真度較高。

(d) 參考圖像和多失真圖像MSCN

(e) 參考圖像和信息損失圖像高頻MSCNP

(f) 參考圖像和信息損失圖像低頻MSCN圖2 圖像失真對MSCN的影響

綜上，一個自然的想法就是從信息損失圖像中尋找信息保真度較高的低頻MSCN系數對其參考MSCN系數進行估計，然后根據失真圖像MSCN系數相對于其參考MSCN系數信息損失程度對圖像進行質量評估。

3 方法設計

3.1 預處理

多失真圖像中包含的冗余噪聲信息可以通過降噪去除，但降噪過程不能引入新的低頻成份，否則信息損失圖像原本的低頻MSCN系數受到影響。經查閱文獻，近年來優秀的去噪方法BM3D[20]滿足要求，BM3D結合空域和頻域去噪方法，在去除噪聲的同時對圖像原有的低頻系數保留較好，能夠取得不錯的效果，因此本文在去噪步驟采用BM3D算法。

去噪后得到信息損失圖像，信息損失圖像的MSCN系數采用式(1)計算，從式(1)可以看出信息損失圖像的MSCN系數和失真圖像具有相同的尺寸，對整個MSCN系數直接使用PMF方法存在高維分解困難，并且計算復雜度較高，所以采用分塊估計方法。

3.2 PMF估計參考塊

(12)

圖3 PMF對參考塊的估計效果

3.3 特征提取

自然圖像MSCN系數分布呈近高斯狀，當被失真影響時，MSCN分布曲線發生扭曲，不同的失真類型產生不同形狀的扭曲。基于上述事實，我們采用廣義高斯分布(Generalized Gaussian Distribution，GGD)對MSCN進行擬合，獲取擬合參數作為特征表示。零均值的GGD的概率密度函數如下：

(13)

式中：α為GGD的形狀參數，ρ2為方差；Γ(a)和β函數的定義如下：

(14)

(15)

GGD擬合完成后獲得兩個特征參數，分別是α和ρ2。

簡單地采用GGD形狀參數α和方差ρ2還不足以描述形態各異的MSCN分布，因此對四個方向的MSCN系數還分別做了非對稱廣義高斯分布(Asymmetric Generalized Gaussian Distribution,AGGD)擬合。四個方向定義如下：

Hr(x,y)=I(x,y)I(x,y+1)

(16)

Vr(x,y)=I(x,y)I(x+1,y)

(17)

Dr1(x,y)=I(x,y)I(x+1,y+1)

(18)

Dr2(x,y)=I(x,y)I(x+1,y-1)

(19)

式中：I為待擬合MSCN系數矩陣，I(x,y)表示坐標為(x,y)處的系數，水平、垂直、主對角和副對角方向(x,y)位置的系數Hr(x,y)、Vr(x,y)、Dr1(x,y)和Dr2(x,y)通過上述四個公式獲得。使用的擬合函數AGGD概率密度如下：

(20)

3.4 特征池化

(21)

(22)

vX=[f(X),f(Y*)-f(X)]

(23)

3.5 IQA模型訓練

基于訓練的圖像質量評價方法需要訓練IQA模型，支持向量回歸SVR常被用來作為訓練工具[24-25]。IQA模型獲取分為兩個階段，即訓練階段和測試階段，訓練階段使用SVR從訓練樣本學習IQA模型，測試階段使用訓練階段獲得的IQA模型進行質量分數預測。

標準SVR具有如下的損失函數：

(24)

subject towTφ(xi)+b-yi≤∈+ξi

其中：xi表示第i個樣本的特征向量，yi表示第i個樣本的標簽，常量C>0,∈>0，K(xi,xj)表示核函數。

K(xi,xj)=φ(xi)Tφ(xj)

(25)

一般采用徑向基核函數RBF(Radial Basis Function)：

K(xi,xj)=exp(-γ‖xi-xj‖2)

(26)

在我們的訓練過程，特征聚合階段獲取的第i幅圖像的特征向量vXi對應于標準SVR的xi，失真圖像的DMOS或者MOS值對應于標準SVR的yi。本文采用LibSVM[26]中實現的SVR，選擇RBF作為核函數完成上述IQA模型的訓練。

4 實 驗

4.1 實驗數據庫和評價標準

著名的多失真圖像質量評價數據集有MLIVE[27]、MDID2013[28]和The Live Challenge Database[11]。MLIVE總共有465幅圖像，其中參考圖像15幅，其余450幅是這15幅圖像的降質版本。MD總共分為兩個Part。Part1有225幅降質圖像，它是由15幅參考圖像先進行高斯模糊，后使用Jpeg壓縮產生。Part2也有225幅圖像，它是由15幅參考圖像先進行高斯模糊，后疊加高斯白噪聲產生。MDID2013包含了348幅圖像，其中參考圖像12幅，其余336幅為失真圖像，失真圖像是由參考圖像依次經過高斯模糊，JPEG壓縮和高斯白噪聲破壞所得，MDID2013和MLIVE最重要的區別是MDID2013每幅失真圖像包含了三種失真類型，而MLIVE每幅失真圖像僅包含兩種失真類型。The Live Challenge Database是第一個真實失真圖像質量評價數據庫，它包含了1 169幅失真圖像，不同于前兩個質量評價數據庫，它沒有參考圖像，而且The Live Challenge Database的失真圖像都來自于自然界，屬于自然退化導致的失真，失真圖像包含了復雜的降質類型，因此The Live Challenge Database對圖像質量評價算法提出了新的挑戰。

所有的圖像質量評價數據庫都提供了失真圖像的質量分數值，質量分數是由圖像方面的專家經過合理的打分程序給出的MOS或者DMOS分數，MOS分數值越大，圖像越清晰，視覺效果越好，反之亦然，需要注意的是MOS和DMOS的含義恰好相反。通過計算IQA算法給出的圖像質量分數和圖像專家給出的MOS或DMOS分數值之間的相關性，就可以衡量圖像質量評價算法的性能。

IQA算法常用性能評價標準有斯皮爾曼等級相關系數、皮爾遜線性相關系數和均方根誤差，后兩個評價標準需要將算法給出的質量分數經過非線性擬合再進行計算，常用的5參數擬合函數如下：

(27)

式中：{γ1,γ2,γ3,γ4,γ5}為擬合參數，不同的質量評價數據庫有不同的擬合參數，需要訓練獲得。

4.2 實驗細節

基于訓練的IQA算法需要將圖像庫劃分為訓練集和測試集，通常80%的圖像用來訓練IQA模型，20%的圖像用來測試，訓練集和測試集不得重疊。本文對各個圖像質量評價數據庫的測試結果遵守上述實驗原則，為了全面測試IQA的泛化能力，我們每一次測試都將數據庫按照80%訓練，20%測試進行劃分，并且計算SROCC、PLCC、RMSE三個指標，實驗結果最終報告的是三種指標100次的平均值。

另外，本文需要討論的是算法中的3個可變參數，它們分別是分塊的大小Q和S，PMF方法分解潛變量D。在我們的實現中取Q=S, 所以可變參數只有Q和D, 并且PMF分解潛變量D<

圖4 PMF分解潛變量D值選擇

4.3 實驗結果

經典的盲圖像質量評價算法有BRISQUE[8]、NIQE[13]、ILNIQE[14]、GMLOG[29]、BLIINDS2[30]、GWH-GLBP[12]、NRSL[31]、FRIQUEE[11]、NFERM[32]和COLORJET[33]。其中BRISQUE、NIQE、ILNIQE、GMLOG、BLIINDS2、NRSL和NFERM為單失真評價算法，GWH-GLBP、FRIQUEE和COLORJET為多失真評價算法。表1-表3給出了本文算法和其他10種圖像質量評價算法在MLIVE、MDID2013和The Live Challenge Database上的性能比較結果。

表1 MLIVE數據庫性能比較結果

表2 MDID2013數據庫性能比較結果

表3 The Live Challenge Database數據庫性能比較結果

實驗結果對SROCC、PLCC和RMSE各自排名前二的算法采用斜黑體表示，從實驗結果可以看出：本文方法在MLIVE數據庫上超過了所有算法，SROCC超出近年來多失真經典算法GWH-GLBP1.7%，相比最新的FRIQUEE也表現出更好的性能。所有算法在MDID2013數據庫上的測試性能都有所下降，因為MDID2013圖像失真類型為Blur+Noise+Jpeg，比MLIVE失真要復雜，但本文方法仍然保持了良好的性能優勢，各項指標均排據第一。The Live Challenge Database上所有算法性能急劇下降，其主要原因是The Live Challenge Database為自然降質數據集，完全是由自然因素導致的圖像降質，不再是可預測的常見降質類型。雖然如此，本文方法和經典算法相比依然性能靠前，比GWH-GLBP提高了16%，比在前兩個數據庫上性能較好的COLORJET提高了8.3%。FRIQUEE比本文方法出色是因為它從各種感知相關的映射圖上提取了多達560維的特征向量(本文僅36維)，它能捕捉的失真更加廣泛，但它比本文方法在時間復雜度上要高出很多。

為了進一步說明我們算法的優越性，表1-表3還給出了100次SROCC的T檢驗的結果，T檢驗的備擇假設是本文方法的平均SROCC相關性大于對比算法，T檢驗結果“1”表示以95%的置信度斷定本文算法平均SROCC相關性大于比較算法，“0”表示兩種算法性能在統計上不可區分。T檢驗結果表明了我們提出的算法在性能上比其他競爭算法具有更好的穩定性。

5 結 語

本文提出了一種基于概率矩陣分解的多失真圖像質量評估算法。從估計參考圖像的角度出發，首先從多失真圖像中去除冗余信息影響，得到信息損失圖像，從中分離其信息保真度較高的低頻MSCN系數塊。使用PMF方法對低頻MSCN系數塊對應的參考塊進行估計，通過對失真系數塊和估計的參考塊抽取統計特征，構建失真圖像的特征描述。最后使用SVR完成質量分數預測模型的訓練。三個公開數據庫的實驗結果證明了本文方法的有效性，同時證明本文提出的方法與人眼視覺質量評價具有更好的一致性。