結合清晰度的無參考圖像質量評價*

曹 欣李戰明胡文瑾

（1.蘭州理工大學電氣工程與信息工程學院 蘭州 730050）（2.西北民族大學數學與計算機科學學院 蘭州 730000）

1 引言

借助最近推出的設備（例如攝像機，電腦，手機），人們可以輕松地分享他們的生活照片。然而，捕獲，壓縮和發布圖像到網站的過程中，會不可避免地造成原始圖像質量不同程度的下降。為了能夠保持令人滿意的數字圖像感知質量［1］，我們必須首先確定每個階段的失真水平，然后提高質量。判斷圖像質量（或失真度）的過程稱為圖像質量評估。此外，人們希望找到一種省時的方法，可以自動評估圖像質量而無需人工干預。因此，客觀的圖像質量評價被引入以滿足需要。客觀IQA方法可分為三類：全參考（Full-Reference，FR）、部分參考（Reduce-Reference，RR）、無參考（No-Reference，NR）。

然而，在許多實際應用中，圖像質量評價系統不能或很難獲取參考圖像。因此，有必要建立一種可對圖像質量進行盲評價的方法，即無參考圖像質量評價方法。現有的圖像質量評價方法主要分為特定應用型評價和通用型評價。特定應用評價是專門為了處理特定的失真類型而設計的，一般不能處理其他類型的失真。而通用型評價與失真類型無關，因此近幾年越來越多的通用型評價方法被提出。

通用型無參考圖像質量評價方法分為基于學習的方法和基于距離的方法。基于學習的方法沒有參考圖像作為對比，需要通過學習特征為模型提供經驗，然后借助學習的經驗預測圖像質量。目前最為經典的無參考圖像質量評價方法有BIQI［2］和DIIVINE［3］，其相同之處都是在空間或時間域的基礎上，分析待評價圖像的統計特征，建立統計特征與主觀評價之間的映射關系，進而對圖像質量進行評價。隨后基于DIIVINE的算法被提出，Saad等［4］開發了一種有效的、通用的、無參考圖像質量評價算法BLIINDS-II，通過提取離散余弦變換系數的自然場景統計特征，利用貝葉斯模型預測圖像質量。Mittal等［5］提出了基于圖像空間域的盲圖像質量評估（BRISQE）算法，該模型不計算失真特定的特征，而是使用來自局部歸一化亮度系數的場景統計作為特征，以量化由于失真的存在而在圖像中自然損失的可能性。此外，該方法不需要將圖像變換到另一個域，這可以大大降低計算復雜度，使其適合于實時應用。Mittal還推出另一種無參考圖像質量評價模型，該模型僅使用自然圖像中觀察到的統計規律性的可測量偏差，而不需要在人為失真的圖像上進行訓練。我們稱之為自然圖像質量評估器（NIQE）［6］，它基于從空間域自然場景統計模型中提取統計特征。DLIQA［7］是另一種基于自然場景統計的無參考圖像質量評價模型。該方法與其他方法的主要區別在于其是基于分類的框架，而不是回歸模型。首先，圖像由自然場景統計特征表示，可以分為5個等級，分別對應5個定性描述（優秀，良好，一般，差）通過一個深度分類器，然后將質量標簽及其相應的概率置信度通過質量池轉換為數值評分。Zhang等利用五種類型的自然圖像統計特征，從原始的自然圖像集學習圖像塊的多元高斯模型。利用所學習的多元高斯模型，采用類巴氏距離來度量每個圖像塊的質量，然后通過平均池得到整體質量分數。這種方法不需要任何失真圖像和訓練的主觀質量評分，稱為IL-NIQE［8］。近年，Ghadiyaram等［9］開發了一種無參考圖像質量評價模型FRIQUEE，它結合了多個域上的大量統計特征來訓練一個能夠盲目預測圖像質量的回歸器。雖然這兩種方法使用高度多樣化的特征集，并且可以對具有多個失真或真實失真的圖像進行良好的處理，但是它們不能準確地估計具有多種失真類型的數據庫的圖像質量。隨后Ye等［11］提出了另一種基于特征學習的方法，稱為CORNIA。首先，使用原始圖像塊局部描述符。其次，他們使用基于碼本的方法自動學習功能。碼本是通過對從未標記訓練圖像提取的局部特征進行K均值聚類而構建的。第三，他們使用軟編碼和最大的編碼池。該過程無參數且計算效率高。最后，采用線性核的SVR進行質量評估。與之前的方法（CBIQ［10］）相比，CORNIA不需要標簽來構建密碼本。它還能夠通過使用較小的碼本更準確地估計質量。Liu等［12］利用curvelet子帶系數的非對稱廣義高斯分布模型參數、子帶方向及子帶尺度能量分布作為特征進行圖像質量評價。Li等［13］利用Shearlet子帶系數的振幅均值評價圖像質量。綜上所述，雖然現有的無參考圖像質量評價已取得顯著的效果，但是對于各種復雜的失真類型還有很大的提升空間。

在前人工作的基礎上，本文提出以提取梯度特征與多尺度能量來衡量圖像的清晰度，首先提取圖像的梯度特征，然后進行多尺度小波分解，進而提取各尺度高頻系數，并將低頻系數進行量化編碼作為高頻系數的一部分，根據高頻系數計算能量。此外，考慮到人眼的視覺特性，提取圖像的LBP以及Lαβ色彩空間的顏色特征；最后通過支持向量回歸建立評價模型。

2 基于特征提取與能量分解的無參考圖像質量評價方法

2.1 清晰度分析

圖像的清晰度是指人眼宏觀看到的圖像的清晰程度，是衡量圖像質量的重要指標之一。當人眼主觀感覺對一幅圖像進行定量測試時，往往會被明亮和引人注目的區域吸引，也就是說對于圖像清晰度的判斷取決于圖像中清晰區域，如果圖片中的局部區域足夠清晰則認為該圖像質量很好。所以在計算圖像質量時，我們會選取圖像中清晰度高的區域作為基準，這樣不僅可以突出顯著性對象，還能夠表達出圖片中的重要信息。而清晰度由高頻區域的空間細節內容和邊緣決定。

2.1.1 梯度特征提取

邊緣是圖像最基本的特征，是人眼識別目標的重要信息。為了突出圖像的邊緣來更好地評價圖像清晰度，本文利用Prewitt邊緣檢測算子提取圖像邊緣信息，Prewitt濾波器沿水平方向（x）和垂直方向（y）被定義為如下式：

計算梯度幅值GM1，定義如下式：

其中Hx是水平方向濾波器，Hy是垂直方向濾波器，f(x)是待評價圖像，?是線性卷積運算。

梯度幅值GM1的特征由其均值ave_grad1和標準差std_grad1來表示。

圖像的一階與二階導數在圖像邊緣提取中十分重要。圖像中大部分邊緣都不是突變的而是慢慢變化的，一階導數將斜坡（斜坡區域是圖像中最常見的區域）變成了粗線，二階導數將斜坡變成了細線；二階導數比一階導數有更好的細節增強，基于此，本文在一階導數的基礎上提取二階導數如下：梯度幅值GM2的特征由其均值ave_grad2和標準差std_grad2來表示。

雖然二階導數對精細細節，如細線、孤立點有更好的增強表現但是對噪聲也有較強的響應，雖然本文選取了對噪聲有抑制作用的Prewitt算子，但是為了進一步減少噪聲的影響，我們提取三階導數對圖像進行處理如下：

梯度幅值GM3的特征由其均值ave_grad3和標準差std_grad3來表示。

綜合以上可以得到待測圖像的梯度特征即：

2.1.2 能量計算

圖像的清晰程度一般可由高頻信息反映出來，圖像的高頻信息占比越大，能量也越大，則表示圖像清晰度越高，反之圖像越模糊，則包含的高頻信息就越少，能量就越低，則清晰度就低。而小波變換可將一幅圖像分解成近似（低頻成分）和細節（高頻成分）圖像。基于此，本文提出以小波變換為基礎計算能量來判斷圖像清晰度，其具體計算過程如下：

1）對待評價圖像f（x）進行灰度化；

2）利用二維離散小波對灰度化后的圖像進行3層分解；

3）得到3個不同尺度的高頻系數和低頻系數；

4）接下來對高頻系數進行放大處理，并抑制低頻系數；

5）最后對各部分高頻信息進行能量計算，利用加權融合方法得到總的能量Fish_feat。

最終，待測圖像的清晰度用如下特征來表示：

2.2 統一化LBP直方圖特征

局部二進制模式（Local Binary Pattern，LBP）是一種有效的描述圖像局部紋理特征的算子。對任意空間給定位置（xc，yc），將其與相鄰的8個像素的灰度值進行比較，可產生8位二進制數，該二進制數對應的十進制數被定義為LBP如下所示：

其中ic表示中心像素（xc，yc）的灰度值，in是其8個相臨位置的灰度值。

我們知道8bit的LBP的特征維數為2^8=256，向量維數非常高，使其計算和存儲受到限制。

為了解決這種問題，對LBP算子擴展為統一模式，這里的統一化模式就是一種降維方式。所謂統一模式是指一個二進制序列從0到1或者是從1到0的變換最多只包含兩次，通過二進制數首尾相連，所有8位二進制數中共有58種變化，將58種變化即58維等價模式歸為一類，除了58維等價模式以外的模式都歸為另外一類，稱之為混合類，即將值分為59維，58維為一類，其它的所有值為第59維。

這樣原始的直方圖從256維減少為59維，大大的降低了其特征維數，且不會丟失重要的紋理信息，同時減少了高頻噪聲的影響，與其它的LBP算子相比，統一化模式LBP算子具有明顯的優勢。

最終，待測圖像的59維紋理特征通過LBP直方圖表示如下式所示：

其中，n等于59，表示含有59個bin的直方圖。

2.3 色度統計特征

色彩空間將顏色從人們的主觀感受量化為具體的表達，因此，色彩空間的選取要符合人眼的視覺感知，本文選擇在lαβ空間進行圖像的處理，lαβ色彩空間各通道具有最小的相關性，而且能夠將圖像的灰度信息和顏色信息分離開，這樣以便于對三個通道進行獨立運算，且不會影響原圖像的效果。我們需要將圖像從RGB空間轉換到lαβ空間。從RGB空間到lαβ空間的轉換如下：

為了使數據分布更加聚斂，且更符合人類對顏色的感知，進一步將LMS空間轉換到以10為底的對數空間。

從LMS空間到lαβ空間的轉換可由下式得到。

其中，l表示亮度分量，α表示黃一藍通道，β表示紅一綠通道。

經過以上步驟就完成了從RGB空間到lαβ空間的轉換，對藍黃通道和紅綠通道進行非對稱廣義高斯分布擬合，其表達式如下：

式中：

提取到形狀參數υ，左右方差σl2，σr2，另外也提取其峰態（Kurtosi）和偏態參數（Skewness）。

最終，待測圖像的色度統計特征可用如下特征向量表示：

3 基于SVR的無參考圖像質量評價模型

本文所提算法由清晰度（7維，其中包含梯度特征6維，不同尺度能量1維），以及統一化模式的LBP直方圖（59維）和lαβ顏色空間下紅綠通道和藍黃通道系數分布參數（10維），共76維特征。然后以76維特征作為輸入，利用支持向量回歸得到預測模型，對待評價圖像進行質量預測。

支持向量機是由Vapnik首先提出的，根據有限的樣本信息在模型的復雜性和學習能力之間尋找最佳的預測模型。通過引入核函數，將低維原始特征映射到高維特征空間中有效地進行非線性分類，從而避免了高維空間中的復雜運算。

4 實驗結果與分析

4.1 實驗數據庫

本文選擇在LIVE數據庫上驗證所提無參考圖像質量評價模型的有效性。LIVE數據庫中包含29張參考圖像和779張失真圖像，其包含5種（JPEG壓縮、JPEG2000壓縮、白噪聲、高斯模糊、快速衰落）失真類型，每張圖片存在5～6個失真等級。數據庫中都給出了每幅圖像相應DMOS值，這些DMOS值是由161個觀察者主觀評價方法得出的，取值范圍為0～100，其值越大相應圖像的失真程度越大。

4.2 IQA性能評價指標

為了評價預測結果，視頻質量專家組提出了皮爾森線性相關系數（Pearson Linear Correlation Coefficient，PLCC）、斯皮爾曼秩相關系數（Spearman’s Rank Correlation Coefficient，SROCC）。SROCC用來反映客觀評價方法的單調性，其值越接近于1，算法的單調性越好。計算PLCC之前需要先對客觀質量評價算法與DMOS進行非線性回歸分析。PLCC用于反映客觀評價方法的預測精度，其值越接近于1表示，則算法的精確性越高。

非線性回歸采用logistic回歸函數。logistic回歸函數公式如下式：

式中β1、β2、β3、β4和β5是回歸模型的參數。

4.3 實驗結果

為了與目前的無參考圖像質量評價方法BRISQUE、BLIINDS-II、DIIVINE、C-DIIVINE、CORNIA、IL-NIQE、BIQI、MIQA、GRNN及SHANIA等進行比較。本文采用支持向量回歸進行測試。測試方法主要步驟如下：

1）提取LIVE數據庫中所有圖像的特征及其相應的主觀評分（DMOS）；

2）將LIVE數據庫中29張參考圖像隨機分為80%和20%，從而找到相應失真圖像80%的訓練集和20%的測試集，以此訓練集和測試集中沒有任何重合的圖像；

3）利用訓練集對應的特征及其相應DMOS訓練評價模型，并利用測試集中各圖像提取的特征預測圖像質量得分；

4）計算測試集中所預測得分與其相應DMOS之間的SROCC和PLCC值；

5）重復以上2），3），4）步驟1000次，保證了不會因為訓練的空域內容導致的偏差，然后以1000次測試結果SROCC和PLCC的中值作為本文所提算法最終評價指標。

表1～2為各無參考質量評價方法1000次迭代測試中SROCC及PLCC的中值。

表1 1000次迭代測試中各評價方法SROCC中值

表2 1000次迭代測試中各評價方法PLCC中值

由表1和表2可以看出，不同無參考圖像質量評價方法的評價結果在各種失真類型上的性能比較結果。在這里用SROCC和PLCC做比較，從各失真類型評價結果看，本文在大多數失真類型上都取得較好效果，但對不同失真類型的評價結果稍有差別，總體上對JP2K、WN、FF失真類型評價中優勢比較明顯。

4.4 算法的魯棒性

由于訓練集和測試集的不同劃分會影響圖像質量評價模型最終的評價和識別效果。為了分析不同劃分比例對不同失真類型的識別以及對模型整體預測精度的影響，將LIVE數據庫按照表3和表4所示的比例分為訓練集和測試集。圖像質量評價模型以及不同失真類型識別模型在不同測試集和訓練集下的實驗結果如表3和表4所示。

表3 不同訓練和測試比例情況下的1000次迭代測試的SROCC中值

表4 不同訓練和測試比例情況下的1000次迭代測試的PLCC中值

從上述表3和表4可以看出，隨著訓練集比例的減少，不同失真類型以及整體的評價結果SROCC和PLCC在該模型上同時也出現了下降，但下降的幅度并不顯著。當訓練集的比例僅為50%時，對整個LIVE圖像庫的評價結果SROCC及PLCC依然可達到0.9以上，該測試表明本文所提模型評估結果與主觀評價間可以保持較高的一致性。

4.5 計算復雜性分析

實際應用中我們在設計或選用評價模型時往往希望具有比較低的復雜度，以便于應用于實時系統中。在這里我們只統計各方法在提取兩張分辨率為512×512的圖像特征時所花費的時間。從表5可知本文算法具有較低的復雜度。

表5 各無參考圖像質量評價算法運行時間比較

從表5可以看出，在上述5種評價方法中，本文方法的計算復雜性雖優于BLIINDS-Ⅱ和DIIVINE，但稍差于BRISQUE和CurveletQA。其原因如下：1）BRISQUE僅僅在空間域進行簡單的廣義高斯函數擬合提取統計特征，中間沒有太多的計算環節；2）CurveletQA只有12個特征，只需要進行Curvelet分解和計算方向能量及子帶能量分布。

5 結語

為了提高無參考圖像質量評價方法與人眼視覺感知結果的一致性，本文介紹了一種結合清晰度來評價圖像質量的模型。首先提取梯度特征及其多尺度下的子帶能量；進而提取統一化模式的LBP直方圖特征；然后提取lαβ顏色空間下藍黃通道和紅綠通道系數分布參數；最后運用支持向量回歸建立圖像質量評價模型。梯度特征和紋理特征可以互相補充，多尺度能量和顏色空間下紅綠通道和藍黃通道系數分布參數可以互相補充，比較全面地反映各種失真對圖像結構，視覺等信息的影響，實驗結果表明本文所提評價模型在LIVE數據庫上基本和人類主觀評價相一致，另外在評價效果以及算法復雜度上同樣取得了比較理想的結果。但是，該算法在紋理特征提取上還存在很大的改進空間，所以，在后面的研究中，可以在彩色空間進行紋理特征的提取，同時提高紋理特征提取的效率，從而使算法性能得到進一步提高。