基于空域和頻域特征的無參考圖像質量評價方法

張 寅，呂向陽，閆鈞華，馬 越，侯 平，王高飛

（1.南京航空航天大學空間光電探測與感知工業和信息化部重點實驗室，江蘇南京 211106；2.南京航空航天大學航天學院，江蘇南京 211106）

隨著科技的發展與時代的進步，人們對于圖像質量水平有著越來越高的需求，無論是在光學遙感領域、醫療衛生領域還是生活娛樂領域，高質量的圖像都能給我們帶來極大的幫助與便利，因此，對圖像的質量水平進行評價已成為當前科學研究的一個重要課題。

目前，無參考圖像質量評價方法主要分為兩類[1]，一類是基于特征提取的方法，如：胡義坦等人[2]針對彩色圖像，基于邊緣檢測算法和圖像亮度特征，評價圖像的失真程度。該算法對于壓縮失真的評價效果較差。賀勇潔等人[3]基于波前理論，建立像差模型，評價失真圖像質量水平。閆鈞華等人[4]融合圖像的多元特征，對失真遙感圖像進行有效評價。另一類為基于深度學習的方法[5]，如：Yi 和Hua 等人提出了OGIQA 算法，基于圖像的梯度信息和AdaBoosting 神經網絡來預測圖像分數[6]。Kim Jongyoo 等人提出DIQA 算法，利用卷積神經網絡對圖像質量進行評價[7]。Zhang Yin 等人提出FDSVIQA 算法，融合了圖像統計視覺特征和卷積神經網絡深度特征，具有較高的主客觀一致性[8]。

基于深度學習的方法通常需要復雜的網絡設計和龐大的訓練數據庫，且訓練時間較長，因此，文中基于融合空域和頻域特征的方法對失真圖像進行質量評價。文中融合36 維空域特征向量和6 維頻域特征向量構建了42 維的圖像特征向量,其中為4 維空域特征向量，為32 維空域特征向量。

1 SFIQA方法框圖

文中提出的融合空域和頻域特征的SFIQA 方法框圖如圖1 所示。首先對失真圖像分別提取36 維空域特征向量和6維頻域特征向量。提 取的方法是對失真圖像進行可操控金字塔分解，得到0.5 倍原始圖像；分別對原始圖像和0.5 倍原始圖像這兩個尺度的圖像進行局部亮度歸一化處理，得到歸一化亮度MSCN（Mean Subtracted Contrast Normalized）系數；基于廣義高斯模型對MSCN 系數進行擬合，得到空域特征；基于非對稱的廣義高斯模型擬合4 個方向相鄰MSCN系數乘積，得到空域特征。提取的方法：對失真圖像進行可操控金字塔分解，得到0.5 倍原始圖像和0.25 倍原始圖像；分別對原始圖像、0.5 倍原始圖像和0.25 倍原始圖像3 個尺度的圖像進行分割操作，得到8×8 的圖像塊；做離散余弦變換，得到每個圖像塊的DCT 系數；對DCT 系數進行局部頻域熵計算，得到頻域特征。然后融合36 維空域特征向量和6 維頻域特征向量，構建42 維的圖像特征向量。最后利用SVM 對42 維的圖像特征向量進行訓練與預測，輸出SFIQA 評分。

圖1 SFIQA方法框圖

2 圖像空域特征提取

失真圖像相較于未失真的參考圖像，其空間信息會發生明顯的改變，因此，利用圖像的空域特征，能夠對圖像的失真程度做出判定。文中算法分別在原始圖像和0.5 倍原始圖像兩個尺度的圖像上，提取4 維GGD 特征和32 維AGGD 特征[9]，構建36 維的空域特征向量

2.1 GGD特征提取

從LIVE 數據庫中，任意選取不同失真程度的圖像，計算其MSCN 系數分布，如圖2 所示。圖2 表明，隨機選取的6 幅圖像MSCN 系數分布形狀有著顯著的區別，因此，采用圖像的MSCN 系數可以反映其失真程度。

圖2 不同失真程度圖像的MSCN系數分布

廣義高斯模型GGD 的定義如下：

文中利用α和σ2來表征圖像的MSCN 系數分布，即空域GGD 特征，α和σ2的取值范圍都為(0,3)。在原始圖像和0.5 倍原始圖像這兩個尺度上分別提取圖像的空域GGD特征，記為=(f1,f2,???,f4)。GGD 特征內每個元素的具體表達含義如表1 所示。

表1 GGD特征內元素表達含義

2.2 AGGD特征提取

用非對稱的廣義高斯模型AGGD 對4 個方向上相鄰MSCN 系數乘積進行擬合，得到空域AGGD 特征。這4 個方向分別為水平方向H、豎直方向V、主對角線方向D1和次對角線方向D2，其具體表達式如式（3）～（6）所示：

從LIVE 數據庫中，任意選取不同失真程度圖像的H、V、D1、D2的直方圖分布如圖3 所示。圖3 表明，不同失真程度圖像的H、V、D1、D2和原始圖像的H、V、D1、D2，其分布形狀有著顯著的區別，并且產生了不同的左右不對稱現象，因此采用圖像的H、V、D1、D2可以反映其失真程度。

圖3 不同失真程度圖像的H、V、D1、D2的直方圖分布

利用非對稱性廣義高斯分布AGGD 對圖像的H、V、D1、D2進行擬合，AGGD 分布的定義如下：

式（7）中，α是形狀參數，是左方差，是右方差。μ是均值參數，定義如下：

文中利用α、μ、來表征圖像的H、V、D1、D2分布，即空域AGGD 特征，α、μ、的取值范圍都為(0,3)。在原始圖像和0.5 倍原始圖像這兩個尺度上分別提取圖像的空域AGGD 特征，記為=(f5,f6,???,f36)。AGGD 特征內每個元素具體表達含義如表2 所示。

表2 AGGD特征內元素表達含義

3 圖像頻域特征提取

圖像的頻域特征是從圖像的頻譜圖上提取的，頻譜圖包含了大量特征信息，圖像失真會造成頻譜圖特征信息的變化。因此，利用圖像的頻域特征對圖像的失真程度作出判定。文中算法分別對原始圖像、0.5 倍原始圖像和0.25 倍原始圖像3 個尺度的圖像進行圖像分割操作，得到8×8 的圖像塊，然后做DCT 變換，得到各圖像塊的DCT 系數，最后計算DCT系數的局部頻域熵[10]，構建6 維的頻域特征向量

為了減少變換系數的邊緣塊效應，對每個圖像塊的DCT 系數C作標準化處理，其概率分布表達式如式（11）所示：

則圖像塊的局部頻域熵為：

從LIVE 數據庫中，任意選取不同失真程度圖像頻域熵值的直方圖分布如圖4 所示。圖4 表明，不同失真程度圖像的頻域熵值和原始圖像的頻域熵值，其分布形狀有著顯著的區別，因此采用圖像的頻域熵值可以反映其失真程度。

圖4 原始圖像和不同失真程度圖像頻域熵值的直方圖分布

文中利用均值和偏度來表征圖像頻域熵值的直方圖分布，即頻域特征，均值和偏度的取值范圍為(-4,5)。在原始圖像、0.5 倍原始圖像和0.25 倍原始圖像3 個尺度上分別提取圖像的頻域特征，記為=(f37,f38,???,f42) 。頻域特征內每個元素具體表達含義如表3 所示。

表3 頻域特征內元素表達含義

4 基于SVM實現無參考圖像質量評價

文中基于SVM 實現無參考圖像質量評分[11]。將36 維空域特征和6 維頻域特征線性融合，歸一化為(-1,1)后輸入到SVM 中進行訓練評分。

文中算法在訓練過程中，首先從訓練集圖像中提取得到歸一化后的42 維特征向量，然后將特征向量與對應的失真類型標簽label 和主觀分數DMOS(Differential Mean Opinion Score)進行組合，得到訓練樣本數據，將訓練數據分別輸入SVM 分類器與SVM 評分器中進行訓練，最終通過多次訓練得到最優SVM 評分器。將測試集中的失真圖像輸入到最優SVM 評分器中，得到待評價失真圖像的客觀評分SFIQA。

5 實驗結果與分析

為驗證文中提出的SFIQA 的主客觀一致性，分別在LIVEMD 數據庫[12]和RBORSID 數據庫[13]上進行實驗。將文中方法與其他無參考評價方法進行對比，驗證算法性能。實驗中使用的算法性能驗證指標分別為均方誤差RMSE、線性皮爾斯系數LPCC、斯皮爾曼系數SROCC 和肯德爾系數KROCC。文中實驗環境如下：E5-2620 處理器，操作系統為Win7，實驗軟件為MATLAB。

5.1 SFIQA 方法在LIVEMD 數據庫上的主客觀一致性

文中算法對LIVEMD 數據庫圖像進行測試，將SFIQA 評分與主觀分數DMOS 進行回歸擬合，得到SFIQA 方法的主客觀一致性評價值。

如圖5 所示，從LIVEMD 數據庫中任意選取3 幅參考圖像對應的3 幅失真圖像，計算出每幅失真圖像的SFIQA 評分和主觀分數DMOS。圖5 表明，對于LIVEMD 數據庫遙感圖像，SFIQA 評分和主觀分數DMOS 相差不大，且基本保持一致的單調性，文中提出的SFIQA 方法具有較高的主客觀一致性。

圖5 SFIQA方法的主客觀一致性

5.2 SFIQA方法與其他方法在LIVEMD數據庫上的主客觀一致性比較

文中選擇7 種不同的評價方法：SSEQ[10]、BRISQUE[14]、BLIINDS-II[15]、BIQA[16]、OGIQA[6]、DIQA[7]、FDSVDIQA[8]與該文SFIQA 方法進行主客觀一致性對比，實驗結果如表4 所示。

表4 在LIVEMD數據庫上不同評價方法的性能對比

表4 表明，在LIVEMD 數據庫上，FDSVDIQA 和DIQA 兩種基于深度學習的圖像質量評價方法的評價指標高于傳統基于特征提取的評價方法。但是，基于深度學習的方法需要更大量的樣本，訓練時間更長，效率比傳統方法低。文中方法需要的訓練樣本少，訓練時間較短。在傳統的基于圖像特征的評價方法中，文中SFIQA 方法有3 項指標處于第一的位置，只有LPCC 指標略低于BRISQUE 方法，說明SFIQA 方法具有較高的主客觀一致性。

圖6 為8 種評價方法中性能較好的4 種評價方法的擬合散點圖。圖6 表明，文中提出的SFIQA 方法相較于其他方法，散點分布更為集中，且基本處于擬合曲線附近，SFIQA 方法的主客觀一致性較高。

圖6 在LIVEMD數據庫上不同評價方法的擬合散點圖

5.3 SFIQA 方法與其他方法在RBORSID 數據庫上的主客觀一致性比較

將文中的SFIQA 方法與6 種不同的評價方法在RBORSID 數據庫上進行性能對比，結果如表5 所示。

表5 在RBORSID數據庫上不同評價方法的性能對比

表5 表明，在RBORSID 數據庫上，基于深度學習的評價方法FDSVDIQA 的評價指標高于傳統的基于特征提取的評價方法。但是，基于深度學習的方法需要更大量的樣本，訓練時間更長，效率比傳統方法低。文中方法需要的訓練樣本少，訓練時間較短。在這6 種傳統的評價方法中，文中SFIQA 方法有4 項指標都處于第一的位置，說明SFIQA 方法具有較高的主客觀一致性。

圖7 為上述7 種評價方法中性能較好的4 種評價方法的擬合散點圖。圖7 表明，在4 種評價方法中，BLIINDS-II 方法的散點分布最分散，文中提出的SFIQA 方法散點分布最集中，且基本處于擬合曲線附近，SFIQA 方法的主客觀一致性較高。

圖7 在RBORSID數據庫上不同評價方法的擬合散點圖

5.4 消融實驗

文中提出的無參考圖像質量評價SFIQA 方法融合了圖像的36 維空域特征和6 維頻域特征，為了確定這兩種特征的作用，分別在LIVEMD 數據庫和RBORSID 數據庫上進行了消融實驗。在消融實驗中僅使用空域特征或僅使用頻域特征，其主客觀一致性評價結果如表6 所示。

表6 在LIVEMD和RBORSID數據庫上的消融實驗結果

表6 表明，僅使用空域特征的評價方法性能優于僅使用頻域特征的評價方法，在整體方法中空域相較于頻域特征發揮了更大的作用。融合了空域和頻域特征的SFIQA 方法，在整體上優于僅使用空域特征和僅使用頻域特征的評價方法，擁有更高的主客觀一致性。

5.5 計算時間對比實驗

將文中提出的SFIQA 方法和基于深度學習的FDSVDIQA 方法在LIVEMD 數據庫和RBORSID 數據庫上進行計算時間對比實驗。SFIQA 方法的計算時間為提取特征和訓練1 000 次再評價的總時間；FDSVDIQA 方法的計算時間為網絡訓練1 000 次再評價的總時間。實驗結果如表7 所示。

表7 計算時間實驗結果

表7 表明在相同數據樣本庫下，文中提出的SFIQA 方法比FDSVDIQA 方法計算時間縮短一半以上，具有更高的計算效率[17-19]。

6 結論

文中提出的SFIQA 方法融合了圖像的空域特征和頻域特征，既能發揮空域特征便于表征圖像全局紋理、邊緣細節和形狀輪廓的優勢，又能發揮頻域特征易于表征圖像局部灰度梯度變化特點的優勢，提高了無參考圖像質量評分的精度。將文中SFIQA 方法與其他性能良好的無參考圖像質量評價方法在LIVEMD 數據庫和RBORSID 數據庫上進行了主客觀一致性比較實驗，實驗結果表明SFIQA 方法具有很高的主客觀一致性。