基于擴展梯度相似度的自適應圖像質量評價算法研究

摘" 要：客觀圖像質量評價使用特定的數學模型使圖像評價結果與主觀評價一致。提出一種自適應的擴展梯度圖像質量評價算法（AE-GSSIM），使用擴展梯度算子從多個方向計算圖像梯度幅值，然后在梯度圖像上定義并計算梯度相似度;考慮到亮度失真對圖像質量的影響，為梯度相似度與亮度相似度設置不同的權重，使亮度相似度隨梯度相似度自適應變化;最后，采用算術平均池化策略計算圖像評價結果。在4個公開圖像庫中進行的實驗表明，AE-GSSIM算法優于傳統的評價算法，更加符合人眼視覺感知結果。

關鍵詞：圖像質量;結構相似度;梯度相似度;擴展梯度相似度;評價算法

中圖分類號：TP391" " " "文獻標志碼：A" " " " " 文章編號：2095-2945（2023）18-0066-04

Abstract： In order to evaluate the quality of an image more accurately， this paper proposes a novel objective image quality assessment algorithm - Adaptive Extended Gradient-based Structural Similarity（AE-GSSIM）. Firstly， the extended gradient operator is employed to calculate the gradient amplitude from multiple directions; then， the gradient similarity is defined and calculated on the gradient image. Considering the effect of luminance distortion on image quality， different weights are set for gradient similarity and luminance similarity to make luminance similarity change adaptively with gradient similarity. Finally， the arithmetic average pooling strategy is used to calculate the image evaluation results. Experiments in four public image databases show that the AE-GSSIM algorithm is better than the traditional evaluation algorithm and is more consistent with the results of human visual perception.

Keywords： image quality; SSIM; gradient similarity; extended gradient similarity; evaluation algorithm

數字圖像的質量容易受到各種噪聲的影響，即圖像失真[1]。對失真圖像進行質量評價，即評價圖像的失真程度或失真圖像與原圖像（參考圖像）的相似度[2]。圖像質量評價（IQA）的結果可作為其他圖像處理技術進行參數調整和性能優化的依據[2-3]。因此，提高圖像質量評價結果能夠促進各種圖像處理技術的發展和應用。

目前有2種最常見的圖像質量評價方式，即主觀評價和客觀評價[2，4]。主觀評價以人作為觀測者，能夠反映人類視覺系統（HVS）的感知特性。主觀評價的缺點是評價過程繁瑣、耗時長、費用高，而且評價結果依賴于實驗環境布置、觀測者的知識結構和心理因素，穩定性較差[2]。另外，主觀評價不能實時嵌入到其他圖像處理技術中，這也大大限制了其應用范圍。客觀評價的評價主體是數學模型和算法，借助數據模型和算法取得和主觀評價相同或相近的結果。相比于主觀評價，客觀評價簡單高效，具有較高的穩定性和可移植性[5]。

早期的代表性IQA算法包括均方誤差算法（MSE）和峰值信噪比算法（PSNR）[6]。由于它們僅僅計算圖像像素點之間的絕對誤差，沒有考慮鄰域像素之間的相互關系及HVS的感知特性，因此不能如實體現主觀視覺感受。Wang等[5]根據HVS的工作特點，提出利用結構相似度（SSIM）模擬HVS提取圖像結構信息。SSIM模型綜合考慮圖像的亮度、對比度和結構3個分量，模型簡單、意義明確。相比于PSNR和MSE，SSIM更加符合人類視覺感知特性，評價結果有較大提高。但是SSIM對圖像邊緣處理不夠細致，在評價模糊失真圖像時效果不好[6]。楊春玲等[6]在SSIM的基礎上將梯度引入圖像質量評價，提出基于圖像梯度結構相似度（GSSIM）的IQA算法。與SSIM不同的是，GSSIM在梯度圖像上計算對比度和結構相似度。GSSIM對模糊失真圖像的質量評價優于SSIM。Liu等[7]提出的圖像梯度相似度（GSM）算法將不同的權重應用于亮度分量與梯度分量，克服了GSSIM的不足。Zhang等[8]提出的圖像特征相似度（FSIM）IQA算法引入圖像的相位特征，結合圖像梯度幅值生成圖像特征圖。FSIM評價結果較好，但其計算過程涉及多次頻域濾波操作和傅里葉變換，計算復雜度較高。本文受GSSIM和GSM的啟發，提出基于擴展梯度相似度的自適應IQA算法（AE-GSSIM）。在計算圖像梯度時，使用擴展梯度算子從多個方向提取圖像梯度信息。同時，將亮度相似度的權重設置為隨梯度相似度變化并限制在較小的范圍，以突出梯度對HVS的重要性。

1" 結構相似度預備知識

1.1" SSIM模型回顧

Wang等[5]認為人眼能夠從圖像結構中提取有效信息，提出了結構相似度算法（SSIM）。SSIM包含3個分量，即圖像亮度l（x，y）、圖像對比度c（x，y）和圖像結構相似度s（x，y）。對于圖像塊x和y，其計算方法如式（1）所示。參數α、β和γ是用于調節亮度分量、對比度分量和結構分量的權重。計算SSIM（x，y）時，需要在圖像塊上逐個像素移動。最后，對局部質量進行算術平均池化，計算方法如式（2）所示。

式中：M是圖像塊的總數。SSIM（x，y）的值越大表示參考圖像和失真圖像相似度越高。

1.2" 基于梯度的結構相似度

SSIM對模糊圖像的質量評價與主觀評價相關性較差。楊春玲等[6]根據人眼對圖像的邊緣和紋理信息高度敏感的特性，提出基于梯度的結構相似度（GSSIM）。GSSIM首先計算每個像素點的梯度幅值，得到參考圖像X和失真圖像Y對應的梯度圖像X′和Y′。然后分別計算梯度圖像的對比度相似度Cg（x′，y′）和結構相似度Sg（x′，y′），并用其分別代替式（1）中的c（x，y）和s（x，y），然后采用算術平均池化，結果即為最終質量得分。

2" 基于擴展梯度相似度的自適應IQA算法

GSSIM僅使用水平算子和垂直算子計算圖像梯度，而結構復雜的圖像往往具有多個方向的邊緣信息[9]。為了更全面地刻畫圖像邊緣，本文采用包含8個方向的擴展梯度算子計算圖像梯度，如圖1所示。

3" 實驗結果與分析

3.1" 圖像庫與評價標準

評價一個IQA算法的效果或性能時往往需要圖像數據庫的支撐[10]。本文選用國際上公開的4大圖像庫進行實驗，即LIVE、CSIQ、TID2008、TID2013。這些圖像庫在參考圖像、失真圖像、失真類型的數量等方面具有較大差異。LIVE圖像庫共有799幅失真圖像，對應5種失真類型，每種失真類型有4～5個失真級別;CSIQ圖像庫共有866幅失真圖像，對應6種失真類型，每種失真類型有4～5個失真級別;TID2008圖像庫共有1 700幅失真圖像，對應17種失真類型，每種失真類型有4個失真級別;TID2013圖像庫比較大，共有3 000幅失真圖像，失真類型和失真級別數分別為24和5。觀測者的主觀評價以平均主觀意見得分（MOS）的形式提供。質量越好的圖像具有越大的MOS值。

常用的客觀IQA算法評價指標有RMSE（均方根誤差）、SROCC（斯皮爾曼秩相關系數）、PLCC（皮爾森相關系數）和KROCC（肯德爾秩相關系數）。其中，SROCC與KROCC兩個指標反映IQA算法的單調性，單調性越好的算法具有越大的SROCC和KROCC值;PLCC度量IQA算法的精度，值越大說明精度越高;RMSE度量IQA算法的準確度，值越小說明準確度越高。一個好的客觀IQA算法應具有較高的SROCC、KROCC和PLCC，以及較小的RMSE。

3.2" 數值實驗

表1列舉了AE-GSSIM與其他幾種客觀IQA算法在4個圖像庫中的SROCC、KROCC、PLCC與RMSE值。每個圖像庫中最好的3個結果用黑體顯示。從表1中可以看到，在TID2008和TID2013這2個圖像庫中，FSIM均獲得了最優的評價結果。AE-GSSIM在TID2008中的評價結果僅次于FSIM。AE-GSSIM在CSIQ圖像庫的評價結果是最優的。在LIVE數據庫中，FSIM獲得了最優的評價結果，VIF的評價結果與其相當。根據每個圖像庫的失真圖像數量對每個客觀IQA算法的各個評價指標進行加權平均，可以看到FSIM的評價結果最優，AE-GSSIM取得了與GSM相當的評價結果，且明顯優于SSIM、GSSIM、VIF。這些結果說明AE-GSSIM與主觀視覺感知具有較好的一致性。

4" 結論

本文對結構相似度IQA算法SSIM及梯度結構相似度IQA算法GSSIM進行了研究，提出一種基于擴展梯度相似度的自適應圖像質量評價算法AE-GSSIM，將擴展梯度算子引入梯度計算，同時為梯度相似度分配更高的權重，并且使亮度相似度的權重隨梯度相似度變化。實驗結果表明，AE-GSSIM取得了比目前大多數IQA算法更優的結果，與人眼的主觀評價結果具有很好的一致性。如何選擇更有效的池化策略以得到更好的客觀IQA算法，或者將該算法應用于無參考IQA，將是下一步的研究重點。

參考文獻：

[1] 張凱兵，朱丹妮，王珍，等.超分辨圖像質量評價綜述[J].計算機工程與應用，2019，55（4）：31-40，47.

[2] 高麗霞，劉國軍，張選德.快速提升的結構相似度IQA算法[J].計算機輔助設計與圖形學學報，2017，29（7）：1314-1323.

[3] 盧彥飛.基于局部視覺特征的圖像質量客觀評價方法研究[D].長春：中國科學院研究生院（長春光學精密機械與物理研究所），2015.

[4] 高敏娟，黨宏社，魏立力，等.視覺顯著性引導的局部圖像質量度量[J].中國科學：技術科學，2019，49（11）：1350-1360.

[5] WANG Z， BOVIK A C， SHEIKH H R， et al. Image quality assessment： from error visibility to structural similarity[J]. IEEE Transactions on Image Processing，2004，13（4）：600-612.

[6] 楊春玲，陳冠豪，謝勝利.基于梯度信息的圖像質量評判方法的研究[J].電子學報，2007（7）：1313-1317.

[7] LIU A， LIN W， NARWARIA M. Image Quality Assessment Based on Gradient Similarity[J]. IEEE Transactions on Image Processing，2012，21（4）：1500-1512.

[8] ZHANG L， ZHANG L， MOU X， et al. FSIM： A Feature Similarity Index for Image Quality Assessment[J]. IEEE Transactions on Image Processing，2011，20（8）：2378-2386.

[9] 王同罕，賈惠珍，舒華忠.基于梯度幅度和梯度方向直方圖的全參考圖像質量評價算法[J].東南大學學報（自然科學版），2018，48（2）：276-281.

[10] 鄧杰航，毋鵬杰，余漢君，等.基于擴展梯度算子的結構相似度圖像質量評價方法[J].科學技術與工程，2018，18（27）：42-47.