生成對抗網絡復原圖像的質量測評方法研究

史朝龍 李 旭 劉 樂 趙子倫 董 斐

(1.海裝駐北京地區第一軍事代表室，北京 100076；2.北京航天計量測試技術研究所，北京 100076)

1 引 言

根據現場環境的復雜性，使得獲取圖像質量條件復雜，比如精確制導系統，尤其是高超聲速導彈武器中，彈上復雜力熱環境較為復雜，成像系統隨導彈的沖擊振動，會產生模糊、抖動現象，由于氣動力學、熱學效應，紅外成像會產生熱窗、抖動、模糊、對比度下降等現象。又如戰場環境中普遍存在復雜自然環境以及煙霧、主動誘餌等認為對抗干擾，可能導致各類圖像退化情況。

生成式對抗網絡以其生成圖像的優勢，在模糊圖像復原、運動圖像復原、遮擋圖像復原等領域得到了大量應用并取得了不錯的效果，如DCGAN使用上下文和先前的損失來搜索潛在圖像中損壞圖像的最接近編碼，然后將該編碼通過生成模型來推斷丟失的內容，恢復圖像被遮擋的部分；DeblurGAN是一種基于條件GAN和內容損失的端對端學習模型，總損失包括來自批評者和感知損失的WGAN損失，使圖像更加清晰，用于改善由于相機抖動或物體快速移動產生的模糊圖像；TP-GAN將從數據分布得來的先驗知識和人臉領域知識結合，提出雙路徑GAN，一條專注于推理全局結構，另一條則推理局部的紋理；SRGAN使用對抗性損失和內容損失的感知損失函數，感知相似性驅動的內容損失生成的紋理更加豐富。

為提高基于生成式對抗網絡圖像復原系統的可信度，保證圖像復原方法的輸出圖像可靠，必須對復原圖像進行質量測評。針對此需求，本文提出了一種基于多方向差異哈希(Multidirectional Difference Hash,MDhash)算法的復原圖像質量測評方法。

2 基于MDhash方法的圖像復原質量測評

2.1 多方向差異哈希算法

哈希算法是一種可將多種形式的多媒體轉換成哈希值的算法。利用哈希算法可產生與圖像對應的二進制編碼數組(即圖像的哈希值)。兩幅圖像的哈希值越接近，則說明兩幅圖像的相似性越高。因此，通過比較兩幅圖像的哈希值，可對其相似性進行度量。

本文提出一種MDhash算法。該算法基于像素域，根據相鄰像素之間灰度值的差異計算圖像的哈希值。如圖1所示，相鄰像素的比較在像素矩陣的四個方向進行，分別是當前像素值(如圖中的A)與位于其同一行右側像素值(如圖中的B)、同一列下方像素值(如圖中的C)、右上方像素值(如圖中的D)與右下方像素值(如圖中的E)之間進行比較，因此，一幅圖像可以得到四個方向的哈希值，分別記為橫向、縱向、斜上向以及斜下向哈希值，將這四個哈希值綜合起來，即為圖像的多方向差異哈希值。

圖1 MDhash中的像素關系示意圖

對于橫向差異哈希值，若當前像素值大于其右邊的像素值，則記為 1，否則為 0，如公式(1)所示。

(1)

式中：

G

(

x

，

y

)——(

x

，

y

)位置的灰度值，

G

(

x

，

y

+1)——(

x

，

y

+1)位置的灰度值，

H

(

x

，

y

)——(

x

，

y

)位置的橫向差異Hash值。

同理，縱向、斜上向以及斜下向差異Hash值可以用下述公式表示：

縱向差異Hash值：

(2)

斜上向差異Hash值：

(3)

斜下向差異Hash值：

(4)

2.2 圖像MDHash值的相似性函數

兩幅圖像的MDhash值之間的差異可以反映圖像自身之間的差異。因此，通過測量兩幅圖像的MDHash值之間的漢明距離(Hamming Distance)計算兩幅圖像之間的相似性。

設

x

=(

x

,

x

,

...

,

x

)表示一個長度為

n

的字符串，

y

=(

y

,

y

,

...

,

y

)表示另一個相同長度的字符串，

x

和

y

之間的漢明距離

D

為：

(5)

當所計算的字符串為二進制編碼數時，可以利用異或(XOR)操作計算漢明距離。設

a

和

b

表示兩個相等長度的二進制編碼數，則

a

和

b

的漢明距離等于

a

⊕

b

中值為1的數量。圖像的MDhash為二進制編碼數所組成的三維矩陣，尺寸為

n

×

n

×4，則兩個MDhash值的漢明距離的表達式為：

(6)

式中：

H

——第一幅圖像的MDhash值尺寸均為

n

×

n

× 4，漢明距離

D

(

H

1,

H

2)越小，兩幅圖像越相似。

2.3 基于MDhash算法的復原圖像質量測評方法

復原圖像的真實度可通過計算復原圖像與原始圖像的相似性來獲得。因此，在本文所提出基于MDhash算法的復原圖像質量測評方法中，首先通過在四個方向上比較相鄰像素之間的差異計算圖像的MDhash值；然后通過計算復原圖像和原始圖像的MDhash值之間的漢明距離來度量它們的相似程度，即復原圖像的真實度。

基于MDhash算法的復原圖像質量測評方法的度量方法示意圖如圖2所示?；贛Dhash算法的復原圖像質量測評方法的主要步驟為：

圖2 基于MDhash算法的復原圖像質量測評方法的度量方法示意圖

(1)將復原圖像A的尺寸縮小到(

n

+1)×(

n

+1)；(2)將縮小尺寸后的圖片轉換為灰度圖，分別記為

G

，

G

，遍歷像素矩陣每一行，從左到右分別計算每一個像素點的橫向、縱向、斜上向和斜下向四個哈希值，遍歷完得到

n

×

n

的矩陣，矩陣元素為哈希值，然后合并四個方向的哈希值得到其MDhash值，為

n

×

n

×4的矩陣；

(3)按照與步驟一和步驟二相同的方法，計算原始圖像B的MDhash值；

(4)計算兩幅圖像哈希值的漢明距離，作為其相似性的度量值，得到復原圖像質量。

3 實驗方法及結果分析

3.1 實驗方法

公開圖像數據集gopro dataset作為測試用例，gopro數據集有若干張高幀相機拍攝的街景圖像，包含模糊的和清晰的。將模糊圖像復原后與原始清晰圖像對比，度量相似性。

實驗對比了MDhash和廣泛使用的SSIM質量測評指標，本文采用主觀評分值與以上指標的相關性驗證MDhash的優劣，相關性評價為皮爾森線性相關系數(

PLCC

)，其取值范圍為[-1,1]，

PLCC

>0表示正相關，

PLCC

<0表示負相關，

PLCC

=0表示完全不相關。計算公式為：

(7)

選擇20位測試人員對復原圖像與對應的原始清晰圖像的主觀評分值記錄在表1內。

表1 主觀評價圖像復原效果表

3.2 實驗結果分析

采用DeblurGAN網絡對模糊圖像進行復原，復原結果和原始清晰圖像的對比如圖3所示，得到的MDhash、SSIM、主觀評分值列表如表2。

圖3 gopro數據集原始清晰圖像和DeblurGAN復原圖像

表2 圖像復原效果測評方法對比

經計算，MDhash與主觀評分值的相似系數為0.9819，可信度優于測評方法SSIM。

4 結束語

本文提出的復原圖像質量測評方法。該方法根據相鄰像素之間的關系計算圖像塊的多方向差異哈希值，通過比較復原圖像與參考圖像的MDHash值之間的漢明距離，從而度量復原圖像的質量。實驗結果表明，該方法可實現對復原圖像質量的準確量化評估，與對比方法結構相似度(SSIM)相比，本文提出的MDhash方法與人的主觀評價結果具有更高的相關系數。