生成式雙波段彩色融合圖像質量評價

張威

（中國石油大學（華東）計算機科學與技術學院，山東青島 266580）

可見光（微光）與紅外彩色融合技術通過生成一幅彩色融合圖像幫助觀察者更快更準確地發現熱目標、理解場景內容，在交通、遙感、安防等領域發揮著重要作用[1]。如何有效地對彩色融合圖像質量進行客觀評價，一直是人們研究的焦點和難點。

傳統的無參考圖像質量評價方法分為兩部分。首先設計學習器用于提取質量感知特征[2-6]，然后通過映射函數將感知特征映射到質量分數進行評價。

近年來，有很多成熟的機器學習和深度學習方法被用于圖像質量評價(Image Quality Assessment,IQA)[7-10]。文獻[11]提出了一種高度無監督的IQA 方法，它不需要訓練樣本，也不依賴于人眼的主觀評價評分。文獻[12]提出了一種基于多個最小可覺察誤差(Just Noticeable Distortion,JND)模型的無參考圖像質量評價方法，將多種JND 模型應用于提取多尺度圖像的特征和深度圖，最后合并這些特征并映射到客觀分數。文獻[13]利用張量分解生成多個特征圖提出了一種新的無參考質量評估方法。文獻[14]通過門控卷積神經網絡學習相鄰塊圖像之間的顏色相關性，利用圖像的語義信息提高了神經網絡的識別能力，建立了更有效的圖像顏色協調性評價模型。

基于以上研究，提出了一種生成式雙波段彩色融合圖像質量評價方法。該方法通過對抗生成網絡(Generative Adversarial Net,GAN)預測彩色融合圖像的主要內容，在目標函數中引入了結構差異度約束。根據約束函數向預測內容中加入不同程度的無序信息，生成一個偽彩色融合圖像數據集。之后建立一個基于孿生網絡的質量評估器，在偽彩色融合圖像數據集中進行預訓練，在真彩色融合圖像數據集中進行微調，對彩色融合圖像質量進行評估。

1 生成對抗網絡

如圖1 所示，對抗生成網絡一般由兩個子網絡組成，分別為一個生成器G和一個判別器D。其中生成器用來生成樣本，判別器用來區分真實樣本和生成樣本。G和D的訓練過程是最小化一個目標函數：

圖1 生成對抗網絡模型結構

其中，Pdata為真實樣本的分布，Pz為輸入噪聲的分布。

通過區分真實樣本和生成樣本不斷地對判別器進行優化，而生成器通過不斷地最小化ln(1-D(G(z))被優化。通過這種對抗性的訓練，最終生成器可以生成更接近真實樣本的生成樣本，判別器無法區分真實樣本和生成樣本。

2 生成式雙波段彩色融合圖像質量評價模型

如圖2 所示，生成式雙波段彩色融合圖像質量評價模型主要分成兩個模塊：基于GAN 的生成模塊和基于孿生網絡的質量評估模塊。生成模塊通過GAN 推測彩色融合圖像的主要內容，生成大量的偽彩色融合圖像；質量評估模塊通過孿生網絡在偽彩色融合圖像數據集中進行預訓練，在真彩色融合圖像數據集中進行微調，之后對彩色融合圖像質量進行評價。

圖2 生成式雙波段彩色融合圖像質量評價模型結構

2.1 基于GAN的生成模塊

生成模塊由生成器G和判別器D構成，以紅外圖像Id1和可見光圖像Id2作為輸入，預測其主要內容Ig，即Ig=G(Id1,Id2)。判別器的主要目的是區分預測主要內容Ig和真實主要內容Ir。通過G和D之間的對抗訓練，預測主要內容Ig越來越接近真實主要內容Ir。

通過采用WGAN-GP[15]的框架，將判別器D的目標函數定義為:

其中，Ladv為對抗損失，LGP為梯度懲罰項。

Ladv定義如下：

其中，Pr為真實主要內容的分布，Pg為預測主要內容的分布。

LGP的定義如下：

其中，Px表示在Pr和Pg之間沿直線均勻采樣的抽樣分布，‖‖?xD(x)2表示D的輸出相對于輸入的梯度范數，λ表示懲罰系數。

在對抗損失Ladv的約束下，不斷對生成器進行優化。除對抗損失外，為了使生成器G更準確地預測圖像的真實內容，將像素損失Lpix和內容損失Lcon添加到生成器的損失函數中，其中，Lpix計算像素空間上預測主要內容Ig和真實主要內容Ir之間的差異，計算公式為：

其中，MSE 表示兩個輸入之間的均方誤差。

內容損失定義預測主要內容Ig和真實主要內容Ir在特征空間上的差異，計算公式為：

其中，?k表示第k個卷積層的特征映射。

為了使得生成出的偽融合圖像和真實融合圖像更加一致，在生成器G的目標函數中提出了一個結構差異約束條件。使用輸入圖像與預測主要內容Ig之間的預測誤差Iu表示無序信息，計算公式如下：

主要內容Ig包含輸入圖像的主要結構信息，因此主要內容Ig和預測誤差Iu之間的結構相似性應盡可能小。利用經典的SSIM 計算結構相似度，定義為：

其中，x和y分別代表兩幅要比較的圖像，μx和μy分別為平均值，σx和σy為標準差，C1和C2為常數。將主要內容Ig和預測誤差Iu之間的結構相似性定義為：

將Ig和Iu轉化為灰度圖像計算Is。為了保持主要內容的結構完整性，通過最小化下式來定義結構差異約束：

其中，W和H分別表示Ig的寬度和高度。

最后將生成器的目標函數表示為：

其中，μ為損失權重，用于平衡各類損失。

由于無法獲得紅外圖像和可見光圖像的真實主要內容，使用彩色融合圖像進行替代。在完成生成器的訓練之后，獲得生成器目標函數的最小值Gmin*，為了向生成的偽彩色融合圖像中加入不同程度的無序信息，設置不同的生成器目標函數值使得生成模塊的訓練提前停止，以此向偽彩色融合圖像中加入不同程度的無序信息，計算公式為：

2.2 基于孿生網絡的質量評估模塊

在生成偽彩色融合圖像數據集后，采用孿生網絡對圖像質量進行評價。首先基于孿生網絡的質量評估模塊在偽融合圖像數據集中進行預訓練，之后在真彩色融合圖像數據集中進行微調。

基于孿生網絡的質量評估模塊結構如圖3所示。

圖3 基于CNN的質量評估模塊結構

將兩幅待比較的彩色融合圖像分別輸入至網絡1 和網絡2，網絡1 和網絡2 為參數共享的孿生網絡，網絡的配置為卷積-64、卷積-64、池化、卷積-128、卷積-128、池化、卷積-256、卷積-256、池化，其中卷積-m表示卷積核為3×3、步長為1 和輸出通道為m的卷積層，孿生網絡中的所有池化層大小均為2×2，步長2。兩幅融合圖像經過孿生網絡之后進行合并，過程表述為：

其中，T表示孿生網絡提取出的特征向量，subnetworki代表網絡i的運算過程，concat 代表向量的合并。

3 實驗結果與分析

3.1 數據集

實驗數據集來源于文獻[16]，數據集共分為三類典型場景，51 組圖像，每組圖像包含八幅彩色融合圖像，分別由八種不同的融合算法融合同一場景下的可見光圖像和紅外圖像生成，每幅圖像大小均為320×240 像素。主觀評價實驗采用7 分制的評分標準，對應非常不滿意到非常滿意七個等級。圖4-6 分別給出每類典型場景的一組融合圖像，每組包含一幅可見光圖像和一幅紅外圖像以及八幅融合圖像。

圖4 城鎮建筑物場景圖像中的一組源圖像及八幅融合圖像

圖5 海天場景圖像中的一組源圖像及八幅融合圖像

圖6 綠色植物場景圖像中的一組源圖像及八幅融合圖像

將數據集隨機分為兩個子集，80%用于訓練，20%用于測試。在訓練階段，采用訓練集對生成模塊進行訓練，將無序信息添加程度值設置為I，λi取[1,3]之間的I個均值，生成一個偽彩色融合圖像數據集，其標簽是兩幅圖像比較的結果。將質量評估模塊在偽彩色融合圖像數據集中進行預訓練，在真彩色融合圖像數據集中進行微調。在測試階段，將兩幅待比較的彩色融合圖像輸入到質量評估模塊，輸出彩色融合圖像的評價結果。

采用準確率、Pearson 相關系數和Spearman 相關系數三個評價指標對模型進行評價。其中使用準確率可以直接判斷模型在偽彩色融合數據集和真彩色融合圖像數據集中的表現情況；通過評價結果對融合圖像進行排序后使用Pearson 相關系數和Spearman 相關系數在真彩色融合圖像數據集中衡量模型的性能。

3.2 模型評價結果分析

文中提出了一種生成式雙波段彩色融合圖像質量評價模型，從兩方面對該模型進行有效性分析：1）分析模型本身的參數及網絡結構對評價結果的影響；2）通過對比其他具有代表性模型的評價結果驗證模型的有效性。

設置不同無序信息程度值I，模型的評價結果如表1 所示，其中，準確率A為質量評估模塊在偽彩色融合圖像數據集中評價的準確率，準確率B、Pearson相關系數和Spearman 相關系數為在真彩色融合圖像數據集中的評價結果。隨著I值不斷減小，質量評估模塊在偽彩色融合圖像數據集中的表現越來越好，生成的偽彩色融合圖像之間的差距也隨之增大，但是會產生一定的過擬合情況，使得在真彩色融合圖像數據集中的表現先提高然后再降低，Pearson 相關系數和Spearman 相關系數從另一個方面論證了這個結論。實驗結果表明，當I值設置為10 時可以獲得較好的評價結果。

表1 添加不同程度無序信息的評價結果

使用一些現有的卷積神經網絡結構作為質量評估模塊檢驗對模型評價結果的影響，分別采用Vgg16、Vgg19、Resnet50 和Resnet101 作為質量評估模塊中的子網絡進行訓練，評價結果都是在真彩色融合圖像數據集中得出，如表2 所示，Resnet 相較于Vgg 取得了更好的實驗結果，殘差結構可以使網絡在提取圖像特征時丟失更少的信息，文中設計的質量評估模塊的結果略微優于Vgg。

表2 不同類型質量評估器的對比結果

之后對比兩種基于局部圖像的圖像質量評價方法，其中文獻[17]首次提出了此類圖像質量評價方法(模型A)，文獻[18]提出采用全參考的方式對局部圖像的質量分數進行定義(模型B)，但是由于缺少參考圖像，采用文獻[16]中的方法對局部圖像的質量分數進行定義。文中模型(模型C)與這兩種方法的對比結果如表3 所示，模型A 中局部圖像直接繼承原始圖像的質量分數的做法會引入大量的錯誤信息，所以模型A 的評價結果最差；由于真彩色融合圖像數量過少，模型B 的評價結果也沒有達到預期，而生成式雙波段彩色融合圖像質量評價模型取得了更好的評價結果，證明了該模型在雙波段彩色融合圖像質量評價方面的有效性。

表3 與基于局部圖像方法的評價結果對比

另一類常用的圖像質量評價方法是在ImageNet上進行預訓練，由于ImageNet 與彩色融合圖像數據庫差別過大，使用文獻[14]中基于門控卷積神經網絡的圖像質量評價模型(模型D)在AVA 數據集中進行預訓練，之后在融合圖像數據集中進行微調。此外還對比了文獻[16]中基于記憶色的雙波段彩色融合圖像質量評價方法(模型E)。對比結果如表4 所示，由于AVA 數據集與彩色融合圖像數據集相差較大，且融合圖像數據量較少，模型D 的評價結果較差，而生成式彩色融合圖像質量評價方法取得了與人眼主觀評價較為一致的結果。

表4 與其他方法的評價結果對比

4 結論

文中提出了一種生成式雙波段彩色融合圖像質量評價方法，該方法分為基于GAN 的生成模塊和基于孿生網絡的質量評估模塊。通過生成模塊預測彩色融合圖像的主要內容，在目標函數中引入了結構差異度約束函數，向偽彩色融合圖像中加入不同程度的無序信息，生成了一個偽彩色融合圖像數據集，解決了彩色融合圖像數據量不足和參考圖像缺失的問題。之后建立一個基于孿生網絡的質量評估器，質量評估器在偽彩色融合圖像數據集中進行預訓練，在真彩色融合圖像數據集中進行微調，對彩色融合圖像質量進行評估。一系列的實驗證明了該方法的有效性和優越性。