基于生成對抗網絡的圖像清晰度增強方法

王 洋，陳朝新，張月光，郭 磊，沈 鵬

（1.河南奇測電子科技有限公司，鄭州 453000；2.鄭州大學，鄭州 450001）

0 引言

當前在電力系統故障檢測中，基于視覺的檢測無人機開始逐漸替代人力，然而在無人機巡檢的過程中由于相機云臺的運動和周圍環境的影響，導致采集的混凝土電桿現場圖像質量退化，甚至由于嚴重模糊而使圖像無法進行后續的圖像識別。故提高圖像質量對后續圖像識別很重要。因為無人機相機焦距固定，所以本文基于相機在曝光時間內運動導致圖像產生模糊的問題，提出一種對圖像清晰度增強處理的方法。

在圖像復原中，針對運動散焦造成的圖像模糊常用的經典方法包括逆濾波算法，LR 迭代去卷積算法等，該類算法特點在于需要根據點擴散函數的模糊長度和模糊角度，可實際情況中，對這兩個參數的不理想估計會造成還原效果不佳。近幾年采用深度學習的圖像處理方法得到廣泛應用，使用深度學習可對運動模糊圖像進行盲還原，其效果較為理想。生成對抗式網絡（Generative Adversarial Networks，GAN）模型在人工智能領域已經成為熱門方向，將GAN用于圖像復原與重建方面均取得了不錯的效果，利用生成對抗網絡方法對由于相機高速運動產生的模糊圖像復原有著極大的潛力。

1 圖像清晰度增強方法

1.1 圖像退化模型

圖像在獲取、存儲及傳輸的過程中，由于成像設備、存儲介質及拍照周圍環境的影響，造成圖像清晰度下降或內容丟失，圖像退化模型可表示為：

式中，*表示卷積，（，）為退化后圖像。（，）為散焦點擴散函數，（，）為原始圖像，（，）表示噪聲。

1.2 圖像復原方法

傳統的圖像清晰度增強方法都是對模糊核進行求解，但這些方法或多或少地對模糊核做了一部分假設，在具體的現實場景中，一幅圖像的模糊往往是由目標物體和相機多個因素引起的，而很多方法將運動模糊的產生僅看作由相機運動導致的，忽略掉目標物體的運動特性。故Kim等提出將一張圖像進行分割再進行非均勻性去模糊的方法，這種方法適用于動態場景的去模糊。但是，該方法仍存在一些缺點，在圖像中目標物體運動不連續和捕捉不到的情況，會出現比較差的結果，產生振鈴效應。

近些年來，卷積神經網絡已經在圖像處理視覺領域大放異彩，其中在去模糊問題中有著良好的效果，但是，采用CNN 模型只適用于幾種特定種類的模糊，在空間變化模糊還存在一定的限制，因此，本文將一種多尺度遞歸網絡引入到生成器網絡方法，用于動態場景去模糊問題。

1.3 生成器網絡

本文生成器網絡包含三層結構，分別是由粗到精，為了讓每一層的圖像特征利用得更加充分，網絡采用逐層遞進由粗到精的方式，該網絡以三個不同尺寸的模糊圖像作為輸入，在該層網絡上，輸出的是與輸入尺寸大小相同的圖像，三個尺寸輸入的分辨率分別是64×64，128×128 和256×256，每一層網絡生成去模糊之后較為粗糙圖像特征都會作為下一層較為精細網絡的輸入。第一層卷積層將輸入圖像處理為相應圖像大小的特征映射，為了更深層次提取圖像特征，整個尺度的網絡包括輸入塊、編碼塊、解碼塊和輸出塊，其中每一個殘差塊前面都包含一個實例正則化，加速網絡模型的收斂，保持圖像實例之間的獨立，在最后解碼塊的部分，會通過反卷積的方法將圖像上采樣到原來圖像的兩倍，從而作為下一層結構的輸入。在每層尺度網絡結束時，都會輸出一張該尺度對應的清晰圖像，然后通過和清晰圖像進行反向傳播，從而對該尺度網絡參數進行優化，網絡經過迭代優化，最終輸出清晰圖像，其結構如圖1所示。

圖1 生成器網絡

1.4 鑒別器網絡

鑒別器網絡架構如圖2所示。該網絡一共分為輸入層、卷積層和輸出層三個部分。輸入層主要是將生成圖像和清晰圖像輸入；卷積層一共有9 層，每層后面都連接了Leaky ReLU 函數，使得收斂的速度更快，然后經過全連接層。最后由sigmoid 轉化為二分類問題，輸出對生成圖像的置信度，來辨別其真實性。然后兩者之間相互優化，不斷更新網絡參數，使生成的圖像越來越清晰。

圖2 鑒別器網絡

1.5 損失函數

損失函數的選擇對生成對抗網絡性能至關重要，生成模型訓練過程本質在于對損失函數的不斷優化。本文采用生成對抗損失和多尺度內容損失組合的損失函數，由粗到精希望每個相應尺寸為清晰圖像，對于多尺度生成對抗網絡而言，文獻［7］中使用損失函數，表達式為:

其中，L、S表示在k 級模型的生成圖像和清晰圖像。c表示通道的數量，w表示寬度，h表示高度，對其進行歸一化之后用來表示在該尺度上的損失。

生成對抗損失函數定義如式（3）所示：

其中，代表生成的樣本，代表對真實的樣本進行判別，在訓練時，生成器網絡和鑒別器網絡分別對損失函數進行相反的操作，不斷對抗優化。通過結合多尺度的內容損失和對抗損失，總的損失函數表示如公式（4）所示:

其中，為權重系數，經過多次的試驗，=1×10獲得最優解。

2 算例分析

2.1 計算環境

圖像增強計算環境如表1所示，在訓練過程中涉及到大量的卷積運算，而圖像處理單元比中央處理單元具有更大的運算能力，本文將實驗放在GPU 上運行能極大地提高運算的速度和效率，縮短訓練時間。

表1 實驗環境

2.2 數據集及預處理

本次實驗采用原始的GoPro 的數據集，它由Nah等于2017年提出。該數據集被廣泛應用于圖像去模糊實驗中，該數據集一共由3214 對模糊-清晰圖像對組成。每一對圖像均是來自于不同場景1280×720 的高質量的圖像，且所有的模糊圖像都不知道模糊核，實驗過程中生成器網絡要求圖像的輸入大小比數據集中的圖像要小，因此需要將原圖像作裁剪處理。在模型訓練階段使用數據集中模糊圖像作為生成器網絡的輸入，將生成圖像與清晰圖像作為圖像對放入鑒別器網絡判斷這兩張圖像是否匹配。最終將模糊圖像放入已經預訓練好的生成器網絡中輸出一張清晰圖像，其結果如圖3所示。

圖3 圖像清晰度增強前后對比

2.3 圖像清晰度評價結果

圖像清晰度的評價目前主要包括主觀評價和客觀評價兩種。主觀評價為評價人員按照評價規則和評價尺度對圖像模糊進行評分，但依靠人工觀測容易受到個人主觀因素的影響，且長時間的觀測極易造成視覺疲勞，導致后續的評價工作質量下降；客觀評價則采用量化指標對圖像清晰程度進行評價，具有較高的效率和可靠性。這里使用了結構相似度測量和峰值信噪比兩種客觀的評價標準以及基于邊緣特征的圖像清晰度評價方法來比較判斷圖像增強后的清晰度。

由Wang 等提出的圖像質量評價方法圖像結構相似度，其定義為:

在圖像壓縮等領域中，最常使用的重建質量評價是峰值信噪比方法，它通過均方差進行定義:

則峰值信噪比的定義為:

基于邊緣特征的圖像清晰度評價方法是對圖像進行灰度變換后定義一種利用灰度差值尋求邊緣的方法。分別逐行和逐列掃描每個像素點的灰度值，當相鄰灰度差值大于一定閾值的時候，即選取灰度差值大于灰度閾值附近三點，分別計算三條直線的斜率，最后求平均值，然后對整幅圖像所有的灰度邊緣坡度值求和sum，用同樣的方法在垂直方向上求灰度邊緣坡度值的和sum，最后對灰度邊緣坡度值在整幅圖像上求平均值，用來表征圖像的模糊程度，定義為:

用以上三種客觀評價方法對生成對抗網絡增強前后的圖像進行評價，結果如表2所示。

表2 評價結果

從表2可以看出，增強后的圖像較之前的清晰度評價值均有所提升，說明生成對抗網絡方法對圖像的清晰度有明顯增強效果。

3 結語

本文提出一種生成對抗網絡和多尺度遞歸網絡相結合的圖像增強方法。該方法通過使用由粗到精的多尺度遞歸網絡作為生成器網絡，同時將損失函數由生成對抗損失和多尺度內容損失相組合，避免了生成圖像的棋盤偽影現象，能較好地恢復模糊圖像。計算實例結果也進一步驗證了本文所采用圖像增強方法的有效性。