基于零參考深度曲線估計的圖像增強網絡改進①

葉 豐, 周 軍, 皇攀凌, 歐金順, 林樂彬

1(山東大學 機械工程學院, 濟南 250061)

2(山東大學高效潔凈機械制造教育部重點實驗室, 濟南 250061)

3(山東大學 機械工程國家級實驗教學示范中心, 濟南 250061)

圖像增強技術是數字圖像處理的一個重要分支.然而復雜的工業環境會影響到圖像采集的質量, 特別是光照環境或物體表面反光等原因造成圖像整體光照不均. 因此引入圖像增強技術平衡整個圖像的受光問題, 同時也能突出圖像中目標物的特征信息, 進而得到一種更加實用的圖像或者轉換成一種更適合人或機器進行分析處理的圖像[1]. 圖像增強現已在諸多的領域中得到應用, 如: 自動駕駛、智能監控系統、工業檢測系統以及航天航空領域等

傳統的圖像增強方法可粗略分為3 類分別為: 空域、頻域以及混合域. 其中, 以直方圖均衡[2]、伽馬變換[3]為主的空域方法主要是直接對圖像像素值進行處理; 以小波變換[4]為例的頻域方法是在某種變換域內進行操作;將空域和頻域的一些方法結合就構成了混合域. 傳統的方法所取得效果不是很理想, 一方面是采用的方法過于簡單, 另外是沒有結合圖像中的上下文信息等.

近年來, 卷積神經網絡在圖像超分辨率[5]、去模糊[6]、去霧[7]、降噪[8]和圖像增強等許多低層次計算機視覺任務中取得了長足的進步. 與傳統方法相比, 一些基于CNN 的方法顯著提高了圖像增強的質量[9]. 大多數現有訓練方法都依賴配對數據去學習原始圖像與目標圖像的映射關系, 得到最終的增強圖像[10].

而文章基于對Zero-DCE-Net 圖像增強網絡算法的研究[11]. 該網絡相比于同類研究的優勢是消除了配對數據進行訓練, 實現了零參考, 同時通過設計一組損失函數來避免過擬合的風險[12]. 此外該網絡模型考慮到像素值的范圍、單調性和可微性, 因此特別設計了曲線估計, 通過將低光像素迭代至高階曲線, 首次實現像素級的動態調整. 從而在保持增強圖像范圍的同時也保留了相鄰像素的對比度. 整個網絡由7 層全卷積組成, 經過每一層卷積后, 噪聲一步步地被消除, 噪聲等級減小, 圖像內容的細節也隨之丟失[13].

但隨著深度學習在圖像分類和目標檢測的廣泛應用[14], 訓練需要高質量的圖像作為訓練集, 同時檢測過程光線影響也是非常大. 而檢測和分類就是依靠圖像的細節特征[15], 因此不僅需要對低光照圖像增強, 并且增強后的圖像應該保留大部分的細節信息[16], 這有助于提升圖像分類準確性以及目標檢測的精度.

1 網絡結構

1.1 Zero-DCE 網絡結構

原Zero-DCE 圖像增強網絡由對稱級聯的7 個卷積層的普通CNN, 前6 層卷積層由Conv 和ReLU 函數組成, 最后一層卷積層由Conv 和tanh 函數組成, 其中第1/2/3 層輸出和第4/5/6 層進行通道級聯. 每層卷積的通道數32, 卷積核大小3×3, 最后輸出R/G/B 三個通道8 次迭代的值, 因此是24 通道, 網絡結構圖如圖1.

圖1 Zero-DCE 網絡結構

1.2 改進后的網絡結構

改進后的網絡核心架構由7 層卷積和3 層反卷積組成, 此外增加兩個殘差塊. 第4/5/6 層為增加的反卷積層[17], 實現對圖像細節丟失的補償, 2 層殘差塊實現每層反卷積后與2/3 層求差, 通過去學習一個殘差值來平衡圖像細節信息, 達到降噪和提升圖像的清晰度[18].1/2/3/7/8/9 層由Conv 和ReLU 函數組成, 最后一層由Conv 和tanh 函數組成, 反卷積層和卷積層的通道數為互相對應的, 都為32, 卷積核大小3×3, 最后輸出R/G/B三通道是經過了10 次迭代后的值, 輸出通道為30. 改進后網絡結構如圖2 所示. 為方便書寫, 改進后的網絡命名為IMZD-DevRd.

圖2 IMZD-DevRd 網絡結構

2 網絡功能實現

零參考深度曲線估計網絡主要通過設計一組可微分的非參考損失來實現將深度網絡與光增強作為圖像特定曲線估計任務, 從而對給定的圖像實現更精準的動態調整, 改進網絡總體實現過程如圖3 所示. 零參考深度曲線估計網絡由3 個部分組成: LE-curve (光增強曲線)、DCE-Net (估算最佳擬合的光增強曲線)、Loss(損失函數)[19].

圖3 改進后網絡功能實現流程

2.1 光增強曲線

第1 部分LE-curve (光增強曲線)設計的非線性映射曲線有3 個點[20]: 1)為了避免由于截斷溢出而導致圖像信息的丟失, 需將待處理圖像的每個像素歸一到[0, 1]范圍內; 2)為使得相鄰像素保留原有的差異性,光增強曲線需為單調的; 3)在梯度反向傳播過程中, 該曲線的形式盡可能簡單并可微. 為了實現這3 個目標,設計了一個二階曲線, 表示如下:

其中,x為像素坐標,LE(I(x);α)為輸入圖像I(x)的增強結果, α ∈[?1,1]為可訓練的曲線參數, 并且所有操作都是像素級的并且每個像素都需要歸一化到[0, 1]范圍內. 使用時, 將LE 曲線分別應用到RGB 三通道, 可以保留固有色彩并減少過擬合風險.

通過式(1)的光增強曲線迭代后, 可以使得調整變得更靈活, 從而使模型能夠適應各種弱光條件.

2.2 深度曲線估計網絡

第2 部分主要為深度曲線估計網絡, 也是文章提出的改進地方, 將一幅弱光圖像輸入, 會得到一組像素級曲線參數映射所對應的高階曲線作為輸出, 網絡采用由1/2/3 和7/8/9 層具有對稱連接的卷積網絡,4/5/6 層殘差層平衡圖像的細節信息, 輸入圖像首先在1/2/3 層卷積后, 然后通過殘差塊將2/3 層的輸出和4 層進行整合輸入到第5 層反卷積層中, 依次往后推一層.

2.3 損失函數設計

第3 部分為損失函數的設計, 原網絡損失函數由空間一致性損失[21]、曝光控制損失[22]、色彩恒常性損失[23]和光照平滑損失[24]4 部分組成. 改進后的損失函數增加了內容損失[25], 主要用于每次迭代生成后的圖像與上一次圖像進行歐式距離計算, 保留圖像的語義信息, 最后疊加一個總的損失函數.

(1)空間一致性損失(Lspa)

為保持圖像的空間一致性, 通過調整輸入圖像與增強圖像相鄰區域的梯度, 通過計算兩個圖像三通道均值, 得到兩個灰度圖像, 將其分解成若干個4×4 的塊,最后計算每個塊內中心像素與相鄰像素的插值并求其均值. 其公式如下:

其中,K為局部區域的數量, Ω(i)是以區域i為中心的4 個相鄰域(上、下、左、右),Y和I分別為增強圖像和輸入圖像的局部區域平均強度值, 這個值根據經驗設置為4×4 大小, 如果設置為其他大小, 損失函數將變得穩定.

(2)曝光控制性損失(Lexp)

為了抑制曝光不足或過度曝光區域, 所以設計了曝光控制性損失函數來控制曝光水平. 曝光損失控制是指局部區域的平均強度值與良好曝光級別E之間的距離[26]. 按照現有慣例,E為三原色空間的灰度級別,在本實驗中將取E=0.6. 將圖像增強轉化為灰度圖, 分級為若干16×16 個塊, 計算每塊內的均值[27]. 公式如下:

其中,M為大小16×16 的不重疊局部區域的數量,Y為增強圖像中局部區域的平均強度值.

(3)色彩恒常性損失(Lcol)

根據灰色世界顏色恒常性假設[28], 即將每個傳感器通道的顏色平均到整個圖像, 通過色彩恒常性損失來糾正增強圖像中潛在的顏色偏差, 并建立三通道之間的聯系, 盡可能使得增強后的顏色相關. 函數設計如下:

其中,Jp代表增強圖像通道p的平均強度, (p,q)代表一對通道.

(4)光照平滑損失(LtvA)

在每個曲線參數映射中添加光照平滑損失以保持相鄰像素之間的單調關系, 這樣所有通道、迭代次數A(網絡輸出)的水平、垂直方向梯度平均值應該很小.光照損失函數如下:

其中,N為迭代次數, ?x、 ?y分別代表水平和垂直方向的梯度操作.

(5)內容損失(Lcontent)

分別將每次迭代增強后的圖像與上一次迭代生成的圖像輸入到預訓練好VGG 網絡[29]中提取特種, 然后計算像素之間的歐式距離來判別增強前后的差異性,可用來保持圖片的語義信息[30]. 其公式如下:

其中, ?j為VGG 網絡j層激活后的特征,Fw(Io)為每次迭代生成的增強圖像,It為上一次迭代生成的圖像.

總的損失Ltotal公式如下:

其中,wcol和wtvA分別為權值和損失值.

3 網絡評估與分析

實驗設備: CPU 為Intel Xeon(R)W-2155, GPU 為GeForce RTX 2080 Ti/PCle/SSE2, 內存64 GB 的臺式電腦. 實驗數據: 訓練采用3 022 張不同曝光程度圖片,如圖4 所示, 其大小為512×512. 所有的程序都是在Linux系統下進行編譯、鏈接與運行, 其中網絡訓練在PyTorch平臺上, 圖像質量評估在Matlab 上進行的測試.

圖4 不同曝光圖片

在得到訓練好的權重后, 首先對部分低光照圖像進行了增強處理, 對比網絡改進前后的圖像, 結果如圖5所示.

圖5 改進網絡前后圖像對比

增強后的圖像無法僅僅通過肉眼去判別好壞, 因此通過在PSNR 和SSIM 兩種圖像質量評估方法[31]中進行了測試, 此外對傳統的拉普拉斯、直方圖均衡化、Retinex-Net[32]和Enlighten-GAN[33]作為對比. 測試結果如表1 所示.

通過表1 發現, 改進后的圖像質量相比原來提升是比較明顯的. 另外通過對改進前后的圖像進行傅里葉變換[34]來驗證改進后圖像細節是否增加. 如圖6所示.

表1 幾種圖像增強方法的圖像質量評估結果

傅里葉譜主要將圖像的時域轉成頻域, 圖像邊緣的灰度值變換快, 就對應這頻率高, 即高頻顯示圖像邊緣, 而圖像細節處也就是屬于灰度值急劇變化的區域,正是因為灰度值的急劇變化才會出現細節. 因此對改進先后的圖片做傅里葉變換, 分析改進先后圖像細節信息是否增加

由于改進后的網絡在原網絡的基礎上, 增加了3 層反卷積和兩層殘差, 因此計算量勢必會有所增加,為了清晰的了解網絡改進前后的一個時間開銷, 本實驗通過表2 記錄了改進網絡前后訓練以及測試耗時對比.

表2 網絡改進前后的訓練以及測試耗時對比

通過對比發現, 改進后的網絡后計算量明顯增加,訓練時間也相應增加, 但是在測試上面耗時不是相差很大, 對于應用在大多的工業領域還是基本能夠滿足它的速度要求, 同時增加的圖像細節信息也能提高檢測的精度.

通過圖6(i) (原圖傅里葉譜減去Zero-DCE 的傅里葉譜)和圖6(j) (原圖傅里葉譜減去IMZD-DevRd 傅里葉譜)可以看出, 圖6(j)中的低頻部分是高于圖6(i)的,說明原圖中高頻部分和改進后增加的高頻部分抵消了,從而說明改進后的網絡確實可以增加圖像的細節信息.圖6(i)和圖6(l) (原圖傅里葉譜減去去原圖噪后的傅里葉譜, 即認為噪聲)可以說明Zero-DCE 的去噪效果, 此外通過圖6(k)可以說明改進后的也達到了和原網絡去噪的效果.

圖6 圖像傅里葉變換對比

此外, 通過比較目前主流的幾種圖像增強方法后圖像的視覺感知[35], 如圖7 所示. 主要對室內和室外兩種環境進行比對, 可以發現改進后的算法在室內和室外視覺感知是優于其他方法的, 其他幾種方法增強后圖像會出現失真、模糊和偽影的現象.

圖7 視覺感知對比

最后為了檢驗改進后的算法是否能提高目標檢測的精度, 其中目標檢測算法采用SSD, 數據集為VOC 2017 和VOC2012, 基于上述環境和配置中訓練的網絡模型.

在目標檢測和圖像分類訓練中最主要是根據圖像的細節特征來分類訓練得到所對應的目標網絡權重,進而檢測和分類的圖像細節信息應盡可能多與之對應.具體檢測效果如圖8 所示.

圖8 改進前后目標檢測情況

通過圖8 結果所示, 明顯改進后對于目標檢測的精度提高了很多, 這可以應用在很多方面.

4 結論與展望

在對Zero-DCE-Net 圖像增強網絡的研究基礎上,針對卷積后圖像細節信息的丟失問題, 提出了結合反卷積和小殘差網絡解決該問題, 最后對改進后的網絡進行測試, 首先通過在圖像質量評估方法PSNR 和SSIM中證實了改進后的圖像質量是優于原網絡的, 其次通過傅里葉變換和目標檢測驗證了改進后的網絡, 不僅可以達到對圖像的增強, 同時圖像細節信息也能得到補償, 這有助于在目標檢測、圖像分類和圖像修復領域的廣泛應用.