基于深度學習的礦井下低照度圖像增強算法研究

李藤，劉凱雷

（黑龍江科技大學電氣與控制工程學院，黑龍江哈爾濱，150022）

0 引言

安全生產是煤礦企業發展的關鍵，視頻監控是當前煤礦安全生產系統中的重要組成部分[1]。由于井下環境存在燈光照射不均勻，空氣中有大量粉塵等因素，井下視頻監控質量容易受到影響。目前所使用的礦井下低照度圖像增強算法大多為以Retinex算法為主的傳統算法及其改進算法。

低照度圖像增強方法主要分為傳統算法和深度學習方法兩類[2]。傳統方法中，基于Retinex 理論主要在頻域中增強圖像。Z Rahman提出帶色彩恢復的多尺度Retinex算法（MSRCR）[3]，該算法對圖像具有一定的增強效果但該算法處理后的圖像會出現部分邊緣細節消失和圖像整體泛白出現光暈現象。程德強等提出了基于引導濾波的單尺度Retinex算法[4]，采用引導濾波進行照度估計，并改進對比度增強方法，能夠有效地保留圖片的邊緣信息，增強了圖像的對比度。蔡利梅等人提出自適應HSV空間Retinex算法[5]，利用自適應增強系數對反射分量進行增強處理，實現了參數自適應，提高了圖像的對比度與亮度。Wei等人根據Retinex理論，使用卷積神經網絡，將圖像增強過程分為圖像分解、圖像增強兩個階段，提出了Retinex-Net[6]，該算法可以對低照度圖像進行增強，但增強后的圖像存在明顯的失真。

本文使用的KinD-Net算法[7]是基于深度學習的低照度圖像增強，該算法采用了分階段的模式，包括圖像分解、反射圖恢復、照度圖調整三個模塊。反射恢復模塊中通過引入照度圖信息減小圖像的顏色失真并加入去噪模塊抑制圖像增強過程中產生的噪聲。圖像分解模塊加入重構損失，相互一致性損失與光照平滑損失增強圖像的邊緣細節。照度調整模塊提高圖像的亮度。

1 KinD-Net

1.1 KinD-Net理論

KinD-Net算法可以有效地優化圖像暗光線部分的退化問題，還可以靈活地調整曝光條件。該算法由三個模塊構成，分解模塊、反射模塊與亮度調整模塊。該網絡的輸入為一個包含低光照與正常光照的圖像對，通過分解模塊，將兩張圖片分別分解為反射圖與照度圖，低光照圖像的反射圖與照度圖通過恢復模塊與正常光照圖片的反射圖進行降噪處理后合并得到輸出的反射圖，低光照圖像的照度圖輸入亮度調整模塊后與正常光照圖像的照度圖合并得到調整亮度后的照射圖，恢復模塊輸出的反射圖與亮度調整模塊輸出的照度圖合并得到增強后的圖片。如圖1所示為KinD-Net算法結構

圖1 kinD-Net 算法結構

1.1.1 分解模塊

該模塊的作用是把圖片分為照射分量與反射分量。從一個圖像中恢復兩個組件是一個高度不適定問題，在光照條件下，圖像的標準反射率與照度圖是很難獲取的，因為這里面存在人們的主觀意向。光照發生變化不會影響物體對光的固有屬性。在理想狀態下分解反射率對（Rl與Rh）應該相同，所以此處設計反射相似性損失如式（1）所示。

光照平滑度損失如式（2）所示，該損失對邊緣位置的懲罰很小，對平坦區域的懲罰會比較大。Li表示正常光配置，Lh表示曝光配置。

為了強化邊緣信息設計了相互一致性損失如式（3）所示，光照梯度的大小表示表示光照在物體上的位置，較大則表示在物體的邊緣，較小表示在物體表面。該損失會在梯度處于中間值時進行懲罰。c表示常數值。

分解模塊被分解的兩層需要重新生成輸入，而輸入受到重構誤差的約束如式（4）所示，因此層分解模塊的損失函數為式（5）所示。Il表示圖像的照度，Ih表示圖像的反射率

1.1.2 反射恢復模塊

該模塊的作用是反射圖的恢復。低照度圖像的反射圖與照度圖作為輸入，通過4次卷積與池化操作后提取圖像的輸入特征，再通過4次卷積與上采樣實現降噪模塊。低光照圖像的反射圖比正常光照的反射圖更容易收到退化的影響，為了有效地降噪，該模塊的損失函數如式6所示。

1.1.3 亮度調整模塊

該模塊的作用是亮度調節。低光照圖像的照度圖作為輸入，使用兩層3*3以ReLU作為激活函數的卷積層獲取照度圖的光照信息，再經過一次3*3的卷積操作后利用Sigmoid層輸出亮度調節后的照度圖。該模塊的損失函數如式（7)所示：

2 實驗驗證

2.1 訓練數據集與實驗環境

本文使用的訓練數據集為公開數據集LOL dataset，對該數據集進行了重新排列并添加了幾張全零圖像，以改善分解結果和恢復結果。該數據集包含485對低光照/正常光照訓練圖像和測試圖像。訓練數據使用imgaug庫實現數據的預處理，做幾何變換，像素變換等操作。

網絡采用圖像對訓練，批量化大小設置為10，塊大小設為48*48，像素塊尺寸為384*384。本文采用Adam優化器對整個模型進行優化。整個網絡的訓練在NVIDIA GTX 3060 GPU設備上完成，實現代碼基于TensorFlow框架。Tensorflowgpu 1.13 版本，numpy 1.19版本。

2.2 對比算法

為了驗證本文所使用算法在普通場景以及礦井下的處理效果，使用了以下對比算法做對比實驗：Retinex算法，MSRCR算法，基于HSV色彩空間下的MSRCR算法與Retinex-Net算法。

3 各算法在實際中的增強效果

為了驗證本文所使用的KinD-Net算法的優越性，選取了三張礦井下工作面、巷道等真實場景的低光照圖片。在礦井下各算法的處理效果如圖2，圖3，圖4所示。礦井下的三種場景都受到了不均勻光照，圖像存在高亮度與低亮度區域，符合煤礦下惡劣的環境，可以很好地對算法進行檢驗。從主觀角度上這幾種算法對圖像的亮度都有明顯的增強但還是存在一些問題，在場景一中，Retinex算法與MSRCR算法處理后的圖片存在過度增強問題，圖像出現光暈現象。Retinex-Net算法處理后的圖片出現明顯的顏色失真問題，圖像的一些紋理細節也有一定程度的丟失。HSV MSRCR算法處理后的圖片略微出現顏色失真問題，本文算法相比較其它算法有較好的圖像增強效果。在場景二中，四種對比算法處理后的圖片都出現了明顯的噪聲，本文算法對圖像低光照區域增強后并沒有明顯的噪聲。場景三中，HSV MSRCR算法與Retinex-Net算法處理后的圖片存在顏色失真的問題，四種對比算法沒有消除圖像低亮度區域的噪聲，反而在增強圖片的同時，放大了該區域的噪聲。本文算法處理后，圖像效果清晰且提高了圖像低光照區域的亮度以及對比度，邊緣特征相比較其他算法也都較好地保留下來。從主觀角度評價，本文算法針對礦井下不同場景的低照度圖像有較好的增強效果。

圖2 場景一不同算法比較

圖3 場景二不同算法比較

圖4 場景三不同算法比較

從客觀角度上，本文使用了峰值信噪比(PSNR)與結構相似性(SSIM)來評價算法的結果。各算法的處理結果如表1和表2所示，各算法對圖像都有所增強。本文算法在礦井下的三種場景中都取得最高的峰值信噪比與機構相似性，峰值信噪比越高說明圖像失真程度越小，結構相似性越高也說明圖像失真程度越小。從客觀角度評價，本文算法優化了顏色失真問題，礦井下的圖像得到了較好的增強效果。

表1 各算法處理結果的的PSNR值對比

表2 各算法處理結果的SSIM值對比

4 結論

針對井下生產環境惡劣，光線差，亮度低，存在大量光照不均勻圖片為礦井下視頻監控帶來不便這個問題，本文提出使用KinD-Net算法對礦井下圖片進行去噪增強，該算法在圖像分解網絡中加入重構損失，反射圖恢復網絡中加入去噪模塊，抑制圖像增強過程中產生的噪聲。在反射恢復網絡中引入照度圖信息減少圖像顏色失真。本文選取Retinex算法、MSRCR算法、HSV MSRCR算法與Retinex-Net算法做對比實驗，引入峰值信噪比，結構相似性作為評價指標，在主觀角度與客觀角度綜合評價后，得出結論：本文算法可以有效提高提高圖像的亮度，減弱圖像失真問題使處理后的圖像有較為理想的增強結果。