基于自編解碼器與殘差連接的紅外圖像降噪模型

羅伊杭， 吳天昊， 李博揚， 李 淼， 凌 強， 吳 京

（國防科技大學電子科學學院， 長沙 410073）

0 引 言

紅外圖像是由紅外探測器接收視野內物體輻射或者反射的紅外線而形成的圖像。 在紅外成像設備內部，紅外探測器將接收到的輻射轉換成電信號，再經變大、變換等信號處理，形成最終的二維紅外圖像［1］。

由于探測環境及紅外成像器件本身的影響，紅外圖像成像往往會受到多重干擾。 其中，探測環境噪聲主要是由景物的輻射引起的，按照拍攝場所的不同而不同，具有隨機性。 因此，在紅外圖像降噪中主要討論紅外成像器件產生的內部噪聲。 受紅外探測器制造工藝等因素的限制，紅外圖像會受到多種非理想因素的影響，使得紅外數據具有對比度低、邊緣模糊、清晰度低等缺點，造成紅外圖像的后續應用的局限性［2］。 因此，對復雜噪聲的有效抑制是紅外圖像處理中的核心環節，是提高紅外探測系統性能的重要預處理手段。

傳統的紅外圖像降噪主要利用噪聲高頻特性，通過找出噪聲分布規律后再進行相對應的降噪處理。 中值濾波［3］、均值濾波［4］等方法通過平滑圖像來緩解噪聲干擾，這些濾波方法通過設計合理的閾值參數對脈沖噪聲和椒鹽噪聲能達到較好的抑制作用，但是對高斯噪聲的抑制能力較差。 文獻［5］提出能自適應調節拉格朗日乘子和懲罰參數Split Bregman 算法具有更快的收斂速度。 文獻［6］針對紅外圖像中的條紋噪聲，提出利用相鄰行之間灰度值的繼承性完成圖像校正。

上述提到的方法將重點集中在處理某一場景噪聲強度或某一類分布的噪聲上，缺乏同時處理多類型、及強度多變的復雜干擾的能力。 實際紅外探測設備中的噪聲復雜，還存在敏感元的非均勻性，個別敏感元可能是啞元。 紅外圖像降噪算法應具備更強的魯棒性和普適性。 本文借助深度卷積在自動提取圖像特征上的優勢，提出一種基于自編解碼器與殘差連接的紅外圖像降噪模型，能夠降低紅外圖像中內部成像器件引起的復雜噪聲干擾。 該模型由堆疊的深度卷積和反卷積組成自編碼器和解碼器，實現圖像特征的自動提取和初步的圖像重構，并通過殘差連接補充細節信息。 通過給定噪聲圖像和原始圖像作為模型的訓練數據，學習其中的噪聲分布，避免了復雜的人工特征設計過程，進而實現了紅外圖像中去除多類型分布多種強度噪聲的需求。

1 紅外光電系統與紅外圖像噪聲分析

1.1 紅外光電系統

紅外光電系統是用來探測目標輻射的特征信息的光電儀器。 根據光電探測儀器自身是否帶輻射源，紅外光電系統可分為無源的被動式和有源的主動式兩大類別［7］。

其中，被動式光電系統具有全天時、無源、隱蔽性好等特點，在軍事上可用于目標檢測、瞄準跟蹤等。 非軍事應用包括熱效率分析、環境監測等。 本文主要基于被動式紅外光電系統進行研究。 被動式紅外光電系統信息獲取的流程如圖1 所示。 整體流程可以概括為：輻射源依次經過輻射的大氣傳輸、光學成像、探測器光電轉換和電信號放大和處理，最后得到探測信息［8］。 掃描型光電系統在進入光學系統前還會經過掃描采樣。

圖1 被動式紅外光電系統信息獲取流程圖Fig. 1 Flow chart of the infrared and electro-optical passive system information acquisition

1.2 紅外圖像噪聲分析

紅外光電系統的探測性能受到外部環境和內部器件的噪聲影響，其中外部環境的雜波受探測場景影響具有隨機性，需要根據具體應用背景進行建模，因此本文主要討論來自探測器和電路元件內部產生的隨機電噪聲。

在實際的紅外圖像中，各種噪聲混雜在一起且產生機理各不相同，可用描述譜密度隨頻率變化的噪聲功率譜表示。 下文中按照不同的概率密度分布對紅外圖像內部器件的噪聲進行歸納和分析。

1.2.1 高斯噪聲

在紅外探測器中［8］由背景光子到達探測器敏感元速率起伏產生的光子噪聲，探測器固有的約翰遜（Johnson）噪聲、產生-復合（G-R）噪聲、散粒（shot）噪聲等噪聲在時間和空間上都呈現隨機分布的特點。 將這些噪聲疊加起來，可將其建模成加性高斯噪聲，因此模擬這些噪聲污染的圖片可以通過生成與圖像尺寸相同，且服從正態分布的灰度值數據作為噪聲，疊加到原圖像上的手段。 其概率密度分布函數為：

其中，z表示每個像素點上的灰度值，μ和σ分別表示圖像中所有像素灰度值的期望和標準差。

1.2.2 椒鹽噪聲

在紅外光電探測系統內部有2 種噪聲可以模擬為椒鹽噪聲。 分別是器件的盲元點噪聲和在低頻部分電子躍遷產生的1/f噪聲。 這里，盲元點噪聲主要在凝視型成像器件上焦平面的感光元器件中存在盲元時產生，表現為圖像上呈現出亮暗點［9］。1/f聲又被稱為低頻或閃爍噪聲，通常認為是由于制造缺陷和器件中的雜質所導致的。 將2 種噪聲建立成椒鹽噪聲模型，其概率分布密度可表示為：

其中，a、b均為灰度值，在紅外圖像中，一般設置a＝0、b＝255。a所在像素點在圖像中呈現為一個暗點，b將顯示為一個亮點。pa和pb分別表示亮暗點的出現概率。 在后續對于噪聲的模擬中，本文使用k表示加入椒鹽噪聲的像素個數，進而控制噪聲強度。

1.2.3 條帶噪聲

條帶噪聲多存在于掃描型成像器件產生的紅外圖像中［10］。 掃描型成像器件的焦平面呈現一維的線狀分布，在成像時同時采集一行數據，并按照一定頻率移動焦平面來產生多組數據，最終拼成完整的圖像［8］。 因此與凝視型成像器件不同，當掃描型成像器件存在盲元時會在圖像中產生沿掃面方向的亮暗線。 其構造原理類似于椒鹽噪聲，本文使用n表示條帶噪聲的條數。

2 紅外圖像降噪模型

2.1 自編碼-解碼器

自編碼-解碼器［11］是一種受啟發于信息壓縮與解壓功能的神經網絡，其設計理念為：過編碼提取出原圖片中的最具代表性的信息，再把關鍵信息送入網絡學習，通過設置損失函數（loss）求出預測誤差，進行反向傳遞，減小輸入輸出某方面的差距，實現網絡參數的自動調整，最終使輸入輸出近似相等，從而達到從原數據中總結出每種類型數據的特征的目的。 在訓練期間，每個樣本經由輸入層傳遞給中間層并在此對數據進行特征提取，相當于一個編碼過程；再將中間層的數據傳遞給輸出層進行還原，相當于解碼過程。 當網絡收斂，就學習到了可以表征輸入數據的重要特征。

2.2 殘差連接

在降噪過程中，卷積編碼器不可避免地會消除一些圖像細節。 雖然解碼器中反卷積層可以恢復一些細節，但當網絡更深時，細節丟失的問題會進行累積，從而導致重建的圖像可能會因為丟失過多細節而過平滑。 此外，當網絡深度增加時，梯度擴散可能會使網絡難以訓練［12］。

為了解決上述問題，隨即提出了深度殘差連接［13］。 不同于直接將輸入映射到輸出，在本文的降噪模型中采用的殘差映射如圖2 所示。 將輸入定義為I（Input），輸出定義為O（Output），殘差映射可以表示為F（I）＝O-I。 一旦建立了殘差映射，就可以將原始重建圖像映射R（I）重構為R（I）＝O＝F（I）＋I。由此，將直接映射問題轉換為殘差映射問題。

圖2 直接映射和殘差圖Fig. 2 Direct mapping and residual structure

2.3 紅外圖像降噪模型

基于自編解碼器與殘差連接的紅外圖像降噪模型可以分為編碼器和解碼器和殘差連接部分，整體模型如圖3 所示。

圖3 基于自編解碼器與殘差連接的紅外圖像降噪模型Fig. 3 Overall architecture of infrared image denoising model （EDR-IRDn） based on encoder-decoder with residual connection

自動編碼器由7 個卷積模塊組成，負責提取圖像特征，從低到高抑制圖像噪聲，同時保留輸入圖像的基本信息，為了保留可能被去掉的目標特征信息，去掉殘差前的ReLU層，放棄了學習殘差的正約束。自動解碼器同樣由對應的7 個反卷積層組成，特征圖在反卷積層被不斷放大，直至與輸入圖像尺度相同，而后利用輸出圖像與原始圖像之間的差異計算網絡損失，調整卷積核參數，直至符合訓練終止條件。 在每個卷積模塊的對應的反卷積模塊之間，使用殘差連接將每個卷積層產生的特征向量傳遞給反卷積層，使得底層卷積的特征可用于恢復結構細節。最后，重建圖像由最后一個反卷積模塊輸出。

為了增強網絡對不同強度和不同分布噪聲的魯棒性，在訓練時，將隨機生成每個批次訓練圖像的噪聲強度和分布。 測試時，直接將測試集數據作為輸入圖像，送入網絡進行處理，輸出圖像則是經過降噪重建后的圖像。 實驗環境為Pytorch1.3.1 和Python 3.7.1，計算機配置為16 G 內存、Intel Xeon Gold 5117 CPU、NVIDIA Tesla V100 GPU。

3 實驗與分析

在實驗部分，利用對紅外器件內部噪聲根據上文的分析模擬生成仿真數據集。 分別在不同強度的噪聲情況下和混合噪聲情況下，使用所提模型和3種經典的降噪模型BM3D［14］、WNNM［15］和K -SVD［16］進行對比實驗，并對實驗結果進行展示和分析。

為了測試不同降噪方法的性能，采用PSNR（peak signal-to-noise ratio） 和SSIM（structural similarity index measure）來定量評估恢復后的圖像質量。 這2 個指標是在像素級別比較恢復圖像和原圖像之間的差異，越大表示兩者越接近。 同時，通過比較各個模型恢復的圖像進行視覺效果評估，來定性分析各方法的降噪效果。

3.1 不同強度噪聲的降噪結果與分析

長時間工作的內部器件會使得產生的噪聲強度發生變化，使紅外圖像噪聲更加復雜，因此針對紅外圖像內部噪聲的降噪方法應對噪聲強度具備較好的魯棒性。 本節實驗以加性高斯白噪聲為例，將噪聲強度為σ＝0.01、σ＝0.02 和σ＝0.14 的加性高斯白噪聲分別添加到同樣的100 張紅外圖像上，隨即生成了A1、A2和A3測試數據，由這3 組數據組成300張A組測試集，并在A組測試集上進行不同噪聲強度情況的降噪實驗。

3.1.1 定量結果

使用本文提出的模型和對比降噪模型在A組測試數據上進行降噪實驗，從而觀測各個方法對噪聲強度的魯棒性。 在PSNR指標（單位為dB）和SSIM指標上各個方法的降噪結果見表1、表2。 每個指標的值都是對100 幅測試圖像評價結果取平均得到的。

表1 各方法在A 組測試數據的PSNR 平均值Tab. 1 Average PSNR of each method by using test data in group A

表2 各方法在A 組測試數據上的SSIM 平均值Tab. 2 Average SSIM of each method by using test data in group A

使用3 組不同噪聲強度數據進行測試，本文方法降噪后圖像的PSNR和SSIM指標均高于比較的其他3 種降噪方法，說明本文的方法（EDR-IRDn）能夠更好地降低不同強度的噪聲。

3.1.2 定性結果

分別使用本文模型與3 種對比方法在不同噪聲強度下的降噪結果如圖4 所示。 其中，圖4（a）從左至右依次為A1、A2和A3中的噪聲圖像，圖4（b）、圖4（c）、圖4（d）和圖4（e）分別為WNNM、K-SVD、BM3D 和EDR-IRDn（our）在對應噪聲圖像上的降噪結果。

圖4 各方法在A 組測試數據上降噪效果Fig. 4 Results of each method by using test data in A group

由圖4 可以看出，在A3數據集上雖然噪聲強度較大，但本文設計的模型仍然能在一定程度上還原出原始圖像，重構出圖像的主要成分，這說明了所提方法對噪聲強度的魯棒性較強，能夠用于重度噪聲污染圖像的處理。

3.2 混合噪聲的降噪結果與分析

在前文紅外圖像噪聲分析中，本文將紅外圖像的器件噪聲主要模擬為服從高斯分布的噪聲、椒鹽噪聲和條帶噪聲。 在實際情況中，這些非理想因素可能會同時存在。

因此本節在對紅外成像器件內部噪聲分析基礎上，進行紅外圖像噪聲數據集的模擬，在100 張紅外圖像上分別添加σ＝0.02 的加性高斯噪聲與k＝20的椒鹽噪聲的混合噪聲、σ＝0.02 的加性高斯噪聲與n＝2 條帶噪聲的混合噪聲、σ＝0.02 的加性高斯噪聲同時與k＝20 的椒鹽噪聲和n＝2 條帶噪聲組成的混合噪聲，從而分別生成B1、B2和B3組成的B組測試集，并在B組測試集上進行混合噪聲情況下的降噪實驗。

3.2.1 定量結果

使用本文提出的模型和對比降噪模型在B組測試數據上進行降噪實驗，從而觀測各個方法對不同類型噪聲的魯棒性。 在PSNR指標和SSIM指標上各個方法的降噪結果見表3、表4。

表3 各方法在B 組測試數據的PSNR 平均值Tab. 3 Average PSNR of each method by using test data in group B

表4 各方法在B 組測試數據上的SSIM 平均值Tab. 4 Average SSIM of each method by using test data in group B

從表3、表4 可以觀察到，使用本文方法降噪后圖像的PSNR指標高于比較的其他3 種降噪方法。同時，較高的SSIM指數也證明了本文方法具有更強的恢復細節的能力，能將更精細的結構信息與復雜的噪聲區分開。 EDR-IRDn 在各個指標上都明顯優于WNNM、K-SND 和BM3D，究其原因就在于這些傳統方法針對的研究大多假設噪聲是高斯分布且噪聲強度相對較低，所以在高強度混合噪聲圖像上的降噪性能退化；另一方面，EDR-IRDn 基于數據驅動，從訓練集中自主學習數據分布特性，提取圖像不變特征，因此表現出更優異的降噪性能。

3.2.2 定性結果

分別使用本文模型與3 種對比方法在混合噪聲下的降噪結果如圖5 所示。 其中，圖5（a）從左至右依次為B1、B2和B3中的噪聲圖像，圖5（b）、圖5（c）、圖5（d）和圖5（e）分別為WNNM、K-SVD、BM3D 和本文型EDR-IRDn 在對應的混合噪聲測試圖像上的降噪結果。

由圖5 可見，在混合噪聲情況下，本文方法依然能夠較好地對各類噪聲進行抑制，即進行降噪。 對比方法WNNM 能對混合的椒鹽噪聲和高斯噪聲進行較好的處理，對于條帶噪聲無法完全去除，同時損失了過多細節，造成了過平滑；對于基于字典的KSVD 方法在混合噪聲情況下將難以對復雜的噪聲進行抑制；同樣BM3D 在混合噪聲情況下，也難以同時對多種噪聲進行抑制，并且產生了很多虛影。

4 結束語

本文提出一種基于自編解碼器實現紅外圖像降噪的方法，利用自編碼器圖像特征無監督學習的優點，解決紅外噪聲分布類型多樣、強度多變的問題。進一步地，在編碼層解碼層引入殘差連接解決細節缺失問題。 最終完成使用同一模型對紅外成像內部噪聲中普遍存在的條帶、椒鹽、加性高斯白噪聲進行抑制。 通過實驗證明了提出的模型對噪聲分布和噪聲強度具有較好的魯棒性。 未來還可以在數據集設計、噪聲模型和網絡結構上進行優化。 另外，作為紅外圖像降噪的一個重要預處理手段，可以考慮將其和后續任務結合進行研究。