改進時空濾波的紅外弱小目標檢測

樊香所，范錦龍，文良華，徐智勇

〈圖像處理與仿真〉

改進時空濾波的紅外弱小目標檢測

樊香所1,2，范錦龍3，文良華1，徐智勇4

（1. 宜賓學院智能制造學部，四川 宜賓 644600；2. 廣西科技大學，廣西土方機械協(xié)同創(chuàng)新中心，廣西 柳州 545006；3. 國家衛(wèi)星氣象中心，北京 100081；4. 中國科學院光電技術研究所，四川 成都 610209）

為了有效解決動態(tài)背景變化導致弱小目標檢測率低的問題，文中提出了改進時空濾波的紅外弱小目標檢測算法。首先在分析紅外圖像成像特性的基礎上，針對目標區(qū)、背景區(qū)和邊緣輪廓區(qū)不同梯度特性的差異，提出改進的各向異性空域濾波算法，該算法充分利用空間域的梯度信息來構建不同方向的擴散濾波函數(shù)，并結合圖像不同特性的梯度差異選取擴散函數(shù)值最小的兩個方向的均值作為時域濾波結果，以最大限度地保留目標信號；接著為有效增強弱小目標的能量，針對高階累積量僅利用像元點時域信息來構建能量增強的不足，提出了一種結合時空鄰域塊的能量增強算法，實驗表明，本文提出的算法能有效提升動態(tài)場景下的弱小目標的檢測能力。

弱小目標；改進各向異性；能量增強；目標檢測

0 引言

為了有效減少背景和動態(tài)噪聲對弱小目標檢測的影響，需要先期進行預處理工作，以增強弱小信號的提取能力。當前常用的預處理方式主要分為3種，背景建模法、圖像奇異點分析法和基于機器學習的估計法。背景建模法主要是采用背景估計算法來預測圖像的背景成分，緊接著將估計出的背景圖與原始圖像作差分運算，經過上述處理后獲取的差分圖像僅包含有目標和少量噪點，達到去除大部分背景干擾的目的。這類算法包括二維最小均方（Two Dimensional Least Mean Squre，TDLMS）[1-2]濾波，改進Top-Hat[3]和雙邊濾波[4]等。圖像奇異點分析法是當目標經過圖像時會對圖像原有的背景特性造成“灰度擾動”，通過尋找“灰度擾動”所形成的“奇異性”來實現(xiàn)圖像預處理，如嚴高師等人通過建立圖像鄰域區(qū)域的奇異性表征函數(shù)來計算目標與背景不同組分的奇異差異，實現(xiàn)目標與背景的分離[5]；連可等人通過計算鄰域局部灰度極大值來尋找圖像中奇異點，并將灰度極大值與預設閾值進行比較，達到檢測目標的目的[6]。上述的背景建模法和奇異點分析法對于平穩(wěn)變化或是靜止的背景，檢測效果較好，但對于動態(tài)變化的背景，由于目標受外場環(huán)境的干擾，導致虛警率較高，檢測效果不好。為提升動態(tài)場景下的目標檢測能力，研究學者借助于機器學習的估計法從場景中獲取數(shù)據(jù)對模型進行訓練，這類方法主要利用一些數(shù)學模型將目標檢測問題轉化為模式分類問題，主要包括主成分分析法[7]、混合高斯模型[8]、低秩表示法[9]、紅外圖像塊（Infrared patch image，IPI）模型[10]等。如Oliver等人提出的主成分分析法，先利用PCA來獲取訓練數(shù)據(jù)的特征向量，然后將測試數(shù)據(jù)投影到特性向量中獲取背景成分，實現(xiàn)最終目標的檢測，當場景隨著光照的變化引入較多動態(tài)成分時，檢測效果不佳；Bouwmans等人提出混合高斯模型，該算法需從場景數(shù)據(jù)中獲取訓練樣本來估計模型的參數(shù)，當受到噪聲干擾或光照變化快時，模型參數(shù)難以適應動態(tài)背景估計；低秩表示法和紅外圖像塊模型需要獲取場景數(shù)據(jù)進行參數(shù)訓練，當場景發(fā)生變化時，預先訓練的參數(shù)難以應對動態(tài)場景的變化，使得檢測結果中具有較多的噪點，加上遠距離成像，目標被各種噪聲雜波淹沒，圖像中目標的形狀和紋理特征并不明顯，難以形成有效的特征來支撐對模型的訓練，這增大了構建訓練模型的難度。

針對上述檢測方法存在的問題，文中提出了改進時空濾波的弱小目標檢測方法。首先考慮到各向異性濾波方法在面臨動態(tài)場景具有良好地檢測結果[11]，將其引入文中，并對其進行改進，文獻[12]僅利用空域范圍內的4個不同方向的梯度差來構建擴散函數(shù)，并求取4個方向的均值作為差分結果，這樣處理導致擴散函數(shù)難以區(qū)分邊緣輪廓區(qū)與目標的差異，導致差分圖中難以去除這部分邊緣輪廓區(qū)，文中深入分析圖像各個組分在空域4個方向的梯度差異，通過構建改進各向異性差分濾波來獲取差分濾波結果，這樣將極大程度地保留圖像中的目標信號；其次，經過上述差分濾波后，僅有效保留目標信號，為進一步增強目標信號，提出了一種結合時空鄰域塊的能量增強算法，該算法采用像元塊的鄰域信息來建立一種新的結合時空信息的能量評價模型，以彌補高階累積量僅利用單個像元點進行能量增強的不足，提升了弱小信號的檢測能力。

1 改進各向異性空間濾波

圖像一般由3部分構成，即背景+目標+非平穩(wěn)邊緣輪廓區(qū)（噪聲）。從圖1中分析發(fā)現(xiàn)，圖像中不同組分在不同方向的梯度差異較明顯，背景成分的中心塊與4個臨近方向的梯度差異較小，目標成分中4個方向的梯度較大，邊緣輪廓部分中處于平穩(wěn)區(qū)域到非平穩(wěn)區(qū)域的過渡地帶的方向梯度差異較大，其余方向梯度差異較小。因此可結合圖像不同組分的差異，對圖像進行差別化處理，可有效保留目標成分。

圖1 圖像中不同組分的梯度差異

為了獲取圖像中的目標信號，利用文獻[12]提出的各向異性擴散函數(shù)來進行濾波處理，具體公式如下：

式中：?為圖像中不同像元位置的梯度；為常數(shù)，一般取100；1(×)和2(×)為兩個不同的擴散函數(shù)。

文中通過結合擴散函數(shù)來構建目標在4個不同方向的梯度差，實現(xiàn)差分濾波，具體表達式如下：

其中，為輸入圖像；DU，DD，DL和DR是指以(,)為中心的上、下、左、右4個不同像元的梯度差；是像元移動的步長。根據(jù)4個不同方向的梯度差來建立各向異性濾波算法，具體如下：

式中：(,)表示像元點的坐標位置；￠(,)為濾波后的結果。

分析發(fā)現(xiàn)，文獻[12]的各向異性擴散函數(shù)僅采用單個像元的信息來構建4個方向的梯度差異，將導致空域范圍內的信息利用不夠充分，難以區(qū)別目標點和噪聲點；同時僅簡單地利用4個不同方向的均值作為濾波后的結果，當圖像位于非平穩(wěn)邊緣輪廓區(qū)域時，4個不同方向中至少有兩個方向的擴散系數(shù)較大，如僅簡單地計算4個方向的均值，致使位于目標區(qū)域中的像元和非平穩(wěn)輪廓區(qū)域中的像元擴散結果值差別不明顯，差分濾波后將難以去除非平穩(wěn)邊緣輪廓區(qū)，導致差分圖中留存有大片的邊緣噪點，對后續(xù)分割提取目標點造成很大的干擾。為了減少虛假噪點對弱小目標檢測的影響，本文針對文獻[12]的各向異性濾波算法的不足，提出了相應的改進思路：首先采用空域范圍內的梯度塊來構建4個方向的梯度差，進而依據(jù)圖像各個組分的梯度差異來建立4個方向的擴散函數(shù)，并通過構建4個方向的最小優(yōu)化函數(shù)來優(yōu)選擴散函數(shù)值最小的兩個方向作均值處理后，獲取最終的濾波結果，上述處理將很好地去除圖像的背景和非平穩(wěn)邊緣輪廓區(qū)，極大限度地保留目標成分。目標在4個不同方向的梯度差，如下式：

式中：DU，DD，DL和DR是指以中心塊為中心的上、下、左和右4個方向圖像塊的梯度差；×為空域的范圍大小；和為空域×的坐標位置；fix()為鄰近取整函數(shù)。

根據(jù)上述分析，改進各向異性差分濾波表達式如下：

式中：min1和min2分別是4個方向中擴散函數(shù)值最小的兩個參數(shù)，采用這兩個參數(shù)的均值對圖像進行差分濾波，可有效去除圖像的背景區(qū)和邊緣輪廓區(qū)。

2 結合時空鄰域塊的能量增強算法

文獻[13]指出，序列圖像經過差分濾波后，從時間域上來分析經過差分處理后獲取的序列差分圖可看作是零均值的高斯過程，這樣可借助于高階累積量理論將差分圖中檢測弱小信號的問題變?yōu)閺母咚乖肼曋蟹纸獬龇歉咚剐盘柍煞郑詫崿F(xiàn)目標信號與噪聲的分離[1]。因此，可借助于高階累積量來實現(xiàn)弱信號的檢測。文中依據(jù)高階累積量理論對差分圖構建相應的目標與噪聲二元假設函數(shù)，具體如下:

式中：￠(,,)為第幀差分濾波后獲取的圖像；(,,)是高斯噪聲，其中(,,)與(,,)相互獨立。具體的3階累積量表達式如下：

由于(,,)為高斯噪聲，依據(jù)高階累積量理論，零均值的高階累積量（3階以上）恒為零，固有3N(1,2)等于0，因此可對上式進行簡化，具體如下：

在實際應用中，為有效實現(xiàn)目標的檢測，定義了3階累積量的判斷準則，具體公式為：

式中：為累加的幀數(shù)；3F()為第幀三階累積后的能量大小；為閾值。

文獻[13]的高階累積量僅利用像元點(,)在時間域上的信息來構建判斷準則，由于只依靠了像元的時域信息，這將極大地削弱弱小信號的增強效果，因此文中構建了結合時空鄰域塊的增強能量模型，具體表達式如下：

式中：￠()為融合空域信息后獲取的第幀能量圖像；￠3F()為第幀結合時空鄰域塊信息的能量大小。

3 結果與分析

在結果分析中，為了對比不同算法的差分濾波效果，文中采用目標平均灰度值（average grayscale value，AGV）與局部信噪比（local signal noise ratio，LSNR）[1]來對差分濾波效果進行評價，各個指標如式(11)：

式中：(o, o)是中心像元所在的坐標位置；(o, o)為目標塊組成的坐標集合，其像元總個數(shù)為；(,)為像元(,)的灰度值；T為目標區(qū)域的均值；B為背景區(qū)域的均值；B為背景區(qū)域的標準差。

3.1 濾波參數(shù)分析

對改進各項異性差分濾波結果有關聯(lián)的指標為梯度步長，文中取擴散函數(shù)中的常數(shù)＝100，取公式(4)步長＝(1, 5, 10, 15)時，分別獲取對應的差分圖像，并利用公式(11)的LSNR來計算差分圖像中目標的局部信噪比，由此畫出了梯度步長與局部信噪比LSNR間的走勢圖，如圖2所示。依據(jù)圖2可知隨著梯度步長的增大，LSNR隨之變大，當＝5時，LSNR達到2.35，之后LSNR開始下降，從中可知兩個圖像塊的梯度跟著梯度步長的增大而越大，使得改進后的擴散系數(shù)值越大，越有利于保留目標信號，但隨著梯度步長的增大，到達一定限度后，圖像塊由目標區(qū)跨入邊緣輪廓區(qū)，此時目標區(qū)和邊緣輪廓區(qū)的梯度差異不大，擴散函數(shù)值較小，難以去除邊緣輪廓噪聲，導致差分圖中噪聲較多，目標局部信噪比較低。通過上述分析，實驗中取＝5。

圖2 步長k與LSNR間的關系

3.2 濾波結果分析

文中選用3個場景的序列圖像進行實驗，其中場景1為目標點在動態(tài)變化的背景中運動，目標點由中部斜向上運行，再拐彎往下運動；場景2中為目標從右下角向左上角作直線運動；場景3為兩個目標點分別作斜對角直線運動。具體的場景信息如表1所示。接著將本文提出的改進各項異性差分濾波算法與文獻[3]的改進Top-hat、文獻[9]的LRR模型、文獻[10]的IPI分解法和文獻[12]的各向異性濾波進行比較，具體的結果見表2。

表1 序列圖像信息

從表2的兩個指標可以看出，對于不同場景的圖像，本文提出的差分濾波算法比其他的算法在保留目標信號AGV和LSNR方面較高。分析發(fā)現(xiàn)，AF（Anisotropic Filtering）算法由于僅是簡單地求取4個方向的擴散函數(shù)作為差分濾波，難以區(qū)分目標與邊緣輪廓的差異，導致差分圖含有較多的邊緣輪廓區(qū)，AGV和LSNR相較其他算法低；ITH（Improved Top Hat）算法利用不同尺度的結構元素，能很好地消除大部分背景對提取目標信號的影響，但其對于動態(tài)變化的背景，由于其結構元易受動態(tài)背景的干擾，導致差分圖中含有較多的噪點；當背景中含有較多的邊緣輪廓區(qū)時，這些強邊緣輪廓區(qū)會破壞整個背景圖像數(shù)據(jù)的低秩特性，其同樣滿足“稀疏”特征，導致LRR（Low Rank Representation）易將這些區(qū)域誤判為虛警目標，降低目標的局部信噪比；IPI算法采用分塊的思想劃分圖像，其目的是進一步約束圖像塊的低秩特性，但當圖像塊處于邊緣輪廓區(qū)域時，圖像塊非零的奇異值個數(shù)較多，難以滿足低秩特征，因此獲取的差分圖虛警率較高；本文提出的算法能有效抑制背景和邊緣輪廓區(qū)，差分圖中有效地保留了目標信號。

表2 不同算法獲取的背景建模結果

3.3 增強結果分析

為了分析本文提出算法的增強結果，分別采用高階累積量（Higher order cumulant，HOC）增強方法與本文提出的增強方法來對差分圖像進行增強處理，并分別計算兩種算法獲取的AGV和LSNR，如表3所示。本文提出的算法充分利用了像元的時間域和空間域的信息來增強目標信號，比高階累積量獲得更好的目標增強結果，AGV和LSNR分別達到225和12.67dB。

3.4 檢測結果分析

文中先采用改進的各項異性來獲取差分圖像，接著利用結合時空鄰域塊的增強能量模型對差分圖像進行增強處理，最后采用雙窗分割算法提取目標信號。為了本文算法的檢測效果，選用3個處于動態(tài)變化的真實場景進行實驗，并將本文算法與ITH、LRR、IPI和AF算法進行比較，3個場景不同算法的檢測結果如圖3、圖4和圖5所示。

表3 兩種算法的增強結果

圖3 場景1不同算法的檢測結果

圖4 場景2不同算法的檢測結果

從3個場景看出，ITH算法易受結構元的影響，當選取結構元小于孤立噪點的尺寸時，導致差分圖中含有較多的噪點，見圖3(b)、4(b)和5(b)；LRR算法易受動態(tài)非平穩(wěn)背景的影響，這些非平穩(wěn)背景由于是動態(tài)變化的，LRR易將這些區(qū)域誤判為虛警目標，見圖3(c)、4(c)和5(c)；IPI算法將圖像劃分為不同的塊，這樣圖像子塊在其鄰域范圍內具有較強的相關性，有效地保留圖像子塊的低秩特性，但當圖像塊處于邊緣輪廓區(qū)域時，圖像子塊的相關度降低，因此差分圖難以去除邊緣輪廓區(qū)的噪聲，見圖3(d)、4(d)和5(d)；各向異性濾波由于僅是簡單地求取4個方向的擴散函數(shù)的均值作為差分結果，導致差分結果圖中難以區(qū)分邊緣輪廓區(qū)和目標區(qū)域的差異，檢測結果中留有較多的噪聲，見圖3(e)、4(e)和5(e)；本文算法先采用改進的各向異性濾波去除大部分非平穩(wěn)背景的干擾，緊接著采用結合時空鄰域塊的能量增強算法來增強目標信號，結果圖中僅含有少量的噪聲，見圖3(f)、4(f)和5(f)。

為進一步分析這些算法的性能，繪制了3個場景的ROC曲線，其中橫軸為檢測率d，縱軸為虛警率f。3個場景的ROC曲線如圖6所示。

圖5 場景3不同算法的檢測結果

圖6 3個場景ROC曲線

從圖6三個場景的ROC曲線可看出，本文算法獲取的檢測率最好，其次是IPI和LRR，AF算法最低。分析發(fā)現(xiàn)，本文算法先利用改進的各項異性差分濾波算法來構建4個方向梯度塊的擴散函數(shù)，依據(jù)擴散函數(shù)在4個方向梯度塊的差異對圖像進行差異化處理，通過構建4個方向的最小優(yōu)化函數(shù)來優(yōu)選擴散函數(shù)值最小的兩個方向作均值處理后，獲取最終的濾波結果，接著采用提出能量增強算法來充分利用像元塊的時空域信息來構建能量的判別模型，去除圖像噪聲的同時有效檢測目標信號，如在虛警率f＝0.032時，本文算法獲取的檢測率d大于90%，而其他算法均小于88%，見圖6(a)和6(b)；而對于動態(tài)且具有較多非平穩(wěn)邊緣輪廓的場景，由于邊緣輪廓區(qū)會導致圖像各個組分間的相關度降低，破壞了整個背景圖像低秩特性，導致LRR算法檢測率降低；IPI雖采用分塊的思想，進一步約束鄰域塊的低秩特性，但當圖像塊處于邊緣輪廓區(qū)域時，圖像塊非零的奇異值個數(shù)較多，獲取的差分圖虛警率較高；傳統(tǒng)的ITH和AF也同樣易受孤立噪點和邊緣輪廓區(qū)的影響，這兩類算法對于動態(tài)場景中，相比于其他算法，檢測率較低，如在P＝0.04時，它們的檢測率d都小于80%，而其他算法的檢測率d都大于80%，見圖6(c)。

4 總結

文中在深入分析圖像各個組分在4個方向的梯度差異基礎上，構建了利用4個方向梯度塊的擴散濾波函數(shù)，同時通過構建4個方向的最小優(yōu)化函數(shù)來優(yōu)選擴散函數(shù)值最小的兩個方向作均值處理后，作為最終的濾波結果，這樣將極大程度地保留圖像中的目標信號；進而為進一步增強目標信號，提出了一種結合時空鄰域塊的能量增強算法，該算法采用像元塊的鄰域信息來建立一種新的結合時空信息的能量判別模型，有效增強了弱小信號的能量。通過3個動態(tài)場景的實驗表明，本文算法很好地剔除了大部分噪點干擾的同時有效保留了目標信號。

[1] 樊香所. 序列圖像弱小目標檢測與跟蹤算法研究[D]. 成都: 電子科技大學, 2019.

FAN Xiangsuo. Dim and Small Targets Detection and Tracking Algorithms in Sequence Image[D]. Chengdu: University of Electronic Science and Technology of China, 2019.

[2] Bae T W, Kim Y C, Ahn S H, et al. An efficient two dimensional least mean square based on block statistics for small target detection[J]., 2009, 30(10): 1092-1101.

[3] BAI X Z, ZHOU F G, JIN T. Enhancement of dim small target through modified top-hat transformation under the condition of heavy clutter[J]., 2010, 90(1): 1643-1654.

[4] 秦翰林, 周慧鑫, 劉上乾, 等. 基于雙邊濾波的弱小目標背景抑制[J]. 強激光與粒子束, 2009, 21(1): 25-28.

QIN H, ZHOU H, LIU S, et al. Dim and small target background suppression using bilateral filtering[J]. High, 2009, 21(1): 25-28.

[5] 嚴高師, 畢務忠. 基于區(qū)域奇異性濾波的小目標檢測[J]. 光學技術, 2006, 33(2): 163-165, 169.

YAN G S, BI W Z. Detection algorithm of small target based on regional singularity filter[J]., 2006, 33(2): 163-165, 169.

[6] 連可, 王厚軍, 李丹. 基于紅外目標局部灰度特性分析的管道濾波方法[J]. 彈箭與制導學報, 2011, 31(4): 200-206.

LIAN K, WANG H J, LI D. Pipeline filtering method based on feature analysis of local grey level of small infrared target[J]., 2011, 31(4): 200-203, 206.

[7] Oliver N M, Rosario B, Pentland A P. A Bayesian computer vision system for modeling human interactions[J]., 2000, 22(8): 831-843.

[8] Bouwmans T, Baf F E, Vachon B. Background modeling using mixture of Gaussians for foreground detection - a survey [J]., 2008, 1(3): 219-237.

[9] 何玉杰, 李敏, 張金利, 等. 基于低秩三分解的紅外圖像雜波抑制[J]. 光學與精密工程, 2015, 23(7): 2069-2078.

HE Y J, LI M, ZHANG J L, et al. Clutter suppression of infrared image based on three-component low rank matrix decomposition[J]., 2015, 23(7): 2069-2078

[10] GUO J, WU Y, DAI Y. Small target detection based on reweighted infrared patch-image model[J]., 2018, 12(1): 70-79.

[11] 陸福星, 李夜金, 陳忻, 等. 基于Top-Hat變換的PM模型弱小目標檢測[J]. 系統(tǒng)工程與電子技術, 2018, 40(7): 1417-1422.

LU F X, LI Y J, CHEN X, et al. Weak target detection for PM model based on Top-hat transform[J]., 2018, 40(7): 1417-1422.

[12] 周慧鑫, 趙營, 秦翰林, 等. 多尺度各向異性擴散方程的紅外弱小目標檢測算法[J].光子學報, 2015, 44(9): 146-150.

ZHOU H X, ZHAO Y, QIN H L, et al. Infrared dim and small target detection algorithm based on multi-scale anisotropic diffusion equation[J]., 2015, 44(9): 146-150.

[13] 唐意東, 黃樹彩, 鐘宇, 等. 基于形態(tài)學和高階統(tǒng)計量的弱小運動目標檢測[J].現(xiàn)代防御技術, 2016, 44(2): 151-156.

TANG Y D, HUANG S C, ZHONG Y, et al. Moving dim target detection based on morphology and high-order statistics in infrared image[J]., 2016, 44(2): 151-156.

Infrared Dim-Small Target Detection Based on Improved Spatio-Temporal Filtering

FAN Xiangsuo1,2，F(xiàn)AN Jinlong3，WEN Lianghua2，XU Zhiyong4

(1.,,644600,; 2.,,545006,; 3.,100081,; 4.,,610209,)

To effectively solve the problem of low detection rates of dim and small targets caused by dynamic background changes, a detection method based on spatio-temporal filtering is proposed in this paper. Based on an analysis of the imaging characteristics of infrared images, an improved anisotropic spatial filtering algorithm is proposed to evaluate the difference in various gradient characteristics of the target area, background area, and edge contour area. The algorithm fully utilizes the gradient information in the spatial domain to construct the diffusion filter function in different directions. According to the gradient difference in various characteristics of the image, the mean value of the two directions with the smallest value of the diffusion function is selected as the result of spatial filtering to retain the target signal to the maximum extent. To effectively enhance the energy of dim and small targets and address the shortcomings of high-order cumulants that only use the temporal domain information of pixel points for energy enhancement, an energy enhancement algorithm based on spatial-temporal neighborhood blocks is proposed. Experimental results reveal that the proposed algorithm can effectively enhance the detection of dim and small targets in dynamically changing scenes.

dim and small target, improve anisotropic filtering, energy enhancement, targets detection

TP751

A

1001-8891(2022)05-0475-08

2021-01-11；

2021-06-28.

樊香所（1987-），男，博士，研究方向為計算機視覺與圖像處理，E-mail: 100002085@gxust.edu.cn。

范錦龍（1975-），男，副研究員，主要從事遙感圖像處理，E-mail: fanjl@ cma.gov.cn。

國家自然科學基金項目（62001129）；廣西自然科學基金（2021GXNSFBA075029）；國家自然科學基金項目（61975171）。