基于結構張量篩選和局部對比度分析的空中紅外小目標檢測算法

何邦盛，王忠華

基于結構張量篩選和局部對比度分析的空中紅外小目標檢測算法

何邦盛，王忠華

（南昌航空大學 信息工程學院，江西 南昌 330063）

針對復雜云層背景下紅外小目標檢測的虛警現象和實時性要求，提出一種基于結構張量篩選和局部對比度分析的新算法。結合目標區域結構張量最大特征值大于其他背景區域結構張量最大特征值的特點，濾除大部分非目標區域，保留少量可疑區域，再對可疑區域進行局部對比度計算，能夠增強目標、抑制殘留背景，并有效減少計算量。算法步驟如下：首先，在滑動窗口捕獲的局部圖像區域內構建結構張量矩陣，將最大特征值大于特定閾值的區域標記為可疑區域；然后，對可疑區域進行比差聯合型局部對比度計算，生成顯著度圖；最后，利用自適應閾值分割實現小目標的分離。實驗結果表明：該算法在復雜云層背景下具有更高的檢測率、更低的虛警率以及更少的運行時間。

紅外小目標檢測；可疑區域篩選；結構張量；局部對比度

0 引言

隨著紅外成像設備性能的提高，紅外檢測系統被廣泛應用于防空探測、精確制導、紅外預警和防災搜救等領域[1]。紅外檢測系統具有抗干擾能力強、隱蔽性高、全天候工作等優點[2]。然而，由于成像距離遠，目標在紅外圖像中只占據少量像素，強度弱，且沒有明顯的結構和紋理信息[3]。另一方面，紅外圖像的背景很復雜，包括高強度的云層、云層邊緣和強雜波等。紅外小目標的對比度較弱，很容易被這些復雜的背景淹沒，在檢測時造成較高的虛警率[4]。因此，在復雜云層背景干擾下精確地識別小目標仍是一個具有挑戰性的課題[5]。

紅外小目標檢測算法主要包括兩類：單幀檢測算法和多幀檢測算法[6]。多幀檢測算法需要聯合多幀圖像信息來檢測目標，結構復雜、計算量大、運行時間長；而單幀算法只利用單幀圖像信息檢測目標，計算量小，運行速度快[7]。因而，單幀算法被廣泛應用，本文算法也屬于單幀檢測算法。傳統的單幀紅外小目標檢測算法大多是通過濾波方法來實現目標檢測的，如自適應頻域濾波[8]、形態學Top_hat濾波[9]、最大均值和最大中值濾波[10]等。這些方法的原理簡單、檢測速度相對較快，但用于檢測復雜背景中的小目標時，容易產生較高的虛警率。

近年來，人類視覺系統的局部對比度特性引起了研究者的關注。基于局部對比度的紅外小目標檢測算法主要分為兩類；多尺度局部對比度算法和單尺度局部對比度算法。多尺度局部對比度算法有Local Contrast Method （LCM）[11]、Multi-scale Local Contrast and Multi-scale Gradient Coherence Method （MLCMGCM）[12]、Multiscale Patch-based Contrast Measure （MPCM）[13]、Local Segment Contrast Measure （LSCM）[14]等等。LCM利用中心子塊最大灰度值和邊緣子塊灰度均值的比值能夠有效地增強目標。MLCMGCM在計算局部對比度的同時引入區域梯度一致性來進一步抑制背景。MPCM利用兩個相對方向上中心子塊與邊緣子塊的灰度均值差作積，以抑制背景邊緣。LSCM提出了一種局部分段對比度測量方法，使圖像處理后更加均勻，可識別亮目標和暗目標。但這些多尺度算法都需要在多個窗口尺寸下重復計算整張圖像的局部對比度，取不同尺度下最大的局部對比度構成顯著度圖。雖然多尺度計算能在一定程度上提高算法的檢測率，但也會增大算法的計算量，使算法的運行時間變長，難以滿足實時性的要求。單尺度局部對比度算法包括Improved Local Contrast Method （ILCM）[15]、Tri-layer Window Local Contrast Method （TLWLCM）[16]、Homogeneity-weighted Local Contrast Measure （HWLCM）[17]、Weighted Three-layer Window Local Contrast Measure （WTLWLCM）[18]、Human Visual Contrast Mechanism Measure （HVCM）[19]等。ILCM在計算局部對比度之后引入了差分運算來抑制各種背景。TLWLCM將移動窗口劃分為三層，利用中間層隔離小目標和背景。HWLCM使用邊緣子塊灰度值方差的均值來抑制背景。WTLWLCM將窗口分為三層計算局部對比度，而后再引入區域強度水平加權以進一步抑制背景。HVCM先對原圖進行二維最小均方濾波處理，再通過鄰域顯著性特征來增強目標和抑制背景。這些單尺度算法僅在單一窗口尺寸下計算局部對比度，相對于多尺度算法更加簡便，運行時間也更短，但仍需遍歷全圖。

在紅外圖像中，大部分區域都是連續背景、背景邊緣等明顯不同于小目標的圖像區域，如果能夠在計算局部對比度之前先排除大部分的非小目標區域，就能進一步提高算法的運行效率。針對這個問題，本文提出了基于結構張量篩選和局部對比度分析的紅外小目標檢測算法。該算法通過結構張量對原始圖像進行處理，先排除大部分非小目標區域，而后再對篩選出的可疑區域進行局部對比度計算，能夠有效地減少計算量，提高運行效率。

1 基于結構張量篩選和局部對比度分析的紅外小目標檢測算法

本文提出的算法主要包括3個步驟：可疑區域篩選、顯著度圖生成和自適應閾值分割。具體的流程如圖1所示，其中目標用紅色矩形標出，背景及噪聲用藍色矩形標出。

圖1 本文算法的流程框圖

1.1 可疑區域篩選

本文利用結構張量對原始紅外圖像進行可疑區域篩選，以減少局部對比度的計算量。為了更好地描述目標所在局部區域內的梯度特征，本文將融合局部對比度的思想來構建結構張量矩陣。設計一個滑動窗口遍歷圖像，窗口平均劃分為9個子塊，中心子塊用于捕捉目標，而邊緣子塊用于捕捉背景，子塊的劃分如圖2所示。由于遠距離空中紅外小目標尺寸較小，不超過3×3，故而滑動窗口的大小設置為9×9，每個子塊的大小為3×3。

圖2 子塊劃分

對于每一個子塊，計算前個最大灰度值的均值作為其響應值，計算方法如式(1)和(2)所示：

式中：0和M(i＝1,2,…, 8)分別是中心子塊和8個邊緣子塊的響應值；0是中心子塊的前個最大灰度值；G是邊緣子塊的前個最大灰度值。

將邊緣的8個子塊劃分到4個不同的方向上，水平方向為方向，垂直方向為方向，兩個對角方向為方向和方向，具體如圖3所示。

由圖3可知，每個方向上有兩個邊緣子塊。用中心子塊的響應值與兩個邊緣子塊的響應值分別做差，將其中較小的差值定義為該方向上的梯度值，計算出4個方向上的梯度值后，即可獲得結構張量矩陣。各方向的梯度和結構張量的計算如式(3)～(7)所示：

G＝min(0－4,0－5) (3)

G＝min(0－2,0－7) (4)

G＝min(0－3,0－6) (5)

G＝min(0－1,0－8) (6)

式中：GXX、GYY、GXY、GYX分別為XX、YY、XY、YX方向上的梯度值；ST是計算出的結構張量矩陣。

真實目標的亮度大于周圍的背景，因此在各個方向上的梯度都較大。背景邊緣周圍的梯度在沿著邊緣的方向較小，在垂直于邊緣的方向較大。平坦的背景處的灰度值分布較為均勻，各個方向上的梯度都較小。孤立強噪聲處的梯度分布與目標類似，計算子塊內前個最大灰度值的均值可以抑制其強度，使各個方向計算出的梯度值都較小。孤立強噪聲通常是以單個像素的形式出現，因此本文中取值為2，在抑制孤立強噪聲的同時計算量也最小。

結構張量矩陣的特征值可以反映不同圖像區域的梯度分布特點，因此對矩陣ST進行特征值分解，將獲得的兩個特征值分別記為1和2。不同區域的結構張量矩陣及其特征值如表1所示，紅色矩形標記的區域為結構張量的計算區域。

表1 不同圖像區域的ST，l1和l2

分析表1數據，目標區域計算出的最大特征值大于背景邊緣、平坦背景和孤立強噪聲區域計算出的最大特征值，所以最大特征值越大的圖像區域越有可能是真正的目標區域。因此，將滑動窗口遍歷圖像時各個區域計算得出的最大特征值記錄下來，獲得一個由特征值構成的矩陣，記為篩選矩陣。而后，設置一個篩選閾值，將篩選矩陣中元素值大于篩選閾值的點所對應的原圖區域標記為可疑區域，保留下來，而小于篩選閾值的點對應的原圖區域則將灰度值置0，遍歷全圖后即可獲得篩選結果圖。后續再通過局部對比度計算來增強真正的目標、抑制殘留背景。篩選閾值的定義和篩選計算如下式(8)和(9)所示：

Th1＝1×MAX (8)

式中：Th1是篩選閾值；MAX是篩選矩陣中的最大元素值；1是一個篩選調節系數，一般取值范圍為0.7～0.8；(,)、(1,1)、(,)分別為篩選結果圖、原圖和篩選矩陣的元素值；(,)是當前計算點的坐標；(1,1)是原圖中對應(,)的坐標點。應當注意，篩選結果圖和篩選矩陣的大小相同，但要小于原圖。

圖4展示了原圖經過可疑區域篩選后的結果，圖4(a)為原圖，圖4(b)為篩選結果圖，其中紅色矩形標記的是目標，藍色矩形標記的是背景及噪聲。從圖4可以看出，經過篩選操作后，大部分非目標區域都已經被排除，只剩下少量的可疑區域。

圖4 原圖經過可疑區域篩選后的結果

1.2 顯著度圖生成

篩選結果圖中的可疑區域包括目標和殘留的背景，需要通過局部對比度計算來增強目標、抑制背景，從而識別出真正的目標。找到可疑區域內像素點在原圖中的對應坐標點，以該坐標點為中心，在原圖中截取大小為9×9的圖像區域計算局部對比度，非可疑區域內像素點的局部對比度則默認為0。局部對比度的計算和顯著度的定義如下式(10)和(11)所示：

SM(,)＝max(C(,), 0) (11)

式中：(,)是當前計算點的坐標；0和D的計算參照公式(1)和(2)；(,)是當前計算點的灰度值；C(,)是計算出的局部對比度；SM(,)是顯著度值。

相較于比值型和差值型局部對比度，本文使用的比差聯合型局部對比度能夠更好地增強目標、抑制背景。圖5展示了局部對比度計算后的效果，圖5(a)是篩選結果圖，圖5(b)是顯著度圖，其中紅色矩形標記的是目標，藍色矩形標記的是背景及噪聲。顯然，經過局部對比度計算后，篩選結果圖中真正的小目標被增強了，而背景及噪聲則被抑制了。

圖5 局部對比度計算后的效果

1.3 自適應閾值分割

對顯著度圖進行自適應閾值分割，提取小目標，分割閾值的定義如下式(12)所示：

式中：Th2是分割閾值；Max和Min分別是顯著度圖SM中元素的最大值和最小值；2是一個可調整的系數，取值范圍一般為1～3。顯著度圖中大于閾值的點認為是目標，其他的則認為是背景。

2 實驗結果分析

為了檢驗本文算法的性能，將本文算法與LCM、ILCM、TLWLCM、HWLCM等算法進行對比實驗。對比實驗中使用了3個真實的紅外圖像序列進行測試，每個紅外圖像序列的詳細特征如表2所示。所有的實驗程序均在一臺配置為英特爾酷睿i7-6700HQ處理器、8G內存的筆記本電腦上運行，使用的編程軟件為MATLAB R2016a。

表2 不同圖像序列的詳細特征

2.1 背景抑制性能對比

為了對比各算法的背景抑制性能，本文從3個真實的紅外圖像序列中隨機挑選出一幀圖像進行實驗。圖6展示了3個不同場景的紅外圖像在算法處理前后得到的顯著度圖，目標用紅色矩形標出，每個子圖的右下角為放大后的目標區域。圖6(a1)～(a3)分別是圖像序列1～3的原始紅外圖像。圖6顯示，LCM算法和ILCM算法的顯著度圖中，還留有大量的連續背景。TLWLCM算法和HWLCM算法對應前兩個場景的顯著度圖中殘留有許多孤立的背景。而本文算法在3個場景下的表現均優于上述4種對比算法，顯著度圖中均沒有背景殘留。

圖7展示了3個不同場景紅外圖像在算法處理前后得到的三維響應圖，其中目標用紅色矩形標出。LCM算法是比值型局部對比度算法，能在一定程度上增強顯著的目標，但無法削弱復雜的背景，一旦高亮背景或背景邊緣獲得的增益大于真實目標，就容易造成虛警，如圖7(b1)所示。ILCM算法對于高亮背景和背景邊緣的抑制效果較差，算法處理后的圖像中高亮背景和背景邊緣的強度仍較大，如圖7(c1)和(c2)所示。TLWLCM算法能較好地抑制背景，但對于低對比度目標的增強效果較差，無法突顯目標，如圖7(d1)所示。HWLCM算法對高亮噪聲和背景邊緣較為敏感，容易造成虛警，如圖7(e1)所示。本文方法結合小目標各個方向上的梯度均較大的特點，通過結構張量能夠篩選出包括目標在內的少量可疑區域，濾除大量連續背景和背景邊緣，然后再通過局部對比度增強真正的小目標、抑制殘留背景噪聲，在3個場景中都能準確地增強目標并抑制背景，如圖7(f1)～(f3)所示。

圖6 不同算法處理后的顯著度圖

(a1)Original(b1)LCM(c1)ILCM(d1)TLWLCM(e1)HWLCM(f1)Proposed (a2)Original(b2)LCM(c2)ILCM(d2)TLWLCM(e2)HWLCM(f2)Proposed (a3)Original(b3)LCM(c3)ILCM(d3)TLWLCM(e3)HWLCM(f3)Proposed

為了定量分析各算法的目標增強和背景抑制性能，本文引入了信雜比增益（Signal-to-Clutter Ratio Gain, SCRG）和背景抑制因子（Background Suppression Factor, BSF）。二者的定義如下式(13)～(15)所示：

BSF＝in/out(15)

式中：SCRout是結果圖像的信雜比；SCRin是原始圖像的信雜比；SCR表示信雜比；t表示目標區域的最大值；b和b分別表示目標區域周圍一定尺度內背景區域像素的均值與標準差。in和out分別是算法處理前后圖像背景區域的灰度標準差。

SCRG越大，算法的目標增強性能越好；BSF越大，算法的背景抑制能力越強。各算法在3個場景下的SCRG和BSF如表3和表4所示。本文算法通過梯度結構張量和局部對比度，能夠準確地增強目標、抑制背景，在3個真實場景下獲得的響應圖中，背景區域的強度相對于目標均較小。根據公式(13)～(15)，本文算法的SCRG和BSF均大于其他4種對比算法。因此，本文算法的目標增強和背景抑制性能要強于其他對比算法。

2.2 目標檢測性能對比

本文引入了受試者工作特征（Receiver Operating Characteristic, ROC）曲線來評估各算法的目標檢測性能。ROC曲線能反映檢測率（True Positive Rate, TPR）和虛警率（False Positive Rate, FPR）之間的動態變化關系，相較于簡單的數值指標，ROC曲線能更好地反映算法的目標檢測性能。檢測率和虛警率的定義如下式(16)和(17)所示：

算法的檢測率越高，虛警率越低，目標檢測性能就越好。在曲線圖中則表現為：算法的ROC曲線越靠近左上方區域，算法的性能越好。

圖8展示了各算法在3個真實紅外圖像序列檢測中獲得的ROC曲線，其中(a)～(c)分別為圖像序列1～3的ROC曲線。在圖像序列2和3中，目標較明亮且對比度更高，各算法的檢測效果相差不大；在圖像序列1中，目標較暗且對比度低，但本文算法通過小目標的梯度特征能更準確地識別出真正的小目標，取得更高的檢測率。

表3 不同場景下各算法的SCRG

表4 不同場景下各算法的BSF

由于不同方法所使用圖像的分辨率各不相同，為了更客觀地對比各算法的運行效率，本文計算出了各算法處理單幀圖像中單個像素所需要的時間，記為，其計算方式如式(18)。

計算結果如表5所示。對比算法中，LCM算法是多尺度算法，其運行時間最長；而ILCM算法、TLWLCM算法、HWLCM算法都是單尺度算法，它們的運行時間比LCM算法短，其中ILCM算法的運行時間最短。本文算法通過結構張量能夠濾除大量的非目標區域，減少計算量，所以運行速度最快，比ILCM算法提升了2倍左右。

表5 不同算法處理單幀圖像中單個像素所需要的時間

3 結論

本文提出了一種基于結構張量篩選和局部對比度分析的空中紅外小目標檢測算法。算法融合局部對比度的思想來構建結構張量矩陣，通過結構張量可以篩選出少量的可疑區域，濾除大部分高亮噪聲和背景邊緣，以減少虛警的產生。而后對可疑區域進行比差聯合型局部對比度計算，以增強目標、抑制殘留背景，由于在之前的篩選過程中已經排除了大量的非目標區域，使得局部對比度的計算量大大減少，極大地提高了算法的運行效率。對比實驗的結果表明，本文算法在各種復雜云層背景下都能夠準確地增強小目標、抑制復雜背景，達到更高的檢測率、更低的虛警率，以及更少的運行時間。

[1] 姚朝霞, 謝濤. 基于局部對比度測量的紅外弱小目標恒虛警檢測[J]. 紅外技術, 2017, 39(10): 940-945. YAO Zhaoxia, XIE Tao. Robust small dim object CFA detection algorithm based on local contrast measure in aerial complex background[J]., 2017, 39(10): 940-945.

[2] 趙高鵬, 李磊, 王建宇. 基于結構張量分析的弱小目標單幀檢測[J]. 光子學報, 2019, 48(1): 141-151. ZHAO Gaopeng, LI Lei, WANG Jianyu. Dim small target single-frame detection based on structure tensor analysis[J]., 2019, 48(1): 141-151.

[3] 沈旭, 程小輝, 王新政. 結合視覺注意力機制基于尺度自適應局部對比度增強的紅外弱小目標檢測算法[J]. 紅外技術, 2019, 41(8): 764-771. SHEN Xu, CHENG Xiaohui, WANG Xinzheng. Infrared dim-small object detection algorithm based on adaptive scale local contrast enhancement combined with visual attention mechanism[J]., 2019, 41(8): 764-771.

[4] 危水根, 王程偉, 張聰炫, 等. 多信息融合的紅外弱小目標檢測[J].紅外技術, 2019, 41(9): 857-865. WEI Shuigen, WANG Chengwei, ZHANG Congxuan, et al. Infrared dim target detection based on multi-information fusion[J]., 2019, 41(9): 857-865.

[5] 潘勝達, 張素, 趙明, 等. 基于雙層局部對比度的紅外弱小目標檢測方法[J]. 光子學報, 2020, 49(1): 184-192. PAN Shengda, ZHANG Su, ZHAO Ming, et al. Infrared small target detection based on double-layer local contrast measure[J]., 2020, 49(1): 184-192.

[6] KOU Tian, LI Zhangwu, WANG Haiyan, et al. Infrared point target detection based on multiscale homogeneous feature fusion[J]., 2019, 102: 103040.

[7] 韓金輝, 董興浩, 蔣亞偉, 等. 基于局部對比度機制的紅外弱小目標檢測算法[J]. 紅外技術, 2021, 43(4): 357-366. HAN Jinhui, DONG Xinghao, JIANG Yawei, et al. Infrared small dim target detection based on local contrast mechanism[J]., 2021, 43(4): 357-366.

[8] 張華良, 謝永杰, 張頌, 等. 基于自適應頻域濾波的紅外弱小目標檢測技術[J]. 應用光學, 2015, 36(4): 630-634. ZHANG Hualiang, XIE Yongjie, ZHANG Song, et al. Detection of small, low contrast targets based on adaptive frequency filter[J]., 2015, 36(4): 630-634.

[9] ZHOU Fugen, BAI Xiangzhi. Analysis of new top-hat transformation and the application for infrared dim small target detection[J]., 2010, 43(6): 2145-2156.

[10] Deshpande S D, Er M H, Venkateswarlu R, et al. Max-mean and max-median filters for detection of small targets[C]//, 1999, 3809: 74-83.

[11] CHEN C L P, LI Hong, WEI Yantao, et al. A local contrast method for small infrared target detection[J]., 2014, 52(1): 574-581.

[12] 劉德鵬, 李正周, 曾靖杰, 等. 基于多尺度局部對比度和多尺度梯度一致性的紅外小弱目標檢測算法[J]. 兵工學報, 2018, 39(8): 1526-1535. LIU Depeng, LI Zhengzhou, ZENG Jingjie, et al. Infrared dim small target detection based on multi-scale local contrast and multi-scale gradient coherence[J]., 2018, 39(8): 1526-1535.

[13] WEI Yantao, YOU Xinge, LI Hong. Multiscale patch-based contrast measure for small infrared target detection[J]., 2016, 58: 216-226.

[14] CUI Zheng, YANG Jingli, JIANG Shouda, et al. An infrared-small-target detection method in compressed sensing domain based on local segment contrast measure[J]., 2018, 93: 41-52.

[15] 張祥越, 丁慶海, 羅海波, 等. 基于改進LCM的紅外小目標檢測算法[J]. 紅外與激光工程, 2017, 46(7): 270-276. ZHANG Xiangyue, DING Qinghai, LUO Haibo, et al. Infrared dim target detection algorithm based on improved LCM[J]., 2017, 46(7): 270-276.

[16] 韓金輝, 蔣亞偉, 張小件, 等. 采用三層窗口局部對比度的紅外小目標檢測[J].紅外與激光工程, 2021, 50(2): 244-253. HAN Jinhui, JIANG Yawei, ZHANG Xiaojian, et al. Infrared small target detection using tri-layer window local contrast[J]., 2021, 50(2): 244-253.

[17] DU Peng, Askar Hamdulla. Infrared small target detection using homogeneity-weighted local contrast measure[J]., 2020, 17(3): 514-518.

[18] CUI Huixin, LI Liyuan, LIU Xin, et al. Infrared small target detection based on weighted three-layer window local contrast[J]., 2022, 19: 7505705.

[19] LYU Pingyue, SUN Shengli, LIN Changqing, et al. A method for weak target detection based on human visual contrast mechanism[J]., 2019, 16(2): 261-265.

Aerial Infrared Small Target Detection Algorithm Based on Structure Tensor Screening and Local Contrast Analysis

HE Bangsheng，WANG Zhonghua

(School of Information Engineering, Nanchang Hangkong University, Nanchang 330063, China)

Considering the false alarm and real-time requirements of infrared small-target detection under a complex cloud background, a novel algorithm is proposed based on structure tensor screening and local contrast analysis. Combined with the feature that the maximum eigenvalue of the structure tensor of the target area is larger than that of other background areas, the proposed algorithm can filter out most nontarget areas and retain a few suspicious areas. Local contrast calculation performed on suspicious areas can enhance the target, suppress the residual background, and effectively reduce computation. The algorithm steps are as follows: first, we constructed the structure tensor matrix within the local image area captured by the sliding window, and where the maximum eigenvalue is larger than the threshold is marked as a suspicious area. Then, we calculated the ratio-difference joint local contrast. Finally, we adopted an adaptive threshold segmentation on the saliency map to extract the real target. Experimental results showed that the proposed algorithm can achieve a higher detection rate, lower false alarm rate, and shorter running time under a complex cloud background.

infrared small target detection, suspicious area screening, structure tensor, local contrast

TP751

A

1001-8891(2023)11-1169-08

2022-11-16；

2023-01-31.

何邦盛（1998-），男，碩士研究生，主要研究方向為紅外小目標檢測。E-mail:1547268673@qq.com。

王忠華（1977-），男，博士，副教授，碩士研究生導師，主要研究方向為圖像處理、模式識別和人工智能。E-mail: wangzhonghua@nchu.edu.cn。

國家自然科學基金（61861033）。