基于生物啟發模型的紅外小目標檢測

李 斌,李秀紅,艾斯卡爾·艾木都拉

(新疆大學信息科學與工程學院,新疆 烏魯木齊 830046)

1 引 言

紅外復雜場景下的小目標檢測研究的意義極其重要。首先,在軍事領域的導彈防空預警、導彈精準制導和海上漂浮地雷偵查中發揮了非常重要的作用[1]。其次,現如今由于輕量化的小型無人機的普遍使用,導致存在邊防間諜無人機的威脅與在敏感設施中未經授權的無人機的偵查偷拍的威脅,所以遠距離檢測和監視非法無人機至關重要。小目標檢測也為小目標跟蹤技術提供了基礎。由于諸如目標對比度極低和背景復雜雜波較高[2]之類的問題,在紅外圖像中準確檢測非常小的目標仍然是一項艱巨的任務。

紅外小目標的檢測遇到的難點如下:①目標距離非常遠而導致目標的形狀特點與紋理特點極其的少；②光學模糊的原因直接導致紅外小目標在焦平面上發生畸變與點擴展；③紅外小目標的強度在不同的環境與天氣中不固定；④紅外小目標的背景復雜且噪點高,比如存在?？毡尘?、山地背景與高樓宇背景等等,復雜背景會導致陽光反射、場景或云層變換等等問題。

近幾年在紅外場景下的小目標檢測方法可以分為兩大類:順序檢測算法和單幀檢測算法。關于順序檢測算法有:基于動態規劃的算法[4]、基于最大似然估計的算法[5]、基于假設檢驗的算法[6]；關于單幀檢測算法有:基于最大中位數和最大均值濾波器的算法[7]、基于二維最小均方自適應濾波器的算法[8]、基于形態學濾波的算法[9]。

本文提出了基于生物視覺啟發模型的小目標檢測方案(PLMC),主要思想來源于Brinkworth等所提出的小型昆蟲視覺處理機制[10-11],文獻[11]根據蠅類具有檢測和跟蹤小型移動物體的能力而提出了基于生物視覺的圖像處理思路,小型昆蟲的視覺系統中的神經元對于過濾目標的復雜背景噪聲和雜波抑制的能力極強。本文將此思想嘗試應用至紅外小目標檢測中,擬解決紅外小目標檢測中紋理信息不足、暗淡模糊和低目標對比度等難點，PLMC方案流程圖如圖1所示。解決方案擬為基于感光細胞模型與大型單極細胞模型將紅外序列中的目標信息增強且抑制背景雜波,增強信噪比,可通過改進閾值分割小目標。實驗對比五種具有代表性、檢測率高、魯棒性不錯且較新的算法,結果表明本文所提出的方案在較復雜場景中獲得了更高的檢測精度與魯棒性。

圖1 PLMC方案流程圖Fig.1 Flow chart of PLMC

2 PLMC檢測方案

本文提出的紅外小目標檢測方案的流程如圖1所示。首先,輸入紅外序列幀,由感光計算模型增強目標與抑制背景雜波,利用自適應閾值消除了大多數背景雜波,從而獲得復雜背景下的可疑目標像素；然后由LMC計算模型消除時空冗余與增強目標對比度。經過目標增強處理后的圖像序列輸入閾值分割模塊,最后利用閾值分割出真實的目標,輸出目標的位置信息。

2.1 感光模型

文獻[10]～[12]進行了小型生物視覺系統對光強度變化的響應的理論研究,研究了蜻蜓的感光細胞對強度自然時間序列的響應。利用其對紅外小目標做檢測時,其模型的輸出與刺激的速度高度相關,但與其他通常會影響目標檢測任務的背景統計數據(如局部亮度或對比度)高度相關。瞬態細胞模型可從背景中區分目標,而無需相對運動提示。感光模型代表了沿著擬議的通往目標檢測神經元途徑的神經處理過程[13],嘗試將其應用于紅外小目標增強,其計算模型推導如圖2所示。

圖2 感光計算模型Fig.2 Photosensitive computing model

感光模型第一階段:

第一階段在數值上模擬感光細胞的自適應時間濾光機制。特點:①其臨時逐像素操作可抑制紅外圖像的背景噪聲,增強目標背景辨別力,擴大信號可變性的可能范圍并動態調整輸入圖像的暗區和亮區；②使用全局線性縮放,對輸入數據進行每像素二階時域低通濾波和每像素增益可變；③可消除高頻,短時噪聲輸入像素的影響,并增強信號,從而可在更寬的輸入范圍內捕獲細節。

步驟一:設Pt為時間t的輸入像素,使用時間常數T對Pt進行時間低通濾波,如式(1)。則可以通過時間低通濾波器式(1)計算出適應水平Lt,如式(2),其中TL表示預設的適應水平過濾時間常數。

(1)

(2)

步驟二:自適應水平Lt用于通過Naka-Rushton變換[15]實現的色調映射過程,由式(3)計算變量和自適應時間常數Tt,其中gs表示輸入幀速率,Tmax和Tmin是分別對應于時間低通濾波器的最大和最小自適應率的范圍參數,Pmid是中點像素值(可從一組訓練像素中估算出該值)。色調映射過程的結果,其場景暗區中的像素將具有更長的時間常數,并且比亮像素適應性更慢。

(3)

步驟三:時間常數Tt用于通過低通濾波實現Pt的時間平滑式,可應用多個低通濾波器來計算At,以實現更強的平滑度。自適應水平Lt用于計算自適應非線性增益因子,設Kmax是最大增益參數,此過程使得紅外暗場景區域中的細節被自適應地增強。綜上輸出式(4):

(4)

感光模型第二階段:

此階段由除數反饋機制組成,如圖2(a)所示。

步驟一:非線性除數反饋機制是通過反饋回路實現,如式(5),其中MB是本階段的預設時間常數:

(5)

步驟二:穩態行是對平方根函數進行建模,在時間t=0處初始化,即At是Bt的二次方。即可快速地適應輸入強度,從而使像素能快速適應紅外背景亮度變化的影響。

感光模型第三階段:

如圖2所示,此階段由低通濾波的指數除法反饋組成,可使感光模型能夠適應強度的緩慢變化,同時保持時間一致性和對高頻變化的抵抗力。低通反饋環路為式(6),其中MC是此階段的預設時間常數。對穩態對數響應進行建模,在t=0時初始化,即Ct是At的自然對數。指數縮放使該階段可以執行輸入像素的顯著非線性重新縮放,進一步壓縮了階梯狀的變化,有助于改善紅外小目標的梯度對比度。

(6)

感光模型第四階段:

本階段用于限制感光模型的輸出范圍,隨著強度值的增加,響應變得越來越非線性。使用Naka-Rushton非線性計算感光模型的最終輸出,如式(7),其中參數n為正偏移。感光計算模型通過將輸入同時壓縮為帶寬明顯較低的信號并改善信號變化范圍來減少視覺信號的冗余。最重要的是,不會丟失可能有用的紅外小目標統計數據,并且在信息量高的區域中,紅外小目標背景對比度會增強。

(7)

2.2 LMC模型

文獻[14]～[15]測量了強度的自然時間序列及大型單極細胞(LMC)對這些時間序列的響應,小型飛行昆蟲的大型單極細胞(LMC)具有增強目標對比度功能?？赏茖С鯨MC計算模型如圖3所示。該LMC模型減少了視覺信息的冗余,可以增強紅外小目標的對比度。

LMC模型第一階段:

先將感光計算模型輸出結果進行標準化,從中減去一個小的正偏移量z(可從感光模型輸出的時空立方體中估計),如式(8):

Et=Dt-z

(8)

LMC模型第二階段:

為了逐步淘汰紅外背景中低頻長期靜態場景元素,標準化輸出Et的可變時間高通濾波,暫時的高通濾波是通過低通濾波輸出的減法實現的。

步驟一:在Et上應用低通濾波器(其自適應水平ME通過等式中給出的類似色調映射過程計算出自適應時間常數LE),再對其做減法,可得出高通濾波的輸出如式(9),其中ρ是預設的比例因子:

(9)

步驟二:使用預設時間常數平滑高通濾波的環繞抑制,最終輸出Gt。

LMC模型第三階段:

在紅外序列圖像的背景噪聲和多余的場景元素被抑制之后,通過空間高通濾波增強了紅外移動小目標的細節。通過使用可變且空間自適應的中心環繞核進行空間卷積來實現空間高通濾波器,如圖3所示。

圖3 LMC計算模型Fig.3 LMC computing model

LMC模型第四階段:

使用飽和非線性獲得LMC計算模型的最終輸出。

LMC模型處理負責消除時空冗余并增強紅外小目標對比度。其通過淘汰不感興趣的場景元素(例如長期的靜態明亮結構)來抑制混亂,并且在高信息內容區域(有變化)中增強了場景的對比度,在低信息內容區域(無變化)降低了場景的對比度。

2.3 改進閾值分割方案

紅外小目標的檢測類似于對雷達信號的檢測,本文使用恒虛警率(CFAR)算法來計算自適應閾值AT,如圖4可知,統計圖像中的背景雜波為高斯分布。

圖4 CFAR確定閾值示意圖Fig.4 A schematic of CFAR to determine thresholds

假設預處理圖像的尺寸為x×y,設f(m,n)為坐標(m,n)處的像素灰度值,則預處理圖像的平均值μ的計算如式(10)所示。預處理圖像的標準偏差σ的計算過程如式(11)所示。

(10)

(11)

從恒定誤報率中獲得的閾值定義如式(12),其中AT表示自適應閾值,P表示誤報概率：

AT=μ-σ(P)φ-1

(12)

對閾值做修改,結果如式(13),其中k為調整系數：

AT=μ-kσ(P)φ-1

(13)

紅外序列經過感光模型計算之后,通過自適應閾值分割,可以獲得復雜背景下的一些可疑的目標像素,并消除了大多數背景雜波。再經過LMC模型計算消除時空冗余后,可通過閾值分離出小目標。

在紅外小目標的復雜背景中最明顯的區域大概率就是目標位置區域,將修改后的閾值式(14)應用到PLMC,消除噪聲影響準確分割目標。式(14)中的a為閾值的調整參數：

(14)

以灰度值為測量數據,其數值若高于當前的閾值,則其像素可被確定為真實目標像素。經過閾值分離出小目標后,最后輸出目標的位置信息。

3 實驗分析

本文所有實驗均通過Python3.5在配備Intel(R)Core(TM)i7-8700 CPU @ 3.20 GHz CPU,NVIDIA GeForce GT 730和16 GB內存的計算機上執行。

3.1 數據集與評估指標

本文實驗為證明所提出紅外小目標檢測方案具備有效性與實用性,選取了五種不同的復雜背景紅外小目標數據集,見表1所示。五個示例幀中的標注圈內是待檢測的紅外小目標,每個復雜背景都含有層次不同的噪聲,比如云彩噪聲、樓宇噪聲與樹林山地噪聲,還有由于能量衰減和傳感器帶來的熱噪聲,特別是在高原雪山背景、森林山地背景與樓宇公路背景中的目標信號極其的弱小,復雜的背景噪聲確實特別大,紅外小目標隱蔽在了極強的熱噪聲中。

表1 復雜場景數據集Tab.1 Complex scene data set

本文使用常用定量評價指標工作特性(ROC)曲線評估PLMC檢測方案的性能。ROC曲線表示真陽性率(TPR)與假陽性率(FPR)之間的變化關系[16],其中TPR表示檢測出的總的小目標數量與真正的小目標數量的比值,FPR表示檢測出總的偽目標像素與圖像總像素數的比值。

3.2 PLMC檢測過程

本文提出的PLMC紅外小目標檢測方案為分步增強目標法,圖5為PLMC方案在五種復雜背景下的目標增強分解過程,其中(a1)～(a5)使用山脈天空背景數據；(b1)～(b5)使用森林山地背景數據;(c1)～(c5)使用海洋天空背景數據;(d1)～(d5)使用層遮擋背景數據;(e1)～(e5)使用平原公路背景數據。按照設定步驟增強目標與抑制背景雜波,消除時空冗余與增強目標對比度。當式(13)中k屬于范圍[7,14]、式(14)中a的范圍是[1.1,2]時可以獲得所有背景的最佳性能。

圖5 PLMC目標增強處理過程Fig.5 PLMC target enhancement process

3.3 對比其他方案

本文對在紅外小目標檢測方面的五種具有廣泛代表性、目標檢測率較高、較新的、魯棒性不錯的算法進行比較。其中包含:一種較常用的紅外場景下的點狀目標檢測算法IPI[IEEE.2012][17],四種較新的紅外小目標檢測算法LIG[Elsevier.2018][18]、PSTNN[Remote Sens.2019][19]、NRAM[Remote Sens.2018][20]和MDDTM[激光技術.2020][21]。則分別進行一些實驗來評估PLMC方案的檢測性能。

經過一系列的實驗,GST、IPI、PSTNN、NRAM等算法和本文PLMC方案的對比檢測結果見圖6,其列出了不同方法在不同復雜背景下運行后的三維灰度分布,其中橫行:(a1)～(a5)是LIG的結果,(b1)～(b5)是IPI的結果,(c1)～(c5)是PSTNN的結果,(d1)～(d5)是NRAM的結果,(e1)～(e5)是MDDTM的結果,(f1)～(f5)是PLMC的結果；豎列:(a1)～(f1)使用山脈天空背景數據,(a2)～(f2)使用森林山地背景數據,(a3)～(f3)使用海洋天空背景數據,(a4)～(f4)使用云層遮擋背景數據,(a5)～(f5)使用平原公路背景數據。

圖6 不同算法檢測結果的三維灰度分布Fig.6 The three-dimensional gray distribution of the detection results of different algorithms

通過對比觀察可得以下結論:①LIG算法、IPI算法和PSTNN算法在平原公路背景數據中出現明顯的錯誤,如圖6(a5)所示,增強了假目標而抑制了真目標。②NRAM算法和LIG算法在云層遮擋背景數據中檢測失敗,如圖6(a4)、(d4)所示。③相比本文的PLMC方案,IPI、PSTNN、NRAM和MDDTM對于簡單場景下的檢測結果挺好,但是對于略復雜的背景就顯得魯棒性較差,檢測效果不佳,對于真假目標的區分表現性能不足,如圖6(b5)、(c5)、(d5)與(e5)所示。

圖7所示為四種復雜背景下的六種算法的ROC曲線。本文提出的PLMC方案的ROC曲線位于五個場景的曲線圖的左上角,這意味著本文提出的PLMC方案檢測率最強。由圖7可知:①單幀算法執行的檢測通常很低,IPI算法、MDDTM算法和PSTNN算法在檢測方面表現良好,但明顯不如本文提出的方案好。②由圖7(d)可以看出,在較復雜的平原公路背景與中檢測小目標,本文的方案明顯比其他算法好。

圖7 不同算法在不同背景下的ROC曲線Fig.7 ROC curves of different algorithms under different backgrounds

綜上可得,通過本文PLMC方案,目標顯著增強,背景雜波得到抑制,這也表明本文方法可以顯著改善輸入圖像的SCR,在復雜場景下的魯棒性比其他算法都強。

4 結 語

本文提出了基于生物啟發模型的紅外小目標檢測的方案,首先由感光計算模型增強目標、抑制背景雜波且增強信噪比,通過自適應閾值獲得復雜背景下的可疑目標；然后由LMC計算模型消除時空冗余與增強目標對比度；最后經過閾值分割出真實小目標,輸出位置坐標。經過實驗對比,本方案在普遍的小目標復雜場景中獲得了更高的檢測精度。自適應閾值與時間信息結合與紅外小目標的跟蹤將是我們未來工作繼續研究的方向。