單幀紅外圖像弱小目標(biāo)檢測(cè)研究綜述

凡遵林，王 浩，管乃洋，葉婷婷，孫騫沖,4

〈綜述與評(píng)論〉

單幀紅外圖像弱小目標(biāo)檢測(cè)研究綜述

凡遵林1，王 浩2，管乃洋1，葉婷婷3，孫騫沖1,4

（1. 軍事科學(xué)院，北京 100071；2. 天津（濱海）人工智能創(chuàng)新中心，天津 300000；3. 中國(guó)人民解放軍96911部隊(duì)，北京 100089；4. 國(guó)防科技大學(xué) 計(jì)算機(jī)學(xué)院，湖南 長(zhǎng)沙 410073）

遠(yuǎn)距離廣視角場(chǎng)景中由于紅外熱成像儀成像原理的局限性、大氣環(huán)境的干擾、遠(yuǎn)距離傳輸介質(zhì)對(duì)紅外輻射的衰減，檢測(cè)目標(biāo)面臨巨大挑戰(zhàn)。本文在詳細(xì)分析了圖像背景復(fù)雜、目標(biāo)特性弱小、圖像對(duì)比度低和結(jié)構(gòu)特性缺失等紅外弱小目標(biāo)圖像特性的基礎(chǔ)上，從基于目標(biāo)突顯和背景預(yù)測(cè)兩大類概述了單幀紅外圖像弱小目標(biāo)檢測(cè)技術(shù)的研究現(xiàn)狀，并探討了紅外弱小目標(biāo)檢測(cè)研究的發(fā)展趨勢(shì)。

紅外弱小目標(biāo)檢測(cè)；目標(biāo)突顯；背景預(yù)測(cè)；數(shù)理驅(qū)動(dòng)；數(shù)據(jù)驅(qū)動(dòng)

0 引言

自然界一切溫度高于絕對(duì)零度（－273.15℃）的物體都會(huì)發(fā)射紅外輻射。根據(jù)場(chǎng)景溫度分布，紅外熱成像系統(tǒng)被動(dòng)接收紅外輻射，獲取人眼能看到的紅外圖像[1-3]。相比合成孔徑雷達(dá)和激光成像等主動(dòng)式成像系統(tǒng)，紅外熱成像系統(tǒng)被動(dòng)接收?qǐng)鼍凹t外輻射，具有隱蔽性好、角分辨率高和抗電磁干擾能力強(qiáng)的優(yōu)點(diǎn)；相比可見(jiàn)光成像系統(tǒng)，它不依賴外部光線照射而能全天候工作，受雨雪和煙霧等干擾影響較小，不受局部強(qiáng)光或逆光影響，抗復(fù)雜光照能力強(qiáng)；還具備體積小、重量輕和機(jī)動(dòng)性強(qiáng)等優(yōu)勢(shì)[4-7]。因此，紅外熱成像被廣泛應(yīng)用于監(jiān)視、偵察以及導(dǎo)航等軍事領(lǐng)域，成為現(xiàn)代精確制導(dǎo)武器中的主要手段之一。

紅外熱像儀成像原理的局限性、大氣環(huán)境的干擾、遠(yuǎn)距離傳輸介質(zhì)對(duì)紅外輻射的衰減、場(chǎng)景物體和背景之間較小的溫度差，導(dǎo)致了紅外弱小目標(biāo)圖像存在圖像背景復(fù)雜、目標(biāo)特性弱小、圖像對(duì)比度低和結(jié)構(gòu)特性缺失等挑戰(zhàn)，下文將詳細(xì)分析紅外弱小目標(biāo)特性。因此，開(kāi)展復(fù)雜背景下紅外弱小目標(biāo)檢測(cè)研究，對(duì)擴(kuò)大現(xiàn)代化高技術(shù)武器作戰(zhàn)距離和提升反應(yīng)速度具有重要的實(shí)際價(jià)值。目前，國(guó)內(nèi)外學(xué)者對(duì)于紅外小目標(biāo)檢測(cè)的問(wèn)題已做了很多富有成效的工作，取得了長(zhǎng)足發(fā)展。紅外弱小目標(biāo)檢測(cè)主要包括檢測(cè)前跟蹤和跟蹤前檢測(cè)兩大研究方向[8]。檢測(cè)前跟蹤算法：在序列圖像中跟蹤眾多潛在目標(biāo)軌跡基礎(chǔ)上，判斷軌跡的真實(shí)性以檢測(cè)目標(biāo)。跟蹤前檢測(cè)算法：即單幀紅外弱小目標(biāo)檢測(cè)，處理單幀圖像提升目標(biāo)和背景的可分離性，隨后利用門限檢測(cè)目標(biāo)。檢測(cè)前跟蹤算法在處理信雜比低圖像時(shí)具有一定優(yōu)勢(shì)，但算法復(fù)雜度高和數(shù)據(jù)存儲(chǔ)量大，實(shí)際工程中實(shí)時(shí)性差，應(yīng)用較少。跟蹤前檢測(cè)算法復(fù)雜度較低，實(shí)時(shí)性好，易于硬件實(shí)現(xiàn)，近年來(lái)對(duì)單幀圖像算法的研究已成為紅外弱小目標(biāo)檢測(cè)算法的主要研究方向。

在單幀紅外弱小目標(biāo)檢測(cè)算法中，可把從復(fù)雜背景中檢測(cè)紅外弱小目標(biāo)問(wèn)題看成二分類的模式識(shí)別問(wèn)題。提升目標(biāo)和背景之間的可分離性是檢測(cè)紅外單幀圖像弱小目標(biāo)的有效途徑之一。本文首先詳細(xì)分析了遠(yuǎn)距離紅外圖像特性，其次重點(diǎn)綜述單幀紅外弱小目標(biāo)檢測(cè)研究現(xiàn)狀，最后分析了紅外弱小目標(biāo)檢測(cè)研究的發(fā)展趨勢(shì)。

1 遠(yuǎn)距離紅外圖像特性分析

1）圖像背景復(fù)雜

紅外熱成像系統(tǒng)監(jiān)視如天空或海面的遠(yuǎn)距離場(chǎng)景時(shí)，大氣傳輸和外界環(huán)境對(duì)紅外輻射的衰減是紅外圖像背景復(fù)雜的主要因素[9-11]。圖1展示了3種典型復(fù)雜背景下受強(qiáng)雜波干擾的紅外弱小目標(biāo)圖像。圖1(a)中，不同海拔空氣溫度變化較大，云層分布不均勻，圖像背景雜波變化起伏；圖1(b)中，連綿起伏海浪的紅外輻射形成了圖像背景大面積的雜波；圖1(c)內(nèi)，由于海空水蒸氣濕度高，對(duì)紅外輻射衰減嚴(yán)重，圖像中艦船目標(biāo)幾乎被背景完全淹沒(méi)。總結(jié)遠(yuǎn)距離紅外圖像的背景特性：同一行或同一列之間像素點(diǎn)灰度值有較大差異，存在邊緣起伏和局部亮的區(qū)域；其像素灰度值不服從高斯分布，具有明顯的非平穩(wěn)性和復(fù)雜性。

2）目標(biāo)特性弱小

遠(yuǎn)距離紅外圖像的目標(biāo)呈現(xiàn)出弱、小特征，即“弱”的灰度值和“小”的像素尺寸[12-13]。如圖1(a)紅色方框的目標(biāo)，其直徑是幾米甚至幾十米，但在遠(yuǎn)距離寬視角場(chǎng)景中約只占幾個(gè)或十幾個(gè)的像素點(diǎn)，目標(biāo)在圖像視場(chǎng)內(nèi)呈現(xiàn)“小”的特性。圖1(b)和(c)紅色方框內(nèi)的目標(biāo)，紅外輻射受到大氣衰減和湍流干擾影響，到達(dá)成像系統(tǒng)的能量很低，加上光學(xué)系統(tǒng)和讀出電路環(huán)節(jié)中能量衰減過(guò)程，目標(biāo)灰度值在圖像視場(chǎng)內(nèi)呈現(xiàn)“弱”的特性。

3）圖像對(duì)比度低

圖像對(duì)比度是指圖像的灰度值從最暗到最亮的漸變層次，能反映一幅圖像灰度反差的大小。目標(biāo)和背景之間的本身溫差較小，經(jīng)過(guò)遠(yuǎn)距離大氣傳輸和成像系統(tǒng)的因素進(jìn)一步造成熱輻射能量損失，導(dǎo)致場(chǎng)景內(nèi)目標(biāo)和背景之間溫度差異更小。同時(shí)，紅外熱成像系統(tǒng)獲取原始數(shù)據(jù)的存儲(chǔ)格式通常是14bit，而當(dāng)前大部分顯示設(shè)備只能顯示256個(gè)灰度級(jí)，即8bit存儲(chǔ)格式，會(huì)進(jìn)一步壓縮原始數(shù)據(jù)的灰度動(dòng)態(tài)范圍。因此，遠(yuǎn)距離紅外圖像灰度動(dòng)態(tài)范圍較小，對(duì)比度較低[14-16]。

4）結(jié)構(gòu)特征缺失

紅外焦平面陣列上熱敏材料的研制工藝復(fù)雜，價(jià)格昂貴。即便熱敏材料的研制技術(shù)快速進(jìn)步，紅外焦平面陣列分辨率的提升仍然趕不上（Charge Coupled Device，CCD）或（Complementary Metal Oxide Semi-conductor，COMS）可見(jiàn)光圖像傳感器分辨率的高速發(fā)展。表面溫度一致的物體或溫度相近的不同物體發(fā)射的紅外熱輻射經(jīng)過(guò)大氣媒介到達(dá)紅外焦平面陣列，紅外圖像缺乏整體層次感，目標(biāo)和背景差別很小，目標(biāo)邊緣模糊，細(xì)節(jié)紋理特征丟失嚴(yán)重，不具備一般可見(jiàn)光圖像所具備的清晰結(jié)構(gòu)特征[17-19]。

2 單幀紅外弱小目標(biāo)檢測(cè)研究現(xiàn)狀

在單幀紅外弱小目標(biāo)檢測(cè)算法中，把從復(fù)雜背景中檢測(cè)紅外弱小目標(biāo)問(wèn)題看成二分類的模式識(shí)別問(wèn)題[20]。圍繞弱小目標(biāo)和背景雜波特性，本文將分離目標(biāo)和背景的研究歸納為突顯目標(biāo)、預(yù)測(cè)背景、兼顧目標(biāo)與背景三類。

2.1 側(cè)重突顯目標(biāo)的目標(biāo)檢測(cè)算法

紅外背景往往呈現(xiàn)大面積連續(xù)分布狀態(tài)，在灰度空間分布內(nèi)具有較大相關(guān)性，可將目標(biāo)看作圖像孤立的奇異點(diǎn)。目標(biāo)的紅外輻射強(qiáng)度與背景的輻射強(qiáng)度無(wú)關(guān)，且一般高于背景的輻射強(qiáng)度。從信號(hào)頻譜角度分析，一般情況下目標(biāo)處于信號(hào)的高頻部分，而背景處于信號(hào)的低頻成分。因而，分離圖像高低頻部分的方式可從紅外背景中檢測(cè)目標(biāo)。

1）基于空間域?yàn)V波

空間域?yàn)V波核心思想是在空間域上利用像素灰度差異突出目標(biāo)，去除周圍背景噪聲干擾。早期的空域高通濾波器利用紅外弱小目標(biāo)灰度值高且背景灰度值較低的差異，指定某頻率為界，保留高于此頻率成分并濾除低于此頻率成分。該方法的優(yōu)勢(shì)在于計(jì)算復(fù)雜度低，便于硬件實(shí)現(xiàn)，但使得小目標(biāo)和孤立的噪聲點(diǎn)均可以通過(guò)，導(dǎo)致檢測(cè)率低、虛警率高，同時(shí)存在振鈴現(xiàn)象。為兼顧避免振鈴現(xiàn)象和增強(qiáng)濾波效果，巴特沃斯高通濾波器被用于簡(jiǎn)單的高通濾波[21]。為提升高通濾波器對(duì)復(fù)雜背景的適應(yīng)性，文獻(xiàn)[22]采用基于圖像的信息熵自適應(yīng)調(diào)節(jié)高通濾波器的截止頻率。

作為理想高通濾波器的延伸和改進(jìn)，高斯濾波器差分法[23]通過(guò)對(duì)多個(gè)不同尺度核函數(shù)的高斯濾波器提取的成分做差分的方式，得到紅外弱小目標(biāo)圖像的多尺度特征。該類改進(jìn)方法在紅外弱小目標(biāo)檢測(cè)檢測(cè)領(lǐng)域得到廣泛研究。考慮紅外弱小目標(biāo)圖像背景的復(fù)雜性，利用目標(biāo)與背景邊緣在方向性上的差異，將圓形的高斯核函數(shù)替換為橢圓形的Gabor核函數(shù)，從而達(dá)到通過(guò)調(diào)整橢圓的長(zhǎng)軸角度實(shí)現(xiàn)濾波器方向區(qū)分能力，能進(jìn)一步抑制背景邊緣的干擾[24]。基于紅外弱小目標(biāo)周圍相鄰區(qū)域的強(qiáng)度大致呈墨西哥帽分布的假設(shè)，Zhang等采用改進(jìn)的頂帽變換和高斯濾波差分法處理紅外圖像，再選擇符合墨西哥帽分布的像素作為目標(biāo)候選區(qū)域，而后經(jīng)最大強(qiáng)度定位分割得到目標(biāo)[25]。也有將高斯濾波器差分法和其他變換域相結(jié)合的應(yīng)用：首先在經(jīng)傅里葉變換后的圖像對(duì)數(shù)譜內(nèi)，計(jì)算頻譜殘差轉(zhuǎn)換到空間域后得到相應(yīng)的顯著性圖；再將對(duì)用頻譜殘差方法處理后的圖像進(jìn)行差分高斯尺度空間擴(kuò)展與關(guān)鍵點(diǎn)檢測(cè)；最后，經(jīng)特征圖像融合與信息熵分割，突顯紅外弱小目標(biāo)[26]。

2）基于變換域?yàn)V波

空間域內(nèi)濾波算法往往考慮目標(biāo)信息不夠全面，對(duì)濾波器模板形狀和尺寸要求高且適應(yīng)性低，容易出現(xiàn)檢測(cè)概率低和虛警率高問(wèn)題。因此不少學(xué)者研究在變換域內(nèi)處理圖像。變換域?yàn)V波檢測(cè)紅外弱小目標(biāo)的思路是將原始圖像利用數(shù)學(xué)方法轉(zhuǎn)換到變換域，利用紅外目標(biāo)和復(fù)雜背景在變換域內(nèi)成分的差異，經(jīng)過(guò)某種處理突顯目標(biāo)成分后逆變換至空間域，實(shí)現(xiàn)紅外弱小目標(biāo)的檢測(cè)。

小波變換是數(shù)學(xué)理論和工程應(yīng)用完美結(jié)合的產(chǎn)物，具有良好的時(shí)頻局域性和多分辨率性，對(duì)點(diǎn)奇異分段函數(shù)具有稀疏的表示特性[27]。在小波域內(nèi)，通過(guò)聚類方式將屬于目標(biāo)或背景的特征向量分組，提取并放大目標(biāo)系數(shù)，經(jīng)小波逆變換后實(shí)現(xiàn)目標(biāo)檢測(cè)[28]。文獻(xiàn)[29]在小波變換域內(nèi)抑制紅外圖像背景噪聲，采用非負(fù)矩陣分解方式將多尺度小波系數(shù)融合提取圖像目標(biāo)。由于小波變換缺少多方向性和各向異性，難以準(zhǔn)確表示如邊緣、輪廓和紋理等高維奇異特征。為此，很多研究者陸續(xù)提出了多尺度幾何分析，如脊波變換[30]、曲線波變換[31]、輪廓波變換[32]和剪切波變換[33-35]等。多尺度幾何分析方法在每個(gè)尺度所分解的方向上系數(shù)是靈活可變的，可以較好地去除背景干擾及噪聲，提升弱小目標(biāo)檢測(cè)性能。由于紅外圖像存在結(jié)構(gòu)背景邊緣和噪聲，其與目標(biāo)都處于圖像的高頻部分，干擾目標(biāo)的提取。相比空域?yàn)V波方法，變換域內(nèi)精細(xì)的信息能夠提升目標(biāo)檢測(cè)的可靠性，但正逆變換的運(yùn)用增加了計(jì)算量，對(duì)實(shí)際工程的實(shí)時(shí)性應(yīng)用也提出了較高挑戰(zhàn)。

3）基于人類視覺(jué)特性

人類視覺(jué)特性在計(jì)算機(jī)視覺(jué)領(lǐng)域應(yīng)用非常廣泛。紅外弱小目標(biāo)檢測(cè)方法主要利用顯著性原理：人眼通過(guò)獲取視覺(jué)顯著性區(qū)域的方式區(qū)別目標(biāo)和背景，從而迅速定位感興趣區(qū)域找到感興趣目標(biāo)。因此，在此基礎(chǔ)上引入了局部對(duì)比度、視覺(jué)顯著性和多尺度等理論機(jī)制。

基于局部對(duì)比度的方法主要利用空間域的局部信息：基于計(jì)算圖像塊與其鄰域間的局部對(duì)比度構(gòu)建顯著圖，然后通過(guò)閾值分割顯著圖獲取小目標(biāo)的像素位置，達(dá)到檢測(cè)紅外弱小目標(biāo)的目的，其中得到顯著圖的方式是該類算法的關(guān)鍵，直接影響算法性能[36]。例如針對(duì)復(fù)雜場(chǎng)景的小目標(biāo)檢測(cè)，有學(xué)者提出了基于導(dǎo)數(shù)熵對(duì)比度測(cè)量局部信息獲取顯著圖的方法，通過(guò)幅度和位置信息得到更好的檢測(cè)結(jié)果，但分塊效應(yīng)仍然存在[37]。基于人眼視覺(jué)系統(tǒng)的注意力機(jī)制對(duì)圖像對(duì)比度、目標(biāo)運(yùn)動(dòng)和預(yù)測(cè)等特征的自適應(yīng)性，Li等改進(jìn)高斯濾波差分法提出了利用自適應(yīng)多尺度局部對(duì)比度提取目標(biāo)顯著區(qū)域的方法，分析光譜尺度抑制背景，增強(qiáng)目標(biāo)中心區(qū)域，突顯紅外弱小目標(biāo)[38]。在文獻(xiàn)[39]中，為更好抑制紅外背景雜波，利用局部灰度殘差能抑制平緩背景、局部強(qiáng)度均值能剔除孤立背景點(diǎn)干擾和梯度方向能剔除強(qiáng)邊緣雜波干擾的特性，融合多種局部特征形成顯著圖，并結(jié)合閾值分割實(shí)現(xiàn)弱小目標(biāo)與背景的分離。類似的，為快速準(zhǔn)確地從紅外搜索與跟蹤圖像檢測(cè)出弱小紅外目標(biāo)，文獻(xiàn)[40]提出了基于視覺(jué)顯著性和高斯濾波差分法的快速目標(biāo)檢測(cè)方法。該方法根據(jù)目標(biāo)與背景的全局特征差異，在粗檢測(cè)階段提出了基于快速譜尺度空間和全局特征的顯著性模型；根據(jù)目標(biāo)與背景的局部對(duì)比度差異，在精細(xì)檢測(cè)階段采用自適應(yīng)局部對(duì)比度的高斯濾波差分法精細(xì)改善目標(biāo)在視覺(jué)顯著區(qū)域的對(duì)比度；最后經(jīng)自適應(yīng)閾值分割目標(biāo)。

2.2 側(cè)重預(yù)測(cè)背景的目標(biāo)檢測(cè)算法

從紅外弱小目標(biāo)圖像準(zhǔn)確預(yù)測(cè)目標(biāo)和背景雜波圖像是檢測(cè)目標(biāo)的有效途徑之一。描述基于預(yù)測(cè)目標(biāo)和背景的目標(biāo)檢測(cè)算法框架如下[41]：

processed＝1×＋2×target－3×background

式中：為原圖像；target為預(yù)測(cè)的弱小目標(biāo)圖像；background為預(yù)測(cè)的雜波背景圖像；processed為處理后圖像；1、2和3對(duì)應(yīng)各成分的權(quán)重。權(quán)重1表示處理后圖像保持原圖像基本信息的程度，權(quán)重2和3分別控制增強(qiáng)目標(biāo)和抑制背景的程度。

復(fù)雜的雜波背景和微弱的目標(biāo)特征給分離目標(biāo)和背景帶來(lái)了巨大挑戰(zhàn)。預(yù)測(cè)的背景圖像保留了過(guò)多目標(biāo)細(xì)節(jié)，弱小目標(biāo)將會(huì)當(dāng)作背景雜波被減除；相反的，預(yù)測(cè)的背景圖像濾除了邊緣和細(xì)節(jié)等結(jié)構(gòu)特征，將會(huì)在處理后圖像保留明顯的雜波干擾。此類算法的核心是準(zhǔn)確預(yù)測(cè)背景圖像。

2.2.1 基于形態(tài)學(xué)濾波

數(shù)學(xué)形態(tài)學(xué)濾波是一種非線性濾波方式，在圖像處理領(lǐng)域得到廣泛應(yīng)用，其基本運(yùn)算是膨脹與腐蝕[42]。利用形態(tài)學(xué)濾波預(yù)測(cè)紅外弱小目標(biāo)和背景圖像的基本思想是通過(guò)選取具有一定形態(tài)的結(jié)構(gòu)元素有針對(duì)性地分離出比結(jié)構(gòu)元素小的相對(duì)較亮的突起結(jié)構(gòu)（即小目標(biāo)特征信息），同時(shí)保持圖像原始灰度值和大面積的背景區(qū)域不變（即背景特征信息）。其中，結(jié)構(gòu)元素的選擇至關(guān)重要，不同的結(jié)構(gòu)元將給圖像產(chǎn)生不同的幾何結(jié)構(gòu)信息分析和處理。

近年來(lái)，基于形態(tài)學(xué)濾波對(duì)紅外弱小目標(biāo)檢測(cè)開(kāi)展了廣泛研究，并取得了一些成果。如經(jīng)典的Top-hat變換能較好預(yù)測(cè)背景，同時(shí)提取與結(jié)構(gòu)元素相似的目標(biāo)和少量干擾噪聲，但由于結(jié)構(gòu)元素的單一性，難以準(zhǔn)確預(yù)測(cè)目標(biāo)附近的背景區(qū)域[43]。考慮目標(biāo)具有結(jié)構(gòu)化邊緣的先驗(yàn)和背景間的自相關(guān)性，文獻(xiàn)[44]提出了一種基于Top-hat正則化與低秩張量相結(jié)合的紅外小目標(biāo)檢測(cè)方法，能夠提高紅外弱小目標(biāo)檢測(cè)的信雜比增益和穩(wěn)健性。為增強(qiáng)形態(tài)學(xué)濾波操作的邊緣信息，Bai等提出了邊緣增強(qiáng)形態(tài)學(xué)[45]。首先，改進(jìn)形態(tài)學(xué)濾波操作得到邊緣增強(qiáng)膨脹和侵蝕操作；其次，定義由邊緣增強(qiáng)膨脹操作和腐蝕操作導(dǎo)出的偽算子；最后，利用對(duì)稱的邊緣增強(qiáng)腐蝕與膨脹操作提取紅外弱小目標(biāo)圖像的多尺度特征以預(yù)測(cè)圖像目標(biāo)和背景。文獻(xiàn)[46]中結(jié)合這種新型Top-hat變換和局部對(duì)比度的方法，采用局部對(duì)比度的方法篩選新型Top-hat變換檢測(cè)后的目標(biāo)以降低了虛警率。

2.2.2 基于自適應(yīng)濾波

由于濾波模板參數(shù)隨圖像特征自適應(yīng)調(diào)整變化，自適應(yīng)濾波在圖像處理領(lǐng)域占據(jù)著重要地位。尤其面向預(yù)測(cè)復(fù)雜紅外背景的需求，基于自適應(yīng)濾波的方法在紅外弱小目標(biāo)檢測(cè)領(lǐng)域得到了更多關(guān)注。

二維最小均方濾波器由濾波器演變而來(lái)，輸入紅外圖像迭代求取期望圖像和預(yù)測(cè)圖像之間的誤差函數(shù)，自適應(yīng)計(jì)算濾波器模板參數(shù)，當(dāng)誤差小于一定閾值時(shí)停止迭代并輸出預(yù)測(cè)背景圖像[47]。基于此也存在后續(xù)優(yōu)化。文獻(xiàn)[48]結(jié)合二維最小均方濾波和基于鄰域灰度差度量，夠有效去除殘留背景雜波干擾。文獻(xiàn)[49]則在二維最小均方濾波的基礎(chǔ)上提出了一種基于自適應(yīng)雙層二維最小均方濾波的紅外小目標(biāo)檢測(cè)算法，能有效降低弱小目標(biāo)虛警率，但犧牲了算法的實(shí)時(shí)性。

在圖像處理領(lǐng)域，作為非線性濾波器，雙邊濾波算法根據(jù)背景區(qū)域和目標(biāo)區(qū)域的不同自適應(yīng)改變兩個(gè)高斯濾波器的標(biāo)準(zhǔn)差，達(dá)到平滑背景和保留邊緣等結(jié)構(gòu)特征的目的。Bae等綜合考慮空間距離與灰度分布特性聯(lián)合使用空間域和強(qiáng)度域的高斯濾波器，在分析和提取圖像邊緣方向的基礎(chǔ)上改進(jìn)雙邊濾波以作為背景預(yù)測(cè)器，在保持較強(qiáng)背景預(yù)測(cè)能力的同時(shí)提升了紅外弱小目標(biāo)檢測(cè)的魯棒性和檢測(cè)效率[50]。Zhao等首先采用不同分解層次的高斯帶寬函數(shù)從原始圖像中預(yù)測(cè)得到不同頻率分量的子圖像；其次，基于局部調(diào)頻的特征檢測(cè)方法有效提取各子圖像的弱小目標(biāo)區(qū)域生成顯著性圖，并增強(qiáng)不同分解尺度下的子圖像；最后，合成所有子圖像預(yù)測(cè)得到目標(biāo)結(jié)果[51]。

2.3 兼顧目標(biāo)和背景的目標(biāo)檢測(cè)算法

2.3.1 基于圖像數(shù)據(jù)結(jié)構(gòu)

由于一般紅外圖像的背景區(qū)域具有強(qiáng)自相似性而弱小目標(biāo)具有稀釋特性，近來(lái)年有學(xué)者從圖像數(shù)據(jù)結(jié)構(gòu)的方向開(kāi)展紅外弱小目標(biāo)檢測(cè)的研究。此類算法的核心是將小目標(biāo)的檢測(cè)問(wèn)題轉(zhuǎn)化為恢復(fù)低秩矩陣和稀疏矩陣的問(wèn)題，即低秩稀疏矩陣恢復(fù)的凸優(yōu)化問(wèn)題。

引進(jìn)應(yīng)用于分類任務(wù)的稀疏表示，利用頻率特征差異實(shí)現(xiàn)目標(biāo)檢測(cè)。低秩稀釋分解模型的核心是采用增廣拉格朗日乘子法優(yōu)化迭代基于圖像數(shù)據(jù)構(gòu)造的背景或目標(biāo)字典，有效描述噪聲數(shù)據(jù)的具體結(jié)構(gòu)。Lu等基于在線學(xué)習(xí)訓(xùn)練雙稀疏字典構(gòu)造的背景字典，并利用稀疏表示模型將目標(biāo)圖像分解為背景分量、目標(biāo)分量和噪聲分量，最后采取邊緣雜波抑制策略提高檢測(cè)弱小目標(biāo)的魯棒性[52]。此類算法具有較強(qiáng)的抗噪聲能力，虛警率較低、魯棒性更好，但抑制背景效果有限。

為充分提升抑制紅外圖像背景效果，Gao等最先提出紅外圖像塊模型，先通過(guò)“滑窗”方式對(duì)圖像分塊，再重新排布紅外圖像塊以加強(qiáng)圖像塊之間的空間自相關(guān)性，接著采用穩(wěn)定主成分追蹤方法從數(shù)據(jù)矩陣中恢復(fù)背景低秩分量和目標(biāo)稀疏量，最后經(jīng)圖像重建和分割，得到最終的檢測(cè)目標(biāo)[53]。后續(xù)有很多學(xué)者開(kāi)始相關(guān)研究：聚焦于改進(jìn)矩陣恢復(fù)和權(quán)重設(shè)置。

在改進(jìn)矩陣恢復(fù)方面，傳統(tǒng)主成分追蹤模型只考慮了背景圖像的低階特征，在非均勻、非光滑的場(chǎng)景中檢測(cè)能力較差。Wang等選擇全變分正則化項(xiàng)描述背景特征，提出了基于全變分和主成分追蹤模型，以便處理非平滑、非均勻的背景[54]。針對(duì)處理目標(biāo)較暗且背景復(fù)雜的紅外圖像時(shí)虛警率高的問(wèn)題，Zhang等提出一種非凸秩逼近最小化與加權(quán)L1與L2范數(shù)的紅外弱小目標(biāo)檢測(cè)方法，以聯(lián)合L1和L2范數(shù)正則化圖像邊緣特征的方式更好抑制紅外背景，降低虛警率[55]。

在改進(jìn)權(quán)重設(shè)置方面，Dai等基于圖像塊的結(jié)構(gòu)先驗(yàn)信息為每列塊結(jié)構(gòu)設(shè)置自適應(yīng)的權(quán)重，將紅外弱小目標(biāo)和背景的分離問(wèn)題轉(zhuǎn)為加權(quán)魯棒主成分分析問(wèn)題，以更好地保留紅外弱小目標(biāo)和抑制較強(qiáng)的邊緣[56]。文獻(xiàn)[57]則在紅外圖像塊模型的基礎(chǔ)上，融合圖像背景的低秩特征和目標(biāo)的稀疏特征提出了自適應(yīng)加權(quán)方差信息熵權(quán)重方法。

2.3.2 基于深度學(xué)習(xí)

受背景雜波和噪聲影響，圖像中頻率最高的成分不一定對(duì)應(yīng)目標(biāo)。固定的高斯帶寬函數(shù)、稀疏字典、全變分正則化模型和形態(tài)學(xué)濾波結(jié)構(gòu)元仍難以適應(yīng)紅外圖像雜波背景的復(fù)雜多變，其適應(yīng)性不強(qiáng)，容易混淆背景強(qiáng)雜波和弱小目標(biāo)。同時(shí)需要借助先驗(yàn)信息選擇合適濾波器模板或者變換域參數(shù)，導(dǎo)致算法魯棒性下降、應(yīng)用范圍受限。

得益于深層非線性響應(yīng)的網(wǎng)絡(luò)模型逼近復(fù)雜函數(shù)和大量數(shù)據(jù)驅(qū)動(dòng)，深度學(xué)習(xí)算法展現(xiàn)了強(qiáng)大學(xué)習(xí)能力。在預(yù)測(cè)和生成圖像背景方面，受限波爾茲曼機(jī)、深度自編碼網(wǎng)絡(luò)、深度全卷積網(wǎng)絡(luò)和生成對(duì)抗網(wǎng)絡(luò)等深度學(xué)習(xí)網(wǎng)絡(luò)模型都扮演了重要角色[58]。Sheri等為更好利用像素點(diǎn)均值和方差生成圖像背景和前景，引入高斯混合約束，提出了基于高斯-伯努利的受限波爾茲曼機(jī)網(wǎng)絡(luò)，從給定的輸入圖像學(xué)習(xí)重建圖像背景[59]。Farnoosh等設(shè)計(jì)基于變分自編碼的深度概率背景模型，在可變自動(dòng)編碼器的編碼部分將具有冗余特性的背景部分壓縮到低維空間，能較好適應(yīng)場(chǎng)景光照變化，但受限于兩方面假設(shè)：背景成分屬于低維度的變量表示空間；非線性映射的視頻幀背景符合高斯分布模型[60]。為提升深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像背景的表征和目標(biāo)結(jié)構(gòu)細(xì)節(jié)的恢復(fù)，Akilan等[61]提出包含壓縮編碼和擴(kuò)展解碼的全卷積網(wǎng)絡(luò)模型，且兩個(gè)子網(wǎng)絡(luò)均采用特征圖上采樣和殘差連接方式，通過(guò)學(xué)習(xí)圖像的局部和全局特征，達(dá)到預(yù)測(cè)前景目標(biāo)和場(chǎng)景背景之間的平衡。針對(duì)光照變化、非平穩(wěn)背景和重影等挑戰(zhàn)，Zheng等[62]提出了基于并行視覺(jué)和貝葉斯生成對(duì)抗網(wǎng)絡(luò)的背景預(yù)測(cè)算法：先采用中值濾波算法提取背景圖像，后利用貝葉斯生成對(duì)抗網(wǎng)絡(luò)對(duì)每個(gè)像素進(jìn)行目標(biāo)和背景的分類，并利用平行視覺(jué)理論改進(jìn)復(fù)雜場(chǎng)景下的背景預(yù)測(cè)效果。考慮不同尺度卷積特征對(duì)預(yù)測(cè)背景圖像的影響，Lim等提出了兩種生成多尺度編碼特征的深度卷積神經(jīng)網(wǎng)絡(luò)：使用相同編-解碼器配置，以3個(gè)尺度的編碼器獲取輸入，將圖像嵌入多尺度特征空間；在輸入編碼器的頂部插入特征池模塊，以提取中間層的多尺度特征。兩種模型在解碼部分都采用轉(zhuǎn)置卷積網(wǎng)絡(luò)學(xué)習(xí)從特征空間到圖像空間的映射[63]。針對(duì)目標(biāo)模糊和背景復(fù)雜的問(wèn)題，F(xiàn)an等提出一種增強(qiáng)小目標(biāo)和抑制背景雜波的卷積神經(jīng)網(wǎng)絡(luò)增強(qiáng)方法，該算法通過(guò)預(yù)測(cè)小目標(biāo)和背景有針對(duì)性地處理，以提高背景雜波嵌入小目標(biāo)的弱紅外圖像的對(duì)比度[64]。Zhang等利用殘差網(wǎng)絡(luò)作為特征提取的主干網(wǎng)絡(luò)，通過(guò)引入自注意力機(jī)制融合增強(qiáng)多尺度深度特征，同時(shí)基于全局上下文的注意力機(jī)制獲取不同層深度語(yǔ)義和特征之間的全局關(guān)聯(lián)，提升低級(jí)和深層語(yǔ)義特征的利用率[65]。

Wang等人利用卷積神經(jīng)網(wǎng)絡(luò)和條件生成對(duì)抗網(wǎng)絡(luò)實(shí)現(xiàn)了紅外小目標(biāo)檢測(cè)漏檢和虛警之間平衡[66]。基于（single-frame infrared small target，SIRST）的目標(biāo)分割，Dai等設(shè)計(jì)了非對(duì)稱上下文調(diào)制的ACMNet[67]，補(bǔ)充了自底向上的調(diào)制方式，以突出高層語(yǔ)義和微妙的低層細(xì)節(jié)。為了保持深層紅外小目標(biāo)的信息，Li等人提出了一種密集嵌套注意網(wǎng)絡(luò)DNA-Net[68]，實(shí)現(xiàn)高層和低層特征的遞進(jìn)交互。基于目標(biāo)或背景的像素彼此相關(guān)的假設(shè)，Wang等人提出了用于紅外小目標(biāo)檢測(cè)的由粗到細(xì)的內(nèi)部注意力感知網(wǎng)絡(luò)IAANet[69]。Yan等人提出了時(shí)空差分多尺度注意網(wǎng)絡(luò)STDMANet[70]，使用多尺度時(shí)間特征提取器獲得時(shí)空特征，在保持小目標(biāo)位置信息的前提下增強(qiáng)時(shí)空特征語(yǔ)義，并引入掩碼加權(quán)熱圖以設(shè)計(jì)損失函數(shù)。

在紅外弱小目標(biāo)數(shù)據(jù)方面，也有一些學(xué)者開(kāi)源了研究過(guò)程中的數(shù)據(jù)集，例如427幅紅外圖像的NUAA-SIRST數(shù)據(jù)集[67]和包含1000幅紅外圖像的IRSTD-1k數(shù)據(jù)集[71]、包含17598艘?guī)ё⑨尩男★w船和48幅10000×10000像素紅外圖像的NUDT-SIRST-Sea數(shù)據(jù)集[72]、地下/空中背景下紅外圖像小目標(biāo)數(shù)據(jù)集DSAT[73]和雜波背景下紅外運(yùn)動(dòng)小目標(biāo)數(shù)據(jù)集SIATD[74]。

通常基于深度學(xué)習(xí)的紅外弱小目標(biāo)方法依賴大量帶標(biāo)簽樣本的數(shù)據(jù)，這也是紅外弱小目標(biāo)檢測(cè)研究難以避免的挑戰(zhàn)。但由于紅外弱小目標(biāo)圖像的應(yīng)用范圍比較敏感，被廣泛采用且高質(zhì)量標(biāo)注的大型紅外弱小目標(biāo)數(shù)據(jù)集稀缺。

3 單幀紅外弱小目標(biāo)檢測(cè)研究發(fā)展趨勢(shì)

在實(shí)際應(yīng)用中，目標(biāo)和背景的復(fù)雜性遠(yuǎn)遠(yuǎn)超出了人們的想象，近年來(lái)隨著紅外弱小目標(biāo)檢測(cè)技術(shù)不斷發(fā)展，近年來(lái)針對(duì)特定復(fù)雜背景的檢測(cè)方法也不斷被提出。從關(guān)鍵技術(shù)、數(shù)據(jù)庫(kù)和實(shí)際應(yīng)用三個(gè)方面分析單幀紅外弱小目標(biāo)檢測(cè)研究的發(fā)展趨勢(shì)：

1）結(jié)合目標(biāo)和背景特征分析關(guān)鍵技術(shù)發(fā)展。基于突顯目標(biāo)的紅外弱小目標(biāo)檢測(cè)技術(shù)的本質(zhì)是圖像增強(qiáng)技術(shù)。相對(duì)圖像復(fù)原技術(shù)，缺乏一定的理論支撐和數(shù)學(xué)推導(dǎo)。可類比霧霾自然圖像退化現(xiàn)象，考慮外界環(huán)境影響、大氣傳輸衰減和紅外焦平面陣列自身干擾等因素，建立不同背景條件下紅外圖像質(zhì)量退化模型，為提升紅外圖像質(zhì)量的技術(shù)研究奠定理論基礎(chǔ)。尤其針對(duì)天地背景、海空背景等典型遠(yuǎn)距離場(chǎng)景，建立適用場(chǎng)景的目標(biāo)模型和背景模型。同時(shí)，人類視覺(jué)系統(tǒng)是功能強(qiáng)大的視覺(jué)處理系統(tǒng)。視覺(jué)系統(tǒng)初級(jí)視覺(jué)皮質(zhì)層神經(jīng)元處理外界信息具有方向選擇性、多尺度性、局部性和稀疏特性。基于上述特性，建立模擬人眼視覺(jué)特性的數(shù)學(xué)模型，提取紅外弱小目標(biāo)的不同維度的特征，也是解決當(dāng)前紅外弱小目標(biāo)檢測(cè)難題的思路之一。

基于背景預(yù)測(cè)的紅外弱小目標(biāo)檢測(cè)技術(shù)的核心是目標(biāo)和背景特征的學(xué)習(xí)與提取。基于數(shù)理知識(shí)支撐的特征提取：典型代表有高斯濾波差分法、高斯帶寬函數(shù)、稀疏字典、全變分正則化模型、形態(tài)學(xué)濾波和變換域方法等。這類方法經(jīng)過(guò)嚴(yán)格的數(shù)學(xué)推導(dǎo)和理論分析，具有學(xué)習(xí)效率高、解釋性強(qiáng)的優(yōu)點(diǎn)，但沒(méi)有考慮數(shù)據(jù)間的關(guān)聯(lián)，效果局限于部分場(chǎng)景，魯棒性較差。基于大量數(shù)據(jù)驅(qū)動(dòng)的特征學(xué)習(xí)：其核心是大量數(shù)據(jù)和標(biāo)簽樣本進(jìn)行端對(duì)端的監(jiān)督學(xué)習(xí)，能夠從數(shù)據(jù)中學(xué)習(xí)深度層次特征和數(shù)據(jù)擬合能力。但基于深度學(xué)習(xí)預(yù)測(cè)紅外弱小目標(biāo)圖像的雜波背景存在挑戰(zhàn)：需要大量標(biāo)簽數(shù)據(jù)和端對(duì)端的監(jiān)督訓(xùn)練，否則難以無(wú)偏差預(yù)測(cè)數(shù)據(jù)規(guī)律，前文已分析樣本量和標(biāo)簽是目前遇到的現(xiàn)實(shí)問(wèn)題；缺乏理論支撐，模型解釋性不強(qiáng)，局限于學(xué)習(xí)輸入數(shù)據(jù)和網(wǎng)絡(luò)任務(wù)層的映射關(guān)系。面對(duì)目標(biāo)特征弱小、圖像背景復(fù)雜、圖像對(duì)比度低和結(jié)構(gòu)特征缺失等挑戰(zhàn)，為避免手工特征提取符的不完備性同時(shí)增強(qiáng)深度學(xué)習(xí)網(wǎng)絡(luò)模型特征的解釋性，很有必要開(kāi)展內(nèi)嵌數(shù)理知識(shí)和數(shù)據(jù)驅(qū)動(dòng)的無(wú)監(jiān)督特征學(xué)習(xí)研究。將數(shù)理知識(shí)嵌入深度網(wǎng)絡(luò)模型、優(yōu)化卷積核特征學(xué)習(xí)的方式是高效學(xué)習(xí)紅外弱小目標(biāo)圖像特征的有效途徑之一。

2）建立紅外弱小目標(biāo)圖像標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)是至關(guān)重要的。其一，標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)可為處理算法提供不同場(chǎng)景下的數(shù)據(jù)，驗(yàn)證算法的普適性；其二，在標(biāo)準(zhǔn)的數(shù)據(jù)庫(kù)上可公平對(duì)比不同處理算法的性能，便于評(píng)價(jià)不同算法處理結(jié)果的圖像質(zhì)量；其三，標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)也能為數(shù)據(jù)驅(qū)動(dòng)的紅外弱小目標(biāo)特征學(xué)習(xí)算法提供足夠數(shù)據(jù)基礎(chǔ)。

3）將關(guān)鍵技術(shù)研究轉(zhuǎn)為實(shí)際應(yīng)用任重道遠(yuǎn)。基于圖像數(shù)據(jù)結(jié)構(gòu)等紅外弱小目標(biāo)檢測(cè)算法對(duì)計(jì)算量較大，難以滿足算法處理的實(shí)時(shí)性。在實(shí)際工程中應(yīng)用該類算法，可以考慮使用快速算法以提升收斂速度，快速重構(gòu)約束條件下的矩陣。基于深度學(xué)習(xí)型算法檢測(cè)性能較好，但需依賴高性能的圖形處理單元（GPU）才能實(shí)現(xiàn)實(shí)時(shí)。而針對(duì)類似于彈載平臺(tái)等計(jì)算資源受限的硬件處理單元，有必要開(kāi)展知識(shí)蒸餾和模型裁剪等模型輕量化技術(shù)研究，以及結(jié)合硬件處理單元特性設(shè)計(jì)定制化的網(wǎng)絡(luò)模型。

[1] BAI X, ZHOU F. Analysis of new top-hat transformation and the application for infrared dim small target detection[J]., 2010, 43(6): 2145-2156.

[2] Jakubowicz J, Lefebvre S, Maire F, et al. Detecting aircraft with a low-resolution infrared sensor[J]., 2012, 21(6): 3034-3041.

[3] 凡遵林, 管乃洋, 王之元, 等. 紅外圖像質(zhì)量的提升技術(shù)綜述[J]. 紅外技術(shù), 2019, 41(10): 941-946. FAN Zunlin, GUAN Naiyang, WANG Zhiyuan, et al. Infrared image quality improvement technology: a review[J]., 2019, 41(10): 941-946.

[4] 楊俊彥, 吳建東, 宋敏敏. 紅外成像制導(dǎo)技術(shù)發(fā)展展望[J]. 紅外, 2016, 37(8): 1-6. YANG Junyan, WU Jiandong, SONG Minmin. Development and prospect of infrared imaging guidance technology[J]., 2016, 37(8): 1-6.

[5] Ahmadi K, Salari E. Small dim object tracking using frequency and spatial domain information[J]., 2016, 58(3): 227-234.

[6] JIA Y, GAO T, ZHAO J. Texture based infrared military target extraction[J]., 2011, 44-47: 2489-2493.

[7] LAW W, XU Z, YONG K. Manganese-doped near-infrared emitting nanocrystals for in vivo biomedical imaging[J]., 2016, 24: 17553-17561.

[8] 任向陽(yáng), 王杰, 馬天磊, 等. 紅外弱小目標(biāo)檢測(cè)技術(shù)綜述[J]. 鄭州大學(xué)學(xué)報(bào): 理學(xué)版, 2020, 52(2): 1-21. REN Xiangyang, WANG Jie, MA Tianlei, et al. Review on infrared dim and small target detection technology[J].:Natural Science Edition, 2020, 52(2): 1-21.

[9] ZHENG C, LI H. Small infrared target detection based on harmonic and sparse matrix decomposition[J]., 2013, 52(6): 066401.

[10] ZHANG B, ZHANG T, CAO Z, et al. Fast new small-target detection algorithm based on a modified partial differential equation in infrared clutter[J]., 2007, 46(10): 106401.

[11] BAI X, ZHOU F, XUE B. Infrared dim small target enhancement using toggle contrast operator[J]., 2012, 55: 177-182.

[12] Bae T, ZHANG F, Kweon I. Edge directional 2D LMS filter for infrared small target detection[J]., 2012, 55(1): 137-145.

[13] Karal? A, Okman O, Ayta? T. Adaptive enhancement of sea-surface targets in infrared images based on local frequency cues[J]., 2010, 27(3): 509-517.

[14] Angaitkar P, Saxena P. Enhancement of infrared image: a review[J]., 2012, 2(2): 1186-1189.

[15] Janani V, Dinakaran M. Infrared image enhancement techniques - a review[C]//, 2014: 167-173.

[16] Morris N, Avidan S, Matusik W, et al. Statistics of infrared images[C]//, 2007: 1-7.

[17] Nanhakumar N, Aggarwal J. Integrated analysis of thermal and visual images for scene interpretation[J]., 1988, 10(4): 469-481.

[18] 穆為磊, 高建民, 陳富民, 等. 符合人眼視覺(jué)特性的焊縫射線數(shù)字圖像增強(qiáng)方法[J].西安交通大學(xué)學(xué)報(bào), 2012, 46(3): 90-93. MU Weilei, GAO Jiammin, CHEN Fumin, et al. Weld radiographic image enhancement conforming to human visual system [J]., 2012, 46(3): 90-93.

[19] 龔昌來(lái), 羅聰, 楊冬濤, 等. 基于正弦灰度變換的紅外圖像增強(qiáng)算法[J]. 激光與紅外, 2013, 43(2): 200-203. GONG Changlai, LUO Cong, YANG Dongtao, et al. Infrared image enhancement based on sine gray level transformation[J]., 2013, 43(2): 200-203.

[20] 汪國(guó)有, 陳振學(xué), 李喬亮. 復(fù)雜背景下紅外弱小目標(biāo)檢測(cè)的算法研究綜述[J]. 紅外技術(shù), 2006, 28(5): 287-292. WANG Gouyou, CHEN Zhenxue, LI Qiaoliang. A review of infrared weak and small targets detection under complicated background[J]., 2006, 28(5): 287-292.

[21] Mahata S, Kar R, Mandal D. Optimal fractional-order highpass Butterworth magnitude characteristics realization using current-mode filter[J]., 2019, 102: 78-89.

[22] YANG L, YANG J, YANG K. Adaptive detection for infrared small target under sea-sky complex background[J]., 2004, 40(17): 1083-1085.

[23] DONG X, HUANG X, ZHENG Y. Infrared dim and small target detecting and tracking method inspired by human visual system[J]., 2014, 62: 100-109.

[24] HAN J, MA Y, HUANG J. An infrared small target detecting algorithm based on human visual system [J]., 2016, 13(3): 452-456.

[25] ZHANG Y, ZHENG L, ZHANG Y. Small infrared target detection via a Mexican-hat distribution[J]., 2019, 5: 5570.

[26] 周姣, 辛云宏. 基于顯著性與尺度空間的紅外弱小目標(biāo)檢測(cè)[J]. 激光與紅外, 2015, 45(4): 452-456. ZHOU Jiao, XIN Yunhong. Infrared dim small target detection based on saliency and scale-space[J]., 2015, 45(4): 452-456.

[27] Srivastava H, Khatterwani K, Upadhyay S. A certain family of fractional wavelet transformations[J]., 2019, 42(9): 3103-3122.

[28] Boccignone G. Small target detection using wavelets[C]//, 1998: 1776-1778.

[29] Davidson G, Griffiths H. Wavelet detection scheme for small target in sea clutter[J]., 2002, 38(19): 1128-1130.

[30] Candes E. Ridgelets: Theory and Application[D]. Stanford: Stanford University, 1998.

[31] Starck J, Candes E, Donoho D. The curvelet transform for image denoising[J]., 2002, 11(6): 131-141.

[32] Do M, Vetterli M. The Contourlet transform: an efficient directional multi-resolution image representation[J]., 2005, 14(12): 2091-2106.

[33] Easley G, Labate D, Lim W. Sparse directional image representation using the discrete shearlet transforms[J]., 2008, 25: 25-46.

[34] Lim W. Nonseparable shearlet transform[J]., 2013, 22(5): 2056-2065.

[35] PENG L, ZHANG T, LIU Y, et al. Infrared dim target detection using shearlet's kurtosis maximization under non-uniform background[J]., 2019, 11(5): 723.

[36] CHEN C, LI H, WEI Y. A local contrast method for small infrared target detection[J]., 2014, 52(1): 574-581.

[37] BAI X, BI Y. Derivative entropy-based contrast measure for infrared small-target detection[J]., 2018, 56(4): 2452-2466.

[38] LI S, LI C, YANG X, et al. Infrared dim target detection method inspired by human vision system[J]., 2020, 206: 164167.

[39] 危水根, 王程偉, 張聰炫, 等. 多信息融合的紅外弱小目標(biāo)檢測(cè)[J]. 紅外技術(shù), 2019, 41(9): 857-865. WEI Shuigen, WANG Chengwei, ZHANG Congxuan, et al. Infrared dim target detection based on multi-information fusion[J]., 2019, 41(9): 857-865.

[40] YI X, WANG B, ZHOU H, et al. Dim and small infrared target fast detection guided by visual saliency[J]., 2019, 97: 6-14.

[41] 黃蘇琦. 時(shí)空譜多特征聯(lián)合紅外弱小目標(biāo)檢測(cè)方法研究[D]. 成都: 電子科技大學(xué), 2020. HUANG Suqi. Infrared Dim Small Target Detection Based on Joint Temporal-Spatial-Spectral Features[D]. Chengdu: University of Electronic Science and Technology of China, 2020.

[42] Serra J.[M]. New York: Academic Press, 1982.

[43] BAI X, ZHOU F. Analysis of new top-hat transformation and the application for infrared dim small target detection[J]., 2010, 43(6): 2145-2156.

[44] ZHU H, LIU S, DENG L. Infrared small target detection via low-rank tensor completion with top-hat regularization[J]., 2019, 58(2): 1004-1016.

[45] BAI X, ZHOU F. Analysis of new top-hat transformation and the application for infrared dim small target detection[J]., 2010, 43(6): 2145-2156.

[46] 劉源, 湯心溢, 李爭(zhēng). 基于新Top Hat變換局部對(duì)比度的紅外小目標(biāo)檢測(cè)[J]. 紅外技術(shù), 2015, 37(7): 544-552. LIU Yuan, TANG Xinyi, LI Zheng. A new top hat local contrast based algorithm for infrared small target detection[J]., 2015, 37(7): 544-552.

[47] Ohki S. Two-dimensional LMS adaptive filters[J]., 1991, 37(1): 66-73.

[48] LV P, SUN S, SUN C, et al. Space moving target detection and tracking method in complex background[J].2018, 91: 107-118.

[49] 張藝璇, 李玲, 辛云宏. 基于自適應(yīng)雙層TDLMS濾波的紅外小目標(biāo)檢測(cè)[J]. 光子學(xué)報(bào), 2019, 48(9): 186-198. ZHANG Yixuan, LI Ling, XIN Yunhong. Infrared small target detection based on adaptive double-layer TDLMS filter[J]., 2019, 48(9): 186-198.

[50] Bae T, Sohng K. Small target detection using bilateral filter based on edge component[J]., 2010, 31(6): 735-743.

[51] ZHAO J, CHEN Y, FENG H, et al. Infrared image enhancement through saliency feature analysis based on multi-scale decomposition[J]., 2014, 62: 86-93.

[52] LU Y, HUANG S, ZHAO W. Sparse representation based infrared small target detection via an online learned double sparse background dictionary[J]., 2019, 99: 14-27.

[53] GAO C, MENG D, YANG Y, et al. Infrared patch-image model for small target detection in a single image[J]., 2013, 22(12): 4996-5009.

[54] WANG X, PEN Z, KONG D, et al. Infrared dim target detection based on total variation regularization and principal component pursuit[J]., 2017, 63: 1-9.

[55] ZHANG L, PENG L, ZHANG T, et al. Infrared small target detection via non-convex rank approximation minimization Joint/2,1norm[J]., 2018, 10(11): 1821.

[56] DAI Y, WU Y, SONG Y. Infrared small target and background separation via column-wise weighted robust principal component analysis[J]., 2018, 77: 421-430.

[57] 熊斌, 黃心漢, 王敏. 基于自適應(yīng)目標(biāo)圖像恢復(fù)的紅外弱小目標(biāo)檢測(cè)[J]. 華中科技大學(xué)學(xué)報(bào): 自然科學(xué)版, 2017, 45(10): 25-30. XIONG Bin, HUANG Xinhan, WANG Min. Infrared small target detection based on adaptive double-layer TDLMS filter[J].: Natural Science Edition, 2017, 45(10): 25-30.

[58] Bouwmans T, Javed S, Sultana M, et al. Deep neural network concepts for background subtraction: A systematic review and comparative evaluation [J]., 2019,117: 8-66.

[59] Sheri A, Rafique M, Jeon M, et al. Background subtraction using Gaussian-Bernoulli restricted Boltzmann machine[J]., 2018, 12(9): 1646-1654.

[60] Farnoosh A, Rezaei B, Ostadabbas S. DeepPBM: Deep probabilistic background model estimation from video sequences [J/OL]., 2019, https://arxiv.org/abs/1902. 00820v1.

[61] Akilan T, WU J. sEnDec: An improved image to image CNN for foreground localization[J]., 2019, 21(10): 4435-4443.

[62] ZHENG W, WANG K, WANG F. A novel background subtraction algorithm based on parallel vision and Bayesian GANs[J]., 2020, 394: 178-200.

[63] Lim L, Keles H. Foreground segmentation using convolutional neural networks for multiscale feature encoding [J]., 2018, 112: 256-262.

[64] FAN Z, BI D, XIONG L, et al. Dim infrared image enhancement based on convolutional neural network[J]., 2018, 272: 396-404.

[65] ZHANG T, CAO S, PU T, et al. AGPCNet: attention-guided pyramid context networks for infrared small target detection[J/OL]., 2021, https://arxiv.org/abs/2111.03580.

[66] WANG H, ZHOU L, WANG L. Miss detection vs. false alarm: Adversarial learning for small object segmentation in infrared images[C]//(ICCV), 2019: 8508-8517.

[67] DAI Y, WU Y, ZHOU F, et al. Asymmetric contextual modulation for infrared small target detection[C]//(WACV), 2021: 949-958.

[68] LI B, XIAO C, WANG L, et al. Dense nested attention network for infrared small target detection[J/OL]., 2022, Doi: 10.1109/TIP.2022.3199107.

[69] WANG K, DU S, LIU C, et al. Interior attention-aware network for infrared small target detection[J]., 2022, 60: 1-13.

[70] YAN P, HOU R, DUAN X, et al. STDMANet: spatio-temporal differential multiscale attention network for small moving infrared target detection[J]., 2023, 61: 5602516.

[71] HU Y, MA Y, PAN Z, et al. Infrared dim and small target detection from complex scenes via multi-frame spatial–temporal patchtensor model[J]., 2022, 14(9): 2234.

[72] WU T, LI B, LUO Y, et al. MTU-Net: multilevel transUNet for space-based infrared tiny ship detection[J]., 2023, 61: 5601015.

[73] SONG Z, HUI B. A dataset for infrared image dim-small aircraft target detection and tracking underground/air background[DB/OL]//, [2019-10-28]. https://www.scidb.cn/en/detail?dataSetId=7206264 20933459968&dataSetType=journal.

[74] SUN X, GUO L, ZHANG W, et al. A dataset for small infrared moving target detection under clutter background[DB/OL]., [2023-10-24]. https://cstr.cn/31253.11.sciencedb.j00001.00231.

Review of Dim Small Target Detection Research in Single Infrared Image

FAN Zunlin1，WANG Hao2，GUAN Naiyang1，YE Tingting3，SUN Qianchong1,4

(1. Academy of Military Sciences PLA China, Beijing 100071, China;2. Tianjin Artificial Intelligence Innovation Center, Tianjin 300000, China;3. Unit 96911 of Chinese People's Liberation Army, Beijing 100089, China;4. College of Computer, National University of Defense Technology, Changsha 410073, China)

For long-distance and wide field-of-view scenes, infrared target detection has significant challenges owing to the principle of a thermal imager, interference of the atmospheric environment, and attenuation of infrared radiation by long-distance transmission media. Based on the characteristic analysis of small-target infrared images, such as complex background, dim and small targets, low image contrast, and lack of image structures, we reviewed the research status of infrared dim small-target detection from target highlight and background estimation and discussed the development trend of infrared dim small-target detection.

infrared dim small target detection, target highlight, background estimation, mathematical driven, data driven

TP391.41

A

1001-8891(2023)11-1133-08

2022-09-23；

2023-03-28.

凡遵林（1991-），男，助理研究員，主要從事紅外技術(shù)、光電圖像處理和計(jì)算機(jī)視覺(jué)等方面的研究。E-mail：18191261397@163.com。

孫騫沖（1984-），男，博士，主要從事紅外技術(shù)、計(jì)算機(jī)視覺(jué)和人工智能等方面的研究。E-mail：sunqianchong@hotmail.com。

國(guó)家自然科學(xué)基金“數(shù)理和數(shù)據(jù)雙驅(qū)動(dòng)的紅外弱小目標(biāo)檢測(cè)技術(shù)研究”（62106280）。