基于改進多尺度分形特征的紅外圖像弱小目標檢測

谷 雨，劉 俊，沈宏海，彭冬亮，徐 英

(1. 杭州電子科技大學 自動化學院，浙江 杭州 310018；2. 中國科學院 長春光學精密機械與物理研究所，吉林 長春 130033)

1 引 言

弱小目標檢測是紅外搜索與跟蹤系統需解決的關鍵技術之一，在防空制導和安全監視等應用對于提高目標探測距離發揮重要作用[1]。基于圖像信息檢測這類目標存在以下難點：由于目標尺寸小或探測距離遠，成像后目標缺乏明顯的紋理和形狀特征；受背景輻射和成像傳感器的影響，圖像中存在隨機噪聲和大量雜波，導致目標信噪比(Signal-to-Noise Ratio, SNR)低。雖然學者提出了多種弱小目標檢測算法，但在復雜背景下如何快速準確地檢測這類目標仍是一個亟待解決的難題[2]。

實現紅外圖像弱小目標檢測的方法主要包括時域方法、空域濾波方法和變換域方法三種[3]。其中空域濾波方法，例如最大均值濾波(MaxMean)和最大中值濾波(MaxMedian)[4]、高帽濾波(TopHat)[5]等，是一種基于單幀圖像的目標檢測方法，雖然具有實時性好的優點，但在復雜背景下虛警率高，一直是學者重點研究的方向之一[6]。利用目標與周圍背景間像素灰度差異大于背景區域間差異這一假設，學者最近提出了多種行之有效的紅外圖像弱小目標檢測算法。文獻[7]根據人類視覺系統的魯棒特性，提出了一種局部對比度測度(Local Contrast Measure, LCM)來衡量當前像素與其鄰域的對比度差異性，但該算法只能檢測場景中的亮目標，且實時性較差。為提高LCM的實時性和檢測性能，學者提出了多種改進算法[8-11]。文獻[8]提出一種多尺度分塊對比測度(Multiscale Patch-based Contrast Measure, MPCM)用于紅外圖像小目標檢測，該算法有效降低了虛警率，且算法實時性高。文獻[9]提出了一種紅外弱小目標分層檢測算法。首先采用簡化的LCM計算得到目標顯著圖，然后設計分類器區分目標與背景。文獻[12]提出一種局部變異加權信息熵算法，通過抑制復雜背景實現紅外弱小目標檢測。

根據Mandelbrot等人提出的分形幾何理論[13]，分形模型雖然能在一定尺度范圍內描述自然景物的外觀，例如山、云、海岸線等，但不適用于人造目標，故可利用這種差異實現圖像中感興趣目標的增強。文獻[14-15]首先基于分形理論提出了平均灰度絕對差極值分布圖(Average Gray Absolute Difference Maximum Map, AGADMM)算法，該算法基于每個像素與不同尺度鄰域內灰度均值的絕對差值計算得到一個特征向量，然后采用取極大值操作計算得到增強圖像。為進一步提高AGADMM算法的檢測性能，文獻[3]融合了AGADMM和局部信息熵，設計了一種基于加權圖像熵(Novel Weighted Image Entropy, NWIE)的紅外弱小目標檢測算法。文獻[16]采用分形維數的三階統計特征來檢測紅外圖像弱小目標。文獻[17]和文獻[18]均采用多尺度分形特征實現小目標檢測，其不同之處在于，文獻[17]根據分形維數的計算定義一個差異性度量-多尺度差分分形，而文獻[18]是利用分形維數相關的分形參數K來定義差異性。

本文在對文獻[18]算法分析基礎上，首先提出了一種改進分形參數K相關的多尺度分形特征，然后對該特征計算進行簡化，提出了具有較高計算效率的圖像增強算法用于紅外圖像弱小目標檢測，并通過實驗驗證了提出算法的有效性。相比于當前主流目標檢測算法，本文算法具有如下特點：可調參數少，同時適用于弱小目標和較大目標的檢測，且無論目標為亮目標或暗目標；算法實時性好，對于低分辨率圖像(320×240)在PC端能夠滿足實時性需求。

2 相關工作

2.1 紅外圖像加性模型

根據文獻[19]，紅外圖像I可看作由三部分組成：

I(x,y)=It(x,y)+Ib(x,y)+In(x,y),

(1)

其中：It,Ib,In分別表示目標圖像，背景圖像和噪聲圖像，(x,y)為像素坐標。假設圖像中目標的灰度分布可由二維高斯函數描述[1]，當噪聲為高斯白噪聲時，圖像的SNR可由式(2)計算得到。

SNR(I)=(Imax-Imean)/std(I),

(2)

其中：Imax,Imean分別表示為圖像I的最大值和均值，std(I)是圖像I的標準差。通常情況下，SNR越高，目標越容易被檢測到。

2.2 分形參數K相關的多尺度分形特征

依據分形幾何理論，分形測度M(ε)與尺度ε

的關系可描述為[13,20]：

M(ε)=Kεd-FD,

(3)

其中：FD和d分別表示分形維數和拓撲維數，K為分形參數。

對于二維灰度圖像，式(3)可被描述為：

A(x,y,ε)=K(x,y,ε)ε2-FD(x,y,ε),

(4)

其中A(x,y,ε)表示在尺度下ε像素坐標為(x,y)處的圖像灰度表面積測度，該值可以用地毯覆蓋法[21]或盒計數法[22]估計求得。

當尺度分別為ε1和ε2時，由式(4)可得：

logA(x,y,ε1)=

(2-FD(x,y,ε1))e/slog(ε1)+logK(x,y,ε1),

(5)

logA(x,y,ε2)=

(2-FD(x,y,ε2))log(ε2)+logK(x,y,ε2).

(6)

對于一個理想的分形，分形維數FD可認為是與尺度無關的量，假設其為一個常數。若K(x,y,ε)在相鄰尺度下的值相等，則當ε1=ε，ε2=ε-1時，K(x,y,ε)的計算公式如式(7)所示：

(7)

文獻[18]定義了一個分形參數K相關的多尺度分形特征(Multiscale Fractal Feature related with K，MFFK)，具體計算公式如式(8)所示，εmax表示設定的最大尺度。

(8)

3 基于改進多尺度分形特征的弱小目標檢測算法

3.1 用于弱小目標增強的改進多尺度分形特征

根據地毯覆蓋法，圖像灰度表面積A(x,y,ε)可由式(9)和式(10)計算得到。

(9)

A(x,y,ε)=V(x,y,ε)/2ε,

(10)

其中：U(x,y,ε)和B(x,y,ε)分別表示在尺度ε下，像素坐標(x,y)鄰域范圍(2ε+1)×(2ε+1)內像素的最大值和最小值。

(11)

將式(10)代入式(7)得到式(11)，整理后K(x,y,ε)由正數部分，負數部分和偏置三部分組成。根據式(9)可知，V(x,y,ε)為一定尺度內每點像素鄰域內灰度的最大值與最小值差值求和計算得到，故在均勻背景區域內該差值較小，V(x,y,ε)接近0，K(x,y,ε)也趨近于0；將logV(x,y,ε)與logV(x,y,ε-1)的差值記作logV(x,y,ε)，盡管在非均勻背景區域V(x,y,ε)的值很大，但由于較大的背景變化導致logV(x,y,ε)值也較大。在小目標區域，無論目標為亮目標或暗目標，當尺度ε大于目標尺寸時，logV(x,y,ε)都接近于0，所以小目標區域的K(x,y,ε)值要大于非齊次背景區域。

綜合以上分析，K(x,y,ε)的均值在小目標區域最大，在非均勻背景區域減小，在均勻背景區域最小。K(x,y,ε)的方差在小目標區域和均勻背景區域要小于非均勻背景區域。為消除非均勻背景區域內的虛警，本文提出一種改進多尺度分形特征(Improved MFFK, IMFFK)，采用向量K(x,y,ε)的均值平方與方差的差值計算得到增強圖像，如式(12)所示：

(12)

采用6幅帶小目標的紅外圖像進行圖像增強實驗，基于MFFK和IMFFK的圖像增強結果分別如圖1第2行和第3行所示。可以看出，采用提出的改進特征增強后圖像中目標比較顯著(紅圈內為目標)，背景得到了很好地抑制，而基于MFFK的增強后圖像中目標并不顯著，很難把目標從背景中分割出來(彩圖見期刊電子版)。

圖1 基于MFFK和IMFFK的圖像增強結果Fig.1 Image enhancement results based on MFFK and IMFFK

3.2 基于改進多尺度分形特征的目標檢測

式(11)中包含了大量指數和對數運算，算法的實時性能受到影響。若忽略式(11)中的負數部分和偏置，則K(x,y,ε)=V(x,y,ε)。此時是采用某一尺度區域內每點像素灰度極值的差值的和來描述區域中心像素的顯著性。考慮到尺度改變引起的差異，借鑒深度學習中的平均池化思想，本文采用式(13)定義了一個具有較高計算效率的隨尺度變化的特征向量，然后根據式(12)計算得到增強圖像。

(13)

提出的基于改進多尺度分形特征的高效紅外圖像增強算法偽碼如表1所示。首先計算中心坐標為(x,y)、區域(2ε+1)×(2ε+1)內像素極值的差值作為區域中心的顯著性，然后通過平均池化以降低噪聲的影響，在不同尺度下計算得到一個隨尺度變化的特征向量。最后采用式(12)計算得到增強圖像EImage。本文算法與AGADMM，LCM類似，均利用了目標與周圍鄰域的對比度差異，得到一個隨尺度變化的特征向量。雖然本文算法與AGADMM均是基于分形理論，但AGADMM利用了中心像素灰度與周圍鄰域內像素灰度均值的差異來定義差異性；LCM則基于人眼視覺系統的魯棒性，將周圍鄰域進行區域劃分，采用目標區域像素灰度最大值與周圍8鄰域像素灰度均值的比值來定義局部對比度。

基于上述算法對圖像進行增強后，為消除邊界效應，設置邊界區域的灰度值為0，將其余特征圖像素范圍縮放至區間[0, 255]以方便可視化和后續目標檢測，如式(14)所示：

E=EImage(2εmax+1:rows-

2εmax,2εmax+1:cols-2εmax).

(14)

采用如式(15)所示的自適應閾值對增強后圖像進行分割，得到檢測目標的位置[3]。

T=c×SNR(E)×std(E)+mean(E).

(15)

其中分割系數c需根據實際場景設置。經實驗測試，檢測小目標其合理范圍為[0.45 0.75]，對于較大目標檢測設為[0.15 0.45]。當εmax=4時，提出的基于改進多尺度分形特征的紅外圖像目標檢測算法流程如圖2所示。首先基于多尺度分形理論計算得到多個特征圖，然后在每個像素點根據得到的多尺度特征向量利用提出的改進多尺度分形特征計算得到增強圖像，最后通過閾值分割得到目標檢測結果。

表1 基于改進多尺度分形特征的高效紅外圖像增強算法

Tab.1 Computationally efficient IR image enhancement algorithm based on an improved multiscale fractal feature

輸入: 紅外圖像I, 最大尺度εmax輸出: 增強圖像EImage參數:rows和cols分別為輸入圖像I的行數和列數for εmax=1∶εmax for x=ε+1∶rows-ε for y=ε+1∶cols-ε f=I(x-ε:x+ε,y-ε:y+ε) D(x,y,ε)=max(f(:))-min(f(:)) endendfor x=ε+1 : rows-ε for y=ε+1: cols-ε g=D(x-ε:x+ε,y-ε:y+ε,ε) V(x,y,ε)=sum(g(:)) end endendfor x=εmax+1:rowsεmax, for y=εmax+1:rows-εmax for ε=1:εmax t(x,y,ε)=V(x,y,ε)(2ε+1)2 end EImage(x,y)= mean(t(x,y,:))2-std(t(x,y,:))2 endend

圖2 εmax=4時基于改進多尺度分形特征的紅外圖像目標檢測算法流程框圖Fig.2 Flowchart of IR object detection algorithm based on an improved multiscale fractal feature using εmax=4

4 實驗結果分析

首先通過仿真圖像分析了最大尺度變化對提出算法增強和檢測性能的影響，并討論了在不同類型噪聲下對于檢測結果的影響，然后通過真實圖像測試提出算法的檢測性能，并與主流的基于局部對比度測度的紅外圖像弱小目標檢測算法進行了比較分析。

4.1 本文算法檢測能力及適用性分析

4.1.1 最大尺度εmax對增強性能的影響

對于含有較大目標的圖像，如果設置的最大尺度使得最大區域尺寸大于目標尺寸，則當該區域位于圖像邊緣時，該區域將具有較大的灰度極值差值，目標內部區域由于其均質性將表現出低差值。由于像素灰度的突然改變，當使用小的最大尺度時，大目標的邊界區域將被增強。考慮方型和高斯型兩類目標，設定目標尺寸分別為3×3，9×9，15×15時，通過仿真圖像研究當最大尺度εmax=4時所提出算法的目標檢測性能，設定分割系數c=0.65。圖4(a)為理想的無噪聲方型目標，增強結果的二維和三維圖分別如圖4(b)和圖4(c)所示，圖4(d)為目標檢測結果。從圖4中可以看出，當目標尺寸小于2εmax+1時，可被完全檢測；當目標尺寸大于等于2εmax+1時，由于目標邊緣區域內的灰度值變化明顯，所以此處增強效果明顯。同樣的結論也適用于高斯目標，從圖5所示的檢測結果可以看出，當目標尺寸變大時，由于目標灰度峰值附近的灰度差值要小于其周圍像素，故該處形成一個空洞。

圖3 不同εmax下本文算法的圖像增強結果Fig.3 Image enhancement results using proposed algorithm under different εmax

圖4 尺寸為3×3, 9×9, 15×15的理想方型目標增強和檢測結果Fig.4 Results of enhancement and detection for square-type objects under sizes of 3×3, 9×9, 15×15

綜合以上分析，本文算法可用于檢測紅外小目標，以及較大目標的邊緣。由于使用較大的εmax會增加計算量，綜合考慮到檢測性能和實時性的需求，后續實驗中設置εmax=4。

圖5 尺寸為3×3, 9×9, 15×15的理想高斯型目標增強和檢測結果Fig.5 Results of enhancement and detection for Gaussian-type objects under sizes of 3×3, 9×9, 15×15

圖6 高斯噪聲和椒鹽噪聲對檢測性能的影響Fig.6 Influence of Gaussian and salt-and-pepper noises on detection performance

4.1.2 不同噪聲類型對檢測性能影響分析

為驗證提出算法在噪聲存在情況下的檢測性能，在圖4和圖5的理想圖像中加入高斯噪聲和椒鹽噪聲。參考文獻[7]和文獻[8]，高斯噪聲的均值和方差分別設為0和0.001，椒鹽噪聲的密度設為0.000 05。圖6中第1行和第3行分別為添加高斯噪聲和椒鹽噪聲后一次合成圖像，第2行和第4行為檢測結果。從圖6可以看出，添加高斯噪聲對于較大尺寸目標的檢測影響較大，這主要是因為本文算法利用了區域內極值的差值來定義顯著性，受到噪聲影響較大的目標邊緣區域的分割結果會出現斷續情況，即目標被分割成多個部分，故產生虛警。根據圖3的增強結果可知，對于尺寸為一個像素的目標本文算法也具有較好的增強結果，故椒鹽噪聲對于本文算法的檢測結果影響較大。從圖6第4行的檢測結果看，本文檢測算法受椒鹽噪聲密度和空間分布的影響，若噪聲位于目標區域，則也能夠檢測到目標。同時也可以看出，本文算法能夠檢測到場景中存在的椒鹽噪聲，這說明對于圖像中潛在的亮目標或暗目標，本文算法能夠檢測到。

綜上，提出的基于改進多尺度分形特征的目標檢測算法既可以用來檢測圖像中的弱小目標，也可以用于檢測較大目標的邊緣。當目標尺寸較大時對高斯噪聲較為敏感，椒鹽噪聲的存在會嚴重影響本文算法的性能，可通過中值濾波等降低其影響。

圖7 本文算法對紅外圖像中弱小目標的增強和檢測結果Fig.7 Results of IR dim-small target enhancement and detection using proposed algorithm

4.2 本文算法對紅外真實圖像檢測結果

采用紅外真實圖像來驗證本文算法的實時性和檢測性能。由于均采用局部對比度信息進行目標增強和背景抑制，故選擇AGADMM[16]，NWIE[3]，LCM[7]和MPCM[8]4種算法進行對比實驗。其中，AGADMM,NWIE,LCM和MPCM的最大鄰域均設置為9×9，NWIE計算熵的窗口尺寸設為5×5[3]。

4.2.1 復雜場景下紅外圖像的目標檢測性能

采用圖1中6幅帶弱小目標圖像，及1幅帶較大目標的紅外圖像來測試本文算法的目標檢測性能。分割系數c分別設為0.65和0.25，增強和檢測結果分別如圖7第2行和第3行所示(紅框為檢測結果)。對比圖1和圖7可以看出，本文算法雖然對分形參數K的計算進行了簡化，但仍具有較好的目標增強效果。對第3張圖片檢測結果存在兩個虛警，產生虛警的主要原因是該區域灰度值低于周圍環境，可視為暗目標，而AGADMM和LCM僅考慮亮目標情況。本文算法同樣適用較大目標的檢測，對最后一幅圖像能夠檢測出全部目標，僅在海天線處存在一個虛警。

4.2.2 實時性對比分析

采用如下計算機配置：Intel(R) Core(TM) i7-9750H@2.6 GHz CPU, 16 G RAM，RTX2060 6G GPU。采用Matlab實現各算法，對本文算法、基于IMFFK的目標檢測算法、NWIE和LCM算法的耗時部分(循環操作)采用C語言實現。進行100次蒙特卡洛模擬，取最小的一次耗時作為該算法的耗時，具體結果如表2所示。當IR圖像分辨率為320×240時，本文算法計算耗時為27.75 ms，達到36 frame/s，能夠滿足實時性的要求。由于計算IMFFK特征需要指數和對數計算，故算法更加耗時，本文算法中僅包含四則運算。從表3可以看出，本文算法與AGADMM相當，優于NWIE和LCM，MPCM的實時性最好。

表2 檢測算法計算耗時

圖8 5種算法檢測結果Fig.8 Detection results using five different algorithms

4.2.3 與基于局部對比度測度的目標檢測算法性能對比分析

圖8為5種算法對圖1中6幅圖像的目標檢測結果，從圖中可以看出，上述算法均能有效地增強目標并抑制大部分背景。第1幅圖像背景比較簡單，故均能夠準確檢測到目標；從圖7的增強結果看，本文算法對第2幅圖像的海天線區域也具有較強的增強效果，但目標增強效果最強，通過設置合理的分割系數能夠剔除這些雜波，LCM算法對第2幅圖像檢測結果最差；本文算法對于較大尺寸目標檢測也能達到理想的結果，與LCM都能夠檢測出第5幅圖像中潛望鏡的完整區域，而AGADMM，NWIE和MPCM只能檢測到目標的局部。從檢測結果看，AGADMM，NWIE和MPCM這三種算法更適合于小目標的檢測。第6幅圖像中包含3個目標，本文算法、AGADMM、NWIE和MPCM均能準確檢測到三個目標，LCM算法只檢測到一個目標。但由于對這些目標的增強效果不一，根據場景設置合理的分割系數仍是一個需要解決的難題。

表3 增強后圖像的SNR

表3為圖像增強后的SNR結果。對于第1幅圖像，原始圖像信噪比為3.04，本文算法增強后圖像接近37。NWIE算法由于結合了AGADMM和圖像熵兩種顯著性度量，故增強后圖像的SNR大于僅采用AGADMM算法的SNR。LCM算法增強后圖像SNR提高不多，對于第3幅圖像甚至出現SNR下降的情況，故LCM算法的檢測結果最差。不同于LCM算法將背景區域分為8個部分，本文算法使用一個區域內最大最小值的差值來描述區域中心的顯著度，所以該算法對方向不敏感，除增強小目標外，還可增強圖像中的邊緣區域，故增強后圖像的SNR比AGADMM，NWIE和MPCM算法低。

為量化比較各算法的性能，定義檢測概率(Probability of detection,Pd)和虛警率(Probability of false alarms,Pfa)計算公式如下[3,7-8]：

Pd=Nd/Nt,

(16)

Pfa=Nfa/Ni,

(17)

其中：Nd,Nt,Nfa和Ni分別代表檢測到的真實目標數量、標注的真實目標數量、虛警目標數量和圖像數量。得到檢測結果后，當檢測目標和真實目標相交時，檢測到的真實目標數加1，否則虛警目標數較1。

考慮圖1中第2幅圖像信噪比過低，第6幅圖像存在3個目標，故本文對圖1中第1，3，4，5幅圖像添加方差為0.001的高斯噪聲。設定分割系數c=0.65，運行100次統計各算法的檢測結果計算得到檢測概率和虛警率如表4所示。

表4 噪聲存在情況下各檢測算法性能比較

Tab.4 Performance comparison of several detection algorithms under different noises

No.本文算法AGADMMNWIELCMMPCMPd0.901.001.000.990.95Pfa1.450.330.298.390.43

由表4可以看出，本文算法在存在噪聲的情況下虛警率高于AGADMM，NWIE和MPCM。從圖6可以知道，當目標尺寸較大時，較大噪聲會導致分割后目標被分為多個部分，產生虛警。此外，設計的改進分形特征利用了局部區域內像素最大值與最小值的差值作為一種測度，當原始圖像SNR較低時，噪聲存在會導致一些雜波增強幅度超過目標區域，導致檢測概率降低。AGADMM由于采用不同尺度下區域灰度均值的差異作為顯著性度量，故對高斯噪聲不敏感，而NWIE進一步結合了局部信息熵，虛警率較AGADMM進一步降低。MPCM虛警率高于AGADMM和NWIE的原因是第3幅圖像中疑似暗目標的存在。

為提高本文提出算法的檢測性能，尤其是對弱小目標的檢測性能，一方面可參考文獻[3]，在得到增強圖像后，結合局部信息熵進一步提高對弱小目標的增強效果。另一方面是僅考慮目標為亮目標情況時，計算增強圖像既考慮目標與周圍鄰域的局部對比度，也考慮目標區域的灰度分布，在表1算法中計算D(x,y,ε)時可采用式(18)進一步提高目標增強效果，抑制低灰度值的背景。當采用式(18)時，按照表4的實驗條件檢測概率和虛警率分別為1.00和0.67。

D(x,y,ε)=

max(f(:))*(max(f(:))-min(f(:))).

(18)

5 結 論

本文在對MFFK特征計算過程進行分析基礎上，設計了一種適應于紅外圖像增強的改進多尺度分形特征，并提出了一種具有較高計算效率的紅外圖像弱小目標檢測算法。實驗結果表明，所提算法對紅外圖像弱小目標具有較好的增強和檢測結果，算法同時具備對較大目標的檢測能力，且無論目標為亮目標或暗目標。提出的算法對于低分辨率紅外圖像，能夠滿足30 frame/s的實時性要求。針對提出算法虛警率較高的情況，給出了針對不同類型目標進行算法改進的建議。對于場景中存在多個目標的情況，如何選擇合適的閾值分割算法，將是下一步研究的方向。