紅外小目標SSD-DSST算法與目標模擬系統(tǒng)研究

王 磊，高 揚，張 慧，郝永平

(沈陽理工大學機械工程學院，遼寧 沈陽 110159)

0 引言

紅外小目標檢測被廣泛應用于紅外制導、預警等軍事領域[1]。紅外小目標的像素與整張圖的像素比不超過圖像整體的0.15%,成像面積只有幾個像素到十幾個像素,在復雜背景的情況下,小目標往往只含有少量的語義特征。由于目標在成像系統(tǒng)較遠處,紅外輻射的能量在距離上顯著衰弱狀態(tài),紅外小目標易淹沒在背景之中,目標檢測難度較大,在此條件下的檢測能力具有理論意義和應用價值。

為提升小目標的檢測能力,國內外學者通過深度學習的計算機視覺技術在目標檢測領域獲得了重大進展[2-11]。目前,基于卷積神經(jīng)網(wǎng)絡[4]的深度學習檢測算法成為主流,按照是否存在候選區(qū)可分為一階段目標檢測[5]和兩階段目標檢測[6]算法。兩階段算法是在產生候選框的前提下在對候選區(qū)域內目標進行分類和回歸,如CNN[7],R-CNN[8],Fast R-CNN[9]等,算法雖精度高,實時性差,檢測小目標效果差;一階段算法不對候選區(qū)進行提取,只用一級網(wǎng)絡完成了分類和回歸,這類算法主要有SSD[10],YOLO[11]等,算法雖實時性高,但檢測精度低。

針對紅外小目標識別過程受到復雜背景的干擾,目標特征不明顯,易丟失等問題,提出了一種基于改進SSD與DSST方法的紅外小目標檢測算法,通過通道-空間注意力機制與FPN特征金字塔結構改進SSD網(wǎng)絡,采用DSST對目標下一幀目標進行位置和尺度預測。在PC端與ZYNQ嵌入式平臺聯(lián)合搭建了目標融合模擬系統(tǒng),可將待測小目標融入到復雜背景下,實現(xiàn)預定場景模擬,對所提算法進行評估和驗證。

1 改進的SSD檢測網(wǎng)絡

1.1 加入通道-空間注意力機制的SSD算法

傳統(tǒng)SSD卷積網(wǎng)絡特征非線性程度不夠,僅靠目標訓練不能獲得理想的識別精度[11]。在主干檢測網(wǎng)絡生成特征圖階段引入注意力機制,使檢測網(wǎng)絡更加關注特征圖中目標可能存在的位置區(qū)域,提高卷積對特征圖的遍歷速度和小目標識別準確率。同時增加目標上下文信息,縮小檢測范圍,提升紅外小目標的檢測能力算法原理為:通過CBAM機制對網(wǎng)絡生成的特征圖Z分別產生一維通道注意力、二維空間注意力共兩個尺度的特征圖,推斷出特征圖的注意力權重系數(shù)。特征圖中每一個通道作為一個特征檢測器,選擇利用最大池化和平均池化的方法學習目標的判別性特征,將特征送入一個共享的多層感知機(MLP)網(wǎng)絡中得到通道注意力權重,將每個通道的權重與原卷積的特征加權融合[11]來提取目標特征信息,通道注意力參數(shù)矩陣為:

Mc(Z)=σ(W1(W0(Zavg,c))+W1(W0(Zmax,c)))

(1)

其中:Z為輸入特征圖;σ為激活函數(shù);Zavg,c和Zmax,c分別表示平均池化和最大池化;W0,W1為兩個全連接層各自的權重參數(shù)。

對于空間注意力機制關注特征圖中重要信息的位置,將通道注意力產生的特征圖拼接起來,對拼接起來的特征圖上進行卷積操作產生最終的空間注意力特征圖,空間注意力參數(shù)矩陣為:

Ms(Z)=σ(f7×7(Zavg,c;Zmax,c))

(2)

其中f表示卷積核為7×7的卷積核。

將通道注意力機制生成的通道注意力矩陣與輸入特征圖進行元素級相乘得到Z′,再將Z′與空間注意力矩陣進行元素級相乘得到輸出特征圖Z″,如式(3)、式(4)所示,式中?表示元素級相乘。

Z′=Mc(Z)?Z

(3)

Z″=Ms(Z)?Z′

(4)

1.2 FPN 算法改進SSD網(wǎng)絡

針對紅外圖像對比度較低、分辨細節(jié)能力差、目標特征不明顯問題,以及傳統(tǒng)SSD卷積網(wǎng)絡模型中并沒有使用原始圖像的底層特征,其深層特征的語義信息無法與淺層結構信息融合,造成目標細節(jié)信息丟失。

利用FPN算法將檢測網(wǎng)絡的淺層次特征與高層次特征在“自下而上”的數(shù)據(jù)流向基礎上采用橫向連接,把高層語義信息傳遞給淺層檢測網(wǎng)絡,實現(xiàn)多尺度的信息融合,豐富底層特征圖的語義信息,提升小目標的檢測能力。FPN算法改進的SSD網(wǎng)絡架構如圖1所示。

圖1 FPN算法改進SSD網(wǎng)絡架構圖Fig.1 Improved SSD network architecture of FPN algorithm

以VGG16的SSD網(wǎng)絡為基礎對卷積網(wǎng)絡進行改進,紅色箭頭代表Conv1×1卷積核的卷積操作,意在改變特征的輸出個數(shù)的同時,不改變特征尺度,將反卷積和卷積輸出的特征圖保持數(shù)據(jù)一致性。綠色箭頭代表上采樣,通過反卷積操作使進行反卷積之后的深層特征圖與鄰近上一層特征圖保持大小和通道數(shù)相同。“⊕”表示將上采樣和Conv1×1卷積后的特征圖對應元素線性疊加,所疊加兩個特征圖的寬度、高度以及通道數(shù)均相等。改進網(wǎng)絡輸出6種不同尺度的特征圖,利用3×3卷積核對融合疊加結果進行卷積計算來解決上采樣的混疊效應。

2 基于改進的SSD網(wǎng)絡與DSST的紅外小目標檢測算法

上述的空間-通道注意力機制與FPN算法改進的SSD檢測網(wǎng)絡對紅外小目標的檢測能力有明顯提高,但在復雜背景下易受其他目標干擾,導致小目標丟失和誤檢。為解決問題,將DSST算法與改進的SSD檢測網(wǎng)絡相結合,利用上一幀對目標當前幀位置和尺度進行精確估計,實現(xiàn)目標檢測。通過給改進的SSD檢測網(wǎng)絡設置閾值來判別檢測是否準確,將檢測不準確的圖像輸入到DSST算法進行二次檢測,此方法有效避免改進的SSD網(wǎng)絡誤檢和漏檢問題。基于改進SSD網(wǎng)絡與DSST的紅外小目標檢測算法總流程圖如圖2所示。

圖2 改進SSD網(wǎng)絡與DSST的紅外小目標檢測流程圖Fig.2 Flow chart of improving SSD network and DSST infrared small target detection

將待檢測圖像輸入到FPN算法改進的SSD卷積檢測網(wǎng)絡,生成6種不同尺度大小的特征圖。隨后利用通道-空間注意力機制計算目標可能存在的區(qū)域權重,經(jīng)過非極大值抑制,實現(xiàn)目標檢測。計算檢測目標框的置信度α,通過實驗條件下得到的不同閾值下AP值的對比關系,確定合適的閾值A大小。當α≥A, 說明檢測結果準確,算法直接輸出檢測結果;當α

(5)

式中:hl為第l個通道對應的濾波器;p為訓練樣本特征;λ為正則化參數(shù)為了提高運算速度;s為樣本對應的高斯函數(shù)輸出。

為提高運算速度,將ε轉化為頻域計算,通過極值點求導法則得到濾波器輸出H:

(6)

(7)

對于新的一幀,在前一幀的位置基礎上,提取三倍目標大小的圖像特征,進行傅里葉逆變換:

y=F-1(Yt)

(8)

此時響應最大對應的區(qū)域即為當前幀目標區(qū)域。對于新位置的尺度大小,用目標的33個尺度樣本特征訓練原理相同的尺度濾波器,來負責檢測目標的尺度變化,通過位置與尺度兩個濾波器的相互作用,實現(xiàn)對新一幀的目標檢測。

3 嵌入式與PC平臺的目標融合與識別模擬系統(tǒng)

為模擬復雜背景下紅外小目標的運動情況,開發(fā)了能夠把目標圖片融合到背景,進行目標估計設定、檢測與跟蹤的目標融合識別系統(tǒng)。系統(tǒng)包括下位機嵌入式ZYNQ7000的開發(fā)平臺[12],通過紅外或可見光攝像頭完成復雜背景的圖像采集,圖像預處理、VDMA數(shù)據(jù)讀取、以太網(wǎng)控制等;通過UDP網(wǎng)絡傳輸協(xié)議把ZYNQ采集的高清背景圖像傳輸?shù)絇C端進行圖像數(shù)據(jù)樣本解析和處理。PC端的圖像接收程序采用VC++開發(fā)了通過發(fā)送,應答,再發(fā)送,接收數(shù)據(jù)的雙握手協(xié)議,實現(xiàn)復雜背景下圖像預處理后的傳輸與接收。通過定制上位機PC端MATLAB GUI(graphical user interface)平臺,實現(xiàn)背景圖像合成,目標疊加,疊加視頻生成,峰值信噪比PSNR(peak signal to noise ratio)的計算、目標識別等功能。通過PC MATLAB, Visual C++, 嵌入式ZYNQ7000等軟硬件平臺完成協(xié)同設計與測試仿真,軟件的控制流程與功能模塊如圖3所示。

圖3 嵌入式與PC平臺的目標融合與識別系統(tǒng)Fig.3 Target fusion and recognition system based on embedded and PC platform

系統(tǒng)通過不同目標在復雜背景下的疊加融合實現(xiàn)預設場景的高效模擬與測試,驗證和評測不同目標檢測和跟蹤算法、避免復雜驗證實驗,節(jié)約成本,提高效率。

在得到不同場景下的背景圖像后,通過定制開發(fā)的PC端MATLAB GUI目標融合與檢測跟蹤系統(tǒng)可以方便選擇不同分辨率的目標圖片,目標數(shù)量,實現(xiàn)目標圖片融合到背景圖片或視頻的功能;融合系統(tǒng)實現(xiàn)對不同的幀率的背景照片進行圖像視頻生成,可設定目標的運動軌跡,在不同的測試背景中變化;對生成仿真測試視頻進行動態(tài)展示和存儲。

系統(tǒng)通過人機界面菜單或按鈕可分別顯示背景視頻、目標和背景的融合視頻、融合目標的跟蹤視頻等,還可實現(xiàn)對融合后的圖像視頻進行實現(xiàn)峰值信噪比(PSNR)計算,曲線顯示,實際目標軌跡的繪制等功能,可對生成的圖像視頻按照不同路徑進行保存。采用所提算法,對融合后小目標進行檢測跟蹤,其在系統(tǒng)后臺運行。

4 實驗研究與分析

為了進一步驗證ZYNQ硬件平臺與VC、 MATLAB系統(tǒng)聯(lián)合仿真能力,ZYNQ可作為視頻背景測試源處理后結果返回到PC平臺,對提出的目標檢測算法進行實驗測試。通過搭建系統(tǒng)可采集不同的真實實驗場景下的背景數(shù)據(jù)。上位機作為接收端,可實現(xiàn)對ZYNQ嵌入式板卡采集的高清圖片或視頻的傳輸。通過配置不同需求的可見光攝像頭或紅外攝像頭等可實現(xiàn)對不同場景下背景環(huán)境數(shù)據(jù)的采集,為在PC端MATLAB GUI進行目標融合疊加、融合提供背景環(huán)境圖像樣本數(shù)據(jù)。

搭建了半實物仿真系統(tǒng)包括上位機PC端筆記本電腦,1個嵌入式ZYNQ7000開發(fā)板,千兆以太網(wǎng)線等。PC端采用所提的改進SSD目標識別算法識別待測目標,視頻圖像數(shù)據(jù)接收平臺采用VC++語言編制。下位機嵌入式平臺采用ZYNQ,在VIVADO環(huán)境下編制,燒錄仿真器為XDS100V1型。融合后的視頻文件可保存。

為保證模擬系統(tǒng)的目標融合效果,對融合后的圖片進行峰值信噪比(PSNR)計算,結果如圖4所示。

圖4 不同紅外背景區(qū)域PSNR值Fig.4 PSNR value of different infrared background areas

圖4(a)為8×8點目標插入到背景上半部分區(qū)域所得到的峰值信噪比下降比率曲線;圖4(b)為點目標插入到動態(tài)變化的背景(下半部分)中峰值信噪比的曲線,相應的不同區(qū)域PSNR下降百分比結果如表1所示。

表1 PSNR下降百分比均值Table 1 Mean value of PSNR decrease percentage %

計算8×8分辨率下目標圖片融合到紅外視頻內生成仿真測試視頻的全區(qū)域PSNR變化均值, 全區(qū)域疊加視頻PSNR下降不超過5%,保證圖像質量的前提下滿足實驗測試要求。

為驗證所提算法在復雜環(huán)境干擾下對小目標的識別能力,點目標分別疊加于背景上、下區(qū)域,如圖5所示。通過對PSNR的計算,上半?yún)^(qū)域PSNR下降值小,整體PSNR值較大,圖像失真量少,目標的輪廓信息清晰,用以模擬簡單背景下的識別;下半?yún)^(qū)域有艦船等其他移動目標和干擾的噪點,PSNR值變化均值大,識別過程中有疑似目標干擾,模擬復雜背景。

圖5 模擬復雜背景下紅外小目標Fig.5 Simulating small infrared targets in complex background

實驗選取了紅外小目標和背景圖像共300張樣本數(shù)據(jù),對其進行特征訓練,選擇150張不同復雜背景程度下紅外小目標圖像進行測試。利用平均精度AP值作為評價指標,與傳統(tǒng)SSD檢測算法進行比較分析,對算法性能進行評估,識別結果如圖6所示。圖中方框區(qū)域則是通過算法檢測的目標位置。

由圖6(a),圖6(b)對比可見,圖6(a)中真實目標設置在背景上半?yún)^(qū)域時,傳統(tǒng)SSD算法深層由于特征語義信息不能與淺層結構信息融合,使目標細節(jié)信息丟失,當受到下半?yún)^(qū)域艦船等移動目標干擾,未能有效識別真實目標,誤識別了下半?yún)^(qū)域的偽目標。圖6(b)所提算法通過當前幀目標位置和尺度進行精確估計,能有效識別出上半?yún)^(qū)域的真實目標。由圖6(c),圖6(d)對比可見,真實目標設置在背景下半?yún)^(qū)域時,目標附近背景復雜,識別難度增加,傳統(tǒng)SSD算法受復雜背景干擾識別了下半?yún)^(qū)域的疑似偽目標物體,不能準確的檢測到真實目標,所提算法通過對混淆區(qū)域內目標框置信度閾值的計算與判斷,結合DSST算法,實現(xiàn)當前幀圖像目標位置和尺度預測,在不同復雜程度背景下準確的識別小目標。

通過對運動目標多幀檢測研究,所提算法與傳統(tǒng)SSD算法的精度對比如表2所示,針對選取150幀小目標樣本圖片進行檢測,傳統(tǒng)SSD算法有效檢測129張,所提算法有效檢測147張。傳統(tǒng)算法識別的召回率為74.10%,AP值為86.89%;所提算法召回率為83.71%,AP值為98.17%,平均精度提高了11.28%,算法在復雜場景下具有一定的自適應性,改善了目標識別能力。

表2 不同算法的檢測精度對比Table 2 Comparison of detection accuracy of different algorithms

5 結論

提出改進的SSD網(wǎng)絡與DSST紅外小目標檢測算法,通過加入特征金字塔網(wǎng)絡來豐富卷積層,在特征圖生成階段加入通道-空間注意力機制提高小目標的區(qū)域權值;在改進檢測網(wǎng)絡提高小目標檢測能力的同時,通過閾值判斷結合DSST算法,對當前幀圖像目標進行位置和尺度預測,檢測目標位置。搭建了嵌入式ZYNQ與PC平臺的目標融合模擬系統(tǒng),利用嵌入式ZYNQ平臺進行背景圖像采集,將背景圖像樣本數(shù)據(jù)傳輸給PC端,進行數(shù)據(jù)解析后,實現(xiàn)背景圖像合成,目標疊加,目標軌跡設定、疊加視頻生成,峰值信噪比PSNR的計算、融合后目標識別等功能。針對實驗采集的紅外樣本,采用傳統(tǒng)SSD與所提算法進行測試實驗和精度對比,AP值提高了11.28%,驗證了所提算法有效性。