基于改進快速區域卷積神經網絡的視頻SAR運動目標檢測算法研究

閆 賀 黃 佳 李睿安 王旭東 張勁東 朱岱寅

(南京航空航天大學電子信息工程學院 南京 210000)

1 引言

視頻合成孔徑雷達(Video Synthetic Aperture Radar, ViSAR)具備高幀率分辨率的成像能力[1]，可在云層、沙塵、煙霧等惡劣作戰環境下，實現對地面運動目標全天時全天候的持續觀測，并獲取目標的運動參數等重要信息[2]。因此，視頻SAR一經提出就成為研究熱點。美國桑迪亞實驗室利用重疊模式下的回波信息，實現了Ku頻段視頻SAR的實時高分辨率成像[3]。美國國防部高級研究計劃局也已經研制出了235 GHz的視頻SAR成像系統。此外，美國噴氣推進實驗室、德國Fraunhofer研究所等研究機構，近年也研制出了不同頻率、不同體制的太赫茲雷達成像系統[2]。目前，國內視頻SAR系統的研制與國外仍具有較大差距。

由于視頻SAR一般工作于太赫茲波段，運動目標極易產生多普勒頻移，從而在目標真實位置處留下陰影[4]。國內外學者對視頻SAR中出現的陰影現象，提出了很多處理方法。文獻[5]利用Hough變換，檢測在SAR圖像中呈現條紋形狀的運動目標陰影。文獻[6]通過對序列圖像進行背景補償，利用混合高斯背景模型提取運動目標陰影。文獻[7]將相干變換檢測方法拓展到視頻SAR中，通過實測數據驗證了此方法在處理視頻SAR數據上的優勢。上述研究方法大多是建立在視頻SAR幀間圖像高度配準情況下的，如果未得到有效配準，則會帶來較多的虛警。文獻[8]借助美國桑迪亞實驗室獲取的對地視頻SAR數據，采用了深度神經網絡對運動目標陰影進行檢測，并結合滑動密度聚類算法和雙向長短期記憶網絡減少漏警，取得了較好的效果。但是，對于快速運動目標，由于其合成孔徑內陰影脈沖比例太小，成像后目標陰影并不明顯。此外，當視頻SAR工作于對海模式時，由于海面后向散射強度較弱，更加難以區分海面背景雜波和艦船陰影。

因此，本文重點對視頻SAR下的運動目標“亮線”特征進行檢測。借助課題組的MiniSAR系統獲得的視頻SAR圖像，將改進的快速區域卷積神經網絡(Faster Region-based Convolutional Neural Networks, Faster R-CNN)算法與K-means聚類相結合，利用殘差網絡提取原始SAR圖像的高維特征，并引入特征金字塔網絡，通過組合池化層前后不同尺度的特征圖為后續的算法提供多尺度組合的圖像特征，有效降低了視頻SAR的虛警率，實現視頻SAR模式下的運動目標檢測。

2 視頻SAR工作原理

根據軌跡的不同，視頻SAR一般分為圓跡模式和直線模式。雷達平臺在一定高度上，沿著一定軌跡持續飛行，通過調整波束指向，保證雷達波束始終覆蓋目標區域，然后利用子孔徑后向投影等算法進行處理，合理分割后實現視頻成像[9]。視頻SAR成像對雷達工作頻率有很高的要求，而高頻率視頻SAR系統目前國內也較難實現，因此成像時，可根據實際情況使用幀間重疊復用技術。

由于太赫茲頻段相關器件的硬件研制難度大、費用高，課題組研制的X波段MiniSAR系統，借助聚束SAR模式、幀間復用技術、PFA成像技術，實現了觀察場景的視頻SAR成像[10]。圖1為MiniSAR成像系統的飛行圖。由于該MiniSAR系統工作于X波段，相比于太赫茲波段相差較大，相應的多普勒敏感度也要遠低于正常的太赫茲視頻SAR系統，因此在本課題組實現的視頻SAR成像中難以觀察到有效的運動目標陰影，也無法利用陰影檢測相關技術實現視頻SAR運動目標檢測。圖2所示為觀察場景的視頻SAR成像結果(分別是第90幀、第640幀和第960幀)及合作運動目標的標注結果(黃色圓圈標注)，可以看出不同幀數的運動目標有明顯差異。表1為部分MiniSAR成像系統參數。

3 基于改進Faster R-CNN的視頻SAR運動目標檢測

深度學習目標檢測算法[11]一般分為1階段和2階段兩類算法，1階段以YOLO系列算法為典型代表，2階段以R-CNN系列算法為典型代表[12]。其中，2階段算法對目標檢測率更高，根據課題組研制的MiniSAR成像系統采集到的視頻SAR中多小目標且難以檢測的特點，本文選用Faster R-CNN算法。圖3為設計的基于改進Faster R-CNN的視頻SAR運動目標檢測流程圖。

3.1 數據集的構建

利用視頻SAR構造數據集。首先對視頻分幀，取出靜態SAR圖像并進行存儲。本文使用的特征提取網絡為卷積殘差網絡ResNet101[13]。由于ResNet101網絡對輸入圖像的分辨率沒有固定要求，因此得到的SAR圖像可直接輸入網絡進行訓練和測試。然后，為提高模型的泛化能力和魯棒性，對視頻SAR數據進行數據增強，并以一定比例劃分訓練集和測試集。

圖1 自制MiniSAR系統飛行圖

圖2 觀察場景的部分視頻SAR成像結果及合作目標分布情況(黃色圓圈標注)

表1 部分MiniSAR系統參數

3.2 基于改進Faster R-CNN的視頻SAR運動目標檢測

圖3 基于改進的Faster R-CNN的視頻SAR運動目標檢測流程圖

圖4 改進的Faster R-CNN算法流程圖

圖4為本文改進的Faster R-CNN算法流程圖。WILD TRACK公開數據集上已證明殘差網絡Res-Net101檢測性能優于VGG16。因此，本文采用ResNet101殘差網絡提取視頻SAR目標特征，以達到加深網絡層數，高維特征較好提取的效果。

3.2.1 K-means聚類算法

K-means聚類算法作為一種無監督學習，在1967年由Macqueen提出，該算法是聚類分析中應用最廣泛的算法[14]。使用該算法對視頻SAR數據中大大小小的運動目標矩形框按相似度劃分成n組，先隨機選擇n個數據點作為初始質心，然后通過計算兩點距離和設置閾值不斷更新質心來得出最終結果。

傳統Faster R-CNN算法中的anchor box人為設置。然而針對不同的數據集，待檢測目標有所不同，因此修改anchor box的大小和數量是很有必要的。Faster R-CNN算法的原始訓練集是Pascal VOC數據集，與視頻SAR中的運動目標大小分布不同，因此本文對視頻SAR目標進行聚類，然后將結果作為anchor box的設置依據，以達到加快網絡收斂和提高檢測精度的效果。

3.2.2 區域生成網絡

區域生成網絡(Region Proposal Network,RPN)由一個全卷積網絡實現。RPN用于判斷視頻SAR區域建議是否包含目標，若包含則輸入后續網絡。同時，RPN也將輸出目標可能的候選區域。其中，定義目標的候選框和真實框的邊框重疊度為交并比(Intersection Over Union, IOU)。通常定義IOU>0.7時，預測結果為正樣本(目標)，否則為負樣本(背景)。非極大值抑制(Non-Maximum Suppression, NMS)算法[15]廣泛應用在邊緣檢測和目標檢測中，解決了分類時候選區域框的重疊現象，除去冗余框，提高了檢測效率。

將FPN結構與ResNet101網絡結合，可以對不同特征的視頻SAR目標根據RPN產生的區域建議進行動態調整，并在不同深度的特征圖上進行特征提取，從而達到更好的預測結果。圖5為特征金字塔結構，圖5中放大的區域使用1×1卷積核，將處理過的低層特征和高層特征進行累加，這樣更加準確的視頻SAR“亮線”位置信息和高維特征可以在一張特征圖上顯示，既減少了特征圖數量又不改變特征圖大小。

3.2.3 ROI Align

原Faster R-CNN中ROI Pooling層，將不同大小的視頻SAR預選框裁剪成固定尺度的特征圖，在整個網絡框架中含有兩次取整過程，那么降采樣之后的結果框會與視頻SAR原圖產生偏差，對視頻SAR較小運動目標的影響較為突出。而ROI Align將對每個候選區域保持浮點數邊界，解決了上述偏差問題。然后，利用雙線性插值法將區域固定到特征圖大小為14×14。最后，所有結果輸入分類層和回歸層，分類層判斷候選區域運動目標陰影的概率，回歸層將給出運動目標的坐標。

4 基于實測數據的驗證與分析

本文實驗在Window10系統下進行，利用深度學習框架Tensorflow，硬件環境配置：GPU為GeForce GTX 1080Ti, CUDA 8.0，顯存11 GB。

4.1 數據集的構建

深度學習需要大量的數據集進行網絡訓練，利用本課題組研制的MiniSAR系統實測得到的34 s視頻SAR數據進行運動目標檢測。通過對視頻SAR進行分幀，共得到1021幀SAR圖像，其中包含運動目標的有效SAR圖像為806幀。一般情況下，訓練集與測試集按7:3比例劃分，由于視頻SAR運動目標特征較少，因此按2:1劃分訓練集與測試集，將536幀原始圖片用于訓練，余下270幀作為測試集。

對536幀的原始圖片進行數據增強處理以達到擴充數據集的目的，常用方法有平移、旋轉、加噪等。通過對原始圖片進行45°, 90°, 135°, 180°,225°和270°的隨機旋轉和加噪處理，使得訓練集擴充為原訓練集的4倍，部分數據強化如圖6(a)—圖6(f)所示。

圖5 FPN結構

4.2 特征金字塔結構對Faster R-CNN算法的影響

特征金字塔結構將不同深度的特征圖進行融合，提高了對視頻SAR圖片特征的利用。本文使用的數據集目標尺寸大小不一，其中較小目標不占少數，而Faster R-CNN在最后一層進行卷積池化時，許多小目標信息將大幅度減少甚至被遺漏。因此，引入FPN結構可以大大提高對小目標的檢測率。針對測試集的270幀SAR圖像的小目標進行統計，共含83個小目標。準確率為檢測出的正確目標個數與真實總個數之比，漏檢率為未被檢測出的目標個數與真實總個數之比，誤檢率為錯誤檢測出的目標個數與真實總個數之比。表2統計了特征金字塔結構對Faster R-CNN算法的影響。可以看出在83個小目標的檢測中，結合了FPN結構的算法檢測率提高了38.8%，同時誤檢率也有所下降。

圖6 數據集的構建

4.3 網絡結構參數對訓練結果的影響

分辨不同網絡結構參數對訓練結果的影響，要采用控制變量的方法訓練網絡。為了抑制模型復雜度，避免過擬合，本文保持權重衰減率0.0001，動量0.9不變。通過改變訓練次數、學習率和激活函數，研究這些參數對訓練結果的影響。

首先，為減小局部最小值概率，采用warm-up分階段學習率方法訓練網絡。即設初始學習率(Learning Rate, LR)為loss1，當訓練次數達到N1和N2時，學習率下降為0.1×loss1和0.01×loss1。本文設置N1為20000步，N2為40000步。其次，傳統Faster R-CNN算法使用默認激活函數ReLU。ReLU函數實現了單側抑制的效果，當輸入為正時，導數為1，允許基于梯度的學習；當輸入為負時，導數為0，從而無法更新權重，導致神經元“壞死”。對于本文使用的視頻SAR數據集中較小目標的檢測，為了解決這個缺點，可以在ReLU函數的負半軸引入一個極小的泄露(leaky)值，使得負半軸的信息不至于全部丟失。具體參數對訓練結果的影響如表3所示。

表2 有無FPN 結構的性能對比

表3 具體參數對訓練結果的影響

可以看出網絡結構參數對檢測結果的影響各不相同。隨著訓練次數的增加，網絡Loss值逐步下降至收斂。不難看出，訓練次數設置在50000步最佳。激活函數選擇使用Leaky-ReLU對檢測結果的提升有一定的好處，但影響不是很大。學習率作為深度學習的主要參數，決定目標函數能否收斂到局部最小值以及何時收斂到最小值。一般范圍內，學習率越小，收斂速度越慢。當學習率由0.010變為0.001時，運動目標檢測的準確率提高了5.5%。

圖7(a)—圖7(f)分別是第54幀、第78幀、第120幀、第150幀、第191幀和第210幀的傳統Faster R-CNN算法在單幀SAR圖像上完成運動目標的初步檢測結果。紅色矩形框是正確檢測出的運動目標，黃色橢圓框是漏檢的運動目標，綠色橢圓框是誤檢的目標信息。其中，第54幀檢測結果雖然檢測出了運動目標，但是可以看出檢測出的框大小與實際目標的大小有所出入；第150幀運動目標圖像出現一定程度的間斷，檢測結果出現了結果不匹配情況；第191幀由于運動目標的信息較弱，發生了漏檢和誤檢情況。由此可以看出傳統Faster R-CNN算法的準確性低，漏檢率和誤檢率高。

通過FPN充分利用目標信息，減少了運動目標的漏檢情況。然后采用K-means聚類算法對算法進行預處理，得到一組合理的anchor box的設置，這樣使得檢測出來的框更加接近運動目標的真實框。通過以上方法的處理和網絡參數的調整，大大降低了運動目標的漏檢，實現了對虛警的抑制。圖8(a)—圖8(f)分別是第54幀、第78幀、第120幀、第150幀、第191幀和第210幀為改進后的Faster R-CNN算法的運動目標檢測結果。

4.4 K-means聚類預處理

首先對運動目標的長寬進行K-means聚類，得到5個不同的長寬尺寸，分別為[124, 45], [518, 119],[830, 199], [226, 63]和[336, 120]。然后對運動目標的長寬比進行K-means聚類，得到5個聚類中心：2,4, 7, 11, 25。因此設置anchor box寬高比為{2, 4,7, 11, 25}，面積為{4×4, 8×8, 16×16, 32×32,64×64}。在保持其余參數不變的情況下，anchor box的設置分為憑經驗設置和利用K-means聚類結果設置兩種。表4可以看出anchor box的設置通過K-means聚類，在算法準確率上得到了一定的提高。

為了更好地對比傳統Faster R-CNN算法與改進后的Faster R-CNN算法的性能，表5為測試集270幀視頻SAR圖像共279個運動目標的統計結果。改進后的Faster R-CNN算法較傳統Faster R-CNN準確率上提高了9.8%，誤檢率減小了3.6%。

5 結束語

本文提出了一種結合FPN的Faster R-CNN算法的視頻SAR的動目標檢測方法。對Faster R-CNN算法中的部分參數進行了定量分析，并利用K-means聚類方法對改進的Faster R-CNN算法進行優化，提高了該算法針對視頻SAR運動目標的檢測率，該方法同樣適用于其他參數形式的視頻SAR系統。將深度學習方法用于雷達領域，實現了針對視頻SAR中多尺度目標的高精度端對端的目標檢測，為視頻SAR運動目標軌跡跟蹤奠定基礎。

圖7 傳統Faster R-CNN檢測結果

圖8 改進的Faster R-CNN檢測結果

表4 anchor box設置對訓練結果的影響

表5 不同模型下運動目標檢測性能對比