基于多尺度圓周頻率濾波與卷積神經網絡的遙感圖像飛機目標檢測方法研究

楊鈞智 吳金亮 智 軍

①(北京市遙感信息研究所 北京100011)

②(中國電子科技集團公司第五十四研究所 石家莊050081)

1 引言

基于光學遙感圖像的目標檢測與識別是遙感數據分析領域的重要研究方向。在眾多觀測目標中，飛機不僅在民用領域是重要的交通載體，在軍用領域更是關鍵的打擊力量。因此，基于遙感圖像的飛機目標識別技術在民用領域和軍事領域均具有重要的意義。但由于遙感觀測平臺位置的特殊性，遙感圖像往往包含大量的復雜地物背景且飛機目標類型、尺寸、姿態往往具有不確定性，基于遙感圖像的飛機目標檢測仍面臨許多問題和挑戰。

為了解決遙感圖像飛機目標檢測這一難題，相關研究學者提出了各種方法并取得了一定的成果。與一般的目標檢測方法相同，根據目標檢測步驟不同可將遙感圖像飛機目標檢測方法分為兩階段飛機目標檢測和一階段飛機目標檢測兩類。其中，兩階段飛機目標檢測方法首先基于飛機特征從遙感圖像中提取出候選區域，然后進一步精細判別候選區域是否存在待檢目標。An等人[1]利用圓周頻率濾波(Circle Frequency Filter,CFF)算法實現飛機候選區域提取，最后將候選區域方向梯度直方圖(Histogram Of Gradient,HOG)輸入至AdaBoost分類器實現飛機目標檢測，此方法沒有考慮飛機目標尺度變化問題，因此對于多尺度飛機目標檢測效果較差。Liu等人[2]基于CFF提取的候選區域，將徑向梯度變換和稀疏編碼相結合提出了一種新的飛機旋轉不變特征，并利用線性支持向量機(Sup port Vector Machine,SVM)實現候選框篩選。Wu等人[3]利用二值化梯度特征(BInarized Normed Gradients,BING)實現潛在候選區域提取，然后構建卷積神經網絡模型(Convolutional Neural Networks,CNN)實現背景和目標分類，但該方法沒有充分利用飛機特征，因此在復雜場景下會生成大量候選區域。Yu等人[4]利用深度玻爾茲曼機(Deep Boltzmann Machine,DBM)提取圖像高階特征，并基于霍夫森林模型進行投票，最終實現飛機目標檢測。Luo等人[5]通過訓練對飛機具有較強響應的SVM實現目標候選區域提取，并針對不同飛機指向訓練32個SVM實現飛機目標檢測，此方法使用的分類器過多使得目標檢測速度有所下降。Li等人[6]通過區域合并算法和直線提取算法提取飛機候選目標，再利用SVM實現候選目標分類。Diao等人[7]基于視覺顯著性算法實現飛機目標候選區域提取，然后利用深度置信網絡分類器(Deep Belief Networks,DBN)實現飛機目標精確檢測。文獻[8,9]利用特征金字塔對傳統Faster-RCNN網絡框架進行改進，但改進后的網絡對于小目標飛機檢測效果仍待改進。一階段飛機目標檢測則將飛機檢測問題視為飛機位置回歸問題，利用經典目標檢測網絡如YOLO(You Only Look Once)[10,11],SSD(Single Shot multibox Detector)[12–16]等實現飛機目標的直接檢測與定位，但目前對于小飛機目標檢測仍是亟需解決的問題。

針對遙感圖像飛機目標檢測因飛機目標尺度不一而產生虛警、漏警等問題，為解決目前主流算法虛警率較高的問題，同時確保目標檢測率在較高的水平，本文基于遙感圖像飛機目標形狀特征和變化特點，通過分析遙感圖像中飛機目標特征，構建了一種具有尺度不變性和旋轉不變性的多尺度圓周頻率濾波模型，并基于圓周濾波響應幅值實現飛機目標候選區域快速提取。在此基礎上，通過構建卷積神經網絡分類器并對其進行訓練從而實現候選區域有效分類，最終精確確定飛機目標位置。

2 算法原理

2.1 基于多尺度圓周頻率濾波的目標候選區域提取

圓周頻率濾波器(CFF)最早應用于人臉檢測，受該方法的啟發，本文依據飛機固有特征設計了一種適用于遙感圖像飛機目標檢測的圓周頻率濾波器，并基于多尺度圓周頻率濾波器(Multi-Scale Circle Frequency Filter,MSCFF)實現不同尺度飛機目標候選區域提取。

2.1.1飛機幾何特征分析

自萊特兄弟發明飛機以來，雖然飛機結構形式不斷地改進，飛機類型不斷地增多，但飛機仍具有固定的幾何形狀特征。從外部結構來看，飛機主要由主機身和兩側機翼組成，若在遙感圖像中以飛機中心為原點選取合適半徑的圓周，則該圓周將被飛機主機身、尾翼和兩側機翼劃分為“機身-背景-機翼-背景-尾翼-背景-機翼-背景”8個部分，由于飛機目標相對于背景往往具有較高的灰度值，因此圓周像素灰度將呈現“亮-暗-亮-暗-亮-暗-亮-暗”變化規律。如圖1所示，圖1(a)為遙感圖像包含飛機目標的區域，圖1(b)展示了以飛機中心為圓心采樣圓周像素灰度變化趨勢圖，圖1(c)為隨機選取的遙感圖像復雜背景區域，圖1(d)展示了以圖像中心為圓心采樣圓周像素灰度變化趨勢圖。從圖1(b)和圖1(d)中可以看出，以飛機中心為圓心的圓周采樣點灰度變化呈4峰4谷變化趨勢，類似于4個周期的正弦/余弦函數；而由于復雜背景的雜亂性及圖像灰度變化的無規律性，以復雜背景為中心的圓周采樣點灰度往往無明顯變化規律。本文將充分利用飛機目標這一幾何及灰度分布特性，構建多尺度圓周頻率濾波器數學模型，從而實現遙感圖像飛機目標候選區域提取。

2.1.2多尺度圓周頻率濾波器

圖1 采樣圓周像素灰度變化

式(2)和式(3)中c為用于控制求解1維離散傅里葉變換時正弦函數與余弦函數的周期數。由于以飛機中心為圓心的圓周采樣像素點序列灰度值變換呈4峰4谷的變化趨勢，類似于4個周期的正弦/余弦函數，而其余干擾背景區域圓周灰度變化不具備此特點，因此若式(2)和式(3)中取c=8，此時以飛機中心為圓心的圓周采樣像素點序列灰度傅里葉變換后的幅值響應最大，而以背景為中心的圓周像素灰度由于不具備該變化趨勢，故其傅里葉變換后幅值響應較小，根據這一原理即可快速濾除復雜背景區域，初步定位遙感圖像飛機目標位置。

式中，r l為圓周采樣半徑，l∈[0,L?1];f(i,j,r i)為像素點采樣圓周半徑下的圓周頻率濾波振幅響應；f(i,j)為 像素點(i,j)多尺度圓周頻率濾波響應。

圖2展示了同一遙感圖像在單尺度圓周頻率濾波器與多尺度圓周頻率濾波器下的濾波響應結果，圖2(a)為原始遙感圖像，圖2(b)為采樣周長為12像素的傳統圓周頻率濾波結果，圖2(c)為本文采用的多尺度圓周頻率濾波結果，可以看出傳統圓周頻率濾波對于小飛機目標的濾波響應值較小，易與背景混淆從而導致漏警，而多尺度圓周頻率濾波對于不同尺度的飛機目標均有較強的響應。

2.1.3基于濾波響應的飛機目標候選區域定位

根據多尺度圓周頻率濾波原理，遙感圖像飛機目標區域對多尺度圓周頻率濾波器響應值較高，而復雜背景區域和目標干擾區域對多尺度圓周頻率濾波器響應較低，因此可以基于濾波響應圖像實現飛機目標區域的快速定位，基于濾波響應的飛機目標候選區域定位算法總體方案如圖3所示。

圖2 圓周頻率濾波響應圖像

圖3 飛機候選區域定位總體方案

利用多尺度圓周頻率濾波實現遙感圖像飛機目標候選區域提取的算法流程如下：

(1)多尺度圓周頻率濾波：對原始遙感圖像采用多尺度圓周頻率濾波，將濾波響應歸一化至[0,255]從而得到濾波響應圖像。

(2)圖像二值化：設置合理閾值th對濾波響應圖像二值化，低于閾值像素均視為背景，灰度值設置為0，高于閾值像素作為飛機區域候選點。

(3)形態學處理：對二值化圖像先后進行閉運算和開運算，閉運算用于填補飛機中心區域漏洞，開運算用于分離飛機目標和背景。

(4)連通區域標記：對形態學處理后的二值化圖像進行連通區域標記，獲取各連通區域外接矩形，這些矩形即為遙感圖像對多尺度圓周頻率濾波響應較強區域。

(5)候選區域篩選：基于連通區域標記結果，考慮到飛機目標實際尺度和形狀，濾除像素面積<200像素或連通區域等效離心率>0.95的連通區域，最終獲得遙感圖像飛機候選區域。

圖4與圖5分別展示了基于傳統圓周頻率濾波響應圖像和基于多尺度圓周頻率濾波響應圖像的飛機目標候選區域提取算法仿真結果，可以看出，由于遙感圖像中包含的飛機目標尺寸差異較大，基于傳統的圓周頻率濾波響應的飛機候選區域提取算法均有不同程度的漏警現象，而基于多尺度的圓周頻率濾波響應圖像的飛機候選區域雖然略有增加，但都沒有發生由于飛機尺寸變化導致的漏警現象，因此，對于同一遙感圖像包含的飛機目標尺寸懸殊的情況，本文提出的算法相對于傳統方法，在運算量略有增加的情況下，其檢測效果具有顯著提升。從圖5(b)可以看出遙感圖像中飛機目標區域均具有較高響應值，但從圖5(c)連通區域標記結果可以看出原始連通區域數目較多，且包含了大量的面積較小的“噪聲”及等效離心率較高區域，本文濾除像素面積<200像素及連通區域等效離心率>0.95的連通區域，圖5(d)展示了濾除后的候選區域結果，將候選區域位置映射至原圖可以看出，本文算法能夠獲得較少的飛機目標候選區域，且該算法對不同尺寸飛機目標具有較強的魯棒性。為了驗證多尺度圓周頻率濾波算法的有效性和普適性，選取500幅Google Earth公開機場遙感圖像開展實驗分析，統計基于傳統圓周頻率濾波的飛機目標候選區域定位算法與基于多尺度圓周頻率濾波的飛機目標候選區域定位算法提取飛機目標的召回率，其中基于傳統圓周頻率濾波的飛機目標候選區域定位算法召回率為90.32%，基于多尺度圓周頻率濾波的飛機目標候選區域定位算法召回率為94.52%。實驗結果表明，基于多尺度圓周頻率濾波的飛機目標候選區域定位算法能夠提取更多飛機目標，為進一步降低算法漏警率提供保障。

圖4 基于傳統圓周頻率濾波響應的飛機候選區域定位結果

圖5 基于多尺度圓周頻率濾波響應的飛機候選區域定位結果

2.2 基于卷積神經網絡的飛機目標精確分類

近年來，隨著人工智能技術的快速發展，深度學習技術在圖像分類、圖像分割等領域[17,18]取得了令人矚目的成果。本文在利用多尺度圓周頻率濾波完成候選區域選擇后，進一步通過搭建卷積神經網絡模型，實現飛機候選區域精確分類，最終實現遙感圖像飛機目標檢測。

2.2.1卷積神經網絡結構

本文通過構建卷積神經網絡模型實現候選區域二元分類(飛機/背景)，卷積神經網絡模型結構如圖6所示。

該網絡結構共包含5個卷積層、2個池化層和1個全連接層，其中卷積核尺寸均為3×3，卷積步長均為1，通道數分別為8,16,16,32,32。池化層均采用最大池化，池化區域均為2×2，步長均為2。為了進一步優化模型結構，提高網絡泛化能力，解決網絡訓練過擬合問題，本文在該結構中還增加了批量歸一化層(Batch Normalization,BN)和Dropout層，其中BN層分別位于Conv1,Conv2_2,Conv3_2卷積層和相應激活層之間，形成卷積-BN-激活函數結構。由于卷積層參數較少，因此Dropout層僅位于全連接層FC4。

2.2.2卷積神經網絡數據集與訓練

本文從Google Earth中共截取了28500張圖片作為卷積神經網絡的訓練數據和測試數據。該數據集共包含3500張正樣本數據和25000張負樣本數據，訓練數據與測試數據比值為9:1。為了保證數據集具有代表性，負樣本數據由遙感圖像背景區域隨機截取得到，截取邊長為18～256 pixel不等，截取圖片長寬比1/3～3不等。獲取目標區域后，正負樣本切片像素均調整至40 pixel×40 pixel，部分數據集展示如圖7所示。

圖6 卷積神經網絡結構和參數

圖7 部分數據集

本文基于獲取的正負樣本數據集訓練卷積神經網絡分類器，網絡權重參數隨機初始化，全連接層神經元保留概率設為0.75,BN層decay設為0.99,batch size設置為512,learning rate設為0.05，迭代次數1000次。最終，訓練集分類精度為97.8%，測試集分類精度為98.4%。

3 實驗與分析

3.1 實驗結果及分析

為驗證本文提出的算法的有效性和普適性，隨機選取了500幅Google Earth公開機場遙感圖像開展實驗分析，設置多尺度圓周采樣半徑分別為16,8,4，各圓周采樣點個數為48，最終得到的部分檢測結果如圖8所示。其中圖8(a)—圖8(c)中飛機目標尺寸不同，但本文算法均正確檢測出了飛機位置，無虛警和漏警。而圖8(d)中右下角飛機目標與圖片水印距離過近，導致形態學處理時區域融合并在候選框濾除步驟被篩除，從而導致漏警。經統計，500幅遙感圖像中共包含3216架飛機目標，本文算法正確檢測3035架，共產生121個虛警，檢測率為94.38%，虛警率為3.76%。

利用雙線性插值對原始遙感圖像尺寸進行不同程度縮放，分析多尺度圓周頻率濾波器對小尺度目標尺度響應極限，實驗原始遙感圖像像素數為1280 pixel×659 pixel，包含約40 pixel×40 pixel,60 pixel×60 pixel,90 pixel×90 pixel，3種尺寸的飛機目標，圖9展示了對原始遙感圖像進行2～4倍縮放后飛機目標檢測各步驟結果。其中圖9(a)為不同尺度圓周頻率濾波響應二值化圖像，圖9(b)為不同尺度下遙感圖像目標候選區域提取結果，考慮到目標尺寸發生變化，設置不同尺度下連通域面積閾值分別為70,30,10，可以看出隨著連通區域面積閾值的下降，背景濾除效果降低，但仍能夠有效提取出待檢測目標區域。圖9(c)展示了不同尺度下遙感圖像最終檢測結果，可以看出當目標尺度縮小至20 pixel×20 pixel時本文算法仍能有效檢測出目標，但當目標尺度縮小至13 pixel×13 pixel時發生漏警現象，當目標尺度縮小至10 pixel×10 pixel時無法檢測出目標，因此基于多尺度圓周頻率濾波與卷積神經網絡的遙感圖像飛機目標檢測方法需要保證目標像素尺寸大于20 pixel×20 pixel，這種情況下本文算法能夠實現遙感圖像飛機目標有效檢測。

3.2 與其他目標檢測方法進行比較

為充分驗證本文算法的檢測性能，將多尺度圓周頻率濾波器(MSCFF)和傳統圓周頻率濾波器(CFF)算法使用相同的測試數據集分別進行測試，結果如表1所示。其中檢測率與虛警率計算公式為

式中， DR為檢測率(detection rate); F R為虛警率(false rate); TD為 被正確檢測出的飛機數量； FD為錯誤檢測為飛機的背景數量；T為遙感圖像包含飛機目標總數。

圖8 部分遙感圖像檢測結果

圖9 不同尺度遙感圖像飛機目標檢測各步驟結果

表1 與傳統圓周頻率濾波算法比較

從表1的檢測結果可以看出，本文所提出的方法檢測性能與傳統圓周頻率濾波方法相比檢測率提升明顯。

同時可以看出本文提出的多尺度圓周頻率濾波與卷積神經網絡相結合的方法在提升檢測率、降低虛警率的同時也出現了運算量增大的情況，在實際應用中可根據需求引入配置高性能GPU運算卡的計算設備，并對算法進行優化，進一步提升運算效率。

4 結束語

針對遙感圖像飛機目標檢測因尺度不一存在漏警、虛警等問題，本文提出了一種多尺度飛機目標自動檢測算法。該算法首先分析了遙感圖像飛機目標形狀特征和灰度變化特點，并基于該特點構建了一種具有旋轉不變特性和尺度不變特性的圓周頻率濾波數學模型，通過對濾波結果進行圖像二值化、形態學處理、連通區域標記、候選區域篩選等操作實現遙感圖像復雜背景快速濾除，從而實現不同尺度飛機目標候選區域提取。同時，本文通過構建卷積神經網絡模型實現了飛機候選區域有效分類，最終完成遙感圖像飛機目標檢測。該算法相比于傳統算法能夠在同一圖像包含不同尺度目標情況下很好地解決虛警漏警問題。