合成孔徑成像對低小慢目標的識別技術研究

劉玉雯,吳玲玲,聶 亮,陳 靖

(西安工業大學 光電工程學院，西安 710021)

1 引言

隨著光學技術的飛速發展，在航空航天、衛星遙感、軍事偵察等多領域，高分辨率光學成像系統得到了廣泛應用與重視。目前，大口徑單一光學鏡片因受成本、工藝、運輸等因素限制和高分辨率的要求，其生產工藝已達到極限。因此，突破傳統限制，探索新技術，研制高分辨率合成孔徑成為現代光學領域的熱點。

2006年洛克希德·馬丁先進技術中心建成九望遠鏡陣列測試床；哈爾濱工業大學進行了分片式多鏡面成像系統研究及合成孔徑的地面演示系統研制；西安光機所研究了合成孔徑的成像理論，并對孔徑優化和系統相差等關鍵問題進行分析；解放軍信息工程大學對光瞳優化、活塞誤差和圖像復原進行了研究。

無人機作為“低小慢”目標的典型代表，是低空安全的重點觀測對象。“低小慢”無人機的誕生，使無人機具備更好的靈活性、機動性、易操控等特點，無人機被航拍愛好者使用的同時也被不法分子所利用，嚴重威脅到社會公共安全和國家安全。

2016年美國國防部加快推進相位高功率微波武器攔截無人機實驗，通過蝶形密集天線發射高功率微波，擊穿無人機內部電子器件。2017年德國萊茵金屬公司將多種探測器與槍炮導彈集成在一套系統上，直接指引槍炮進行打擊。2018年北斗實驗室發布了全新的反無人機系統，是我國首套采用干擾誘騙方式的反無人機系統。2019年，鈕賽賽等首次將深度學習算法引入紅外探測無人機目標中，證明深度學習識別效果明顯優于傳統的模塊匹配算法。2020年，劉宜成等提出了一種基于軌跡和形態識別的無人機檢測方法，模擬鳥類飛行軌跡實現無人機的檢測和識別。徐融借鑒DenseNet思想，采用密集連接的方式將淺層特征網圖直接傳輸到深層同尺度卷積層，并改進YOLOv3的損失函數，在小目標檢測上具有更低的漏檢率。

將光學合成孔徑成像系統應用于識別探測“低小慢”目標，是合成孔徑系統在低空領域成像的首次應用。基于YOLOv3的小目標識別方法，大多為在特征提取網絡進行卷積層的加深或優化目標識別的損失函數。本文針對光學合成孔徑“低小慢”目標的成像特點，提出一種改進YOLOv3主干網絡的算法，加強對淺層網絡的特征提取能力，并根據數據集的標注信息進行先驗框聚類，得到適合本次研究目標的先驗框尺度。本文針對“低小慢”目標的底層信息，從輕量化主干網絡方面優化YOLOv3網絡，得到一種收斂迅速、識別準確率較高的YOLOv3網絡模型。

2 光學合成孔徑

2.1 光學合成孔徑分析

光學合成孔徑是將多個小孔徑光學系統按照一定的組合規律排列，組成等效的大型綜合光學系統。本次研究基于環形七孔結構，分析其光瞳結構及成像規律。環型陣列的子孔徑等間隔分布在環帶上，相鄰子孔徑中心的距離與它們到外接圓圓心距離相同。根據計算可得七孔徑光瞳相對坐標，分別是(1,0)、(0.62,0.78)、(-0.22,0.975)(-0.9，0.435)、(-0.9,-0.43)、(-0.22,-0.97)、(0.62,-0.78)。根據相對坐標，進行系統光瞳排布及系統MTF仿真，有關情況如圖1所示。

圖1 環形七孔合成孔徑仿真

根據圖1可知，系統MTF依規律分布擴展，在中頻部分下降較快，這是光學合成孔徑圖像細節信息丟失、成像模糊的主要原因。

2.2 光學合成孔徑成像仿真

根據信息光學的理論，非相干光成像系統具有平移不變性，擴展光源上各點所成的像形態與軸上點一致，該系統對目標的成像過程為：

(,)=(,)*(,)+(,)

(1)

式(1)中：(,)為物方函數；(,)為像方函數；(,)為系統點擴散函數；*表示卷積運算；(,)為噪聲函數。

選取光學合成孔徑成像規律及光瞳排布等特征因子，模擬經光學合成孔徑后的仿真圖像，選取鑒別率板為目標圖像進行仿真，其結果如圖2所示。

圖2 合成孔徑仿真成像

采用峰值信噪比(PSNR)和結構相似度(SSIM)對仿真圖像進行圖像質量評價，PSNR值越大，表示圖像成像質量越好，失真程度越小；SSIM值越大，表示與原圖像越接近。仿真圖像評價結果如表1所示。

表1 仿真圖像質量評價結果

由表1可知，光學合成孔徑成像系統會因中頻損失而成像模糊，選取不同填充因子會有不同的系統進光量。同樣的光瞳結構，填充因子越小，系統進光量越少，成像質量越差，圖像越模糊。根據系統填充因子的計算結果及系統加工余量的要求，應選取填充因子為0.4的環形七孔合成孔徑成像系統。

本文實驗所使用的光學合成孔徑成像系統參數與仿真結果一致，系統仿真結果可應用于后續圖像復原處理的相關參數設置。

3 基于YOLOv3的目標識別算法

3.1 YOLOv3目標識別算法

基于深度學習的目標識別算法主要有2類：第1類為以Faster-RCNN為代表的Two-stage目標識別網絡，第2類為以YOLOv3為代表的One-stage目標識別網絡。Faster-RCNN算法需要生成上千個先驗框，并對邊界框進行2次篩選，即經過RPN網絡，故該網絡的推理時間較長、模型參數量大。YOLOv3算法從輸入圖像到目標識別輸出，整體網絡屬于端到端學習，直接得到目標的類別和位置信息，是運算速度較快的實時檢測。

對比YOLOv2所使用的Darknet-19網絡，YOLOv3使用Darknet-53作為主干特征提取網絡。Darknet-53網絡去除池化層，全部由步長為2的卷積層完成下采樣操作，主干網絡內部使用殘差單元堆疊。殘差網絡能夠通過增加模型深度來提高準確率，其內部的殘差塊使用了跳接法，緩解在神經網絡中因增加網絡深度而帶來的梯度消失問題。YOLOv3從主干網絡輸出3個分支(即3個特征層)，用來進行多尺度預測。3個特征層大小分別為(13×13)、(26×26)、(52×52)。13尺度的特征圖對圖像的網格劃分較大，用于識別尺寸較大的目標；26尺度的特征圖對應識別中等尺寸的目標；52尺度的特征圖對于圖像劃分較細，具有較高的細粒度特征，故識別小目標。YOLOv3的網絡結構如圖3所示。

圖3 YOLOv3的網絡結構框圖

YOLOv3借鑒了FPN的思想，從不同尺度提取特征，不僅在每個特征圖上分別做預測，還將小特征圖進行上采樣，與大的特征圖進行拼接，做特征融合處理。經過特征融合的特征圖，不僅具有較底層的紋理信息，還包含較高層的抽象信息，能夠在不同尺度都具有圖像的多層信息，有利于后續的圖像識別。

3.2 改進的YOLOv3目標識別算法

光學合成孔徑采集的灰度圖像中，“低小慢”目標在圖像中所占像素較少，目標輪廓較模糊，且與背景的灰度差異較不明顯，增加了目標識別的難度。一般的特征提取網絡是使用卷積層提取圖像特征信息，有的通過增加網絡深度來豐富圖像特征信息，有的通過增加網絡寬度得到圖像更多的層次信息，而EfficientNet網絡則同時調整網絡的寬度、深度及網絡的輸入分辨率來提升網絡性能，故本文選用EfficientNet網絡提取圖像特征信息。

本文基于EfficientNetv2網絡思想，提出一種改進的YOLOv3目標識別算法，具體改進過程如下。

使用EfficientNetv2-S作為YOLOv3主干特征提取網絡

本文通過改進主干網絡的結構，提升網絡的特征提取能力。改進的YOLOv3網絡使用EfficientNetv2的部分層結構作為模型的主干特征提取網絡，使用Fused-MBConv模塊作淺層網絡的特征提取，MBConv模塊作為后兩層網絡的特征提取。Fused-MBConv模塊結構如圖4所示。

圖4 Fused-MBConv模塊結構框圖

Fused-MBConv采用常規的3×3卷積替代MBConv中的3×3卷積和1×1卷積。在EfficientNetv2網絡的Stage1-3中，使用Fused_MBConv模塊，對這3個模塊分別設置了不同的擴展因子(即通道數擴展倍率)，當擴展因子不為1時，該模塊需經過擴展卷積模塊將輸入通道數進行擴增。

Fused-MBConv是在MBConv模塊基礎上作卷積層合并，壓縮了模型尺度，提高了淺層網絡的運算速度與特征提取能力。

3.2.2 引入漸進式學習策略，加快模型訓練速度

當模型網絡深度確定時，圖像的特征信息會被卷積核進行逐層篩選，模型訓練到網絡高層時可能會變得低效。隨機失活一部分網絡層結構，使得網絡高層也能接收到更多的底層信息。這樣的模型設計可使網絡得到更加充分的訓練，而模型也會有更好的表達能力。

EfficientNetv2網絡的Dropout層采用了隨機深度(Stochastic depth)的思想，隨機丟棄主分支的某個輸出，將整個網絡變為隨機深度。在模型訓練時將網絡某層結構進行隨機去除，網絡的漸進式學習能夠提升模型的訓練速度，小幅提升模型準確率。Dropout層隨機深度結構如圖5所示。

圖5 Dropout層隨機深度結構示意圖

3.2.3 使用-means聚類方法更新模型的先驗框尺寸

在原YOLOv3模型中，使用COCO數據集進行先驗框尺寸的聚類分析，能滿足大多數目標識別的先驗框尺寸需求，但本文研究的目標是小型無人機，屬于“低小慢”目標信息，在圖像中所占像素較少，不適合COCO數據集的聚類尺寸。

對合成孔徑數據集的標注框信息使用-means算法，根據“低小慢”無人機的不同飛行姿態，得到“低小慢”目標先驗框尺寸。保持值為9不變，經聚類算法迭代后選取對應的先驗框寬高分別為(44,36)、(45,33)、(48,38)、(48,37)、(50,34)、(53,31)、(55,38)、(55,34)、(58,38)。

經EfficientNetv2輸出得到3個不同尺度的特征模塊，再經過上采樣和深度方向的拼接處理，得到3種尺度的特征圖。改進的YOLOv3網絡結構如圖6所示。

圖6 改進的YOLOv3網絡結構框圖

3.3 目標識別算法評價指標

mAP值越高，代表模型識別效果越好。單獨計算各個類別的AP(average precision)，取平均值得到最終的mAP，所以mAP是每個類別的平均值。

準確率是真正的正樣本數除以檢測的總數，即：

(2)

召回率是預測為正例的樣本中預測正確的數量除以真正的正樣本數量，即：

(3)

IOU表示系統預測框(Detection Result)與原圖像標記框(Ground Truth)的重合程度，即：

(4)

4 實驗分析

4.1 實驗搭建及數據集預處理

本次網絡構建基于Python3.7和Tensorflow 2.3框架搭建，在Tesla K80顯卡和NVIDIA GeForce GTX 1080Ti GPU的配置環境下完成訓練和測試。

本次識別的“低小慢”目標是DJI精靈2四旋翼無人機，使用光學合成孔徑成像系統采集目標的視頻數據，并根據視頻數據,逐幀構建識別數據集。

由光學合成孔徑分析可知，光學合成孔徑成像固有的中低頻損失使得圖像輪廓信息模糊，本文在數據集預處理階段使用SRGAN算法對光學合成孔徑數據集進行圖像復原處理，SRGAN的迭代效果如圖7所示。

經過100次迭代，復原圖像與原圖對比后的峰值信噪比可達35 dB，結構相似度為0.96。經過SRGAN算法處理的光學合成孔徑圖像輪廓模糊的現象有所改善，但目標與背景的灰度較接近。使用數據增強處理，改變圖像的亮度，使得網絡在模型訓練階段能夠學習到不同灰度差異的圖像特征。

圖7 SRGAN的迭代效果圖

4.2 目標識別損失值對比

YOLOv3模型將目標識別任務看作目標區域預測和類別預測的回歸問題，其損失函數包含置信度損失、分類損失和定位損失,即：

(,,,,,) =(,) +(,) +(,)=

(5)

置信度損失是讓模型學習分辨圖像的前景和背景，當某預測框與真實框的IOU都小于某閾值，那么判定它為背景，否則為前景；分類損失采用二值交叉熵損失，將所有類別的分類問題看作是否屬于該類別的問題，減少了類別間的互斥性；邊界框損失采用平方和損失，該損失函數會朝著預測框與真實框重疊較高的方向優化。

采用批梯度下降的方式，對原YOLOv3是算法、主干網絡是EfficientNetv1的YOLOv3算法和本文改進算法分別進行訓練，加載特征網絡的預訓練權重。樣本進行1 000次迭代，其中批量大小設置為64，初始學習率為10，當有5次迭代的損失值保持一致時，學習率衰減0.9倍。對整體樣本進行比例為8：2的隨機劃分，分別為訓練集和測試集，再取訓練集的10%用于訓練完成后的驗證。取3種算法前50次測試迭代效果的損失值作圖，如圖8所示。

由圖8可知，3種不同的YOLOv3算法在10個epochs內均收斂，主干網絡為EfficientNet網絡的收斂速度快于Darknet-53網絡，EfficientNetv1算法和本文改進算法的收斂速度相近。

圖8 3種算法損失值曲線

4.3 目標識別實驗結果分析

本文的改進算法采用EfficientNetv2對光學合成孔徑圖像的底層特征進行提取。EfficientNetv2網絡的設計是使用搜索算法設計網絡結構，在各層網絡進行有效提取，能夠在壓縮模型尺度的同時，提升網絡的特征提取能力。本文將根據實驗結果從模型參數大小和目標識別效果2個方面，對3種不同算法進行對比分析。

本次實驗對比的3種算法分別為：原YOLOv3模型；主干網絡為EfficientNetv1，模塊為B5的YOLOv3模型，表示為EfficientNetv1(B5)-YOLOv3；本文改進算法即主干網絡為EfficientNetv2，模塊為S的YOLOv3模型，表示為EfficientNetv2(S)-YOLOv3。

經過數據集的采集與預處理后，分別對3種算法進行相同迭代次數的訓練，3種算法的訓練參數如表2所示。

表2 訓練參數

由表2可知，在相同參數設置下，本文的改進算法運算參數量最少，模型最為簡潔。EfficientNetv2對于淺層網絡的改進能使運算參數減少32MB，是一種改進的輕量化網絡模型。

將主干網絡變換為EfficientNet系列模型，是一種輕量化網絡的改進方式，針對光學合成孔徑的成像特點，需要對“低小慢”目標的底層信息進行有效提取，而本文算法所使用的卷積模塊正是對淺層網絡進行改進，本文算法的目標識別結果如圖9所示。

將3種算法的IOU閾值均設置為0.5，使用目標識別評價指標對3種算法的目標識別效果列表，如表3所示。

圖9 改進算法的目標識別結果圖

表3 目標識別效果

根據表3可知，3種算法均能對“低小慢”目標進行有效識別。原YOLOv3中的Darknet-53網絡只在深度上堆疊卷積層，對于“低小慢”目標的識別效果相對較差。根據3種算法的時間復雜度計算可知，EfficientNet系列算法的運行速度相比YOLOv3有明顯提升，滿足實時性要求，其中本文所采用的EfficientNetv2(s)網絡對“低小慢”目標的底層特征學習效果較好，本文算法的識別準確率可達96.67%，將準確率和召回率3種評價指標結合，繪制了本文算法的PR曲線如圖10。

圖10 本文算法PR曲線

5 結論

1) 系統的光瞳排布及填充因子等參數是造成系統MTF中頻損失的主要原因。

2) 使用基于深度學習的SRGAN算法對合成孔徑圖像進行復原處理可增強圖像對比度，緩解圖像輪廓模糊問題。

3) 針對“低小慢”目標的識別問題，改進的YOLOv3算法使用EfficientNetv2網絡的部分層結構作為YOLOv3的主干特征提取網絡。

4) 通過對3種YOLOv3算法的實驗對比，本文算法的模型參數量最少，對目標的底層特征學習效果較好。與原YOLOv3網絡相比，本文算法的識別準確率可達96.67%，是一種有效的輕量化目標識別網絡。