基于改進Faster R-CNN的失效衛星部件檢測方法*

曹 毅，程向紅，李丹若，劉宗明，牟金震

(1.東南大學 儀器科學與工程學院·南京·210096；2. 微慣性儀表與先進導航技術教育部重點實驗室·南京·210096；3.上海航天控制技術研究所·上海·201109；4.上海市空間智能控制技術重點實驗室·上海·201109)

0 引 言

失效衛星由于故障或壽命終結而被丟棄在太空中，表現為非合作旋轉，隨時存在解體可能，威脅著太空安全且浪費軌道資源，需要對其進行捕獲與回收。在進行捕獲或回收等近距離作業時，準確識別失效衛星的對接環、天線、星敏感器等多部件,可以為后續的位姿解算提供有效的特征輸入。準確檢測失效衛星部件的位置與類型是目標檢測領域的一個關鍵問題，可以根據目標、形狀、顏色、邊緣等特征的差異性來解決。然而，由于曝光或低照度的空間環境導致的圖像分辨率不高以及部件間差異性不大，高精度的失效衛星部件檢測仍然具有挑戰性。

當前，針對失效衛星部件的目標檢測算法主要分為非深度學習的傳統算法與深度學習算法兩類。由于計算能力的限制，傳統算法主要從少量的先驗數據中進行學習，再對目標的特征部位進行檢測，可以分為基于模塊匹配的方法和基于手工設計特征的方法。楊明冬等提出了一種改進的加權絕對差之和(Sum of Weighted Absolute Differences，SWAD)模塊匹配算法和亞像素擬合算法檢測衛星目標，并通過引入變系數模板更新方法，提高了算法對衛星姿態變化的適應性。但當衛星角度、大小、灰度同時變化時，算法檢測精度不高。Peng J.等提出了一種基于最大外輪廓識別的衛星檢測算法，通過融合運動特征與形狀特征提取衛星底座，采用“粗+精”組合識別方法，提高了衛星底座的檢測精度與速度。Gao X.H.等針對衛星外形中常見的矩形特征，利用邊緣檢測與Hough變化進行衛星目標檢測。傳統的目標檢測算法計算簡單，效率高。但是其特征為人為設計的低級圖像特征，這導致傳統算法每次只能檢測出具有相同特征信息的單個或多個類似的目標，算法計算效率低。此外，衛星姿態與周圍光照條件的劇烈變化，使得傳統算法的召回率低，算法的泛化能力不強。

深度學習技術將多個低級圖像特征與來自目標檢測器和場景分類器的高級上下文特征相結合，利用數據集本身的特點進行自學習。隨著例如YOLO、Faster R-CNN、Cascade R-CNN等基于深度學習的目標檢測理論的飛速發展，以及計算機硬件與空間成像技術的進步，深度學習技術逐漸被應用到空間失效衛星目標檢測上。Chen Y.等提出了一種基于Mask R-CNN的衛星部件檢測算法，在Mask R-CNN的基礎上，為了提高小目標的檢測率，結合密集連接結構、殘差結構和特征金字塔構建新的特征提取結構，其準確率和召回率可達93%。Yan Z.等提出了一種基于YOLO V2的衛星主體檢測算法，使用Blender軟件模擬器生成不同環境下的衛星，并利用數據增強和微調技術增加訓練樣本的數量，避免訓練過程中的過擬合，其平均精度可達80.16%以上。Chen B.等提出了一種基于Faster R-CNN與高分辨率網絡(High Resolution Network，HRNet)的衛星關鍵點檢測算法，關鍵點包括天線頂端、電池4個角點等。首先，利用Faster R-CNN進行衛星主體檢測，然后將裁減的衛星目標輸入到HRNet中預測出11個衛星關鍵點，最后，將序列圖像的關鍵點輸入到位姿解算算法中進行位姿解算，其在公開的SPEED數據集上準確率可以達到95%以上。以上基于深度學習的衛星目標檢測算法可以改善傳統方法的不足，具有更好的泛化性。然而，上述算法的研究對象多是衛星主體或個別部件，缺少對衛星多部件檢測的深入研究；而且上述算法采用的驗證數據集多為通過模擬軟件獲取的，而在實際空間環境中，當近距離捕獲衛星目標時，光照與運動的變化會對衛星部件檢測帶來巨大影響。因此，實現在接近實際環境下的高精度的衛星部件檢測是迫切需要的。

針對上述問題，本文工作貢獻如下：1)由于在捕獲對接平面上，失效衛星部件多為小目標，且由于失效衛星部件會因為自旋產生成像分辨率不高的問題，將高分辨網絡與Faster R-CNN中的特征提取主干網絡融合，可提高小目標檢測精度；2)針對失效衛星部件數據難獲取的問題，在模擬真實空間環境的條件下，利用1∶1的嫦娥衛星模型構建了一個包含九類不同部件信息的失效衛星部件數據集。

1 Faster R-CNN原理與改進

1.1 Faster R-CNN基本原理及流程

目前，基于深度學習的目標檢測算法主要分為兩類，即單階段和雙階段目標檢測算法。雙階段算法的特點是識別精度較高。其第一階段利用區域建議網絡尋找目標存在的區域，第二階段對建議區域進行分類和回歸，以獲得更準確的目標位置，雙階段算法的典型代表有Faster R-CNN等。單階段目標檢測算法比較簡單和快速。其將目標檢測視為一個回歸或分類問題，采用統一的框架直接實現目標的分類與定位，單階段算法的典型代表有YOLO等。考慮到高精度識別失效衛星部件是衛星捕獲與相對導航作業的首要前提，本文選擇Faster R-CNN作為目標檢測框架，同時利用高分辨網絡對特征提取主干網絡進行優化，實現對惡劣成像環境下失效衛星部件的精準檢測。

圖1所示為Faster R-CNN的原理圖，Faster R-CNN主要由特征提取主干網絡、區域建議網絡、感興趣區域池化層3個模塊組成。其具體流程如下：

圖1 Faster R-CNN原理圖Fig.1 Schematic diagram of Faster R-CNN

1)輸入待檢測的圖像。

2)使用特征提取主干網絡進行圖像的初始特征提取，這些特征將在后續的區域建議網絡和全連接層中得到共享。原始的Faster R-CNN選取的主干特征提取網絡為深度殘差網絡(Deep Residual Network，ResNet)，ResNet利用殘差學習解決特征提取網絡隨著深度增加而出現的退化問題。但是針對低分辨率的失效衛星目標圖像，ResNet缺少特征融合策略。如果使用ResNet特征提取主干網絡，在降采樣過程中，失效衛星部件中的小目標會出現漏檢或檢測精度低的現象。

3)在ResNet生成的特征圖上使用區域建議網絡生成候選框，并將生成的候選框投影到特征圖上得到相應的特征矩陣，即為圖1中的紫色陰影框。

4)將每個特征矩陣通過感興趣區域池化層縮放成為7×7大小的特征圖，即為圖1中的紅框。

5)通過全連接層將特征圖展平，并輸入到回歸與分類端，進行目標檢測框與分類數據的輸出。

1.2 針對低分辨率成像的改進

如圖2所示，失效衛星部件在捕獲對接平面上多為密集排列的小目標。此外，隨著視角的變化，圖像中的小目標更容易因光照、運動狀態的變化出現成像模糊或曝光的現象，這使得采用原有的Faster R-CNN模型會出現小目標檢測精度下降的問題。原有Faster R-CNN使用ResNet特征提取主干網絡，該網絡通常是由上一層特征圖與下一層特征圖逐個串聯，其分辨率逐漸下降。已知感受野的定義為特征提取網絡中每一層輸出特征圖上的一個點映射到每一層特征圖上的像素數，感受野越大，目標檢測的范圍越廣，特征越抽象。為了保證感受野，ResNet采用降采樣的方式。但是，降采樣的缺點是導致小目標出現漏檢和檢測精度低的問題。因此，針對失效衛星目標檢測過程中存在小目標及圖像分辨率不高的問題，選擇高分辨率網絡(HRNet)替換ResNet作為特征提取主干網絡進行特征提取。HRNet是2019年Li等提出的一種新型神經網絡。與ResNet相比，HRNet采用了并行多分辨率子網絡策略，在整個特征提取過程中始終輸出強語義表達和可靠的高分辨率特征圖。

(a) 前視角拍攝

HRNet特征提取主干網絡由4個階段組成,從高分辨率的子網作為第一階段開始，每增加一個階段便增加一個低分辨率的子網，依次生成多分辨率子網的并行連接結構。在整個過程中，并行多分辨率卷積層中的信息被反復交換，以執行重復的多尺度融合，使得HRNet生成可靠的高分辨率特征表征，并可以完成多尺度目標的精確檢測。并行連接結構與多尺度融合具體原理如下。

并行連接結構：如圖3(a)所示，該方法將特征圖依據分辨率從高到低串聯起來，并通過下采樣將相鄰子網的分辨率減半。假設是第階段的子網，是每一階段的特征圖順序，為分辨率，為網絡的4個階段，其分辨率從高到低的排序可以表示為

???

(1)

分辨率可表示為

(2)

其中，-1為后一層特征圖分辨率；為前一層特征圖分辨率。

由式(1)和圖3(b)可以看出，在HRNet的4個階段中，每遞進一個階段便增加一個低分辨率子網，其特征圖的尺寸就會減半，通道數加倍。假設階段得到的特征圖尺寸為256×256×64(長度×寬度×通道數，長度、寬度的單位為像素)，則、和階段得到的特征圖尺寸分別為128×128×128、64×64×256和32×32×512。

多尺度融合：如圖3(b)所示，通過并行結構設計輸出四種不同尺度的特征圖后，首先對低分辨率特征圖進行上采樣操作；然后，與高分辨率特征圖進行通道數拼接，再對特征圖進行卷積運算，特征圖分辨率依次下降至1/2、1/4、1/8，形成多尺度特征融合。

(a) 多尺度融合示意圖

2 實驗數據集

2.1 數據集獲取

文獻[15-16]采用仿真生成的數據作為衛星目標檢測系統的輸入，忽略了實際空間環境存在的光照、運動等對實際檢測的影響。本文設置的采集環境能較為真實地反映空間環境。實驗環境為近距離(2.5m內)，模擬“衛星靜止，相機接近”、“衛星自轉，相機靜止”兩種相對運動，實驗室暗室環境如圖4(a)所示，所用運動裝置為轉臺，如圖4(b)所示。當“衛星自轉，相機靜止”時，衛星模型固定于轉臺上，以15(°)/s的角速度繞豎直軸勻速運動。對失效衛星的模擬采用了1∶1的真實嫦娥衛星模型，表面貼有熱控多層反光材料，同時，采用高亮度LED光源與交叉亮度光源，模擬復雜的太空光照環境，模擬入射的太陽光。隨著失效衛星的轉動，其表面的光照條件不斷變化，會出現曝光、低照度以及運動模糊的現象。采集設備為奧比中光Astra S單目相機。

(a) 實驗暗室

2.2 數據集分析

為了保證失效衛星圖像的質量并避免數據集中的圖像重復，剔除了高度曝光與視角重復的圖像，共獲得1602張圖片組成的失效衛星數據集。此外，為了增強模型的穩定性并避免過度擬合，對訓練集進行了數據增強，以擴展失效衛星數據集，并盡可能保證數據的豐富性。在數據增強中，采用上下翻轉以及旋轉90°、180°、270°等幾何變換方式，將原來的訓練集數量擴展到2000幅圖像。數據集被按照9∶1的比例隨機劃分為訓練集、驗證集，其數量分別為1800和200。訓練集用于訓練模型的參數，驗證集用于評估每批訓練的結果和調整超參數后模型的泛化能力。在構建數據集后，使用LabelImg軟件并參考COCO數據集格式制作樣本標簽，表1所示為數據集標簽對應的失效衛星部件名稱。其中，推進器、太陽敏感器部件在不同視角下多為小目標。數據集中的圖像尺寸被統一調整為640×480。

表1 失效衛星部件名稱

3 仿真實驗及結果分析

本實驗的目的是驗證基于改進Faster R-CNN的檢測方法在失效衛星部件檢測中的有效性和優越性。將該算法應用于失效衛星目標捕獲對接工作，可減輕工作負擔，提高小目標部件檢測的效率。

3.1 實驗平臺與參數設置

本文所有實驗的軟件環境是Ubuntu 18.04系統，編程語言選用Python 3.7，CUDA 11.0。深度學習框架使用了由商湯科技和香港中文大學聯合開發的開源深度學習基于Pytorch的目標檢測工具箱MMdetection來構建模型，該工具箱的特點之一是可以將每個組件進行單獨的編譯打包；在使用時，只需要組裝每個部件就可以搭建一個目標檢測任務模型。硬件包括Intel(R) Core(TM) i7-10700 CPU@2.0GHz和NVIDIA GeForce GTX 3080Ti GPU。本文所有實驗的參數設置如下：

學習率為0.001，動量為0.9，權值的衰減系數為0.0001，epoch為50，迭代次數為35000次，每迭代一個epoch保存一次模型，最終選取精度最高的模型。在訓練過程中，驗證集用于對訓練效果進行評估和參數調優。系統的學習率調節采用warm up策略，初始學習率0.0001并按照線性規律逐漸增大，迭代500次后，增加到0.001。這種方法既可以獲得很高的準確率，又可避免模型訓練過擬合。

3.2 實驗結果與對比

本文分別選取了改進前的Faster R-CNN以及Cascade R-CNN進行實驗對比，選擇Cascade R-CNN的原因為：Cascade R-CNN是由Faster R-CNN改進而來，目前被廣泛應用在水下、地下等成像質量較差的環境，且其具有較好的檢測效果。通過與改進前的Faster R-CNN對比，可以證明本文改進策略的可行性；通過與Cascade R-CNN對比，可以證明本文改進策略相對其他改進策略在失效衛星部件檢測方面的優越性。為了公平對比實驗結果，除使用的特征網絡不同以外，參數設置、訓練步驟均保持一致。本文選取的評價指標定義如下：

：模型預測的所有目標中，預測正確的比例，稱為準確率。值越高，表示算法的檢測精度越高。

(3)

其中，為IoU>05的檢測框數量，為IoU≤0.5的檢測框數量。IoU即交并比，表示候選框與原始標定框的重疊度。在對模型進行測試時,先使用非極大值抑制將多余候選框移除，再計算剩余有效候選框的交并比，規定當交并比大于設定閾值時檢測正確。當增大交并比閾值時，提高了對預測框與實際邊界框重復度的要求，利于評價模型在進行小目標位置回歸時的性能。

：所有真實目標中，模型正確預測目標的比例，稱為召回率。值越高，表示算法錯誤預測的比例越低。

(4)

其中，為沒有檢測到目標的數量。

具體實驗結果如下所示：

圖5所示為本文提出的改進Faster R-CNN算法(improved Faster R-CNN)與傳統的Faster R-CNN和Cascade R-CNN損失函數值的對比曲線。

圖5 訓練過程中損失函數變化Fig.5 Change of the loss function during training

從圖5可以看出，本文算法在迭代6000次后開始收斂，且收斂后的損失函數值比原來的Faster R-CNN和Cascade R-CNN要小。因此，本文利用HRNet改進后的Faster R-CNN模型的收斂性更好。表2所示為實驗的準確率、召回率與實時性的結果對比。

表2 網絡驗證結果

從表2可以看出，本文算法的平均精度最高，平均召回率也最高，相比Faster R-CNN和Cascade R-CNN準確率和召回率分別平均提高了3.8%與6.1%。在針對失效衛星部件中的小目標檢測實驗中，本文算法的平均精度與召回率也最高，且分別平均提高了9.8%與5.4%。實驗表明，本文利用HRNet對Faster R-CNN的改進對失效衛星部件的檢測是有效的，且改進后的網絡模型相比Cascade R-CNN也具有一定的優勢。此外，本文改進的Faster R-CNN模型每秒可以處理15張圖片，可以滿足實際工程應用中的實時性要求。

利用改進的Faster R-CNN對失效衛星驗證集中的檢測結果進行可視化，選取不同距離、不同運動狀態的部分結果如圖6所示。圖6(a)為“衛星靜止，相機運動”狀態下的檢測結果，且為運動模糊條件下的拍攝結果；圖6(b)、(c)與(d)為“衛星自旋，相機靜止”狀態下的檢測結果，其中圖6(b)為低照度光照條件下的拍攝結果，圖6(c)為輕微曝光條件下的拍攝結果，圖6(d)為運動模糊條件下的拍攝結果。低照度、曝光、運動模糊等成像條件都會對小目標部件的檢測產生干擾，相對良好成像質量條件，這些干擾都會增加小目標部件的檢測難度。

(a) 運動模糊

從圖6可以看出，在兩種運動狀態下以及不同光照條件下，本文所提算法都具有良好的檢測效果。

綜上所述，本文利用HRNet改進的Faster R-CNN模型與原始的Faster R-CNN模型以及Cascade R-CNN相比，在準確率與召回率方面具有一定的優勢，證明了本文所提改進策略是有效的。此外，本文設計的網絡模型滿足實時性的需求，本文所提改進策略在空間失效衛星檢測領域具有工程應用價值。

4 結 論

本文主要針對失效衛星目標檢測中存在的小目標、光照條件變化以及運動模糊問題，提出了一種基于改進Faster R-CNN的失效衛星部件目標檢測方法。該方法通過將HRNet融入Faster R-CNN中，構建并行高分辨率特征提取結構并進行多尺度融合，完成了高分辨的特征表征輸出及小目標檢測。經過實驗對比，本文方法相對改進前方法和Cascade R-CNN具有較高的平均準確率與平均召回率。本文方法建立在接近實際環境的失效衛星數據集上，其準確率可以達到93.6%，且每秒可以檢測出15張圖片，證明了本文方法在實際工程應用中的可行性。但是本文方法還存在不足，主要表現在：本文方法面對極端惡劣光照條件如強曝光或較低照度時，會出現檢測精度下降或誤檢的問題。因此，后續將研究圖像增強與圖像預處理算法，將圖像的干擾因素減輕后，再輸入到特征提取網絡中，以提高模型在極端惡劣光照條件下的魯棒性。