基于YOLO的非合作衛星圖像分割

摘 要：由于空間中失效衛星數量不斷增加，因此需要通過空間對接完成燃料加注以延長壽命。因為視覺測量具有實時性和經濟性，所以廣泛應用于對接環節，但是背景干擾導致視覺測量精度下降。針對以上問題，本文以非合作衛星的星箭對接環和太陽能帆板為顯著目標，基于YOLO卷積神經網絡對其進行目標檢測，再采用圖像差分、二值化以及形態學操作等方法對2種目標進行準確分割，最后進行試驗，試驗結果表明目標檢測準確，圖像分割效果明顯，目標圖像中沒有背景干擾，本文方法具有可行性。

關鍵詞：卷積神經網絡；形態學操作；圖像分割

中圖分類號：TP 181；TP 391" " " 文獻標志碼：A

隨著人類探索太空的力度不斷增強，太空中的人造衛星數量相應增加，因為燃料耗盡，所以失效衛星也相應增多。失效衛星不僅會占用軌道資源，還會威脅其他衛星的安全。在失效衛星中有些是合作衛星，其可以提供合作信息，與之相反的是非合作衛星，難點是針對非合作衛星的視覺測量[1]。視覺測量利用光學成像得到目標的大量信息，例如大小、姿態等[2]，但是計算機不能像人類一樣有強大的識別能力[3]。張澤[4]采用中值濾波、Canny邊緣檢測等方法檢測輪廓，最終的尺寸測量絕對誤差在0.26 mm以內；He[5]提出將開運算和閉運算的結果相減來提取特征的邊緣信息。與傳統方法相比，這些方法效果更加明顯[6]。隨著人工智能的發展，一些學者將機器學習引入視覺測量中，以提高自動提取目標特征的精度，加快速度[7]。在現有的機器學習方法中，基于深度神經網絡的學習方法應用廣泛，提高了目標檢測和圖像分割的效率以及精度[8]。因為光照、遮擋和背景噪聲等因素會影響視覺測量，所以精度和速度都會降低。本研究提出了一種基于YOLOv5的非合作衛星圖像分割方法。

1 研究方法

本研究基于卷積神經網絡YOLOv5對衛星的星箭對接環和太陽能帆板進行目標識別，再分別針對其特征進行圖像分割。

1.1 目標檢測

目標檢測是在圖像或視頻中定位和識別一個或多個目標對象。其目標是在圖像中檢測所有目標的位置，并為每個目標分配類別標簽。目標檢測不僅要確定在圖像中是否存在目標，而且要確定目標在圖像中的位置。基于卷積神經網絡的目標檢測是常用方法。目標檢測的輸入是整個圖像，輸出是目標的位置和類別標簽。

1.1.1 數據集創建

本文的相機采用Lt-C4040/Lt-M4040型號的CCD灰度相機；鏡頭采用Basler Lens C11-0824-12M-P型號鏡頭。根據任務要求搭建等比例縮小的衛星模型，如圖1所示。使用相機拍攝衛星模型，在拍攝過程中需要不斷改變衛星與相機的距離和旋轉角度。將拍攝的非合作衛星圖像導入圖片標注工具Labelimg中，繪制外接矩形框，標注該矩形框對應的目標名稱。本文共制作809張圖像作為數據集，用于后續卷積神經網絡模型的訓練和學習。

1.1.2 模型訓練

將數據集導入YOLOv5中進行模型訓練。本次訓練使用英偉達RTX3090顯卡，PyTorch1.10.0GPU，CUDAv10.2。在訓練前設置以下訓練參數：訓練輪次（epochs）為700；訓練集比例（train）為0.8，驗證集比例（val）為0.2；單次迭代樣本數（batch-size）為16。YOLOv5可以輸出檢測目標方框位置大小的txt文件，即標簽信息（如圖2所示）。在圖2中，第一列為目標標簽名稱，第二列、第三列分別為目標在圖像中所在方框的橫、縱坐標，第四列、第五列分別為方框的寬度和高度。

1.2 圖像分割

在視覺領域中，須先得到圖像目標的有效信息，才能對目標進行特征點提取、特征匹配和位姿估計等操作，由于YOLOv5檢測后并不能完全剔除目標附近的雜亂背景，因此需要分割圖像，得到不包括背景干擾的目標圖像，便于后續圖像處理準確、高效地獲得目標的有效信息。文獻[3]使用了K-Means顏色聚類的方法對非合作航天器進行圖像分割，由于本文使用的相機為灰度相機，所拍攝的圖像均為灰度圖像，因此不能使用K-Means顏色聚類方法。本文基于YOLO目標檢測對不同目標各提出了一種新的圖像分割方法。選取衛星上2個常見特征進行分割，即星箭對接環代表的圓形目標，以及太陽能帆板代表的矩形目標。本文設計的圖像分割代碼均在Matlab2021a上運行。

1.2.1 圓形目標分割

因為星箭對接環總是獨立出現，而且圓形特征與其他特征相差較大，所以比較容易識別。對圓形目標來說，可以近似認為方框的形心為星箭對接環的中心（圓心），操作步驟包括以下3個。1）根據標簽信息計算方框的中心點，即形心，將該點設為圓心。2）根據標簽信息計算方框寬高最小值的一半為圓的半徑。3）根據前2個步驟得到的圓心和半徑畫圓，圓的內部保留原圖，外部創建黑色掩膜，將所有像素點灰度值賦值為0，這樣可以免于識別圖像特征，快速得到星箭對接換的圖像。

1.2.2 矩形目標分割

太陽能帆板在衛星旋轉過程中會不斷改變姿態，傳統的方法計算量較大，當直線檢測時直線斜率不斷變化且可能存在無窮大等情況，為了解決以上問題，本文提出以下6種矩形目標分割方法。

1.2.2.1 圖像差分

在2個衛星靠近的過程中，灰度相機會不斷采集圖像，衛星模型會不斷模擬失效衛星的運動，因此當連續采集的圖像之間的時間間隔很短時，背景的差異也非常小，可以直接對前后2幀圖像做絕對差，得到較為粗糙的差分圖像。這樣能夠剔除圖像中不變的信息，避免對背景圖像建模。根據目標檢測得到的標簽信息，保留標簽對應的目標方框的內部像素點，將方框外部圖像的灰度值賦值為0，此時，圖像中的有效信息僅為保留的部分圖像。將經過以上處理的連續2幀圖像進行差分，得到差分圖像。

1.2.2.2 中心遮擋

星箭對接環在衛星本體上，太陽能帆板對稱地分布在本體兩側，星箭對接環和衛星本體會對太陽能帆板的圖像分割造成強烈干擾。由于上個步驟的差分圖像仍然保留星箭對接環的部分信息，因此利用星箭對接環的標簽信息將衛星本體部分的灰度值賦值為0，創建全黑掩膜來遮擋星箭對接環和本體部分。

1.2.2.3 二值化

適當選取閾值，獲得反映圖像整體和局部特征的二值圖像。所有灰度大于或等于閾值的像素屬于特定物體，設置其灰度值為255；灰度小于閾值，灰度值為0。使用大津法（OTSU）自動確認圖像最佳閾值，對圖像進行二值化，得到對比度明顯的二值化圖像，為后續工作做好準備。如圖3（a）所示。

1.2.2.4 連通域分析

連通域（Connected Component）是圖像中由像素值相同且位置相鄰的前景像素點組成的圖像區域。連通區域分析（Connected Component Analysis，Connected Component Labeling）是找出并標記二值圖像中的各連通域。對此時的圖像進行連通域分析，即標記圖像中連續區域，得到各連通域的大小等信息，刪除較小的連通域，繪制其余連通域的最小外接矩形框。

1.2.2.5 膨脹

膨脹為形態學操作，在圖像處理中的主要作用是擴充物體邊界點。膨脹操作能夠使目標增大，可填補目標中的空洞。本文使用7 px×7 px大小的矩形結構元素，這樣做會使圖像里的連通域輪廓擴大得較為明顯，但是可以有效填充一些裂縫和空洞，免于孔洞填充操作。矩形結構較大也為后續畫矩形框留有一定的容錯空間。

1.2.2.6 連通域選擇

因為衛星旋轉導致背景有細微變化，所以此時在圖像中還存在2個連通域，如圖3（b）所示。其中，1個連通域為背景干擾，由于干擾面積遠小于所需要的目標面積，因此要先選中連通域面積最大的區域。再次進行連通域分析，此時保留最大連通域，說明該連通域為太陽能帆板的外邊界。畫出該連通域的最小外接矩形框。

2 試驗與分析

2.1 目標檢測試驗

對衛星模型采集圖像來說，使用訓練好的卷積神經網絡模型進行目標檢測試驗，測試目標為星箭對接環和太陽能帆板。星箭對接環參與試驗130次，太陽能帆板參與試驗160次，目標檢測結果如圖4所示。從圖4可以看出，目標檢測效果非常穩定，檢測成功率約為97%，也能確定目標所在位置的方框。

本文置信度的計算過程如公式（1）所示。

S= Ne/N" " " " " （1）

式中：S為置信度 ；Ne為成功次數；N為測試次數。

根據表1可以計算目標檢測的置信度，計算結果如下。星箭對接環平均置信度96.92%，太陽能帆板平均置信度94.37%，兩者綜合平均置信度95.51%。從表1可以看出，由于具有旋轉不變性，因此圓形目標的檢測置信度極高，矩形目標檢測效果略低，但是置信度也超過94%，該試驗驗證了本文制作的數據集的完備性以及卷積神經網絡模型的可靠性。成功檢測目標，YOVOv5都會輸出目標對應的標簽信息。

2.2 圖像分割試驗

根據目標檢測的標簽信息，針對圓形目標和矩形目標使用對應的方法進行圖像分割試驗。使用本文提出的方法可以對星箭對接環和太陽能帆板進行圖像分割，圓形目標分割圖像前后對比如圖5所示，矩形目標分割圖像前后對比如圖6所示。從圖5和圖6的分割對比結果來看，圖像分割的效果非常明顯，特別是太陽能帆板外側的雜亂背景完全剔除，只保留了帆板的信息，在星箭對接環的圖像分割過程中，因為速度而損失了一些精度，但是也較大程度地完成了圖像分割。該試驗驗證了本文的分割方法的可行性，在無人工介入的情況下完成了全自動的圖像分割任務。

3 結語

本研究提出了一種基于YOLO的非合作衛星圖像分割方法，旨在減少背景對目標的干擾，降低后續圖像處理、特征提取等步驟的操作難度，對推動非合作衛星的視覺測量有積極意義。

參考文獻

[1]翟光，張景瑞，周志成.靜止軌道衛星在軌延壽技術研究進展[J].宇航學報，2012，33（7）：849-859.

[2]原彬理.基于雙目立體視覺的普通工件圖像匹配與定位[D].哈爾濱：哈爾濱理工大學，2018.

[3]黃侃.基于雙目視覺的非合作航天器結構識別與位姿測量[D].北京：北京理工大學，2021.

[4]張澤，楊澤民，徐典興，等.基于雙目視覺的化學銑削零件輪廓測量[J].組合機床與自動化加工技術，2022（2）：54-58.

[5]HE Y B， ZENG Y J， CHEN H X， et al.Research on improved edge"extraction algorithm of rectangular piece[J]. International Journal of modern physics C，2018，29（1）：1850007.

[6]DU X， LIANG B， XU W， et al.Pose measurement of large non-cooperative satellite based on collaborative cameras[J].Acta Astronautica，2011， 68（11-12）：2047-2065.

[7]DU H， HU H， WANG D， et al.Autonomous measurement and semantic segmentation of non-cooperative targets with deep convolutional"neural networks[J].Journal of Ambient Intelligence and Humanized Computing，2023，14（6）：6959-6973.

[8]WANG J， ALSHAHIR A， ABBAS G， et al.A deep recurrent learning-based region-focused feature detection for enhanced target"detection in multi-object media[J].Sensors，2023，23（17）：7556.