空間臨近目標行為辨識方法

王揚洋，林彬，楊夏，張小虎

中山大學 航空航天學院，廣州 510275

1 引言

航天技術的日益發展使衛星信息成為一種重要的情報資源。偵察衛星接近目標衛星并進行近距離成像觀測，從圖像獲取其用途、狀態等信息，已經成為現代太空中一種獲取衛星情報的常見手段。在空間軌道上運行時，衛星時常會遇上其他衛星的接近[1]，這些衛星或正常變軌，或帶有偵察衛星信息的任務。如果能對接近衛星的行為進行快速有效的辨識，根據其抵近目的及時采取相應的防護手段，就能夠占據主動權，實現對衛星信息的保護。

行為辨識[2]是指依靠已知信息數據對目標的行為進行分析，探究目標行為的特征，建立合理的行為描述模型，從而實時、智能地實現對目標新行為的識別與判斷，更好地為下一步的決策提供有效信息。

當前，大多數對于空間目標的視覺研究集中于姿態測量[3]、導航跟蹤[4]這兩個方面，如張慶君等人提出了一種基于雙目視覺的航天器間的相對位置及姿態解算方法，并通過對航天器的運動建立參數模型，分析其解算精度的影響因素[5]；王曉亮針對空間非合作目標影像測量，提出了一種改進的卡爾曼濾波來消除交會對接過程中的噪聲，提高了對接段中非合作目標的運動信息的估計精度[6]；李潔、彭琪等人針對非合作目標的關鍵結構尺寸，提出了一種基于點云輪廓線的提取算法，根據目標的點云外觀輪廓線快速估計非合作目標的尺寸、功能[7]；楊博建立了衛星編隊模型下的聯合觀測方程，并基于最優視差角設計一種高精度的編隊衛星導航方法[8]；秦同等根據相機和雷達的測量信息構建了相對導航坐標系，在該坐標系下求解可靠視覺特征點矢量，建立相對導航系統，輔助著陸器在自然路標匱乏時精確軟著陸[9]；唐青原針對火星接近段導航通信受限的問題，結合火星中心視線矢量方向和附近的星歷信息估計探測器的軌道半徑，提出了一種火星探測接近段的天文自主導航算法[10]。這些工作為非合作空間目標的視覺研究帶來很大幫助，但多針對目標的姿態解算、定位問題，目前針對于衛星行為辨識的研究極少，一般采用人工判定的方法，根據以往經驗進行辨識。這樣的方式存在如下問題：1)工程實際中需要在軌衛星具備全天候對目標行為有快速決策的能力，而人工的方式只能夠進行事后處理，無法滿足實時性的需求；2)缺乏統一的具有理論性的辨識準則，在過程中加入了人為誤差，因此結果缺乏足夠的說服力；3)辨識結果往往只有是否存在偵察行為，但并不能很好地量化表現中間過程。

為了解決這些問題，本文提出一種基于視覺特性的臨近目標行為識別算法，利用單相機對臨近目標進行連續成像，根據目標衛星在連續幀的姿態變化，對其運動軌跡和視線指向進行分析，以此辨識目標衛星是否存在偵察行為。試驗中分別對衛星偵察和非偵察兩種狀態進行仿真模擬，驗證該算法的有效性。

2 基于視覺特性的臨近目標行為辨識

一般地，由于單相機拍攝的圖像缺乏足夠的約束條件，難以直接用于解算目標的姿態[11]。只有結合目標自身模型、深度約束[12-14]等條件時，才能得到較為準確的目標姿態。這種增加約束的方式通常適用于預知信息豐富的合作目標，當對象為非合作目標時，往往無法創建有效的約束。

針對單相機拍攝存在的缺陷，本文根據目標偵察時的視線朝向特性和相機中心透視投影模型對目標的姿態特征進行簡化，給出一種基于視覺特性的臨近衛星偵察行為辨識方法。該方法針對目標在圖像中的視覺特性，將其特征轉化為一個或多個可量化的參數。通過觀察特征參數在一段時間內的變化，結合偵察行為的特性，對目標的行為進行辨識。其具體實現如下：

1)圖像預處理。太空中自然光源有太陽、地球漫反射光、月亮、其他天體等，這些光源或主動發光，或反射光提供有效光源，其中主要光源來自于太陽直射光。由于光學相機成像的角度不一，成像時并不能總是獲得太陽直射，光照不均勻會引起目標在圖像中的亮度不均勻和圖像的整體灰度不一，對此，需要對圖像進行預處理，對圖像進行整體灰度歸一化，減少因灰度不同帶來的干擾，有利于后續圖像的特征提取和圖像分割。

2)遴選目標特征參數。目標的特征包括目標姿態特征以及目標運動特征，通常由特征點、輪廓等信息構成。圖像特征點一般指在圖像中具有灰度特性或結構特性的點，反映目標在圖像中的局部特征；而輪廓是目標的邊緣信息，包含目標尺寸、形狀等信息。同時，兩者也能夠相互關聯，聯合構建特征或者彼此縮小圖中搜索特征的范圍。準確地提取特征對于目標識別、目標定位以及后續匹配跟蹤將起到十分重要的作用。常用的特征點提取算法包括Harris算子、Susan算子、SIFT特征描述子算法等[15]。其中，Harris算子、Susan算子一般用于圖像的角點、邊緣點等特征檢測；SIFT算法則是通過其獨特的描述子對特征進行定義，對特征點的檢測具有尺度、角度不變性。同樣的，輪廓提取的算法多種多樣，如Canny算子、拉普拉斯算子、區域閾值分割、區域生長法等[16-17]。對于同一目標，不同的特征選取原則將會帶來不同的結果，因此需要根據目標結構特點以及運動特性對目標特征參數進行針對性的選取。

3)建立特征時間序列。單幀圖像的特征并不能很好地反映目標的變化，因此需要利用匹配、單應變化等方式對所選的特征進行跟蹤，結合時間信息得到特征的時間序列，以此來反映目標在這段時間內運動方向以及姿態的變化。

4)辨識目標行為。針對目標衛星偵察行為在成像時的特征進行相應的分析，結合構建特征時間序列確定其在這段時間內的行為變化。本文對偵察行為的辨識依據為由于目標衛星視線朝向變化所引起的在相機的中心透視投影模型中的特殊變化。對于大部分相機鏡頭來說，圖像投影模型符合中心透視投影模型。當目標衛星上的偵察相機進行拍攝時，衛星視線會時刻指向我方衛星所在方向，使得姿態發生變化；而目標不存在偵察行為時，其姿態基本不發生變化，如圖1所示。

圖1 不同行為下衛星姿態的變化Fig.1 The changes of satellite attitude with different behaviors

3 特征參數構建方法

為了實現對目標行為從定性到定量的分析，綜合特征點、衛星主體外輪廓以及目標的運動軌跡等信息，構建了行為參數L作為特征參數，其定義為特征點沿運動方向所在直線到衛星主體外輪廓兩端的距離差。當只存在一個特征點時，行為參數可以被表示為：

L=l1-l2

式中：l1為特征點沿圖像中目標運動軌跡與外輪廓的左交點的距離；l2為特征點沿圖像中目標運動軌跡與外輪廓的右交點的距離，如圖2所示。

圖2 行為參數的設定Fig.2 The setting of behavior parameters

目標的運動軌跡由這一幀與上一幀衛星特征點在圖像中的運動方向決定，因此，軌跡的準確度取決于特征點跟蹤的精度。為了避免由于跟蹤算法失準造成的誤差，通常選擇提取并跟蹤多個特征點，利用式(1)計算相應的運動方向。

(1)

(2)

式中：kt為t時刻計算出的運動方向；m為非異常的特征點個數。

最終行為參數L定義為：

3.1 基于灰度歸一化的圖像預處理

太空中相機的成像需要合適的光照條件，以近地航天器為例，太陽光作為主要的光照來源，對成像有著最大的影響,航天器姿態的不同、航天器與航天器之間的相對位置以及太陽與航天器之間的相對位置都會使成像時太陽的光照角度發生變化。

假設目標衛星為單一平面，目標衛星所在平面作為反射面，當衛星上的點入射光線來源于太陽光照，認為太陽光照為該點的主要成像光源。實際場景中，目標為三維構體，并非單一平面，表面也存在一定的漫反射，根據這一情況將衛星成像分為三種：主要太陽光照區、部分太陽光照區、非太陽光照區。

在主要太陽光照區，可認為目標成像全部的光源為太陽光照，目標整體成像亮度最大；部分太陽光照區中，目標被分為兩部分，一部分光源來自于太陽光照，一部分來自于其他光源；非太陽光照區中目標成像光源主要來自其他光照，目標整體成像暗弱。

由于圖像受光照影響，目標成像不均勻，且整體亮度不一致，對后續的特征提取和識別存在一定的影響，需對圖像的整體進行灰度均值方差變換歸一化，通過將不同光照條件下采集到的圖像轉換到同一灰度均值和方差的標準圖像，其轉換公式如下：

式中：I(i,j)、M、V分別表示歸一化前圖像的灰度值、均值、方差；N(i,j)、M0、V0分別表示歸一化后圖像的灰度值、均值、方差。

3.2 基于最小二乘匹配的特征點跟蹤

圖像特征點是單幅圖像中相對特殊、在序列圖像中能重復提取的圖像信息。為了使目標的行為參數具有較大的變化范圍，特征點的選取應盡量靠近衛星本體輪廓的中心區域。考慮到工程實際對實時性以及準確性的要求，采用基于最小二乘的匹配算法[18]對特征點進行高精度的跟蹤。

最小二乘算法實質上是基于模板的匹配算法，當初始模板和待匹配圖像之間存在灰度變化和幾何變形引起的誤差，即輻射畸變和幾何畸變時，首先要對圖像的幾何誤差進行修正，使匹配窗口的點能一一對應，再根據最小二乘法對圖像修正，使匹配窗口的對應點的灰度誤差平方和達到最小。

在二維圖像中，幾何畸變包括相對位移和圖像變形，換算公式可表示為：

(3)

式中：(x,y)為模板圖像坐標；(x′,y′)為搜索圖像坐標；a0、b0為x、y方向的相對位移；a1、a2、b1、b2為x、y方向的畸變參數。

輻射畸變主要由于亮度變化引起，在圖像中體現為灰度值的偏差。只考慮線性輻射畸變，對應兩點之間存在如下關系：

g1(x,y)+n1=

h0+h1g2(x,y)+g2(x,y)+n2

(4)

式中：g1(x,y)、g2(x,y)分別表示模板、待匹配圖像(x,y)處的灰度值；n1、n2分別表示對應的灰度偶然誤差；h0、h1表示線性輻射畸變系數，h0+h1g2(x,y)表示線性輻射畸變大小。根據式(4)，可知誤差v為：

v=n2-n1=h0+h1g2-(g1-g2)

(5)

對于圖像中所有對應像素點均存在式(5)，聯立所有誤差方程，根據最小二乘法，令誤差平方和最小，分別對h0、h1求偏導后可得：

對g1、g2進行中心化處理，可得：

本文特征點跟蹤的具體流程如下：

1)對首幀圖像進行二值化處理，計算連通域，選取連通域幾何中心為初始特征點，以特征點為中心，在原圖像上選取尺寸為5×5像素的窗口作為匹配窗；

2)對待匹配圖像進行二值化處理，計算連通域，通過連通域所在位置確定待匹配圖像ROI區域；

3)進行初匹配，在待匹配圖像ROI區域滑動匹配窗口，求解相關系數，選取相關系數最大的窗口中心作為匹配初始位置；

4)根據下式計算初始幾何變形參數，并根據幾何變形參數通過式(3)進行修正：

a0=x′-x，a1=1，a2=0

b0=y′-y，b1=0，b2=1

5)采用雙線性內插法根據修正后的坐標對待匹配圖像進行重采樣，獲得對應的灰度值；

6)根據重采樣的灰度進行輻射畸變修正(初始值h0=0，h1=1)；

7)計算相關系數，當相關系數比前一次小或者幾何變形系數小于閾值，停止迭代，轉步驟9，否則繼續進行迭代計算，轉步驟8；

8)根據最小二乘匹配算法計算6個幾何畸變參數和2個輻射畸變參數，轉步驟5；

9)計算出最終匹配點。

3.3 基于分塊閾值的衛星主體輪廓提取

衛星主體部分在太空光照的影響下，不同位置的成像具有明顯的灰度差異，使得對目標進行圖像分割會缺失部分主體，給完整提取衛星輪廓帶來了一定的難度。為了保證算法的穩定性和適應性，采用基于分塊閾值的分割方法來對目標主體部分進行輪廓提取。特征點的提取跟蹤能提供圖像主體所在位置的先驗信息，為分塊閾值各個部分提供衛星主體所在的大致位置。進行分塊后，各個塊的灰度相對較均勻，通過Ostu法[19]進行閾值計算，能獲得相對可靠的閾值。

當圖像分為若干小塊后，有的區域存在只有背景或者只有目標的情況，這一類特殊塊需要額外區分，不進行分割操作，針對特殊塊的區分方法是分別計算背景和前景的平均灰度，通過背景和前景的差值來進行判斷，其公式如下所示：

式中：Δm為前景與背景之間的平均灰度差；I1(i,j)、I2(i,j)分別為前景、背景所在位置的灰度值；C1、C2分別為前景、背景所占像素數量。當圖像中只存在背景和目標時，背景和前景之間的平均灰度差較小，且由于太空環境的特殊性，背景的灰度值比較低，這一特性也為分割提供了可靠的先驗。

基于分塊閾值的衛星主體輪廓提取算法如下：

1)將圖像分割成若干小塊，通過Ostu法計算每個小塊對應的分割閾值；

2)根據分割閾值計算各塊前景與背景之間的平均灰度差，剔除平均灰度差較小的塊；

3)根據分割閾值對各個小塊的圖像進行分割；

4)對已分割的圖像進行整體統合，進行連通域判斷。

5)填充孔洞，取最大連通域作為目標衛星主體部分，通過梯度計算獲取衛星主體部分的輪廓。

4 目標行為辨識

根據目標衛星偵察行為在姿態上的特性建立相應的辨識準則，如圖3所示。利用當前幀與前一幀中特征點在圖像中的坐標計算出目標在圖像中運動速度與方向，確定運動軌跡。l1為特征點沿目標運動方向與外輪廓的左交點在投影平面的距離，l2為特征點沿目標運動方向與外輪廓的右交點在投影平面的距離。從圖3中可以看出，當目標存在偵察行為時，l1、l2基本保持不變；當目標沿圖中軌跡運行，且姿態保持不變時，l2基本保持不變，而l1隨著目標位置的變化而增大。根據行為參數L=l1-l2可以對目標行為姿態進行辨識，當行為參數L基本保持不變時，目標存在偵察行為，當L逐漸變化時，目標屬于正常運行狀態。

圖3 不同行為下目標在圖像中的特征Fig.3 The characteristics of target in images with different behaviors

目標行為辨識的具體流程如下：

1)當發現有臨近目標時，自身衛星上的相機先指向目標，讓目標處于圖像中的邊緣，并保持衛星姿態，拍攝目標從一側邊緣到另一側邊緣的序列圖；

2)根據特征點P的位置變化計算衛星的運動軌跡；

3)計算衛星運動軌跡在特征點P處的斜率k，以斜率k和特征點P的圖像位置建立直線方程；

4)求解直線方程與衛星輪廓的交點s1,s2；

5)求解特征點P分別到交點s1，s2的距離l1，l2；

6)計算行為參數L=l1-l2，根據行為參數的變化判斷目標是否存在偵察行為。

5 仿真校驗

試驗采用BASLER系列acA1440-220uc的相機，型號為FL-CC0614A-2M的鏡頭，北斗導航衛星模型一個，650 nm點狀光斑激光器一臺。

5.1 試驗設計

試驗分別針對特征點跟蹤、輪廓提取和算法辨識的有效性進行。試驗分為兩部分，第一部分針對不同光照條件下特征參數構建，評估光照對圖像處理方法和特征參數計算的影響。第二部分通過模擬偵察衛星和非偵察衛星的運行狀態，計算特征參數，對兩種狀態進行辨識。

試驗1：固定相機和衛星模型，調整光源條件，使目標衛星成像處于整體暗弱、亮度不均勻、整體明亮3種狀態，分別對應非光照區、部分光照區和完全光照區3種情況，模擬太空中成像存在的亮度不一和圖像灰度不均勻的情況。

試驗2：固定拍攝相機不動，考慮到相機視場角約為20°，相機的成像尺寸為1 440×1 080像素，鏡頭焦距為6 mm，假定太空中偵察衛星觀測距離為10～30 km，根據目標大小不同和距離遠近不一，成像大小在200×200像素到600×600像素之間，衛星模型主體大小為50 mm×70 mm。為了保證圖像處理效果接近，令目標成像大小約為250×350像素，此時成像距離約5.2 m。試驗以5.2 m為半徑，選取2組20°的范圍，如圖4所示。每組試驗中，近似等間距布置8個運動點，以模擬目標衛星繞飛的圓軌道。在這8個點分別調整衛星姿態，模擬衛星正常運行和衛星偵察兩種狀態，具體如下：

1)當模擬目標衛星正常運行時，保持衛星姿態不變，使其沿設定軌跡依次經過8個運動點，并用相機拍攝衛星處于這8個位置的圖像。

2)當模擬目標衛星存在偵察行為時，使其沿設定軌跡依次經過8個運動點。通過調整衛星的姿態，保證與其固定連接的激光器所發出的激光點出現在預設定的十字標志絲中心處，以此確保衛星視線始終指向被偵察方向。在每個運動點處調整完姿態后，取下激光器并進行拍攝。

圖4 試驗場景Fig.4 The experimental scene

5.2 辨識結果

為了使結果顯示更加清晰，截取以目標主體為中心的300×450像素區域，不同光照條件下目標的成像如圖5所示。

圖5 不同光照條件下目標成像結果對比Fig.5 Comparison of target imaging results under different light conditions

經過灰度歸一化后，結果顯示如圖6所示。如圖5、圖6所示，雖然目標的灰度還存在一定的差距，但經過歸一化后，不同光照條件圖像灰度有了明顯的調整，灰度更為相似。針對歸一化處理后的圖像進行特征點提取和圖像分割，特征點和圖像分割結果如圖7、圖8所示。

在經過預處理后，圖像4個特征點提取的平均誤差在一個像素以內，而圖像分割在不同光照條件下均能較好地提取目標主體結構，且結果基本一致。

圖6 不同光照條件下灰度歸一化圖像Fig.6 Comparison of grayscale normalized image under different light conditions

圖7 不同光照條件下特征點提取結果對比Fig.7 Comparison of feature point extracted image under different light conditions

圖8 不同光照條件下目標主體分割結果對比Fig.8 Comparison of target contour segmented image under different light conditions

分別對2組試驗中拍攝的4組序列圖進行特征點的跟蹤，結果如圖9所示。在圖像存在幾何畸變的情況下，最小二乘算法仍然可以很好地定位到特征點。跟蹤結果的平均誤差為0.63個像素，其對行為參數的影響較小，因此誤差處于可接受范圍之內。

圖9 特征點跟蹤結果Fig.9 The results of feature point tracking

根據第4章提出的行為辨識流程，分別計算4組圖中的衛星運動軌跡和行為參數。為了體現行為參數的變化，將初始時刻的行為參數置為0，其他時候轉為與初始時刻的差值。針對2組試驗的行為參數變化進行詳細說明，如圖10所示。當臨近目標存在偵察行為時，由于其視線一直指向被偵察方向，因此在圖像中其行為參數在觀測時間內變化極小，如圖中的Investigation標注直線所示；而正常運行的目標，其姿態在較短時間內的變化極小，但由于相機成像特性，特征點到兩側的距離會愈發不對稱，而呈現在行為參數上的變化就是絕對值具有明顯的增大趨勢，如圖中No investigation標注直線所示。

圖10 行為辨識結果Fig.10 The results of behavior identification

6 結論

本文提出了一種基于視覺特性的臨近衛星偵察行為辨識方法，通過行為參數的變化來確定目標的視線指向。經試驗仿真驗證，該方法可以實時對臨近目標的偵察行為進行辨識，為后續決策提供可靠的判斷信息。但該方法僅適用于對天偵察，且存在一定姿態變化的偵察衛星，對于對地偵察和姿態不發生變化的偵察衛星難以進行有效判斷，后續將針對非合作空間目標的關鍵部位的尺寸測量與重建展開工作，針對目標載荷變化進行觀測識別。