基于多階差分損失全卷積網絡的航跡融合算法

云 濤,潘 泉,楊繼龍,郝宇航,白向龍

(1. 西北工業大學 自動化學院, 陜西 西安 710114; 2. 宇航動力學國家重點實驗室, 陜西 西安 710043) (3. 信息融合技術教育部重點實驗室, 陜西 西安 710114; 4. 成都飛機設計研究所, 四川 成都 610091)

0 引 言

多源航跡融合通過對同一目標多源航跡的一系列綜合,以期獲得比任一單傳感器更加準確可靠的全局性估計結果,可以對目標實現更高精度的跟蹤和測量,為目標識別、態勢評估和行動決策等提供技術基礎[1]。

目前航跡融合算法普遍精度較低,或需要準確的先驗信息,解決融合算法對先驗信息的依賴是航跡融合領域亟待解決的問題。

現有航跡融合算法主要包括三類：加權融合、卡爾曼濾波融合和數據驅動的融合算法。

基于加權的航跡融合算法,對不同局部航跡設置不同權重,利用加權求和生成融合航跡,權重的計算方式有很多種,方差加權融合算法使用傳感器的量測誤差方差生成局部航跡的權重[2]。當方差估計準確時,方差加權融合精度達到加權融合類算法的上限,但仍難以滿足高精度場景的應用需求。簡單凸組合[3-4]融合算法和Bar-Shalom-Campo[4]融合算法都是利用局部航跡估計過程中產生的狀態協方差矩陣來計算權重。但是,局部處理器為了保證跟蹤的穩定性和實時性,協方差矩陣的估計精度難以保證。

基于卡爾曼濾波(KF)的融合算法[5],利用KF強大的狀態估計能力,將融合航跡作為狀態變量進行估計,從而實現航跡融合。KF融合算法主要包括兩種：(1)通過合并多傳感器數據,增加KF的觀測矩陣維數,從而實現多傳感器航跡的融合[6];(2)首先基于最小均方誤差準則融合多源量測數據,然后使用這個融合的量測來估計狀態向量,觀測矩陣的維數保持不變[7]。文獻[8]證實當需要融合的傳感器具有獨立的噪聲特性,且具有相同的觀測矩陣時,以上兩種融合方法在功能上是等效的。但是,通過KF實現航跡融合時,需要對目標運動模型、系統噪聲協方差和量測噪聲協方差有較為準確的估計,否則會極大地影響算法的性能。

數據驅動的航跡融合主要利用深度學習方法來實現。近年來深度學習在圖像處理[9-10]、語音識別[11]、文本處理[12]和濾波器優化設計[13]等領域得到了深入研究和應用,在部分應用場景甚至超越了傳統算法。深度學習在信息融合領域的應用多集中在航跡關聯[14]、航跡預測[15-16]等方面,在航跡融合方面的研究和應用較少。文獻[17]設計了一個卷積神經網絡(CNN)對仿真二維局部航跡進行融合。該算法在網絡的最后使用全連接層來生成融合航跡,較大的模型參數量增加了模型收斂的難度,融合航跡精度優于單傳感器,但沒有取得超過傳統算法的效果。數據驅動的航跡融合是一個多維變量的估計問題,簡單地利用標記數據使用成熟網絡進行學習,不一定能取得較好的效果。為了獲得更好的效果,必須針對航跡融合問題,設計專用的融合網絡。

本文提出了一種基于多階差分損失全卷積網絡(FCNMDL)的航跡融合算法,利用全卷積網絡對局部航跡進行融合,構建了一種不使用全連接層,全部由卷積層組成的神經網絡,極大地減少了模型參數,降低了訓練時間;提出了一種多階差分加權損失,對輸出航跡及其一、二階差分分別計算損失,然后用加權得到的總損失進行后向傳遞,計算網絡參數的更新量。

1 航跡融合

面向跟蹤的數據融合結構主要有三種：集中式、分布式和混合式。對于分布式跟蹤融合結構,每個傳感器測得量測數據后,送入相應局部處理器。局部處理器利用量測進行狀態估計,形成局部航跡。融合中心首先對局部航跡進行航跡關聯,然后利用融合算法對局部航跡進行處理,生成融合航跡,一般結構如圖1所示。本文重點研究解決分布式融合結構中航跡融合對先驗信息的依賴問題。

圖1 分布式融合結構

運動目標的狀態轉移過程可以表示為

Xk=f(Xk-1)+Wk

(1)

式中：Xk為k時刻(k=1,2,…,K)的n維目標狀態向量;Wk為k時刻的系統噪聲;f(·)為狀態轉移函數。

有N個傳感器對運動目標進行跟蹤,第i個傳感器的量測可以表示為

Zi,k=h(Xk)+Vi,k

(2)

式中：Zi,k為第i個傳感器(i=1,2,…,N)k時刻的m維量測向量;Vi,k為量測噪聲;h(·)為測量函數。

(3)

(4)

航跡融合問題可以表示為

(5)

式中：fusion(·)表示融合算法;pip(ip=1,2,…,mp)為融合算法參數。

方差加權融合算法通過對局部航跡的線性組合得到航跡估計值

(6)

式中：σi為第i個傳感器的方差矩陣,一般通過對該傳感器的歷史數據進行統計分析得到。方差加權融合算法只是對航跡進行了空間維的融合,沒有利用航跡的運動特性,導致融合精度較低。

基于KF的航跡融合算法把融合航跡作為狀態變量進行估計,從而實現航跡融合。狀態轉移方程如式(1)所示,量測方程可表示為

Zk=HXk+Vk

(7)

(8)

式中：f(·)為目標運動的狀態轉移函數;P為系統噪聲協方差矩陣;Ri(i=1,2,…,N)為第i個傳感器的量測噪聲協方差矩陣。KF融合算法的融合精度依賴于對系統噪聲和量測噪聲的估計精度。

以上兩類算法性能嚴重依賴于先驗信息,因此航跡融合算法對先驗信息的依賴是亟待解決的問題。本文研究的重點是通過構建一種深度神經網絡,實現不依賴先驗信息的航跡融合算法

(9)

2 基于FCNMDL的航跡融合算法

為了實現更高精度且不依賴先驗信息的航跡融合,本文設計了一種智能航跡融合算法。與傳統的航跡融合算法不同,本文算法不需要估計目標的運動模型和噪聲特性,基于離線訓練的FCNMDL網絡實現航跡融合。算法包含離線訓練和在線融合兩個階段,算法流程如圖2所示。

圖2 FCNMDL航跡融合算法框架

離線訓練階段,首先將待融合航跡按滑窗和步長大小分割為數據段,對提取的子航跡進行正規化,作為神經網絡的輸入;然后神經網絡對輸入進行前向傳播,生成融合航跡及其各階差分;最后網絡計算融合航跡與真實航跡及其各階差分的加權損失,利用反向傳播算法進行損失的反向傳播和參數更新。

在線融合階段,對待融合航跡進行滑窗提取和正規化處理,輸入訓練好的神經網絡,得到相對位置的融合結果,經過數據還原即可得到融合航跡。

2.1 預處理

預處理的主要任務是數據正規化,即把輸入數據轉換為神經網絡容易處理的形式。綜合考慮融合算法的實時性和精度要求,結合傳感器的數據率,確定子航跡的窗長為Nw,由傳感器S1和S2的局部航跡的第kw個待融合航跡片段組成的矩陣為

(10)

航跡融合的目的是減小原有量測數據的誤差,以期得到誤差更小的航跡。在網絡中進行正向傳播時,正規化的數據更有利于網絡的訓練。因此,通過歸一化將絕對位置信息轉變為相對位置信息

XN,w,kw=(Xw,kw-akw)/(bkw-akw)

(11)

式中：bkw=max(Xw,kw);akw=min(Xw,kw);XN,w,kw是第kw個待融合航跡片段正規化以后的數據,可以作為網絡輸入。

在本文算法中,將待融合航跡組成一個一維雙通道數據,而不是二維數據。具體來說就是預處理后的航跡XN,w,kw∈RNw×C,其中Nw為窗長,C為通道數量,等于局部航跡數量。這是由于CNN對輸入數據進行卷積操作時,為了保持卷積前后數據長度不變,需要對數據進行補零操作。如果將數據作為二維單通道數據輸入網絡,在局部航跡數量維的補零操作會極大地降低航跡融合的精度。

2.2 卷積層

卷積層在深度學習中主要完成特征提取任務[18-19],是CNN中最重要的組成部分之一。卷積層其實就是將不同的卷積核應用到一個張量的所有點上,通過卷積核在輸入矩陣上的滑動,產生經過處理的新張量。此時,卷積核可以理解為一種濾波器。每層卷積中都有不止一個卷積核,以便利用不同的卷積核提取輸入矩陣中不同的特征。

2.3 激活函數

激活函數是將特定的轉換函數施加到輸入信號上,主要作用是將非線性特性引入網絡中,這可以讓網絡學習和逼近任意函數。

Leaky ReLU 激活函數[20]定義如下

(12)

其導數為

(13)

Leaky ReLU輸入小于0的部分值為負,且有微小的梯度,這使得在反向傳播時,對于輸入小于0的部分,也可以計算得到梯度,能夠避免ReLU激活函數可能的梯度消失。

2.4 網絡模型

本文設計的用于航跡融合的多階差分損失全卷積網絡模型結構如圖3所示,主要包含特征提取、融合和差分三個模塊。

圖3 多階差分約束全卷積網絡模型結構圖

(1)特征提取模塊

對于待融合航跡片段XN, w, kw∈RNw×C(Nw為窗長,C為通道數量,即局部航跡數量),使用8層3×1的小尺度卷積層提取航跡特征Xc,w,kw∈RNw×Cc

Xc,w,kw=CONVCE(XN,w,kw)

(14)

式中：Cc是特征提取模塊輸出數據的通道數,由最后一層卷積的卷積核數量決定,在本文中為256。

(2)融合模塊

一般的CNN模型先利用多層的卷積進行特征提取,之后連接多層的全連接層實現分類或者數據的生成。全連接層第一層的每個神經單元都需要和最后一層卷積的每個神經單元連接,全連接層各層之間也要互相連接,使得網絡模型參數急劇增多。本文的FCNMDL網絡在數據生成即融合模塊,沒有使用全連接層,而是利用單通道卷積對多通道特征進行融合,生成融合航跡Xo,w,kw∈RNw×1

Xo,w,kw=CONVfusion(Xc,w,kw)

(15)

(3)差分模塊

差分模塊包含兩個差分層,計算融合模塊輸出的融合結果的一、二階差分。最后,網絡將融合結果及一階、二階差分一起作為網絡輸出。

2.5 損失函數

在目標跟蹤領域,均方誤差(MSE)是被廣泛使用的一種衡量算法性能的指標。為了引導融合網絡生成更高精度的融合航跡,選用MSE損失函數,計算融合航跡和真實航跡之間的歐式距離。MSE越小表示融合航跡越接近真實航跡。利用輸入和輸出的多階差分計算損失的公式如式(16)所示。反向傳播算法利用計算得到的總損失,逐層進行損失的反向傳播,修正網絡參數,經過多次循環迭代,直到網絡收斂或達到結束條件。

(16)

2.6 數據還原

經過正規化后的數據只保留了航跡的相對位置信息,神經網絡學習航跡的誤差特征,輸出為相對位置信息,需要經過數據還原得到絕對位置的融合結果

Xf,w,kw=Xo,w,kw(bkw-akw)+akw

(17)

式中：Xf,w,kw為融合航跡;akw、bkw分別為該條航跡對應輸入航跡的正規化系數。

3 實驗仿真與分析

本節設計了仿真實驗,以評估FCNMDL航跡融合算法的性能。首先,構建了一個仿真數據集,作為網絡訓練和測試的基礎;然后,設計了一個消融實驗,通過對FCNMDL模型的不同部分進行替換,以驗證全卷積結構和多階差分損失的作用;最后,對同一組測試數據,分別使用FCNMDL、方差加權和基于KF的融合算法進行處理,對比了不同算法融合結果的均方根誤差(RMSE)。

本文算法重點聚焦分布式融合結構中的航跡融合部分。因此,算法輸入的局部航跡需要經過航跡關聯和時間配準。航跡關聯采用本項目組提出的基于消息傳遞的算法[21],時間配準采用內插外推法[1]。

3.1 數據集構建

為了訓練和測試FCNMDL網絡,建立了一個目標航跡仿真數據集,采樣周期為1 s,仿真航跡總點數均為100,運動模式包括兩種：勻速直線運動和勻加速運動,使用線性狀態方程和量測方程生成真實航跡和局部航跡。

Xk=FXk-1+Wk
Zi,k=HXk+Vi,k

(18)

一般觀測方程根據雷達或光學設備跟蹤模式進行建模,多為非線性觀測方程。量測值包括斜距、方位角和俯仰角,相應的觀測噪聲也主要體現在距離和角度兩個方面。但由于非線性觀測的緣故,帶有角度的量測值在轉換到三維直角坐標系后,三個位置維的噪聲與角度相關,每段航跡的位置噪聲會隨著角度變化產生波動,這不利于訓練和評估。因此本文在數據集構建時,量測方程使用線性觀測模型,且量測值為三維直角坐標,不包含角度,確保每個航跡每段的噪聲基本不變。

3.2 消融實驗

消融實驗中的幾種網絡模型結構如表1所示。作為對比的兩種CNN模型中的卷積特征提取模塊均采用與FCNMDL網絡特征提取模塊相同的結構。為了驗證全卷積的效果,在NN_A中將FCNMDL中的融合模塊替換為全連接層,其他部分保持不變。為了驗證多階差分損失的效果,設計了NN_B網絡,把FCNMDL網絡中的多階差分損失替換為單一損失。

表1 對比模型結構表

根據通用近似定理[22],使用非線性激活函數sigmoid的兩層神經網絡可以擬合任何的復雜函數。在分類識別任務的經典網絡中,AlexNet[23]和VGG[24]都包含兩個隱藏層,GoogLeNet[25]只有一個隱藏層。NN_A網絡中的全連接層設為兩層,即一個隱藏層和一個輸出層,隱藏層包含1 024個神經單元,輸出層包含的神經單元數量與融合窗長保持一致,均使用sigmoid激活函數。

消融實驗主要從模型復雜度、時間復雜度和融合性能三個方面定量評估不同網絡模型。模型復雜度是衡量模型復雜程度的指標,使用模型訓練參數數量衡量,單位為MB。時間復雜度是衡量算法運行效率的關鍵,使用模型對10 000個樣本融合時間的平均值衡量,單位為ms。融合性能是衡量融合航跡與真實航跡誤差的指標,使用同一組樣本融合航跡的均方根誤差衡量。

三種模型運行于完全相同的軟硬件平臺,處理器為Intel i7-10870H,內存大小為8 GB,加速卡為NVIDIA GeForce RTX 2060,深度學習框架為PyTorch 1.10.1,并行計算架構為CUDA 11.3。

三種模型的參數量如圖4所示。差分計算過程中的參數并不參與訓練,所以FCNMDL與NN_B模型訓練參數量相同。NN_A使用全連接層作為融合模塊,使得NN_A模型的訓練參數量達到FCNMDL的約7.7倍。

圖4 三種模型訓練參數量

圖5所示為三種模型平均融合時間。NN_B比FCNMDL少兩次差分運算,時間減少了5.0%,NN_A比FCNMDL多兩個全連接層,時間增加了25.0%。

圖5 三種模型平均融合時間

使用同樣的訓練集、優化器和超參數,對三個模型進行相同次數的訓練,并使用相同的測試集進行測試。測試集中待融合的兩個傳感器量測數據的RMSE分別為1 km和1.5 km,三種模型的融合結果如圖6所示。

圖6 三種模型融合航跡均方根誤差

NN_A使用全連接層作為融合模塊,導致參數量急劇升高,算法收斂難度增大,使得NN_A收斂到某局部極小點。且該局部極小點對應模型參數生成的融合航跡RMSE相比單個傳感器增大,沒有達到應有的效果。FCNMDL相對于NN_B增加了多階差分約束,融合性能提升約13.1%。

3.3 融合結果

為驗證本文算法性能,選取數據集中某條航跡,分別采用本文算法、方差加權和第一類KF融合算法,即擴維KF融合算法進行融合,結果如圖7所示。在方差加權融合算法中,利用所有測試數據來估計傳感器方差。在擴維KF融合時,運動模型采用準確模型,即不考慮建模誤差,系統噪聲協方差Q=q·diag([1,1,1]),q=1e-8。

圖7 局部航跡及融合結果

圖8～圖10是局部航跡和融合航跡分別在X、Y、Z三個方向的位置誤差。從中可以看出,FCNMDL算法融合航跡在X、Y、Z三個方向的位置誤差均明顯小于兩個傳感器的局部航跡和方差加權融合算法,接近擴維KF融合算法。

圖8 X軸位置誤差

圖9 Y軸位置誤差

圖10 Z軸位置誤差

3.4 噪聲自適應性能分析

為準確評估融合算法的性能,使用五對不同噪聲均值的局部航跡進行融合,每對400組數據。在航跡融合時,目標在直角坐標系下X、Y、Z三個方向的位置信息相互之間是獨立的,沒有相關性,所以在對融合算法性能進行評估時,取某個方向單獨融合,并計算RMSE,處理結果如表2所示。

表2 不同算法融合結果RMSE

通過對表2的分析,可以發現：

(1)FCNMDL融合精度整體上優于方差加權融合。當q=1e-8時,在五種組合的融合結果中,FCNMDL融合有兩次優于擴維KF融合算法精度。擴維KF融合精度隨著q的變大而下降,當q=1e-4,FCNMDL全部優于擴維KF算法。

(2)當局部航跡噪聲均值越大,并且兩個局部航跡的噪聲均值越接近,本文算法精度越高。提高差距較大、噪聲均值較小的航跡的融合精度,是本文以后研究的重點。

4 結束語

本文提出了一種多階差分損失全卷積網絡的航跡融合算法。該算法使用全卷積網絡結構,避免了全連接層的使用造成的參數量巨大、較難訓練等問題,同時結合輸出的多階差分損失設計,實現了高精度的航跡融合結果。仿真實驗表明,本文提出的算法不依賴先驗信息,訓練參數量少,融合精度高。當目標系統和量測誤差參數不能精確估計時,本文算法融合精度優于方差加權融合算法和擴維KF融合算法。

在非合作目標的探測跟蹤中,非合作目標和傳感器是對抗博弈關系,跟蹤方往往無法獲取目標的真實航跡,系統噪聲方差矩陣的值往往較為寬松,以保證融合算法的穩健性,但卻會降低融合航跡的精度。本文提出的航跡融合算法利用離線訓練好的網絡,實現高精度的航跡融合,且不需要先驗信息,這在非合作目標航跡融合中具有極大的應用前景,也可以用于其他較為平穩數據的融合處理。