基于人機交互的免錨檢測和跟蹤系統設計

吳超，吳紹斌，李子睿，孫冬

(北京理工大學 機械與車輛學院，北京 100081)

0 引言

近年來，隨著人工智能技術的發展及應用，無人系統在現代作戰和國家安全領域中大顯身手，成為重要的戰斗力量之一[1]。而目標的檢測和跟蹤作為精準進行目標打擊的基礎，其重要性不言而喻。目前在真實的作戰場景中，復雜的環境是目標檢測和跟蹤面臨的主要挑戰[2]，如何能夠高效、準確地檢測和跟蹤目標，已經成為提高實用性的關鍵。

激光雷達由于其出色的三維場景建模能力，一直廣泛用于無人駕駛領域。目前，激光雷達的目標檢測和跟蹤算法可分為傳統方法和基于深度學習的方法兩種。傳統激光雷達的障礙物檢測與跟蹤方法可以分為基于柵格單元分析的方法、基于檢測-跟蹤的方法。基于柵格單元分析的目標檢測、跟蹤方法是用柵格對目標進行表征，并通過柵格運動區分環境中的動態區域和動態區域[3-4]。基于檢測-跟蹤的動態目標檢測方法，主要是對連續多幀檢測到的目標進行數據關聯，然后根據目標的位置變化檢測動態目標，可以通過建立靜態背景方法提取動態目標[5]。隨著深度學習技術的發展，基于深度學習的方法逐漸成為主流。相比于傳統方法檢測，深度學習檢測方法的泛化能力更強、準確率更高。基于深度學習的點云3D檢測技術主要分為基于點(Point-Based)、基于體素(Voxel-Based)、基于相機和激光雷達融合(Camera-Lidar Fusion)3個方向[6]。Voxel-Based的3D目標檢測將點云數據轉化為體素類型，然后利用成熟的2D目標檢測技術進行檢測，例如Voxel-Net[7]、PointPillars[8]、CenterPoint[9]、3D-CenterNet[10]等。Point-Based的3D目標檢測采用原始的點云數據作為特征輸入，直接對每個點分類，例如PointNet[11]、PointNet++[12]、PointRCNN[13]、PVRCNN[14]等。基于Camera-Lidar Fusion的3D目標檢測以相機的圖片數據和激光雷達的點云數據為輸入，結合圖像的色彩、紋理特征和點云數據的幾何特征進行融合，旨在增強加檢測的準確性，如MV3D[15]、F-PointNet[16]、CrossFusion Net[17]等。目前基于Camera-Lidar Fusion的3D目標檢測的融合還處于較低水平，具有顯著的分辨率損失，而且點云和圖像數據的時間和空間對準誤差的消除、圖像數據和點云數據視場角不一致的融合問題還亟待解決。此外相比于Voxel-Based的3D目標檢測，Point-Based的3D目標檢測沒有任何的信息編碼損失，準確率更高，但是由于點云數據量較大，實效性較差。如何在保證Point-Based框架準確率的前提下提高網絡的效率，成為一個重要的研究方向。另外，現有跟蹤算法需要在初始幀指定目標[18]，只依靠無人系統自身的智能，往往不能適應瞬息萬變戰場環境，因此需要與指揮人員進行交互。

為提高越野環境中目標跟蹤的準確率和效率，本文提出一種基于人機交互的免錨的目標檢測和跟蹤系統。本文工作主要有3個方面：1)為解決Point-Based框架的3D目標檢測的效率問題，提出一種免錨(anchor-free)的目標檢測網絡結構。該網絡使用高效的PointNet和MLPs結構，并設計了邊界框關聯層進行監督學習，這種策略的好處在于只需要在訓練時使用，而在線檢測時則不需要，有效地加快了檢測效率。2)為提高跟蹤的靈活性，使其能夠適應復雜多變的戰場環境，提出一套基于人機交互的目標跟蹤方法。3)為提高檢測目標和跟蹤目標匹配的準確率，提出一種綜合外觀特征和運動特征的匹配方法。

如圖1所示，本文提出的基于人機交互的免錨目標檢測和跟蹤系統由三部分組成，分別為檢測系統、指揮系統和目標跟蹤系統。目標檢測系統以點云為輸入，輸出檢測目標序列；指揮系統通過相機實時獲取環境態勢信息，根據檢測系統的結果人機交互選擇跟蹤目標，然后生成外觀模型下發給跟蹤系統；跟蹤系統利用指揮系統下發的外觀模型和檢測目標的外觀模型進行匹配，基于卡爾曼濾波算法進行運動估計，獲取目標的位置、速度和方向。

1 基于免錨的目標檢測網絡

檢測系統如圖1所示，本文提出一種基于免錨的兩階段檢測網絡。第1階段為邊界框定位網絡，不同于現有的3D目標檢測網絡采用region proposal network(RPN網絡)產生大量的邊界框，然后在后處理階段利用非極大值抑制算法(NMS)進行篩選。本文設計了高效的PointNet和MLPs網絡結構并通過邊界框關聯層來監督網絡學習相應的特征，直接回歸若干個邊界框，網絡結構簡單。而且邊界框關聯層只需要在訓練階段來監督網絡學習，在線檢測時不需要，在很大程度上解決了Point-Based網絡的效率問題。第2階段為邊界框細化網絡，其以第1階段的結果為輸入，回歸出更精確的邊界框。

1.1 目標邊界框定位網絡

1.1.1 邊界框編碼

1.1.2 目標邊界框定位網絡結構

如圖1檢測系統所示，邊界框定位網絡由兩部分組成，第1部分為全局特征提取部分，可用PointNet或者PointNet++等網絡進行特征提取，輸出為1 024維的全局特征向量；第2部分為邊界框回歸部分，主要由MLP層(包括全連接層和非線性的激活函數Leaky ReLU)組成。其后為兩個分支網絡，一個分支輸出H×2×3維的向量(H為預測的邊界框個數)，表征邊界框的參數；另一個分支輸出H×4維的向量，對目標框的置信度和邊界框中物體的類別進行預測。

為監督網絡學習合適的特征，需要將預測的邊界框和真值邊界框進行關聯，受3D BoNet的啟發，本文設計了邊界框關聯層。邊界框關聯層在訓練的過程中監督網絡學習相應的特征，其只增加訓練的時間成本，不影響在線檢測，其原理圖如圖3所示。

為計算Ci,j值，一般可用歐式距離或者兩個邊界框的交并比進行衡量，但為了更好地反映點在邊界框中的分布，本文采用如下3個標準。

1)歐式距離

2)空間交并比

3)點的交并比

總的兩邊界框的代價值Ci,j為

假設關聯矩陣為A,A∈RH×T，A的元素Ai,j為第i個預測邊界框和第j個真值邊界框之間的匹配關系。Ai,j=1，表示預測邊界框和真值邊界框匹配；Ai,j=0，表示不匹配。因此邊界框關聯問題可歸納為找到一個最優的關聯矩陣A使得總的目標函數最小。對此問題進行建模，模型表示如下：

求解邊界框關聯問題(匈牙利匹配問題)，可得出關聯矩陣A，并根據關聯矩陣A計算出網絡損失函數。損失函數由兩部分組成，一是預測邊界框和真值邊界框的損失值，二是預測的邊界框的置信度和類別的損失值，總的損失函數Lt為

Lt=Lb+Ls+Lc

式中：Lb為預測邊界框和真值邊界框的損失值，其與Ci,j呈正比，

Ls為預測的邊界框分數值的損失函數，

Ls中前半部分為匹配部分損失，后半部分為未匹配部分損失，pt為邊界框的置信度；Lc為預測的邊界框的類別的損失，為降低各類別不均衡性的影響，本文采用Focal Loss損失函數[20]。

1.2 邊界框細化網絡

1.2.1 邊界框細化網絡結構

由于邊界框定位網絡輸出的邊界框范圍較大，需要進一步進行細化，為此提出邊界框的細化網絡。目標邊界框細化網絡結構如圖4所示，其主要由T-Net網絡(輕量化的PointNet網絡)和PointNet回歸網絡組成。圖4中，Δx、Δy、Δz為T-Net網絡回歸邊界框定位網絡輸出邊界框的中心和真值邊界框中心的偏差，A表示A(add)層，C表示C(contact)層，h、w、l分別為邊界框的長、寬、高，θ為航向角。

網絡的輸入為邊界框定位網絡輸出的邊界框中的點云，維度為m×c，m為點云點的個數，c為輸入特征維度。然后平移變換層將點云由原來的雷達坐標系平移到以邊界框中心的坐標系。T-Net網絡回歸邊界框定位網絡輸出邊界框的中心和真值邊界框中心的偏差(Δx,Δy,Δz)，然后利用A(add)層將偏差消除，最后C(contact)層將雷達坐標系下的坐標和真值邊界框坐標系下的坐標值進行拼接。坐標變換原理圖如圖5所示。另外為精確地編碼邊界框，采用中心點(cx,cy,cz)、邊界框的長寬高(h,w,l)和航向角θ共7個參數來表示邊界框，最后利用PointNet網絡直接回歸這些參數。

1.2.2 損失函數

不同于之前網絡用角度的差值或角度的正弦值之差來表示角度偏差，本文提出了用兩個余弦值之差來表征角度差，相比于前兩種方法，新方法能更好地反映兩航向角之間的偏差。

Δθ=cosθg-cosθp

邊界框中心點的回歸損失用中心殘差的歐式距離來衡量，長、寬、高和航向角的回歸損失用l1距離來衡量。損失函數如下：

|Δli|+|Δwi|+|Δhi|+|Δθi|)

1.3 檢測目標圖片提取

3D目標檢測輸出為目標的邊界框，并不能直接得到目標的圖片，因此本文將點云投影到圖像上，一個目標所有點云投影在圖片上形成的最小二維框對應的圖片即為檢測目標的外觀圖片。如圖6所示。

2 指揮系統

目前，主流的跟蹤方法在理論研究中都有一個假設，即在第1幀就已經給出跟蹤目標。但是對于復雜多變的戰場環境而言，跟蹤的目標需要跟蹤戰場局勢進行實時調整，基于自動目標檢測來提取初始信息并不能滿足戰場環境，因此本文搭建了一套指揮系統來實現指揮人員交互地選取目標，實現無人平臺的協同作戰。

2.1 指揮平臺簡介

智能技術的發展及軍事化應用，“信息+智能”已經成為智能化作戰指揮的特征[21]。本文提出的指揮系統主要由態勢回傳、人機交互、軟硬件狀態的反饋、信息下發四個部分組成，指揮軟件如圖7所示。態勢回傳部分利用無人平臺上的傳感器(相機)實時感知戰場環境，通過電臺進行實時回傳，并在指揮軟件上實時顯示；人機交互部分是指指揮人員根據回傳的戰場態勢，可以靈活地選定跟蹤目標；軟硬件狀態反饋部分實時監測軟硬件的狀態；信息下發部分是將外觀模型下發給無人平臺跟蹤系統，以便無人平臺對跟蹤目標進行鎖定和跟蹤。

2.2 基于人機交互的跟蹤目標圖片提取

為方便指揮人員進行跟蹤圖片選取，本文設置了兩種交互操作：1)直接加載；2)單次點擊。指揮軟件的任務配置界面如圖8所示。

1)直接加載

在指揮人員已經獲取到跟蹤目標的圖片時，例如之前已經跟蹤過的目標，可以直接通過“加載敵方目標”進行跟蹤目標圖片的加載。

2)單次點擊

在未知跟蹤目標的情況下，或者需要更換跟蹤目標時，指揮人員可以從戰場態勢圖中選取跟蹤目標。對于跟蹤算法，物體的外界矩形框是最常見的目標表示形式，人工框選目標的矩形區域也是最簡單提取目標圖片的方法，但是由于態勢圖中目標一直是在運動的，直接框選對指揮人員的反應時間要求苛刻，本文采用目標點擊的方法進行跟蹤目標選擇，通過指揮軟件直接點擊“選擇敵方目標”按鈕，直接利用鼠標單擊選擇目標。

本文利用之前目標檢測網絡的結果在圖像中提取檢測目標的圖片(詳見1.3節)。然后根據鼠標點擊的位置和檢測目標的邊界框進行匹配，若鼠標的位置在圖片上某檢測目標的區域內，則認為該檢測目標圖片為跟蹤目標圖片。

2.3 外觀模型提取

外觀模型的建立方法主要可分為兩類，一類為傳統的方法，主要根據圖片的顏色，紋理和形狀進行特征提取，其泛化能力和魯棒性較差，另一類為基于神經網絡的方法，神經網絡具有強大的特征提取能力，不僅能提取常見的低維特征，如之前提到的形狀，紋理，顏色等，還能提取一些高維特征，其魯棒性和準確性都較高。

本文參考文獻[22]提出的深度外觀模型，其模型的網絡結構如表1所示。其輸入為目標的圖片，輸出為128維特征向量來表征系統的外觀模型。

表1 深度外觀模型網絡結構表

3 目標跟蹤系統

目標檢測網絡輸出多個檢測目標，為了對跟蹤目標進行鎖定，需用已知的跟蹤目標的外觀模型和檢測目標的外觀模型進行匹配。為表征檢測目標X和跟蹤目標Y的相似度關系，需要定義距離度量標準，常用的距離度量方法包括歐式距離度量、曼哈頓距離度量、余弦距離度量準則等。

本文提取檢測目標序列和跟蹤目標的外觀模型，其為128維視覺特征向量。同一目標因光照強度和尺度變化都會對特征向量產生影響，歐式距離和曼哈頓距離會產生較大的變化，因此本文選擇余弦距離來度量外觀模型的相似程度。相似程度越高，距離值應該越小，因此定義外觀模型之間的距離值為

對檢測目標和給定的跟蹤目標進行相似度度量，設定度量距離的閾值為T，檢測目標小于度量閾值T，則被認為是跟蹤目標。

3.1 目標狀態的運動估計

對目標進行跟蹤任務中，對目標運動狀態的運動估計非常重要。目標的運動估計是將環境的測量信息轉化為目標的運動學信息，便于無人平臺進行決策和規劃。但是實際測量存在不確定性和誤差，為了消除這種不確定性和誤差，并考慮車輛的曲線運動，本文建立了非線性的跟蹤模型，采取擴展卡爾曼濾波算法實現車輛目標的運動估計。

擴展卡爾曼濾波器是標準卡爾曼濾波在非線性情形下的一種擴展形式，它是一種高效率的遞歸濾波器。其首先利用泰勒展開(取1階導數)將非線性模型進行線性化，建立線性的狀態方程和觀測方程。狀態方程通過建立系統的運動學模型來預測目標下一刻的運動狀態，觀測方程建立系統的觀測模型，擴展卡爾曼濾波的主要思想就是將由先驗估計的結果和觀測的結果進行一個融合，其濾波過程如圖9所示。

在目標跟蹤中，勻轉速運動模型是最常見、簡單高效的模型之一，不管是目標做直線運動還是曲線運動都有一定的適應性，其假定在微小時間內目標的運動速度大小是不變的，角速度也是不變的，目標的位置估計由上一時刻的位置和速度大小和朝向決定。該模型一般以目標的位置、速度大小、車輛朝向、角速度作為狀態量，為方便估計，一般將運動分解為x軸、y軸方向，px、py分別為x軸y軸方向的位置，vx、vy分別為x軸、y軸方向的速度，ω為旋轉運動角速度，運動模型示意圖如圖10所示。

根據運動學建模可得

vk=vk-1,wk=wk-1

θk=θk-1+w·Δt

其擴展卡爾曼狀態方程和觀測方程如下：

式中：Wk和Vk分別表示系統過程噪聲和測量噪聲。

3.2 基于運動模型的模型匹配

基于外觀模型的匹配通常能夠從檢測序列中鎖定跟蹤目標，但是如果對于目標序列中存在和跟蹤目標較為相似的外觀物體時，可能會產生誤匹配。為降低誤匹配率，本文采用運動模型對模型匹配進行約束。

為衡量預測邊界框和觀測邊界框之間的距離，采用3D交并比(IOU)來表征。在滿足外觀模型匹配的條件下，若3D IOU的閾值大于0.5，則認為該目標為有效跟蹤目標，否則為無效目標。IOU的計算公式如下：

式中：|A∩B|為邊界框A和邊界框B相交的體積；|A∪B|為邊界框A和邊界框相并的體積。

4 實驗及結果

為驗證本文算法的效果，首先利用KITTI數據集對3D目標檢測網絡進行訓練和驗證，然后利用實車平臺進行實車驗證。

4.1 目標檢測網絡的訓練及結果

4.1.1 數據集

KITTI[23]數據集是目前自動駕駛最常用的數據集之一，它提供了時間戳對準后的相機和激光雷達數據，同時給出了激光雷達和相機的空間變換的標定參數。KITTI數據集的場景較為豐富，包含市區、鄉村和高速公路等場景采集的圖像數據，每張圖像中最多達15輛車和30個行人，還有各種程度的遮擋與截斷。為提高檢測的效率，去除無用點，選取x、y、z的范圍分別為[-40 m，40 m]，[-1 m，3 m]，[0 m，70 m]。

4.1.2 實驗平臺和訓練參數設置

所提網絡使用Pytorch深度學習框架，操作系統為Ubuntu16.04系統。實驗平臺為研華MIC-770工控機，具體配置如表2所示。

表2 工控機參數配置

在模型的訓練過程中，主要設置的參數有學習率、學習率策略、訓練輪數、批量訓練數量、優化器等，具體訓練參數如表3所示。

表3 模型訓練參數

4.1.3 結果評估

算法的評測使用KITTI測試集，KITTI數據集根據目標的距離和遮擋將環境目標劃分為Easy、Moderate、Hard共3種模式，在每種模式下統計檢測的準確性。

可視化網絡輸出結果如圖11所示，其中圖11(a)為相機拍攝的圖片，圖11(b)為矩形框定位網絡的結果可視化，圖11(c)為邊界框細化網絡的結果可視化，綠色框為檢測出來的目標邊界框。由圖11可知，矩形框定位網絡很好地定位目標大致位置，并且經過邊界框細化網絡，目標的邊界框變得更加精確。

為評估算法的準確率和效率(時間)，將提出的算法和現有的算法按照同一評估標準進行比較，包括F-PointNet、MV3D、VoxelNet等準確性和算法耗時，結果如表4所示。在這些方法中，本文提取的方法用40 ms的時間代價(低于大部分算法)取得了較高的準確度。

表4 算法性能對比結果

4.2 外觀特征匹配結果

外觀特征匹配是目標跟蹤的基礎。本文通過開源的車輛重識別數據集Vehicle ReID(預留部分作為測試集)對深度外觀提取網絡進行訓練。為驗證外觀匹配模型的可靠性和選取一個合適的外觀相似度閾值T，本文在Vehicle ReID的測試集上進行統計學分析。分析結果如圖12所示，其中圖12(a)為同一目標不同位置和角度的相似度距離曲線，圖12(b)為不同目標的相似度距離曲線。

通過分析可知，同一目標相似度的均值為0.06，均方差為0.049，不同目標相似度的均值為0.287，均方差為0.045，根據統計學的3σ準則(數值分布的概率為0.997 3)，同一目標的3σ準則分布范圍為(0，0.152 1)，不同目標的3σ準則分布范圍為(0.152，0.422)，因此選擇相似度外觀閾值為0.152。為進一步驗證算法的泛化性能，隨機在KITTI數據集上選擇一幅圖片，如圖13所示，衡量圖片中目標和選定目標的外觀相似度距離，車輛目標1的閾值遠小于0.152，與給定的目標為同一目標，與實際情況相符。

4.3 實車實驗

4.3.1 實驗平臺

實驗平臺采用北京理工大學智能車輛研究所的智能車平臺，如圖14所示。車上配備激光雷達、單目相機、GPS & 慣性制導系統、通信電臺。

4.3.2 實驗分析

首先進行目標檢測試驗，試驗環境為草地環境，動態目標為車輛目標，動態目標不在相機視野內視為無效目標。試驗總計采集有效目標2 658幀，目標檢測的統計結果如表5所示。

表5 目標檢測情況統計

從表5中可以看出，本文算法的檢測準確率為91%左右，但也存在漏檢和誤檢的情況，分析發現誤檢和漏檢較多發生在距離車輛50 m后，主要原因為激光雷達在50 m后的點較少，算法難以檢測出。

最后對本文算法的跟蹤精度進行試驗驗證，因為需要前車的相對位置和速度的真值，所以盡量保證前車做勻速運動，速度為10 km/h，根據本車的速度(由慣性制導系統獲得)和初始的相對距離計算出每一幀的相對距離，作為相對距離真值。實驗結果如圖15所示，其中圖15(a)、圖15(b)為相對距離和相對速度的結果曲線，圖15(c)為本車的速度曲線。

5 結論

本文搭建了集目標檢測、目標跟蹤和指揮平臺與一體的高效、準確的目標檢測和跟蹤系統。首先設計了免錨的目標檢測系統，輸出目標的邊界框序列；然后指揮系統在此基礎上人機交互地選擇跟蹤，跟蹤系統將選擇的目標外觀模型和跟蹤目標外觀模型進行匹配，鎖定跟蹤目標，再通過卡爾曼濾波算法進行運動估計。得出主要結論如下：

1)在Point-Based目標框架的基礎上，通過高效的PointNet、MLPs網絡和邊界框關聯層(只增加訓練時間成本，不增加在線檢測時間成本)提高了檢測的準確率和效率。

2)通過指揮系統和無人平臺進行人機交互，實現了對目標的靈活選取，提高了系統的靈活性。

3)通過外觀模型和運動模型互相補充來對跟蹤目標進行匹配，提高了匹配的準確率。

4)實車試驗表明，本文提出的基于人機交互的免錨檢測和跟蹤方法在精度和效率方面均能滿足越野環境使用的要求。

由于本文只使用激光雷達數據進行目標檢測，受激光雷達感知范圍的影響，距離車輛50 m后的部分檢測效果變差。后續可以將相機、激光雷達、毫米波等傳感器進行融合，以提高檢測和跟蹤的準確性。