偏轉速度實時修正的彈道跟蹤系統設計

王義瓊，王力超,2，李子陽，耿樹巧,3

(1.安徽工程大學電氣工程學院， 安徽 蕪湖 241000；2.高端裝備先進感知與智能控制教育部重點實驗室， 安徽 蕪湖 241000；3.中國科學技術大學工程科學學院， 合肥 230026)

1 引言

彈道跟蹤系統是一種在彈丸等高速運動目標飛行過程中對其進行實時跟蹤的系統，常用于兵器靶場測試研究[1]、空中目標監視[2]、校正導彈射擊誤差[3]等領域。傳統的彈道跟蹤系統主要采用2種方法跟蹤彈丸等高速運動目標：一是沿彈丸運動軌跡方向，以一定間隔布置多部相機；二是在距彈丸安全距離處，放置相機和機架，通過旋轉機架跟蹤彈丸，此方法成本較低，但需要人為操控。

早期，光電經緯儀[4]常被用于跟蹤測量導彈等高速運動武器，因設備結構復雜，其經濟成本較高。隨著高速視覺圖像采集系統技術[5-8]的成熟，馮斌等人提出轉鏡同步跟蹤技術[9]，在高速相機主光軸方向放置一面轉鏡，將彈道線位置上飛行彈丸的運動姿態反射到高速相機內實現同步跟蹤，彌補了傳統彈道跟蹤系統難以實時采集高速運動目標的不足，但相機視場范圍有限，未能根據彈丸的實際位置修正反射鏡的偏轉速度，并只局限于理論分析。

現有的基于圖像信息的高速運動目標跟蹤方法主要有幀差法[10-12]、光流法[13]、背景建模法[14-15]、相關濾波法[16-17]和深度學習法[18-19]。目前，絕大部分研究多通過特征點匹配[10-11]求解相機運動模型，利用相機運動模型補償背景運動，以犧牲實時性的代價使幀差法[10-12]能夠應用在動態背景場合。光流法[13]和背景建模法[14-15]主要應用于動態背景下的目標跟蹤，但算法的跟蹤效率較低。相關濾波法[16-17]跟蹤速度可達到600幀/s，但精確性依賴于訓練樣本數以及手動提取的目標特征點，且跟蹤目標信息預先已知。深度學習[18-19]算法學習能力強，但無法在所有的目標跟蹤情況下，都保持出色的檢測能力。

考慮到彈丸等運動目標在物平面近似做一維高速運動的特點，本文中設計了一套彈道跟蹤系統，能夠以約 1 000幀/s的速度快速采集和處理圖像，該系統利用反射鏡偏轉，實現相機視場跟隨目標運動而平移，使相機能夠捕捉到較為清晰的圖像，同時將反射鏡的偏轉角度傳輸給視覺算法平臺，為后續目標跟蹤算法從動態背景中檢測出運動目標奠定了基礎，并且目標跟蹤算法添加了質心提取模塊，以此來校正反射鏡的偏轉速度，實現目標位置的實時修正。

2 彈道跟蹤系統總體架構設計

針對彈丸等高速運動目標運動軌跡在物平面上近似為一維的特點，本節設計了彈道跟蹤系統，該系統由一部高速相機、一塊反射鏡、檢流計、驅動器、控制器和視覺算法平臺組成，高速相機固定不動，鏡頭始終面向反射鏡，反射鏡安裝在檢流計上，驅動器通過驅動檢流計偏轉，從而帶動反射鏡偏轉，實現相機視場的平移，避免了云臺的轉動慣性。硬件設計結構如圖1所示。該系統初始化狀態為反射鏡偏轉至最大角度，并已知運動目標的初速度，則系統實時跟蹤高速運動目標的工作流程如下：

圖1 彈道跟蹤系統架構

初始時刻，測速裝置測得高速運動目標的運動速度，彈道跟蹤系統接收到速度值，并根據反射鏡、高速相機以及運動目標之間的空間幾何關系，計算出反射鏡的初始偏轉速度ω1，反射鏡立即以速度ω1偏轉，高速相機采集第一幀圖像，并將圖像實時傳輸到視覺算法平臺，當高速相機采集到第二幀圖像時，視覺算法平臺運行目標跟蹤程序，檢測出高速運動目標，并提取質心，計算目標質心與畫面中心沿X軸方向上的差值，即質心水平偏差量，再經控制器，輸送給驅動器，最后驅動器輸出電壓信號，調整當前時刻反射鏡的偏轉速度ωt(t=1,2,3,…；表示該時刻相機采集圖像的幀數)，反射鏡以調整后的角速度ωt繼續偏轉，高速相機采集下一幀圖像，傳送至視覺算法平臺，重新定位目標質心，計算質心水平偏差量，更新反射鏡偏轉速度ωt，循環往復，直至高速運動目標消失在畫面中。系統運行流程如圖2所示。

在彈道跟蹤系統實時采集高速運動目標圖像過程中，相機并非平行放置于水平面，而是與水平面存在一個仰角α，該措施的優點在于：擴大相機采集圖像的視場范圍，避免相機本體遮擋目標或出現在采集的畫面背景中。該設計系統的光路如圖3所示。紅色虛線分別表示從相機瞳孔發出的交于反射鏡右上邊緣和左下邊緣的相機視線，經反射鏡反射的相機視線如藍色虛線所示，與物體所在平面交于兩點，分別對應高速相機采集圖像畫面的左下端點和右上端點。由圖3可知，與反射鏡4個邊緣點相交的相機視線決定了采集圖像的畫面尺寸，當相機以仰角α放置于水平面時，反射鏡在[-θ,θ]內偏轉時(θ取值受限于α)，反射的相機視線不會被相機本體所遮擋，即圖像畫面中不會出現相機。圖3是反射鏡順時針偏轉至θ1處的相機光路示意圖，當高速運動目標水平向左運動時，反射鏡逆時針偏轉，相機視場左移，成像區域左移，靜止的高速相機實時采集高速運動目標圖像。

圖2 系統運行流程

圖3 相機光路示意圖

3 彈道跟蹤系統數學模型

3.1 彈丸運動位置模型

彈丸這類剛性高速運動物體，外形勻稱，在高速運動過程中，其形狀幾乎不發生改變。本文中研究的是短程追蹤，故可忽略重力、空氣阻力等外力對目標運動速度以及運動軌跡的影響。因此，在反射鏡可行的偏轉角度范圍內(像平面不會出現相機本體)，目標的運動速度近似不變。以反射鏡中心點為原點，建立笛卡爾坐標系，令反射鏡中心軸為Y軸，向上為正方向，當反射鏡無偏轉時，即反射鏡鏡面正對物體所在平面，將Y軸順時針偏轉90°，得到X軸。根據右手螺旋定則，確定Z軸位置。由于彈丸在物平面上運動軌跡近似為一維，其初速度可視為X軸方向的初速度。因此，在系統采集圖像過程中，建立目標運動模型如式(1)所示。

(1)

式中：x0表示目標的初始位置橫坐標；x表示經過t時間的運動后，目標的位移量。

3.2 反射鏡偏轉模型

相機通過反射鏡的反射，實時采集高速運動目標圖像，捕獲的圖像畫面區域取決于當前時刻反射鏡的偏轉角度，為了能夠捕獲到高速運動目標并使其成像于畫面中央，需實時調整反射鏡的偏轉速度，使當前時刻反射鏡處于所期望的偏轉角度位置。

一維高速運動目標圖像采集模塊的主要部件空間布局如圖4所示。假設目標從右往左運動，以反射至畫面中心的相機視線l1為例，已知其對應的入射相機視線用lm表示，反射鏡中心點距目標所在的XOY平面垂直距離用L表示。若反射鏡始終以速度ω1偏轉，經過時間T后，反射的相機視線由l1旋轉至l2，目標運動至圖中第二幀位置。此時，相機視線lm投影在目標上面的視點橫坐標xw與目標質心橫坐標xc不重合，兩點之間的水平位移為Δx。若反射鏡仍繼續以速度ω1偏轉，當反射鏡越接近XOY平面時，相同時間內，相機視點運動的路程越短，而目標運動的路程不變，則Δx的絕對值越來越大，當|Δx|超過采集圖像畫面尺寸的一半長度時，一維高速運動目標圖像采集系統無法捕獲到包含運動目標的圖像。因此，本節提出的反射鏡偏轉模型先推算出反射鏡的初始偏轉速度ω1，在此基礎之上，根據采集圖像的目標質心和畫面中心的質心水平偏差量，調整下一個幀間隔內反射鏡勻速偏轉的速度。

第一幀時，反射鏡位于最大偏轉角度θ1處，目標質心在X軸方向的坐標為x0，H表示目標距反射鏡中心點所在的XOZ平面的垂直高度，高速相機采集圖像的幀間隔為T，根據幾何關系，推導出反射鏡的初始偏轉速度ω1的計算式(2)。

(2)

此后，反射鏡以速度ω1勻速偏轉，經過時間T，高速相機采集第二幀圖像，此時，xc表示目標質心橫坐標，xw表示畫面中心點橫坐標。當xcxw時，需增加反射鏡偏轉速度。因為本文中設計的系統采用高速相機，幀間隔T的單位為毫秒級，在時間T內，反射鏡的偏轉角度很小，對應的圓弧可近似于直線。因此，根據圓心角和圓弧的關系，由式(3)計算出質心偏差量對應的角位移Δθ2。

(3)

由光學原理推導出反射鏡的偏轉速度增量Δω2，如式(4)所示，并更新反射鏡速度。在采集第二幀圖像至第三幀圖像的幀間隔T內，反射鏡以式(5)中微調的速度ω2勻速偏轉。

(4)

ω2=ω1-Δω2

(5)

同理，可求出在后續的每一個幀間隔T內，反射鏡的偏轉速度增量Δωt以及偏轉速度ωt。

在高速相機采集圖像的過程中，從第二幀開始，每一個幀間隔T內，反射鏡勻速偏轉的速度增量歸納為式(6)，在此時間T內，反射鏡以式(7)中調整的速度ωt勻速偏轉。

(6)

ωt=ωt-1-Δωt

(7)

其中，t=2,3,4,…表示圖像的幀數。

圖4 反射鏡偏轉示意圖

4 目標跟蹤算法

4.1 背景運動補償

在系統采集圖像過程中，由于反射鏡實時偏轉導致采集的圖像背景動態變化。幀差法難以克服動態背景的干擾檢測出運動目標。通過3.2節的分析可知，背景運動矢量與反射鏡偏轉角度有關。本節提出背景運動補償模型，使幀差法能夠應用在動態背景場合下的高速運動目標跟蹤。

已知圖4中的條件，假設相鄰兩幀圖像分別為ft和ft+1，通過讀取反射鏡在相鄰幀間隔T內的速度ωt，計算出反射鏡的偏轉角度θt,t+1。

θt,t+1=ωt·T

(8)

由于幀間隔T很小，背景在空間坐標系中的運動矢量近似為：以反射鏡中心點為圓心，反射的相機視線lt長度為半徑，圓心角為θt,t+1所對應的圓弧。背景運動矢量Δbx估計量如式(9)所示。

Δbx=θt,t+1·lt

(9)

在此基礎之上，利用相機標定法，求解出像素坐標系和世界坐標系之間的長度比例關系P，則相鄰兩幀圖像的背景運動補償模型如式(10)所示。

(10)

其中，rect()表示矩形區域，矩形區域包含的像素點取決于背景的運動矢量。根據式(9)，求出在像素坐標系中，背景的運動矢量Δu=Δbx·P。由3.2節反射鏡偏轉模型可知，采集的相鄰幀圖像背景存在相同部分，第t幀圖像左邊區域的背景像素點與第t+1幀圖像右邊區域的背景像素點相同，摒棄掉兩幀圖像中存在差異的背景部分，即把動態背景轉化為靜態背景。式(10)中的Φ函數表示從當前幀中圖像截取與相鄰幀圖像相同背景的rect(t)或rect(t+1)矩形區域，由于第t幀圖像的[w-|Δu|+1,w]×[1,h]區域中的背景像素點在第t+1幀圖像的任何區域中找不到重合部分，所以，定義rect(t)=(1,1,w-|Δu|,h)，前兩個位置表示矩形左上角坐標(1,1)，w-|Δu|和h分別表示矩形的長和寬。同理可得，rect(t+1)=(|Δu|+1,1,w-|Δu|,h)。

4.2 目標跟蹤

4.2.1目標檢測

在對相鄰幀背景運動補償后，繼而采用幀差法檢測運動目標。由于本文中研究對高速運動目標的跟蹤，為了進一步提高算法的高速性能，在不過度影響目標跟蹤算法的抗噪性能前提下，分別對相鄰幀圖片二采樣、四采樣和八采樣，比較采樣后的結果，最終選擇四采樣。記采樣后的相鄰幀圖片為Ft和Ft+1，則采樣后的相鄰幀圖像背景運動矢量估計值為Δu/4，經背景補償后，相鄰幀圖像分別為Gt和Gt+1。然后利用幀差法將相鄰兩幀圖像相減，與閾值T比較大小。

(11)

若差分圖像Dt(i,j)>T，則該點為目標點，并賦予該點像素值為1，否則該點為背景點，像素值賦值為0，所有目標像素點的集合即為檢測的目標區域。

4.2.2質心定位

本文中采用幾何矩法定位目標質心，xc、yc分別表示質心的橫坐標和縱坐標。i、j為圖像的行和列，Dt(i,j)表示二值化圖像中坐標位置(i,j)處的像素值。目標質心定位如式(12)所示。

(12)

5 實驗及結果分析

5.1 反射鏡偏轉模型仿真實驗

本小節利用Matlab R2018a軟件仿真驗證反射鏡偏轉模型的正確性，實驗環境為一臺CPU配置是AMD3700X的電腦，內存為16G，操作系統為Windows 10 64-bit，所用的顯卡是GTX750Ti。圖5中的運動目標用矩形框代替，質心用“*”表示，運動目標以v0=-20 m/s的速度從右往左運動，高速相機仰角α=5°，L=40 cm，T=1 ms，紅色虛線表示反射至畫面中心的相機視線，藍色虛線為其對應的相機視場中心視線，圖5中從左到右分別為在不同時刻，相機視線與運動目標的位置關系。從圖5可以看出，本文中設計的反射鏡偏轉模型能使高速相機實時采集包含運動目標的圖像，每幀圖像對應的相機視場中心點幾乎和目標質心重合。圖6表示反射鏡偏轉角度在[-20°,20°]，目標質心與畫面中心的水平距離，從圖中可以看出，在彈道跟蹤系統距目標運動平面L約100 m時，質心水平偏差量絕對值的平均值約為15 cm。

圖5 反射鏡偏轉模型實驗結果

圖6 質心水平偏差量絕對值變化曲線

5.2 相機視場運動條件下目標跟蹤仿真實驗

本小節通過一個公開的視頻驗證目標跟蹤算法的精確性。圖7中第一行是視頻中相隔兩幀圖像，傳統幀差法跟蹤結果如第二行所示。第三行是本文中提出的目標跟蹤算法檢測結果。分析圖7可知，視頻中炮彈在物平面上近似做一維高速運動，相鄰兩幀中圖像背景隨著相機視場運動而發生動態變化，與傳統幀差法相比，本文中提出的算法能夠有效抑制背景噪聲的干擾，檢測出高速飛行的炮彈，紅色“*”表示跟蹤目標的質心位置。

圖7 目標跟蹤仿真實驗結果

5.3 半實物跟蹤實驗

課題組搭建了一套基于目標位置實時修正的彈道跟蹤系統，并自行設計研發了一套發射裝置，通過千眼狼6F20型號的高速相機采集高速運動目標圖像，實驗目標為近一維高速運動的EVA材質的軟性玩具子彈，其運動速度大約為30 m/s。圖8和圖9分別展示背景有規則以及無規則動態變化下玩具子彈的跟蹤情況。從兩幅圖中可以看出，本文中設計的系統可以有效地跟蹤近一維高速運動的目標，圖中紅色“*”表示提取目標的質心，紅色圓圈表示畫面的中心位置。由于子彈形狀對稱，顏色單一，像素值近似相同，故目標的“空洞”問題對質心提取誤差影響較小。實驗表明，根據提取的目標質心位置調整反射鏡的偏轉速度，能夠在短程內跟蹤高速運動目標。雖然提取的質心位置存在偏差，但實時調整反射鏡的偏轉角度，能夠減緩誤差積累。

圖8 背景有規則變化場合下子彈捕捉實驗

圖9 背景無規則變化場合下子彈捕捉實驗

6 結論

1) 開展了反射鏡偏轉速度實時修正的彈道跟蹤系統研究，利用反射鏡偏轉角度和圖像背景運動的關系，確定相鄰幀圖像的背景運動補償量，提高了背景運動補償的效率，提高了幀差法的抗干擾性。

2) 基于背景運動補償的目標跟蹤算法的彈道跟蹤系統能夠實時調整反射鏡的偏轉速度，使目標一直處于圖像畫面中心位置。