面向低視角場面監視的移動目標速度測量

張天慈，丁萌，錢小燕，左洪福

（1.南京林業大學 汽車與交通工程學院，南京210037； 2.南京航空航天大學 民航學院，南京211106）

機場場面監視是高級場面運動引導與控制系統（Advanced Surface Movement Guidance and Control System，A-SMGCS）的核心功能之一，也是確保安全、高效場面運行的重要基礎。近年來，智能視頻監視技術［1］的快速發展為機場場面監視提供了一種低成本解決方案。與多點定位、廣播式自動相關監視（Automatic Dependent Surveillance-Broadcast，ADS-B）等協作監視方式不同，智能視頻監視屬于非協作監視技術，無需監視對象安裝應答設備。同時，智能視頻監視成本低廉，符合隨通用航空器快速發展而出現的中小型機場的需求，也可作為大型機場的輔助監視手段［2］。目前，機場場面的智能視頻監視研究主要圍繞移動目標識別、跟蹤、定位等幾個方面。文獻［3］通過在圖像中檢測航空器注冊碼進行航空器識別。文獻［4］提出一種地圖輔助的貝葉斯跟蹤濾波算法實現移動目標跟蹤。文獻［5］通過攝像機標定確定航空器的三維空間坐標，并將視覺監視系統獲得的定位信息與ADS-B系統獲得的識別信息進行關聯，實現航空器自動掛標牌。文獻［6］利用背景減除和監督學習方法對停機坪區域的移動目標進行檢測，并利用立體視覺算法確定移動目標的三維空間坐標。文獻［7-9］研究了基于視頻圖像的停機坪運行監視技術，包括運動檢測、跟蹤與行為分析，以提供停機坪活動的位置、時間等信息。

近年來，機場自動化水平不斷提升，以四維軌跡（4-dimensional trajectory）為基礎的場面運行方式成為新的發展方向［10］。為實現基于四維軌跡的場面運行引導與控制，實時測量移動目標的運動速度顯得十分關鍵。在機場場面視覺監視系統中，對移動目標進行準確的三維空間定位是速度測量的基礎。現有研究一般通過目標檢測與跟蹤算法確定移動目標在圖像中的邊界框（bounding box），然后根據邊界框中心點坐標確定移動目標位置［6，9］。攝像機視角較高時，能夠獲得移動目標的俯視圖，移動目標高度或相對攝像機的方位對邊界框的影響較小。此時，邊界框中心即為移動目標幾何中心，可近似認為位于地面上，通過單應矩陣即可確定其三維空間坐標［11］。而攝像機視角較低時，所得側視圖中移動目標邊界框的中心點很少與移動目標中心重合，并且通常不在地面上。通過單目視覺難以確定邊界框中心點的高度或距離。同時，邊界框的位置、大小易受移動目標與攝像機的相對方位及目標檢測算法穩定性的影響，準確計算移動目標位置較為困難［11-12］。

實際機場場面攝像機的安裝高度與航空器機身高度相差不大，只能獲得低視角的場面運行視頻。針對這一特點，本文提出一種不依賴移動目標邊界框的速度測量方法。該方法通過檢測圖像特征點及對特征點進行持續跟蹤和分析，實現移動目標運動速度測量。與邊界框相比，圖像特征點具有較高辨識度、不易受觀測角度變化等因素影響。同時，每個移動目標包含多個特征點，有利于避免個別特征點檢測或跟蹤錯誤導致的速度測量誤差。

1 系統方案

本文移動目標運動速度測量的系統方案如圖1所示，包括攝像機標定、特征點跟蹤、軌跡聚類、速度計算等關鍵步驟。攝像機標定用于確定圖像平面坐標到三維空間坐標的變換關系。本文中基于場面幾何特征確定消失點（vanishing point），并根據消失點完成攝像機標定。特征點跟蹤與軌跡聚類用于確定移動目標包含的特征點運動軌跡。在運動區域提取與特征點檢測的基礎上，利用基于光流的特征點跟蹤算法獲得每個特征點的運動軌跡，然后通過軌跡聚類確定特征點所屬的移動目標，最后根據相關特征點的高度與運動距離，計算每個移動目標的運動速度。

圖1 系統方案框圖Fig.1 Block diagram of system scheme

2 攝像機標定與坐標變換

本文采用智能道路交通監視系統常用的基于消失點的攝像機標定方法。首先根據路面幾何特征確定消失點，然后依次計算攝像機焦距、機場平面法向量和攝像機高度，完成攝像機標定。為此，定義如圖2所示的三維空間坐標系o-xyz和圖像坐標系oi-uv。三維空間坐標系o-xyz的原點o位于攝像機光心，z軸與攝像機光軸重合且與圖像平面垂直，原點o到圖像平面的距離為攝像機焦距f。圖像坐標系oi-uv的原點oi位于圖像的幾何中心。

圖2 空間坐標系與圖像坐標系位置關系示意圖Fig.2 Illustration of position relation between spatial coordinate system and image coordinate system

直線S的消失點定義為S上的無窮遠點PS=（x∞，y∞，z∞）在圖像平面的投影。假設直線S經過點（x0，y0，z0），方向向量為nS=（nx，ny，nz），則PS在圖像平面的投影點（消失點）坐標為

若機場平面上兩點之間的距離為d，且兩點在圖像中的投影分別為pa=（ua，va）、pb=（ub，vb），則有

根據上述分析，按如下步驟進行攝像機標定：

步驟1在2個正交方向分別選擇一組路面標志線段，利用最小二乘法確定每組線段延長線在圖像中的交點，得到消失點坐標。

步驟2利用式（2）～式（4）計算攝像機焦距f和機場平面法向量n。

步驟3在機場平面上選擇距離已知的點對，利用式（6）計算攝像機高度h。

確定攝像機焦距f、機場平面法向量n和攝像機高度h后，若已知某點P在圖像中的投影p=（u，v）和點P相對機場平面的高度hP，則可根據如下坐標變換關系確定該點的三維空間坐標：

由式（7）可知，低視角視頻圖像中，若攝像機高度h與點P高度hP相差不大，忽略hP會導致較大空間定位誤差。

3 運動速度測量

3.1 特征點軌跡生成

為降低背景干擾，首先在視頻圖像中提取運動區域，確定移動目標在圖像中的大致位置。采用ViBe算法［13］檢測背景區域，通過背景減除及濾波、二值化、腐蝕、膨脹等后處理確定運動區域。上述方法能夠有效抑制移動目標內部空洞，并較好地保留移動目標輪廓。

在運動區域內，基于FAST算法［14］檢測圖像特征點，并應用跟蹤算法生成多組特征點軌跡。采用基于光流的特征點跟蹤算法，根據當前幀的特征點位置和光流場確定下一幀的特征點位置。對于非整數坐標處的特征點，利用雙線性插值確定亞像素光流［15］。為減少遮擋導致的跟蹤誤差，通過特征點跟隨正、反向光流移動后的位置與初始位置的差異（雙向誤差）判斷特征點是否被有效跟蹤［16］。

3.2 聚類分析

li，j反映了特征點i、j平均每幀的運動差異。若li，j較小，特征點i、j屬于同一移動目標的可能性較大；反之，i、j更有可能屬于不同的移動目標。記ti與集合T中所有特征點軌跡的差異度為li=（li，1，li，2，…，li，M）。根據li可以確定ti相對T中所有 特 征 點 軌 跡 的 偏 好 向 量ri=（ri，1，ri，2，…，ri，M）：若li，j小于給定閾值δc，則認為ti與tj屬于同一移動目標，即ri，j=1；否則，ri，j=0。

按上述方法確定T中每個特征點軌跡的偏好向量，然后利用J-linkage算法［17］進行分層聚類。每個聚類c對應一個移動目標，且c中至少存在一條能夠反映聚類特征的軌跡tc，使得c中特征點軌跡與tc的差異度均小于閾值δc。

3.3 速度計算

確定移動目標包含的特征點軌跡后，根據式（7）計算特征點軌跡的三維空間坐標，并以此為基礎計算運動速度。

式中：Fr為視頻幀率。可根據實際需要確定L取值，獲得期望的速度更新頻率。

基于低視角視頻圖像進行速度測量時，上述方法首先需要確定特征點高度。以移動目標與地面的接觸點為參考點，根據不同特征點在三維空間運動距離相同這一前提條件，基于式（7）計算特征點高度。速度計算時，優先選擇高度較低的特征點，并對多個特征點的速度取平均值。

4 仿真實驗與分析

4.1 數據集

利用廣州白云國際機場場面運行視頻數據集，對本文提出的速度測量方法進行了驗證。數據集共包含6段視頻，由五號道滑行路口的攝像機cam2513和北外場的攝像機cam9915拍攝。各段視頻的相關信息如表1所示。

表1 場面運行視頻數據集Tab le 1 Dataset of surface operation videos

4.2 仿真結果分析

在三維空間中的2個正交方向分別選取5條平行直線段，用紅、綠兩色表示，如圖3所示。根據式（2）、式（3）確定3個正交方向的消失點和攝像機焦距f，如表2所示。基于3條長度已知的路面分割線，根據式（6）確定攝像機高度h，如表2所示。圖4以直觀形式展示了2架攝像機的標定結果，其中紅、綠、藍色線段分別指向3個消失點，紅、綠線段平行于機場平面，藍色線段垂直于機場平面，黃色直線為地平線。

圖3 用于攝像機標定的場面特征Fig.3 Surface features used for camera calibration

表2 攝像機標定結果Tab le 2 Cam era calibration resu lts

圖4 攝像機標定結果圖示Fig.4 Illustration of camera calibration results

本文方法的軌跡聚類結果如圖5所示。圖5（a）、（b）、（d）中只有一架航空器。圖5（e）、（f）中包含多個移動目標，本文方法能夠準確區分不同移動目標的特征點軌跡。圖5（c）左上角3輛車包含在同一個運動區域內，其中最左側車輛較小，未能檢測到有效的特征點，另外2輛車的運動速度存在差異，聚類算法能夠正確區分二者的特征點軌跡。圖6進一步展示了用于速度測量的特征點軌跡在機場平面的投影，其中投影坐標系的橫、縱坐標軸分別經過攝像機標定過程中確定的2個消失點。由于標定時選取的場面特征與滑行道平行，同時移動目標在運動過程中的側向位移較小，圖中軌跡投影均與橫/縱坐標軸近似平行。

圖5 特征點軌跡聚類Fig.5 Feature point trajectory clustering

針對各段視頻的速度測量結果如圖7所示，其中實線為本文方法的自動測量結果，虛線為手動標記移動目標接地點的位置變化得到的速度測量結果。圖7（a）中，航空器距離攝像機較遠，速度測量結果容易出現誤差。圖7（b）中，航空器距離較近，2種方法所得結果基本一致。圖7（c）中，共有3輛車與1架航空器得到了有效的速度測量結果，其中車輛1和車輛3同時由靜止開始運動，初始階段二者速度相似，聚類算法未能區分二者的特征點軌跡，導致2種方法所得結果差別較大。圖7（d）中，1架航空器與1輛車先后出現在視場范圍內，其中航空器距離較遠，從第200幀左右開始減速，直至離開視場范圍；車輛與攝像機之間的距離較小，2種方法所得結果相似。圖7（e）中，車輛1、車輛2先后進入視場，車速變化較小，2種方法所得結果較為接近。圖7（f）中，先后出現2架航空器和1輛車，其中航空器2距離較遠；第150幀左右，航空器2開始被航空器1遮擋，無法獲得有效特征點軌跡，手動標記結果也存在一定誤差。對于航空器1，初始階段本文方法對特征點的位置估計偏高，導致速度測量結果偏大；隨后，受陰影內特征點影響，速度測量結果偏小；在能夠檢測到移動目標接地點后，本文方法的速度測量結果開始接近手動計算結果。受陰影內特征點的影響，本文方法對車輛的速度測量結果偏小。

圖6 機場平面軌跡投影Fig.6 Trajectory projection on airport surface

與基于目標邊界框的速度測量方法進行對比。基于目標邊界框的速度測量方法，首先利用YOLO算法［18］在運動區域中檢測移動目標，確定移動目標邊界框，然后基于ECO跟蹤算法［19］確定后續幀的邊界框位置。由于利用數據集中的單目視覺圖像無法確定邊界框中心點高度，選擇理想高度為零的下邊界中心點計算目標運動速度。圖8對比了2種速度測量方法的誤差。圖中根據移動目標經過地面標記點的時間與標記點間距確定參考速度，將測得速度與參考速度之差視為測量誤差。每個移動目標的速度測量誤差均值與方差如表3所示。與基于特征點的方法相比，基于目標邊界框進行速度測量時，邊界框在相鄰圖像幀的大小和位置易出現突變，平均測量誤差通常較大且測量穩定性較差。圖8（a）、（d）中航空器和圖8（f）中航空器2均距離攝像機較遠，邊界框的影響尤為顯著，難以獲得有效的速度測量結果。此外，邊界框大小頻繁變化也導致圖8（c）中航空器與車輛1的速度測量誤差出現較大幅度波動。

圖7 移動目標速度測量結果Fig.7 Moving object speed measurement results

圖8 速度測量誤差對比Fig.8 Comparison of speed measurement errors

表3 移動目標速度測量誤差均值與方差Tab le 3 M ean and variance of speed m easu rem en t errors for m oving objects

5 結 論

1）基于實際機場場面運行視頻的仿真結果表明，當移動目標距離較近時，本文方法測速結果與手動標記測速結果基本一致，應用本文方法進行低視角速度測量是可行的。

2）與基于目標邊界框的速度測量方式相比，本文基于特征點跟蹤分析的方法在低視角速度測量的準確性與穩定性方面具有明顯優勢。

為使本文方法能夠用于實際的機場場面視覺監視系統，仍需優化特征點跟蹤分析的相關算法，減少特征點高度估計誤差與陰影內特征點的影響，同時還需合理規劃攝像機監視范圍，并關聯不同攝像機獲取的信息。