基于時域差動成像的車輛精細運動軌跡重構方法

張輝 陳靜萍 林軍記 王浩遠 龔文森

（中山大學 智能交通研究中心，廣東省智能交通系統重點實驗室，廣州 510006）

主題詞：差動成像 汽車軌跡 速度積分 汽車運動參數 圖像匹配

1 前言

在智能車運動控制、智能網聯汽車協同運行、事故現場復現、車輛微觀駕駛狀態觀測等領域，準確感知車輛運動軌跡的細節都具有重要的作用。目前，一般采用衛星定位技術、蜂窩無線定位技術，通過解算序列化的定位信息復現車輛的運動軌跡，但往往由于序列定位點的精度較差，無法準確感知車輛變道、泊車等運動過程的精細軌跡。為了解決這一問題，在無人車領域常采用高精度差分衛星定位系統，通過厘米級精度的序列定位點來重構車輛的精細運動軌跡，但采用這類系統成本一般較高，且往往受到環境條件的影響[1-4]。另一類獲取車輛精細運動軌跡的方法是慣性導航技術，這類技術主要使用慣性傳感器檢測汽車在慣性參考系中的慣性加速度和歐拉角速度等慣性參數，利用牛頓運動定律和動坐標系角速度轉換進行逐點推算，通過積分計算得出汽車運動位置。但是，其軌跡感知性能在很大程度上依賴于慣性傳感器的性能以及車輛本身的固有特性，載荷的動態變化、道路條件的差異等各種因素都可能導致軌跡感知的巨大誤差積累[5-8]。

有學者提出采用汽車圖像匹配技術對環境進行初步檢測，主要是基于兩幀計算框架，選取兩幀圖像中的特征點，基于所獲得的特征關聯集合進行幀間位姿估計，可以實現車輛的定位和運動估計。然后結合導航衛星、傳感器或者蜂窩無線技術檢測汽車自身的運動參數，進而實現汽車運動軌跡的感知。由于此類方法多采用前視圖像，感知的車輛軌跡仍然不夠精細[9-10]。

為此，本文提出了一種高精度、低成本，不依賴輔助設施的車輛精細運動軌跡感知方法。通過時域差動成像的方法，首先使用光軸垂直于地面的攝像頭獲取車輛所在路面的細節圖像，利用對路面圖像細節在差動時間內偏移量的識別與匹配，計算車輛相對于路面的運動速度、方向、橫擺角，進而根據速度積分法實現汽車精細軌跡重構與感知。

2 車輛運動軌跡差動成像重構原理

車輛的運動軌跡可以通過車輛精確位置坐標時間序列獲取，也可以通過車輛運動參數依據動力學原理進行推算，本文研究的方法在不依賴車輛的精確位置坐標的條件下實現車輛運動軌跡的感知，因此采用常用的動力學推算方法——速度積分法重構車輛的精細運動軌跡，同時討論獲取速度積分所需參數的方法。

2.1 速度積分法

速度積分法[11]重構車輛運動軌跡的原理如圖1所示。首先，定義車輛二維坐標系，原點為車輛中心，車輛運動方向為橫軸正方向，橫軸逆時針旋轉90°為縱軸方向。圖中坐標系XOY為大地坐標系，且與車輛初始狀態的車輛坐標系重合；坐標系Xk-1Ok-1Yk-1、XkOkYk分別為(k-1)和k時刻的地面坐標系，且分別與相應時刻的車輛坐標系重合；vk和uk分別為k時刻車輛在坐標系XkOkYk中的縱向速度和橫向速度；ψk為k時刻車輛坐標系橫軸與坐標系XOY橫軸的夾角，即橫擺角；φk為車輛坐標系橫軸與大地坐標系XOY橫軸的夾角在(k-1)至k時刻期間的增量，在此定義為“瞬態橫擺角”。

圖1 速度積分法原理示意

根據速度積分原理，在離散情況下車輛位置的軌跡序列為(xn,yn),n=0,1,2,…，可以表示為：

式中，T為兩次采樣的間隔，即(k-1)和k時刻的時間差。

T足夠小時，所計算的軌跡序列無限逼近真實軌跡，且車輛坐標系橫軸與大地坐標系XOY橫軸夾角的累計值為：

其中，定義φ0=0、x0=0、y0=0，則只要感知和檢測到車輛在采樣時刻k的縱向速度vk、橫向速度uk和瞬態橫擺角φk，即可重構出車輛的運動軌跡。

2.2 差動成像車輛運動參數檢測原理

傳統的速度積分法利用陀螺儀測量出汽車的角速度在汽車坐標系上的分量，利用五輪儀或加速度計測量出汽車的速度和加速度在汽車坐標系上的分量，經過積分與變換重構出汽車的質心軌跡。本文通過車載設備的差動成像提取車輛的縱向速度、橫向速度和瞬態橫擺角。

在此，差動成像是指間隔一定時間，具有一定視場重合度的兩次成像工作模式，利用差動成像提取車輛運動參數的原理如圖2所示。在車輛運動過程中，通過車載設備差動成像對路面進行拍攝，則第k次差動成像會在Δ時間間隔連續獲取2幀圖像，即A幀圖像和B幀圖像，如圖2a所示；此時，路面特征點（如圖2中Ⅰ、Ⅱ、Ⅲ）將分別呈現在2幀圖像上，但其坐標有所區別，如圖2b、圖2c所示。特征點的坐標差別可以反映出車輛相對于路面的位移和橫擺運動，從而獲取車速和橫擺角速度。

圖2 差動成像運動參數檢測原理

式中，D為兩坐標系之間的平移距離向量[dxdy]T；dx、dy分別為橫向和縱向位移量；PA和PB分別為特征點在和中的坐標矩陣為旋轉矩陣；β為兩幀圖像的相對旋轉角。

利用圖像識別技術獲取各特征點在兩幀圖像中的坐標，求解式（3）中的D和β，經過圖像距離與地面距離的尺度增益，可得k時刻的車輛運動參數：

式中，α=H/f為尺度增益；H為差動成像設備與路面間的高度差；f為成像系統特性參數（可通過標定試驗獲得）；Δ為間隔時間。

3 差動成像軌跡重構的實現

3.1 時域差動成像設計

時域差動成像的核心是間隔時間Δ完成連續2幀圖像的采集，最簡單的實現方法是采用單個攝像頭的連續2幀圖像，此時T=Δ。但車速較快時，由于單個攝像頭的幀率較低（25幀/s）或視場較小，導致相鄰2幀圖像間無重疊部分，無法通過該方法進行檢測，而高幀率攝像頭的成本較高，且無法適應高速情況或者速度變化較大的情況[12]。為了解決這一問題，本文設計了采用雙攝像頭的差動成像方案，其基本原理如圖3所示。

圖3 雙攝像頭時域差動成像原理

由圖3可以看出，攝像頭A和攝像頭B幀率雖均很低，一般T=40 ms，但可以通過控制2個攝像頭的啟動時刻，使曝光幀FA,k和FB,k的時間間隔為Δ。

為此，設計時域差動控制和光路結構分別如圖4、圖5所示。圖4中，將2個攝像頭的獨立時鐘改為共用時鐘，以保證兩者的時鐘同步，同時采用單片機控制其啟動時刻，實現兩者的差動成像，差動時間1～40 ms可調。圖5所示的雙攝像頭光路結構，使用立方體分光棱鏡確保2個攝像頭的視場保持一致，避免檢測區域減小。

圖4 差動控制示意

圖5 立方體分光棱鏡

3.2 圖像匹配方法

本文選用加速魯棒性特征（Speeded Up Robust Features，SURF）匹配算法[13-14]進行圖像匹配。Hessian矩陣是SURF匹配算法的核心，圖像中的某一點是否為圖像的極值點可以使用Hessian矩陣及其判別式來判定，從而檢測出圖像中的特征點及其位置與尺度[16]。假設圖像中的某一點為I(U,V)，圖像尺度為σ，則該點的Hessian矩陣為：

則該點的Hessian矩陣的判別式為：

當Hessian矩陣的判別式取得局部極大值或極小值時，判定當前點較周圍鄰域內其他點更亮或更暗，由此定位關鍵點，可以檢測出圖像在尺度σ下特征點的響應值，遍歷所有像素，即可檢測出該尺度下所有的特征點。SURF匹配算法采用不斷增大濾波器模板尺寸求取Hessian矩陣響應值，求取不同尺度下的特征點。

在檢測出特征點后，對其進行特征向量描述。首先求得特征點的主方向，以y表示沿主方向，x表示垂直于主方向。為了描述特征點，首先以該點為中心，取20s×20s（s為該點所在圖像的尺度值）的圖像，將該圖像劃分為4×4共16個子塊，每個子塊內有5s×5s個像素。對每個子塊進行Haar小波響應值計算，分別得到dy、dx及對應的絕對值|dy|和|dx|。

對需要匹配的圖像進行特征向量匹配，以特征向量間的歐幾里得度量作為相似性度量的結果，采用基于歐幾里得度量的最鄰比較法來實現。將圖像A中任意一個特征點與圖像B中歐幾里得度量最小的2個特征點進行比較，當度量最小的點小于度量次小的點一定比例時匹配成功。匹配得到的結果如圖6所示。

3.3 系統誤差校正

有2類系統誤差對軌跡的重構產生較大影響，分別是成像光路帶來的圖像畸變和車輛承載狀態帶來的成像高度差變化。系統應用中必須對其進行校正。

圖6 SURF匹配結果

3.3.1 圖像畸變校正

圖像畸變校正的方法已經非常成熟，本文采用網格模板法[15]進行畸變校正。通過對標準網格模板進行拍攝，獲取理想像素坐標與相應畸變像素坐標的對應關系：

式中，aij、bij為待定系數；n為多項式的次數。

利用曲面擬合方法擬合選取的控制點對，然后用最小二乘法求出待定系數aij與bij，就可以得到理想像素坐標與畸變像素坐標之間的映射關系，完成圖像畸變校正。

3.3.2 側傾與高度誤差校正

由于汽車自身的振動、輪胎的壓力變化、路面的起伏變化等原因，運動過程中安裝在汽車上的差動圖像試驗平臺與地面的相對位置會發生變化，一般情況下其影響不大，但是車輛重載時誤差不可忽略。針對該問題，本文在試驗平臺中加入激光發射器模塊，利用激光光斑與路面的圖像分析出激光發射器、差動攝像頭、路面三者的相對位置關系，從而實現汽車側傾角和汽車垂直高度的實時檢測，其具體實現方法見文獻[16]。

4 試驗與結果分析

為了檢驗基于差動圖像的汽車精細軌跡重構方法在實車條件下的性能，本文設計了實車連續軌跡重構試驗。將差動圖像試驗平臺固定在汽車外部可以觀測到路面的位置，記錄汽車的起始位置和終點位置作為軌跡重構的參考位置。試驗過程中，差動圖像試驗平臺拍攝得到連續的路面圖像，同時使用GPS與慣性傳感器進行測量，利用測得的數據進行軌跡重構，得到的試驗結果如圖7所示。

從圖7可以看出，汽車進行前進、轉彎、倒車等運動時，差動圖像試驗平臺能夠比較精確地匹配運動軌跡起點與終點的實際位置，誤差較小。本方法試驗平臺重構的軌跡與GPS和慣性傳感器重構的軌跡走勢一致，雖然無法獲取真實的運動軌跡，但本文提出的方法終點位置誤差小于GPS與慣性傳感器軌跡重構的終點位置誤差，如表1所示。這一結果表明，基于差動圖像的汽車精細軌跡重構方法具有較高的精度。其中，3種方法的理論值存在差異的原因是試驗時3種測量裝置在車輛上的安裝位置存在前后差異。GPS的數據誤差是由于試驗現場的差分基站信號不穩定造成的，因此其誤差遠大于系統的標稱誤差。

圖7 汽車連續軌跡重構結果

表1 軌跡終點檢測結果 m

使用基于差動圖像的汽車精細軌跡重構方法一方面能夠重構汽車的運動軌跡，另一方面根據速度積分法的特性，在計算過程中能夠得到各時刻相對于大地坐標系的橫擺角，因此本方法能夠將汽車運動過程中車身姿態的精細變化進行重現。試驗結果如圖8所示，這一結果可以有效反映車輛運動中所占用的空間，對于車輛的運動控制和軌跡規劃起到重要的反饋作用。

圖8 汽車精細軌跡重構結果

5 結束語

本文提出的基于時域差動成像的汽車精細軌跡重構方法，通過雙攝像頭的可控延時啟動實現了時域差動成像，解決了低成本下的毫秒級差動控制問題，克服了車輛運動帶來的視場不足現象，并通過圖像匹配技術計算出汽車運動參數，使用速度積分法實現了汽車精細運動軌跡的重構，所得軌跡顯著優于GPS和慣導系統。同時，所研究的軌跡重構方法還能有效檢測到運動過程中車體的姿態和空間占用情況，為多種車輛運動控制提供狀態反饋。