結合光流法的車輛運動估計優化方法

周經美， 趙祥模， 程　鑫， 徐志剛， 劉占文

(長安大學 信息工程學院， 西安 710064)

?

結合光流法的車輛運動估計優化方法

周經美， 趙祥模， 程鑫， 徐志剛， 劉占文

(長安大學 信息工程學院， 西安 710064)

針對車輛自主定位實時準確的要求，提出一種結合光流法的車輛運動估計優化方法. 采用改進的Lucas-Kanade算法跟蹤FAST特征點計算其光流；進而對圖像間偏移量進行坐標系轉換，獲得初始坐標系下車輛的運動估計值；基于偏移量與旋轉角度誤差服從正態分布的假設，優化更新采用光流法的車輛運動結果，最終映射到世界坐標系中獲得車輛運行軌跡. 通過測試多組不同車輛行駛軌跡，結果表明：該優化方法突出了光流法的實時性并且克服了其精度差的缺點，有效解決了由累積誤差引起的軌跡漂移情況，能夠提供車輛準確實時的定位輸出. 相較于基于特征點匹配的車輛定位其計算時間短，與常用的光流法比較，軌跡更加精確、光滑.

車輛自主定位；圖像匹配；光流法；FAST算子；誤差估計

高精度的車輛位置信息對車輛行為安全分析具有重要意義. 近年來，基于機器視覺的車輛定位逐漸成為自主導航的研究熱點[1]. 相較于傳統的定位方法(GPS、INS、里程計等)，視覺里程計不存在信號盲區、不受車輪打滑影響，具有自主、定位精度高和不容易受干擾等優點[2-3]. 文獻[4]提出了一種基于街景圖像序列的自主定位方法，預先拍攝全方位街景圖像存儲在數據庫中，在車輛行駛過程中實時利用兩個攝像頭從不同角度拍攝街景，然后將拍攝的街景與預存的全方位街景進行匹配，利用三角測量的方法定位車輛的精確位置. 這種方法的特點是定位精度較高，但是需要預先建立數據庫，即全方位拍攝街景，因此費時費力，不適用于未經采集全景的車輛實時定位方法. 文獻[5]提出基于路標的車輛定位方法，根據檢測到的路面標志與車輛的相對距離以及數據庫中的路標實際坐標精確估計車輛位置，其預存過程同樣耗費時間. 文獻[6]提出的基于Hu矩和灰度特征融合的車輛軌跡提取方法，根據局部特征匹配所得特征點計算單應性矩陣，進而根據圖像偏移量估計車輛運動軌跡實現自主定位. 該方法定位準確，但運行效率較低，而且受累計誤差影響軌跡隨時間產生漂移. 文獻[7]采用視覺特征完成車輛定位和自主運動評估的方法速度也相對緩慢. 基于圖像特征點匹配的車輛定位方法精確性好，但是時間效率太低. 經過近30年的發展，光流法對于圖像運動的估計可以滿足一定的精度和穩定度的要求，并且由于計算速度快，基于光流法的視覺里程計已經可以達到實際應用的要求[8]. 文獻[9]提出的基于光流法的機器人視覺導航方法可類比應用于車輛，研究了全景相機、魚眼鏡頭以及球面全景立體成像系統所獲取圖像的光流效果，可以實現避障以及障礙物深度估計. 文獻[10]提出基于后泊車攝像頭的精確視覺測程方法，通過ESM算法(efficient second order minimisation)對齊圖像計算相對偏移量，融合GPS實現精確定位. 文獻[11-12]提出的基于光流法的單目視覺里程計研究，通過卡爾曼濾波將光流法和特征點匹配算法進行融合，考慮實時性的基礎上降低誤差實現平坦路面上的自主定位. 文獻[13]研究的昆蟲視覺啟示的光流復合導航方法同樣采用了卡爾曼濾波器修正累積誤差. 為了保證實時性且提高定位精度，本文融合改進Lucas-Kanade和FAST(features from accelerated segment test，基于加速分割測試的特征)特征點獲得車輛的相對偏移量，然后對結果進行誤差估計，彌補定位精度.

1　基于路面光流的車輛運動估計優化方法

為了加快光流計算速度，本文僅對圖像的FAST特征點進行光流計算跟蹤，同時也提高了光流計算的精度和穩定性；然后根據路面圖像間偏移量與旋轉角度估計車輛運動信息；最后通過誤差估計優化更新車輛位置，實現精確定位.

1.1基于改進Lucas-Kanade計算FAST特征點的光流

文獻[14]提出一種基于金字塔分層和仿射變換的改進Lucas-Kanade算法，其相較于Lucas-Kanade算法直接對原始圖像通過最小二乘法來求解像素點在周圍鄰域內的光流方程從而獲得光流，具有計算速度快、穩定性和精確性高的優勢. 本文將其引入到車輛定位實現中，增強該優化方法的實時性.

光流法的原理是尋找到像素點的適合運動向量和變換矩陣使得圖像間灰度差最小. 假設前一幀圖像I的一個像素點u=[ux,uy]Τ，后一幀圖像J一個像素點v=[ux+dx,uy+dy]Τ與之相匹配，即灰度差最小，則d=[dx,dy]Τ為圖像I在點u處的光流.

(1)

其中：wx、wy設定圖像上矩形窗口的大小為(2wx+1)×(2wy+1)，一般取值為7、8、10、20.

本文采用的改進Lucas-Kanade算法首先對前后兩幀圖像分別通過采樣構建金字塔，從最頂層開始跟蹤前一幀圖像中每個FAST特征點(標準FAST-9檢測器[15])，計算光流d和變換矩陣A，不斷迭代使得通過d和A變換后的前后兩幀間FAST特征點在這層的灰度差異ε最小；然后再把這一層的結果傳遞給下一層，重新計算光流和仿射變換矩陣，再傳遞給下一層，直至傳遞到最后一層(即原始圖像層)，這一層計算出來的光流和變換矩陣作為最后的FAST特征點光流和變換矩陣的結果.

1.2車輛運動估計

本文的車載單目相機垂直地面采集圖像，因此圖像間只存在旋轉和平移變換. 在得到多組FAST特征點光流后，根據單應性矩陣H可計算出第i與i+1幀圖像間的變化量Ti=[xi,yi,θi]Τ，本文以第1幀圖像的坐標系為基準(初始坐標系)，如圖1所示，對得到的圖像間變量Ti進行坐標系轉換，最終獲得初始坐標系下x、y軸方向的偏移量Xi與Yi，即

(2)

圖1　幀間坐標系轉化

由于相機與車體運動是剛體運動，按照圖像像素與實際坐標單位米的轉化比例即可獲得車輛位置信息.

1.3車輛偏移誤差估計

由式(2)易知，車輛定位所用旋轉角度是一個累計值，且每組Ti=[xi,yi,θi]Τ是測量值，因此，隨著時間推移誤差積累越來越大，車輛軌跡會發生漂移. 本文通過自定義誤差估計方法(errorestimation，EE)優化更新車輛相對偏移量，彌補軌跡偏差，具體算法如下.

(3)

(4)

(5)

(6)

將式(5)、(6)代入式(4)中求得初始坐標系下x方向偏移量Xi的誤差期望為

(7)

由于式(7)所需要的偏移量及旋轉角度真實值在實際中是不可測的，為使結果可用，平均值期望為

(8)

同上述過程，初始坐標系下y方向偏移量Yi的誤差平均值期望為

(9)

(10)

最后將修正后的相對偏移量累積疊加并映射到世界坐標系中即可完成車輛精確定位.

2　實驗結果分析

本文通過長安大學智能車進行試驗. 采用德國basleraca1600-60gm-gc型號的工業相機采集圖像，圖像分辨率為1 600×1 200，采集頻率是60Hz，車輛平均速度為9km/h，圖像序列對應真實環境的路面實況. 以一段直行路段中第690～700幀圖像作為測試樣本，基于改進Lucas-Kanade計算FAST特征點處光流，結果如圖2所示.

圖2　第690～695幀圖像中FAST特征點的光流

Fig.2Optical flow of FAST feature points from the 690thto 695thframe

圖2是對第690～695幀整幅圖像進行特征點光流計算的結果，特征點的光流反映了圖像間的偏移量，進而體現了車輛的運動趨勢. 實際情況下為加快算法運行效率，可以只選取圖像感興趣區域(如：縮小檢測特征點的圖像區域)進行特征點及光流檢測，其在算法精度上并沒有影響. 然后根據圖像特征點光流的跟蹤結果，采用上述式(2)計算第690～700幀圖像間偏移量Xi和Yi(i=690,691,…,

700)；通過本文自定義的誤差估計方法對偏移量進行誤差估計，優化修正偏移量得到最終結果Δxi和Δyi. 由于車載單目相機垂直地面采集圖像，相機與車體運動是剛體運動，因此，圖像坐標系下的圖像幀間偏移量Δxi和Δyi只需要根據圖像像素與實際坐標單位米的轉化比例即可獲得世界坐標系下的車輛相對運動偏移量，最后繪制運行軌跡完成車輛精確定位，圖像幀間偏移量見表1.

本文運動估計優化方法測試了多段不同的車輛運行軌跡，其中兩組結果如圖3所示. 顯而易見，隨時間推移累積誤差越來越大，計算結果逐漸偏離原始軌跡，直行時的偏差小于拐彎時的. 然而采用本文的優化方法對誤差進行估計后，漂移誤差得以適當修正，軌跡更接近實際結果，確保了一定范圍內精確的車輛位置信息.

(a)直行

(b)拐彎

iXiYiE[E(Xi～)|xi,yi,θi]E[E(Yi～)|xi,yi,θi]ΔxiΔyi6903.42550.0432-0.8175-0.01034.24310.05356913.6319-0.8644-0.84460.20104.4765-1.06546924.2313-1.4283-0.73350.24764.9647-1.67596934.8259-1.9254-0.56470.22535.3906-2.15086946.3309-3.4644-0.47700.26106.8079-3.72556955.7537-3.7377-0.27220.17686.0259-3.91456964.8509-2.3302-0.14210.06824.9930-2.39856985.6961-2.4671-0.06260.02715.7587-2.49426996.5300-4.1874-0.04370.02806.5737-4.21557006.2036-4.3355-0.02520.01766.2289-4.3531

本文基于光流的優化方法與傳統基于特征點匹配(SIFT、SURF)的定位方法在處理時間上相比也有優勢，其時間消耗都主要在于獲得圖像間相對偏移量，分別完成該步的運行時間見表2. 從表中可看出采用SIFT算法的處理平均時間是0.858 2 s，采用SURF算法的處理平均時間是0.658 7 s，而本文優化方法處理平均時間是0.208 1 s，更好地滿足車輛自主定位的實時性要求.

表2　運行時間對比

3　結　論

1)提出了一種結合光流法的車輛運動估計優化方法. 采用改進的Lucas-Kanade算法跟蹤FAST特征點計算圖像間偏移量，通過自定義的誤差估計算法優化更新結果，將其映射到世界坐標系中獲得車輛運行軌跡，總體上保證了車輛定位的實時性及精確性.

2)使用單目攝像機，降低了對硬件設備的要求；基于改進Lucas-Kanade算法計算FAST特征點的光流，突出了光流法的實時性并且克服了其精度差的缺點；車輛偏移量誤差估計在一定時間內解決了累積誤差所引起的軌跡漂移問題.

3)經過測試多組不同車輛行駛軌跡，證明該優化方法兼顧車輛自主定位的實時性和精度，具有較好的定位效果. 相較于基于特征點匹配的車輛定位計算時間短，與常用的光流法比較，軌跡更加精確、光滑.

[1] LOVEGROVE S J. Parametric dense visual SLAM [D]. London: Imperial College London, 2011.

[2] SHI H, YAN L, LIU B, et al.GPS/SINS integrated navigation algorithm aided by scene matching [J]. Journal of Tsinghua University (Science and Technology), 2008, 48(7): 1182-1185.

[3] SONG Xiaojing, SONG Zibin, et al. Optical flow-based slip and velocity estimation technique for unmanned skid-steered vehicles [C]//Intelligent Robots and Systems, 2008 IEEE/RSJ International Conference on. Nice: IEEE, 2008: 101-106.

[4] UCHIYAMA H, DEGUCHI D, TAKAHASHI T, et al. Ego-localization using streetscape image sequences from in-vehicle cameras [C]//Intelligent Vehicles Symposium, 2009 IEEE International Conference on. Shaanxi: IEEE, 2009: 185-190.

[5] WU Tao, RANGANATHAN A.Vehicle localization using road markings [C] // Intelligent Vehicles Symposium, 2013 IEEE International Conference on. Gold Coast City: IEEE, 2013: 1185-1190.

[6] ZHOU Jingmei, ZHAO Xiangmo, XU Zhigang, et al. Algorithm of vehicle trajectory extraction using fusion of Hu moments and grayscale feature [J]. Information Technology Journal, 2014, 13(11): 1770-1778.

[7] PINK O, MOOSMANN F, BACHMANN A. Visual features for vehicle localization and ego-motion estimation [C] // Intelligent Vehicles Symposium, 2009 IEEE International Conference on. Shaanxi: IEEE, 2009: 254-260.

[8] SUN D, ROTH S, BLACK M J. Secrets of optical flow estimation and their principles [C] // Computer Vision and Pattern Recognition (CVPR), 2010 IEEE Conference on. San Francisco: IEEE, 2010: 2432-2439.

[9] 班躍海. 基于光流法的機器人視覺導航 [D]. 南京: 南京理工大學, 2012.

BAN Yuehai. Vision-based mobile robot navigation based on optical flow [D]. Nanjing: Nanjing University of Science and Technology. 2012.

[10] LOVEGROVE S J, DAVISON A J, et al. Accurate visual odometry from a rear parking camera [C]. Intelligent Vehicles Symposium, IEEE, 2011: 788-793.

[11]鄭馳, 項志宇, 劉濟林. 融合光流與特征點匹配的單目視覺里程計[J]. 浙江大學學報(工學版), 2014, 48(2): 279-284.

ZHENG Chi, XIANG Zhiyu, LIU Jilin. A monocular visual odometry based on the fusion of optical flow and feature points matching [J]. Journal of Zhejiang University(Engineering Science), 2014, 48(2): 279-284.

[12]鄭馳. 基于光流法的單目視覺里程計研究 [D]. 杭州: 浙江大學, 2013.

ZHENG Chi. Monocular visual odometry based on optical flow methods [D]. Hangzhou: Zhejiang University, 2013.

[13]潘超. 昆蟲視覺啟發的光流復合導航方法研究[D]. 武漢: 華中科技大學, 2011.

PAN Chao.An optical flow-based complex navigation method inspired by insect vision [D]. Wuhan: Huazhong University of Science and Technology, 2011.

[14]BOUGUET J. Pyramidal implementation of the Lucas Kanade feature tracker description of the algorithm [J]. Intel Corporation Microprocessor Research Labs Tech Rep, 2000, 22(2): 363-381.

[15]王蒙, 戴亞平. 基于FAST角點檢測的局部魯棒特征 [J]. 北京理工大學學報, 2013, 33(10): 1045-1050.

WANG Meng, DAI Yaping. Local Robust Feature Based on FAST Corner Detection [J]. Transaction of Beijing Institute of Technology, 2013, 33(10): 1045-1050.

(編輯魏希柱)

Optical flow-based optimization method of vehicle motion estimation

ZHOU Jingmei, ZHAO Xiangmo, CHENG Xin, XU Zhigang, LIU Zhanwen

(School of Information Engineering, Chang’an University, Xi’an 710064, China)

For the requirement of vehicle real-time precise self-localization, an optical flow-based optimization method of vehicle motion estimation has been proposed. The modified Lucas-Kanade was used to track FAST feature points for calculating their optical flow. The coordinate systems of offsets between images are transformed to obtain the estimated value of vehicle motion in the initial coordinates. Based on the assumption of the offset and rotation angle errors obeying normal distribution, the result of using optical flow method was optimized to obtain the vehicle running trajectory when it was mapped to the world coordinate system. Through testing many different vehicle trajectories, the experiment results demonstrate that the optimization method highlights the advantage of real-time performance of optical flow and overcomes the shortcoming of its poor positioning accuracy, and effectively solve the situation that cumulative error makes vehicle trajectory drifted. So it can provide the accurate real-time positioning result. Meanwhile, it has shorter computing time compared with vehicle positioning based on feature points matching, and the obtained trajectory of the study was more accurate and smoother than common optical flow method.

vehicle self-localization; image matching; optical flow; FAST operator; error estimation

10.11918/j.issn.0367-6234.2016.09.012

2015-03-17

國家自然科學基金(51278058, 60902075)；陜西省自然科學基金(S2013JC9397)；中央高校基本科研業務費專項資金(310824150012, 2014G1241044, 2014G1241046, 310824151033, 310822151125, 210824153103)

周經美(1991—), 女, 博士研究生；

周經美，jingmzhou@163.com

TP751; TP391.7

A

0367-6234(2016)09-0065-05

趙祥模(1966—), 男, 教授, 博士生導師