基于OpenCV的前方車輛檢測和前撞預警算法研究＊

劉軍 高雪婷 王利明 晏曉娟

（江蘇大學，鎮江 212013）

基于OpenCV的前方車輛檢測和前撞預警算法研究＊

劉軍 高雪婷 王利明 晏曉娟

（江蘇大學，鎮江 212013）

針對汽車的追尾碰撞事故，提出了基于OpenCV的前方車輛檢測和多信息融合預警的方法。該方法首先利用Haar-like+Gentle Adaboost實現前方車輛的快速識別，結合Kalman濾波原理跟蹤車輛，實現前方車輛檢測，然后基于幾何模型實時計算前車與本車的橫縱向距離，最后根據本車及前車車速、碰撞時間TTC、橫向距離等信息與閾值進行比較，分級識別碰撞風險。試驗結果表明，該檢測方法平均耗時22 ms/幀，檢測率達到96%，并能較準確地測量車距，實現可靠的前方避撞預警輸出。

1 前言

汽車前方碰撞預警技術是先進駕駛輔助系統（Ad?vanced Driver Assistance Systems,ADAS）[1]的一個重要方面，它可以在預測到前方有行車危險時及時提醒駕駛員，以有效減少交通事故的發生。前方車輛檢測和預警算法是前方碰撞預警系統的關鍵技術，對系統性能有很大影響。

相關學者在前方車輛檢測領域做出了很多研究，如，Takashi Izumi等[2]提出了一種基于陰影檢測的前方車輛跟蹤策略，該算法檢測速度較快，但對環境和光照的魯棒性差；為了解決此問題，Jazayeri[3]提出了一種光流與隱馬爾科夫模型相結合的車輛分類方法，但該方法計算量大且耗時；王海等[4]提出了一種兩步法對車輛進行檢測，該方法有利于提高檢測率，但降低了實時性。目前，前方碰撞預警算法一般有基于安全時間判斷和基于安全車距判斷兩種[5]，如孫曉艷[6]提出基于避撞時間TTC的前撞預警算法，但該算法未考慮本車與目標車輛的橫向距離，誤警率較高；周松盛[7]提出基于臨界安全距離模型的預警算法，但忽略了本車與目標車輛的相對速度，當相對速度較大時預警會有較大誤差。

基于上述問題，本文在前人研究的基礎上，提出一種基于OpenCV的前方車輛檢測和前撞預警算法。該方法首先利用Gentle Adaboost級聯分類器識別前車以及Kalman濾波跟蹤前車，實現前方車輛的檢測，然后基于幾何模型實時計算前車與本車的橫縱向距離，再將橫向距離、碰撞時間TTC等信息與閾值進行比較，分級識別碰撞風險。該方法的檢測效果和實時性優于經典算法，可有效提高預警準確率。

2 前方車輛檢測算法

2.1 基于Gentle Adaboost算法的前方車輛識別

2.1.1 Gentle Adaboost算法介紹

根據樣本權重更新方法的不同對應不同的Ada?boost算法，常見的有Discrete Adaboost、Real Adaboost和Gentle Adaboost算法[8]。其中Gentle Adaboost算法是在1998年由Friedman等人[9]提出的，它考慮了Discrete Ad?aboost算法對被劃分成負樣本的正樣本的權值調整過高而導致效率下降的問題，而且文獻[10]中的對比試驗表明，Gentle Adaboost算法的結果優于其它兩種算法，因此本文采用Gentle Adaboost算法訓練分類器。

2.1.2 樣本離線訓練與前車在線識別

本文采用Gentle Adaboost算法訓練得到識別前車的級聯分類器，通過程序加載分類器實現前方車輛的在線識別。離線分類器是將正、負樣本描述文件輸入到opencv_traincascade.exe程序后獲得的，實現步驟如下：

a.準備正、負樣本圖片。通過樣本庫及攝像采集共收集了1 450張各種車型的尾部圖片作為正樣本，4 380張不包含車輛的交通場景圖片作為負樣本。將正樣本歸一化成20×20像素的灰度圖，并調整負樣本尺寸使其大于正樣本尺寸。

b. 生成正、負樣本描述文件。通過opencv_cre?atesamples.exe可執行文件將正樣本生成.vec文件，負樣本使用.txt文件。

c. Gentle Adaboost級聯分類器的訓練。利用opencv_traincascade.exe程序訓練基于Haar-like特征的Gentle Adaboost級聯分類器，該程序中包含了Haar-like特征提取及Gentle Adaboost分類器訓練過程。將正、負樣本描述文件輸入到opencv_traincascade.exe中，并設置minHitRate為0.995，maxFalseAlarm為0.5，boostType類型為GAB，即Gentle Adaboost。訓練一段時間后，得到分類器配置參數文件（.xml）。

前車的在線識別是通過在VS2010開發平臺上調用OpenCV開源視覺庫并使用C++語言編程實現的，步驟如下：

a.利用CCD攝像頭實時采集前方道路圖像，并通過視頻采集卡對信號進行A/D轉換后傳給PC機，獲取大小為720×576像素的待檢圖像；

b. 利用threshold（）函數對待檢圖像進行二值化處理，減少運算量，以便更好地提取Haar-like特征；

c. 利用cascade.detectMultiScale（）函數對預處理后的待檢圖像進行多尺度識別，設置檢測窗口放大比例為1.2倍，檢測次數為4，檢測目標的最小尺寸為48×42像素，最大尺寸為230×220像素；

d.加載分類器，利用訓練好的分類器對步驟c中所有子窗口進行判決，并將目標車輛用矩形框框選出來。

2.2 基于Kalman濾波的前方車輛跟蹤

基于Kalman濾波的前方車輛跟蹤是指通過當前幀中前方車輛的位置預測下一幀前方車輛可能出現的位置。本文采用的CCD攝像頭的幀率為25 fps，即相鄰兩幀的間隔時間為0.04 s，由于時間間隔短，當相鄰兩幀圖像中同一車輛的位置變化不大時，可將其運動狀態近似成勻速直線運動。而當前方車輛行駛方向或速度突然變化時，較短時間內仍可近似成勻速直線運動，所造成的誤差可作為系統噪聲處理[11]，實現步驟如下：

a. 按前述的檢測算法檢測前方車輛，并利用rectangle（）函數框選出目標車輛，記錄矩形框的位置信息；

b. 如果連續三幀檢測到車輛，則使用cvKalman?Predict（）函數預測下一幀中車輛可能存在的位置；

c.在車輛可能存在的區域附近劃定出搜索區域，用檢測算法進行目標檢測，并將檢測值帶入cvKalman?Correct（）函數對預測的結果進行修正，更新當前幀車輛位置。

3 前撞預警算法

3.1 基于幾何模型的前方車輛測距

基于幾何模型的測距是指根據攝像機投影模型推導出路面坐標系與圖像坐標系的關系，進而計算出兩車之間距離的過程。

3.1.1 坐標系及坐標系轉換關系

對于測量車輛與前方障礙物之間的距離，小孔成像模型（也稱為線性攝像機模型）基本可以滿足測量要求如圖1所示。模型中涉及到圖像坐標系、像素坐標系、攝像頭坐標系和世界坐標系[12]等4個坐標系。

圖1中，XWYWZW為世界坐標系，XCYCZC為攝像頭坐標系，xO1y和uO0v分別為圖像坐標系和像素坐標系，O1Oc為攝像頭焦距，用f表示。假設空間中有某點A，依據小孔成像原理，點A′為點A在圖像平面內的投影點。（XC，YC，ZC）為點A在攝像頭坐標系下的坐標，（x，y）和（u，v）分別為點A的圖像坐標和像素坐標。

圖1 小孔成像模型

點A的圖像坐標系（x，y）與攝像頭坐標系（Xc，Yc，Zc）的轉換關系為:

點A的圖像坐標系（x，y）與像素坐標系（u，v）之間的關系為：

其中，（u0，v0）為圖像坐標系原點O1在像素坐標系中的坐標；dx和dy為單位像素在圖像坐標平面x軸和y軸方向上的物理尺寸，因為所使用的攝像頭為線性CCD攝像頭，其在x軸方向和y軸方向上刻度均勻相等，所以dx=dy。

世界坐標系即為路面坐標系，像素坐標系與路面坐標系之間的轉換關系可以通過建立道路平面縱向、橫向測距模型，利用幾何推導并結合攝像頭內參數求出。

3.1.2 建立道路平面縱向測距模型

圖2為道路平面縱向測距模型[13]。圖2中，XYZ為路面坐標系；圖像坐標系原點O1的像素坐標為（u0，v0）；攝像頭安裝高度為h；攝像頭俯仰角為 α；PP′與地面的夾角為 β，與光軸的夾角為γ；點P為路面坐標系中Z軸上的一點，坐標為（0，0，Z），其在像平面上的投影點為P′，由圖2可知，點P投影在圖像坐標系的軸上，其圖像坐標和像素坐標分別為（0，y）和（u0，v）。

圖2 道路平面縱向測距模型

由圖2的幾何關系可得：

結合式（2）、式（3）和式（5）得：

式中，fy=f/dy為y方向的像素。

3.1.3 建立道路平面橫向測距模型

圖3為建立的道路平面橫向測距模型。圖3中，P（0，0，Z）和Q（X1，0，Z）為路面坐標系中兩點且PQ平行于X軸，Q在像平面上的投影點為Q′，Q′在圖像坐標系和像素坐標系下的坐標分別為（x，y）和（u，v）。

圖3 道路平面橫向測距模型

由圖3中的幾何關系可得：

式（11）中的h和α可通過直接測量得到；u0、v0和fy均為攝像頭內參數，通過攝像頭標定試驗獲得。

3.1.4 前方車輛測距功能實現

前方車輛與本車之間的距離包括縱向距離和橫向距離，本文采用道路平面測距模型，結合攝像頭內參數求出本車與前方車輛的橫向距離和縱向距離，過程如下：

a.利用檢測算法檢測本車前方所有車輛，并利用rectangle（）函數將前方車輛框選出來；

b.將同車道內距離本車最近的前方車輛作為需要測距的目標車輛，并讀取其檢測框底邊中點的像素坐標（u2，v2）和（u3，v3），則檢測框底邊中點的像素坐標為

d.測量出攝像頭與本車車體前端之間的距離d1（CCD攝像頭安裝在前擋風玻璃內側中部），則本車與前車之間的縱向距離d為：

e.測量出本車的車寬W，計算出本車與前車的橫向距離L：

3.2 基于多信息融合的前方碰撞預警算法

目前，前方碰撞預警系統主要通過計算碰撞時間TTC或縱向距離d來判斷本車的安全狀態。但此方法只考慮了車輛的縱向特征，沒有考慮橫向特征，如本車想超車，TTC或縱向距離超過了閾值，但只要橫向距離沒有達到閾值就是安全的，此時報警反而會影響駕駛員的正常操作，而且只有當本車車速V1大于前車車速V2時才可能發生危險。為解決此問題，必須在預警算法中引入多信息融合的思想。多信息融合是指從多個信息源獲取數據和信息進行關聯、相關和綜合，以獲得精確的狀態估計。因此基于多信息融合的前方碰撞預警算法是指綜合考慮本車車速V1、前車車速V2、TTC和橫向距離L來判斷本車的安全狀態。

TTC計算式為：

式中，Vr為本車與前車的相對速度，可以由相對距離和幀間時間間隔求出。

本車車速V1可通過車速傳感器測量得出，前車車速V2可通過Vr和V1求出。依據標準ISO 15623 Intelligent transportsystems-Forward vehicle collision warning systems-Performance requirements and test procedures，算法提供兩種預警，即二級碰撞預警（1.1≤TTC＜3.5 s）和一級碰撞警告（TTC＜1.1 s），該預警算法流程如圖4所示。

圖4 基于多信息融合的預警算法流程

4 實車試驗

4.1 實車試驗效果圖

選擇在白天正常光照條件下的城郊和城市道路上進行實車道路試驗。系統硬件平臺為Intel（R）Core（TM）i7-4720HQ CPU@2.60 GHz，8 GB RAM的計算機，軟件環境為VS2010開發平臺下OpenCV 2.4.8，實車試驗效果如圖5所示。

圖5 實車試驗效果圖

圖5a中TTC＞3.5 s，此時本車處于安全狀態，前方車輛已被檢測出，但預警系統不報警；圖5b中TTC在1.1～3.5 s之間，且橫向距離較小，啟動二級碰撞預警。

4.2 試驗及結果分析

4.2.1 前方車輛檢測試驗

從城郊和城市道路上采集的視頻中各截取400幀圖像數據用來測試車輛檢測的效果。將車輛檢測率（Detection Rate，DR）和車輛誤檢率（False Positive Rate，FPR）[14]作為評價前方車輛檢測算法優劣的準則。DR和FPR的表達式為：

式中，TP為實際被檢測出的車輛數；FN為實際沒被檢測出來的車輛數；FP為實際被誤檢為車輛的數量；TN為實際未被誤檢成車輛的數量。

兩種道路上前方車輛檢測結果如表1所列，其中GT為實際車輛總數。

表1 兩種道路上前方車輛檢測結果

為驗證所提出的前方車輛檢測算法的先進性，將該算法與幾種經典的車輛檢測算法進行對比，結果如表2所列。由表2可知，前3種檢測算法雖然檢測率較高，但檢測速度太慢；后4種算法雖然實時性很好，但檢測率或誤檢率達不到要求。對比可知，本文所提出的前方車輛檢測算法的綜合性能最優。

表2 不同檢測算法試驗結果對比

4.2.2 測距試驗

考慮到實時視頻的測距過程能夠等效成數幀靜態圖像的測距過程，因此采用靜態測距試驗來驗證基于幾何模型的前方車輛測距算法的可行性，表3為靜態試驗獲得的測距結果。由表3可知，橫、縱向距離的測量誤差都不超過5%，達到了較高的測量精度。

表3 靜態測距試驗結果

4.2.3 前方碰撞預警試驗

為驗證所提出的前方預警算法的可靠性，利用所有實車試驗數據對基于多信息融合的前方碰撞預警算法進行驗證。以接近前車時駕駛員釋放加速踏板和制動動作的數據為基礎，計算每次接近前車的過程中每一時刻的碰撞時間TTC，再通過前撞預警算法得到兩級報警時刻，將算法得出的報警時刻與車載設備記錄的駕駛員實際動作時刻進行對比[17]。表4為基于多信息融合的前方碰撞預警算法與基于TTC的前方碰撞預警算法的試驗結果對比。由表4可知，基于多信息融合的前撞預警算法的報警率高于TTC預警算法，且誤警率和漏警率都低于后者,尤其是誤警率降低很多。

表4 兩種前撞預警算法試驗結果對比 %

5 結束語

本文提出了一種基于OpenCV的前方車輛檢測和碰撞預警算法，通過提取Haar-like特征和GAB級聯訓練得到分類器識別前方車輛，并利用Kalman濾波跟蹤前方車輛，結合多種信息提出了多信息融合的前方碰撞預警算法。試驗結果表明，所提出的前方車輛檢測算法的綜合性能優于多種經典算法，前撞預警算法的判斷準確性較高，能夠滿足實際道路上防撞預警的要求。

1 馬鈞，曹靜.基于中國市場特定需求的汽車先進駕駛輔助系統發展趨勢研究．上海汽車，2012,4（9）:36～40.

2 Izumi T,Kikawa M,Hase S,et al.Forward vehicle tracking based on shadow detection.Proceedings of the SICE Annual Conference,2007:1449～1453.

3 Jazayeri A,Cai H,Zheng J Y,et al.Vehicle detection and tracking in car video based on motion model,IEEE Trans.Intell.Transp.Syst,2011,12（2）:583～595.

4 Wang Hai,Zhang Weigong,Cai Yingfeng.Design of a road detection system based on monocular vision.Journal of Southeast University（English Edition）,2011,27（2）:169～173.

5 徐豪.汽車主動防撞預警系統規避控制研究：[學位論文].長春:吉林大學，2012.

6 孫曉艷.基于單目視覺的夜晚汽車前撞預警系統研究：[學位論文].西安：西安工業大學,2013.

7 周松盛,何天明,張明濤,等.簡易安全車距和高速公路安全視距計算模型.北京汽車,2009（2）:35～38.

8 陳益如.基于視覺的行人檢測算法研究及系統設計：[學位論文].杭州：浙江大學，2014.

9 Friedman J,Hastie T,Tibshirani R.Additive logistic regres?sion:a statistical view of boosting.The Annals of Statistics,2000,28（2）:337～407.

10 Lienhart R,Kuranov A,Pisarevsky V.Empirical Analysis of Detection Cascades of Boosted Classifiers for Rapid Object Detection.Lecture Notes in Computer Science,2003,2781:297～304.

11 張玲增.基于多特征的前方車輛檢測與跟蹤方法研究：[學位論文].鎮江：江蘇大學，2010.

12 Yoshikawa N.spatial position detection of three-dimension?al object using complex amplitude derived from Fourier transform profilometry.Meeting on Information Photonics,2005:1～3.

13 王牛，李祖樞，武德臣，等.機器人單目視覺定位模型及其參數辨識.華中科技大學學報,2008,36（10）:57～60.

14 Wu C,Cao X,Lin R,et al.Registration-based Moving Vehicle Detection for Low- altitude Urban Traffic Surveillance.lntclligcnt Control and Automation（WCICA），2010,20（1）:373～378.

15 Wang CCR,Lien JJJ.Automatic Vehicle Detection Using Local Features-A Statistical Approach,IEEE Transactions on Intelligent Transportation Systems,2008,9（1）:83～96.

16 Ali S，Shah M.A supervised learning framework for generic object detection in images,Proc.IEEE CVPR,San Diego,CA,USA,2005,2:1347～1354.

17 Gall J,Lempitsky V.Class-Specific Hough Forests for Object Detection,Proc.IEEE CVPR,Miami,Florida,USA,2009,1022～1029.

（責任編輯 文 楫）

修改稿收到日期為2016年12月20日。

Research on Preceding Vehicle Detection and Collision Warning Method Based on OpenCV

Liu Jun,Gao Xueting,Wang Liming,Yan Xiaojuan
（Jiangsu University,Zhenjiang 212013）

A preceding vehicle detection and multi-information fusion warning method based on OpenCV was proposed for the rear-end collision accident,that utilized Haar-like+Gentle Adaboost to detect preceding vehicles rapidly,and used the Kalman filter principle to track these vehicles.Geometric model was used to calculate the lateral and longitudinal distances in real-time with the preceding vehicle,then vehicle speed and the preceding vehicle speed,collision time TTC and lateral distance,etc.,were compared with threshold value to identify the risk of collision.The experimental results show that the proposed detection method can detect preceding vehicles in about 22 ms per frame with an accuracy of 96%,and can measure the vehicle distance accurately to realize reliable front collision warning output.

Preceding vehicle detection,Collision warning,Kalman filter,Multi-information fusion

前方車輛檢測 碰撞預警 Kalman濾波 多信息融合

U461.91

A

1000-3703（2017）06-0011-06

江蘇省高校自然科學研究重大項目（13KJA580001）。