基于復合傳感實現路情實時識別和危險判斷的方法及系統*

鄒水龍，李永

基于復合傳感實現路情實時識別和危險判斷的方法及系統*

鄒水龍1，李永2

（1.南昌工學院，江西 南昌 330108；2.北京工業大學，北京 100124）

研究基于復合傳感實現路情實時識別和危險判斷的方法及系統，其中包括汽車中央控制器、車輛周圍障礙物檢測系統、駕駛員狀態檢測系統、車道偏離預警系統和車輛運動控制與通信系統，旨在對車輛突發狀況進行監控預警，減少交通事故的發生，實現智能交通。該系統可實現路情的實時自動識別，行車過程中障礙物檢測，駕駛員駕駛狀態檢測以及車道偏離預警，可以廣泛應用于汽車智能駕駛和智能交通領域。

復合傳感 路情實時識別 障礙物檢測 車道偏離預警 智能駕駛 智能交通

1 引言

伴隨著我國高速公路的迅猛發展和人民生活水平的提高，機動車保有量呈現出井噴式增長，與此同時，道路交通事故案件數也居高不下，對社會秩序造成了一定影響，也對人們的生命財產構成了威脅，如何有效降低道路交通事故數量值得思考。通過了解交警部門對多年來交通事故的調查分析知道，大多數交通事故發生的主要原因是駕駛人疲勞駕駛或違章駕駛等。因此，如何有效地監控、約束和規范駕駛人的駕駛行為，已成為保障道路交通安全的重要解決措施[1]。

對路情進行實時識別和危險判斷以及發送實時的預警信息，對于預防交通事故的發生、降低事故嚴重性具有重要的意義。目前，道路交通安全情況的好壞主要取決于駕駛員的駕駛經驗等主觀人為因素，可控性較低。駕駛輔助系統是一項重要的汽車主動安全技術：運用目標檢測和跟蹤模塊對車輛前方危險目標進行判斷識別，并評估其風險等級，實現路情實時識別和車輛前方危險目標識別，可較大程度降低交通事故發生率，顯著提高車輛行駛的安全性。駕駛輔助系統是智能交通和智能車輛的重點研究方向[2]。

2 駕駛輔助系統技術方案

2.1 汽車智能盒子系統組成

本研究的目的是解決駕駛過程中路情智能識別和危險的準確判斷問題，由此提出了基于復合傳感實現路情實時識別和危險判斷的汽車智能盒子系統，系統組成包括汽車中央控制器、車輛周圍障礙物檢測系統、駕駛員狀態檢測系統、車道偏離預警系統和車輛運動控制與通信系統。

（1）汽車中央控制器

汽車中央控制器通過CAN（Controller Area Network，控制器局域網絡）總線分別和車輛周圍障礙物檢測系統、駕駛員狀態檢測系統、車道偏離預警系統、車輛運動控制與通信系統相連接，實現對這4個系統的信息融合和決策。汽車智能盒子原理圖如圖1所示：

圖1 汽車智能盒子原理圖

（2）車輛周圍障礙物檢測系統

車輛周圍障礙物檢測系統包括控制器DSP1、近距離超聲波傳感器、雷達傳感器、溫度傳感器和報警器。控制器DSP1（Digital Signal Processing，數字信號處理）分別和近距離超聲波傳感器、雷達傳感器、溫度傳感器和報警器相連接。近距離超聲波傳感器使用超聲波進行測距測速，超聲波的速度c與溫度t之間的關系如公式(1)：

其中，c0=331.4 m/s，溫度傳感器測量的溫度值用于對近距離超聲波傳感器和雷達傳感器的測量精度進行溫度補償。

在車輛周圍障礙物檢測系統中，安全車距s的計算公式如公式(2)：

其中，φ表示路面的附著系數，Vb表示本車車速，Vr表示相對車速，g表示邊緣圖像中的灰度值。車輛周圍障礙物檢測系統結構圖如圖2所示：

圖2 車輛周圍障礙物檢測系統結構圖

（3）駕駛員狀態檢測系統

駕駛員狀態檢測系統包括CMOS（Complementary Metal Oxide Semiconductor，互補金屬氧化物半導體）攝像頭、AD（Analog Digital，模擬數字）轉換器、電子斷路開關、控制器DSP2、酒精傳感器和聲音報警器。CMOS攝像頭通過AD轉換器與控制器DSP2相連接，控制器DSP2分別和電子斷路開關、酒精傳感器以及聲音報警器相連接。CMOS攝像頭采集車輛駕駛員行車過程中的視頻圖像信息，視頻圖像信息經AD轉換器轉換后輸入給控制器DSP2，控制器DSP2通過處理分析數字視頻信息，判斷駕駛員是否正在疲勞駕駛；酒精傳感器檢測駕駛員的酒精濃度是否超標，若超標則判斷駕駛員處于酒駕。當駕駛員處于疲勞駕駛狀態或酒駕狀態時，控制器DSP2通過聲音報警器給出報警提示信息。當駕駛員開始啟動車輛時，如果酒精傳感器檢測到駕駛員呼氣中酒精含量超標，將通過電子斷路開關斷開發動機電源[3]。駕駛員狀態檢測系統結構圖如圖3所示：

圖3 駕駛員狀態檢測系統結構圖

（4）車道偏離預警系統

車道偏離預警系統包括控制器DSP3、CCD（Charge-coupled Device，電荷耦合元件）攝像頭、視頻解碼芯片、車輪轉速傳感器、存儲器、顯示器、加速度傳感器、報警系統。CCD攝像頭采集道路原始模擬視頻信息，通過視頻解碼芯片把原始模擬視頻信息轉換為數字視頻信息后傳遞輸入給控制器DSP3，控制器DSP3接受數字視頻成功后，通過車道識別算法對車道線進行檢測，從而計算出車輛在車道中的具體位置和偏離車道的角度，根據偏離報警模型來判斷車輛是否偏離了原有車道，根據閾值大小判斷車輛是否處于安全行車狀態，如果判斷車輛處在不安全行車狀態，則給出報警信息[4]。車道偏離預警系統結構圖如圖4所示：

圖4 車道偏離預警系統結構圖

（5）車輛運動控制與通信系統

車輛運動控制與通信系統包括控制器DSP4、電子制動器、車輪、執行器、方向盤、無線通信系統、電子點火器、發動機。控制器DSP4通過電子制動器與車輪相連接，通過執行器與方向盤相連接，通過電子點火器和發動機相連接，控制器DSP4還與無線通信系統相連接。車輛運動控制與通信系統根據車道偏離預警系統、駕駛員狀態檢測系統和車輛周圍障礙物檢測系統三個檢測預警系統的狀態信息，通過執行器控制車輛的行駛方向，通過電子制動器控制汽車的車速，并可以通過無線通信系統將汽車行駛的狀態信息發送給其它車輛[5]。車輛運動控制與通信系統結構圖如圖5所示：

圖5 車輛運動控制與通信系統結構圖

2.2 汽車智能盒子系統實施方式

車輛周圍障礙物檢測系統可檢測車輛左右兩側的障礙物以及靠近車身的行人、車輛，判斷障礙物與車輛的距離是否小于安全車距，當障礙物與車輛的距離小于安全車距時將給出報警信息[6]。

駕駛員狀態檢測系統通過分析駕駛員的面部表情判斷駕駛員是否處于疲勞駕駛狀態[7]；通過檢測酒精濃度來判斷駕駛員是否處于酒駕狀態，若確認駕駛員處于兩種狀態中的至少一種狀態，則給出駕駛員相對應狀態的報警提示聲音。

車道偏離預警系統通過車道識別算法對車道線進行檢測，從而計算出車輛在車道中的具體位置和偏離車道的角度，根據偏離報警模型來判斷車輛是否偏離了原有車道，根據閾值大小判斷車輛是否處于安全行車狀態，如果車輛處于不安全行車狀態，則給出報警信息。該系統的詳細分析和實現將在第3節中介紹。

車輛運動控制與通信系統將車道偏離預警系統、駕駛員狀態檢測系統和車輛周圍障礙物檢測系統的反饋狀態信息作為輸入信息，從而對車輛進行智能控制，并將汽車行駛的狀態信息發送給其它車輛[8]。

汽車智能盒子子系統之間工作關系：車輛周圍障礙物檢測系統、駕駛員狀態檢測系統、車道偏離預警系統三個子系統都屬于監控系統，實時監控汽車是否處于危險狀態，若判斷處于危險狀態則發出預警信息；車輛運動控制與通信系統根據三個子系統反饋的信息對汽車進行及時的車速方向的糾正，降低危險發生的概率；汽車中央控制器通過CAN總線與四個子系統進行信息融合并做出決策。

3 車道偏離預警系統的實現

3.1 車道偏離預警系統實現流程

車道偏離預警系統相對其他系統流程比較復雜，故對該系統做詳細分析，圖6是車道偏離預警系統中算法實現流程：

圖6 車道偏離預警系統中算法實現流程

3.2 車道偏離預警系統實現流程詳解

（1）對車載攝像機采集的道路圖像進行逆透視變換，圖像緩存坐標系到車體坐標系之間的逆透視變換公式如下[9]：車載攝像機安裝在車體中的位置對應車體坐標系下的坐標為(d, l, h)[9]，γ是攝像機光軸在zv=0平面的投影與yv軸之間的夾角，θ是攝像機光軸偏離zv=0平面的角度，r是圖像緩存坐標系之間的圖像投影變換，2α是車載攝像機的視角范圍，Rx是攝像機的水平分辨率，Ry是攝像機的垂直分辨率[10]。

（2）對逆透視變換后的道路圖像進行預處理，預處理過程包括道路圖像的車道線的邊緣提取，具體方法：使用Robert算子提取圖像中的單邊緣信息，計算方法如公式(6)：

R(i, j)代替原圖像像素點(i, j)的灰度值g(i, j)，得到車道標志線的邊緣圖像。

（3）采用閾值分割算法對二值化的圖像進行處理，增強車道標志線的邊緣信息，具體計算方法如下：

2）根據初始閾值M0將車道標志線的邊緣圖像分為2個區域，求取2個區域的平均灰度如下：

4）重復步驟2）和3）過程，直到Mk+1=Mk時算法停止，得到最佳閾值為Mk+1。

（4）在二值化圖像中進行標志線起始點檢測、跟蹤與擬合，之后獲取道路模型，最后完成車道標志線提取，具體實現方法如下：

1）車道標志線起始點檢測、跟蹤。在逆透視投影變換后的道路圖像中，根據攝像機在車體中的安裝位置，車輛的位置應該位于圖像底部的中間位置附近[9]。首先，采用Hough變換計算得到車道標志線的斜率k。具體過程：選取圖像底部W×0.1H的區域作為Hough變換的搜索區域，W是圖像的寬度，H是圖像的高度。假設Δρ為1像素，Δθ為1°，為每一個小單元(Δρ, Δθ)設置累加器A(ρi, θj)，其中?1，j=0,1,2,…,179，然后搜索出B(θj)最大數組元素對應的θ0，則可以求出車道標志線的斜率k=tan(θ0-90)。

其次，判斷出車輛所在車道的左右標志線對應白點分布情況統計圖中的那2條尖峰，求出2條尖峰在投影軸xv上的位置坐標為(Xi, Xj)。

最后，根據尖峰對應的投影軸坐標計算出車道標志線起始點的坐標為(xi, 0)和(xj, 0)[9]，其中：

檢測得到車道標志線的起始點坐標后，可以從車道標志線的起始點開始，沿著起始方向逐段跟蹤檢測車道標志線，并且可以用多條首尾相連的直線線段近似表示車道標志線[9]。

2）車道標志線擬合。假設車道標志線模型為Y=X?+ε，?為要求的車道標志線模型參數，X、Y是跟蹤檢測得到的車道標志線信息點，ε是隨機噪聲，采用最小二乘法求出車道標志線模型參數為?=(XTX)-1XTY。

（5）采用基于AR模型的時間序列預測方法估計車輛的行駛軌跡。

（6）根據檢測的道路模型與估計的車輛行駛軌跡求取車道偏離點的位置坐標，并計算相應的車道偏離時間M[9]。

假設預測得到的相對于車道中線的側向偏移量序列為{Δi}，i=1,2,…,20，左右車道標志線的參數方程為yl(x)=bl0+bl1x+bl2x2和yr(x)=br0+br1x+br2x2，算出20個預測點的坐標(xi, yi)為yi=50i-49，xi=xmi+Δi，xli、xri表示某兩點的橫坐標值，b是方程的參數，其中xmi可以通過聯立以下方程求得：

算出20個預測點的位置坐標后，將其依次連接起來得到預測的車輛行駛軌跡曲線，與左右車道標志線的參數方程聯立可以求出當前時刻到車道偏離時刻車輛將行駛的距離D，假設車輛的速度為v，求得M=D/v[9]。

（7）根據設置的閾值判斷車輛是否存在偏離車道的危險，在系統中設定一個閾值Mt[9]，若M＜Mt，則認為車輛存在偏離車道的危險，車道偏離預警系統將對駕駛員發出預警信息，提醒駕駛員已處于車道偏離危險狀態；反之則認為暫時不存在車道偏離的危險。

4 結束語

本文針對如何有效地監控車輛駕駛人的操作，并對車輛駕駛人行駛過程中的非正常駕駛行為、車輛偏離情況、路情突發狀況進行預警的問題，提出了一種基于復合傳感的駕駛輔助系統，該系統能夠有效地實現路情的實時識別、行車過程中的障礙物檢測、駕駛員駕駛狀態檢測以及車道偏離預警，從而減少車輛駕駛人行駛過程中非正常駕駛行為的發生。該駕駛輔助系統可對突發狀況進行準確判斷并及時預警，可廣泛應用于車聯網中，或將在汽車智能駕駛和智能交通等領域發揮巨大的作用。該領域未來的研究方向可以針對系統中的圖像識別算法進行改進與優化，從而進一步提高實時識別的準確率。

[1] 史其信. “物聯網”打造下一代智能交通系統[J]. 交通標準化, 2010(24): 1.

[2] 楊方宜. 基于機器視覺的車輛前方危險目標識別及風險評估研究[D]. 昆明: 昆明理工大學, 2014.

[3] 肖玲,李仁發,羅娟. 車載自組網的仿真研究綜述[J]. 系統仿真學報, 2009,21(17): 5330-5355.

[4] 王明慧. 基于視覺的智能汽車道路檢測與預警算法的研究[D]. 北京: 北京交通大學, 2012.

[5] 徐朝陽. 基于智能交通運輸系統的交通安全控制體系的相關研究[J]. 交通世界, 2011(24): 120-121.

[6] 陳佳佳. 城市環境下無人駕駛車輛決策系統研究[D].合肥: 中國科學技術大學, 2014.

[7] 趙團. 基于計算機視覺的駕駛員疲勞檢測技術的研究與實現[D]. 沈陽: 東北大學, 2010.

[8] Ondrej Linda, Milos Manic. Online spatio-temporal risk assessment for intelligent transportation systems[J]. IEEE Transactions on Intelligent Transportation Systems, 2011,12(1): 194-200.

[9] 裘偉. 高速公路車道偏離告警系統的研究[D]. 長沙:國防科學技術大學, 2006.

[10] 劉強,崔莉,陳海明. 物聯網關鍵技術與應用[J]. 計算機科學, 2010,37(6): 1-4.

[11] 劉瑋,王新梅,魏龍生. 整體視覺結構模型及其在道路環境感知中的應用[J]. 計算機工程, 2016,42(10): 26-31.

[12] 董培,石繁槐. 基于小型無人機航拍圖像的道路檢測方法[J]. 計算機工程, 2015,41(12): 36-39. ★

Method and System of Road Condition Real-Time Recognition and Danger Judgment Based on Composite Sensor

ZOU Shuilong1, LI Yong2
(1. Nanchang Institute of Science & Technology, Nanchang 330108, China; 2. Beijing University of Technology, Beijing 100124, China)

The method and system of road condition real-time recognition and danger judgment based on composite sensor were investigated, which include automobile central controller, vehicle obstacle detection system, driver status detection system, lane departure warning system and vehicle motion control and communication system. The aim of the method and system is to monitor and warn the vehicle emergency, reduce the traffic accident and realize the intelligent transport. The system can automatically recognize the real-time road condition, detect obstacles on the road, monitor the driver’s driving state and warn the lane departure. It can be widely applied to the intelligent driving and intelligent transport system.

composite sensor road condition real-time recognition obstacle detection lane departure warning intelligent driving intelligent transport

鄒水龍：副教授，碩士畢業于南昌大學計算機技術專業，現任職于南昌工學院電氣與信息工程學院，主要研究方向為物聯網技術、網絡安全。

李永：副教授，博士畢業于北京理工大學計算機網絡專業，博士后由中國聯合網絡通信有限公司技術部和中國科學院計算所聯合培養，現任職于北京工業大學軟件學院，主要研究方向包括無線通信、光通訊、嵌入式系統、大數據應用等。先后發表過30多篇期刊論文，擁有40多項發明專利，發表了20多件國際標準提案，獲得過工信部2005年及2008年國際標準提案獎。

10.3969/j.issn.1006-1010.2017.15.009

TN914

A

1006-1010(2017)15-0044-06

鄒水龍,李永. 基于復合傳感實現路情實時識別和危險判斷的方法及系統[J]. 移動通信, 2017,41(15): 44-49.

江西省教育廳科學技術研究項目“基于物聯網技術的汽車智能盒子開發及應用”（GJJ151236）；南昌工學院教學改革研究課題“高校轉型發展背景下創新創業人才培養模式研究與實踐——以物聯網工程專業為例”（NGJG-2015-34）

2017-06-05

責任編輯：文竹 liuwenzhu@mbcom.cn