智能車輛環境感知技術系統研究

吳亞暉　陳海山　劉金波　趙新　段晶晶　王文哲

摘 要：環境感知是指通過多種傳感器相融合來獲得實時環境信息以應用于車道識別、紅綠燈和障礙物檢測等，是智能車輛智能決策和控制的基礎，是實現智能化的關鍵環節。本文對智能車輛環境感知技術進行系統性研究，深度剖析了機器視覺、毫米波雷達、激光雷達和紅外傳感器等幾個重要傳感器的應用原理和控制策略，并分析其優缺點。根據傳感器不同環境下的應用方法，提出了一種基于傳感器信息融合的障礙物檢測構思，詳細闡述了如何通過信息融合的方法以提高智能車輛的環境感知能力。

關鍵詞：智能車輛 環境感知 傳感器 信息融合

Research on Intelligent Vehicle Environment Perception Technology System

Wu Yahui Chen Haishan Liu Jinbo Zhao Xin Duan Jingjing Wang Wenzhe

Abstract：Environmental perception refers to the fusion of multiple sensors to obtain real-time environmental information for application in lane recognition， traffic lights and obstacle detection， etc.， which is the basis for intelligent decision-making and control of intelligent vehicles and the key link to realize intelligence. This paper systematically studies the intelligent vehicle environment perception technology， deeply analyzes the application principles and control strategies of several important sensors such as machine vision， millimeter wave radar， lidar and infrared sensors， and analyzes their advantages and disadvantages. According to the application methods of sensors in different environments， an obstacle detection concept based on sensor information fusion is proposed， and how to improve the environmental perception ability of intelligent vehicles through information fusion is elaborated.

Key words：intelligent vehicle， environmental perception， sensor， information fusion

智能車輛是一個不斷發展壯大的實體概念，一般認為智能車是一個具有多種功能的綜合系統。在普通車輛的基礎上，增加先進的信息感知系統、先進的控制系統、可靠的執行器等，利用車載傳感系統和信息終端實現智能信息互換，通過智能環境感知，自動的分析車輛所處狀態，實現替代人工操作這一目的。

無人駕駛這一概念起源于美國國防部推出的DARPA挑戰賽[1]，吸引了來自斯坦福大學、卡內基梅隆大學、FMC公司在內的眾多科研機構和高校，極大的推動了智能車輛的發展。斯坦福大學在汽車頂部安裝多個多向激光雷達探測路面是否平順，用視覺攝像頭判別前方道路防止車輛跑偏，且最終以最短時間獲得無人車挑戰賽冠軍[2]。Google公司從2009年啟動智能駕駛研究，并很快成為了無人車領域的標桿之一[3]。在國內，清華大學以準結構化和非結構化道路環境為研究背景所設計的串聯式無人車THMR具有較高的行動決策和規劃能力[4]。國防科技大學紅旗Q3無人車[5]、吉林大學JLUIV、DLIUV系列智能車[6]，以及上海交通大學、長安大學、湖南大學所研制的智能汽車也都能夠實現定位、導航、避障、跟隨等功能[7，8]。

智能駕駛的關鍵技術主要有感知、決策和規劃三大方面，其中環境感知是自動駕駛技術的基礎，目的在于探測和識別周圍的道路、車輛、障礙物、交通信號燈等，是智能車輛的關鍵一環[9]。目前現有的智能車輛傳感技術主要是按算法分類，不能很好地概括各個傳感器的特點。本文以環境感知傳感器為切入點，分析了各個傳感器的工作原理、應用背景以及應用過程中的優缺點，提出一種傳感器信息融合障礙物檢測方法，闡述了如何通過信息融合的方法結合多源傳感器以提高智能車輛的環境感知能力。

1 傳感器

環境感知是指利用不同傳感器對車輛環境進行數據采集，獲取車輛周圍的環境信息，將處理過后的信息作為各種控制決策的信息依據。目前，智能車輛實現環境感知所用到的主要有機器視覺、激光雷達、毫米波雷達和紅外線傳感器。

1.1 機器視覺

隨著人工智能的飛速發展，互聯網、通信、機器視覺等技術逐漸占據日常生活的各個方面，其中機器視覺技術憑借其信息容量大、檢測范圍廣和成本低之類的優點成為了汽車輔助駕駛行業的熱門研究對象[10]。

機器視覺采用圖像拍攝裝置獲取圖像信號，通過處理單元進行圖像處理，根據亮度、像素、顏色等信息將圖像信號轉為數字信號，然后進行目標特征提取計算，從而獲得目標信息。信息處理過程中用到眾多的學習網絡，如循環神經網絡（RNN）、深度玻爾茲曼機（DBN）等，其目的在于通過深度學習算法自動預測輸入圖像中目標的類別和位置，且當算法獲得目標信息后，會立即將這些信息共享給其他傳感器，讓駕駛系統了解到車輛當前所處的道路環境并進行預警。在使用前需要提供足夠多的自動駕駛場景圖像來訓練該算法的網絡模型，訓練過后的算法便可以提取道路環境中的特征信息并識別出自動駕駛場景中的目標，如行人、車輛和交通信號燈。

目前，目標檢測算法采用深度學習并遵循其整體設計的預測過程，大致可以分為兩種情況：（1）以基于區域的卷積神經網絡（RCNN）為代表的兩階段目標檢測算法，第一階段是獲取候選框，且對每個候選框都進行特征提取，第二階段是對候選框所代表的區域進行分類，這種算法的優點在于具有良好的準確性；（2）基于You Only Look Once網絡為主體的目標檢測算法，該類型算法放棄了兩階段算法中的區域分類，直接端到端從輸入到輸出來預測所選特征圖上的每個樣本，因此該算法在實時應用中檢測速度更快。

1.2 毫米波雷達

毫米波頻段起初被廣泛應用于國防領域中，如在航空應用中被用于防碰撞，在軍事系統中用于導彈導引頭和火力控制，在短程反裝甲系統中用于精確測量目標的相對速度和距離。毫米波雷達可以實時感知車輛和行人的位置以及運動狀態，能夠實現長距離測量、低成本、動態目標檢測能力和環境適應力，是智能車輛環境感知領域的主要傳感器之一。

毫米波雷達的波長在1-10mm之間，工作頻率常采用24GHz[11]和77GHz[12]這兩種，波束較窄，有較強的抗干擾能力。距離檢測是毫米波雷達傳感器的重要性能之一，因此按照不同的探測距離分為長距離毫米波雷達、中距離毫米波雷達以及短距離毫米波雷達，其探測范圍參數如圖2所示。毫米波雷達是一種主動型傳感器，通過自身能力向外界環境發射電磁波以進行目標檢測，傳播信號的過程中如果遇到了目標物體，則會產生回波信號，回波信號將通過毫米波雷達的接收天線進行接收，完成與目標物體相對速度、相對距離的信息采集和處理，并進行信息存儲[13]，其數據采集和處理流程如圖3所示。與其他感知傳感器相比，毫米波雷達具有穿透煙、霧、塵的能力，對不同關照條件和天氣具有良好的環境適應性，其次遠程雷達（LRR）可以探測250m范圍內的目標，還可以根據多普勒效應來測量目標的相對速度，其分辨率高達0.1m/s，這些優點對于車輛的預測和決策而言十分重要。

1.3 激光雷達

由于光學系統的脆弱性，激光雷達在智能車輛中的應用受到了限制，但是從激光雷達檢測到的障礙物信息中可直接獲取環境的三維數據描述，因此激光距離成像技術的研究受到了智能車領域的重視，廣泛應用于障礙物檢測、環境三維信息的獲取以及車輛避障中。

激光雷達也是一種主動型傳感器[14]過發射激光光束探測目標，當發射信號碰到目標物便會產生回波信號，隨后激光雷達開始搜集目標回波，經過目標檢測算法的信號處理后可獲得目標的距離和方位等信息。激光雷達按激光線束可分為兩種，其一是置于車輛前方的單線激光雷達，可用于探測車輛前方的物體，測量速度快，但只能生成二維數據；其二是置于車頂的多線激光雷達，可采用旋轉掃描的方式360°全方位獲取目標，且線束越多的話，可獲取的目標信息越詳細，但其點云數量會越大，因此對數據處理和數據存儲的要求也會越高。激光雷達測量距離常采用飛行時差測距法（Time of Fly），主要分為兩種，一種是通過測量激光脈沖在目標與雷達間來回時差的直接測量法，另一種是計算接收波形與發射波形之間的相位差來推斷距離信息的間接測量法，本文主要介紹的是直接測距法的原理，

目標物體與激光雷達的距離Ｈ（單位：米）與其他影響因子直接的關系如式1所示。

其中：c為光速；

為發射器記錄的發射時間和接收時間的時間差，單位：s。

由此可計算出目標物體的三維空間坐標，其三維空間關系。

通過上述三維空間坐標關系可以算得激光雷達與目標物體之間的距離關系如下式所示。

由此便可以獲得目標物體的三維坐標數據，實現對障礙物的探測。激光雷達實現目標檢測的過程需要大量的數據進行算法的訓練，且成本高昂，因此目前采用激光雷達進行目標識別的案例很少，大多是利用激光雷達來獲取環境三維數據，結合車輛定位信息，在離線情況下繪制高精度地圖。

1.4 紅外傳感器

由于可見光攝像頭在夜間、低能見度條件下的目標檢測效果不理想，對于紅外夜視輔助系統的研究原來越多。紅外傳感器的優點體現在以下幾個方面：（1）紅外熱像儀的分辨率、成像效果和性價比在不斷提高；（2）紅外夜視系統接收外部目標的紅外輻射成像，不依賴于場景的光照條件，任何溫度高于零的物體都可以輻射紅外線；（3）具有全天候工作能力，可顯著降低夜間行車風險，在低能見度環境下可輸出清晰的前方路況熱成像，提高駕駛員的視野范圍，提高行車安全。基于以上原因，車載紅外夜視技術受到國內外各大汽車廠商和研究機構的高度重視，且隨著技術的成熟，紅外夜視系統逐漸開始應用到智能車輛中。

用于檢測的紅外攝像頭分為兩種，一種是使用近紅外線的有源系統，也稱近紅外系統，有源系統獲取的圖像質量很高，通常可以看清150米以內的物體，但由于對光源的依賴，近紅外系統在可見度低的環境下效果減弱，無法正常工作；另一種是不需要紅外光源的無源系統，也稱遠紅外系統，利用物體的熱輻射來成像，由于熱輻射不受光所影響，所以可穿透雨雪和霧霾，在惡劣環境下依然可以正常工作。

根據成像原理，夜視系統主要分為主動夜視系統和被動夜視系統。主動夜視技術是一種通過紅外光主動照射和紅外光被目標反射回來進行觀測的紅外技術，并相應的配備一種主動式夜視系統。被動夜視系統中，微光夜視和熱成像技術應用較為廣泛。微光夜視技術又稱圖像增強技術，通過圖像增強器將微弱或能量較低的光轉換為增強的光學圖像，實現直接觀察。紅外熱成像技術一般配備有熱成像儀，將人眼無法直接看到的目標表面的溫度分布轉變為人眼可以觀察的溫度分布的熱圖像，實現目標檢測。根據每種成像技術的特點，總結了其相應的優缺點，如表1所示。

2 多傳感器信息融合

信息融合是指利用數學方法和計算機技術，對不同時空獲得的多源傳感器感知信息進行處理，按照一定的規則進行處理和綜合判斷，生成感知對象的一致性描述，為后續分析提供決策依據。相對于單一傳感器，多傳感器信息融合可以有效地協同提高車輛環境感知的識別精度和系統魯棒性。

作為智能車輛研究中最重要的基礎理論分支，信息融合技術的應用成果十分豐碩。德國布倫瑞克科技大學的智能車輛通過使用立體相機和激光掃描儀等各種傳感器進行信息融合，對障礙物進行檢測[16]。美國Demon智能車搭載了由彩色攝像頭、雙目立體攝像頭、紅外攝像頭組成的毫米波測距傳感器和機器視覺系統[17]，利用雙目立體視覺檢測障礙物。日本豐田公司開發的ASIMO機器人是目前多傳感器信息融合技術應用于移動裝置中的一個經典案例[18]。

機器視覺可用于圖像處理，毫米波雷達用于距離檢測，激光雷達可以獲取目標的三維數據，紅外傳感器足以應對低能見度環境。本文基于不同環境中障礙物的檢測原理，提出一種多傳感器融合的障礙物檢測系統，整個系統由四個獨立的單元組成，其總體架構。數據采集單元主要負責獲取和存儲原始傳感器信息，它有多個傳感器作為輸入端，傳感器通過自身輸入端獲取并存儲原始數據；數據預處理單元從數據采集單元接收傳感器原始數據，獲得外部校準以進行傳感器配準和數據關聯；融合單元需要對不同級別的預處理傳感器數據執行原始數據級融合、特征級融合和決策級融合；決策單元根據多傳感器融合給出的輸出結果，為障礙物檢測任務選擇并確定良好的融合結果，然后將障礙物信息（如位置、標簽、大小和速度）傳遞給自動化系統中的其他模塊（如路徑規劃和控制模塊）。

3 結語

本文對智能車輛環境感知技術的發展與應用進行了研究，論述了機器視覺、毫米波雷達、激光雷達和紅外傳感器的工作原理和控制策略，根據不同傳感器的特征進行了分類，并對比其優缺點。基于多傳感器信息融合技術，提出一種多傳感器融合障礙物檢測系統，以提高智能車輛環境感知能力。最后對智能車輛環境感知技術的研究進行了展望，并指出以下兩點：（1）單一視覺傳感器已經不能滿足智能車輛的行駛要求，怎樣融合各傳感器的優勢將成為未來的主流發展方向；（2）運動物體的檢測、識別和跟蹤是智能車輛感知模塊需要面臨的主要技術問題，雖然深度學習在目前的改進算法中逐漸脫穎而出，但仍需要大量的測試來保證識別的準確性和及時性。

參考文獻：

[1]Chen Q， Ozguner U， Redmill K. Ohio state university at the 2004 darpa grand challenge： Developing a completely autonomous vehicle[J]. IEEE Intelligent Systems， 2004， 19（5）：8-11.

[2]Thrun S， Montemerlo M， Dahlkamp H， et al. Stanley： The robot that won the DARPA Grand Challenge[J]. Journal of field Robotics， 2006， 23（9）：661-692.

[3]劉春曉.改變世界——谷歌無人駕駛汽車研發之路[J].汽車縱橫，2016（05）：94-99.

[4]王亞飛.THMR-V平臺上的智能交通監控系統設計與實現[J].計算機測量與控制，2017，25（07）：106-109.

[5]陳治光.紅旗HQ3：智能與安全的結合[J].科技潮，2007（11）：23.

[6]王榮本，游峰，崔高健，等.基于計算機視覺高速智能車輛的道路識別[J].計算機工程與應用，2004（26）：18-21.

[7]C. Jahanchahi and D. P. Mandic， “A class of quaternion Kal man fifilters，” IEEE Transactions on Neural Networks and Learning Systems， vol. 25， no. 3， pp. 533-544， 2014.

[8]Jiang Y， Xu X， Zhang L. Heading tracking of 6WID/4WIS unmanned ground vehicles with variable wheelbase based on model free adaptive control[J]. Mechanical Systems and Signal Processing， 2021， 159：107715.

[9]孟祥雨，張成陽，蘇沖.自動駕駛汽車系統關鍵技術綜述[J].時代汽車，2019（17）：4-5.

[10]杜學峰，高越，楊偉，等.基于機器視覺的車輛檢測[J].汽車實用技術，2021，46（15）：48-50.

[11]Klotz M， Rohling H. 24 GHz radar sensors for automotive applications[C]//13th International Conference on Microwaves， Radar and Wireless Communications. MIKON-2000. Conference Proceedings （IEEE Cat. No. 00EX428）. IEEE， 2000， 1： 359-362.

[12]Rohling H， Lissel E. 77 GHz radar sensor for car application[C]//Proceedings International Radar Conference. IEEE， 1995： 373-379.

[13]魯自清. 非相干散射雷達信號處理與分析[D].南昌大學，2016.

[14]孫朋朋. 城市環境下智能車行車環境精確感知關鍵技術研究[D].長安大學，2019.

[15]石永彪，張湧.車載紅外夜視技術發展研究綜述[J].紅外技術，2019，41（06）：504-510.

[16]Hussein A， Marín-Plaza P， Martín D， et al. Autonomous off-road navigation using stereo-vision and laser-rangefinder fusion for outdoor obstacles detection[C]//2016 IEEE Intelligent Vehicles Symposium （IV）. IEEE， 2016： 104-109.

[17]Bellutta P， Manduchi R， Matthies L， et al. Terrain perception for DEMO III[C]//Proceedings of the IEEE Intelligent Vehicles Symposium 2000 （Cat. No. 00TH8511）. IEEE， 2000： 326-331.

[18]Okita S Y， Ng-Thow-Hing V， Sarvadevabhatla R. Learning together： ASIMO developing an interactive learning partnership with children[C]//RO-MAN 2009-The 18th IEEE International Symposium on Robot and Human Interactive Communication. IEEE， 2009： 1125-1130.