基于視覺的無人駕駛汽車研究綜述

唐智威TANG Zhi-wei（格拉斯哥大學(xué) 工程學(xué)院，格拉斯哥 G11 6QQ）

基于視覺的無人駕駛汽車研究綜述

唐智威
TANG Zhi-wei
（格拉斯哥大學(xué) 工程學(xué)院，格拉斯哥 G11 6QQ）

隨著汽車的廣泛普及，電子和計(jì)算機(jī)技術(shù)的快速發(fā)展，無人駕駛已經(jīng)成為一個前景廣闊的領(lǐng)域。感知技術(shù)是無人駕駛領(lǐng)域最基礎(chǔ)的關(guān)鍵技術(shù)之一，各種傳感器被應(yīng)用在無人駕駛汽車上?；谝曈X的感知技術(shù)，其數(shù)據(jù)獲取容易，信息量大，受到了研究人員的廣泛青睞。主要從三個方面探討視覺在無人駕駛汽車中的研究：一是利用視覺進(jìn)行定位，二是利用視覺識別道路和交通標(biāo)志，三是利用視覺實(shí)現(xiàn)避撞。最后，對基于視覺的無人駕駛技術(shù)進(jìn)行了總結(jié)。

無人駕駛；視覺；定位；道路和交通標(biāo)志識別；避撞

0　引言

現(xiàn)在，許多研究機(jī)構(gòu)都在研發(fā)無人駕駛汽車，比如斯坦福大學(xué)獲得DARPA挑戰(zhàn)賽冠軍的Stanley［1］，谷歌公司的Google Car［2］和寶馬公司的自主駕駛汽車（selfdriving car）［3］。這些無人駕駛汽車都已經(jīng)能夠在特定環(huán)境中完成某種程度的自主駕駛。視覺作為無人汽車對外界環(huán)境和自身位置姿態(tài)感知的重要手段，得到了越來越多的研究。視覺感知研究的主要問題有：無人駕駛汽車的自主定位，自主構(gòu)建環(huán)境地圖，自主識別可行駛區(qū)域和交通標(biāo)志，以及識別道路上的其他車輛和行人。本文針對以上問題的相關(guān)研究進(jìn)行了綜述。

1　基于視覺的無人汽車導(dǎo)航的發(fā)展現(xiàn)狀

無人汽車的環(huán)境感知涉及到多種傳感器的應(yīng)用，當(dāng)前，世界上各個研究機(jī)構(gòu)所用的傳感器包括激光雷達(dá)，GPS，慣性導(dǎo)航，攝像頭，毫米波雷達(dá)，超聲波雷達(dá)等。視覺攝像頭因其獲取的信息量大，價格低廉，且得到的信息非常直觀，得到了廣泛的研究。

1.1基于視覺的定位

定位是在無人駕駛汽車導(dǎo)航中最基本和最重要的功能之一。無人汽車需要通過定位系統(tǒng)準(zhǔn)確、實(shí)時地感知自身在環(huán)境中的相對位置。定位分為絕對定位和相對定位，絕對定位通常借助于GPS等衛(wèi)星導(dǎo)航系統(tǒng)，局部定位方法很多，可以采用慣性導(dǎo)航的方式（陀螺儀和加速度計(jì)等）?；谝曈X的定位提供了一種直觀的相對定位方式，可以配合其他傳感器一同使用，也可通過對比前后幀圖像的方法獨(dú)立使用。因定位的重要性，它還往往與導(dǎo)航、避撞等技術(shù)結(jié)合起來研究。

為了實(shí)現(xiàn)精確，穩(wěn)定的定位結(jié)果，張奕然等［4］提出了一種通過雙目視覺利用路標(biāo)的地理位置信息對GNSS（全球衛(wèi)星導(dǎo)航系統(tǒng)）定位精度進(jìn)行局部改良的方法。從雙目攝像機(jī)獲取圖像后，采用隨機(jī)Hough變換檢測路標(biāo)，采用SIFT算法和K-means算法對路標(biāo)進(jìn)行匹配識別，利用雙目視差計(jì)算智能車與路標(biāo)之間的向量，從而建立輔助定位模型，計(jì)算車輛的位置。Julius Ziegler等［5］提出了一種基于視覺輔助定位和導(dǎo)航的方法。他們研發(fā)的無人車Bertha使用依賴定位信息的幾何地圖。利用視覺技術(shù)檢測車道線，類似道路元素和相關(guān)點(diǎn)特征，從而實(shí)現(xiàn)視覺輔助定位。另一種比較精確的定位方法是采用三維激光雷達(dá)，但成本較高，而采用攝像頭結(jié)合激光雷達(dá)事先建立的地圖，進(jìn)行聯(lián)合定位，可以獲得較好的效果。Ryan W. Wolcott等［6］提出一種基于地圖的視覺定位方法，該方法首先利用激光雷達(dá)對環(huán)境生成合成視圖，其次通過比較視覺測量信息和該合成視圖，將它們的歸一化交互信息（normalized mutual information）最大化找到無人車所處的位置。

近年來基于視覺的同時定位與地圖構(gòu)建技術(shù)（V-SLAM）快速發(fā)展也為無人汽車?yán)靡曈X進(jìn)行定位和地圖構(gòu)建奠定了基礎(chǔ)［7］。SLAM問題可以描述為無人汽車在未知環(huán)境中運(yùn)動并且在自身位置不確定的情況下逐步構(gòu)建環(huán)境地圖，同時對自身姿態(tài)和位置進(jìn)行估計(jì)，從而實(shí)現(xiàn)自主定位和導(dǎo)航的技術(shù)。而V-SLAM問題［8］是基于多視圖幾何原理，根據(jù)相機(jī)拍攝的圖像特征同時分析出每幀圖像對應(yīng)的相機(jī)位置和朝向信息，以及場景的三維結(jié)構(gòu)。這種技術(shù)需要進(jìn)行圖像特征的匹配，有賴于場景特征的豐富程度，但是結(jié)合其他傳感器如IMU的數(shù)據(jù)就可以在很大程度上解決這個問題。

大連理工的段華旭［9］針對基于圖的SLAM的前端構(gòu)圖、閉環(huán)檢測及后端優(yōu)化三個環(huán)節(jié)展開研究。采用基于雙目視覺進(jìn)行立體圖像匹配，計(jì)算出無人車連續(xù)位姿間的旋轉(zhuǎn)平移關(guān)系，并以此為基礎(chǔ)完成優(yōu)化前的位姿拓?fù)涞貓D構(gòu)建。采用了一種基于ORB圖像特征和BoW模型的閉環(huán)檢測算法，并利用時間連續(xù)性約束和幾何一致性約束來避免錯誤的閉環(huán)匹配對，從而提升閉環(huán)匹配的正確率。在線閉環(huán)檢測以提供額外的空間約束，實(shí)現(xiàn)位姿拓?fù)涞貓D的優(yōu)化。位姿拓?fù)涞貓D的后端優(yōu)化采用了經(jīng)典的高斯-牛頓優(yōu)化方法，并且利用稀疏的Cholesky分解對矩陣方程進(jìn)行求解。最終實(shí)現(xiàn)了系統(tǒng)誤差的最小化，得到一幅校正的無人車位姿極大似然拓?fù)鋱D。

1.2基于視覺的道路和交通標(biāo)志檢測與識別

視覺技術(shù)可以幫助無人汽車按照交通標(biāo)線標(biāo)志的規(guī)定行駛，通常這部分工作也依賴基于視覺的檢測和識別技術(shù)。對于道路的檢測和識別通常簡化為檢測和識別道路的邊界，在城市結(jié)構(gòu)化道路中就是檢測和識別車道線。交通標(biāo)志的檢測和識別，因環(huán)境可能比較復(fù)雜，實(shí)時性要求較高，誤檢漏檢的可能性較高。

1.2.1基于視覺的道路檢測與識別

基于圖像技術(shù)的道路識別主要分為結(jié)構(gòu)化道路的識別和非結(jié)構(gòu)化道路的識別。結(jié)構(gòu)化道路指的是邊緣較規(guī)則，路面平坦沒有起伏，有相對明顯的車道線及其他人工標(biāo)記的行車道路。對于結(jié)構(gòu)化道路，方啟龍［10］提出了利用不變矩理論，其得到的特征量對發(fā)生傾斜、轉(zhuǎn)動和縮放的圖像有保持不變的性質(zhì)。對在自然條件下會產(chǎn)生形變的道路標(biāo)線，采用該方法可以很好地完成特征提取。另外他基于相似性度量的分類方法對交通標(biāo)線進(jìn)行識別，來降低車載視頻圖像中因交通標(biāo)線形狀變化甚至畸變等造成的影響。而非結(jié)構(gòu)化道路因道路邊緣特征不明顯等問題一直是識別的難點(diǎn)，近年來得到廣泛研究，其重點(diǎn)在于識別的實(shí)時性和魯棒性。實(shí)時性要求道路識別系統(tǒng)能夠在車輛通過該路段前的短時間內(nèi)對道路的邊緣和位置做出識別，而魯棒性要求識別系統(tǒng)能夠在復(fù)雜天氣和環(huán)境中正常工作。常用方法有基于圖像特征的識別方法和基于道路模型的匹配方法。

Fernando等［11］提出了一種基于自適應(yīng)顏色直方圖的方法，采用隨機(jī)抽樣一致性算法從攝像機(jī)獲取的道路圖像中獲取道路的邊緣和消失點(diǎn)，同時使用啟發(fā)式算法來檢查道路識別的時空一致性。該方法可以兼顧道路識別系統(tǒng)的實(shí)時性和魯棒性，并且可以在沒有道路的越野條件下使用。逄偉［12］采用兩種方法綜合處理，一是將由攝像機(jī)拍攝的RGB空間圖像轉(zhuǎn)換到HSV色彩空間，之后將圖像在飽和度域二值化，經(jīng)過膨脹閉運(yùn)算填補(bǔ)圖像中的陰影區(qū)域之后使用腐蝕閉運(yùn)算放大圖形邊緣，將圖像的路面部分分割出來。而后使用Canny算子進(jìn)行邊緣檢測，使用Hough變換并結(jié)合最小二乘法的思想對圖形中道路邊緣的部分進(jìn)行直線檢測，獲得道路邊緣后候選集合，最后將兩者的結(jié)果進(jìn)行融合，從而得到較為準(zhǔn)確的道路邊緣位置。劉振超［13］在圖像預(yù)處理時將RGB圖像轉(zhuǎn)換為亮度圖像，計(jì)算圖像ROI內(nèi)任一像素的水平亮度微分，如果其值小于一定閾值，則可找到可能的車道線左邊緣，對其坐標(biāo)進(jìn)行透視變換，找出可能的車道線左右邊緣，得到車道線中央坐標(biāo)。對其進(jìn)行透視變換后，使用Hough變換分段檢測直線。將前后幀檢測的直線進(jìn)行比較，消除錯誤檢測及未檢測的影響，把相鄰兩區(qū)域直線交點(diǎn)進(jìn)行反向透視變換，最后把得到的坐標(biāo)進(jìn)行分段連接即可得到最終的車道線。

1.2.2基于視覺的交通標(biāo)志的檢測與識別

關(guān)于道路交通標(biāo)志的檢測，陳芝協(xié)［14］提出了兩種交通標(biāo)志檢測方法。第一種基于顏色和形狀信息，它的優(yōu)點(diǎn)是檢測速度較快，同時不需要任何的模型或樣本。第二種方法是基于顏色信息和Adaboost的交通標(biāo)志檢測技術(shù)，這種方法適合采集樣本充足的情況，因?yàn)樗枰挠?xùn)練樣本較多。這種方法的好處在于它可以擴(kuò)展應(yīng)用于信號燈檢測和行人檢測等用途。胡錦城［15］提出一種基于并行策略及輪廓幾何特征分析的交通標(biāo)志檢測方法。該算法中并行執(zhí)行基于顏色特征的圖像分割和基于形狀特征的交通標(biāo)志區(qū)域檢測，以取并集的形式綜合確定候選目標(biāo)區(qū)域，從而定位交通標(biāo)志，并利用區(qū)域面積、長寬比以及位置等先驗(yàn)信息進(jìn)行驗(yàn)證，實(shí)現(xiàn)對交通標(biāo)志的檢測。

而關(guān)于道路交通標(biāo)志的識別，Smorawa等［16］認(rèn)為，交通標(biāo)志的識別可以通過邊緣檢測、特征提取、標(biāo)志的定位、標(biāo)志的比較和再識別等來實(shí)現(xiàn)。他們使用Canny邊緣檢測算子標(biāo)記該路標(biāo)的位置，同時道路標(biāo)識圖像的有效特征將被提取并保存到數(shù)據(jù)庫。新拍攝的圖像將與數(shù)據(jù)庫進(jìn)行比較以識別路標(biāo)。張愛愛［17］對基于顏色的交通標(biāo)志分割算法進(jìn)行了改進(jìn)，交通標(biāo)志顏色相同但過度鮮艷的噪聲對自適應(yīng)閾值的過度影響得以避免，很大程度上增強(qiáng)了分割算法對干擾噪聲的魯棒性。同時他還提出基于傅里葉描述子的形狀分割算法，在很大程度上減少了噪聲的影響，提高了分割準(zhǔn)確率。在此基礎(chǔ)上，提出了基于學(xué)習(xí)的HSC（Histograms of Sparse Codes）特征的道路交通標(biāo)志識別算法，提高了道路交通標(biāo)志識別的準(zhǔn)確率。在交通標(biāo)志的識別方面，陳芝協(xié)［14］提出了兩類交通標(biāo)志的識別方法，一種是基于Zernike不變矩結(jié)合支持向量機(jī)（SVM）的識別算法，此方法不需要獲得大量的交通標(biāo)志樣本就能有很好的分辨效果，而且識別速度也較快，有很強(qiáng)的實(shí)用性。第二種方法基于稀疏表達(dá)分類算法（SRC）或基于系統(tǒng)編碼分類算法（CRC），通過對實(shí)驗(yàn)結(jié)果分析可知，SRC和CRC兩種方法對遮擋和光照問題有較高的魯棒性。而且隨著特征維數(shù)的增加，基于協(xié)同編碼的算法耗時要遠(yuǎn)小于基于系數(shù)表達(dá)的算法，而且兩者的準(zhǔn)確率相差很小。針對光照變化和道路標(biāo)志可能被部分遮擋的情況，胡錦城［15］提出一種基于多幀視頻圖像的高穩(wěn)定特征的識別方法。利用交通標(biāo)志的多幀視頻圖像的SURF特征建立bag of SURFs特征向量集，與標(biāo)準(zhǔn)交通標(biāo)志圖像的模板特征向量集匹配，并采用權(quán)值計(jì)分策略的最高得分確定交通標(biāo)志的識別結(jié)果。

1.3基于視覺的避撞技術(shù)

碰撞是汽車可能面臨的最常見事故，避免碰撞也成為無人駕駛汽車至關(guān)重要的需求。避撞技術(shù)的研究主要包括運(yùn)動障礙物的檢測，障礙物的運(yùn)動軌跡估計(jì)及預(yù)測，控制汽車實(shí)現(xiàn)對運(yùn)動障礙物的避撞?；谝曈X的避撞技術(shù)通常結(jié)合基于距離的避撞技術(shù)（傳感器如激光雷達(dá)、毫米波雷達(dá)等）一起使用。

Kaempchen等人［18］使用攝像機(jī)和激光掃描儀檢測并跟蹤其他移動物體的位置、速度、方向和尺寸并以此描述每個對象的運(yùn)動以進(jìn)行態(tài)勢評估，前面步驟的數(shù)據(jù)將通過一系列快速和復(fù)雜的算法處理形成碰撞假設(shè)，進(jìn)而做出是否剎車的決定。李宇［19］引入一種稱為V視差的算法。這種算法首先進(jìn)行立體匹配，即從雙目圖像對中尋找同名點(diǎn)，并利用同名點(diǎn)合成濃密視差圖像，提取視差信息做為目標(biāo)識別的依據(jù)，并進(jìn)一步生成V視差圖。提取V視差圖中的直線信息，進(jìn)而鎖定目標(biāo)大致區(qū)域，最后進(jìn)行目標(biāo)識別。這種方法可以識別前方具有面特征的障礙物，如行人、車輛和墻壁等等。該算法對于光照、陰影等干擾不敏感，避免了城市環(huán)境中復(fù)雜背景的干擾。朱志剛［20］等利用重投影變換技術(shù)，使用單攝像機(jī)雙目立體成像、圖像級重投影變換、非零視差濾波和姿態(tài)自適應(yīng)動態(tài)重投影變換，利用重投影變換圖像間的路面視差為零和非路面視差不為零的特性，在不提取特征的情況下，實(shí)現(xiàn)了對路面障礙物的實(shí)時監(jiān)測。

2　結(jié)論

無人駕駛領(lǐng)域是當(dāng)前的研究熱點(diǎn)，本文對無人駕駛中的主要視覺處理研究工作進(jìn)行了介紹，主要是基于視覺的定位、道路和交通標(biāo)志的識別和檢測、以及避撞技術(shù)等?？梢钥吹?，該領(lǐng)域已經(jīng)取得了一定的進(jìn)展，比如能夠?qū)崿F(xiàn)較為準(zhǔn)確的定位、檢測并識別車道線和交通標(biāo)志以及避免可能發(fā)生的碰撞等。不過，無人駕駛系統(tǒng)的適用范圍、準(zhǔn)確性、安全性、實(shí)時性和魯棒性仍有待提高。尤其是比起激光雷達(dá)等基于距離的傳感器來說，基于視覺的傳感器對于距離的檢測往往不夠精確，實(shí)時性也較差，這方面需要進(jìn)行傳感器信息的融合才能較好地解決。

［1］ Stanford University，Stanley［EB/OL］.https：//en.wikipedia.org/ wiki/Stanley_（vehicle），2005.

［2］ Fountain.‘Yes， Driverless Cars Know the Way to San Jose'［J］. The New York Times，2012.

［3］ Malone.‘Hands off the wheel， Tommy -- for you the driving is over'［J］.Sunday Times，2013.

［4］ 張奕然，郭承軍，牛瑞朝.智能車雙目視覺輔助GNSS定位方法研究［J］.計(jì)算機(jī)工程與應(yīng)用，2015.

［5］ J. Ziegler， H. Lategahn， M. Schreiber， C. G. Keller， C. Knoppel， J. Hipp， M. Haueis，C. Stiller.Video based localization for bertha［J］. Intelligent Vehicles Symposium Proceedings， 2014 IEEE. IEEE，2014：1231-1238.

［6］ R. W. Wolcott and R. M. Eustice.Visual localization within LiDAR maps for automated urban driving［A］.2014 IEEE/RSJ International Conference on Intelligent Robots and Systems［C］. 176-183.

［7］ Lategahn H， Geiger A， Kitt B. Visual SLAM for autonomous ground vehicles［A］.2011 IEEE International Conference on Robotics and Automation［C］.1732-1737.

［8］ 劉浩敏，章國鋒，鮑虎軍.基于單目視覺的同時定位與地圖構(gòu)建方法綜述［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào).2016，28（6）：855-868.

［9］ 段華旭.無人車基于雙目視覺室外即時定位與地圖構(gòu)建［D］.大連理工大學(xué).2015.

［10］ 方啟龍.基于無人車輔助導(dǎo)航的交通標(biāo)線識別方法研究［D］.安徽大學(xué)，2012.

［11］ Bernuy， F.， del Solar， J. R.， Parra， I.， Vallejos， P.Adaptive and Real-Time Unpaved Road Segmentation using Color Histograms and RANSAC［A］.2011 9th IEEE International Conference on Control and Automation［C］.136-141.

［12］ 逄偉.低速環(huán)境下的智能車無人駕駛技術(shù)研究［D］.浙江大學(xué)， 2015.

［13］ 劉振超.基于圖像的車道線檢測［D］.中國科學(xué)技術(shù)大學(xué)，2012.

［14］ 陳芝協(xié).城區(qū)道路交通標(biāo)志的檢測與識別［D］.中國科學(xué)技術(shù)大學(xué)，2012.

［15］ 胡錦城.基于穩(wěn)定特征的交通標(biāo)志檢測與識別技術(shù)研究［D］.湖南大學(xué)，2012.

【】【】

［16］ Smorawa， Dorota， and Mariusz Kubanek.Analysis of advanced techniques of image processing based on automatic detection system and road sings recognition［J］.Journal of Applied Mathematics and Computational Mechanics，2014，1：13.

［17］ 張愛愛.道路交通標(biāo)志的檢測研究［D］.北京交通大學(xué)，2015.

［18］ Kaempchen，Schiele， Dietmayer Situation Assessment of an Autonomous Emergency Brake for Arbitrary Vehicle-to-Vehicle Collision Scenarios［J］.Intelligent Transportation Systems， IEEE Transactions，2009，10：678-687.

［19］ 李宇.基于雙目視覺的障礙物識別研究［D］.武漢理工大學(xué)，2007.

［20］ 朱志剛，林學(xué).基于重投影變換的實(shí)時障礙物檢測視覺系統(tǒng)［J］.計(jì)算機(jī)研究與發(fā)展，1999：77-84.

A review of driverless cars based on vision

TP391.4

A

1009-0134（2016）08-0134-03

2016-06-28

唐智威（1992 -），男，北京人，本科，研究方向?yàn)橹悄芸刂啤?/p>