基于單目視覺(jué)的智能車障礙物檢測(cè)及測(cè)距算法研究

張 煜，趙奉奎，張 涌

（南京林業(yè)大學(xué) 汽車與交通工程學(xué)院，南京 210037）

0 引 言

現(xiàn)如今，自動(dòng)駕駛作為計(jì)算機(jī)科學(xué)、模式識(shí)別和控制技術(shù)高度結(jié)合的產(chǎn)物，從根本上改變了傳統(tǒng)的駕駛方式。自動(dòng)駕駛主要涉及環(huán)境感知、決策規(guī)劃以及車輛控制三大模塊。目標(biāo)檢測(cè)作為環(huán)境感知中的重要內(nèi)容，主要任務(wù)是通過(guò)多種傳感器進(jìn)行道路信息的提取以及識(shí)別。如何快速并準(zhǔn)確地檢測(cè)出復(fù)雜環(huán)境中的駕駛風(fēng)險(xiǎn)是實(shí)現(xiàn)安全駕駛的基礎(chǔ)，也是自動(dòng)駕駛技術(shù)亟需解決的關(guān)鍵問(wèn)題之一。

得益于深度學(xué)習(xí)的廣泛應(yīng)用，目標(biāo)檢測(cè)算法得到了快速的發(fā)展?；谏疃葘W(xué)習(xí)的目標(biāo)檢測(cè)任務(wù)可分為目標(biāo)分類和目標(biāo)定位。其中，目標(biāo)分類任務(wù)負(fù)責(zé)判別輸入圖像區(qū)域內(nèi)所出現(xiàn)物體的類別和相應(yīng)的置信度得分。目標(biāo)定位任務(wù)負(fù)責(zé)確定輸入圖像區(qū)域中感興趣類別物體的位置和區(qū)域。Zhu等人提出了一種多傳感器多層次增強(qiáng)的網(wǎng)絡(luò)體系結(jié)構(gòu)，使檢測(cè)網(wǎng)絡(luò)具備了更強(qiáng)的去冗余能力和在復(fù)雜場(chǎng)景下的泛化能力。Yu等人利用focal loss對(duì)檢測(cè)模型的損失函數(shù)進(jìn)行了優(yōu)化，采用剪枝算法簡(jiǎn)化了網(wǎng)絡(luò)，并用多尺度數(shù)據(jù)集增強(qiáng)了檢測(cè)網(wǎng)絡(luò)的可預(yù)測(cè)范圍和魯棒性；袁志宏等人在YOLOv3基礎(chǔ)上提出了一種YOLOv3-BT目標(biāo)檢測(cè)算法，可兼顧識(shí)別檢測(cè)的實(shí)時(shí)性和準(zhǔn)確度。閆賀等人提出了一種基于Faster R-CNN算法的SAR運(yùn)動(dòng)目標(biāo)檢測(cè)方法，通過(guò)Kmeans聚類方法修改錨框的長(zhǎng)寬比，并采用FPN網(wǎng)絡(luò)架構(gòu)檢測(cè)特征，該方法具有實(shí)現(xiàn)簡(jiǎn)單、檢測(cè)效率高等優(yōu)勢(shì)。Zhao等人在MobileNetv2-SSDLite基礎(chǔ)上設(shè)計(jì)了一種新型輕量級(jí)目標(biāo)檢測(cè)網(wǎng)絡(luò)—LMSDN，該模型具有更高的識(shí)別精度和更強(qiáng)的抗干擾能力。Xu等人提出了一種將視覺(jué)顯著性和級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)結(jié)合的物體檢測(cè)方法，有效提高了物體檢測(cè)精度，保證了合成孔徑雷達(dá)圖像的檢測(cè)精度。

障礙物測(cè)距作為智能車和高級(jí)駕駛輔助系統(tǒng)感知交通信息的關(guān)鍵內(nèi)容，是降低交通事故概率，提高交通安全的重要技術(shù)手段。其主要任務(wù)就是，對(duì)周圍環(huán)境進(jìn)行感知處理，測(cè)量車輛的橫向距離和縱向距離來(lái)實(shí)現(xiàn)精準(zhǔn)定位，同時(shí)也可以對(duì)影響行駛安全的潛在危險(xiǎn)進(jìn)行有效的檢測(cè)和預(yù)警。單目視覺(jué)測(cè)距方法簡(jiǎn)單，計(jì)算量小，實(shí)用性能高，是目前車輛測(cè)距的重要途徑。Liang等人提出了一種非固定相機(jī)的現(xiàn)場(chǎng)圖像提取方法，與傳統(tǒng)方法相比，在現(xiàn)場(chǎng)實(shí)驗(yàn)時(shí)更加靈活、方便。Song等人基于3個(gè)道路消失點(diǎn)以及虛擬識(shí)別點(diǎn)的約束，提出了一種準(zhǔn)確性更高的相機(jī)標(biāo)定方法。劉軍等人通過(guò)一種變參數(shù)逆透視變化和道路消失點(diǎn)檢測(cè)的方法來(lái)實(shí)時(shí)測(cè)量車輛相對(duì)運(yùn)動(dòng)時(shí)橫向距離和側(cè)向距離，從而建立車輛測(cè)距模型。黃同愿等人提出了一種冗余切圖的方法，結(jié)合改進(jìn)的邊界框篩選算法實(shí)現(xiàn)對(duì)小目標(biāo)行人的檢測(cè)，同時(shí)提出了一種包含俯仰角和偏航角的改進(jìn)相似三角形測(cè)距算法。吳駿等人采用多尺度分塊二值模式和Adaboost算法建立基于位置信息模型的車距測(cè)量方法。高敏等人基于特征變換算法來(lái)估計(jì)車輛的姿態(tài)角，利用目標(biāo)姿態(tài)偏差模板和目標(biāo)圖像模擬立體視覺(jué)。

本文在智能車前方障礙物檢測(cè)的基礎(chǔ)上，引入了基于單目視覺(jué)的目標(biāo)測(cè)距算法。本文首先利用目標(biāo)檢測(cè)算法獲取目標(biāo)的邊界信息，隨后基于相機(jī)的小孔成像模型，運(yùn)用像素坐標(biāo)系和世界坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，得到相機(jī)與障礙物之間的距離，并在APOLLO D-KIT上進(jìn)行了測(cè)距試驗(yàn)，進(jìn)而給出了相關(guān)結(jié)果及分析。

1 相機(jī)參數(shù)標(biāo)定

相機(jī)的成像過(guò)程可以用小孔成像來(lái)描述，如圖1所示。圖1中，為相機(jī)光心，為相機(jī)坐標(biāo)系，為相機(jī)成像平面。是空間中的一點(diǎn)，是在相機(jī)成像平面上的投影點(diǎn)。假設(shè)相機(jī)焦距為，則滿足相似三角形關(guān)系，關(guān)系如式（1）所示：

圖1 相機(jī)成像模型Fig.1 Imaging model of the camera

整理得式（2）：

其中，，就是的坐標(biāo)。為了最終獲得成像的像素信息，需要將坐標(biāo)轉(zhuǎn)換為像素坐標(biāo)。在像素坐標(biāo)系o-u-v中，原點(diǎn)o位于圖像左上角，軸向右，軸向下。坐標(biāo)轉(zhuǎn)換中存在一個(gè)尺度縮放及原點(diǎn)平移，假設(shè)，軸的縮放系數(shù)分別為，，原點(diǎn)的平移為［c，c］，則的坐標(biāo)與像素坐標(biāo)之間的關(guān)系如式（3）所示：

其中，，即為相機(jī)的焦距f，f，且f，f和c，c單位均為像素。將式（3）整理為矩陣形式，參見(jiàn)式（4）：

則中間矩陣即為相機(jī)的內(nèi)參矩陣。

由于相機(jī)透鏡的存在，會(huì)引起圖像的徑向畸變。在產(chǎn)生徑向畸變的圖片中，直線往往會(huì)變成曲線，且越靠近圖像邊緣的地方畸變?cè)矫黠@。對(duì)于圖1中的點(diǎn)，其極坐標(biāo)形式為［，］，其中表示與坐標(biāo)系原點(diǎn)的距離，表示與水平軸的夾角。徑向畸變可以看作坐標(biāo)點(diǎn)沿長(zhǎng)度方向發(fā)生了變化，也就是發(fā)生了改變，假設(shè)畸變呈多項(xiàng)式關(guān)系，（x，y）就是畸變后的點(diǎn)坐標(biāo)。即：

其中，、表示相機(jī)的外參數(shù)。

本文利用Matlab對(duì)相機(jī)的內(nèi)外參數(shù)進(jìn)行標(biāo)定。首先，需要將一張8×6、方格單位為28 mm的棋盤格固定在一塊垂直平面上，如圖2所示。隨后將相機(jī)以不同姿態(tài)、角度對(duì)棋盤格進(jìn)行拍攝，選取清晰、多樣的拍攝結(jié)果，最后對(duì)拍攝結(jié)果進(jìn)行標(biāo)定。

圖2 棋盤格標(biāo)定圖Fig.2 Camera calibrating by using checkerboard

攝像頭的內(nèi)參矩陣為：

徑向畸變參數(shù)為：

相機(jī)的主要參數(shù)見(jiàn)表1。

表1 相機(jī)的內(nèi)參與外參Tab.1 Intrinsic and extrinsic parameters of the camera

2 障礙物檢測(cè)

考慮到障礙物檢測(cè)所需要的速度與精度，本文選擇YOLOv3算法進(jìn)行目標(biāo)檢測(cè)。

YOLO（You Only Look Once）是基于回歸的目標(biāo)檢測(cè)模型中的一種，其主要優(yōu)勢(shì)為檢測(cè)速度快，適合實(shí)時(shí)性檢測(cè)系統(tǒng)。與傳統(tǒng)的R-CNN、Faster R-CNN等不同，YOLO模型分為網(wǎng)絡(luò)特征提取和特征圖檢測(cè)兩個(gè)部分，可以直接從圖像中預(yù)測(cè)目標(biāo)的分類及邊界框坐標(biāo)，但是相比之下精度并不高。在此基礎(chǔ)上，YOLOv3在基礎(chǔ)網(wǎng)絡(luò)模型部分采用了DarkNet-53（如圖3所示），加強(qiáng)了特征提取能力，同時(shí)加入了殘差網(wǎng)絡(luò)模塊，從而更好地學(xué)習(xí)圖像特征。

圖3 ResNet-53結(jié)構(gòu)圖Fig.3 Structure of ResNet-53

YOLOv3參考FPN（feature pyramid networks）的思想，利用類似金字塔的特征提取網(wǎng)絡(luò)，引入了多尺度預(yù)測(cè)。圖片在進(jìn)入YOLOv3后會(huì)被調(diào)整為統(tǒng)一的尺寸，隨后被劃分為13×13、26×26、52×52三種規(guī)模。每種規(guī)模需要預(yù)測(cè)3個(gè)目標(biāo)邊框（bounding box），每個(gè)目標(biāo)邊框都會(huì)預(yù)測(cè)中心點(diǎn)坐標(biāo)（，）、邊框的寬高（，）以及置信度5個(gè)值。因此，一個(gè)規(guī)模的網(wǎng)格，目標(biāo)分類數(shù)為，最終得到的張量為［3（41）］。這里，研究推得的置信度公式為：

損失函數(shù)是用來(lái)衡量真實(shí)值與預(yù)測(cè)值之間誤差的標(biāo)準(zhǔn)，損失函數(shù)的建立往往決定著網(wǎng)絡(luò)模型的速度與檢測(cè)效果。對(duì)于本文研究的單目目標(biāo)檢測(cè)問(wèn)題，在損失函數(shù)中通常需要考慮3方面的損失、包括坐標(biāo)損失、置信度損失以及類別損失，本文使用的YOLOv3的損失函數(shù)如下：

展開(kāi)式如下：

本文的目標(biāo)檢測(cè)主要是面對(duì)封閉園區(qū)及室內(nèi)的車輛及行人，因此融合多尺度特征的YOLOv3能夠?qū)Νh(huán)境目標(biāo)進(jìn)行精確的檢測(cè)分類，并輸出相應(yīng)的邊界框尺寸，符合本文需求。

3 目標(biāo)測(cè)距

前文實(shí)現(xiàn)了對(duì)目標(biāo)障礙物的檢測(cè)，本節(jié)將在檢測(cè)環(huán)節(jié)輸出邊界框的基礎(chǔ)上，建立相機(jī)測(cè)距模型，并對(duì)障礙物與相機(jī)之間的縱向距離及橫向距離進(jìn)行估算。

單目相機(jī)的目標(biāo)測(cè)距通常是利用相機(jī)平面成像與實(shí)際物體之間的相似關(guān)系來(lái)確定相機(jī)光心到物體的實(shí)際距離。Stein等人提出了經(jīng)典的相似三角形測(cè)距算法的基礎(chǔ)模型，討論了像素誤差對(duì)該模型的影響情況。但是該模型并沒(méi)有考慮相機(jī)俯仰角對(duì)測(cè)距誤差的影響，因此Liu等人在此相似三角形測(cè)距模型基礎(chǔ)上加入相機(jī)姿態(tài)角俯仰角（）對(duì)測(cè)距的影響。

目標(biāo)檢測(cè)預(yù)測(cè)框的準(zhǔn)確度對(duì)于目標(biāo)測(cè)距的精度至關(guān)重要。準(zhǔn)確的預(yù)測(cè)框意味著更精確的圖像參考點(diǎn)，因此參考點(diǎn)的選取是測(cè)距工作的前提。

3.1 參考點(diǎn)選取

YOLOv3輸出了障礙物在圖像上的邊界框信息，包括邊框的、、、。要進(jìn)行障礙物測(cè)距，首先需要選定參考點(diǎn)才能進(jìn)行距離的估算。本文選取邊界框底部的中心點(diǎn)作為參考點(diǎn)，參考點(diǎn)坐標(biāo)計(jì)算如式（11）所示：

其中，y作為測(cè)距算法中縱向距離的輸入，輸出相機(jī)光心到底部邊界框中點(diǎn)的實(shí)際縱向距離。

3.2 單目測(cè)距模型

本文采用基于投影模型的測(cè)距算法，在此基礎(chǔ)上加入了相機(jī)的俯仰角，對(duì)障礙物與相機(jī)之間的實(shí)際距離進(jìn)行測(cè)算。由于相機(jī)在安裝過(guò)程及車輛行駛過(guò)程中的姿態(tài)會(huì)發(fā)生改變，因此，考慮能減小相機(jī)姿態(tài)帶來(lái)的測(cè)距誤差，降低對(duì)相機(jī)的安裝要求。本文的測(cè)距模型結(jié)構(gòu)如圖4所示。

圖4 測(cè)距模型Fig.4 Ranging model

圖4中，是相機(jī)的焦距（像素），是相機(jī)光心距離地面的實(shí)際高度（m），為鏡頭中心點(diǎn)，y為汽車底部與地面的交線縱坐標(biāo)（像素），y為車道消失線縱坐標(biāo)，為相機(jī)的俯仰角（°），為所求實(shí)際距離（m）。

在測(cè)距模型中，已知相機(jī)高度，參考點(diǎn)坐標(biāo)（x，y），相機(jī)中心坐標(biāo)（u，v），相機(jī)焦距，相機(jī)俯仰角，由上文的成像模型及相似三角形原理有：

化簡(jiǎn)后可得式（13）：

且當(dāng)較小時(shí)，·tan及cos可看作為0，因此可化簡(jiǎn)得到檢測(cè)目標(biāo)到相機(jī)光心的垂直距離的計(jì)算具體如式（14）所示：

4 算法實(shí)車驗(yàn)證

本文以百度阿波羅D-KIT Lite為數(shù)據(jù)采集平臺(tái)進(jìn)行實(shí)車試驗(yàn)，試驗(yàn)所用的工控機(jī)參數(shù)為處理器i9-9900K，內(nèi)存32G，顯卡NVIDIA GeForce GTX2060Ti。使用的攝像頭型號(hào)為L(zhǎng)I-USB30-AR023ZWDR，圖像像素為1 920×1 080，焦距6 mm，像素大小為30 um，攝像機(jī)安裝在車身前側(cè)中部，固定安裝高度為0.93 m，水平視角90.2°。車輛圖片及相機(jī)安裝位置如圖5所示。

圖5 百度APOLLO D-KIT LiteFig.5 APOLLO D-KIT Lite

4.1 室內(nèi)驗(yàn)證

為了驗(yàn)證該算法的準(zhǔn)確度，就先在室內(nèi)對(duì)目標(biāo)檢測(cè)及測(cè)距模型進(jìn)行了測(cè)試。在一條平整的長(zhǎng)廊上以5 m為單位，分別在5 m、10 m、15 m、20 m、25 m、30 m、35 m處拍攝行人的圖像。圖像采集完成后，對(duì)攝像頭內(nèi)外參數(shù)進(jìn)行標(biāo)定，得到其固定俯仰角。隨后對(duì)行人目標(biāo)進(jìn)行識(shí)別測(cè)距。行人檢測(cè)及測(cè)距的最終輸出如圖6所示。測(cè)算距離已在圖6中標(biāo)出。

圖6 室內(nèi)驗(yàn)證圖Fig.6 Laboratory verification diagram

室內(nèi)測(cè)距結(jié)果見(jiàn)表2。

表2 室內(nèi)測(cè)距結(jié)果Tab.2 Laboratory experimental results

室內(nèi)測(cè)距結(jié)果的絕對(duì)誤差如圖7所示。

圖7 室內(nèi)實(shí)驗(yàn)結(jié)果的絕對(duì)誤差Fig.7 AE of laboratory experimental results

由表2和圖7可知，絕對(duì)平均誤差為0.71 m，平均相對(duì)誤差為2.71%。其中最小絕對(duì)誤差為0.12 m，而最小相對(duì)誤差為2.21%。且隨著距離的增加，測(cè)量結(jié)果的誤差會(huì)增大，這是由于測(cè)量精度與車道消失點(diǎn)的位置密切相關(guān)。目標(biāo)物距離越遠(yuǎn)，即越靠近車道消失線，則單個(gè)像素所衡量的實(shí)際距離就越大，因此誤差會(huì)隨著距離的增大而增大。

4.2 室外驗(yàn)證

由于在室外實(shí)驗(yàn)，動(dòng)態(tài)目標(biāo)的距離真實(shí)值無(wú)法準(zhǔn)確測(cè)量，因此本文對(duì)室外靜態(tài)目標(biāo)進(jìn)行測(cè)距，以驗(yàn)證本文算法的準(zhǔn)確性。為評(píng)估測(cè)距算法的準(zhǔn)確性，同樣在道路上以10 m為單位，在15 m、25 m、35 m、45 m、55 m、65 m處設(shè)置固定車輛目標(biāo)，并且隨機(jī)設(shè)置行人目標(biāo)，隨后用試驗(yàn)車進(jìn)行圖像采集，并進(jìn)行檢測(cè)及測(cè)距。車輛檢測(cè)結(jié)果見(jiàn)表3。行人檢測(cè)結(jié)果見(jiàn)表4。

表3 室外車輛測(cè)距結(jié)果Tab.3 Outdoor experimental results of vehicles

表4 室外行人測(cè)距結(jié)果Tab.4 Outdoor experimental results of pedestrians

由表3、表4可知，車輛測(cè)距的平均相對(duì)誤差為3.4%。行人測(cè)距的平均相對(duì)誤差為4.21%。車輛測(cè)距的平均相對(duì)誤差要小于行人測(cè)距的相對(duì)誤差，說(shuō)明該測(cè)距模型在室外應(yīng)用時(shí)，能夠更好地反映車輛目標(biāo)的距離。這是由于在戶外，行人的姿態(tài)不夠統(tǒng)一，導(dǎo)致目標(biāo)檢測(cè)邊框的準(zhǔn)確度并不高，因此測(cè)距算法的精度受到了影響。

部分檢測(cè)及測(cè)距結(jié)果如圖8所示，圖像中的行人及車輛目標(biāo)均能被正確檢測(cè)且標(biāo)識(shí)出距離，且該檢測(cè)網(wǎng)絡(luò)只識(shí)別車輛及行人目標(biāo)，因此其他目標(biāo)物將不會(huì)被檢測(cè)，提高了算法運(yùn)行的效率及精度。

圖8 室外驗(yàn)證圖Fig.8 Outdoor verification diagram

實(shí)驗(yàn)結(jié)果顯示，室內(nèi)測(cè)距結(jié)果的平均相對(duì)誤差為2.71%，室外測(cè)距的平均相對(duì)誤差為3.81%。室內(nèi)測(cè)距結(jié)果更為準(zhǔn)確的原因是室內(nèi)地面更為平整，而室外的地面存在起伏，導(dǎo)致了測(cè)量的誤差變大。

4.3 實(shí)驗(yàn)對(duì)比

為了驗(yàn)證本文測(cè)距模型的檢測(cè)精度，選取文獻(xiàn)［15］中提出的測(cè)距模型進(jìn)行對(duì)比。文獻(xiàn)［15］首先利用背景差分法輸出障礙物目標(biāo)，隨后利用成像模型測(cè)得障礙物距離。實(shí)驗(yàn)在室外環(huán)境下對(duì)特定距離的車輛目標(biāo)進(jìn)行，實(shí)驗(yàn)結(jié)果如圖9所示。

圖9 本文方法與背景差分法［15］對(duì)比Fig.9 Method in this paper compared with the traditional method［15］

實(shí)驗(yàn)結(jié)果表明，與文獻(xiàn)［15］的測(cè)距模型相比，本文使用的障礙物測(cè)距模型在室外環(huán)境下的測(cè)距精度更高。主要原因在于基于深度學(xué)習(xí)的目標(biāo)檢測(cè)網(wǎng)絡(luò)輸出的檢測(cè)框更加準(zhǔn)確，而基于背景差分法的目標(biāo)檢測(cè)模型輸出結(jié)果相對(duì)較差，因此本文目標(biāo)檢測(cè)模型在輸入測(cè)距模型時(shí)的精度更高，最終的測(cè)距結(jié)果更加精確。

5 結(jié)束語(yǔ)

本文基于單目視覺(jué)，采用面向車輛及行人的YOLOv3目標(biāo)檢測(cè)模型，經(jīng)由室內(nèi)外的實(shí)驗(yàn)結(jié)果證明，該模型能夠輸出較為準(zhǔn)確的預(yù)測(cè)邊框。本文的測(cè)距模型能夠在目標(biāo)檢測(cè)準(zhǔn)確的前提下，提供平均相對(duì)誤差在2.71%的室內(nèi)測(cè)距精度和3.81%的室外測(cè)距精度，能夠較為精確地反映相機(jī)與目標(biāo)障礙物之間的實(shí)際距離。且相比于基于背景差分法的傳統(tǒng)測(cè)距模型，測(cè)距精度更高。