基于立體視覺與紋理特征相結合的障礙物探測

趙申

摘 要：針對智能汽車行駛過程中障礙物檢測問題，提出一種使用雙目立體視覺的距離信息與障礙物紋理信息相結合的障礙物檢測方法。首先，將雙目相機的左圖和右圖校正后進行匹配得到視差圖，根據相機內部參數和外部參數將視差圖投影為具有距離信息的鳥瞰圖，去除地面及高空背景目標，在鳥瞰圖上將相近的點云聚類為一個目標，得到障礙物的粗略位置信息；然后，將得到的位置信息映射到原圖，并形成多個候選區域，在候選區域查找障礙物邊緣信息，得到障礙物具體位置。該算法結合了物體距離的三維信息和物體形狀的二維信息，使障礙物的分割結果更加精準。針對典型交通場景進行了實驗，結果表明，該算法能夠有效彌補單獨使用距離信息或者紋理信息帶來的障礙物分割不準確的問題。

關鍵詞：圖像處理；目標檢測；立體視覺；邊緣檢測

DOI：10.11907/rjdk.172827

中圖分類號：TP319

文獻標識碼：A 文章編號：1672-7800（2018）005-0117-04

Abstract：To aim at detecting obstacles in the process of intelligent vehicle driving， a method based on the distance information and the obstacle texture information is proposed. First， the left camera and right camera are corrected to obtain a parallaximage， and the parallaximage is projected into a birds-eye view with distance information according to the cameras internal and external parameters. In the birds eye view， the target information is mapped to the original image so that a plurality of candidate regions are formed， and the edge information of the obstacle is searched in the candidate region to obtain the specific position of the obstacle. The algorithm proposed in this paper combines the three-dimensional information of the object distance and the two-dimensional information of the object shape， therefore the segmentation result of the obstacle is more accurate. The experiment is carried out for the typical traffic scene. The result shows that the algorithm can effectively improve the segmentation inaccuracy caused by the application of distance information or texture information.

Key Words：image processing； obstacles detection； stereo vision； edgedetection

0 引言

障礙物探測是無人駕駛和機器人研究領域的一個熱門問題[1，2]，也是實現自主避障和導航的前提。智能汽車常常使用多種傳感器進行障礙物探測，常見的傳感器有激光雷達[3]、毫米波雷達[4]、相機[5]、超聲波雷達等等[6，7]。激光雷達采用發射激光的方法，通過測量激光發射和反射之間的時間差[8]，直接測量障礙物的距離，具有測量準確的優點，但是價格較為昂貴，容易受到天氣影響[9]；毫米波雷達采用毫米波發射的方法探測障礙物，受天氣影響較小，但是分辨率較低，不能夠得到障礙物的輪廓信息[8，10]；超聲波雷達價格便宜，但測量距離短，一般用來探測低速、近距障礙物；相機在視覺上能夠獲取顏色、輪廓等較為豐富的信息[11]，但是對算法的要求最高[12]?，F階段基于視覺的障礙物探測工具主要分為單目相機和雙目相機[13]。單目相機主要依靠物體的形狀紋理特征和運動特性進行檢測[11]，但受環境干擾較大；基于雙目相機的障礙物探測，主要利用物體的距離信息[14]，在距離上進行分割，將分割后的結果逆變換到原圖中，得到障礙物的位置信息[15，16]。本文采用雙目相機，在深度圖上進行分割，在分割后得到的區域中求取障礙物的邊緣，進一步獲得障礙物較為精準紋理信息。參考障礙物的紋理信息，可以有效地排除誤檢，也可以為障礙物分割提供有效的決策信息。

1 立體視覺

雙目立體視覺基于視差原理，利用攝像機從不同的位置獲取被測物體的兩幅圖像[1]，通過立體匹配得到兩個圖像對應點間的位置偏差形成視差圖；根據相機標定得到的內部參數和外部參數，可以獲取物體三維幾何信息。雙目立體視覺測量方法具有效率高、精度合適、系統結構簡單、成本低等優點[2]，非常適用于實時物體探測[17]。

2 邊緣檢測

障礙物通常存在著豐富的紋理信息。通過深度圖分割出障礙物的粗略位置后，可以在候選區域中進行邊緣檢測，得到障礙物精準的位置信息和外觀特征，有助于對障礙物的精確定位和類別判斷。在小的候選區域內進行邊緣檢測也有助于抑制復雜背景帶來的干擾，同時得到障礙物的紋理信息，可以為障礙物類型的判斷提供更多輔助信息。

邊緣檢測常見的方法有神經網絡法、微分算子法、小波檢測法等方法。微分算子以其簡單、易實現的優勢應用在多種場景中，常見的有Canny，Roberts，Sobel，Log等檢測算子，本文主要介紹Canny邊緣檢測算法。Canny邊緣檢測算法從1986年提出至今被認為是最優的一種邊緣檢測方法，具有錯誤率低，定位優良，不重復等特點。本文對障礙物的邊緣檢測主要流程有四步。

第四步采用滯后閾值策略。即采用雙邊閾值的方法，設置一個較大閾值和一個較小閾值，像素位置的幅值高于較大的閾值時就可以確定它是邊緣像素，低于較小的閾值時就舍掉該像素，在兩個閾值之間丟失部分信息。

3 實驗與分析

本文雙目視覺系統采用加拿大PointGrey公司的Bumblebee系統立體相機，采用Bumblebee BB3型號相機，使用最左最右兩個相機采集圖像。相機的基線長度為24cm，相機的焦距固定為3.8mm，視場角66°，數據傳輸方式為1394B接口。相機獲取數據時，所提供的SDK對圖像進行了畸變校正，獲取圖像的分辨率為640*480，校正后的圖像可直接進行立體匹配。

場景一的圖像如圖3所示，是在雙向車道近處包含兩個障礙物（兩個騎行的人）獲取的圖像。

采用塊匹配方法將左右圖進行立體匹配，得到視差圖如圖4所示。

由圖4立體匹配到的視差圖可以看出，在稠密視差匹配過程中存在著某些點無法得到匹配點的情況，在障礙物附近會出現大量匹配不上的空洞點。原因是兩個相機的視角不同，導致在障礙物附近觀察到的場景不同，對物體分割產生了一定影響。深度圖分割出的候選區域如圖5所示，將該區域進行邊緣檢測得到圖6所示結果。

場景二的圖像如圖7所示，為在雙向車道上，同向車道包含一個障礙物（一個騎行的人）獲取的圖像如圖7所示。

采用塊匹配方法將左圖右圖進行立體匹配得到視差圖，如圖8所示。

對場景二中的障礙物目標進行分割，并對深度圖分割出的區域進行邊緣檢測得到結果分別如圖9、圖10所示。

本文同時對另外30種場景進行了檢測。實驗表明，能較好地檢測出目標，在障礙物目標輪廓獲取時，雖然有時因為人群并排、車輛相互交錯、障礙物遮擋等存在分割不理想的情況，但分割的精準度較單一使用深度信息或者紋理信息都有較大的提升。但考慮到無人駕駛車輛比較關心的是距離較近的障礙物信息，僅需識別最鄰近目標的詳細信息，即能為無人駕駛控制提供有力的決策支撐。遮擋現象會一定程度影響被遮擋目標識別，基本不影響距離較近的障礙物。因此，本方法是一種有效且能夠較精準獲得障礙物詳細信息的檢測方法。

4 結論

為了通過圖像檢測無人駕駛車輛前方的障礙物信息，本文提出融合立體視覺和障礙物紋理的檢測算法。將左右相機獲取的圖像進行立體匹配得到視差圖，根據相機內外參數，將視差圖變換為鳥瞰圖，在鳥瞰圖上對障礙物進行聚類分割，得到大致位置信息，以該位置信息作為候選窗口，分析原圖中該窗口內的紋理信息，精細描述障礙物輪廓，實現車輛前方障礙物更加精準的檢測，為后續的辨識提供多種決策信息。立體視覺和障礙物紋理的融合充分利用了立體視覺圖像的深度信息和原圖像中障礙物的紋理特征，為基于圖像的車輛前方障礙物探測提供了一種新方法。但是，當背景復雜時，會對障礙物的邊緣檢測造成很大干擾，無法得到較為精準、連續目標邊緣，如果采用改進的邊緣檢測方法（如主動輪廓模型）能更加精準地獲取障礙物的連續輪廓信息，從而獲取目標長寬比、矩形度、圓形度等外觀特征。

參考文獻：

[1] HAK S， MANSARD N， STASSE O， et al. Reverse control for humanoid robot task recognition[J]. IEEE Transactions on Systems Man & Cybernetics Part B Cybernetics A Publication of the IEEE Systems Man & Cybernetics Society，2012，42（6）：1524.

[2] TIAN J D， SUN J， TANG Y D. Short-baseline binocular vision system for a humanoid ping-pong robot[J]. Journal of Intelligent & Robotic Systems，2011，64（3-4）：543-560.

[3] ULSOY A G， PENG H， MELIH C[M].London： Cambridge University Press，2012.

[4] 朱學葵，高美娟，高廣慶，等.基于無人駕駛汽車的障礙物檢測方法綜述[C].昆明：中國計算機用戶協會網絡應用分會網絡新技術與應用年會，2014.

[5] GANDHI T L， DEVADIGA S， KASTURI R， et al. Detection of obstacles on runway using ego-motion compensation and tracking of significant features[C].Colorado： IEEE Workshop on Applications of Computer Vision （WACV），2014：168-173.

[6] 賈慧星，章毓晉.車輛輔助駕駛系統中基于計算機視覺的行人檢測研究綜述[J].自動化學報，2007，33（1）：84-90.

[7] 王世峰，戴祥，徐寧，等.無人駕駛汽車環境感知技術綜述[J].長春理工大學學報：自然科學版，2017，40（1）：1-6.

[8] 黃如林，梁華為，陳佳佳，等.基于激光雷達的無人駕駛汽車動態障礙物檢測、跟蹤與識別方法[J].機器人，2016，38（4）：437-443.

[9] 趙一兵，王榮本，李琳輝，等.基于激光雷達的無人駕駛車前方障礙物檢測[J].交通信息與安全，2007，25（2）：9-13.

[10] GERNIMO D， LPEZ A M， SAPPA A D， etc. Survey of pedestrian detection for advanced driver assistance systems[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2010，32（7）：1239.

[11] YAMANOUE H. The differences between toed-in camera configurations and parallel camera configurations in shooting stereoscopic images[C].IEEE International Conference on Multimedia & Expo，2006：1701-1704.

[12] 張雙喜.基于雷達與相機的無人駕駛智能車障礙物檢測技術研究[D].長安大學，2013.

[13] HILARIO C， COLLADO J M， ARMINGOL J M， et al. Pedestrian detection for intelligent vehicles based on active contour models and stereo vision[C].International Conference on Computer Aided Systems Theory，2005：537-542.

[14] GAVRILA D M. Pedestrian detection from a moving vehicle[M].Springer Berlin Heidelberg， 2000：37-49.

[15] 劉昱崗，王卓君，王福景，等.基于雙目立體視覺的倒車環境障礙物測量方法[J].交通運輸系統工程與信息，2016，16（4）：79-87.

[16] 董琴琴.基于雙目立體視覺的障礙物檢測算法的研究與實現[D].沈陽：東北大學，2009.

[17] 趙一兵，鄧云翔，郭烈，等.無人駕駛車野外環境水體障礙物檢測[J].中國科技論文，2013，8（11）：1192-1196.

（責任編輯：江 艷）