基于激光雷達和攝像機融合的智能車障礙物識別方法

張裊娜, 鮑旋旋, 李昊林

(長春工業大學電氣與電子工程學院，長春 130012)

調查得知，實現智能駕駛技術的關鍵問題之一是解決環境感知問題，傳感器融合信息并進行障礙物的檢測是其重要的組成部分[1]。歷經學者們多年來的研究探討，越來越多的障礙物檢測算法被提出。攝像機所采集圖像雖可以獲取目標類別信息，但不能準確計算目標位置。而激光雷達雖能實現對目標位置的判定，但雷達點云無法獲取障礙物圖像。因此想要獲得全面的環境信息僅靠一種傳感器是無法實現的，傳感器融合恰巧避免了獲取的信息相對不足的缺點。

障礙物識別算法在過去幾年里發展得較為迅速，特別是基于視覺的障礙物識別算法更是取得了實質性的突破，但是傳感器融合技術卻一直是汽車行業在突破的難題。因此國內外很多學者做了很多研究，Lee等使用圖像的投影原理來構建場景的幾何模型獲得特定相機參數下的深度圖像的3D重建[2]。基于從可以觀察目標的多個傳感器中提取的特征的聚類，Li等提出了一種特征級傳感器融合目標檢測程序[3]，但是對CPU要求太高。Morales等提出了一種新的方法，用于實時檢測、運動估計和僅使用三維點云和測距信息作為輸入來跟蹤一般障礙物[4]。Premebida等通過對激光雷達數據進行上采樣的方式將其與圖像數據組合以生成深度圖[5]，利用方向梯度直方圖用于行人檢測，準確性提高、耗時增加。曲兆偉等從雷達采集目標數據中得到行人群信息，形成圖像的深度信息，然后從該信息中提取到HOG特征，使用支持向量機分類獲得行人目標[6]，其不能滿足實時性能。Ren等共享卷積特征將RPN和Fast R-CNN合并到一個網絡，雖檢測準確性提高，但將遺漏檢測[7]。Song等提出了一種基于視覺的相對定位方法[8]，但存在信息冗余。張榮輝等根據路上行人目標的寬度信息從激光雷達數據聚集行人目標，并基于圖像上的投影形成感興趣區域，增強算法用于行人識別[9]，僅可識別行人。Kwon等提出了一種通過激光雷達傳感器融合的遮擋行人檢測的新方法[10]，在檢測部分遮擋的行人時檢測性能更好，但是仍然存在分類效果不好的問題。

傳統車輛環境障礙識別的方法有較多種，其中主要包含仿生模式識別方法、模板匹配方法、統計模式識別方法，支持向量機識別方法和神經網絡識別方法[11]，但是用一種方法是不完備的。由此，提出利用圖像投影原理實現數據融合，來實現提取障礙物候選區域的功能。原卷積神經網絡模型在大樣本數據下訓練對于小樣本數據集泛化嚴重，因此結合SVM在小數據集仍有較好分類性的特點，提出了一種基于CNN和SVM相結合的障礙物識別模型，通過在KITTI數據庫中訓練部分數據來提高目標識別率。

1 傳感器信息融合

在此使用KITTI數據集[12]，其數據采集平臺配備了2個灰度相機、2個彩色相機、1個Velodyne 64線3D激光雷達[13]、4個光學鏡頭和GPS導航系統。其坐標系是右手系統，與車體的局部坐標系相比，X軸表示的是車輛的前進方向，Y軸表示的是水平方向，Z軸表示是向上的。圖1是KITTI數據庫的數據采集平臺，以實現相機和64線3D激光雷達數據的融合，減少信息的冗余和節約成本，保證信息的全面性。首先實現傳感器的空間同步和時間同步[14,15]，當車輛收集數據時，聯合校準傳感器已經完成，并且以下數據全部在相同的時間戳下執行，不做多余的描述(圖1和KITTI數據均來自KITTI官方網站)。

圖1 數據采集平臺Fig.1 Data collection platform

為了實現快速工程化，從3D點云到圖像平面的投影轉換，配準關系為

x=P0TrX

(1)

式(1)中:P0是3×4投影矩陣；Tr是3×4的變換矩陣，其表示雷達點云到圖像坐標系的平移變換。為確保矩陣運算的數據對齊，需要將矩陣Tr添加到歐幾里德變換矩陣中。

圖2 融合后的圖像Fig.2 The merged image

進行投影之后得到的融合圖像如圖2所示，即雷達原始數據圖，這里選取一部分，可以看出每幀圖像中的微弱變化。圖2中，點陣的顏色表示景深，暖色調表示近距，冷色調表示遠距，不僅兼顧了三維雷達點云的空間分布信息和圖像的色彩信息，而且提供了圖像分割、目標識別問題求解的感興趣區域，簡化了問題研究難度。此融合對CPU要求低，便于實施，節約成本。

可以看出，通過雷達探測這一方式所探測到的原始目標信號包含了所能檢測到的全部障礙物目標，其中包括路燈、路邊護欄、路邊樹木及噪聲等信息，所以必須要先對雷達探測返回的目標信號進行簡單的預處理步序，去除掉目標噪聲等對信息采集不利的因素。依據透視成像的原理，當攝像頭與目標之間的距離離得越遠，在圖像中相對應的目標體積越小，而所呈現出來的特征也會相對越不清楚；而且車輛行駛過程中只需通過對主車道和旁側車道內的目標識別即可滿足安全要求。因此，依據文獻[16]中所提供的安全車距模型，可以將目標車輛前方縱向70 m遠，橫向10 m寬的矩形區域定義為識別區域，并采取方法去除掉此范圍以外的信號。對于識別區域內采集到的目標可以再通過對其移動速度與相對位置的關系進行分析比較的方法，以實現去除圖像中所顯示的隔離帶和護欄等靜止目標，最后只保留行人目標和潛在車輛信息的功能，最終生成所需要的障礙物候選區域，處理后得到的圖像如圖3所示。

圖3 處理后的圖像Fig.3 Processed image

2 障礙物識別

2.1 CNN

卷積神經網絡(convolutional neural network，CNN)常用于計算機視覺問題，如圖像分類[17]。CNN與“普通”多層感知器(MLP)網絡的區別在于其使用卷積層、匯集和非線性。卷積層(由CONV表示)由濾波器組成。直觀地說，CONV層用于“滑動”輸入圖像的寬度和高度，并計算輸入區域和重量學習參數的點積。這反過來將產生二維激活圖，其由給定區域處的濾波器的響應組成。因此，匯集層(由POOL表示)根據CONV濾波器的結果減小輸入圖像的大小。結果，模型中的參數數量也減少，稱為下采樣。最后，激活函數用于在計算中引入非線性，若沒有，模型將只學習線性映射。目前常用的激活功能是ReLU功能，它大大加速了隨機梯度下降的收斂。此外，與tanh和sigmoid所需的大量計算相比，ReLU通過簡單地將矩陣值閾值化為零來實現：

f[hθ(x)]=hθ(x)+=max[0,hθ(x)]

(2)

式(2)中：hθ(x)為變量。

2.2 SVM

支持向量機(support vector machines，SVM)實現了結構風險最小化的原則，這已被證明優于傳統的人工神經網絡經驗風險最小化[18]。其目標是找到最佳超平面f(w,x)=wx+b以在給定數據集中分離兩個類，使其具有特征x∈Rm。SVM通過式(3)求解優化問題來學習參數w：

(3)

(4)

2.3 CNN+SVM分類模型設計

CNN首先通過應用一個或多個完全連接的層，在執行實際分類或回歸任務之前，將多個連續內核(其元素在訓練期間學習)卷入輸入數據。這導致需要調整和存儲的參數的大量減少，從而極大地改善了網絡的運行時間和泛化性能。相比之下，SVM可以更快地計算，即使在嵌入式硬件上也可以實時對高清視頻進行物體檢測。然而，SVM表現出一個主要缺點，即它們依賴于強特征提取器，其為SVM提供解決特定分類或回歸問題所需的相關信息。因此，許多研究都集中在為過去的各種計算機視覺任務設計最合適的特征提取器。為了克服兩種機器學習技術的缺點，可以將它們結合起來。基本思想是重用預先訓練的CNN的第一部分來提取用作SVM分類器的輸入的獨特特征。整體結構圖見圖4。

圖4 CNN+SVM整體結構圖Fig.4 CNN+SVM overall structure diagram

首先，需要選擇合理的卷積神經網絡結構來提取圖像特征，然后利用SVM進行多分類。鑒于LeNet應用在圖像方面效果差，而近幾年發展的GoogleNet雖增加了卷積神經網絡的寬度，但存在模型退化嚴重的問題；ResNet解決了退化問題，允許神經網絡更深。但在模型表征方面并不存在直接的優勢，不能更好表征某一方面的特征。由于不需要很深的深度和寬度，而且是針對小容量數據集提出新的方法，所以選擇經典AlexNet結構。然后輸入圖像大小為 227×227×3，其中 3 表示輸入圖像的深度數(R，G，B)為 3，經過幾次卷積池化以后，輸出大小為 6×6×256 的矩陣，即一個9 216 維的向量。防止過度擬合利用隨機丟失層執行參數隨機丟失步驟；然后，SVM算法進行分類，得到最終的輸出結果。

2.4 模型優化處理

首先針對訓練卷積神經網絡通常需要大量的樣本和數據的問題，采用遷移學習策略對AlexNet網絡的特征提取部分進行微調，得到該模型的特征提取器。遷移學習能夠較好地實現把已學訓練好的模型參數遷移到新的模型，從而來幫助新模型訓練的功能，AlexNet網絡的特征提取器適用于模型。

其次，當進行微調時，設置較大的學習速度加快更新速度避免相同的低階特征降低學習速率以使更新速率更慢的問題。

同時為了能充分利用數據信息，對移除以后的網絡進行前向傳播，計算實際誤差，再進行反向傳播，經過一輪后，按照隨機梯度下降的方式更新當前網絡，不斷重復直到效果收斂。

3 實驗和結果分析

3.1 實驗平臺和軟件

首先，KITTI數據集分為兩部分：訓練集和測試集。 每組有1 000張圖像用于現實生活中的障礙訓練和測試。同時，為了驗證模型的分類效果和實時性能，將硬件在環仿真平臺與無人街景軟件SCANeR相結合，對構建的虛擬場景進行障礙識別。 硬件在環仿真實驗平臺IPC如圖5所示，三屏交通視圖場景仿真的主要試驗臺如圖6所示。

圖5 硬件在環仿真實驗平臺IPCFig.5 Hardware-in-the-loop simulation experimental platform IPC

圖6 三屏交通視圖場景試驗臺Fig.6 Three-screen traffic view scene test bench

3.2 實驗結果

特征提取器主要提取并融合輸入圖像，最終獲得圖像高階特征，并將提取的信息特征發送給支持向量機分類器進行識別，最終輸出結果。 如圖7、圖8所示分別是KITTI和模擬環境中障礙物的數據識別結果。

3.3 實驗結果比較分析

為了驗證此方法在小數據集上的性能優于原卷積神經網絡的這一結論，將對其進行比較試驗，結果如圖9、圖10、表1所示，可以明顯觀察到，CNN+SVM分類器分類準確性高，CNN+SVM分類損失值略大，原因是SVM專注于類屬性確定，不影響分類結果。不過其損耗值在區間[80,150]中趨于穩定。所提出的模型穩定精度較原CNN模型高，當迭代次數為60時基本穩定。

圖8 模擬環境識別結果Fig.8 Simulation environment recognition result

圖9 訓練損失值的比較Fig.9 Comparison of training loss values

圖10 測試精度比較Fig.10 Comparison of test accuracy

表1 CNN+SVM和CNN結果的統計Table 1 Statistics of CNN+SVM and CNN results

4 結論

利用KITTI數據集來組合Velodyne 64線3D激光雷達和攝像機2數據，以提取障礙物候選區域。提出了一種基于CNN和SVM的識別模型。通過理論分析和實驗比較，得出以下結論。

(1)利用KITTI中同步攝像頭和激光雷達數據，進行聯合標定，使得雷達點云數據投影到RGB圖像上，實現數據融合，可以觀測到三維雷達點云的空間分布信息和圖像的色彩信息，得到簡單的障礙物距離等信息，根據雷達點云的分布情況可生成障礙物候選區域。

(2)在小樣本數據集條件下，CNN+SVM分類器有更好的分類結果，有較強的魯棒性。此模型在實際測試中有較好的表現且具有可靠的識別能力和良好分類結果。