基于信息融合的無人駕駛圖像數據處理方法

◆戴耀威 高正創 唐樹銀 李宏宇 葉繼銘

（中國礦業大學徐海學院 江蘇 221000）

0 引言

根據阿里巴巴達摩院公布的2019年十大科技趨勢，無人駕駛技術進入冷靜的發展期，無人駕駛技術的環境復雜性使得無人駕駛的研究方向不再僅僅局限于真正行駛在路上的汽車，而是面向于自動公交，無人車物流配送，園區循環利用等相對固定的應用模式。無人駕駛目前更加專用化、小型化、嵌入式化。

激光雷達有精確度高，探測范圍廣，受環境干擾小的優點，圖像識別結合深度學習，可以自主學習，具有優化能力。因此以激光雷達、基于深度學習技術的圖像識別為基礎的無人車傳感系統將是一個理想的方案。

本研究采用 MobileNet的輕量化網絡結合 Movidius加速器對圖像數據信息進行處理，再采用MK60主控板對激光雷達數據進行采樣，將圖像數據信息與激光雷達信息進行疊加生成深度圖，最終完成對障礙物的識別。

1 基于MobileNet的圖片數據處理

基于MobileNet的圖像處理算法在小型化嵌入式系統中有著良好的應用，其以低功耗為主要目標,設計功耗低于15瓦。

1.1 圖像預處理

圖像信息采集中最為根本的是圖像的處理，而采集到的圖像往往是不準確的。首先，由于存在大量干擾信息，因此最初采集到的圖像信息中往往含有錯誤信息，需要對圖像進行初步的處理。本研究首先對最初的圖像做中值濾波的處理，以減小噪聲對圖像質量的干擾。其次，由于圖像采集裝置往往與水平地面存在一定的夾角，因此對采集到的圖像有一定畸變，需要對濾過波的圖像再采取畸變的分析與矯正，以便采集的圖像信息數據更為準確和方便以后使用。

1.2 圖像信息數據的處理結果

經過多種網絡模型的組合比較和試驗，決定采用卷積神經網絡（CNN）和MobileNet模型來進行圖像信息數據的處理。處理結果如圖1所示，原圖經過預處理之后，成功識別到圖中的人物信息，并返回坐標等信息。

1.3 模型優化

MobileNet模型配合使用TensorFlow深度學習框架，進行數值計算，可移植性更強。第一步，將數據集劃分，通過代碼轉化，將采集和處理好的數據集分為訓練數據集與測試數據集，再用MobileNet模型訓練。第二步，當模型訓練好后，儲存測試數據集，并進行測試。如果模型沒有訓練成功，繼續對模型訓練，最終訓練好模型。

2 激光雷達的聚類分析

2.1 激光雷達與聚類分析

激光雷達精度高，識別范圍廣，但其數據量大。所以，如何從海量的數據中挖掘有用的數據進行分析，是研究激光雷達的重中之重。聚類分析的基本思想，在于所研究的云點或變量之間存在程度不同的相似性，找出一些能夠度量云點或變量之間相似程度的統計量，以此為依據劃分，把一些相似程度較大的指標聚合為一類，直到把所指標聚合完畢。

目前常用的聚類分析方法有 K-Means、K-Means++以及ISOData，為了使設備小型化、低功耗化，并且在不影響性能的前提下，決定采用較為簡單的斜率分析法對激光雷達返回的數據進行分析。

圖1 成功識別到圖中的人物信息，并返回坐標等信息

2.2 數據的聚類

單線激光雷達數據以無人車為中心，遵循一定方向與速度向四周未知環境進行掃描采集，經上位機處理后返回的數據為角度與距離，由此便可以直觀地知道障礙物與無人車的位置關系，如圖2所示。

圖2 障礙物與無人車的位置關系

圖3 散點圖

如圖2中所示，同一物體是由連續的點所組成，也就是雷達在物體表面所掃描出來的一系列點。以這些點為基準作散點圖，如圖3所示，同一類物體高度基本不變，所以點與點之間斜率基本為零，而兩類物體之間存在距離的突變，臨界兩點間的斜率會有劇烈的波動。定義以下公式用于求數據的斜率：

其中θn為角度，dn為對應角度下的距離，σ 為誤差容忍度，Δθn是角度差，Δdn是距離差，ρ是所求得的斜率，處理后的數據圖如圖4所示。

圖4 處理后的數據圖

由圖4可知，如果檢測到的是同一個物體，則激光雷達返回的云點數據經過處理后的ρ值基本相同，如果物體之間有間隔或者沒有檢測到物體則ρ值會發生突變，在圖中表現為一個尖峰。兩突變之間即為一類物體，規定當|ρ|>φ，即ρ的絕對值大于某一個閾值時，物體應該分類，否則歸為同一類。根據以上分析，圖4中有5類物體，與圖2符合。

圖5 激光雷達獲取深度信息

3 信息疊加

由前所述可知，圖片經 MobileNet處理后返回一系列數據，包括已識別目標在圖片上的位置坐標等相關信息，但是缺乏目標的深度信息，因此通過激光雷達來獲取深度信息。如圖5所示，攝像頭與雷達在同一鉛垂線上，已知攝像頭的視角為φ 并與雷達極坐標下的角度相對應，照片寬度為l,則每一像素點對應角度為φ/ι,通過目標的位置坐標可得到目標相對于攝像頭的角度，也就得到了目標對應于雷達的角度θ。通過雷達聚類分析可知，在圖像識別的目標處，雷達亦做好了物體的聚類，經上位機處理的雷達數據又包含角度與距離信息，因此可通過角度θ獲得目標的深度信息，即L值，無人車與障礙物的直線距離，通過極坐標與直角坐標間的轉換關系，也可求出障礙物相對對于無人車前進道路上的距離。獲得目標的深度信息后，無人車能夠判斷車與物體的距離，從而更好地進行避障等功能。

圖6 疊加效果

由這兩部分數據進行固定角度于像素之間的疊加之后就可以在一張2D圖片的基礎上形成一張具有特定識別物體深度信息的深度圖片，得到此圖片后對于后續的無人車路徑規劃，避障與跟隨等功能都可以很方便地實現，疊加效果如圖6所示。

4 結論

該研究采用了MobileNet神經網絡結合加速器對攝像頭采集的圖像進行處理，并采用聚類分析的方法對激光雷達的云點數據進行處理，最終將云點數據與圖像數據進行疊加生成深度信息，經多次檢測優化，本系統完成了對障礙物的識別和對所識別的障礙物深度信息的標定。