基于深度學習的3D目標檢測算法研究

康晴，湯超，李婧萱，崔振

摘 要： 雖然Voxel R-CNN對于3D點云目標檢測具有快速性以及對車輛目標檢測有較高精度，但對行人以及騎車人目標存在檢測精度低的問題。介紹了一種多尺度改進的體素ROI池化方法，并在BEV特征提取網絡中引入通道注意力機制，進一步提高算法對于小目標檢測的精度。實驗結果表明，提出的算法不僅保持了對于車輛檢測的較高精度，并且在行人以及騎車人目標檢測場景中擁有更高的檢測精度。

關鍵詞： 3D點云目標檢測; 通道注意力; 多尺度; Voxel R-CNN

中圖分類號：TP391? ? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2022）06-44-05

Research on 3D object detection algorithm based on deep learning

Kang Qing1， Tang Chao2， Li Jingxuan1， Cui Zhen2

（1. School of Automation， Nanjing University of Science and Technology， Nanjing， Jiangsu 210094， China;

2. School of Computer Science and Engineering，Nanjing University of Science and Technology）

Abstract： Although Voxel R-CNN has high speed for 3D point cloud object detection and high precision for vehicle detection， it still has the problem of low accuracy in pedestrian and cyclist detection. In this paper， a multi-scale improved voxel ROI pooling method is presented， and channel attention mechanism is introduced to the BEV feature extraction network to promote the accuracy for small object detection. Experiments show that the proposed algorithm not only maintains the high accuracy of vehicle detection， but also has higher accuracy in pedestrian and cyclist detection.

Key words： 3D point cloud object detection; channel attention; multi-scale; Voxel R-CNN

0 引言

隨著自動駕駛，機器人視覺，虛擬現實增強技術等領域研究的發展，3D點云目標檢測作為其中的關鍵技術而受到廣泛的關注，應用前景十分廣闊。3D點云目標檢測作為自動駕駛的關鍵技術已經取得了長足的進步，然而由于點云的稀疏性、無序性等特點，3D點云目標檢測還存在著諸多難點，目前利用點云進行深度學習的方法主要基于體素、基于點、基于視圖三種。

基于體素的方法將不規則的點云輸入劃分為規則網格，便于應用卷積神經網絡進行特征提取。VoxelNet[1]通過體素特征編碼（Voxel Feature Encoding，VFE）層，將點狀特征與局部聚集的特征相結合，提高了基于體素的目標檢測精度。基于點云的稀疏性，SECOND[2]（Sparsely embedded convolutional detection）通過引入新的角度損失回歸方法來提高定位精度，并通過稀疏卷積使處理速度得以提升。PointPillars[3]通過2D卷積網絡對點云生成的偽圖像進行處理，從而大大提高了處理速度。基于點的方法使用原始點云數據作為輸入，PointRCNN[4]基于原始的點云數據，以自下而上的方案生成三維區域候選框。PV-RCNN[5]通過點與體素方法的結合，實現高效且感受野靈活的三維目標檢測。基于視圖的方法則通過點云在多角度的投影形成二維圖像，借助成熟的二維圖像處理技術來解決直接輸入原始點云難以進行處理的問題。

目前對于原始點云的處理方法中，基于點的方法往往能夠獲得較高的檢測精度，但是速度相對較慢。基于體素的方法能夠獲得更快的檢測速度，但是在精度上有所下降。為解決點云無序性處理問題的同時獲得較高的檢測速度的同時滿足較高精度的要求，我們采用基于體素的Voxel R-CNN算法[6]進行3D目標檢測。并且為更好地提升Voxel R-CNN在小目標尤其是行人和騎車人目標的檢測精度，本文基于原有模型進行改進，提高了模型性能，并取得了較好的檢測結果。

1 構建Voxel R-CNN模型

本文采用Voxel R-CNN模型，直接對原始點云進行基于體素的處理并實現3D點云的目標檢測。Voxel R-CNN模型基本框架如圖1所示。

模型總共由四個部分組成：3D特征主干網絡、2D主干網絡及RPN模塊、體素ROI池化、檢測頭。該模型基于體素處理點云的方法，通過稀疏卷積進行3D特征的提取，通過投影的BEV特征圖進行2D特征提取以及產生3D候選區域。并由體素ROI池化生成3D ROI特征進行3D候選框的回歸，從而估計目標點云的3D檢測框。

1.1 3D主干網絡

由于3D點云數據的稀疏性和離散性，因此Voxel R-CNN使用體素網格劃分的方法進行點云數據的處理，并對體素網格進行平均體素特征編碼MeanVFE（Mean Voxel Feature Encoding），如圖2所示。

由于點云數據的稀疏性，大部分體素網格為空網格。因此在3D主干網絡中Voxel R-CNN算法通過輸入體素特征及體素坐標形成稀疏張量，并使用子流形卷積與稀疏卷積進行特征的提取，大大減少計算量并提高了卷積效率。

1.2 2D特征提取及RPN模塊

3D主干網絡逐漸將體素化的輸入轉換成特征體，輸出張量沿Z軸堆疊產生BEV特征圖。2D主干網絡由自頂向下的特征提取子網絡、多尺度特征融合子網絡兩部分組成，如圖3所示。

多尺度特征融合子網絡對自上而下的特征進行上采樣和連接，2D主干網絡的輸出通過RPN生成3D候選區域。

1.3 體素ROI池化

由于3D特征體積結構的稀疏性（非空體素所占空間小于3%），Voxel R-CNN將3D候選區域劃分為子體素，并將相鄰體素的特征整合到網格點中進行特征提取。Voxel R-CNN利用體素ROI池化從3D主干網絡的后兩階段提取體素特征，同時對于每個階段設置曼哈頓距離閾值對多個尺度的體素進行分組，然后將不同階段尺度匯集的特征進行拼接得到3D ROI特征。

1.4 檢測頭

檢測頭部分以3DROI特征作為輸入進行預測框的細化，共享的兩層MLP（Multi-Layer Perceptron）將3D ROI特征轉換成特征向量，將特征用于3D預測框回歸與置信度預測中，最終得到3D預測框的質心坐標[cx，cy，cz]，長寬高[h，w，l]，航向角[θ]等參數。

2 Voxel R-CNN模型改進

2.1 基于注意力機制改進的2D主干網絡

在VoxelR-CNN模型中，2D主干網絡應用于在BEV特征圖中提取特征，并且通過RPN產生3D候選區域。在原始的2D主干網絡中，不同層級的多個大小尺度[Ci]，在經過橫向連接轉換通道數后與2倍上采樣后的特征[Ci+1]進行拼接作為2D主干網絡的融合特征，從而輸出最終的特征圖[Mi]，其計算過程可以表示為

[Mi=h（fCi，D2（Ci+1））]

其中，[f]代表1x1卷積層，用于轉換特征圖的通道數;[D2]表示2倍上卷積操作;[h]表示通道的拼接。

為避免BEV特征圖中多變的背景信息對于特征提取過程的干擾，我們采用基于通道的注意力機制作為2D主干網絡中對于特征的約束模塊，以增強對于模型對于特征圖中前景特征的提取能力。增強后的結果通過殘差塊并使用多尺度方法與2倍上采樣的上層特征進行特征融合，計算過程可以表示為：

[Mi=h（fCi+S（Ci），D2（Ci+1））]

其中，[S]代表基于通道的注意力機制模塊，用于強化對特征的選擇約束。

我們采用SENet[7]（Squeeze-and-Excitation Networks）實現對于通道級別的注意力機制。SENet將[H×W×C]的輸入經過全局平均池化壓縮為[1×1×C]，通過兩層全連接層將其轉化為對應通道的權重，權重值經過Sigmod激活乘到原輸入特征上，其結構如圖5所示。本文將第一層全連接層的通道壓縮比設置為16，即[r=16]。

改進后的2D主干網絡結構如圖6所示。通過通道注意力機制的特征約束，使2D主干網絡能夠更好地提取前景點特征，減小背景點對于特征提取的影響。

2.2 基于多尺度改進的體素ROI池化層

Voxel R-CNN的3D主干網絡中，輸入點云數據被劃分成子體素，其中非空體素的特征通過平均體素特征編碼計算內部所有點的特征向量均值，經3D稀疏卷積提取語義信息，并在這一過程中將體素化點云特征逐漸轉換成不同尺度的特征體。

VoxelR-CNN將2D主干網絡及RPN模塊所產生的3D候選區域劃分為子體素，并將相鄰體素的特征整合到網格點中進行特征提取，從而避免三維特征體的稀疏性對池化的影響。VoxelR-CNN算法從3D主干網絡的最后兩階段提取體素特征進行分組和特征拼接，如圖7（a）所示。考慮低層網絡感受野小，幾何細節信息表征能力強的特點，在這一階段，我們從3D主干網絡的后四層進行體素特征的提取并進行多尺度特征融合，從而使改進后的點云目標檢測算法更適用于行人以及騎車人目標等小目標的檢測場景，改進后的結構如圖7（b）所示。

3 實驗結果與分析

3.1 實驗環境

實驗平臺為Intel Xeon E5-2620 v4、NVIDIA GeForce RTX 2080 Ti、32GB內存，在Ubuntu 18.04.3和Python3.8下搭建CUDA 10.1、CUDNN 8.0.1、Pytorch 1.5.1深度學習環境。實驗采用目前公開規模最大的交通場景數據集KITTI，自動駕駛KITTI數據集包含鄉村、市區和高速公路場景的真實場景和點云數據，每個場景中根據遮擋和截斷的程度，劃分為簡單（Esay）、中等（Moderate）、簡單（Hard）三個等級。該數據集共有7481個場景對應相應點云數據與圖像，本次實驗按照Voxel R-CNN的數據集劃分結構將其劃分為3712份訓練集與3769份驗證集。

3.2 3D目標檢測精度對比

采用改進后的2D主干網絡與體素ROI池化層與原VoxelR-CNN算法進行車輛、行人以及騎車人的目標檢測精度結果對比。實驗使用兩塊NVIDIA GeForce RTX 2080 Ti進行，每塊顯卡設置batch_size為2，并對于所有樣本訓練迭代80次，在11個召回點的條件下對車輛、行人以及騎車人目標3D預測框的平均精度（[AP3D（%）]）作為評估指標，共進行3次實驗，并對實驗結果取平均值作為最終指標。將改進后的模型與現有的3D點云目標檢測模型在KITTI評估集上的檢測結果對比，結果分別如表1、表2和表3所示。

其中VoxelNet是基于體素的方法，PointRCNN是基于點的方法，Frustum ConvNet[8]是基于視錐特征融合的方法。從表1可知，改進后的Voxel R-CNN算法與先前算法相比獲得了最高的車輛目標檢測精度，從表2、表3可知，與原算法相比在行人中等目標的識別精度提高了1.38%，在騎車人中等目標的識別精度提高了1.19%，在行人以及騎車人的平均檢測精度分別上升0.97%和0.83%，并在四種算法中獲得了對于行人及其騎車人目標的最高平均檢測精度。

3.3 3D目標檢測可視化與分析

對于VoxelR-CNN輸出得到的質心坐標[cx，cy，cz]，長寬高[h，w，l]，航向角[θ]行人目標的檢測結果進行可視化分析，如圖8所示。由可視化結果可以看出，場景中的行人目標均可被準確識別。在距激光雷達采樣距離較遠的行人目標，即使點云較為稀疏也仍可進行識別。

4 結束語

針對VoxelR-CNN中對于行人以及騎車人3D目標檢測定位不準確、精度不高的問題，本文通過構建VoxelR-CNN模型實現對于點云的3D目標檢測，并在原有模型中進行相應的改進。在2D主干網絡中，利用注意力機制實現特征約束，并在體素ROI池化層改進多尺度采樣方式提高對于較小目標的3D檢測精度。相比原VoxelR-CNN算法，改進后的算法對行人目標的檢測精度平均提高了0.97%，對騎車人目標的檢測精度平均提高了0.83%。然而由于VoxelR-CNN是由BEV特征圖生成3D候選區域，所以原始點云數據的Z軸信息有所損失。同樣距離較遠的點云數據由于非常稀疏，所以難以預測其準確位置及其航向角。在后續研究中將繼續對模型進行完善，逐步改善并解決相應的問題。

參考文獻（References）：

[1] Zhou， Yin， Tuzel， et al. Voxelnet： End-to-end learning for point cloud based 3d object detection[J]//IEEE Conference on Computer Vision and Pattern Recognition （CVPR），2018：4490-4499

[2] Yan Y， Mao Y， Li B. SECOND： Sparsely Embedded Convolutional Detection[J]//Sensors，2018，18（10）：3337

[3] Lang， A. H.， Vora， et al. PointPillars： Fast Encoders for Object Detection From Point Clouds[J].//IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR），2019：12697-12705

[4] Shi， S.， Wang， et al. PointRCNN： 3D Object Proposal Generation and Detection From Point Cloud.[J]// IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR），2019：770-779

[5] Shi， S.， Guo， et al. PV-RCNN： Point-Voxel Feature Set Abstraction for 3D Object Detection[J].//IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR），2020：10529-10538

[6] Deng， J.， Shi， et al. Voxel R-CNN： Towards High Performance Voxel-based 3D Object Detection[J]//AAAI Conference on Artificial Intelligence，2021，35（2）：1201-1209

[7] Jie H， Li S， Gang S， et al. Squeeze-and-Excitation Networks[J]. //IEEE Transactions on Pattern Analysis and Machine Intelligence，2017（99）

[8] Wang Z， Jia K. Frustum ConvNet： Sliding Frustums to Aggregate Local Point-Wise Features for Amodal[C]// 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. IEEE，2019