3D物體檢測的異構方法

呂 卓 姚治成 賈玉祥 包云崗

1(中國科學院計算技術研究所 北京 100190) 2(計算機體系結構國家重點實驗室(中國科學院計算技術研究所) 北京 100190) 3(數學工程與先進計算國家重點實驗室 鄭州 450001) 4(鄭州大學信息工程學院 鄭州 450001) 5(中國科學院大學 北京 100049)

3D物體檢測是計算機視覺的一個重要研究方向，其主要任務是預測物體的尺寸、世界坐標系下的坐標以及朝向等信息，從而提供物體所處的3D空間.3D視覺識別對于機器人感知外界環境、理解周圍場景和完成特定任務十分重要[1].3D物體檢測在自動駕駛、機器人和目標追蹤等場景中都有所應用.在自動駕駛領域，3D物體檢測獲取到的相關信息可以幫助汽車完成路徑規劃、避免碰撞等任務，自動駕駛需要3D物體檢測來保證駕駛安全性，因此，如何更有效地得到精確的3D物體檢測結果成為近些年來研究的熱點.

當前的3D物體檢測方法基本都難以同時滿足高精度、快速度和低成本這3個要求[2].如圖1所示，當前方法在速度-精度圖中的分布基本都在曲線附近，精度較高的方法速度較慢，速度較快的方法精度較低，而理想的3D物體檢測需要同時兼顧速度和精度.當前的3D物體檢測方法大多以RGB圖像、RGB-D數據、雷達點云等作為網絡的輸入，采用端到端的深度神經網絡進行相關計算，最終輸出預測的物體3D邊框.然而直接使用端到端深度神經網絡來解決3D物體檢測這種復雜的任務，存在著網絡結構復雜、計算量大、實時性差等問題.

Fig.1 3D object detection method status diagram

本文提出了一種基于異構的3D物體檢測方法，該方法以深度學習與傳統算法相結合的形式，來進行3D物體檢測.該方法的主要思路是將整個3D物體檢測過程劃分為多階段：在預處理階段，使用實例分割等深度學習的手段從RGB圖片等原始數據中獲取所需信息后，在后續的階段中，使用聚類算法、圖形處理算法等傳統的方法來進行物體表面雷達點的獲取、物體坐標及朝向的計算等.本文所提的方法適合用于檢測汽車等可以在現實世界中獲取到具體型號及對應尺寸的物體.

本文的主要貢獻有4個方面：

1)從全新的角度來考慮3D物體檢測問題，將傳統算法應用到檢測過程中，與深度學習方法相結合，實現了一種采用異構形式進行3D物體檢測的方法;

2)提出的雷達點云篩選方法能夠從巨大的雷達點云空間中，有效地篩選出目標物體的表面雷達點，并且去除其中存在的干擾點，在減少了雷達點計算量的同時，提升了計算精度;

3)提出的“最小點邊距外接矩形算法”，以及“物體所在高度計算方法”，在汽車坐標的計算中顯著提升了計算速度和精度；

4)經實驗表明，本文方法與代表性的基于深度學習的3D物體檢測方法相比，具有明顯的優勢.

1 相關工作

基于雷達點云的3D物體檢測方法以激光雷達獲取的點云數據作為輸入，此外還有部分方法將RGB圖像等數據作為額外的輸入來幫助更好地進行檢測，最終得到物體的3D邊框，如圖2所示：

Fig.2 3D bounding box of objects in radar point cloud

在最初的階段，由于卷積神經網絡(convolutional neural network, CNN)需要規則的輸入，因此基于雷達點云的3D物體檢測通常先將不規則的雷達點云轉化為規則數據格式，再輸入網絡進行相關檢測.例如Zhou等人[3]提出了一個端到端的將不規則點云轉化為規則3D體素(voxel)，進而檢測3D物體的網絡，該網絡由特征提取層、3D中間卷積層和區域生成網絡[4](region proposal network, RPN)組成，其中的特征提取層先將點云轉化為規則的3D體素，并對其中點數量較多的體素進行隨機采樣以減少計算量和體素間差異，然后再由3D中間卷積層進行特征提取，最后由RPN進行分類檢測和位置回歸，得到檢測結果.

除了將不規則點云轉化為體素這種形式外，還有一些方法將點云轉化為多視角圖像幾何，例如Chen等人[5]提出了一種基于多視角的3D物體檢測方法，該方法分別將雷達點云投射到鳥瞰圖上，通過鳥瞰圖獲取候選框并將其分別投影到鳥瞰圖、前視圖和RGB圖像這3個視角上，之后對各個視角的特征進行聯合，進而預測目標類別并回歸出3D邊框；Ku等人[6]則以RGB圖像和雷達點云數據投射生成的鳥瞰圖作為輸入，通過特征提取得到2個相應的特征圖，經融合后使用RPN生成無方向區域建議，并使用子網絡生成有方向的3D邊框，完成3D檢測.將雷達點投射到鳥瞰圖的3D物體檢測方法可以避免物體遮擋所帶來的問題，并且投射到鳥瞰圖的物體能夠保留原始尺寸，但是投射的過程中不可避免地會損失一部分點云信息，且不適應垂直方向有多個物體的場景.

隨著能夠直接處理點云數據的深度網絡[7-8]的出現，一些3D物體檢測方法基于原始雷達點云數據進行檢測.例如Charles等人[9]提出了一種基于2D對象檢測器和3D深度技術的3D物體檢測方法，該方法首先使用2D檢測器構建對象建議并據此定義3D視錐區域，然后基于這些視錐區域中的3D點云，使用PointNet[7]/PointNet++[8]實現3D實例分割和非模態3D邊界框估計；Shi等人[10]提出了第1個僅使用原始點云作為輸入的多階段3D對象檢測器，該檢測器也利用了PointNet++，直接從原始點云中生成3D方案，再根據語義信息和局部特征等進行優化.

在基于規則數據的3D物體檢測方法中，將不規則點云轉化成規則格式需要額外的計算工作，并且存在不可避免的信息損失；而直接基于原始雷達點云進行3D物體檢測，則需要處理巨大的點云空間，對目標的分類也較為復雜；而且無論是基于規則數據轉換還是基于原始雷達點云的方法，基本上都使用了結構較為復雜的深度神經網絡，從而可能導致計算時間較長，時間成本較高.

2 基于異構的3D物體檢測方法

現有的3D物體檢測大多采用端到端的深度神經網絡，使用這種方式來解決3D物體檢測這樣復雜的問題，無疑會增加深度神經網絡的復雜度，進而導致計算量增大、實時性不夠等問題，而且不是3D物體檢測中的所有步驟都適合使用深度學習的方法，為此本文提出了一種基于異構的3D物體檢測方法，該方法的核心思想是將深度學習與傳統算法相結合來進行檢測，將整個檢測流程劃分為不同的子模塊，分別承擔不同的任務：在使用實例分割等深度學習手段從RGB圖片等數據中獲取信息后，根據深度學習獲取的信息，采用傳統算法，來進行點云篩選、坐標計算等任務.本文對該方法進行了實現，將其稱為HA3D(a heterogeneous approach for 3D object detection).

HA3D由5個模塊組成：數據預處理、雷達點云篩選、尺寸預測、坐標及朝向計算和結果展示，系統構成如圖3所示.其中部分任務采用了非深度學習的方法來進行計算，例如雷達點云篩選使用了聚類的方法；坐標及朝向計算則使用了傳統的計算機圖形算法.以汽車的檢測過程為例，HA3D的整個方法流程如圖4所示，主要劃分為4個步驟：

1)數據預處理.首先對原始數據進行處理，使用實例分割模型對RGB圖像進行預測；讀取雷達點云等原始數據并進行格式轉換.

2)尺寸預測.對汽車這類物體構建尺寸數據庫，通過簡單分類神經網絡獲取物體種類，根據種類查詢數據庫獲取物體準確尺寸.

3)雷達點云篩選.利用預處理得到的實例分割結果，結合聚類算法，從整個雷達點云空間中篩選出目標物體的表面雷達點，并去除其中干擾點，以用于下一步計算.

4)坐標及朝向計算.根據前面基礎模塊獲得到的雷達點云、物體尺寸等數據，采用圖形以及點云處理算法，計算物體的坐標以及朝向,得到最終的檢測結果.

Fig.3 System composition diagram of HA3D

Fig.4 Flow chart of heterogeneous 3D object detection

2.1 數據預處理

數據預處理部分主要進行2部分工作：1)處理原始數據集，原始3D物體檢測數據集中提供了RGB圖像、相機參數、雷達數據和3D標注，在這里讀取原始雷達數據，根據相機參數等對原始雷達數據進行格式轉換、坐標系轉換，并生成深度圖和坐標轉換矩陣，為進一步的計算提供數據；2)獲取圖像分割結果，在這里使用實例分割模型對RGB圖片進行預測，獲取圖片中物體的種類、2D檢測邊框、mask等數據，用于下一步的尺寸預測和雷達點云篩選，過程如圖5所示.本文中使用的實例分割方法有Mask R-CNN[11]和YOLACT[12]，據文獻[12]中所述，前者檢測結果的精確率較高，在COCO test-dev上的mask AP比后者高出5.9%，但是后者的檢測速度比前者提高了3.9倍，可以幫助我們更快地獲取相關信息，從而提升計算速度.

2.2 尺寸預測

尺寸預測首先需要構建尺寸數據庫，在現實世界中，汽車的型號及對應尺寸是可以獲取的，例如，新浪汽車、edmunds等國內外各大汽車網站中都提供汽車的詳細信息.基于此現實，我們可以搜集數據并構建汽車的數據庫，其中存儲汽車的具體車型類別和對應長寬高尺寸，并根據汽車尺寸劃分小型車、中型車和大型車等尺寸類別.接下來將數據集中的汽車圖片及對應具體車型類別作為訓練數據，用于訓練分類神經網絡，可以基于ResNet[13]，DenseNet[14]等結構較為簡單的模型來構建分類網絡，這樣就能以較小的計算量預測汽車的具體車型類別.

構建完尺寸數據庫并訓練好分類神經網絡后，就可以進行尺寸預測的工作，具體流程如圖6所示，首先根據實例分割預測所得的2D檢測邊框，從RGB圖像中裁剪出汽車的圖片；然后對圖片進行縮放等預處理操作后，輸入分類神經網絡進行種類預測；最后根據預測的具體類別查詢尺寸數據庫，獲取汽車尺寸；當預測所得具體車型類別的置信度不高時，還可以根據該汽車具體車型所屬的尺寸類別，查詢出該尺寸類別汽車的平均尺寸，作為該汽車的尺寸.這種尺寸預測方法適合用于預測汽車等物體，在現實世界中，能夠查詢到這類物體的準確型號、對應尺寸和圖片.

2.3 雷達點云篩選

整個雷達點云空間的數據規模非常大，如果直接對其進行搜索和處理，需要花費大量的時間，從而降低了檢測速度.因此，本文實現了基于mask的區域篩選和密度聚類篩選這2個雷達點云篩選方法，用于從雷達點云空間中快速找到較為純凈的目標物體表面雷達點，以獲取汽車表面雷達點為例，流程如圖7所示.

基于mask的區域篩選被用于從較大的點云空間中快速確定物體表面雷達點分布的空間范圍.該方法首先要獲得目標物體mask內雷達點的像素坐標，由于整張圖片的尺寸較大，搜索整張圖片會花費大量的時間，因此這里只遍歷目標種類物體2D檢測邊框內的像素點，將位于物體mask范圍內的雷達點保留下來；然后利用數據預處理得到的坐標轉換矩陣，得到這些雷達點的相機坐標系坐標，即真實坐標，這樣就初步獲得了mask內的雷達點集。通過對圖7中該篩選方法的結果進行觀察，可以看到該方法能夠快速鎖定物體表面雷達點的大致分布范圍，大大縮小了后續所需處理的雷達點數量.

Fig.7 Flow chart of radar point cloud screening

密度聚類篩選被用于進一步去除物體表面雷達點中的干擾點.由于物體遮擋、mask存在誤差等原因，經過初步篩選得到的雷達點中除了汽車表面雷達點外，還存在一部分干擾點.同一物體的表面雷達點分布較為集中，密度較高，因此使用Scikit-learn[15]所實現的密度聚類算法DBSCAN[16]來去除其中的干擾點.具體的聚類篩選操作為：首先，對獲得的雷達點集進行DBSCAN聚類計算，得到m個聚類簇和1個離群異常簇Poutlier，將聚類簇的集合記為P={P1,P2,…,Pm}，并記錄下每個聚類簇中包含的點的數目Npts={n1=|P1|,n2=|P2|,…,nm=|Pm|}；然后，從m個聚類簇中選出一個簇作為汽車表面雷達點集Pres，選取方法如式(1)所示：

(1)

其中pcenter是位于汽車mask中心位置的雷達點.這樣選取的原因是：位于汽車mask中心的點pcenter大概率為汽車表面雷達點，因此包含pcenter的聚類簇Pi大概率就是汽車表面雷達點集；如果表面雷達點過于稀疏導致pcenter不存在，由于汽車mask范圍內的主要物體就是汽車，汽車表面雷達點在整個點集中所占比例較高，所以此時選取P中點數量最多的簇Pj，來作為最后篩選出的汽車表面雷達點集.

這里將部分篩選結果投射到xOz平面來進行觀察，如圖8所示，可以清晰地觀察到：在xOz平面上，圓點分布明顯符合汽車頂部的矩形形狀，而叉點分布過于離散，明顯不是汽車表面的雷達點.由此可見，基于mask的聚類篩選和密度聚類篩選2種篩選方法能較為有效地保留物體表面雷達點，去除其他干擾點，可以為進一步計算輸入較為純凈的物體表面雷達點，從而達到減少計算量、提升計算精度的效果.

Fig.8 Display of radar point cloud filtering results

2.4 坐標及朝向計算

需要利用2.3節獲取到的物體表面雷達點等數據，通過傳統算法來替代深度神經網絡，計算出物體的坐標以及朝向，其中包括xOz平面坐標的計算以及物體所在高度的計算.

2.4.1xOz平面坐標計算

以計算汽車的xOz坐標為例，整體流程如圖9所示，接下來對該計算方法進行詳細的描述：

1)將雷達點投射到xOz平面并求得外接矩形

由于汽車從xOz平面觀察呈現矩形形狀，因此將所獲汽車表面雷達點投影到xOz平面后，可以求出這些雷達點的外接矩形，來代表汽車在xOz平面的分布情況，外接矩形需要盡量貼近雷達點的邊緣點，以便更準確地描述汽車的朝向以及所在位置.

本文最初采用的是OpenCV實現的最小面積外接矩形，該方法最終得到的是各個角度的外接矩形中具有最小面積的外接矩形，因此在部分情況下，該方法所求得的外接矩形并不能貼合物體表面雷達點在xOz平面的邊緣點，計算效果不理想.為了進一步提升該方法的效果，本文對原始雷達點云進行線性填充，使用稠密雷達點進行最小面積外接矩形計算，雖然提高了檢測效果，但填充雷達點云和去除干擾點的過程帶來了巨大的時間成本.因此本文希望通過原始雷達點云就可求得效果較好的外接矩形，于是對外接矩形算法進行改進.首先嘗試了分段折線擬合法來求外接矩形，但該方法難以確定分段的轉折點，不適用于本文方法.最終本文提出了最小點邊距外接矩形，該算法求得的外接矩形能夠較好地貼合邊緣點，更能代表汽車在xOz平面的分布情況，效果最好.

“最小點邊距外接矩形”中的“點”是指物體表面雷達點的凸外包點，“邊”是指外接矩形的邊.該方法的思路是：先求出物體表面雷達點的凸外包點集Pconvex={p1,p2,…,pn}，緊接著將初始外接矩形rect旋轉不同角度θ(0°≤θ≤180°)得到rectθ，將點pi(1≤i≤n)到矩形rectθ邊框的歐氏距離記為dis(pi,rectθ)，找到其中的最佳旋轉角度θbest，該角度滿足的條件為

pi∈Pconvex, 0°≤θ≤180°，

(2)

旋轉角度為θbest的外接矩形就是我們所需要的最小點邊距外接矩形，由于該方法的原理可以計算得到較為貼近凸外包點的外接矩形，并且只對凸外包點進行相關計算，時間開銷較低，滿足本文方法對外接矩形的要求，綜合效果最佳.

2)補全外接矩形

以汽車為例，由于受到雷達探測器所處位置和物體遮擋等因素的影響，雷達一般只能檢測到汽車部分表面，導致獲取到的物體表面雷達點不完整，進而導致求得的外接矩形也不“完整”.也就是說，所求得的外接矩形的長和寬可能與汽車真實的長和寬存在一定的差距，所以還需要使外接矩形的長和寬分別等于汽車的真實長和寬，即補全外接矩形，如圖9所示:

Fig.9 Flow chart of calculation method of xOz plane coordinates

按照圖9中方法補全的外接矩形，可以更好地描述汽車在xOz平面的分布情況.補全的外接矩形的中心坐標就是汽車在xOz平面的坐標，補全的外接矩形的長邊與相機坐標系x軸的夾角即汽車的朝向.

2.4.2 物體所在高度計算

需要計算物體底面所在高度，即物體在相機坐標系下的y軸坐標.為了提升計算速度，本文提出了一種新的物體所在高度的計算方法，該方法的思路就是將計算物體底面的y軸坐標，轉化為計算物體2D邊框底邊的y軸坐標.以汽車底部所在高度的計算為例，計算示意圖如圖10所示.在數據預處理中已經獲得了汽車的mask，2D檢測邊框及其像素坐標(xmin,ymin,xmax,ymax)，在尺寸預測中獲取到了汽車尺寸(l,w,h)，并且已經通過前面的雷達點云篩選方法獲得了汽車表面雷達點；從mask中心區域隨機選取1個汽車表面雷達點p，其相機坐標系坐標(真實坐標)是已知的，記為(xc,yc,zc)(此處下標c代表camera)，該點在單目RGB圖像中對應的像素坐標(xp,yp)(此處下標p代表pixel)也是已知的.

點p到2D邊界框底邊的像素距離占邊界框像素高度的比例，等于點p到2D邊界框底邊的真實距離占汽車高度h的比例，據此可以計算出邊界框底邊的相機坐標系y軸坐標，即汽車的所在高度ycar：

(3)

Fig.10 Schematic diagram of calculating the height of the car

該方法能夠較快地求得物體所在高度，但是較為依賴實例分割模型預測所得物體2D檢測邊框的準確性，實例分割模型預測的2D邊框越準確，該方法所求的物體所在高度也越準確.

3 實驗與結果

3.1 實驗環境和相關設置

本文實驗全部都在服務器上進行，服務器系統版本為CentOS Linux release 8.1.1911(Core)，使用的CPU為Intel?Xeon?CPU E5-2650 v4@2.20 GHz.實驗所使用的主要依賴庫及版本信息如表1所示：

Table 1 Dependency Library and Version Information Used in the Experiment

實驗以KITTI[17]作為3D物體檢測數據集.由于KITTI數據集中未標出汽車種類，所以汽車分類神經網絡缺少訓練數據，暫時無法獲得效果較好的汽車分類神經網絡，因此無法通過網絡預測車型，進而查詢獲得尺寸.所以在這里，我們假設能夠通過本文所提出的尺寸預測方法獲取汽車的尺寸，在實驗中暫時使用KITTI中人工標注的汽車尺寸作為替代.

為了證明本文提出的尺寸預測方法的可行性，我們查詢了相關資料，發現當前車型識別的相關研究工作已經較為成熟，根據車型識別精度的排行榜[18]，其中提及的29個車型識別方法在Car Dataset[19]上的車型識別的精度均在90%以上，并且最高精度已經達到了96.2%，所以如果下一步能夠獲得較為充足的訓練數據，我們應該可以訓練得到較為準確的車型識別的分類神經網絡，實現本文所提出的尺寸預測思路.

3.2 評價指標

HA3D采用的是異構的方法，最終的檢測結果沒有置信度輸出，而傳統的3D物體檢測評估方法會將置信度也作為評估因素，不適合用于評估本文提出的方法，所以本文對傳統3D物體檢測評估方法進行改造，形成新的評估方法.

本文使用交并比(intersection over union, IoU)來描述檢測結果和標注數據中邊框的重疊率，使用IoU閾值來描述當檢測結果中的3D邊框與標注中邊框的重疊率大于何值時，方為合格的檢測結果.此外還根據標注中物體的遮擋程度、截斷指數、2D邊界框高度、物體到相機的距離等設置評估范圍，在評估范圍內的標注數據和檢測結果視為有效的數據，進行下一步的評估，不滿足該條件的標注數據和檢測結果不予評估.

參考KITTI[17]的3D物體檢測評估程序，本文使用2個概念來描述檢測結果：真正例(true positive,TP)，以及假正例(false positive,FP).TP表示與有效標注數據的IoU大于檢測閾值的有效檢測結果數量；FP表示與任意有效標注數據的IoU都不大于檢測閾值的有效檢測結果數量.由于KITTI標注中存在‘DontCare’標注，這類標注數據未對物體的3D空間進行標注，因此不應該將該類區域的檢測結果納入評估范圍，在這里使用STUFF來表示與‘DontCare’標注的2D檢測邊框的重疊率大于檢測閾值的有效檢測結果數量.

明確定義之后，使用精確率(Precision)對檢測結果進行評估，精確率也叫查準率，它用來描述檢測出的TP占檢測出的所有正例(TP和FP)的比例，計算為

(4)

但是為了避免將對應‘DontCare’標注的檢測結果的數量計入FP，需要將STUFF從檢測出的FP中去除，重新定義評估方法中所使用的精確率：

(5)

為了評估方法的檢測速度，本文使用平均每張圖片所需的計算總時間以及每秒處理圖片數目(frames per second, fps)作為檢測速度的評價指標，同時為了更準確地評估3D檢測的效率，將總時間細分為平均每張圖片所需的數據預處理時間以及3D檢測時間.為了同時評估方法的精度和速度，將平均每張圖片所需的計算時間記為t，使用精確率與計算時間的比值(ratios of precision and time,RPT)，作為評價方法綜合表現的指標，比值越大，說明檢測效果越好，其計算方法為

(6)

3.3 實驗結果和分析

3.3.1 不同外接矩形算法

在相同的CPU實驗環境下，從KITTI[17]訓練集中隨機選取1 000張圖片，分別使用OpenCV的最小面積外接矩形、稠密點云下的最小面積外接矩形、分段折線擬合法和最小點邊距外接矩形這4種算法對其中的汽車進行檢測，并使用相同的評估范圍，檢測閾值設置為0.7，評估不同方法的精確率和速度的綜合表現，評估結果如圖11所示.

從圖11中可以發現：雖然稠密雷達點云下的最小面積外接矩形算法，相對于稀疏雷達點云下的最小面積外接矩形算法，精確率高出5.81%，但檢測速度極慢；而分段折線擬合法顯然不適用于本文方法，檢測結果的精確率僅僅只有4.88%；最小點邊距外接矩形算法的檢測結果的精確率遠高于其他方法，并且其檢測速度也非常快.因此，本文所提出的最小點邊距外接矩形算法所求矩形更為貼合邊緣點，計算的速度較快、精度最高，在HA3D中應用效果最佳.

Fig.11 FPS-Precision scatterplot of different bounding rectangle algorithms

3.3.2 與其他3D物體檢測方法對比

本節將對比HA3D和部分具有代表性的3D物體檢測方法.在相同的CPU環境下，我們對所有方法的檢測結果使用相同的評估范圍，測試每張圖片所需的預處理時間、3D檢測時間以及總的計算時間，同時對比檢測閾值分別為0.7和0.5時的精確率，以及檢測閾值為0.5時的RPT綜合指標，評估結果如表2所示：

Table 2 Comparison with Other 3D Object Detection Methods

VoxelNet的代碼與預處理模型來源為github項目[21]；AVOD代碼來源為官方實現，預訓練模型來自Pseudo-LiDAR[22]；F-PointNet和F-ConvNet的代碼及預訓練模型為官方實現.在這里還繪制了散點圖來對各個方法的綜合表現進行直觀的對比(其中處理圖片速度是根據各個方法3D檢測部分的平均時間進行計算，Precision是IoU為0.5時的精確率)，如圖12所示：

Fig.12 FPS-Precision scatterplot of different 3D object detection methods

表2中的F-PointNet和F-ConvNet均未給出完整的3D檢測代碼，兩者均直接使用了提前生成的2D檢測邊框和3D視錐體點云，導致本文無法對其進行完全復現，進而無法測試其完整的計算時間.此外，F-PointNet檢測流程中的視錐體提案生成部分采用了基于FPN[23]的神經網絡，傳統的FPN網絡模型通常比較復雜，GPU推理時間在100 ms以上，而本文中用到的YOLACT[12]網絡GPU推理時間約30 ms，比傳統FPN網絡快3倍以上，類比到CPU設備，結合表2中的數據，可推斷出F-PointNet的數據預處理時間大于8.7 s，由此可以推測其檢測總用時約9.19 s，是本文工作HA3D檢測總時長的2.5倍，因此F-PointNet的檢測時間并不占優勢.而且F-PointNet在3D物體檢測部分使用的是輕量級的PointNet[7]，雖然減少了少量的3D檢測時間，但造成了其精確率的下降，相對于HA3D，其精確率下降了11.39%，因此HA3D的綜合表現更優.因此，本方法相對其他基于深度學習的方法(例如F-PointNet)無論是在總體檢測速度，還是檢測精度上都有明顯優勢.

本文通過對比各個方法的檢測時間來衡量各個方法的復雜度，從表2中可以觀察到HA3D的3D物體檢測時間遠遠少于VoxelNet和AVOD，相對于AVOD的檢測時效提升了600%，且通過分析，可以得知F-PointNet的檢測時間并不占優勢.因此，本文利用傳統圖形算法來進行3D邊框的計算，相對于部分利用深度神經網絡進行3D邊框回歸的檢測方法，所需要的檢測時間更少.這說明了HA3D方法進行3D物體檢測的算法復雜度更低、計算規模更小，因此進行檢測的速度更快.

從表2和圖12中綜合比較各個方法的檢測速度和精確率，其中AVOD方法的精確率比HA3D方法高1.7%，但它采用了較為復雜的網絡結構，導致計算量較大，總體運行時間約為HA3D方法的1.5倍；F-PointNet處理圖片的速度雖高于HA3D方法，但從之前的討論中可以得知這是因為它采用了輕量級的網絡，也因此導致了精確率的大幅度下降.從圖12中也可以看到本文提出的YOLACT+HA3D方法位于右上角，這說明HA3D方法的綜合表現最好.經結果對比分析可得出：本文提出的HA3D方法在檢測精度下降可接受范圍內，大幅度地提高了總體檢測速度，相比于傳統的基于端到端的深度學習方法，更適合于自動駕駛等實時性要求高的工作場景.

因此，在汽車的3D檢測中，相對于部分具有代表性的端到端的3D物體檢測方法，HA3D在精確率和速度的綜合方面上表現突出，這說明了傳統方法確實適合用來完成3D物體檢測過程中的部分任務，使用聚類算法等來進行雷達點云篩選和坐標計算，取得了很好的檢測精度，并且減少了計算量，提升了檢測速度.

4 總結與展望

本論文提出的HA3D方法從全新的異構角度來考慮3D物體檢測問題,將傳統算法應用到3D物體檢測中，實現了“深度學習+傳統算法”的異構3D物體檢測方法.從實驗結果中來看，本文方法相對于部分基于端到端深度學習的3D物體檢測方法，在速度和精確率的綜合表現上具有優勢(速度提升52.2%，RPT指標提升49%)，該結果說明傳統算法確實適合用于解決3D物體檢測中的坐標計算等問題.這樣將深度學習和傳統算法相結合進行3D物體檢測的方法，相對于直接使用端到端的深度神經網絡，不僅保證了較高的準確率，還具有更快的檢測速度，并且該方法通過多模塊的形式來實現，具有更加靈活的結構和更好的可拓展性.

本文提出的方法還有進一步的優化空間，例如：1)本文方法還可以通過算法優化和GPU加速，進一步提升計算速度；2)可以嘗試通過路面檢測來獲取物體所在高度，從而避免2D檢測邊框準確性對結果的影響，可能會進一步提高3D檢測結果的精確率；3)如果能夠獲得充足的汽車分類神經網絡的訓練數據，就可以訓練出汽車分類神經網絡，進而預測獲得汽車尺寸數據，實現本文所提出的汽車尺寸預測思路.