基于二值網絡的自動駕駛目標檢測方法

吳岳敏　孫圣鑫　王小龍　馬彬　程香平

摘要：針對現有全精度自動駕駛目標檢測方法難以在車載計算資源受限平臺實時部署等問題，提出了一種基于二值網絡的目標檢測方法.該方法通過重構殘差網絡單元和加寬每階段通道數改進Faster R-CNN主干網絡，以增強主干網絡特征提取的能力.此外，該方法通過修改卷積核改進特征金字塔網絡和區域提議網絡，增強表征和預測能力.通過在兩種常用目標檢測數據集上進行的大量實驗表明，該方法能夠大幅度減小模型內存，提高檢測速度，并取得與全精度模型相近的檢測精度.該方法相比于其他先進的二值化目標檢測算法，取得了最優秀的檢測性能；相比全精度模型，平均參數量減少1.89倍，平均推理速度提高了6.10倍，而檢測精度mAP在兩數據集上分別僅下降0.2%和2.4%.

關鍵詞：自動駕駛； 目標檢測； 二值化； 特征金字塔網絡

中圖分類號：U461.91文獻標志碼： A

Automatic driving object detection method based on binary network

WU Yue-min SUN Sheng-xin WANG Xiao-long MA Bin CHENG Xiang-ping（1.School of Electrical and Information Engineering， Hubei University of Automotive Technology， Shiyan 442002， China; 2.Haoteng （Hubei） Intelligent Technology Co.， Ltd.， Shiyan 442000， China; 3.School of Electronic Information Engineering， Beihang University， Beijing 100191， China; 4.Institute of Applied Physics， Jiangxi Academy of Sciences， Nanchang 330029， China）

Abstract：Aiming at the problem that the existing full precision automatic driving detection methods are difficult to deploy in real time on the platform with limited computing resources，an object detection method based on binary network is proposed.This method improves the backbone network of Faster R-CNN by reconstructing residual network units and widening the number of channels in each stage，so as to enhance the capability of backbone network feature extraction.In addition，this method improves FPN and RPN by modifying the convolution kernel to enhance the representation and prediction capability.Extensive experiments on two target detection datasets show that this method can greatly reduce the model memory，improve the detection speed，and achieve the accuracy similar to the full accuracy model.Compared with other advanced binary target detection algorithms，this method has achieved the best detection performance; Compared with the full accuracy model，the average parameter quantity is reduced by 1.89 times，and the average reasoning speed is increased by 6.10 times，while mAP is only reduced by 0.2% and 2.4% on the two datasets，respectively.

Key words：automatic driving； object detection； binarization； feature pyramid network

0引言

自動駕駛目標檢測是當今汽車領域的研究重點之一，主要處理來自車載雷達和視覺檢測傳感器的觀測數據.目前基于車載雷達的檢測技術已經相對成熟，但基于視覺檢測的檢測技術還需進一步研究.隨著深度卷積網絡的發展，在視覺目標檢測領域，已經出現了眾多高精度的檢測網絡，例如一階段檢測算法SSD［1］、YOLO［2］、RetinaNet［3］等，二階段檢測算法Fast R-CNN［4］、Faster R-CNN［5］等.Lin等［6］提出了一個具有自上而下架構、可以實現多維度特征提取的特征金字塔網絡（Feature Pyramid Networks，FPN），結合現有檢測網絡能夠顯著增強檢測網絡檢測性能.但目前來看，這些檢測網絡通常擁有數百萬的參數，要求數以億計的浮點數運算，難以有效的在資源受限設備中進行實時應用.

為了實現檢測網絡有效嵌入資源受限設備的同時保證目標檢測網絡的推理速度和檢測精度，工業界和學術界提出了輕量化網絡設計［7］、網絡剪枝［8］、低秩分解［9］、量化［10］和知識蒸餾［11］等多種方法.李彥辰等［12］提出一種基于Efficientdet的單階段目標檢測框架來應對自動駕駛計算資源受限和小目標檢測精度問題；黃鴻勝［13］研究了基于融合的感興趣區域特征的蒸餾學習機制，加快了用于自動駕駛的輕量級模型的訓練與推理速度;白士磊［14］對改進的YOLOv3網絡進行模型剪枝，模型精度下降可接受的情況下，減少模型對硬件資源的消耗，進而保證實時性.量化憑借減少網絡參數和激活值的比特寬度，能夠實現高效的推理和模型壓縮.二值網絡是一種極端的量化形式.它將卷積神經網絡的權重和激活值壓縮到1比特，并使用XNOR位運算和位計數操作代替32比特浮點數的乘法來實現卷積操作，從而節省了大量的內存和計算資源.Rastegar等［15］將激活和權重量化至1比特，取得了較好的性能；Lin等［16］通過增加權重參數來增強檢測器的性能.但由于二值化網絡的表達能力有限，其模型精度一直遠低于全精度模型.

為了降低自動駕駛場景下計算資源的同時滿足檢測精度的要求，本文選取當前主流的二階段目標檢測方法Faster R-CNN為基準模型，改進了作為主干網絡的深度殘差網絡［17］（Deep residual network，ResNet）以及特征金字塔網絡FPN與區域提議網絡（Region Proposal Network，RPN）.本文提出的二值化模型可通過更少的參數實現接近32比特全精度模型的檢測精度，并優于其他先進的二值化檢測方法，在自動駕駛目標檢測領域中具有重要的應用價值.

1算法原理

1.1Faster R-CNN網絡框架

Faster R-CNN的網絡結構圖如圖1所示，可分為特征提取、區域提議網絡和Fast-RCNN檢測網絡三個部分.

1.1.1算法流程

Faster R-CNN摒棄了以往二階段檢測模型［5］中帶來巨大的時間成本滑動窗口和selective Search方法，而是通過RPN網絡來生成目標區域候選框，極大程度上縮減了待檢測目標區域的生成成本，使得二階段算法時間復雜度大大降低.如圖1所示，待檢測圖像經過預處理后，輸入卷積神經網絡中進行特征提取，RPN與Fast R-CNN部分共享該特征.本研究將特征圖對應的尺寸映射到原圖可以得到錨點坐標，再以錨點為中心在原圖上設定不同尺寸和比例的候選框，并根據候選框與真實圖像的目標邊框的交并比（Intersection over Union，IOU）設定正負標簽.

RPN網絡部分使用3×3卷積對特征進行進一步提取，再將卷積結果分別使用兩個1×1卷積分成兩條支路，每條支路用通道數對應每個錨點對應候選框的分類概率值與位置坐標數目.然后，Fast R-CNN網絡部分濾除不符合要求的候選框，將剩下的候選框按存在目標的概率進行排序，提取前N個提議區域并進行非極大值抑制（Non-Maximum Suppression，NMS），最終篩選出M個感興趣區域（Regions of interest，ROIs）與共享特征一起輸入到ROI池化層.其中，ROI池化層根據特征提取部分的下采樣倍數在共享特征上摘取每個ROI所對應的大小不一的特征轉換為長度相等的特征向量送入到全連接層.最后利用Softmax函數來計算特征向量對應候選框所包含目標類別，以及利用回歸函數精確回歸最終檢測框的坐標.

Faster R-CNN可以總結為特征提取、目標區域候選框生成和目標位置坐標與種類的概率的計算三個步驟，從而實現端到端訓練.

1.1.2損失函數

1.2標準1比特卷積神經網絡

2二值化目標檢測

2.1更寬的主干卷積神經網絡

本文選取Faster R-CNN為基準模型，提出了一種二值化自動駕駛目標檢測方法.其中，本研究選用了ResNet18作為主干卷積神經網絡，其采用了殘差網絡單元結構，如圖3（a）所示.該結構有效的解決了深度網絡的深度增加導致模型準確度出現飽和甚至下降的情況，即深度網絡的退化問題.

為了提高主干網絡提取語義特征的能力，本研究首先將其通道數加寬了一倍，結構對比如表1所示.此外，本研究對殘差單元內部的卷積及批歸一化操作前后使用了跳躍連接，以降低過擬合的風險，如圖3（b）所示的全精度殘差網絡單元.

為了將設計的全精度殘差網絡單元進行二值化，本研究首先引入了一種歸納偏置來微調輸入特征，然后利用二值化激活函數將全精度激活值輸入進行1比特量化.本研究還設計了二值化卷積操作替代傳統卷積操作，實現了網絡參數的二值化，并利用批歸一化操作使訓練過程更快更穩定，具體過程如公式（5）所示.然后，本研究再次引入了歸納偏置優化卷積操作的輸出，并用非線性激活函數PRelu增強二值神經網絡的非線性表征能力.此外，本研究在二值化殘差網絡單元中額外引入了跳躍連接，與輸入的全精度激活值進行累加，增強網絡訓練的穩定性.本文二值化網絡殘差單元整體結構如圖3（c）所示.

2.21比特FPN 網絡

在FPN網絡結構出現前，傳統目標檢測網絡在多尺度目標檢測任務上依然表現不佳.這是因為以往大多數的目標檢測網絡只采用了卷積神經網絡的頂層特征做預測，盡管高層的特征所包含的語義信息較為豐富，但是定位位置會比較粗略，相反底層特征包含語義信息較少，但定位位置準確.FPN充分利用了不同分辨率層的特征圖所含有的多尺度語義信息，使得模型能夠檢測較大尺度差異的不同目標，大大提升了小目標檢測水平.

2.2.1FPN算法流程

如圖4所示，FPN網絡結構包含2個部分，分別是一個自底向上的路徑，一個自頂向下和橫向連接的路徑.

自底向上路徑對應圖4左側部分，也代表圖1中的特征提取部分.對于FPN，本研究定義每個網絡階段為一個金字塔級別，并抽取每個階段的最后一層來搭建特征金字塔.因為每個階段的最后一層包含該階段最豐富的語義信息.自頂向下的路徑如圖4右側所示，通過從更高層的金字塔特征進行空間上采樣得到語義更強的特征圖，從而產生更高分辨率的特征.

簡單來說，當給定任意尺寸大小的單張圖片作為輸入，通過FPN網絡，本研究可以得到不同層級上不同大小比例的具有更豐富語義信息的特征圖.

2.2.2結合1比特FPN網絡的Faster R-CNN

為了增加1比特特征金字塔所包含的語義信息和增強其表征能力，本研究做了兩點改進.其一是將自頂向下過程中特征圖的通道數加寬一倍，由256調整為512；其二是將橫向連接過程中的1×1卷積調整為3×3卷積.

本研究將改進FPN網絡分別用在Faster R-CNN的RPN階段來生成提議框和Fast R-CNN階段來檢測目標，整體框架如圖5所示.針對RPN，結合FPN的Faster R-CNN使用FPN代替單尺度頂層特征圖來改進RPN.與Faster R-CNN相同，它使用一個相同的頭部網絡（由3×3卷積和兩個1×1卷積支路組成）附加到特征金字塔的每一層.這樣本研究就可以得到多尺度特征所對應的特征區域.

此外，傳統Faster R-CNN使用ROI池化層將不同尺度的特征區域轉換為相同尺度的特征向量，以進行分類預測和邊界框回歸.但是，ROI池化層中的取整操作會加大特征圖的轉化偏差.本文使用ROI Align替換ROI池化來減輕其導致的誤差.ROI Align是一種區域特征聚集算法，其使用雙線性插值算法來確定候選框坐標，而不是簡單的取整操作，從而有效提升檢測模型的檢測性能.

2.3二值化的目標檢測網絡

本研究將結合改進FPN網絡的Faster R-CNN作為最終的目標檢測模型.根據前文描述，本研究將其二值化過程分為3個部分，分別是更寬的ResNet18主干神經網絡量化、改進FPN網絡量化和RPN網絡量化.

更寬的ResNet18網絡主要由通道數加寬的全精度殘差網絡單元組成，如圖3（b）所示.本研究將其進行二值化，如圖3（c）所示.對于網絡殘差層，輸入為32比特全精度x，隨后按照公式（5）對x和32比特全精度的卷積神經網絡的權重wr進行1比特量化得到1比特激活ab和1比特權重wb.

對于改進FPN網絡的量化，同樣可分為自底向上和自頂向下與橫向連接兩條路徑.自底向上的過程也就是主干網絡的量化過程，詳見2.3節.自頂向下的過程中，本研究對來自更高層的二值化特征進行上采樣.同時，本研究將橫向連接過程中用到的32比特全精度3×3卷積按照公式（5）量化為1比特3×3卷積來調整本層金字塔特征通道數.之后再將其與來自更高層上采樣后的二值化特征合并，最終得到不同比例大小的特征映射.

RPN網絡的作用是對FPN網絡得到的候選框進行初步篩選和坐標微調，這里本研究將RPN網絡用到的32比特全精度3×3卷積和兩路1×1卷積都調整并量化為1比特3×3卷積.隨后的Reshape操作與Softmax函數遵循32比特全精度網絡模型的做法.

Fast R-CNN預測分類類別和邊界框坐標回歸所用到的全連接層保留全精度模型的權重和激活.

2.4訓練及推理過程

本研究的目標監測網絡在訓練時的前向傳播與梯度反傳過程依舊保持32比特全精度的權重與激活，并使用連續優化方式即隨機梯度下降法（Stochastic Gradient Descent，SGD）來訓練網絡.其中主干卷積神經網絡使用的是在ImageNet大型數據集上預訓練好的ResNet18網絡模型，激活函數使用的是PRelu非線性函數.損失函數與32比特全精度模型一致，按照公式（4）計算.推理過程中，本研究按照2.1及2.2節所描述流程對32比特全精度Faster R-CNN+FPN網絡進行二值化，利用該1比特二值化模型進行推理.

3實驗與分析

本文在公開數據集PASCAL VOC［18］和COCO［19］上進行了全面且充足的實驗，來驗證本文提出的基于二值網絡的自動駕駛目標檢測方法的性能.此外，本研究在自動駕駛場景數據集KITTI［20］上進行了檢測結果的可視化，進一步驗證了本文方法在自動駕駛場景的有效性.

3.1數據集介紹

PASCAL VOC數據集共有20個類別的目標，包含行人、自行車、摩托車、公交車、轎車等自動駕駛場景下常見的目標類型.遵循其他檢測算法的做法，本研究在PASCAL VOC2007 trainval和PASCAL VOC2012 trainval上訓練模型，在VOC test2007進行測試.訓練集大概含有16 k張圖片，測試集含有4 952張圖片.

COCO數據集共有80個種類的目標，包含行人、自行車、摩托車、轎車、卡車、公交車、交通信號燈、停車標志、停車計時器等自動駕駛場景下常見的目標類型.本研究的訓練集由80 k張COCO train2014的圖像與35 k張從COCO val采樣的圖像（即COCO trainval35 k）組成，測試集為COCO minival里的5 k張圖片.

KITTI數據集包含市區、鄉村和高速公路等真實的交通場景采集的圖像數據，是目前國際上最通用的自動駕駛場景算法評測數據集之一.

3.2實驗結果

遵循LWS-Det［21］檢測算法的做法，本研究使用均值平均精度（mean Average Precision，mAP）作為目標檢測性能評測指標，使用參數量（Parameters）和浮點運算次數FLOPs（Floating Point of Operations）作為基于二值網絡的檢測算法內存量和計算量的評測指標.

3.2.1檢測性能分析

本研究首先在通用數據集PASCAL VOC驗證本文方法的有效性，并與其他先進的基于二值網絡的目標檢測算法進行比較，實驗結果如表2所示，其中所有方法都以Faster-RCNN模型為基礎模型，其主干網絡均為ResNet-18，W/A（bit）表示權重和激活函數的比特位數.結果表明，與其他先進的二值化目標檢測算法相比，本文方法取得了十分顯著的檢測性能提升，在mAP指標上比第二名的LWS-Det方法提升了3.0%.實驗表明了本文方法能夠在減小計算量和參數量的同時，取得更好的檢測性能.即便與全精度目標檢測網絡相比，本文方法幾乎沒有檢測性能上的損失，在mAP指標上僅降低了0.2%.

本研究還在含有大量自動駕駛相關場景的COCO數據集上做了充足的實驗以進一步驗證本文方法的有效性，并與其他先進的基于二值網絡的目標檢測算法進行比較，實驗結果如表3所示，其中所有方法都以ResNet-18為主干網絡.與PASCAL VOC數據集上的結果類似，本文方法取得了優于其他先進的二值檢測算法的表現，在mAP指標上比第二名的LWS-Det方法提升了2.9%，同時超越了4比特FQN檢測方法1.7%的mAP.

總的來說，相比于其他先進的二值目標檢測算法，本文方法在基于二值網絡的目標檢測任務上取得了最優的性能.本文方法還達到了接近于全精度目標檢測算法的性能，充分證明了本文方法的有效性.

3.2.2參數量與計算量分析

參數量對比結果如表4所示，本研究對目標檢測網絡的每個部分都進行了單獨統計.表4表明了本文方法相比于全精度的目標檢測算法，參數量節省了1.89倍.值得注意的是，因為檢測頭部多為全連接部分，而全連接層并沒有進行二值化，僅量化了其中的卷積部分，所以該部分參數量相對于全精度網絡并沒有明顯的減少.

類似地，在計算量方面，本研究同樣分別對比了網絡的各個模塊的計算量，結果如表5所示.表5表明了本研究的方法相比于全精度的目標檢測算法，計算量大大減少，速度提升了6.10倍.值得注意的是，檢測頭部雖然參數量降低程度不大，但由于卷積網絡的參數共享的特性，其能夠用更少的參數完成更多的計算量，所以量化后頭部網絡的計算量有了十分明顯的下降.

綜上所述，相比于全精度網絡，本文方法很大程度上降低了檢測算法的參數量與計算量，同時保證了優秀的檢測性能.

3.2.3自動駕駛場景目標檢測可視化

目前，基于COCO數據訓練的全精度Faster-RCNN模型已能滿足實際目標檢測需求，而本研究提出的二值化檢測模型在大大提高模型效率的基礎上，僅有極小的性能損失，因此同樣滿足于自動駕駛場景下的目標檢測要求.為了更直白地表明本算法的實用性，本研究在KITTI測試集上進行測試并可視化，結果如圖6所示.從圖6中可以看出，在自動駕駛場景中，很多場景包含密集目標，且存在著大量的小目標，例如遠處的車輛、行人和自行車等，這對目標檢測算法是一個極大的挑戰.

圖6中的檢測結果表明，本文方法在自動駕駛場景目標檢測中，對密集場景以及多尺度目標，都取得了優秀的檢測效果.因此，本文提出的基于二值網絡的目標檢測算法能夠在大大減小現有目標檢測算法參數量和計算量的基礎上，同時保證在自動駕駛場景下有著優秀的目標檢測性能.

4結論

為了實現高效且準確的自動駕駛目標檢測，本文提出了一種基于二值網絡的目標檢測方法.具體地，本研究基于現有Faster-RCNN目標檢測框架，二值化改進更寬的ResNet18主干網絡，并設計了一種二值化的FPN特征金字塔網絡.相比于全精度模型，本文提出的檢測模型平均參數量減少1.89倍，平均推理速度提高了6.10倍，并且同時保持了接近全精度模型的檢測性能，這對目標檢測算法在自動駕駛場景下的應用有著十分重要的意義.此外，通過大量的實驗表明，相比于其他先進的基于二值網絡的目標檢測方法，本文提出的1比特方法取得了最優秀的目標檢測性能，甚至優于4比特的目標檢測算法.因此，本文方法對自動駕駛目標檢測算法的部署有著極為重要的實用價值及研究意義.

參考文獻

［1］ Yi J，Wu P，Metaxas D N .ASSD：Attentive single shot multibox detector［J］.Computer Vision and Image Understanding，2019，189（1）：102 827.

［2］ Sun Z，Leng X，Lei Y，et al.BiFA-YOLO：A novel YOLO-based method for arbitrary-oriented ship detection in high-resolution SAR images［J］.Remote Sensing，2021，13（21）：4 209.

［3］ 劉潔瑜，趙彤，劉敏.基于RetinaNet的SAR圖像艦船目標檢測［J］.湖南大學學報（自然科學版），2020，47（2）：85-91.

［4］ Arora N，Kumar Y，Karkra R，et al.Automatic vehicle detection system in different environment conditions using fast R-CNN［J］.Multimedia Tools and Applications，2022，81（13）：18 715-18 735.

［5］ Rens Q，He K，Girshick R，et al.Faster R-CNN：Towards real-time object detection with region proposal networks［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（6）：1 137-1 149.

［6］ Lin T，Dollar P，Girshick R，et al.Feature pyramid networks for object detection［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Hawaii：IEEE，2017：2 117-2 125.

［7］ 丁瑞敏，田軍委，劉雪松，等.輕量化卷積神經網絡目標檢測算法研究［J］.西安工業大學學報，2022，42（2）：188-194.

［8］ 孫文宇，曹健，李普，等.基于全局信息的卷積神經網絡模型剪枝微調優化方法［J］.北京大學學報（自然科學版），2021，57（4）：790-794.

［9］ Lin S，Ji R，Chen C，et al.Holistic CNN compression via low-rank decomposition with knowledge transfer［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2019，41（12）：2 889-2 905.

［10］ 馮鵬程，禹龍，田生偉，等.基于均方誤差的8位深度神經網絡量化［J］.計算機工程與設計，2022，43（5）：1 258-1 264.

［11］ 褚晶輝，史李棟，井佩光，等.適用于目標檢測的上下文感知知識蒸餾網絡［J］.浙江大學學報（工學版），2022，56（3）：503-509.

［12］ 李彥辰，張小俊，張明路，等.基于改進Efficientdet的自動駕駛場景目標檢測［J］.計算機工程與應用，2022，58（6）：183-191.

［13］ 黃鴻勝.自動駕駛場景下的車輛檢測技術研究［D］.廣州：廣東工業大學，2018.

［14］ 白士磊.基于深度學習的交通標志檢測與識別算法研究［D］.長春：長春工業大學，2020.

［15］ Rastegari M，Ordonez V，Redmon J，et al.Xnor-net：Imagenet classification using binary convolutional neural networks［C］//European Conference on Computer Vision.Amsterdam：Springer，2016：525-542.

［16］ Lin X，Zhao C，Pan W.Towards accurate binary convolutional neural net work［C］//Proceedings of the 31st International Conference on Neural Information Processing Systems.Long Beach：NeurIPS，2017：344-352.

［17］ 王海燕，張渺，劉虎林，等.基于改進的ResNet網絡的中餐圖像識別方法［J］.陜西科技大學學報，2022，40（1）：154-160.

［18］ Everingham M，Eslami S M，Van Gool L，et al.The pascal visual object classes challenge：A retrospective［J］.International Journal of Computer Vision，2015，111（1）：98-136.

［19］ Lin T Y，Maire M，Belongie S，et al.Microsoft coco：Common objects in context［C］//European Conference on Computer Vision.Zurich：Springer，2014：740-755.

［20］ Wang X，Zhang H.Deep monocular visual odometry for ground vehicle［J］.IEEE Access，2020，8：175 220-175 229.

［21］ Xu S，Zhao J，Lu J，et al.Layer-wise searching for 1-bit detectors［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.Virtual：IEEE，2021：5 682-5 691.

［22］ Liu Z，Luo W，Wu B，et al.Bi-real net：Binarizing deep network towards real-network performance［J］.International Journal of Computer Vision，2020，128（1）：202-219.

［23］ Wang Z，Wu Z，Lu J，et al.Bidet：An efficient binarized object detector［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.Seattle：IEEE，2020：2 046-2 055.

［24］ Liu Z，Shen Z，Savvides M，et al.ReActNet：Towards precise binary neural network with generalized activation functions［C］//European Conference on Computer Vision.Glasgow：Springer，2020：143-159.

［25］ Li R，Wang Y，Liang F，et al.Fully quantized network for object detection［C］//Computer Vision and Pattern Recognition.Long Beach：IEEE，2019：2 810-2 819.

【責任編輯：陳佳】