改進SSD的交通標志目標檢測算法

肖丹東 陳勁杰

摘 要：以Faster R-CNN為代表的two-stage目標檢測算法檢測速度慢，而one-stage目標檢測算法中的SSD算法雖然檢測速度快，但對交通標志類小目標的檢測效果不佳。因此在SSD算法VGG16骨干網(wǎng)絡上引入感受野塊（RFB）結(jié)構，既提升檢測速度又可在小目標檢測上達到良好的檢測精度。與此同時，為提高網(wǎng)絡分類精度，在損失函數(shù)中加入中心損失。將SSD算法與改進的SSD算法在VOC數(shù)據(jù)集上進行訓練，對比其性能可知，改進后算法mPA值達到80.7%，相比SSD300（VGG16）算法提高了3.5%。該算法在LISA traffic sign數(shù)據(jù)集上訓練，在遷移學習的基礎上得到的mPA值為78.4%，檢測單張圖像平均耗時為20.5ms，可滿足實時性要求。

關鍵詞：交通標志;小目標檢測;RFB結(jié)構;中心損失

DOI：10. 11907/rjdk. 191977 開放科學（資源服務）標識碼（OSID）：

中圖分類號：TP312文獻標識碼：A 文章編號：1672-7800（2020）005-0048-04

0 引言

交通標志信息是交通場景中的重要環(huán)境信息，是保證先進駕駛輔助系統(tǒng)（Advanced Driver Assistant System， ADAS）正常運行的必要條件。目前基于計算機視覺的目標檢測算法可部分滿足場景信息檢測需求[1]，但在實際應用中還存在一些缺陷。基于OpenCV的目標檢測方法，如HOG（histogram of oriented gradient）、SIEF（scale-invariant feature transform）等方法使用人工設定先驗條件的方式進行檢測，導致算法魯棒性差，難以適應交通標志類復雜的交通場景檢測;如果算法應用到大范圍的智能化作業(yè)，不僅算法耗時、監(jiān)管人力消耗較大，同時算法實時性指標也難以滿足[2]。

近年來，CNN網(wǎng)絡在ImagNet中表現(xiàn)卓越，基于深度學習的目標檢測方法在圖像目標檢測領域成為應用熱點，相比基于OpenCV的目標檢測方法，基于CNN網(wǎng)絡的算法模型可檢測到圖像不同深度的特征，且可自主學習，獲得更豐富的特征。在基于深度學習的目標檢測領域有兩種類型的算法，一種是以Fast R-CNN、Faster R-CNN、R-FCN為代表的two-stage卷積神經(jīng)網(wǎng)絡算法[3-4];另一種是以YOLO、SSD、Retina-Net為代表的one-stage卷積神經(jīng)網(wǎng)絡算法[5-7]。這兩類算法各有優(yōu)劣，one-stage算法模型在檢測效率上更有優(yōu)勢，考慮到交通標志目標檢測實時性要求，SSD算法更貼合需求。但交通標志目標檢測屬于小目標檢測，SSD算法在該類檢測中的檢測精度較差，小目標特征信息主要依賴于網(wǎng)絡高層特征信息，因此本文選擇在SSD算法網(wǎng)絡高層特征提取過程中進行改進。

綜上所述，本文在高層特征的提取過程中，參照RFB結(jié)構，通過RFB感受野提取卷積層輸出的Feature Map特征，從而減少特征損失[8]。與此同時，為提高網(wǎng)絡分類精度，在損失函數(shù)中添加Center Loss損失項[9]。

1 改進SSD算法

1.1 SSD算法

SSD算法作為one-stage算法中的代表，是目前主流的目標檢測框架之一[10]。SSD網(wǎng)絡骨干是VGG16，修改的部分是將VGG16全連接層fc6和fc7轉(zhuǎn)換成[3×3]的卷積層conv6和[1×1]的卷積層conv7，同時為減小特征圖大小，將池化層pool5中stride=2的[2×2]卷積核改成stride=1的[3×3]卷積核，然后刪除VGG16網(wǎng)絡中的dropout層和fc8層，在此基礎上增加輔助卷積層，處理fine-tuning工作[11]。

SSD算法通過淺層CNN網(wǎng)絡提取多尺度特征，進而對目標進行檢測，其核心設計理念分為兩點：

（1）使用卷積后的特征作為檢測。相較于YOLO最后采用全連接層作為網(wǎng)絡預測輸出，SSD直接提取不同尺度的Feature Map，然后卷積輸出預測結(jié)果。這樣，對于形狀為[m×n×p]的Feature Map僅需[3×3×p]的小卷積核即可得到預測結(jié)果，減少計算量。

（2）設置先驗框。SSD在預測多個bounding box時，區(qū)別于YOLO在訓練過程中自適應目標的形狀，參照Faster R-CNN中的anchor，設置長寬比不同的先驗框，從而減少訓練難度[12]。

SSD算法在訓練過程中，因為目標檢測需得到兩類信息，分別是目標位置信息和目標分類信息，所以損失函數(shù)針對位置誤差（Locatization Loss，loc）與置信度誤差（Confidengce Loss，conf）這兩類進行計算回歸[13]。Loss函數(shù)是這兩類誤差函數(shù)的加權和：

1.2 SSD算法改進

SSD算法采用多尺度預測的觀念，在特征提取上有所改進，但是在構建多尺度特征圖時使用VGG16網(wǎng)絡的conv4_3卷積層作為特征提取，對Input圖像進行縮放，因此大小為[32×32]的小目標物體圖像在conv5_3卷積層中的Feature Map上只有[2×2]，位置信息損失較大。交通場景中的交通標志屬于小目標，所以SSD算法對該類目標檢測時會出現(xiàn)目標特征信息丟失的情況。針對在conv4_3和conv5_3卷積層特征部分丟失的問題，對SSD算法從兩方面進行改進：①VGG16網(wǎng)絡中引入感受野塊（Receptive Field Block，RFB），在conv4_3和conv5_3的特征提取和后續(xù)的特征傳遞中作出修改;②考慮到交通標志小目標的特征信息較少，所以在損失函數(shù)中添加Center Loss損失項，改善網(wǎng)絡類別置信度預測[14]。

1.2.1 RFB結(jié)構

RFB結(jié)構從生物學角度，根據(jù)生物視覺成像原理，模擬不同大小的感受野。RFB結(jié)構是以Inception為基礎，具體演變過程是Inception、Aspp和Deformable conv。

Inception主要采用3×3conv、9×9conv和15×15conv等不同尺寸卷積核的卷積層構成多分支結(jié)構，從而擴大感受野。

Aspp在網(wǎng)絡中構成多分支結(jié)構，在卷積核大小不變的同時改變每個分支卷積核的rate大小，從而擴大感受野維度。

Deformable conv來自Deeplab，膨脹卷積可在保持參數(shù)不變和感受野大小一致時，獲得更高分辨率特征[15]。

RFB綜合了以上幾種結(jié)構的理念，主要結(jié)構參照Inception模型。具體流程是由Previous layer傳入Input圖像，先分別經(jīng)過2個1×1conv，輸出的Feature Map一部分分別經(jīng)過1×1conv、3×3conv、5×5conv，然后再對應經(jīng)過rate=1的2×2conv、rate=3的3×3conv、rate=5的3×3conv，最后融合由layer傳出的特征，經(jīng)過1×1conv，把shortcut的1×1conv特征融合，通過激活函數(shù)Relu給出預測結(jié)果。可以看出RFB核心采集不同感受野的特征，然后通過膨脹卷積和rate的方式進一步擴大感受野，接著考慮過程中的信息損失，將最后和最初的特征進行融合，在盡可能豐富特征信息的同時保證特征信息不會丟失。

RFB結(jié)構在網(wǎng)絡中在conv4_3和conv7_fc的特征提取中替代原有方式，如圖1所示。

改進部分將conv4_3和conv7_fc卷積層提取特征換成RFB模塊，同時把Extra layers中卷積層前兩層也替換成RFB結(jié)構。在特征提取過程中，conv4_3和conv7_fc的Feature Map在RFB結(jié)構中把特征信息小目標部分的特征放大，然后將多階段的放大特征與原特征融合，再處理骨干網(wǎng)絡各個階段特征，最后進行分類和定位預測。

1.2.2 Center Loss部分

原SSD算法是對每一個Default生成一個4維Localization向量和一個Object_number維度的分類向量。為了更好地識別和分類，引入Center feature，它可以讓每個Default box進行中心點回歸。不同類別的中心點相隔較遠，相同類別的中心點靠近。

通過在SSD算法的前向傳播和后向傳播過程中計算center部分的loss梯度，得出loss極值情況，然后和SSD算法的原loss部分結(jié)合，得出置信度分類預測。

2 實驗分析

2.1 實驗平臺與數(shù)據(jù)

實驗電腦硬件采用戴爾工作站，配備NVIDIA 1080Ti作為GPU加速卡。操作系統(tǒng)為Ubuntu16.04，深度學習框架選擇Tensorflow。

為驗證改進SSD算法在目標檢測中的效果，首先使用VOC2007與VOC2012混合數(shù)據(jù)對模型進行評估。VOC2007和VOC2012數(shù)據(jù)集包含1 674張圖片，可用于訓練和驗證。通過訓練結(jié)果測試調(diào)整算法超參數(shù)，在算法收斂速度和精度上可獲得優(yōu)化[16]。在此基礎上，使用遷移學習的方法，在LISA Traffic Sign數(shù)據(jù)集上進行訓練，得到最后模型的weight文件。

2.2 算法訓練分析

首先是數(shù)據(jù)集預處理，為保證算法魯棒性，將圖片進行隨機旋轉(zhuǎn)，對稱映像，然后增加圖片對比度。算法初始學習率設定為0.004，后續(xù)學習率變化如公式（8）所示。

然后在VOC2007和VOC2012數(shù)據(jù)集上進行預訓練，bitch_size設為16，epoch設為50次。其中參數(shù)momentum和weight decay分別設為0.9和0.000 5。模型訓練結(jié)果精度使用平均準確率均值（mAP）作為評價標準[17]。在交通標志目標檢測中每個類別均可根據(jù)召回率（recall）和準確率（precision）組合成一條曲線，而mAP是多個類別AP的平均值。

使用Tensorflow中tensorboard工具動態(tài)對比觀察每個Feature Map給出的loss變化情況，觀察loss收斂情況。

2.3 實驗結(jié)果分析

在服務器上根據(jù)VOC數(shù)據(jù)集進行訓練，然后采集前16個epoch的feature Map loss情況，觀察函數(shù)曲線收斂情況，如圖2所示。

從圖2中可以看出算法val_loss從feature_1到feature_4處于收斂狀態(tài)，而在feature_5中l(wèi)oss出現(xiàn)震蕩，從加權l(xiāng)oss和pixel_error看出整體上算法處于收斂狀態(tài)，改進的算法在損失函數(shù)上表現(xiàn)良好。

同時將改進的SSD算法在數(shù)據(jù)集上的表現(xiàn)與SSD算法、one-stage典型算法、two-stage典型算法相比較（見表1），可看出改進算法在mAP、FPS上均有提高，檢測效果雖沒有大的提升，但是在小目標場景下檢測效果沒有下降，同時在FPS指標上效果明顯，實時性有較大提高。

從圖3中可以看出，無論對于近景還是遠景、單個交通標志或多個交通標志，改進后的SSD算法均能準確定位和識別場景中的標志，證明該算法達到預期檢測效果。

3 結(jié)語

本文對SSD算法進行改進，一方面保留了原網(wǎng)絡低深度、輕量化的特性，另一方面在原網(wǎng)絡中引入RFB結(jié)構，在損失函數(shù)中中加入Center Loss損失項。因此，算法在位置預測精度和分類預測精度上得到優(yōu)化，而在檢測速度上沒有受到明顯影響。在VOC2007和VOC2012數(shù)據(jù)集上進行驗證可知，改進后的SSD算法結(jié)構合理，在LISA Traffic Sign數(shù)據(jù)集中對交通標志類小目標檢測可取得較好效果。然而RFB結(jié)構雖然可以擴大特征的感受野，但是基于VGG16的淺層網(wǎng)絡本身無法獲得較多的特征信息，而且低層網(wǎng)絡特征并沒有得到優(yōu)化處理，所以下一步需在網(wǎng)絡骨干上進行改進，從而保證目標特征信息可被充分提取[18]，進一步提高算法精度和效率。

參考文獻：

[1] 錢建軒，朱偉興. 基于計算機視覺的動物跛腳行為識別[J]. 軟件導刊，2018，17（10）：14-17.

[2] 張三友，姜代紅. 基于OPENCV的智能車牌識別系統(tǒng)[J]. 軟件導刊，2016，15（5）：87-89.

[3] REN S，HE K，GIRSHICK R，et al. Faster R-CNN：towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence，2017，39（6）：1137-1149.

[4] DAI J，LI Y，HE K，et al. R-FCN：object detection via region-based fully convolutional networks[C]. Proceedings of the 30th International Conference on Neural Information Processing Systems，2016：379-387.

[5] REDMON J，DIVVALA S，GIRSHICK R，et al.You only look once：unified，real-time object detection[C]. IEEE Conference on Computer Vision & Pattern Recognition，2016：109-125.

[6] LIU W，ANGUELOV D，ERHAN D，et al. SSD：single shot multibox detector[J]. European Conference on Computer Vision，2016：21-31.

[7] LIN T Y，GOYAL P，GIRSHICK R，et al. Focal loss for dense object detection[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence，2017，99：2999-3007.

[8] LIU S，HUANG D，WANG Y. Receptive field block net for accurate and fast object detection[J]. European Conference on Computer Vision，2017：1711-1720.

[9] WEN Y，ZHANG K，LI Z，et al. A discriminative feature learning approach for deep face recognition[C]. Computer Vision–ECCV ，2016：499-515.

[10] 李超凡，陳慶奎. 基于學習算法SSD的實時道路擁堵檢測[J]. 軟件導刊，2018，17（6）：12-16.

[11] 徐樂，劉翔，張華. 基于SSD的道路前方車輛檢測[J]. 軟件導刊，2019（5）：27-30.

[12] 莫宏偉，汪海波. 基于Faster R-CNN的人體行為檢測研究[J]. 智能系統(tǒng)學報，2018，13（6）：107-113.

[13] 徐智康，李旸，李德玉. 基于可變最小貝葉斯風險的層次多標簽分類方法[J]. ?南京大學學報（自然科學），2017，53（6）：39-48.

[14] 張駿，梅魁志，趙季中. 基于置信度評估的Cache污染過濾技術[J]. 高技術通訊，2011，21（6）：644-651.

[15] 徐峰，鄭斌，郭進祥，等. 基于U-Net的結(jié)節(jié)分割方法[J]. 軟件導刊，2018，17（8）：165-168.

[16] 華夏，王新晴，王東，等. 基于改進SSD的交通大場景多目標檢測[J]. 光學學報，2019，38（12）：221-231.

[17] 唐聰，凌永順，鄭科棟，等. 基于深度學習的多視窗SSD目標檢測方法[J]. 紅外與激光工程，2018，3（1）：290-298.

[18] SZEGEDY C，LIU W，JIA Y，et al. Going deeper with convolutions[C]. IEEE Conference on Computer Vision and Pattern Recognition，2015：1-9.

（責任編輯：江 艷）