基于SSD 的實時車輛檢測算法研究?

譚 威 周 斌 張 輝 明德烈

（1.華中科技大學(xué)自動化學(xué)院多譜信息處理技術(shù)國家級重點實驗室 武漢 430070）（2.宇航智能控制技術(shù)國家級重點實驗室 北京 100854）（3.北京航天自動控制研究所 北京 100854）

1 引言

隨著生活水平的不斷提高，汽車逐步成為了人們出行的代步工具，然而日益增長的車輛對已有的車輛監(jiān)管系統(tǒng)提出了巨大的挑戰(zhàn)。傳統(tǒng)通過人工判讀的方法在處理海量的交通視頻信息已顯得越來越乏力，搭建智能檢測識別系統(tǒng)以自動處理各種交通視頻信息已成為主流趨勢。車輛檢測作為車輛監(jiān)管系統(tǒng)中一項最基礎(chǔ)的關(guān)鍵技術(shù)，長期以來就是國內(nèi)外廣大學(xué)者的重點研究對象。

近幾年來，隨著機器學(xué)習(xí)的逐步深入研究，車輛檢測算法大致可分為兩類：基于車輛特征信息的檢測和基于機器學(xué)習(xí)方法的檢測算法。基于車輛特征信息的檢測算法主要根據(jù)圖像中的邊緣信息［1～2］、紋理［3～4］、角點［5～6］、顏色［7］、形態(tài)學(xué)等特征信息來檢測定位車輛。文獻［8］改進了混合高斯背景模型，結(jié)合幀差法和背景差分法的高效性，克服了對光照變化敏感的問題。文獻［9］根據(jù)車輛陰影劃分感興趣區(qū)域，再運用車輛自身的紋理特征對該假設(shè)進行驗證，取得了不錯的效果。文獻［10］通過Sobel 算子檢測出圖像中所有垂直邊緣圖像信息，并運用垂直積分投影特性獲得感興趣區(qū)域。文獻［11］通過分析車輛的邊緣信息等，運用Gabor 濾波器提取相應(yīng)特征，并使用SVM 分類器取得了不錯的效果。文獻［12］將易錯分類但分辨率高的淺層特征與分辨率低但抽象化的高層特征融合起來，得到了更好的候選區(qū)域，進一步提高了檢測的準確率。文獻［13］利用Faster R-CNN 網(wǎng)絡(luò)提取車輛的深度卷積特征，不僅克服了一直以來對手工特征的依賴問題，而且大幅度地提高了目標的檢測效率。然而，這兩種深度學(xué)習(xí)方法并沒有達到實時性的要求。

2016年，Wei Liu提出來SSD檢測算法［14］。SSD是一種新穎的端到端（End-to-End）的檢測算法。SSD也屬于CNN，但SSD不僅保留了之前CNN的檢測高效性，同時也保證了檢測的實時性。

我們用以VGG 為基礎(chǔ)網(wǎng)絡(luò)的SSD 算法檢測視頻中的車輛。通過實驗，可以發(fā)現(xiàn)SSD算法不僅能夠保證準確率，也能達到實時性的要求。

2 SSD算法

CNN 網(wǎng)絡(luò)檢測車輛時，主要分為以下幾個步驟：首先在圖像中生成候選框，然后對候選框進行特征提取，最后根據(jù)訓(xùn)練好的分類器對該特征進行候選驗證。這樣雖然能夠保證檢測的準確率，卻達不到實時性的要求。SSD 算法由此應(yīng)運而生，它兼具了實時性與準確性，是目標檢測歷史上的重大突破。為了進一步提高準確率，我們對基礎(chǔ)網(wǎng)絡(luò)提取的特征做了多層次的級聯(lián)。

2.1 SSD介紹

SSD 網(wǎng)絡(luò)基于前饋卷積網(wǎng)路，其根據(jù)裁剪或擴張產(chǎn)生固定大小的邊界框，并通過打分系統(tǒng)得到框中對象類別的分數(shù)，最后運用非極大值抑制算法消除冗余的重復(fù)框得到最后的檢測框。在本實驗中，我們以VGG-16 網(wǎng)絡(luò)［15］作為基礎(chǔ)網(wǎng)絡(luò)，通過該特征提取網(wǎng)絡(luò)對輸入圖像進行特征提取。與常見的CNN 網(wǎng)絡(luò)不同，我們并沒有采用全連接層，而是設(shè)計了一種新的輔助結(jié)構(gòu)，由此得到了具有以下兩種特征的檢測器。

1）多尺度特征圖檢測器：在基礎(chǔ)網(wǎng)絡(luò)的末尾依次添加若干卷積特征層，這些層的尺寸逐漸減小，形成了一個類似于金字塔的結(jié)構(gòu)，增強了網(wǎng)絡(luò)對車輛大小的魯棒性。而且，每個特征層上檢測得到的卷積模型各不相同。

2）檢測的卷積預(yù)測器：我們設(shè)計了一組卷積濾波器用于新增加的特征層，這樣就可以得到固定的預(yù)測集合。對于具有c 個通道、大小為m×n 的特征層，我們利用大小為3×3×c 的卷積核，得到類別的分數(shù)或者相對于默認框的坐標偏移。在特征圖中，通過大小為m×n 的卷積核作用，在相應(yīng)位置得到一個輸出結(jié)果，見圖1。

圖1 SSD網(wǎng)絡(luò)結(jié)構(gòu)

2.2 網(wǎng)絡(luò)訓(xùn)練

與其他分類器不同，在訓(xùn)練SSD 網(wǎng)絡(luò)模型時，我們需要將車輛的真實標簽信息指定到檢測器輸出集合的某一特定輸出中。一旦指定對應(yīng)關(guān)系確定，我們就可以采用端對端方式應(yīng)用損失函數(shù)和反向傳播。

在訓(xùn)練階段，我們首先建立了車輛的真實標簽與訓(xùn)練集中默認框之間的對應(yīng)關(guān)系。對每個標簽框，我們都從確定好的默認框中進行選擇。在訓(xùn)練開始時，我們匹配每個真實標簽框與默認框最好的杰卡德（Jaccard）重疊。通過添加這樣的匹配，可以大大地簡化學(xué)習(xí)問題。這樣，我們也可以從多個重疊默認框中取得較高的置信度。

其中N 是匹配默認框總數(shù)，當(dāng)N=0 時，我們認為損失為0。

其中

位置損失是預(yù)測框與真實標簽值框參數(shù)之間的平滑損失。

其中

隨著網(wǎng)絡(luò)層數(shù)的增加，在池化過程中，所得到的特征圖不斷減小，這樣不僅降低了計算量，節(jié)省了內(nèi)存，更在一定程度上保證了特征的平移和尺度不變性。為了使算法對尺寸有良好的魯棒性，Sermanet 等將不同大小的圖像作為訓(xùn)練集，得到了不錯的效果。然而，我們可以結(jié)合基礎(chǔ)層中不同層次提取的特征圖的預(yù)測結(jié)果來達到類似的結(jié)果。通過Hariharan 等的實驗結(jié)果可以知道，較低層可以捕獲到輸入對象的更加精細的細節(jié)，因此較低層的特征圖可以提高語義分割結(jié)果。類似地，高層特征圖中采樣得到的全局文本也可以提高平滑分割的結(jié)果。在SSD框架內(nèi)，設(shè)定的默認框不需要一一對應(yīng)于每層的實際感受視野。我們通過特征圖所在位置的不同尺寸大小的組合以及不同寬高比的默認框的預(yù)測結(jié)果可以得到包含了輸入對象不同尺寸和形狀的預(yù)測集合。例如圖2中，車4×4 特征圖的默認框相匹配，但不與8×8 特征圖默認框相匹配。這是因為默認框都具有不同的尺寸大小，但并不能匹配車的框，因此在訓(xùn)練期間被認為是負樣本了。

圖2 SSD示意圖

在匹配步驟之后，以真實標簽為中心的大多數(shù)默認框都是負樣本，這將導(dǎo)致在訓(xùn)練過程中正負樣本比例的嚴重失調(diào)，由此降低檢測的準確率。因此，我們將每個默認框的最高置信度排序，通過選擇排序在前的框，保證正負樣本比例最多為3∶1，以此替代使用所有的負樣本。

在訓(xùn)練過程中，為了使模型對輸入圖像的大小和形狀更具魯棒性，通過對訓(xùn)練圖像做隨機的采樣方式來做數(shù)據(jù)增廣。如果真實標簽的框中心在采樣片段內(nèi)，則保留重疊的部分。同時為了保持網(wǎng)絡(luò)的統(tǒng)一性，我們將每個采樣片大小設(shè)為固定值，并以0.5的概率進行水平翻轉(zhuǎn)。

3 實驗結(jié)果與討論

3.1 數(shù)據(jù)集

本文中，數(shù)據(jù)集來自于城市的交通監(jiān)控視頻，總共截取10000張分辨率為1280×720 的圖片。其中7000 張圖片為訓(xùn)練集，3000 張圖片為測試集。在訓(xùn)練集中，我們把目標分別分為A，B，C 三類。其中A 是機動車，B 是非機動車，C 是行人，如圖3所示。

圖3 樣本類別示例

3.2 實驗平臺

實驗主要在PC 端完成的。PC 主要配置為i7處理器、GPU（GTX-1080ti）和32G 內(nèi)存。SSD 和YOLO［16］使用了TensorFlow 框架，使用的編程語言為Python。

3.3 實驗結(jié)果

使用VGG16 作為基礎(chǔ)網(wǎng)絡(luò)，我們采用SSD 可以得到如圖4所示的檢測結(jié)果。

通過測試結(jié)果，得到SSD，YOLO和背景相減法（BGS）的查準率、查全率以及識別幀率（f/s），結(jié)果如表1所示。

表1 實驗結(jié)果對比

3.4 結(jié)果分析

表1 中，SSD、YOLO 和BGS 算法的識別幀率均滿足實時性的要求。雖然3 種方法的實時性相差不大，但SSD 的查全率與查準率明顯高于YOLO。其原因是SSD網(wǎng)絡(luò)通過逐級網(wǎng)絡(luò)衰減，能提取到比YOLO 更加有效的特征。而相比于BGS，雖然SSD的查全率略低，但其查準率明顯高于BGS。這是由于BGS 是通過當(dāng)前幀與背景之間的差值得到的結(jié)果，略微的變化都會被檢查到。

通過實驗可以發(fā)現(xiàn)，雖然SSD 模型檢測較遠處的車輛略顯不足，但在近處時，其較高的查全率、查準率以及識別幀率，基本可以滿足車輛監(jiān)督的準確性和實時性的要求。

4 結(jié)語

本文采用SSD 檢測算法實現(xiàn)車輛檢測，取得了中高的檢測準確率和檢測速度，基本滿足了對視頻種車輛檢測的要求。而本文提出對于較遠處車輛，由于目標尺度過小，檢測準確率還需要后期的進一步提高。