基于級聯SSD的目標檢測算法

雷華迪，陳東方+，王曉峰

(1.武漢科技大學 計算機科學與技術學院，湖北 武漢 430065；2.武漢科技大學 智能信息處理與實時工業系統湖北省重點實驗室，湖北 武漢 430065)

0 引 言

目標檢測技術[1-3]主要分為兩種研究方向：一種是傳統的目標檢測方法，主要通過構建特征描述子提取特征后利用分類器對特征進行分類實現目標檢測[4]；另一種是基于深度學習的目標檢測，在目標檢測算法中引入卷積神經網絡，提高了目標檢測的準確性和速度[5-11]。

在各種目標檢測方法中，SSD算法(single shot multibox detector)采用分層檢測目標的方式，擁有良好的檢測速度和檢測精度，是當前在工業生產中效果最好的目標檢測算法之一。針對SSD算法，也有了許多改進，例如DSSD[12]在算法中加入上下文信息，利用反卷積操作，單向融合高低層特征，提高了整體目標檢測效果，對小目標檢測也有一些提高；RSSD[13]通過rainbow concatenation方式(pooling加deconvolution)融合不同層的特征，在增加不同層之間feature map關系的同時也增加了不同層的feature map個數，提高了整體目標檢測效果，對小目標檢測也有一些提高。

上述算法雖然取得比較好的檢測效果，但是仍然存在一些不足。其中原始SSD算法對小目標的檢測效果不好，這主要由3個原因造成的。第一個原因是訓練樣本不平衡。第二個原因是底層特征表征能力弱，小目標難以精準分類。第三個原因是小目標區域的特征很小，無法在高層特征檢測器中檢測。而DSSD與RSSD采用特征融合的方式導致網絡參數很大，計算量變多，使得檢測速度很慢。為了解決上述方法中存在的問題，本文提出一種基于級聯SSD的目標檢測算法。算法的優點有：

(1)針對訓練樣本不平衡的問題，設計基于Focal Loss和截斷梯度法(truncated gradient，TG)改進的損失函數，使訓練更專注于損失值較大不容易分類的樣本，訓練出的模型能更好檢測到目標。

(2)針對底層特征表征能力不夠，無法精準分類的問題，設計小目標強化檢測模塊與SSD網絡級聯。該模塊在位置信息與表征能力都充足的高層特征檢測小目標。

(3)針對小目標區域的特征很小，無法在高層特征檢測器中檢測的問題，采用雙三次插值算法的上采樣方式，將小目標區域的底層特征上采樣到原始底層特征大小，從而可以在高層特征檢測器中檢測出小目標。

(4)針對實時檢測需要較快的檢測速度，而特征融合的方式增加的網絡參數太多導致檢測速度很慢的問題，本文采用分階段檢測的方式檢測目標，網絡的計算量沒有增大很多，實時性能良好。

1 相關工作

1.1 經典SSD算法

SSD算法，由Wei Liu提出，該算法是one-stage類算法，特點是檢測速度快且檢測精度較好，可以滿足一般工業需求，是如今應用最多的幾個檢測算法之一。

如圖1所示為經典SSD網絡結構，該網絡采用分層檢測的模式，即底層檢測小目標，高層檢測大目標，最后通過NMS(非極大值抑制)去除冗余的邊界框，得到最終檢測結果。由于小目標在底層語義信息不夠，在高層的位置信息不夠，導致雖然SSD對大目標檢測效果很好，但對小目標的檢測效果比較差，在小目標多的目標檢測任務上有所不足。

圖1 經典SSD網絡結構

基于此，本文算法借鑒這種分層檢測的模式，檢測時分為兩個階段，第一階段先通過訓練好的模型提取圖片各高層特征并分別檢測目標，得到不知具體類別的小目標區域和已知具體類別的大目標邊框，第二階段設計小目標強化檢測模塊與SSD網絡級聯，單獨提取小目標區域對應的高層特征來檢測小目標。這種檢測采用分階段形式，可以達到提升檢測效果的同時擁有良好的實時性能。

1.2 Focal Loss 簡介

Focal Loss[14]是Kaiming和RBG等提出的目標檢測用的新型損失函數，該損失函數主要是用來處理訓練樣本類別不均衡的問題。通過減少易分類樣本的權重，使模型在訓練時能越發專注于難分類的樣本，加強了訓練效果，提高了檢測結果。以二分類為例，具體公式如下

(1)

式中：p為網絡對樣本的預測概率，γ為添加的抑制參數，且大于0，用來抑制易分類樣本的權重，y為實際類別。

例如當γ=2時，對于正類樣本而言，預測結果為0.9肯定是簡單樣本，所以(1-0.9)γ就會很小，這時損失函數值就變得更小。而預測概率為0.3的樣本其損失相對很大。對于負樣本而言同樣如此，預測0.1的結果應當遠比預測0.7的樣本損失值要小得多。使得在訓練中會專注于難分類樣本。

SSD算法采用cross entropy(交叉熵)損失函數作為分類損失函數，對于樣本不平衡問題采用hard negative mining(困難負樣本挖掘)的方式，忽略了數量更多的損失值低的負樣本對訓練的影響；網絡的訓練偏重取決于兩者的損失值差距，Focal Loss中難易樣本損失值相對于交叉熵損失函數都是減少的，只是易分類樣本減少的更多，基于此，本文算法在Focal Loss的基礎上融入Truncated Gradient思想，使訓練更專注于難分類樣本，訓練效果更好。

2 基于級聯SSD的目標檢測算法

本文算法在訓練時對底層檢測器采用改進的分類損失函數，使訓練更偏向于難分類樣本，得到對小目標位置檢測效果更好的模型；預測時分為兩個階段，第一階段先通過訓練好的模型提取圖片各層特征并分別檢測目標，得到不知具體類別的小目標邊框FBbs和已知具體類別的大目標邊框Bbb，第二階段設計小目標強化檢測模塊與SSD網絡級聯，對FBbs提取高層特征，再進行檢測，得到小目標檢測結果Bbs，最后對Bbb和Bbs使用非極大值抑制(NMS)，得到最終檢測結果Bb。算法主要分為3個部分，分別為小目標位置檢測模塊、大目標檢測模塊和小目標強化檢測模塊。具體的網絡結構如圖2所示。

圖2 本文算法具體網絡結構

2.1 小目標位置檢測模塊

在整個網絡的初始階段，設置一個小目標位置檢測模塊。采用VGG16[15]作為基礎特征提取網絡，圖片輸入后進行多次卷積，到conv4_3層，將這一層的特征作為圖片的底層特征圖進行檢測，此時使用的檢測器為2分類和位置回歸，只進行小目標位置檢測而不檢測這個小目標具體是什么類別，從而得到不知具體類別的小目標位置邊框。此模塊主要工作為：

(1)改進分類損失函數Enhanced Focal Loss代替原始的cross entropy(交叉熵)損失函數，提高網絡檢測效果；

(2)設計新的小目標檢測器來檢測小目標位置，提高網絡檢測效果并減少網絡計算量。

2.1.1 Enhanced Focal Loss

在網絡的訓練階段，易分類樣本、難分類樣本的不平衡會對訓練結果產生較大影響。易分類樣本是指容易被網絡檢測，一般指網絡對樣本的預測概率pt>0.6的樣本，而另一種樣本的網絡預測概率pt≤0.6，難以準確預測，網絡學習這種模糊樣本較為困難，稱為困難樣本。如果不作樣本平衡，困難樣本對網絡學習過程中產生的權值影響小，隨著網絡訓練，困難樣本可能會被當成背景進而被忽視。

原始SSD網絡采用cross entropy(交叉熵)損失函數作為分類損失函數，對于樣本不平衡問題采用hard negative mining(困難負樣本挖掘)的方式選擇負樣本，實現正負樣本1∶3來處理這個問題，但是其中負樣本是按照樣本損失值大小排序，從中選出損失較大的負樣本作為訓練的負樣本，但是這樣的方式忽略了那些損失較小的負樣本，雖然這些負樣本損失較小，但數量多，加起來的損失較大，對最終損失有一定貢獻，所以這種方式存在不足。

基于Focal Loss和Truncated Gradient(截斷梯度法)的思想，本文提出改進的分類損失函數Enhanced Focal Loss代替原始交叉熵損失函數。優點是考慮了數量大但損失值小的負樣本對訓練的影響，且使網絡訓練更明顯的偏向于難分類樣本。該函數主要分為以下4個部分：

(1)以原始cross entropy(交叉熵)損失函數為基礎，刻畫的是實際輸出p(網絡對樣本的預測概率)與期望輸出(樣本實際類別)的距離，也就是交叉熵的值越小即損失值越小，網絡預測的越準

CE(p,y)=-log(pt)

(2)

(3)

式(3)為整體交叉熵損失函數，其中p為輸出概率，y為實際類別，pt為交叉熵損失函數p的意義。

(2)添加平衡系數alpha，優化正負樣本不平衡情況

CE(pt)=-αtlog(pt)

(4)

(5)

其中，αt為平衡系數，a為需自己設置的平衡參數，用來控制正負樣本權重，y為樣本實際類別，pt為樣本輸出概率。

(3)融入Focal Loss思想，添加抑制系數(1-pt)γ，使網絡訓練小幅偏向難分類樣本

(6)

式中：(1-pt)γ為抑制系數，γ為需自己設置的抑制參數，用來抑制易分類樣本的權重，y為樣本實際類別，pt為樣本輸出概率。

(4)融入Truncated Gradient思想，添加截斷系數λ(pt)，考慮了數量大但損失值小的負樣本對訓練的影響，使網絡訓練大幅偏向于難分類樣本

(7)

(8)

式(7)為截斷系數定義，以pt為截斷點，分段計算損失值，γ為需自己設置的參數，用來抑制易分類樣本的權重，pt為網絡對樣本的預測概率。式(8)為整體Enhanced Focal Loss函數，a為需自己設置的平衡參數，用來控制正負樣本權重。

2.1.2 小目標檢測器

使用了Enhanced Focal Loss作為損失函數后，網絡在預測階段可以更好地提取圖片的底層特征。提取到用來檢測小目標的底層特征圖之后，輸入到檢測器進行檢測。

原始底層特征檢測器為直接進行21分類和位置回歸，由于低層特征圖位置信息足夠，能檢測到一些含有目標的區域，但是由于語義信息不夠，難以做到精準分類，最終都會被舍去，導致對小目標的檢測效果差?；诖耍疚脑O計小目標檢測器，進行2分類和位置回歸，只對小目標區域檢測而不檢測這個小目標具體是什么類別，從而得到較好的小目標位置檢測效果，同時，這種方式改21分類為2分類，減少了網絡參數和計算量。該檢測器具體步驟如下：

(1)將原圖x輸入到檢測網絡中，提取到用來檢測小目標的底層特征圖D1

D1=F4(F3(…F1(x))

(9)

式中：x表示原圖，F1(x)表示經過第一次卷積后提取的特征。

(2)對特征圖D1進行2分類檢測和位置回歸，得到多個小目標位置邊框fbs

fbs=Detector1(D1)

(10)

式中：D1表示用來檢測小目標的底層特征圖，Detector1為小目標檢測器。

(3)對這些邊框fbs進行非極大值抑制處理，抑制掉一部分重疊或者不正確的邊框，得到不知具體類別但位置精準的小目標位置邊框FBbs

FBbs=NMS(fbs)

(11)

式中：fbs表示小目標檢測器得到的所有小目標邊框，NMS(fbs)表示對fbs進行非極大值抑制操作。

2.2 大目標檢測模塊

基于原始SSD的思想，對大目標的檢測將使用多個檢測器在多個高層特征圖上進行檢測，得到具體類別的大目標檢測邊框。大目標在高層特征圖上的位置信息和語義信息都足夠，能夠直接檢測到具體類別和位置，所以，所有高層檢測器都為21分類檢測和位置回歸。該模塊具體檢測步驟如下：

(1)將原圖x輸入到檢測網絡中，提取到用來檢測小目標的底層特征圖D1。

(2)對特征圖D1繼續進行3次卷積，得到第一個用來檢測大目標的高層特征圖D2

D2=F7(F6(F5(D1)))

(12)

其中，D1為底層特征圖，F5(D1)為對D1進行第5次卷積。

(3)類似于第二步操作，繼續向后卷積及池化得到后面4個用來檢測大目標的特征圖D3，D4，D5，D6。

(4)對這些高層特征圖使用它們對應的檢測器，得到多個大目標邊框bb

bb=Detector2(D2)+…+Detector6(D6)

(13)

其中，Detectorn(Dn)表示使用與特征圖對應的檢測器進行檢測。

(5)對這些邊框bb進行非極大值抑制處理，抑制掉一部分重疊或者不正確的邊框，得到具體類別且位置準確的大目標邊框Bbb

Bbb=NMS(bb)

(14)

其中，bb表示大目標檢測器得到的多個大目標邊框，NMS(bb)表示對bb進行非極大值抑制操作。

2.3 小目標強化檢測模塊

小目標在底層特征圖上檢測時，由于底層語義信息不夠無法檢測具體類別；在高層特征圖上檢測時，由于尺寸很小的小目標在高層語義信息足夠的特征中已經沒有了足夠的位置信息無法檢測到小目標?；诖?，本文設計小目標強化檢測模塊與SSD級聯來檢測具體類別且位置準確的小目標邊框Bbs。該模塊分為兩部分，第一個部分是將小目標檢測轉化為大目標檢測，將小目標位置的底層特征上采樣到原圖底層特征D1大小，從而將小目標檢測問題轉化為大目標檢測問題。第二個部分是提取高層特征并進行檢測，學習原始SSD網絡對大目標檢測效果好的優點，該模塊的后續階段就是對上采樣后的特征圖提取高層特征后再進行檢測，此時采用與原始SSD網絡類似的網絡層提取高層特征，并只在最后的高層特征進行目標檢測。

該模塊主要步驟如下：

(1)輸入從小目標位置檢測模塊得到的小目標位置邊框FBbs，基于CNN(卷積神經網絡)具有平移不變性的原理，從底層特征圖D1得到FBbs對應位置的底層特征Ds。

(2)對這些小目標底層特征Ds采用雙三次插值算法進行上采樣，得到與原圖的底層特征圖D1相同大小的小目標底層特征圖DBs

DBs=Ds↑s

(15)

式中：↑s表示上采樣操作符。

(3)然后對小目標底層特征圖DBs進行多次卷積及池化，提取其高層特征DUs，并對高層特征DUs進行21分類和位置檢測，得到多個小目標邊框bs

DUs=P(F10(F9(…F5(DUs)))

(16)

bs=Detector6(DUs)

(17)

其中，P()表示平均池化操作，F()表示卷積操作，Detector6為檢測器。

(4)最后對這些邊框bs進行非極大值抑制處理，抑制掉一部分重疊或者不正確的邊框，得到具體類別且位置準確的大目標邊框Bbs

Bbs=NMS(bs)

(18)

式中：bs表示從小目標高層特征檢測到的多個小目標邊框，NMS(bs)表示對bs進行非極大值抑制操作。

3 實驗與分析

3.1 實驗環境與數據集

實驗的軟件環境操作系統為Ubuntu 14.04，使用Tensor Flow深度學習框架。硬件環境使用8核CPU、8G內存、NVIDIA(R)GTX(R)1080TI顯卡。

實驗使用的訓練集為PASCAL VOC 07+12中的訓練集，由7924幅圖像共14 235個物體組成，這些物體有20類，同一張圖像可能出現多個尺寸的不同物體，是一套非常優秀的目標檢測訓練集。測試集有兩個，一個使用PASCAL VOC 2007的測試集，由4952幅圖像共7013個物體組成。另一個測試集使用PASCAL VOC 2007的測試集中選取的100張含小目標圖片組成的測試集，共719個物體，其中大部分為小尺寸物體。

3.2 評價標準

本文使用MAP(mean average precision)用于評價算法的檢測性能。使用每秒識別的圖像數(frames per se-cond，Fps)評價算法的檢測速度。

Fps是指每秒內可以處理的圖片數量，對比Fps需要在同一硬件上進行。MAP是指對于所有類物體在所有圖上的精度，它的計算公式如下

(19)

式中：∑AveragePrecisionC表示所有類別的平均精度求和，N(Classes)表示所有類別。

(20)

式中：∑PrecisionC表示在測試集上所有的圖像對類c的精度值的求和，N(TotalImages)C表示有類c這個目標的所有圖像的數量

(21)

式中：N(TruePositives)C表示圖像正確預測(True Positives)的數量，N(TotalObjects)C表示在圖像中這一類的總的目標數量。

3.3 實驗分析

為更好地驗證本文算法的檢測效果，將從以下幾個方面進行實驗。

3.3.1 分類損失函數的選擇

為了驗證本文設計的損失函數Enhanced Focal Loss在本文算法中比交叉熵損失函數及Focal Loss更有效，將這3種損失函數分別應用于本文算法中訓練。此時使用的訓練集為PASCAL VOC 07+12，測試集為PASCAL VOC 2007中的測試集，3種函數訓練樣本的選擇、函數構成及檢測準確率對比見表1。

表1 損失函數對比

如表1所示，原始cross entropy(交叉熵)損失函數選取了正樣本和損失值大的負樣本作為訓練樣本，這種方式丟失了數量大但損失值小的負樣本的損失，對網絡訓練明顯不利，最終在本文算法上的檢測精度為77.62%；Focal Loss選取了所有樣本包括數量大但損失值小的負樣本作為訓練樣本，同時添加抑制系數控制難分類樣本和易分類樣本的損失，使得易分類樣本損失大幅下降，難分類樣本損失小幅下降，整體上難分類樣本權重小幅上升，使得網絡訓練偏向于難分類樣本，最終在本文算法上的檢測精度為77.69%；本文使用的Enhanced Focal Loss融入Truncated Gradient思想，使得易分類樣本損失下降，難分類樣本損失上升，整體上難分類樣本權重大幅上升，使得網絡訓練更明顯偏向于難分類樣本，最終在本文算法上的檢測精度為77.83%。

為了提升網絡訓練效果放棄使用丟失了部分負樣本損失的原始cross entropy(交叉熵)損失函數；又因為圖片中小目標尺寸小、模糊，大都屬于難分類樣本，為了使訓練更偏向于這些小目標，所以本文使用Enhanced Focal Loss作為小目標檢測器的分類損失函數，使用此分類損失函數時的檢測精度也是最高的達到77.83%，驗證了在本文算法中用Enhanced Focal Loss作為小目標檢測器的分類損失函數效果更好。

3.3.2 Enhanced Focal Loss中的參數設定

為了確定Enhance Focal Loss中系數λ(pt)的參數λ和系數αt的參數a的取值，進行了不同取值情況下的對比實驗。此時使用的訓練集為PASCAL VOC 07+12，測試集為PASCAL VOC 2007中的測試集，采用的網絡為本文訓練的網絡。實驗結果見表2，λ取1時損失函數為原始Focal Loss，當λ取3時發現檢測精度驟降，故沒再增加λ值，最終發現采用的λ值為2，a值為0.25時檢測效果最好。

表2 幾組不同λ和a取值時本文算法的檢測精度

3.3.3 不同算法在一般檢測任務中的檢測效果對比

實驗選擇原始SSD算法以及當前對原始SSD改進的代表算法DSSD算法進行對比，來驗證本文算法在一般檢測任務中的有效性和實時性。此時使用的訓練集為PASCAL VOC 07+12的訓練集，測試集為PASCAL VOC 2007中的測試集。對比結果見表3，其中Net為算法采用的基礎特征提取網絡，MAP為算法的整體檢測精度，Fps為算法的檢測速度，單位為幀/秒，加*表示在本文實驗環境下訓練和測試得到的結果，our表示本文算法的實驗結果。

表3 在PASCAL VOC 2007測試集上的測試對比結果

如表3所示，原始SSD網絡SSD300整體檢測精度MAP(mean average precision)為77.5，本文算法整體檢測精度MAP為77.8，總體上增進了0.3個百分點。在每一類的檢測準確度中，含小目標多的類別增進的精度多，如飛機、船等，其余類別檢測精度相近，驗證了本文算法總體上能達到在保持對非小目標的檢測質量的同時增強對小目標的檢測能力。在與DSSD網絡的對比中發現，總體上檢測精度MAP比DSSD低，但在其中小目標多的類別中(如飛機、瓶子等)，發現仍然是本文算法精度更高，驗證在小目標多的類別中仍是本文算法檢測效果好。

DSSD使用特征融合的方式，額外增加了很多網絡參數，導致檢測速度很慢，如表3所示，DSSD檢測速度Fps為4.2幀/秒，無法滿足實時工業需求，而本文算法采用分階段檢測的方式檢測，網絡的計算量沒有增大很多，檢測速度依舊比較快，如表4所示，本文算法檢測速度Fps為12.7幀/秒，可以滿足實時工業需求，要比DSSD速度快近3倍。綜合來看，在實時工業生產檢測中，本文算法更具實用性。

3.3.4 不同算法在小目標多的檢測任務中的檢測效果對比

實驗選擇原始SSD算法以及當前對原始SSD改進的代表算法DSSD算法進行對比，來驗證本文算法在小目標多的檢測任務中的明顯提升。此時使用的訓練集為PASCAL VOC 07+12的訓練集，測試集使用PASCAL VOC 2007的測試集中選取的100張含小目標圖片組成的測試集，共719個物體，其中大部分為小尺寸物體。在去除部分數量較少的類別后，檢測的物體類別有11種，包含了飛機、羊、鳥、摩托車、牛、狗、汽車、瓶子、船、人、自行車。從其中選取了部分檢測結果，如圖3所示。

從圖3可以看出，本文改進后的SSD在檢測目標時檢測到更多目標且置信度比較高；而即使是原始SSD或DSSD沒有檢測到的物體，本文算法也能檢測到一定數量的目標，其原因還是因為圖片中存在一些尺寸過小的目標導致。

圖3 經典SSD(第1列)、DSSD(第2列)、與本文算法(第三列部分檢測結果對比)

計算原始SSD、DSSD以及本文算法的MAP值，在去除樣本數量太少類別結果后，得到的精確度見表4。

從表4可以看出，在對小目標多的數據集的檢測上，本文改進的SSD檢測的11類目標的平均精度都比原始SSD及DSSD要大?？梢钥吹?，總體上，原始SSD總的MAP為0.445，DSSD總的MAP為0.509，而本文改進的SSD的MAP為0.536，相對于原始SSD提高了9.1%，相對于DSSD提高了2.7%。可以驗證在對小目標檢測上，本文改進的SSD在檢測速度較快的同時，檢測質量也有明顯增強。

表4 在小目標多的數據集上的檢測結果對比

4 結束語

本文提出了一種強化SSD的小目標檢測算法，訓練時使用在Focal Loss和Truncated Gradient的基礎上改進的分類損失函數來處理小目標訓練樣本不平衡的問題；測試時分為兩個階段，第一階段先通過訓練好的模型提取圖片各層特征并分別檢測目標，得到不知具體類別的小目標邊框和已知具體類別的大目標邊框，第二階段設計小目標強化檢測模塊與SSD網絡級聯，單獨提取小目標區域對應的高層特征來檢測小目標。

本文算法的優點是，新的分類損失函數增強了網絡的小目標區域定位能力。測試采用分階段檢測的方式，網絡的計算量沒有增大很多，檢測速度依舊比較快。設計小目標強化檢測模塊與SSD網絡級聯，采用雙三次插值算法提取小目標區域對應的高層特征來檢測小目標的方式更是解決了小目標在高層失去位置信息以及小目標在底層特征沒有足夠語義信息的問題，使得算法對小目標檢測效果明顯提高。

通過最終的實驗對比，可以看出本文算法相對于原始SSD以及DSSD算法等的優越性。未來可以從改進上采樣方式，增強小目標定位能力，這兩個方向來進一步提升檢測質量。