面向車輛檢測的擴張全卷積神經網絡①

程雅慧， 蔡 烜， 馮 瑞

1(復旦大學 計算機科學技術學院， 上海 201203)

2(上海視頻技術與系統工程研究中心， 上海 201203)

3(復旦大學 上海市智能信息處理實驗室， 上海 201203)

4(物聯網技術研發中心， 上海 201204)

車輛檢測[1]在計算機視覺領域是一個很重要的研究課題， 如智能交通， 自動駕駛等. 近年來， 業內已提出了很多基于深度學習的車輛檢測算法， 實際應用表明，基于深度學習的方法比傳統手工提取特征方法更加有效.

基于區域的卷積神經網絡(Region-based Convolutional Neural Network， RCNN)是一種典型的基于深度學習的目標檢測算法， 在車輛檢測領域被廣泛使用. 基于RCNN框架， 通過卷積神經網絡提取給定的候選目標區域特征， 用于預測目標類別和目標位置. Faster-RCNN算法通過在RCNN最后一層卷積層提取出的特征同時用于候選目標框的生成和最終的目標檢測.

研究發現， 隨著網絡層數的不斷增加， 卷積神經網絡(Convolution Neural Network， CNN)能很好地學習低層特征和高層語義特征. 高層卷積層在分類任務方面比定位任務具有更好的性能， 有學者[2，3]試圖結合多種低/高層卷積層用于目標檢測， 盡管這些方法不同程度上改善了目標檢測性能， 但是在有不同尺度的車輛檢測方面， 多個不同尺寸的車輛檢測精度無法達到平衡. 特別地， 相對于大尺寸目標， 這些方法在小尺寸目標檢測方面表現不盡人意.

本文提出了一種適用于小尺寸車輛的檢測算法，即基于組合目標框提取結構的擴張全卷積神經網絡(Dilated Fully Convolutional Network With Grouped Proposals， DFCN-GP). 圖 1為 DFCN-GP的算法框架，算法包括用于圖像特征提取的擴展卷積網絡(Dilated Convolutional Network， DCN)、組合目標框提取網絡(Grouped Region Proposal Network， GRPN)， 以及用于車輛檢測的全卷積網絡(Fully Convolutional Network，FCN)三部分.

圖1 DFCN-GP算法框架圖

本文方法的主要貢獻為: 1)提出了兩組組合方式，即混合從低層到高層卷積層的特征圖， 并將兩組混合特征應用到區域目標框提取網絡， 同時生成候選車輛區域. 與現有方法不同， 這種組合結構更多地聚焦低層卷積層的特征. 2)將低層和高層特征產生的目標候選框進行融合， 有利于收集不同尺度的候選目標框， 降低目標丟失率. 3)將最后一層卷積層改成擴張卷積層并把步長改為1， 使最后一層卷積層的特征圖擁有更大的尺寸和感受野， 可同時用于目標框提取網絡和車輛檢測網絡， 進而在候選目標框的生成和最終目標檢測中更多的細節信息. 上述改進可使模型能有效檢測圖像中較小的車輛目標.

在實驗部分， 將本文提出的網絡模型與現有最新的網絡模型在UA-DETRAC車輛數據集上進行對比.實驗結果顯示， 本文方法取得了71.56% mAP， 超越了現有最好方法的結果. 此外本文提出的網絡模型同樣通過控制變量對比試驗， 證明了組合特征提取方式和擴張卷積設置的有效性.

本文論文剩余部分安排如下: 第1節討論了提出的算法模型， 第2節對本文算法進行了實驗并對結果進行了分析， 第3節為總結全文.

1 算法原理

本文提出一種用于車輛檢測的端到端學習網絡(DFCN-GP)， 可從不同的卷積層級中實現候選目標框的提取和車輛檢測. 如圖1所示， 網絡的前向路徑包括以下幾個步驟:

Step1. 圖像特征提取. 利用Resnet-101和擴張卷積層提取輸入圖像的特征， 用于后續目標框的提取和車輛檢測.

Step2. 區域候選目標框提取. 提出一種兩組組合方式， 即從不同卷積層生成候選目標框.

Step3. 車輛分類和定位. 利用多任務學習方式， 在最后一層擴張卷積層同時判別候選框是否為車輛以及估計車輛的位置.

1.1 圖像特征提取

通過DCN從輸入圖像中提取車輛信息特征. 具體地， 本文的特征提取網絡基于改進的ResNet-101[4]結構. 與傳統卷積神經網絡訓練不同， ResNet利用殘差結構實現更為有效的模型訓練， 在圖像分類和目標檢測任務中性能優異.

如圖1所示， 本文的特征提取網絡包括5個殘差結構， 分別標注為根據原生ResNet-101的設置， 每個殘差塊會連接步長為2的卷積層. 因此， 原生ResNet-101網絡中每個殘差塊的特征圖步長分別是 {2 ,4,8,16,32}， 即給定X×Y大小的輸入圖像， 則最后的卷積層的特征圖， 輸出大小為X/32×Y/32. 當用于目標框提取和車輛檢測時，C5的尺寸相對于原始圖像的細節信息過小， 而且容易丟失小目標.

為了解決上述問題， 考慮從一下兩個方面對網絡進行改進: 1)改變后的卷積層步長， 將步長2改為步長1， 進而增加最后一層卷積層的特征圖大小. 通過這樣方式，直接接在后面， 不加任何下采樣處理. 2)基于文獻[5]的思路， 應用擴張卷積的思想， 增加的感受野， 最終網絡的5個殘差塊的步長變為

1.2 區域候選目標框提取

在此步驟中， 算法從提取的特征圖中產生候選的目標框， 這個過程由區域目標框提取(Region Proposal Network， RPN)這樣的子網絡完成. 正如文獻[6]中討論的那樣， 較高層的特征圖包含更多的高級語義信息， 而較低層的特征圖包含更多的細節信息. 為了更好地發現圖像中不同尺度的車輛目標， 本文旨在探索不同級別的特征圖所包含的信息以及更多地聚焦在小目標檢測上. 為了這個目的， 本文發明一個基于組合的區域目標框提取網絡， 用來結合兩組卷積特征圖. 這兩個組分別被命名為group-high和group-low. 在每個組中，RPN網絡在兩個不同尺度級別上同時生成固定框(anchors).

上述用于目標框提取的網絡模型對現有方法進行了優化和提升: 原生RPN網絡僅從最后一層卷積層上計算目標框， 同時也使用了多尺度的anchors. 有研究[2，3，7]提出結合形成特征圖， 即超-特征(Hyper Feature)， 然而， 盡管 Hyper Feature 結合了低層和高層的信息， 但對車輛檢測， 尤其是對小目標車輛的檢測性能不佳， 本文提出的“兩組”策略在車輛檢測任務中會帶來更高的召回率.

1.3 車輛分類和定位

在前述步驟的基礎上， 可通過FCN判別提取框是否為車輛， 并估計估計車輛的準確位置坐標. 為此， 模型首先通過PS-ROI pooling[8]操作在上裁剪出感興趣區域， 然后再接上兩個分支的全卷積網絡. 第一個分支實現分類， 即對裁剪出的區域打分. 第二個分支實現位置預測， 即對有目標的區域生成一個8維的向量(前景/背景).

在模型訓練階段， 本文的目標是最小化多任務損失函數， 包括分類和定位兩個部分. 具體為給定標簽值和預測值 {s,s?}和候選框的補償值{t,t?}， 目標檢測損失函數定義如下:

在公式(2)中，A=(Ax,Ay,Aw,Ah)由anchor計算得到， 而G=(Gx,Gy,Gw,Gh)是代表標簽的目標框. 根據文獻[9]中的設置， 平衡的缺省值為1.

相對于常規Resnet-101模型，本文模型直接預測車輛是通過改良的具有大尺寸和大感受野的特征圖. 我們發現在改良過的上預測會比Hyper Feature效果更好.

2 實驗部分

2.1 數據集和實驗設置

在實驗部分， 首先設計控制變量對比實驗驗證本文網絡各組成部分的有效性， 然后將本文模型與其他典型模型進行對比. 算法模型在UA-DETRAC[10]數據集上訓練模型， 該數據集由10個視頻組成， 視頻由Cannon EOS 550D的攝像機在中國北京和天津兩座城市共24個不同的位置錄制而成. 視頻每秒25幀且像素為960×540， 數據集總共超過14萬幀. 數據集中共有8250個車輛， 121萬個車輛矩形框被標注.

對輸入數據， 首先將訓練圖片歸一化， 將圖片短邊歸一化為540. 提取圖像特征的共享卷積層初始參數設置為在Imagenet上訓練的Resnet-101參數， 其余層的初始參數采用0均值， 0.01方差的高斯隨機數.

在區域目標框提取網絡訓練階段， 本文將與任何標簽框面積重疊比率(Intersection-Over-Union， IOU)大于0.7的候選提取框設置為含有目標的候選框. 將與任何標簽框的IOU小于0.3的候選提取框設置為不含目標的框.

在目標檢測網絡訓練部分， 本文將與任何標簽框的IOU大于0.6的候選提取框設置為含目標的候選框.將與任何標簽框的IOU小于0.6的候選提取框設置為不含目標的框. 在測試階段， 目標檢測網絡部分應用NMS來合并有重疊的候選框.

在訓練過程中， 將批大小設置為128， 總迭代次數設置為9萬輪. 學習率初始值為1e-3， 每3萬輪迭代乘以系數0.1. 在算法效率方面， 本文的模型在測試階段處理一張圖像(9 60×540)需0.4 s.

2.2 控制變量對比試驗

對于區域提取目標框網絡和檢測網絡來說， 輸入設置對最終檢測效果至關重要. 下面針對不同特征圖的結合方式設置了幾組控制變量對比試驗， 并討論其效果.

2.2.1 區域提取目標框網絡輸入設置

本文嘗試了不同卷積層的結合對目標框提取的影響. 表1為使用不同卷積層作為RPN的輸入對應的提取框召回率， 以及其最終的檢測率. 目標包括小/中/大車輛尺寸. 最后一列為最終的檢測精度(Average Precision，AP). 行(a)是將結合在一起作為RPN的輸入.通過設置6種提取框的尺度， 分別為從結果可以看出， 小目標的召回率明顯小于中等目標和大目標的召回率. 行(b)是將C3,C4,C5結合在一起作為RPN的輸入， 同樣也是設置6種提取框的尺度. 從結果可以發現大目標的召回率明顯提升，但小目標及中等目標的召回率大幅度下降. 和行(b)相比， 行(c)簡單地結合低層特征C1,C2來預測小目標和中等目標框. 本文對于高層的融合特征圖設置5種目標框尺度為 {3 22,642,1282,2562,5122}， 對于低層融合特征設置2種目標框尺度為 {1 62,322}. 從結果可以看出，中等和小目標的召回率有了輕微的提升， 但是沒有融合高層語義特征使得小目標并不能正確的分類出來.最終在行(d)中， 本文提供了自己提出網絡的結果. 同樣對高層融合特征設置5種目標框尺度， 對低層融合特征設置2種目標框尺度. 最終發現本文的融合策略可以大幅度改善小目標和中等目標的召回率， 并且維持大目標的召回率基本不變. 本文提出的融合方法在目標框提取中對于尋找各種尺寸的目標框達到一個很好的平衡. 另外， 最終本文方法的檢測精度(行(d))也同樣高于其它模型.

表1 不同卷積層特征圖的結合方法作為RPN網絡的輸入在UA-DETRAC驗證數據集上目標的召回率

2.2.2 全卷積檢測網絡的輸入設置

這部分實驗了不同卷積層的特征會怎樣影響最終的檢測結果. 平均檢測精度(AP)結果如表2所示. 行(a-d)直接在單個卷積層C1,C3或上檢測目標. 從表中可以發現， 利用高層特征(行(c， d))作為輸入比利用低層特征特征作為輸入要取得更好的檢測效果. 這樣說明相比于低層特征， 高層特征在檢測任務中更加有效. 注意到行(d)是本文提出網絡的設計， 和行(c)不同點僅在于的特征圖尺寸和感受野要大. 行(d)比行(c)結果更好證明了將步長改為1以及擴張卷積思想的引入是非常有效的. 行(e)也例舉了C1-C3-C5(Hyper Feature)融合特征作為檢測網絡輸入的結果. 結果顯示改良的(×16)能更好地檢測目標， 同時也說明在檢測網絡中引入低層特征可能會帶來更多噪聲， 并不適合檢測任務.

表2 經過ROI池化操作后不同的卷積特征圖作為最終全卷積檢測網絡的輸入在UA-DETRAC驗證數據集上平均精度

2.3 和現有模型比較

將本文的模型與其他現有目標檢測模型對比(UA-DETRAC測試集). 用來對比的檢測模型包括DPM[11]， ACF[12]， R-CNN[13]， Faster-RCNN[14]，CompACT[15]和EB. ACF和DPM是經典的目標檢測方法. ACF基于一種加速框架而DPM基于SVM(支持向量機). R-CNN和Faster-RCNN都是基于區域提取的目標檢測卷積神經網絡. CompACT通過一種級聯的方式檢測目標. EB是基于Faster-RCNN的改良算法， 增加一個額外的精調網絡.

表3列出了不同方法在不同子測試集上的檢測精度. 之前最好的檢測網絡是EB(獲ICME2017最佳論文)， 通過對比發現， 本文方法在全集上的AP為71.56%.注意到本文提出的方法在不同子類別上的檢測精度也是最高的. 圖2展示了不同檢測方法的精度-召回率曲線圖. 這同樣說明相比于其他方法， 本文方法具有明顯的優越性. 圖3圖形化展示了一些方法在UA-DETRAC數據集上的檢測結果， 可以看出本文方法對于不同尺度的車輛以及不同的天氣條件下都具有出色的檢測效果.

表3 和其他先進的方法在UA-DETRAC測試集上的檢測結果

圖2 對比檢測算法在UA-DETRAC測試集上的精度-召回率曲線

圖3 本文提出的車輛檢測算法在UA-DETRAC測試集上的結果(紅色框標出)

3 總結

本文提出了一種新的車輛檢測算法DFCN-GP. 通過在目標框提取和車輛檢測中引入了兩組卷積層特征圖和擴張卷積層， 實現了小目標車輛檢測精度的大幅度提升. 控制變量對比試驗和與先進模型對比的實驗結果驗證了本文算法的有效性.