改進YOLOv3 的地面車輛小目標檢測*

蔣川虎 張東旭 張 超

（北京航天時代光電科技有限公司 北京 100094）

1 引言

隨著遙感圖像的分辨率不斷提高，高分辨率的遙感圖像在國民經(jīng)濟領域的應用越來越廣泛，而將遙感圖像應用于公共交通安全、城市智能交通規(guī)劃等領域具有很大的研究價值，對遙感圖像進行目標檢測識別出其中的車輛則是必不可少的一環(huán)。

近年來，以卷積神經(jīng)網(wǎng)絡為代表的深度學習在大規(guī)模視頻/圖像目標檢測識別方面取得了巨大的成功［1］，在遙感圖像目標檢測中也得到了廣泛的應用。然而由于原始大視場遙感圖像中存在著大量的車輛小目標，這些小目標通常尺寸小于32*32［2］，檢測器能夠提取到的特征較少，因此難以被檢測識別。

目前，基于深度學習的圖像目標檢測識別主要分為兩大類：基于one stage 的檢測方法和基于two-stage 檢測方法?；趖wo-stage 的檢測方法，例如Fast RCNN［3］、Faster RCNN［4］，首先通過Region Proposal 給出可能存在目標的候選區(qū)域，然后基于CNN 對候選區(qū)域進行識別；基于one-stag的檢測方法，例如YOLO［5］、YOLO9000［6］、SSD［7］、YOLOv3［8］，將候選框選擇和目標識別判別進行統(tǒng)一化處理，使用卷積神經(jīng)網(wǎng)絡對圖像進行一次推理直接得到圖像中所有物體的位置、所屬類別及相應的置信概率，能夠極大提升目標檢測速度。

鑒于one-stage的檢測方法，特別是YOLO系列模型［5~6，8］，在檢測速度方面獨特的優(yōu)勢，本文將基于YOLO 系列模型進行改進，并將其用于遙感圖像中車輛小目標的檢測識別。

2 YOLO 系列模型

2.1 YOLO基礎模型

YOLO 模型將目標檢測統(tǒng)一到一個神經(jīng)網(wǎng)絡中，全面推理整幅圖像和圖像中的所有目標，能夠在保持較高精度的同時，保證檢測的實時性。

YOLO 模型將圖像劃分成S×S的網(wǎng)格，如果某目標中心落入一個網(wǎng)格單元中，則該網(wǎng)格單元負責檢測該目標。每個網(wǎng)格單元預測B 個bounding box，每個bounding box 包含5 個預測x，y，w，h 和置信度分數(shù)c，其中置信度分數(shù)反映了模型對邊框包含目標的信心，以及模型認為預測的邊框的準確程度。另外，每個網(wǎng)格單元還需要預測一組條件類別概率（共C 個），表示在網(wǎng)格單元中包含目標的條件下，目標為某一類別的概率，C 表示目標的類別數(shù)。所以每一個網(wǎng)格單元推理最終得到一個B×5+C大小的張量，整幅圖像經(jīng)過YOLO 模型推理后，將被編碼為大小為S×S×(B×5+C)的張量。

YOLO 網(wǎng)絡模型設計了24 個卷積層和2 個全連接層，通過交替1×1 卷積層減少前序?qū)拥奶卣骺臻g，除最后一層使用線性激活函數(shù)外，所有層都使用leaky relu 作為激活函數(shù)，網(wǎng)絡結(jié)構(gòu)如圖1［5］所示。通過優(yōu)化多部分損失函數(shù)進行網(wǎng)絡訓練，YOLO 的損失函數(shù)如式（1）所示。其中，表示目標是否在第i個網(wǎng)格單元中出現(xiàn)，表示第i個網(wǎng)格單元的第j個邊界框預測器負責該預測。此外，為了防止模型早期發(fā)散，分別設置λcoord和λnoobj參數(shù)增加邊框預測損失和減少不包含目標的邊框的置信度預測損失。

圖1 YOLO模型的網(wǎng)絡結(jié)構(gòu)

最后，在模型推理階段，對檢測到的S×S×B個bounding box 應用非極大值抑制法，得到最終的檢測結(jié)果。

2.2 YOLO改進模型

考慮到Y(jié)OLO 模型定位不準確和召回率低的缺點，Redmon J在YOLO 模型的基礎上提出了兩個改進版本，即YOLOv2和YOLOv3。

相比于YOLO 基礎模型，YOLOv2 模型最大的改變是將軀干網(wǎng)絡改為darknet-19，模型完整網(wǎng)絡結(jié)構(gòu)如圖2所示。

圖2 YOLOv2模型完整網(wǎng)絡結(jié)構(gòu)

由于YOLOv2 以darknet-19 為特征提取網(wǎng)絡，卷積操作減少，加快了檢測速度。此外，YOLOv2還加入batch normalization，引入anchor box、多尺度訓練等多種手段提升了模型的檢測精度和模型的魯棒性。

YOLOv3 在YOLOv2 的基礎上進一步融合一些好的技巧到Y(jié)OLO 模型中，在保持速度優(yōu)勢的前提下能夠提升預測精度，尤其是提升了小目標的檢測識別能力。相對于YOLO 之前的版本，YOLOv3 的主要改進有：1）借鑒ResNet 跳遠連接的思想，將特征提取網(wǎng)絡改為darknet-53；2）使用步長為2 的卷積代替之前版本中的池化層進行下采樣；3）利用多尺度特征進行檢測；4）在分類層使用Logistics 代替softmax。YOLOv3 模型的完整網(wǎng)絡結(jié)構(gòu)如圖3 所示。

圖3 YOLOv3 模型完整網(wǎng)絡結(jié)構(gòu)

2.3 改進YOLOv3

YOLOv3 在多個尺度上進行特征圖融合的目的是通過高層和低層特征的融合增強小目標特征，從而提升網(wǎng)絡的小目標檢測能力。從圖3 可以看出，多尺度特征圖融合過程為：1）使用步長為2 的卷積操作對低層特征圖進行下采樣；2）通過一系列的卷積操作得到更高層特征圖；3）將低層特征圖與高層特征圖上采樣得到的特征圖進行融合。雖然通過融合多個尺度上的特征有利于小目標的識別，但是在融合過程中，使用卷積步長為2 的卷積進行下采樣容易丟失很多相鄰像素點的特征，隨著網(wǎng)絡的加深，小目標特征丟失越來越嚴重；此外，對高層特征圖進行上采樣又容易引入很多噪聲。因此，得到的融合特征圖對小目標特征的增強不夠明顯。

針對以上問題，本文將進行以下改進：1）不再進行多尺度特征圖的融合，獨立地輸出各個尺度上的特征圖；2）在獨立輸出的尺度上引入Fisher Xu等［9］提出的dilation 卷積，增大卷積核的覆蓋范圍，增大網(wǎng)絡的感受野；3）在獨立輸出的尺度上結(jié)合Szegedy 提出的Inception-ResNet 結(jié)構(gòu)［10］增大特征提取網(wǎng)絡的寬度，提取更好的圖像特征。dilation卷積也稱為空洞卷積，最初是用來解決pixel-wise輸出模型的一種卷積方式，它通過改變卷積核內(nèi)部間隔來擴大卷積核的感受野，如圖4 所示，其中d表示卷積核內(nèi)部空洞的間隔。圖4（a）表示3×3、d=1 的空洞卷積，即常規(guī)的卷積核，感受野為3×3。圖4（b）表示3×3、d=2 的空洞卷積，卷積核的感受野為7×7。圖4（c）表示3×3、d=3 的空洞卷積，卷積核的感受野為11×11。空洞卷積的好處是在不做pooling 或大stride 卷積損失信息的情況下，增大感受野，讓每個卷積輸出都包含較大范圍的信息。

圖4 空洞卷積

Inception［11~13］模塊基于1×1、3×3、5×5 等不同的卷積運算與池化操作可以獲得輸入圖像的不同信息的理論，對輸入的特征圖并行地執(zhí)行多種卷積，并結(jié)合所有結(jié)果以獲得更好的圖像特征。ResNet［14］取得巨大成功后，GoogleNet 團隊嘗試將Residual Learning 的思想應用到Inception 網(wǎng)絡中，設計了Inception-ResNet模塊，實驗結(jié)果表明，這種設計確實能夠帶來性能上的提升。

本文參考Inception-ResNet 結(jié)構(gòu)，在YOLOv3模型每個尺度上的輸出引入空洞卷積，設計了空洞Inception-ResNet 模塊，后文簡稱DIRB，如圖5 所示。

圖5 空洞Inception-ResNet模塊

DIRB 將每個尺度上的輸出改為多分支結(jié)構(gòu)，每個DIRB的各個分支由不同大小的普通卷積加上空洞卷積構(gòu)成，然后將多個分支的輸出concat到一起共同作用。Inception v2為了解決表征性瓶頸，將卷積核橫向擴展，使得網(wǎng)絡變得更寬，本文也遵循了這一設計。修改YOLOv3 模型后得到的新模型結(jié)構(gòu)如圖6 所示，新的模型仍然沿用YOLO 模型中的損失函數(shù)。

圖6 YOLOv3改進后的模型結(jié)構(gòu)

3 仿真驗證分析

本文實驗在裝有Ubuntu 18.04 LTS，搭配Nvidia RTX 2080Ti顯卡的計算機上進行，使用的深度學習框架為Tensorflow［15］。

本文基于VEDAI［16］航拍圖像對本文模型進行訓練和驗證。VEDAI 數(shù)據(jù)集中的圖像是從原始大視場圖像中分割出來的，分辨率為1024×1024，包含了boat、airplane、各類車輛以及其他混淆對象，數(shù)據(jù)統(tǒng)計如表1 所示。數(shù)據(jù)集中還包括了對分辨率為1024×1024 的圖像下采樣得到的分辨率為512×512的圖像。

表1 VEDAI數(shù)據(jù)集中各類目標的數(shù)據(jù)統(tǒng)計

本文使用的是1024×1024 的大分辨率圖像數(shù)據(jù)集，將car、vans、pickup 這三種目標歸為同一類別，類標號為car，其他類別標號保持不變。從原始數(shù)據(jù)集中隨機選擇80%的圖像作為訓練集，剩余的20%作為測試集。通過旋轉(zhuǎn)圖像、增加對比度、調(diào)整顏色等方法對數(shù)據(jù)集進行增強。

對YOLOv3模型和改進YOLOv3模型分別進行訓練，訓練階段初始學習率設置為0.001，訓練的批次大小設置為32，衰減系數(shù)為0.0005，最大迭代次數(shù)為50000 次。在訓練迭代10000 次后調(diào)整為0.01，迭代20000 次后調(diào)整為0.001，迭代30000 次后調(diào)整為0.0001。

為了對比YOLOv3和本文改進YOLOv3模型的小目標檢測能力，用同一測試集（共計200 幅圖像，1059 個目標，測試集各類目標數(shù)據(jù)統(tǒng)計如表2 所示）分別對兩個網(wǎng)絡進行測試，并分別計算每一類目標的準確率和召回率，結(jié)果見表3 和表4。召回率R和檢測準確率P的計算公式分別為

表2 測試集中各類目標的數(shù)據(jù)統(tǒng)計

其中，XTP表示正確檢測出來的目標，XFN表示沒有被檢測出來的目標，XFP表示被錯誤檢測出的目標。

對比表3 和表4，相對于原模型，本文改進YOLOv3 模型對車輛小目標（Car）檢測的準確率提升了1.07%，召回率提升了6.02%，在整個測試集上的檢測準確率提升了1.59%，召回率提升了5.34%。因此，本文改進模型能夠有效地提升小目標準確率和召回率，有效解決了地面車輛小目標的漏檢問題。

表3 YOLOv3測試結(jié)果

表4 改進YOLOv3測試結(jié)果

圖7對比了YOLOv3模型和本文模型同時對小目標進行檢測的效果，可以發(fā)現(xiàn)，圖7（b）中YOLOv3 模型進行檢測時，左下角的一輛卡車沒有被檢出，而圖7（a）中本文模型沒有出現(xiàn)目標漏檢的情況。因此，相比于YOLOv3，本文模型能夠在保持檢測準確率的同時，在一定程度上在提升小目標的檢出率。

圖7 小目標檢測結(jié)果對比

4 結(jié)語

本文首先分析了遙感圖像目標檢測的困難和要求，指出了當前算法應用時產(chǎn)生的小目標虛警、漏檢和誤檢問題，并綜述了當前的圖像目標檢測方法。其次，分析了能夠在保持較高精度的同時，保證實時性的YOLO 系列模型，基于YOLOv3 模型進行針對性的改進，將多尺度融合輸出改為多尺度獨立輸出，并在每個尺度上引入Dialition 卷積和Inception-ResNet 結(jié)構(gòu)。最后，在VEDAI 數(shù)據(jù)集上進行模型的訓練和驗證，實驗結(jié)果表明，本文模型能夠提升小目標檢測時的召回率和準確率。