改進YOLO v3算法的航拍小汽車檢測*

王茂琦 李 軍 馬佶辰 徐康民

（南京理工大學自動化學院 南京 210094）

1 引言

隨著傳感器、半導體等技術的進步，使用無人機航拍視頻檢測道路中的車輛正在成為許多學者研究的熱點。無人機無論是在民用生活還是在軍事方面都有著重要的作用，使用航拍視頻對道路中的車輛進行檢測，不僅可以對道路的車流量進行統計，而且還可以對檢測出的車輛進一步追蹤分析，檢測車輛有無違反交通情況等［1］。

傳統的目標檢測是基于人工設計特征和淺層分類器，它不僅在檢測精度方面有著很大的提升空間，而且魯棒性也不盡人意［2］。直到2012年，Hilton課題組使用AlexNet深度卷積網絡在ImageNet大賽上不僅取得了第一名的成績，而且在分類效果上要遠超過第二名［3］，才使得許多學者開始對深度學習展開了更深一步的研究。近些年來，在目標檢測領域出現了許多優秀的深度學習算法。像2014年Ren等 提 出 的R-CNN［4］算 法，它 使 用selective search算法結合卷積操作替代了傳統的圖像特征提取算法，將平均目標檢測精度提升了30%。之后Girshick和Ren等又在R-CNN的基礎上進行改善，提出了Fast R-CNN［5］和Faster R-CNN［6］算法，在檢測精度和速度上均有很大提高。YOLO（You Only Look Once）算法最早是Redmon等在2015年提出的基于端到端的目標檢測算法［7］，其檢測速度達到了實時檢測水平（45f/s）。隨后Redmon等又在YOLO算法基礎上，提出了YOLO v2［8］，YOLO v3［9］等算法，其中YOLO v3算法能夠在保持檢測速度的同時取得較好的檢測精度。2016年，W Liu等［10］提出了SSD（Single Shot MultiBox Detector）檢測算法，該算法在檢測速度和精度上均取得了不錯的效果。

目前廣泛使用的深度學習網絡主要可以分為兩類：第一類是基于區域檢測的算法，像R-CNN，Fast-RCNN，Faster-RCNN等算法；第二類是基于回歸的目標檢測算法，像SSD、YOLO等算法［11］。其中第二類目標檢測算法采用的是端到端的目標檢測方式，在檢測速度上有很大的提升，可以適用于許多需要實時檢測的場景。

本文設計的深度卷積網絡是基于YOLO v3算法的一種實時檢測小汽車算法。它以YOLO v3網絡架構為基礎，將航拍下的小汽車作為檢測目標，對YOLO v3網絡進行改進，并且針對航拍下的小汽車檢測網絡結構進一步優化，設計出一種帶有混合深度卷積［12］的YOLO深度學習網絡。本次實驗測試仿真平臺使用的是Nvidia 1060顯卡，測試結果表明：所提出的算法在檢測精度和速度上相較于原始的YOLO v3均有提高。在航拍的視頻檢測中，AP（Average Precision）達到了91.60%，比原始算法提高了2.4%；檢測速率提高到41.6f/s，比原始算法提高了32.5%。

2 YOLO v3算法原理

2.1 YOLO v3網絡結構

YOLO v3網絡結構是通過全卷積實現的。它的輸入圖像大小會重新調整為416×416，并采用3×3和1×1的連續卷積核對輸入圖像進行特征提取［13］。為了檢測不同大小的目標，YOLO v3采用多尺度特征融合來增強網絡檢測的魯棒性，特征圖的大小分別為13×13、26×26、52×52。YOLO v3網絡結構如圖1和圖2所示，圖1為FPN網絡結構，圖2為特征提取網絡結構。A、B和C代表連接點，殘差代表殘差網絡塊，Convs代表連續卷積模塊。

圖1 YOLO v3 FPN結構圖

圖2 YOLO v3特征提取網絡結構

2.2 YOLO v3損失函數

YOLO v3在損失函數設計上一共分為三個部分，分別是坐標、分類和置信度損失，最終的損失由三部分相加所得，如式（1）所示：

其中cooError代表預測數據與標定數據之間的坐標損失，cla Error代表分類損失，conError代表置信度損失。

坐標損失包含目標框坐標(x，y，w，h)和預測框坐標四個元素的均方和誤差，其中表示各自預測框中是否存在待檢測的物體，和IOU值大小有關系。s2為網絡輸入圖片劃分網格個數，B為每個網格產生候選框（anchor box）個數。坐標損失如式（2）所示：

3 改進YOLO v3算法

原始的YOLO v3網絡結構都是采用大小為1×1，3×3的卷積核連續進行卷積操作，在速度和精度上雖然都取得了較好的效果，但是仍有許多改進空間。本文在YOLO v3網絡結構的基礎上，首先修改了YOLO v3網絡結構，用混合深度卷積代替了原有的深度卷積；然后為了增強航拍下的小目標識別能力，將深層特征與更淺層特征相融合，縮小卷積核的感受野；最后在損失函數上進行改進，使用GIOU［14］代替了傳統的IOU計算損失。

3.1 混合深度卷積網絡結構

在原始的YOLO v3網絡結構中，每一次的卷積操作只對應了唯一大小的卷積核。單一卷積核不僅運算量較大、而且對圖像特征提取也比較單一。在改進網絡結構后，一次混合深度卷積中使用不同大小的卷積核對輸入的圖像進行特征提取，首先將輸入張量分成n維虛擬張量，然后依次使用不同卷積核分別對輸入虛擬張量進行特征提取，最后將不同卷積核提取的特征向量合并。提供選擇的卷積核大小有3×3，5×5，7×7，9×9。在使用混合深度卷積后，不僅減少了網絡參數計算量，而且提取到的圖像特征將更豐富，從而改善了網絡的檢測精度和速度。混合深度卷積的結構如圖3所示。

圖3 混合深度卷積結構

具體的混合深度卷積過程如下：

1）假設輸入張量為X(w，h，c)，w為輸入空間寬度，h為輸入空間高度，c通道大小。首先將輸入張量平均劃分為n組的虛擬張量X(w，h，c1)，X(w，h，c2)…X(w，h，cn)，其中所有的虛擬張量和輸入張量有相同的寬度和高度，并且有c=c1+…+cn。

2）假設原始的卷積核為W(k，k，c)，k為卷積和大小，c為輸入通道大小，在將輸入張量平均劃分好之后，再將卷積核也對應劃分為同樣的n組虛擬卷積核W(k1，k1，c1)，W(k2，k2，c2)…W(kn，kn，cn)。其中c=c1+…+cn ki∈{3，5，7，9}，i=1，2···n。

3）對于相對應的兩組輸入張量和卷積核，得到底t組虛擬輸出張量如下：

4）最終的輸出張量Y(x，y，z)是將所有的虛擬輸出張量串聯，即：

在原網絡結構的基礎上，融合混合深度卷積，將原始大小為3×3的卷積核替換成大小為3×3、5×5等的混合深度卷積核。為了適應改進后網絡參數學習，將網絡的輸入圖片大小重整為224×224。改進后的網絡對比于原先的YOLO v3網絡則需要計算更少的網絡參數，減小了網絡模型，加速了網絡的檢測速度。

為了改善算法對小目標的檢測效果，網絡在yolo檢測層融合不同尺度特征，在不同的特征圖上進行預測。與YOLO v3檢測網絡結構不同的是，改進后網絡重新修改了yolo層檢測尺度，將第四次下采樣大小為14×14的特征圖進行4倍上采樣與第二次下采樣的特征圖進行特征融合。網絡最終輸出了3個不同大小的特征圖進行目標檢測，其大小分別為7×7，14×14，56×56。多尺度融合后的網絡使得相同的卷積核在原圖中的感受野減小，改善網絡對于小目標的檢測精度。改進后的網絡結構如圖4、5所示。

圖4 改進后的FPN網絡結構

3.2 損失函數改進

IOU（Intersaction over Union）是YOLO v3回歸損失中使用的一個損失度量，其計算公式如式（7）所示：

其中Bgb為目標框（ground bounding box），Bpb為預測框（predicted bounding box）。它可以表示預測框和目標框之間的距離，在回歸損失中常使用IOU來作為一種損失度量。

圖5 改進后的特征提取網絡結構

在直接使用IOU作為度量標準時，如果Bgb與Bpb沒有相交，此時的IOU就不能反應真實的距離以及無法進行梯度回傳，導致無法進行訓練學習。此外，IOU也無法精準反應兩個框的重合大小。基于上述問題，對于航拍下的小汽車檢測采用GIOU作為一種新的損失度量。GIOU的計算過程如下。

1）對于任意Bgb、Bpb?Rn，有最小的一個閉集C，使得Bgb、Bpb?C?Rn。

對于IOU而言，其值域為［0，1］，而GIOU的值域為［-1，1］。在兩個形狀完全重合時，有GIOU=IOU=1，當兩個形狀沒有重疊部分時，IOU為0，GIOU為-1。在使用GIOU代替IOU作為一種新的損失度量后，即使Bgb與Bpb沒有相交，此時的GIOU仍然有損失進行梯度回傳，依然可以進行優化。

4 實驗結果及分析

4.1 模型訓練

為了提高算法在不同環境下的檢測效果，本次訓練中使用的圖像由大疆公司發布的四旋翼無人機Mavic Pro在不同天氣、角度、遮擋等情況下拍攝。無人機飛行高度50m～100m，相機拍攝角度垂直向下。視頻共拍攝1000張照片，其中訓練組900張，測試組100張。帶標簽小汽車總數為23316輛。仿真平臺配置見表1。

表1 測試平臺配置表

在環境配置完成后，對YOLO v3和改進后的YOLO v3分別進行訓練，訓練批次為10000輪。采用隨機梯度下降算法對網絡模型參數進行更新直至收斂。為了加快網絡模型的收斂速度，將權值的初始學習率設置為0.01、8000和9000輪后學習衰減系數分別設置為0.1。

4.2 結果分析

分別對YOLO v3和改進的YOLO v3進行訓練時，每1000次訓練迭代保存一次最新的網絡權值參數文件。在訓練過程中發現，經過9000輪的訓練，網絡的精度和損失幾乎沒有變化，均達到穩定狀態。圖6和圖7分別顯示了訓練過程中的AP和平均損失（Avg Loss）。

圖6 訓練過程中AP對比圖

圖7 訓練過程中損失對比圖

為了更準確地比較兩種算法的檢測精度和速度。訓練結束后，利用網絡保存的7000輪、8000輪、9000輪的參數權重文件，比較檢測精度和速度。在比較兩種算法性能時，采用控制變量法分別計算了相同硬件配置下兩種算法的AP和檢測速度。通過比較不同訓練迭代的權重文件，改進后的YOLO v3具有更高的檢測精度。結果見表2。

表2 迭代次數與AP對比表

在對不同網絡結構的AP進行測試后，選擇兩種網絡結構中AP的最高權值文件，在相同配置下測試檢測速度。在檢測同一視頻文件時，YOLO v3的平均檢測速度約為31.4f/s，而改進后的YOLO v3的平均檢測速度約為41.6f/s。

為了驗證改進算法對小目標檢測的準確性，將無人機飛行高度定位在70m處，并在視頻上測試了小車檢測效果。圖8顯示了YOLO v3下的檢測效果，圖9顯示了改進的YOLO v3檢測效果。從圖10的放大圖可以看出，與右圖相比，左圖中標記為A、B、C的車具有更精確的檢測框。改進YOLO v3算法可以檢測出D車，而YOLO v3算法不能檢測到D車。結果表明，改進YOLO v3算法比YOLO v3算法具有更高的檢測精度。

圖8 YOLO v3檢測圖

圖9 改進YOLO v3檢測圖

圖10 局部放大圖

從對比結果來看，在準確度方面，改進后的YOLO v3略有提高，比YOLO v3提高了2.4%。在檢測速度上，改進后的速度提高了32.5%。

4.3 不同算法實驗對比

為了驗證改進的YOLO v3算法的有效性，我們將當前主流的深度學習算法使用相同的訓練樣本與改進的YOLO v3算法進行了比較，并將其他算法參數設置為默認值。比較結果用檢測AP與速度進行評價，結果如表3和圖11所示。

表3 不同算法實驗結果對比表

圖11 不同算法速度和精度對比圖

5 結語

本文提出的改進YOLO v3算法應用于航拍下的小汽車檢測，解決了以往算法中檢測精度和實時性不足的問題。改進YOLO v3算法在YOLO v3的網絡基礎上，將原始的單一深度卷積核替換為更適合特征提取的混合深度卷積核并且修改了檢測特征圖尺度大小，因此模型學習參數減少了，整體的網絡檢測速率也得到提升。在回歸損失函數設計時，使用GIOU代替IOU度量損失，提高了算法的檢測精度。測試結果表明，改進YOLO v3算法更適用于航拍下的小汽車檢測。