一種基于YOLO 的交通目標(biāo)實時檢測方法?

王思雨 Tanvir Ahmad

（華北電力大學(xué)控制與計算機(jī)工程學(xué)院 北京 102206）

1 引言

近年來，我國城市道路建設(shè)規(guī)模日益擴(kuò)大，城市交通需求逐步增加，交通道路擁堵、交通事故猛增已成了交通管理部門所關(guān)注的重點問題［1］。隨著大數(shù)據(jù)、云計算、移動互聯(lián)網(wǎng)等技術(shù)的迅速發(fā)展，“互聯(lián)網(wǎng)+”概念已經(jīng)引起了各行各業(yè)的高度重視?！盎ヂ?lián)網(wǎng)+交通”［2］是將互聯(lián)網(wǎng)新技術(shù)應(yīng)用到智能交通領(lǐng)域，如通過傳感器、通訊設(shè)備、光學(xué)影像設(shè)備等，使得機(jī)器能夠識別車輛、行人、信號燈等一系列交通目標(biāo)，從而為智能交通提供基礎(chǔ)設(shè)施。人工智能［3］作為當(dāng)下最火爆的科技之一，在車輛顏色、車牌識別、無牌車檢測方面應(yīng)用已經(jīng)比較成熟。目前已經(jīng)有許多大型公司投入大量資金，致力于自動駕駛汽車的研究。然而，如何能夠提高車輛安全性能，提高交通目標(biāo)檢測準(zhǔn)確率和檢測速度是實現(xiàn)無人駕駛的關(guān)鍵。

基于上述背景介紹，交通安全問題是實現(xiàn)自動駕駛需要考慮的首要問題。因此，在進(jìn)行交通目標(biāo)檢測任務(wù)時，如果可以在保持實時檢測速度的情況下，還能夠大幅提升檢測精度，對自動駕駛技術(shù)而言是一項重要舉措。本文將YOLOv3 應(yīng)用于車輛、行人等交通目標(biāo)檢測［19］，與YOLOv2 相比能夠大幅提升檢測精度。

2 目標(biāo)檢測

傳統(tǒng)的交通目標(biāo)檢測技術(shù)包括基于雷達(dá)、超聲波、紅外線等傳感器檢測方法［4］。其中基于雷達(dá)的目標(biāo)檢測是根據(jù)雷達(dá)發(fā)射的電磁波來探測車輛目標(biāo)位置；而基于超聲波的目標(biāo)檢測無法檢測低速行駛車輛；基于紅外線的檢測方法抗干擾能力低。隨著社會的發(fā)展，視頻采集設(shè)備的價格越來越低廉，采集圖像的質(zhì)量越來越高，基于計算機(jī)視覺［5］的目標(biāo)檢測技術(shù)逐漸興起。早期的圖像檢測技術(shù)是根據(jù)圖像的顏色［6～8］、紋理、圖形特征模型［9～10］等一系列特征變化來完成特征提取。Liu et al.［11］提出了一種新的單個視頻對象提取的半自動分割方法。受Hubel 和Wiesel 對貓視覺皮層研究啟發(fā)，有人提出卷積神經(jīng)網(wǎng)絡(luò)［12］。Yann Lecun［13］是最早將CNN 用于手寫數(shù)字識別，并一直保持了其在該領(lǐng)域的霸主地位。2012 年ImageNet 競賽冠軍獲得者Hinton 和他的學(xué)生Alex Krizhevsky 設(shè)計了AlexNet［14］。VGG?Net［15］是 牛 津 大 學(xué) 計 算 機(jī) 視 覺 組 和Google Deep?Mind 公司的研究員一起研發(fā)的深度卷積神經(jīng)網(wǎng)絡(luò)。GoogLeNet［16］是2014 年Christian Szegedy 提 出的一種全新的深度學(xué)習(xí)結(jié)構(gòu)。ResNet［17］在2015 年被微軟亞洲研究院何凱明團(tuán)隊提出，ResNet 有152層，除了在層數(shù)上面創(chuàng)紀(jì)錄，ResNet 的錯誤率也低得驚人。2015 年，Redmond J 提出了一種全新的端到端的目標(biāo)檢測算法——YOLO［18］。YOLO 借鑒了GoogLeNet 的分類網(wǎng)絡(luò)結(jié)構(gòu)。相比其他的檢測網(wǎng)絡(luò)，它能夠達(dá)到45f/s的檢測速度。

在自動駕駛系統(tǒng)中，目標(biāo)檢測任務(wù)主要是預(yù)測目標(biāo)類別以及目標(biāo)位置?，F(xiàn)有的基于CNN 的目標(biāo)檢測方法，大多第一步是先提取感興趣的區(qū)域候選框，然后利用卷積神經(jīng)網(wǎng)路提取區(qū)域特征，最后將提取的區(qū)域特征送入分類器進(jìn)行分類。與其他目標(biāo)檢測方法不同的是，YOLO 運行一次神經(jīng)網(wǎng)絡(luò)就可以得到預(yù)測邊框以及所屬類別，而不是區(qū)域候選框提取之后再進(jìn)行分類。這樣做的結(jié)果就是提高了檢測速度，但以犧牲精度為代價。到目前為止，YOLO 已經(jīng)經(jīng)歷了兩次版本的更迭，最新版是YO?LOv3。

3 YOLO原理

3.1 YOLOv1

目標(biāo)檢測任務(wù)主要是分類。在YOLO 之前的目標(biāo)檢測方法主要是通過區(qū)域建議產(chǎn)生大量可能包含目標(biāo)的候選框，再使用分類器進(jìn)行分類，判斷候選框中是否含有待檢測目標(biāo)，并計算目標(biāo)所屬類別的概率。而YOLO 是一個端到端的目標(biāo)檢測框架，它把目標(biāo)檢測任務(wù)當(dāng)作回歸問題來處理，通過一次圖像輸入就可以同時得到預(yù)測邊框的坐標(biāo)、邊框包含目標(biāo)的置信度，以及所屬類別的概率。由于YOLO 實現(xiàn)目標(biāo)檢測是在一個神經(jīng)網(wǎng)絡(luò)里完成的，因此，檢測目標(biāo)更快。選出預(yù)測框的位置以及其含有目標(biāo)的置信度和屬于目標(biāo)類別的可能性。

如圖1 所示，YOLOv1 的核心思想是將每個圖像劃分成S×S 的網(wǎng)格。每個網(wǎng)格預(yù)測B 個邊界框，和C 個類別概率。每個邊界框負(fù)責(zé)預(yù)測目標(biāo)中心位置和大小x，y，w，h，以及置信度共5 個變量。其中x，y 表示預(yù)測邊界框的中心落在當(dāng)前網(wǎng)格的相對位置。w，h 表示邊界框的寬和高相對整個圖像的比例。置信度則反映了目標(biāo)位置預(yù)測的準(zhǔn)確性。其計算公式如下：

如果有目標(biāo)中心落到一個網(wǎng)格中，公式右邊第一項Pr（Object）取1，否則取0。第二項IOU 指的是預(yù)測邊框和真實標(biāo)注邊框之間的重疊度。網(wǎng)絡(luò)模型最后的輸出維度為S×S×（B×5+C）。

圖1 YOLOv1 思想模型

檢測目標(biāo)時，由以下計算公式得到每個網(wǎng)格預(yù)測目標(biāo)類別的置信度得分。

最后通過非極大值抑制，如圖2 所示。過濾掉得分低的預(yù)測框，從而確定預(yù)測目標(biāo)的最終位置。而置信度得分用來判斷目標(biāo)所屬類別。

以VOC 數(shù)據(jù)為例，YOLOv1 采用7×7 網(wǎng)格，每個網(wǎng)格預(yù)測兩個邊界框。因為VOC 數(shù)據(jù)集待檢測目標(biāo)有20 個種類，所以輸出張量為7×7×（2×5+20）=30，YOLOv1檢測網(wǎng)絡(luò)包括24個卷積層和兩個全連接層。YOLOv1 借鑒了GoogLeNet，但是與之不同的是，YOLOv1 使用1×1 和3×3 的卷積核代替了GoogLeNet的inception module。

圖2 非極大值抑制

YOLOv1 相比其他基于CNN 的網(wǎng)絡(luò)模型而言很好地提升了檢測速度，但是由于YOLOv1 的檢測機(jī)制使得一個網(wǎng)格只能預(yù)測一個目標(biāo)，此時，如果有兩個物體同時落入一個網(wǎng)格，就會使得漏檢率比較高，而且一幅圖像只預(yù)測98 個邊界框，對于目標(biāo)定位誤差較大。

3.2 YOLOv2

YOLOv2［20］則參考了YOLOv1 和SSD［21］的網(wǎng)絡(luò)結(jié)構(gòu)，采用類似VGG16 的網(wǎng)絡(luò)結(jié)構(gòu)，多次使用3×3卷積核，并且在每一次池化操作之后都會把通道數(shù)翻倍。網(wǎng)絡(luò)使用全局評價池化，把1×1 的卷積核置于3×3 的卷積核之間，用來壓縮特征。最后得到Darknet-19 的基礎(chǔ)網(wǎng)絡(luò)模型，其中包含19 個卷積層和5 個最大池化層。但是Darknet-19 計算量要比VGG16 小得多，在ImageNet［22］分類top-1 準(zhǔn)確率能夠達(dá)到72.9%，top-5準(zhǔn)確率達(dá)到91.2%。

YOLOv2把初始輸入圖像分辨率由224×224提高到448×448，使得高分辨率的訓(xùn)練模型mAP 獲得4%的提升。其次由于YOLOv1 最后使用全連接層預(yù)測邊框和分類，導(dǎo)致丟失許多空間信息，導(dǎo)致定位不準(zhǔn)確，YOLOv2 借鑒了RPN 中anchor 的思想，在卷積層使用下采樣，使得416×416 的輸入圖像最終得到13×13 的特征圖，最終預(yù)測13×13×9 個邊框，大幅度提升了目標(biāo)檢測的召回率。YOLOv2 還改進(jìn)了預(yù)測邊框的方法。使用K-Means 聚類方法訓(xùn)練邊框。而傳統(tǒng)的K-Means 方法使用的是歐式距離，這意味著大的邊框會比小邊框更容易產(chǎn)生誤差。因此，作者提出使用IOU 得分來評判距離大小。使得預(yù)測的邊框更具代表性，從而提升檢測準(zhǔn)確率。YOLOv2采用SSD使用不同的特征圖以適應(yīng)不同尺度目標(biāo)的思想，對原始網(wǎng)絡(luò)添加了一個轉(zhuǎn)移層，把26×26×512的淺層特征圖疊加成13×13×2048的深層特征圖，這樣的細(xì)粒度特征對小尺度的物體檢測有幫助。最后，YOLOv2 還結(jié)合單詞向量樹方法，能夠檢測上千種目標(biāo)，雖然對本文檢測任務(wù)來說參考意義不大，但這對多目標(biāo)檢測任務(wù)來說也是一個很大的突破。

3.3 YOLOv3

YOLOv3［23］相對于YOLOv2 的改進(jìn)主要體現(xiàn)在多尺度預(yù)測。對坐標(biāo)預(yù)測和YOLOv2 一樣使用的維度聚類作為anchor boxes來預(yù)測邊界框。在訓(xùn)練期間，使用平方誤差損失的總和，這樣計算快一些。對于類別的預(yù)測，YOLOv3再使用Softmax進(jìn)行分類，而是每個邊框通過邏輯回歸預(yù)測該邊框?qū)儆谀骋粋€類別目標(biāo)的得分，這樣可以檢測一個目標(biāo)屬于兩個標(biāo)簽類別的情況。對于跨尺度預(yù)測，主要是為了適應(yīng)不同尺度的目標(biāo)，使得模型更具有通用性。尤其對小目標(biāo)的檢測，精度有了很大提升。YOLOv3 采用了Darknet-53，網(wǎng)絡(luò)結(jié)構(gòu)相比YO?LOv1和YOLOv2稍大了一些，但是準(zhǔn)確度提高了很多，尤其是對小目標(biāo)的檢測精度有了很大提升。并且在實現(xiàn)相近性能時，YOLOv3 比SSD 速度提高3倍，比RetinaNet速度提高近4倍。

4 實驗與結(jié)果分析

本實驗環(huán)境的操作系統(tǒng)是Ubuntu16.04，所有實驗都是在GPU 的配置下完成的，INVIDIA 顯卡型號GTX1070，顯存8G。使用到的開發(fā)包有CUDA、cuDNN 以及OpenCV。OpenCV 是為了將檢測結(jié)果可視化。

實驗數(shù)據(jù)是根據(jù)車載攝像頭捕捉的交通道路視頻，利用視頻分幀軟件得到靜態(tài)圖像。并對其進(jìn)行手工標(biāo)注。其中用于車輛、行人、非機(jī)動車的數(shù)據(jù)集有40765張圖像。

4.1 實驗指標(biāo)

本實驗將現(xiàn)有的數(shù)據(jù)集劃分成圖像數(shù)量分別為6500、13000、19500、26000、32500、39000 的6 個不同大小的訓(xùn)練數(shù)據(jù)集，其余1765 張圖像用作測試集。通過設(shè)定不同參數(shù)，得到多個訓(xùn)練模型。通過計算平均精度（AP）作為衡量模型的指標(biāo)。

在本實驗中，通過計算預(yù)測邊框與真實邊框的交并比（IOU），一般認(rèn)為只要滿足下述條件的就是正確的檢測結(jié)果，稱為正樣本。

其中B 為檢測模型預(yù)測的邊框，Bg為人工標(biāo)注的目標(biāo)真實邊框。

為了計算AP值，我們需要知道以下幾個概念：

表1 正負(fù)樣本概念

其中，準(zhǔn)確率（Precision）的計算公式為

圖3 準(zhǔn)確率-召回率曲線圖

如圖3 所示，準(zhǔn)確率-召回率（PR）曲線是根據(jù)對應(yīng)的準(zhǔn)度率召回率曲線繪制的。而AP 則是PR曲線下的面積值，可以通過準(zhǔn)確率和召回率計算函數(shù)積分得到，計算公式如下：

有時候為了評估模型的整體性能，需要對所有目標(biāo)的AP求平均值得到mAP。計算公式為

其中，N是待檢測目標(biāo)類別個數(shù)。

4.2 實驗結(jié)果和分析

本文使用YOLOv3和YOLOv2分別在訓(xùn)練集上訓(xùn)練模型，檢測車輛、行人和非機(jī)動車三類目標(biāo)。如圖4 所示，是在39000 的訓(xùn)練集以及45000 次迭代次數(shù)的情況下，三類目標(biāo)分別在YOLOv3 和YO?LOv2 訓(xùn)練模型得到的AP 值。顯然，改進(jìn)了的YO?LOv3 要比之前的檢測框架精度有了大幅提升。如圖5 所示，YOLOv3 對于交通目標(biāo)檢測的mAP 明顯高于YOLOv2。而YOLOv3 檢測速度相比YOLOv2減慢了1/3，如圖6所示，YOLOv3和YOLOv2訓(xùn)練模型分別對1765 張測試集圖像進(jìn)行測試所耗費的時間，均達(dá)到了每秒30 幀以上的檢測速度。這對于實時的目標(biāo)檢測任務(wù)也是足夠的。因此，選擇YO?LOv3實現(xiàn)交通目標(biāo)檢測任務(wù)再合適不過。

圖4 兩種方法的AP

圖5 兩種方法的mAP

圖6 兩種方法的檢測時間

圖7、圖8、圖9 是通過YOLOv3 在不同數(shù)據(jù)集上訓(xùn)練不同模型測試的結(jié)果。圖中展示了對于同一類檢測目標(biāo)，數(shù)據(jù)集的規(guī)模大小以及迭代次數(shù)的多少對目標(biāo)檢測精度AP的影響。通過對比三類不同的目標(biāo)發(fā)現(xiàn)，不同的數(shù)據(jù)集對于車輛的檢測精度變化并不大，而對于行人和非機(jī)動車而言，6500 的訓(xùn)練集確實檢測效果不佳。因此，大量的數(shù)據(jù)訓(xùn)練還是有必要的，隨著數(shù)據(jù)集規(guī)模的增加，檢測精度明顯呈上升趨勢。

圖7 不同數(shù)據(jù)集下car的AP變化曲線圖

如圖10、圖11、圖12 所示，對于同樣的訓(xùn)練數(shù)據(jù)集，當(dāng)?shù)螖?shù)增加到1000 次左右的時候，AP有一個較為明顯的變化，這是因為當(dāng)訓(xùn)練模型迭代到1000次左右時loss收斂較快。其次，對于車輛而言，隨著迭代次數(shù)的不斷增加，AP已逐漸趨近于1，從統(tǒng)計結(jié)果來看，迭代次數(shù)增加對車輛的檢測精度提高并不明顯。而對于行人和非機(jī)動車而言，AP還有很大上升空間，從圖中的趨勢也可以看出，如果繼續(xù)增加迭代次數(shù)，對ped 和cyc 的檢測精度還是可以繼續(xù)提高的。

圖8 不同數(shù)據(jù)集下cyc的AP變化曲線圖

圖9 不同數(shù)據(jù)集下ped的AP變化曲線圖

圖10 26000數(shù)據(jù)集時AP的變化曲線

進(jìn)一步綜合圖7～12，可以看到，對于車輛、行人和非機(jī)動車的檢測結(jié)果是不同的。對于車輛的檢測，AP 最高達(dá)到93%左右，而對于行人，AP 最高也才55%左右。究其原因可能有二：一是，在所有的數(shù)據(jù)集中，目標(biāo)分配極不均衡；這也提醒我們在基于YOLO 的深度學(xué)習(xí)訓(xùn)練中以后要盡量保持目標(biāo)均衡，效果則較好。二是，車輛特征比較明顯，而行人和非機(jī)動車特征變化多端，再加上交通道路場景復(fù)雜，對于行人的檢測精度還有待提高。

圖11 32500數(shù)據(jù)集時AP的變化曲線

圖12 39000數(shù)據(jù)集時AP的變化曲線

5 結(jié)語

本文通過在YOLOv3 和YOLOv2 上對比實驗，驗證了YOLOv3 應(yīng)用于交通目標(biāo)檢測精度確實要比YOLOv2 高出很多。YOLOv3 在不同數(shù)據(jù)集和迭代次數(shù)的各種組合情況下，表現(xiàn)出了訓(xùn)練集越大，迭代次數(shù)越多，檢測精度越高的特性。并且能夠保證檢測的實時性。盡管YOLOv3 檢測精度已經(jīng)有了很大提升，但是，還沒有達(dá)到百分百準(zhǔn)確的程度。由于無人駕駛與人類生命息息相關(guān)，因此，在圖像目標(biāo)檢測應(yīng)用在無人駕駛領(lǐng)域的方法還不夠成熟，檢測精度還有待提高。下一步考慮如何能夠平衡不同目標(biāo)的檢測準(zhǔn)確度，將模型泛化，使其能夠應(yīng)用到更多的領(lǐng)域中。并將加入和其他目標(biāo)檢測方法的對比，驗證YOLO 在交通目標(biāo)檢測領(lǐng)域的有效性及高效性。