改進(jìn)的YOLOv3算法在道路環(huán)境目標(biāo)檢測(cè)中的應(yīng)用

胡貴桂

摘 要：近年來(lái)，社會(huì)經(jīng)濟(jì)持續(xù)高速的發(fā)展，人均汽車(chē)占有量迅速增加。為了避免車(chē)輛追尾等事故發(fā)生，結(jié)合道路環(huán)境下目標(biāo)檢測(cè)的難點(diǎn)及要求，文章選擇基于卷積神經(jīng)網(wǎng)絡(luò)的YOLOv3算法，并針對(duì)YOLOv3中使用的k-means聚類算法初始時(shí)隨機(jī)選擇質(zhì)心這一不穩(wěn)定性以及原本的darknet53網(wǎng)絡(luò)層數(shù)較低導(dǎo)致精度不是很高的問(wèn)題，引用k-means++聚類算法對(duì)k-means聚類算法進(jìn)行優(yōu)化，并將darknet53替換成特征提取能力更強(qiáng)的resnet101，進(jìn)行算法優(yōu)化。實(shí)驗(yàn)結(jié)果顯示優(yōu)化后的算法mAP提高了12.2%，基本符合實(shí)際應(yīng)用檢測(cè)的精度要求。

關(guān)鍵詞：道路環(huán)境;目標(biāo)檢測(cè);YOLOv3

中圖分類號(hào)：TP301.6 ?文獻(xiàn)標(biāo)識(shí)碼：B ?文章編號(hào)：1671-7988（2020）05-117-05

Abstract： In recent years， with the rapid development of social economy， the per capita car ownership has increased rapidly. In order to avoid accident， such as rear-end collision， combined with the difficulties and requirements of target detection in road environment， this paper choose YOLOv3 algorithm based on convolution neural network. Aiming at the problem of the accuracy is not very high caused by the instability of K-means clustering algorithm which selects the center of mass in the initial randomly and the low layers of darknet53 network.referencing k-means++ clustering algorithm to optimize k-means clustering algorithm， and using resnet101 whose feature extraction capability is stronger to replace darknet53， optimize algorithm. Experimental results show that the optimized algorithm mAP improves 12.2%， which basically meets the accuracy requirements of practical application.

Keywords： Road environmental; Target detection; YOLOv3

引言

隨著社會(huì)經(jīng)濟(jì)持續(xù)高速的發(fā)展，人均汽車(chē)占有量迅速上升，傳統(tǒng)交通行業(yè)存在的缺陷日益突出，包括交通事故頻發(fā)、道路交通擁擠、環(huán)境污染嚴(yán)重等問(wèn)題，因此，車(chē)輛智能化迫在眉睫。而車(chē)輛智能化首要任務(wù)是讓車(chē)輛理解周?chē)膱?chǎng)景，知道周?chē)哪繕?biāo)“是什么”，即實(shí)現(xiàn)道路環(huán)境下的目標(biāo)檢測(cè)。

由于道路環(huán)境復(fù)雜，且車(chē)輛是在運(yùn)動(dòng)中實(shí)時(shí)采集場(chǎng)景圖片。因此，道路環(huán)境下的目標(biāo)檢測(cè)存在以下三大難點(diǎn)：1）由于行車(chē)過(guò)程中光照條件和相對(duì)角度等因素變化，使目標(biāo)的特征發(fā)生一定變化，導(dǎo)致目標(biāo)檢測(cè)產(chǎn)生漏檢和誤檢;2）由于目標(biāo)姿態(tài)改變（如人站立、行走騎行時(shí)的姿態(tài)不同）、局部遮擋（如前車(chē)被后車(chē)部分遮擋）等非剛性形變，導(dǎo)致目標(biāo)檢測(cè)產(chǎn)生漏檢;3）存在同類目標(biāo)的特征差別較大（如山地自行車(chē)和共享單車(chē)都屬于自行車(chē)，但特征差別較大），不同類目標(biāo)的特征差別較小的情況（如電瓶車(chē)和自行車(chē)），導(dǎo)致目標(biāo)檢測(cè)產(chǎn)生誤檢[1]。

傳統(tǒng)的目標(biāo)檢測(cè)技術(shù)使用手工設(shè)計(jì)的特征，提取方法泛化性能較差，難以提取到更抽象的特征，所以在道路環(huán)境中，使用傳統(tǒng)的目標(biāo)檢測(cè)技術(shù)，難以達(dá)到檢測(cè)精度的要求。近年來(lái)，研究者們發(fā)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)可以自動(dòng)提取圖像更深層次的特征，克服了手工設(shè)計(jì)特征的缺點(diǎn)，具有更強(qiáng)大的特征表達(dá)能力，泛化能力強(qiáng)、魯棒性較好。因此，卷積神經(jīng)網(wǎng)絡(luò)很好的解決了復(fù)雜的道路環(huán)境下采集的相同目標(biāo)一致性較差的問(wèn)題，非常適用于道路環(huán)境下的目標(biāo)檢測(cè)。

1 目標(biāo)檢測(cè)算法

根據(jù)檢測(cè)思想的不同，基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法主要分為兩類：基于候選區(qū)域的Two-stage（兩步檢測(cè)）目標(biāo)檢測(cè)算法和基于回歸的One-stage（單步檢測(cè)）目標(biāo)檢測(cè)算法[2]。基于候選區(qū)域的目標(biāo)檢測(cè)算法包括R-CNN[3]、SPP- Net[4]、Fast R-CNN[5]、Faster R-CNN[6]、R-FCN[7]、Mask R-CNN[8]等，該算法從R-CNN到Mask R-CNN，都采用了“候選區(qū)域+CNN+分類回歸”這一基本思路，不斷在檢測(cè)精度和速度上進(jìn)行改進(jìn)。但整體而言，這些網(wǎng)絡(luò)的實(shí)時(shí)性較差，很難滿足實(shí)際需求。基于回歸的目標(biāo)檢測(cè)算法包括YOLO系列[9]～[11]、SSD[12]、FPN[13]以及RetinaNet[14]，該算法基本思路是給定輸入圖像，將特征提取、目標(biāo)分類以及目標(biāo)回歸的所有過(guò)程都整合到一個(gè)卷積神經(jīng)網(wǎng)絡(luò)中完成，很好地改善了目標(biāo)檢測(cè)算法的實(shí)時(shí)性，使目標(biāo)檢測(cè)在實(shí)際中的應(yīng)用成為可能。目標(biāo)檢測(cè)算法在VOC2007、VOC2012和COCO數(shù)據(jù)集的性能如表1所示。

從表中可以看出YOLO系列的檢測(cè)速度遠(yuǎn)高于其他網(wǎng)絡(luò)框架，這對(duì)于神經(jīng)網(wǎng)絡(luò)應(yīng)用于實(shí)際生活有重要的意義，并且YOLOv3相比YOLOv1、YOLOv2等精度有了較高提升。而道路環(huán)境下的目標(biāo)檢測(cè)對(duì)實(shí)時(shí)性要求較高，因此，YOLOv3是綜合性能較好，最適合本文的一種方法。

2 YOLOv3算法改進(jìn)

本文針對(duì)YOLOv3中使用的k-means聚類算法初始時(shí)隨機(jī)選擇質(zhì)心這一不穩(wěn)定性以及原本的darknet53網(wǎng)絡(luò)層數(shù)較低導(dǎo)致精度不是很高的問(wèn)題，對(duì)k-means聚類方法進(jìn)行優(yōu)化，并將原本的darknet53替換成特征提取能力更強(qiáng)的resnet101，進(jìn)行算法優(yōu)化提高檢測(cè)精度。

2.1 k-means優(yōu)化改進(jìn)

在YOLOv3中使用k-means聚類算法，統(tǒng)計(jì)anchors的參數(shù)，對(duì)bbox的初始位置進(jìn)行確定。而k-means聚類算法隨機(jī)選取k個(gè)數(shù)據(jù)點(diǎn)作為初始的聚類質(zhì)心，這種隨機(jī)的方式只能找到局部最優(yōu)化類，而不是全局最優(yōu)化類，影響了算法的聚類效果。

為了避免簡(jiǎn)單k-means聚類造成的影響，本文引用k- means++聚類算法，讓初始質(zhì)心盡可能的遠(yuǎn)而不是隨機(jī)產(chǎn)生，對(duì)原算法進(jìn)行優(yōu)化。具體步驟如下：

首先確定k值，即數(shù)據(jù)集經(jīng)過(guò)聚類最終得到的集合數(shù)，從數(shù)據(jù)集中隨機(jī)選取1個(gè)數(shù)據(jù)點(diǎn)作為第一個(gè)聚類質(zhì)心。接著，對(duì)于數(shù)據(jù)集中的每一個(gè)點(diǎn)計(jì)算其與第一個(gè)質(zhì)點(diǎn)的距離，選取最遠(yuǎn)的點(diǎn)作為第二個(gè)質(zhì)點(diǎn)，依此類推，假設(shè)已經(jīng)選取了n個(gè)初始聚類質(zhì)心（0

2.2 基于殘差網(wǎng)絡(luò)特征提取的YOLOv3

加深卷積神經(jīng)網(wǎng)絡(luò)，能加強(qiáng)特征提取能力，但同時(shí)梯度消失的現(xiàn)象也會(huì)更明顯，網(wǎng)絡(luò)的訓(xùn)練效果反而下降，而殘差網(wǎng)絡(luò)[15]允許網(wǎng)絡(luò)盡可能的加深，其結(jié)構(gòu)如圖1。因此，本文使用resnet101替換原本的darknet53，以此來(lái)提升yolov3的檢測(cè)性能。

殘差模塊除了正常的卷積層輸出外，還有一個(gè)分支把輸入直接連到輸出上，該輸出和卷積的輸出做算術(shù)相加得到最終的輸出，如式（1）所示，x是所示結(jié)構(gòu)的輸入，F(xiàn)（x）是卷積分支的輸出，H（x）是整個(gè)結(jié)構(gòu)的輸出。殘差結(jié)構(gòu)人為制造了恒等映射，讓整個(gè)結(jié)構(gòu)朝著恒等映射的方向收斂，確保最終的錯(cuò)誤率不會(huì)因?yàn)樯疃鹊淖兇蠖絹?lái)越差。

每個(gè)殘差單元通常由幾個(gè)疊加的卷積層Conv、批量正則化層BN、以及ReLU激活組成。在式（3）中F（x，wi）代表殘差學(xué)習(xí)映射，其中σ代表ReLU激活函數(shù)，在這里省略了偏置項(xiàng)，在式（2）中當(dāng)F和x維度不同時(shí)，添加偏置Wx，其好處是不會(huì)增加訓(xùn)練參數(shù)。

如表2所示，為殘差網(wǎng)絡(luò)典型的三個(gè)堆疊層數(shù)，殘差網(wǎng)絡(luò)將整個(gè)卷積層分為5個(gè)部分，每個(gè)部分輸出的特征圖大小以及通道數(shù)相同，只是在每個(gè)部分的堆疊方式卷積堆疊數(shù)量有區(qū)別。考慮到網(wǎng)絡(luò)堆疊層數(shù)過(guò)多對(duì)檢測(cè)速度的影響，在改進(jìn)YOLOv3時(shí)，殘差網(wǎng)絡(luò)層數(shù)的選取上做了最優(yōu)的選取，選用特征提取能力較強(qiáng)，且又不失檢測(cè)速度的ResNet101，改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

由于YOLOv3對(duì)小目標(biāo)檢測(cè)的能力較弱，在改進(jìn)的過(guò)程中也對(duì)此做出了相應(yīng)的調(diào)整。經(jīng)深層卷積之后的表征較強(qiáng)，但容易丟失細(xì)節(jié)信息，如果能結(jié)合深層特征與淺層特征，那么特征圖的對(duì)于小目標(biāo)的特征描述將會(huì)得到提升。從此思想出發(fā)，本論文采用特征金字塔的方式融合淺層特征與深層特征，將殘差網(wǎng)絡(luò)中深層輸出作為全局語(yǔ)義信息的引導(dǎo)，使用雙線性插值得到與低層特征圖相同尺度的特征映射，通過(guò)級(jí)聯(lián)的方式，融合了多尺度的上下文信息。在經(jīng)過(guò)1×1的卷積降維之后，進(jìn)行對(duì)融合之后的特征圖的檢測(cè)識(shí)別操作。

3 目標(biāo)檢測(cè)實(shí)驗(yàn)及結(jié)果分析

本文所有實(shí)驗(yàn)在windows 10系統(tǒng)，Intel i9-9900k處理器，Nvidia 2080ti GPU，在Anaconda的開(kāi)發(fā)環(huán)境上，配置Tensor Flow的深度學(xué)習(xí)開(kāi)源框架。

3.1 數(shù)據(jù)集制作

3.1.1 圖像采集

本文數(shù)據(jù)采集的第一個(gè)思路，就是有效利用網(wǎng)絡(luò)公共資源，從公開(kāi)的數(shù)據(jù)庫(kù)采集圖像。本文的目標(biāo)主要為道路環(huán)境中常見(jiàn)的行人person、自行車(chē)bicycle、電動(dòng)車(chē)（摩托車(chē)）motorcycle、汽車(chē)car、客車(chē)bus、貨車(chē)trucks、交通燈traffic light。訓(xùn)練集圖片主要是在Pascal VOC、MS COCO和網(wǎng)絡(luò)圖片下載，制作生成15600張圖像的數(shù)據(jù)集。具體數(shù)量如表3所示。

3.1.2 圖像標(biāo)注

圖像標(biāo)注的基本目標(biāo)是根據(jù)圖像的視覺(jué)內(nèi)容和獲得的指導(dǎo)信息來(lái)確定對(duì)應(yīng)的文本語(yǔ)義描述[16]。本論文中的部分?jǐn)?shù)據(jù)未標(biāo)注，需要使用LabelImg工具對(duì)圖片進(jìn)行標(biāo)注。標(biāo)注如圖3所示，將圖像中出現(xiàn)的7類目標(biāo)都盡可能的標(biāo)注出來(lái)，其他類別不做標(biāo)注。

3.2 模型訓(xùn)練

模型訓(xùn)練就是模型中的參數(shù)擬合的過(guò)程。本文產(chǎn)用監(jiān)督學(xué)習(xí)，通過(guò)損失函數(shù)來(lái)計(jì)算網(wǎng)絡(luò)輸出分?jǐn)?shù)和期望分?jǐn)?shù)之間的誤差，利用得到的誤差不斷修改網(wǎng)絡(luò)內(nèi)部的參數(shù)來(lái)減小這種誤差。

訓(xùn)練數(shù)據(jù)大約15600張圖片，總共訓(xùn)練了200000 batches，每個(gè)batches有64張圖片，在英偉達(dá)Titan V服務(wù)器上大約訓(xùn)練了18小時(shí)。圖4為每個(gè)batches訓(xùn)練的平均損失統(tǒng)計(jì)圖，可見(jiàn)在訓(xùn)練達(dá)到200000 batches，平均損失趨近于0，說(shuō)明訓(xùn)練達(dá)到了收斂。

3.3 檢測(cè)結(jié)果及分析

本文選用的評(píng)價(jià)指標(biāo)為目前主流的mAP（mean Average Precision）指標(biāo)。mAP指標(biāo)為所有目標(biāo)類別AP（平均精度）的平均值，而每個(gè)目標(biāo)類別的AP是在該目標(biāo)類別的每一個(gè)不同查全率值（包括0和1）下，選取其大于等于這些查全率值時(shí)的查準(zhǔn)率最大值，以查全率（recall）為自變量，該查全率下的最大查準(zhǔn)率（precision）為因變量，繪制曲線，曲線下的面積作為該目標(biāo)的AP，如圖5所示。

式中，TruePositives為被正確識(shí)別為目標(biāo)類的數(shù)目，F(xiàn)alsePositives為被錯(cuò)誤識(shí)別為目標(biāo)類的數(shù)目，F(xiàn)alseNagatives為目標(biāo)類被錯(cuò)誤識(shí)別或?yàn)楸蛔R(shí)別的數(shù)目。

為了測(cè)試優(yōu)化后的YOLOv3目標(biāo)檢測(cè)方案的效果，分割訓(xùn)練數(shù)據(jù)制作成測(cè)試集，并用同一測(cè)試集測(cè)試改進(jìn)前后的算法精度。對(duì)7種類別中的每一類分別統(tǒng)計(jì)平均精度（AP），7類目標(biāo)檢測(cè)的AP結(jié)果如圖6所示，改進(jìn)前的mAP為54.87%，與YOLOv3在COCO數(shù)據(jù)集下的mAP基本吻合;改進(jìn)后的mAP為67.07%，比改進(jìn)前提升了12.2%。

如上圖所示，YOLOv3的性能得到了很大的提升，原始的網(wǎng)絡(luò)結(jié)構(gòu)能適應(yīng)常規(guī)的檢測(cè)目標(biāo)，而重新使用新的聚類方法以及優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)后，提高了模型的泛化性能和檢測(cè)精度，隨著網(wǎng)絡(luò)層數(shù)較原始的網(wǎng)絡(luò)有所加深，使得特征提取能力加強(qiáng)，改進(jìn)后的YOLOv3在測(cè)試數(shù)據(jù)中的檢測(cè)效果，對(duì)于一些比較小的特征以及疊加嚴(yán)重的目標(biāo)，檢測(cè)效果都比較突出，基本符合實(shí)際應(yīng)用的檢測(cè)精度要求，實(shí)現(xiàn)了道路環(huán)境下的目標(biāo)準(zhǔn)確分類。

4 結(jié)論

本文針對(duì)道路環(huán)境下目標(biāo)檢測(cè)的難點(diǎn)及要求，選擇YOLOv3算法作為本文的算法，并針對(duì)YOLOv3中使用的k-means聚類算法初始時(shí)隨機(jī)選擇質(zhì)心這一不穩(wěn)定性以及原本的darknet53網(wǎng)絡(luò)層數(shù)較低導(dǎo)致精度不是很高的問(wèn)題，引用k-means++聚類算法對(duì)k-means聚類方法進(jìn)行優(yōu)化，并將darknet53替換成特征提取能力更強(qiáng)的resnet101，進(jìn)行算法優(yōu)化，優(yōu)化后的算法mAP提高了12.2%，基本符合實(shí)際應(yīng)用檢測(cè)的精度要求。

參考文獻(xiàn)

[1] 李旭冬.基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)若干問(wèn)題研究[D].電子科技大學(xué)， 2017.

[2] 謝娟英， 劉然. 基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法研究進(jìn)展[J/OL]. 陜西師范大學(xué)學(xué)報(bào)（自然科學(xué)版）， https：//doi.org/10.15983/j.cnki. jsnu.2019（05）： 1-9/2019-09-26.

[3] Girshick R， Donahue J， Darrell T， Malik J. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[P]. Computer Vision and Pattern Recognition（CVPR），2014 IEEE Confe -rence on， 2014.

[4] He Kaiming， Zhang Xiangyu， Ren Shaoqing， Sun Jian. Spatial Pyra -mid Pooling in Deep Convolutional Networks for Visual Recogni -tion[J]. IEEE transactions on pattern analysis and machine intelli -gence， 2015， 37（9）.

[5] Girshick R. Fast R-CNN[A].IEEE International Conference on Computer Visio[C]. Santiago： IEEE， 2015， 1440-1448.

[6] Ren S， He K， Girshick R， et al. Faster R-CNN： towards real-time object detection with region proposal networks[J]. IEEE Transac -tions on Pattern Analysis & Machine Intelligence， 2015， 39（6）： 1137-1149.

[7] Dai J， Li Y， He K， et al. R-FCN： Object Detection via Region-based Fully Convolutional Networks [J]. 2016， 379-387.

[8] He K， Gkioxari G， Dollar P， et al. Mask r-cnn[A]. Computer Vision （ICCV）， 2017 IEEE International Conference on. IEEE， 2017： 2980- 2988.

[9] Redmon J， Divvala S， Girshick R， et al. You Only Look Once： Unified， Real-Time Object Detection[A]. 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas， USA： IEEE Computer Society， 2016： 429-442.

[10] Redmon J， Farhadi A. YOLO9000： better， faster， stronger [A]. IEEE Conference on Computer Vision and Pattern Recognition[C]. Hono -lulu： IEEE， 2017， 6517-6525.

[11] Redmon J， Farhadi A. Yolov3： An incremental improvement [DB/ OL]. https：//arxiv.org/abs/1804.02767. 2018-4.

[12] Liu W， Anguelov D， Erhan D， et al. SSD： single shot multibox detector [A]. European Conference on Computer Vision [C]. Sprin -ger， 2016， 21-37.

[13] Lin T Y， Doll R P， Girshick R， et al. Feature Pyramid Networks for Object Detection[A].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2017： 2117-2125.

[14] Lin T Y， Goyal P， Girshick R， et al. Focal loss for dense object detec -tion [A] Proceedings of the IEE EInternational Conference on Computer Vision， 2017： 2980-2988.

[15] He K， Zhang X， Ren S， et al. Deep residual learning for image recognition [A]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition [C]. Las Vegas： IEEE， 2016， 770- 778.

[16] 盧漢清，劉靜.基于圖學(xué)習(xí)的自動(dòng)圖像標(biāo)注[J].計(jì)算機(jī)學(xué)報(bào)，2008， （9）：1629-1639.