基于YOLOv3的輕量化高精度多目標檢測模型

陳曉艷，任玉蒙，張東洋，洪 耿，許能華，閆瀟寧

(1. 天津科技大學電子信息與自動化學院，天津300222；2. 深圳市安軟科技股份有限公司，深圳518131)

當前行人車輛檢測算法在邊緣設備中的應用占用內(nèi)存過大，且無法達到實時性要求．隨著智慧城市建設和人工智能及大數(shù)據(jù)技術的迅猛發(fā)展，實現(xiàn)各種場景中的行人和車輛等重要目標的精準檢測成為智慧城市的重要任務．目標檢測一直被認為是計算機視覺領域中最具挑戰(zhàn)性的研究課題之一，這是由于它需要在給定圖像中精確定位特定目標類的對象，并為每個檢測目標分配一個對應類的標簽[1-2]．

基于圖像分類的傳統(tǒng)目標檢測方法是在檢測圖像中提取若干區(qū)域，用訓練好的分類器逐個判斷每個區(qū)域的所屬類別[3]．檢測過程包含圖像預處理、特征提取、特征分類及后處理等階段．

HOG-SVM(histogram of oriented gradient，HOG；support vector machine，SVM)被描述為傳統(tǒng)的目標檢測算法中最成功的行人目標檢測方法，并在一些實際場景中得到了廣泛的運用[4]；但該方法對物體的輪廓特征提取不夠準確，且特征提取能力不夠穩(wěn)定．Krizhevsky等[5]提出的AlexNet網(wǎng)絡，開啟了基于卷積神經(jīng)網(wǎng)絡(convolutional neural networks，CNN)的目標檢測研究．二階檢測器R-CNN系列算法[6-7]提出的以樣本候選框提取特征的目標檢測算法受到極大的關注，目標檢測精度明顯提高，但是由于選擇性搜索得到的有效候選框的數(shù)量太多，卷積神經(jīng)網(wǎng)絡計算量十分龐大，要得到理想的檢測精度，對時間和算力的要求顯著提高．

近幾年，YOLO(you only look once)系列算法[8-10]給目標檢測領域帶來了全新的思路，即將分類任務和定位任務進行合并，圖片經(jīng)過一次特征提取之后就可以獲取目標的位置和類別．尤其是YOLOv3模型，它使用了end-to-end的設計思路，將整張圖片進行特征提取，并將目標檢測問題轉(zhuǎn)換成單一的回歸問題，可直接計算出多種目標的分類結(jié)果與位置坐標，既保證了檢測的速度又保證了檢測的精度[10]．

然而，YOLOv3模型有235MB內(nèi)存，參數(shù)量約65MB，檢測速度不夠理想，在模型的輕量化和處理速度上存在很大的提升空間．模型的輕量化意味著對終端圖像處理芯片的需求降低，更便于在嵌入式設備上部署，這對智慧城市的建設具有十分重要的意義，不僅節(jié)約建設成本，而且提升城市安防的智能化水平[11]．本文在YOLOv3基礎上提出一種輕量化高精度模型，使其在目標檢測保持高精度的同時，大幅減小模型，提升處理速度．主要針對特征提取網(wǎng)絡、交并比計算以及損失函數(shù)進行了改進：將MobileNet作為特征提取網(wǎng)絡，即將標準卷積替換成點卷積和深度可分離卷積，降低大量參數(shù)量；采用CIOU(complete intersection over union)進一步精確計算目標框和預測框的距離，并反映兩者的重合度大小；在損失函數(shù)中引入了Focal loss，解決正負樣本分布不平衡以及簡單樣本與復雜樣本不平衡所造成的誤差；同時在訓練過程中引入標簽平滑(Label Smoothing)抑制過擬合．

1 目標檢測算法

YOLOv3網(wǎng)絡的基本結(jié)構分為兩個部分，如圖1所示，特征提取部分和預測部分．其中特征提取網(wǎng)絡Darknet53由1個CBL層和5個殘差塊組成．CBL層是由卷積層、BN層和LeakyRelu激活函數(shù)組成．殘差塊結(jié)構如圖1綠框所示，由2個CBL單元和1個殘差邊組成．而預測部分融合了3種不同尺度的邊界框．Darknet53提取出來的3個特征圖經(jīng)過卷積層加強特征提取之后進行上采樣，再次進行特征融合來豐富不同尺度的特征．

圖1 YOLOv3網(wǎng)絡結(jié)構圖Fig. 1 YOLOv3 network structure diagram

本文算法是在YOLOv3算法的基礎上進行改進，其檢測流程是先輸入大小為418×418的圖片，將圖片劃為S×S個網(wǎng)格，檢測每個網(wǎng)格是否含有目標中心點．若有目標中心點，則計算該物體屬于某一類的后驗概率并同時預測多個目標邊框．每個被預測的邊框包含5個參數(shù)，分別為目標邊框的中心點坐標(x,y)、寬高(w,h)和置信度評分Si．將置信度小于閾值的邊界框置零，采用非極大值抑制算法篩除冗余的邊界框，最終確定目標的位置．本文中的YOLO-A模型是將YOLO的特征提取網(wǎng)絡替換成MobileNet．YOLO-B模型在YOLO-A的基礎上將IOU(intersection over union)改進為CIOU、在損失函數(shù)中引入Focal loss以及引入Label Smoothing．

1.1 特征提取網(wǎng)絡

MobileNet是Google公司在2017年提出用于移動端和邊緣設備中的輕量級網(wǎng)絡．它提出的一種新的卷積思路是將標準卷積替換成點卷積和深度可分離卷積，大大地降低了模型的計算量．深度可分離與標準卷積的卷積核運算如圖2所示．

圖2 標準卷積與深度可分離卷積 Fig. 2 Standard convolution with depthwise separable convolution

假設輸入一張大小為 DF×DF×M的圖片，輸出圖片大小為 DF×DF×N，卷積核大小為 DK×DK．計算量的計算公式為

式中：FLOPS表示計算量，Ci為輸入通道，Co為輸出通道，DK×DK為卷積核大小，DF×DF為輸出圖片大小．

若采用標準卷積，則計算量為式(2)；若采用深度可分離卷積，則計算量為式(3)．

本文算法的特征提取網(wǎng)絡中N的值遠大于1．由公式計算可得，深度可分離的計算量遠遠小于采用普通卷積所帶來的計算量．

1.2 CIOU精選預測框

交并比IOU用于表示目標框和預測框的交集和并集之比，它不僅可以用來確定正樣本和負樣本，還可以反映預測框的檢測效果[12]．若預測框和真實框相近，IOU值就大，反之IOU的值就小．IOU示意圖如圖3所示，計算公式為

采用IOU度量兩個框之間的距離和重合程度，在訓練過程中存在兩種極端的情況：其一，當兩個框沒有交集，即IOU＝0時，無法表示兩者的距離，也無法反映兩者的重合度大小；其二，如圖4(a)和(b)，其IOU值雖然相等，但擬合程度是完全不一樣的．

圖3 IOU示意圖Fig. 3 The schematic diagram of IOU

圖4 目標框和預測框重疊情況示意圖 Fig. 4 Schematic diagram of overlap between target box and prediction box

針對上述情況，采用CIOU度量目標框和預測框的距離與重合程度．CIOU在充分利用尺度不變性的基礎上，融合目標框與預測框之間的距離及其重合程度[13]，并將預測框長和寬的比值作為懲罰項，從而使預測框的效果更加穩(wěn)定．CIOU示意圖見圖5．

圖5 CIOU示意圖 Fig. 5 The schematic diagram of IOU

CIOU公式為

其中：α為權重函數(shù)，ν為衡量長寬比的相似性參數(shù)，α和v的公式為

圖中：d =ρ2(b, bgt)是預測框和真實框的中心點的歐氏距離， b =(x,y,w,h)是真實框的信息，bgt=( xgt, ygt, wgt, hgt)是預測框的信息；c是包含預測框和真實框的最小矩形區(qū)域的對角線距離．

1.3 損失函數(shù)

在YOLOv3模型中，由于產(chǎn)生的先驗預測框絕大部分都不包含目標，這就造成了正負樣本比例失衡，導致大量的負樣本影響損失函數(shù)，少量正樣本的關鍵信息不能在損失函數(shù)中發(fā)揮正常的作用．借鑒Focal loss損失函數(shù)概念[14]，通過減少負樣本在樣本總量的權重，使得模型在訓練時更專注于難分類的樣本，即正樣本可以發(fā)揮出在損失函數(shù)中的作用．

Focal loss是在交叉熵損失函數(shù)基礎上進行修改，以二分類(即0和1兩個類)交叉熵損失函數(shù)為例，表達式為

y′是經(jīng)激活函數(shù)的輸出概率，在0～1之間，對于輸出為1的正樣本，若輸出概率越大則損失函數(shù)越小；對于輸出為0的負樣本而言，若輸出概率越小則損失函數(shù)越小．由于輸出為0的負樣本太多，導致對損失函數(shù)的優(yōu)化比較緩慢，難以獲得損失函數(shù)的最優(yōu)解．為了降低負樣本在損失函數(shù)中所占的權重，充分發(fā)揮正樣本在損失函數(shù)中所占的比重，即加入平衡系數(shù)α以降低負樣本的比重[15]，得到的損失函數(shù)為

在此基礎上又增加一個動態(tài)縮放因子γ，自動降低簡單樣本的損失，幫助模型更好地訓練困難的樣本，最終形成的Focal loss為

1.4 Label Smoothing

在處理人車分類問題時，當使用最小化交叉熵損失函數(shù)更新模型參數(shù)時，模型的泛化能力弱，容易導致過擬合，所以先引入一個與樣本無關的分布u(i)(平滑因子)，將標簽m修正為m′，見式(11)，達到抑制過擬合的目的．

其中：i為標簽類別數(shù)目，u(i)的取值1/i，本文中共有人、車兩類，故 u(i) = 0.5；ε是伸縮因子，用來調(diào)整平滑之后標簽數(shù)值的大小，有效抑制過擬合．本文YOLO-B網(wǎng)絡檢測示意圖如圖6所示．

圖6 YOLO-B網(wǎng)絡檢測示意圖Fig. 6 YOLO-B schematic diagram of network detection

2 實驗及測試結(jié)果

本文所有的算法都是基于Keras框架實現(xiàn)的，并使用深圳市安軟科技有限公司提供的39064張已標注的數(shù)據(jù)集(以下簡稱安軟數(shù)據(jù)集)，其中驗證集包含3982張圖片，測試集圖片包含500張，測試集中人和車兩類目標及其目標框數(shù)量如圖7所示，每張圖片的大小為1920×1080．實際應用場景包括人和車相交互的近景、遠景、白天和夜景．本文任務是在實際應用場景下對行人和車輛進行快速準確地檢測．

圖7 測試集兩類目標及目標框數(shù)量Fig. 7 Number of objects per class and target boxes in the two categories of test set

訓練環(huán)境采用的是Ubuntu 18.04操作系統(tǒng)，CPU為Intel XeonE5-2360，顯卡為兩塊NVIDIA GEFORCE GTX1080Ti 11GB．實驗過程中batch size設置為16，即每個epoch在訓練集中取16個樣本進行訓練，直至全部樣本訓練完成一次即為1個epoch．模型訓練時共訓練100個epoch．測試實驗環(huán)境采用的是Windows10操作系統(tǒng)，CPU為i5-9400F＠2.9GHz，顯 卡 為 NVIDIA GEFORCE GTX1660 6GB．由于數(shù)據(jù)集所含目標框的數(shù)量不同，導致每張圖片檢測的時間有所不同．利用500張測試集的測試總時間計算平均檢測速度(FPS)．采用平均準確率(mAP)及模型大小等指標對目標檢測模型進行評估．

為了驗證本文YOLO-B算法的性能，采用YOLOv3 原 型、YOLO-Slim[16]、YOLOv3-tiny、YOLOv3-D[17]、YOLOv3-剪枝和YOLO-A進行對比.其中，YOLOv3原型是由YOLOv3作者提出沒有加以改進的模型；YOLO-Slim是YOLOv3的骨干網(wǎng)絡替換成MobileNetV2并進行剪枝處理，其目的是為了降低參數(shù)量和模型大小；YOLOv3-tiny是一個公開的目標檢測輕量級模型；YOLOv3-D模型是在YOLOv3的基礎上引入CIOU和Focal loss，從而提高目標檢測的精度，但是模型大小不會發(fā)生改變；YOLOv3-剪枝是在YOLOv3的基礎上降低通道數(shù)，從而實現(xiàn)減小模型、降低計算量和增加檢測速度的目的．

2.1 平均檢測速度測試結(jié)果

對7種模型分別進行訓練和測試，平均檢測速度見表1．YOLOv3的檢測速度為11.2幀/秒，YOLOv3-剪枝的檢測速度為14.3 幀/秒，YOLOv3-tiny是一種以YOLOv3為基礎的輕量化模型，其檢測速度達到25.1 幀/秒，檢測速度優(yōu)勢明顯．YOLOSlim的檢測速度略微遜色于YOLOv3-tiny，而本文提出的YOLO-A和YOLO-B的檢測速度均為20.6幀/秒，快于YOLOv3，檢測速度相對提升了83.9%.由于YOLO-B相對于YOLO-A來說參數(shù)量相同，故YOLO-A和YOLO-B的檢測速度是一樣的.

表1 目標檢測算法性能評價指標對比結(jié)果 Tab. 1 Comparison results of performance evaluation indexes of target detection algorithm

2.2 平均準確率測試結(jié)果和模型大小對比

7種模型的平均準確率測試結(jié)果見表1．由表1可知：YOLOv3的平均準確率值為57.80%，YOLOv3-D的平均準確率為58.32%，兩者表現(xiàn)很好，但是模型太大；YOLOv3-剪枝、YOLOv3-tiny和YOLO-Slim的模型比較小，但是平均準確率均低于50%；YOLO-A和YOLO-B的平均準確率比其他5種模型都高．YOLO-A和YOLO-B的模型大小相同，由于通過改變損失函數(shù)以及其他優(yōu)化方法使得YOLO-B的平均準確率高于YOLO-A的，達到59.23%，網(wǎng)絡模型大小僅為原始YOLOv3的40%．

2.3 精確率測試結(jié)果

在測試集中對行人和車輛分別進行目標檢測，檢測精度見表1．結(jié)果表明，無論是檢測行人還是檢測車輛，YOLO-B的精確率均高于其他6種算法．通過進行對比得出YOLO-B算法綜合表現(xiàn)優(yōu)秀．YOLOB訓練過程中的loss值變化如圖8所示，隨著迭代次數(shù)的不斷增加，loss值不斷降低，最終達到穩(wěn)定狀態(tài).

為了直觀地表達檢測效果，在YOLO-B算法訓練完成之后，使用Yolo-B算法對測試集進行測試并對結(jié)果進行可視化，測試集的場景均為攝像頭真實場景，圖9為真實場景測試的效果．

圖8 YOLO-B訓練過程中的loss變化情況 Fig. 8 Changes of loss during YOLO-B training

圖9 YOLO-B算法真實場景測試效果圖 Fig. 9 YOLO-B algorithm real scene test renderings

3 結(jié) 語

針對模型輕量化的需求，調(diào)整YOLOv3的網(wǎng)絡結(jié)構．首先在YOLOv3的基礎上將特征提取網(wǎng)絡替換成MobileNet，大幅度降低模型大小；其次是將IOU改進為CIOU并在損失函數(shù)中引入Focal loss，并且又引入Label Smoothing，最終形成YOLO-B網(wǎng)絡模型．通過對模型的對比實驗以及測試結(jié)果顯示：網(wǎng)絡模型大小僅為原始YOLOv3的40%，并且通過模型優(yōu)化策略，保證了檢測的精度．

本文提出的網(wǎng)絡模型在公共安全監(jiān)控中能有效地做到快速準確的檢測要求，為嵌入式平臺應用提供了一種高性能的輕量化模型結(jié)構．下一步的工作是將該算法移植部署至多路攝像頭終端，進行實際場景的應用．