基于改進YOLOv3的運動目標(biāo)分類檢測算法研究

梁秦嘉,劉 懷,陸 飛

(南京師范大學(xué)電氣與自動化工程學(xué)院,江蘇 南京 210023)

隨著計算機視覺的發(fā)展,研究人員越來越重視與運動目標(biāo)檢測相關(guān)的課題研究[1]. 伴隨著城市智能交通的不斷發(fā)展,針對交通視頻中的運動車輛進行檢測已成為當(dāng)前一個重要的研究課題,該研究可為解決交通擁堵、提取交通違法證據(jù)等各種交通智能控制應(yīng)用提供有效數(shù)據(jù)支持.

傳統(tǒng)的運動目標(biāo)檢測算法主要是基于視頻幀的[2],通過幀與幀之間的差異來判斷目標(biāo)是否運動,常用方法有幀間差分法[3]、背景減除法[4]、光流法[5]等. 此類方法極易受到背景信息的影響,導(dǎo)致檢測精度較低,易造成誤檢和漏檢[6]. 隨著機器學(xué)習(xí)的不斷發(fā)展,為了能夠更好地完成檢測工作,專業(yè)人員深入分析大圖像的特點,結(jié)合實際需要進行方法多樣化拓展. 目標(biāo)檢測工作首先需確認檢測區(qū)域,全面分析檢測目標(biāo)屬性,提取相應(yīng)的特征,再進行類別劃分[7]. 傳統(tǒng)方法受較多條件限制,尤其在目標(biāo)特征設(shè)置方面,只有按需妥善進行特征設(shè)計才能更精準(zhǔn)地完成模型的建立. 此外,特征提取的準(zhǔn)確與否直接影響目標(biāo)的準(zhǔn)確定位,多數(shù)情況下傳統(tǒng)方法無法提取出目標(biāo)高層特征,所表達的語義僅僅停留在低層范圍內(nèi).

近年來,隨著圖形處理單元(graphics processing unit,GPU)硬件的快速發(fā)展,深度學(xué)習(xí)在目標(biāo)檢測領(lǐng)域取得了顯著的進步[8]. 在特征提取過程中利用手工模式得到的結(jié)果不夠精確,存在很多不足之處,這也是傳統(tǒng)機器學(xué)習(xí)方法的弊端. 卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用可彌補這一缺陷,提高研究結(jié)果的準(zhǔn)確性. 近來在研究運動目標(biāo)檢測的過程中,更多專業(yè)人士注意到深度學(xué)習(xí)的積極影響,并以此為基礎(chǔ)進行了運動目標(biāo)檢測算法的創(chuàng)新[9],提出了Fast-RCNN、Faster-RCNN等目標(biāo)檢測算法,通過新的算法所得到的計算結(jié)果精度更高,但仍有不足之處,如實時檢測效率低,這主要是由于這些算法屬于窮舉法的范圍[10]. 基于回歸的檢測算法可直接利用卷積神經(jīng)網(wǎng)絡(luò)的全局特征預(yù)測目標(biāo)位置和類別,檢測速度較快,常用的基于回歸的算法有SSD[11]、YOLOv2[12]、YOLOv3[13]等. 相較于SSD,YOLOv3采用特征金字塔(FPN)的思想,在精度上比SSD有了很大提高;同時,YOLOv3采用殘差結(jié)構(gòu),其運算速度超過了SSD. 但由于YOLOv3對視頻進行檢測時會檢測出所有目標(biāo),并不適用于目標(biāo)檢測.

本文提出一種基于改進YOLOv3的交通視頻運動目標(biāo)檢測算法. 首先,為進一步提高YOLOv3的檢測精度,針對損失函數(shù)進行改進;其次,對非極大值抑制進行優(yōu)化,減少同一目標(biāo)的目標(biāo)框重疊;最后,針對運動目標(biāo),提出一種基于目標(biāo)框多中心點位移的檢測算法.

圖1 YOLOv3檢測框與預(yù)測框的關(guān)系Fig.1 The relationship between the Yolov3 check box and the prediction box

1 改進的YOLOv3算法

1.1 YOLOv3算法

YOLOv3算法將原始輸入圖像劃分為S×S個網(wǎng)格單元格,如圖1所示. 計算公式為:

(1)

式中,cx和cy表示每個網(wǎng)格的左上角坐標(biāo);(bw,bh)為預(yù)測的邊界框的寬度和高度;(bx,by)作為一個中心坐標(biāo),可表明邊界框的位置.

YOLOv3使用邏輯回歸計算每個先驗框的置信度為:

(2)

(3)

當(dāng)目標(biāo)出現(xiàn)時,需預(yù)測目標(biāo)出現(xiàn)的類別,定義為:

(4)

模型預(yù)測值并不一定能夠始終保持與真實值保持一致,這種情況可通過損失函數(shù)來進行描述. 損失函數(shù)作為重要參數(shù),會對網(wǎng)絡(luò)性能造成影響. YOLOv3算法的設(shè)計是圍繞損失函數(shù)展開的,通過預(yù)測誤差和邊界框的置信誤差及分類誤差來設(shè)計,定義為:

(5)

1.2 基于改進YOLOv3的運動目標(biāo)檢測算法

1.2.1 優(yōu)化邊界框回歸損失函數(shù)

交并比(intersection over union,IoU)是目標(biāo)檢測中一個非常重要的參數(shù),是產(chǎn)生的預(yù)測框與原標(biāo)記框的交疊率,即其交集與并集的比值. 現(xiàn)階段IoU的應(yīng)用范圍越來越廣,但作為目標(biāo)檢測任務(wù)的一種仍存在一些不足:(1)當(dāng)預(yù)測邊界框與目標(biāo)邊界框不相交,由IoU定義可得,IoU=0,此時IoU不能反映兩個邊界框之間的距離,同時,無法按照需求完成梯度回傳,這是位置誤差和置信度的特點所決定的,從而降低了網(wǎng)絡(luò)學(xué)習(xí)效率;(2)若邊界框的目標(biāo)值和預(yù)測值在距離存在差異的情況下相交面積相同,最終得到的IoU結(jié)果也一致,就無法對兩者重合度進行準(zhǔn)確描述,從而影響網(wǎng)絡(luò)性能.

為了改善這些不足,Rezatofighi等[14]提出了一種改進的GIoU方法,計算方法為:

(6)

式中,A和B分別表示預(yù)測邊界框和目標(biāo)邊界框,C表示A和B的最小凸集. 相較于IoU,GIoU除了對重疊區(qū)域比較關(guān)注之外,還關(guān)注其他的非重合區(qū)域,能更好地反映兩者的重合度. 當(dāng)A與B處于不同點時,GIoU的值會隨著其間距的增加而與-1無限接近. 1-GIoU代表損失函數(shù),這也能夠證明A與B之間的重合情況. 此外,還有一種情況會導(dǎo)致GIoU退化為IoU,即B包含A.

針對以上問題,本文對YOLOv3進行改進,采用DIoU作為邊界框回歸損失函數(shù)[15],其原理如圖2所示,其計算過程為:

(7)

(8)

圖2 DIoU原理示意圖Fig.2 The DIoU schematic

相較于目前廣泛應(yīng)用的IoU和GIoU函數(shù),DIoU更加符合目標(biāo)框回歸機制,綜合考慮了目標(biāo)與目標(biāo)框之間的距離、重疊率及尺度,提高了目標(biāo)框回歸的穩(wěn)定性,不會像IoU和GIoU一樣出現(xiàn)訓(xùn)練過程中的發(fā)散等問題,可使檢測精度更高.

1.2.2 非最大值抑制優(yōu)化算法

非最大抑制(NMS)是目標(biāo)檢測算法中一個必要的后處理步驟. 非最大抑制算法的傳統(tǒng)應(yīng)用模式中檢測框B是最早被確定的,對于被檢測圖片來說其與對應(yīng)分?jǐn)?shù)S都屬于能夠最先確定的值. 將分?jǐn)?shù)最高的檢測框標(biāo)記為M,當(dāng)M被確定時,就會被歸屬于檢測結(jié)果集合D,離開集合B. 這種算法通過強制歸零的方式來處理相鄰檢測框分?jǐn)?shù)存在嚴(yán)重的弊端,若重疊區(qū)域內(nèi)存在真實物體,就會影響檢測結(jié)果.

針對以上問題,本文采用軟化非極大值抑制(Soft-NMS)算法[16],通過設(shè)置衰減函數(shù)來解決重疊部分檢測框的問題. 分?jǐn)?shù)的高低會隨著M和其余檢測框之間重疊面積的大小而發(fā)生變化,重疊越大,分?jǐn)?shù)越低,若所得檢測分?jǐn)?shù)影響不大則說明重疊面積很小. Soft-NMS實現(xiàn)便捷,節(jié)省了額外訓(xùn)練所消耗的時間和經(jīng)濟成本. 其算法流程如下:

Soft-NMS

Input:B={b1,…,bN},S={s1,…,sN}

1.D←{ }

2.whileB≠empty do

3.m←argmaxS

4.M←bm

5.D←D∪M;B←B-M

6. forbiinBdo

7.Si←Si·f(IoU(M,bi))

8. end

9.end

10.returnD,S

其中,B集合是檢測到的所有建議框,S集合是各個建議框得分,函數(shù)f(IoU(M,bi))定義為:

(9)

式中,bi為邊界框的序號;M為最高分;Nt為設(shè)定的閾值;σ為超參數(shù).

與NMS算法相比,Soft-NMS算法增加了一個懲罰函數(shù). 若一個預(yù)測框和M計算出的IoU超過了一定閾值,預(yù)測框不會被刪除,但其分?jǐn)?shù)會相應(yīng)減少.

1.2.3 基于中心點位移的運動目標(biāo)檢測算法

在目標(biāo)檢測的最后階段,檢測層對所有檢測出的目標(biāo)框進行非最大值抑制. 通常,在進行非極大值抑制后,多余的目標(biāo)框?qū)⒈粍h除,剔除靜止的目標(biāo),只保留運動的目標(biāo),從而實現(xiàn)運動目標(biāo)檢測. 為了判斷目標(biāo)是否發(fā)生了移動,需判斷目標(biāo)框是否發(fā)生了一定程度的位移. 針對檢測過程中視頻中每一幀的相同目標(biāo)所生成的目標(biāo)框位置不盡相同,本文提出一種基于目標(biāo)框均值中心點位移的運動目標(biāo)檢測算法.

在進行非極大值抑制前,有多個目標(biāo)框出現(xiàn),這是由算法的特性決定的. 每個目標(biāo)框的中心點坐標(biāo)可由式(1)得出. 在得到每個目標(biāo)框的中心點坐標(biāo)后,對這些坐標(biāo)在兩個方向上分別求取加權(quán)平均值,得到新的坐標(biāo)點(x,y),定義為目標(biāo)框的均值中心點. 在對視頻進行運動目標(biāo)檢測時,首先檢測出當(dāng)前幀的所有目標(biāo),并對檢測出的目標(biāo)求取均值中心點. 之后對視頻下一幀進行目標(biāo)檢測,同樣求出檢測到目標(biāo)的均值中心點. 對下一幀目標(biāo)完成檢測后,將下一幀所檢測到的均值中心點與當(dāng)前幀同一位置目標(biāo)進行比較,若中心點坐標(biāo)在x方向和y方向的位移偏移量超過一定閾值時,則判斷該目標(biāo)發(fā)生了運動. 由于每個目標(biāo)在不同幀檢測時得到的目標(biāo)框位置可能會發(fā)生一定的變化,因此,通過一個中心點無法準(zhǔn)確判斷目標(biāo)的運動情況. 當(dāng)閾值設(shè)置較大時,若目標(biāo)移動速度較慢,會導(dǎo)致目標(biāo)被誤認為未運動;當(dāng)閾值設(shè)置較小時,由于每一幀生成目標(biāo)框位置不固定,靜止目標(biāo)又可能會被誤認為發(fā)生了運動. 對此,本文提出一種多點位移變化的方法,以準(zhǔn)確判斷目標(biāo)是否發(fā)生了運動.

在檢測到目標(biāo)之后,將目標(biāo)的多個檢測框劃分為3×3的網(wǎng)格,對每一個網(wǎng)格分別求取均值中心點. 實驗表明,3×3的網(wǎng)格可準(zhǔn)確判斷出運動目標(biāo),同時不會增加過多的計算量. 為方便計算偏移量,本文將視頻左上角設(shè)為原點建立坐標(biāo)系,以中心點到原點之間的距離作為衡量指標(biāo). 以其中一個3×3網(wǎng)格為例,以視頻圖像的左上角為原點(0,0),在視頻當(dāng)前幀中求出9個中心點分別為(x1,y1),…,(x9,y9),之后,求出 9個中心點相對于左上角原點之間的距離y1,…,y9,計算公式為:

(10)

其中,n=1,2,…,9. 針對下一幀進行同樣操作,下一幀中此目標(biāo)的9個中心點分別為(x′1,y′1),…,(x′9,y′9),并計算出9個中心點相對于左上角原點之間的距離l′1,…,l′9. 當(dāng)9個中心點相對于原點的位移偏移量超過設(shè)置的閾值時,則判斷該目標(biāo)發(fā)生了變化. 判定過程如圖3所示.

(a)、(b)分別為視頻中連續(xù)的兩幀圖3 多中心點位移偏移示意圖Fig.3 Schematic diagram of multi-center point displacement offset

2 實驗結(jié)果及分析

2.1 數(shù)據(jù)集

在網(wǎng)絡(luò)改進后,為了能夠?qū)ζ湫阅芎头椒ㄟM行評測,本文以車輛目標(biāo)為例,采用UA-DETRAC數(shù)據(jù)集在深度學(xué)習(xí)框架keras下對算法進行訓(xùn)練. 實驗環(huán)境配置為:CPU為Intel i5-9400,主頻2.90 GHz,16 GB內(nèi)存,GPU為NVIDIA 1070,8 GB顯存,操作系統(tǒng)為Windows 10.

本文對數(shù)據(jù)集進行重新標(biāo)注訓(xùn)練,檢測目標(biāo)包含小型汽車(car)、公共汽車(bus)、大型貨車(truck)3類. 為了提高訓(xùn)練效果,使用了不同角度旋轉(zhuǎn)圖像和改變圖像的飽和度、曝光和色調(diào)等數(shù)據(jù)增強方法. 在訓(xùn)練階段,初始學(xué)習(xí)率為0.001,權(quán)值衰減為0.000 5. 當(dāng)訓(xùn)練批次為60 000和70 000時,學(xué)習(xí)率分別降至0.000 1和0.000 01,使損失函數(shù)進一步收斂.

2.2 評價指標(biāo)

本文中精度和召回率分別定義為:

(11)

(12)

式中,TP為檢測正確的在運動的小型汽車數(shù)量;FP為將其他類型如卡車、公共汽車、行人及其他靜止目標(biāo)誤檢為運動的小型汽車的數(shù)量;FN為將小型汽車錯誤識別為其他類型的數(shù)量. 幀率為每秒檢測的幀數(shù).

2.3 結(jié)果分析

利用優(yōu)化后YOLOv3模型對UA-DETRAC數(shù)據(jù)集中的目標(biāo)進行測試. 在所有目標(biāo)檢測階段,針對所有車輛目標(biāo),采用不同算法進行實驗,測試改進后算法的性能. 測試結(jié)果如表1所示.

表1 不同算法實驗結(jié)果對比Table 1 Comparison of experimental results of different algorithms

從表1可知,YOLOv3模型經(jīng)優(yōu)化后目標(biāo)精度可達84.75%,召回率為97.23%,各項數(shù)據(jù)均得到明顯提升,檢測速度也顯著提升. Faster-R-CNN無論是加載ResNet101還是VGG16模型,速度都更慢. 只改進損失函數(shù)的YOLOv3-DIoU平均精度為78.27%,只改進非極大值抑制的YOLOv3-Soft-NMS的平均精度為79.52%,相比原YOLOv3算法均提升不大. 改進后的YOLOv3算法檢測一幀圖像的時間為31.35 ms,與同系列其他算法相比無明顯增加,可滿足實際應(yīng)用時的實時性需求.

為了更加準(zhǔn)確地驗證檢測有效性,本文進行了實踐檢驗. 通過大量訓(xùn)練與檢測的實驗表明,當(dāng)距離偏移量的閾值設(shè)置為7時,檢測效果最好.

圖4 改進YOLOv3算法運動目標(biāo)檢測效果圖Fig.4 Moving object detection effect diagram of improved YOLOV3 algorithm

在第一個視頻的第163幀,可以看到,本文算法準(zhǔn)確檢測到所有的運動目標(biāo). 在第二段視頻中,在第78幀,本文檢測到小型汽車與公共汽車共5個運動目標(biāo);在第268幀,公共汽車由于到站而停下,因此,本文算法將其排除,僅標(biāo)注小型汽車一個運動目標(biāo). 在第三個視頻中,中央的卡車停在路邊,第166幀,上方與下方的車輛均在等紅燈,只有中央三輛小型汽車運動;在第308幀,上方與下方的車輛開始通行,運動的車輛均正確檢測,而靜止的車輛被排除. 本文算法對視頻的檢測速度平均為20.35 fps/s. 由此可見,本文的算法可以實現(xiàn)對運動目標(biāo)的檢測.

3 結(jié)論

本文以改進的YOLOv3檢測算法測定運動目標(biāo). 首先,為進一步提高YOLOv3的檢測精度,采用基于DIoU優(yōu)化的損失函數(shù)進行計算;其次,對非極大值抑制進行優(yōu)化,減少目標(biāo)框重疊現(xiàn)象,提高了檢測精度;最后,針對運動目標(biāo),提出一種基于目標(biāo)框中心點位移的檢測算法. 通過在UA-DETRAC數(shù)據(jù)集上與原始YOLOv3進行對比實驗,本文所提出的改進算法不僅使檢測結(jié)果更準(zhǔn)確,同時也能夠提高檢測速度,準(zhǔn)確率和召回率相比原始YOLOv3分別提高了8.07%和3.87%,對運動目標(biāo)的檢測速度可達20.35 fps/s,能夠滿足實時檢測的要求.