一種基于YOLOv4改進的軍事目標檢測方法

郭昊昌，于 力，劉鎮(zhèn)濤

(西安現(xiàn)代控制技術研究所，西安 710065)

0 引言

目標檢測算法是精確制導彈藥中一項重要的技術，傳統(tǒng)的目標檢測算法包括圖像分割、模板匹配等方法。但是在武器系統(tǒng)應用中，傳統(tǒng)目標檢測算法遇到的問題依舊沒有得到徹底解決，比如戰(zhàn)場環(huán)境復雜多變問題；彈體旋轉及目標運動造成的目標旋轉和尺度變化過大問題；在彈飛行過程中碰到的目標遮擋或者運動模糊問題以及在保證精度的同時如何提高算法實時性的問題[1]。

為此使用基于卷積神經(jīng)網(wǎng)絡的算法對復雜多變的目標提取豐富的深層特征來取代傳統(tǒng)算法的手工特征，從而提高準確性與魯棒性。目前主流的基于卷積神經(jīng)網(wǎng)絡算法包括兩階段檢測算法如Fatser-RCNN算法和單階段檢測算法如SSD算法、YOLO算法等。

為了滿足在目標尺寸為12像素×12像素時識別目標同時速度在每秒30幀以上的要求，使用YOLOv4算法，并且針對自建的軍事目標數(shù)據(jù)集對算法做出了改動。

文中先介紹了YOLOv4網(wǎng)絡的網(wǎng)絡架構，然后提出了3種YOLOv4網(wǎng)絡的改進方案：一是將網(wǎng)絡中的空間金字塔池化模塊替換成密集模塊；二是使用k-means聚類對網(wǎng)絡先驗框進行優(yōu)化；三是優(yōu)化了空間注意力機制。最后介紹了軍事目標數(shù)據(jù)集的創(chuàng)建以及實驗結果。實驗發(fā)現(xiàn)改進后的YOLOv4算法可以達到最佳檢測精度。

1 YOLO系列算法概述

YOLO系列算法是典型的單階段目標檢測算法，與兩階段目標檢測算法相比，模型檢測速度大幅提高。兩階段目標檢測算法由不同網(wǎng)絡組成，先生成目標候選區(qū)域，然后再將所有目標候選區(qū)域送入分類器中分類。而單階段目標檢測算法不需要目標候選區(qū)域，直接產(chǎn)生物體的類別概率和位置坐標值，只需要一個網(wǎng)絡，因此檢測速度要快的多[2]。

Bochkovskiy在2020年4月提出了YOLO系列算法的最新版本YOLOv4算法[3]。與之前的YOLOv3算法相比，YOLOv4算法在提高檢測速度的同時大幅提高檢測精度。為了提高檢測精度，使用密集模塊(DENSE BLOCK)來設計一個更深更復雜的網(wǎng)絡。密集模塊包括多個卷積層，每層都包括批標準化(batch normalization)，ReLU激活函數(shù)和卷積。然后多個密集模塊與由卷積和池化組成的過渡模塊組成了密集網(wǎng)絡。CSP連接(Cross-Stage-Partial connection)把作為密集模塊輸入的特征圖分成了兩部分，一部分跳過密集模塊直接進入下面額卷積池化層，另一部分進入密集模塊。這種方式減少了計算成本，因而大大增加了模型識別速度。

模型的頸部即特征融合部分，使用了空間金字塔池化模塊(SPP)和路徑聚合網(wǎng)絡(PAN)來增大模型的感受區(qū)[6]。而模型的頭部是目標檢測部分，依然使用了YOLOv3模型的頭部。

除了對網(wǎng)絡結構的修改之外，訓練的時候也采取了許多技巧。包括DropBlock正則化方法等是在不增加計算成本的前提下提高模型預測準確率的，被統(tǒng)稱為BoF。而另一部分技巧BoS則是在提高模型準確率的同時增加計算成本，例如Mish激活函數(shù)。圖1為YOLOv4的網(wǎng)絡架構圖。與目前主流算法相比，YOLOv4算法速度更快而且準確率更高。

圖1 YOLOv4網(wǎng)絡架構

2 算法改進

與標準數(shù)據(jù)集中的目標相比，軍用數(shù)據(jù)集飛行視頻中的目標普遍存在目標背景復雜、目標尺度變化太快、目標旋轉還有遮擋和模糊等問題，因此提出了以下幾種改進方法。

2.1 網(wǎng)絡結構優(yōu)化

考慮到數(shù)據(jù)集中導引頭掛飛視頻圖像尺寸的一致性，把YOLOv4網(wǎng)絡中的空間金字塔池化模塊(SPP bLOCK)替換為密集連接模塊(DENSE bLOCK)，這樣使得信息在前向計算或梯度在后向計算時在整個網(wǎng)絡中保存的更好。而且在減少計算參數(shù)的同時密集連接模塊有正則化效果，可以在一定程度上減少訓練時帶來的過擬合。圖2是改進的網(wǎng)絡結構。

圖2 改進后的網(wǎng)絡架構

如圖2中所示，網(wǎng)絡結構的主干即提取特征部分是YOLOv4所使用的CSP Darknet53。這個主干網(wǎng)絡就是將YOLOv3中使用的Darknet53中的殘差網(wǎng)絡和CSP模型合并起來。與YOLOv3的主干網(wǎng)絡Darknet53相比，它在極大的減少了網(wǎng)絡計算復雜度的同時，并沒有損失模型預測的準確率，甚至還略有升高[4]。網(wǎng)絡的頸部即特征融合部分系用PANet(Path Aggregation Network)，與YOLOv3使用的多尺度特征融合算法FPN相比，它創(chuàng)建自下而上的信息增強路徑，可以縮短低層特征到高層特征的路徑長度[5]。而且創(chuàng)建了自適應特征池化，可以聚合每個特征層次上的每個候選區(qū)域。網(wǎng)絡結構的頭部即算法的檢測部分則與YOLOv4一樣，沿用了YOLOv3的頭部。

2.2 用k-means聚類對先驗框進行優(yōu)化

2.3 空間注意力模塊

卷積注意模塊(CBAM)是一個用于前饋卷積神經(jīng)網(wǎng)絡的有效注意模塊，一般分為通道注意模塊和空間注意模塊。其中空間注意模塊(SAM)是使用最大池化和平均池化對輸入的特征圖進行壓縮，然后將其再進行池化與連接，最后用7×7的卷積形成空間注意力圖[6]。在YOLOv4算法中，引入了SAM機制，但是刪除了空間注意模塊中的最大池化和平均池化的操作。而在文中的算法框架中，在檢測器的下采樣和上采樣部分均加入了SAM模塊，可以在略微增加計算成本的前提下提升檢測精度。

3 實驗

3.1 數(shù)據(jù)集建立

采集了34段導引頭掛飛視頻和無人機掛飛視頻來建立軍事目標數(shù)據(jù)集，視頻的分辨率為1 000像素×1 000 像素，幀率為25 幀/s。每段視頻的長度在10～20 min。為了避免數(shù)據(jù)集樣本的重復度過高，每隔20～30幀截取一張圖片作為樣本。然后使用LabelImg軟件進行數(shù)據(jù)標注，獲得記錄樣本中目標信息的標簽，存儲在xml格式的文件中。最后將圖片和標簽文件轉為VOC數(shù)據(jù)集的格式來訓練。最終形成的數(shù)據(jù)集有大約30 000張樣本，其中包括坦克、靶標、其他等3個種類。按照7∶3的比例將所有樣本分成訓練集和測試集來進行訓練。為了進一步減少過擬合對模型造成的影響，掛飛視頻是在不同基地、不同環(huán)境下記錄的，例如沙漠、戈壁、平原、山地、草原等，用以提高模型對復雜背景的自適應性。

3.2 數(shù)據(jù)增強

雖然以上數(shù)據(jù)集的樣本數(shù)量已經(jīng)可以支持模型訓練而且還在不斷擴充，但還是無法與YOLOv4使用的標準開源數(shù)據(jù)集如COCO和VOC數(shù)據(jù)集相比。因此在模型訓練中使用數(shù)據(jù)增強方法來提高訓練模型的精度與魯棒性。

3.2.1 幾何變換

幾何變換包括旋轉、翻轉、平移、裁剪、縮放等，不改變圖像本身的內容，而是選擇了圖像的一部分或是對像素進行了重分布。考慮到在彈飛行中的旋轉問題以及不同的彈體姿態(tài)和不同角度飛向目標，數(shù)據(jù)增強操作可以增強實際情況中模型的泛用性。用開源python庫imgaug來實現(xiàn)。

3.2.2 顏色變換

使用imgaug庫來實現(xiàn)顏色變換的操作。顏色變換包括添加噪聲、圖像模糊、填充遮擋等改變圖像像素點本身的操作。添加高斯噪聲可在所有頻率都產(chǎn)生數(shù)據(jù)點，可有效的使高頻特征失真，在一定程度上可以避免過擬合對模型造成的影響。而彈在飛行過程中由于彈體抖動會產(chǎn)生圖像的模糊，也會出現(xiàn)云等非目標物體對目標造成遮擋。所以圖像模糊、遮擋等增強方法可以有效提高模型的魯棒性。圖3為利用imgaug開源工具包將以上幾種幾何變換和顏色變換的增強策略以隨機比例組合，生成的數(shù)據(jù)增強后的樣例。

圖3 數(shù)據(jù)增強的樣例

3.2.3 馬賽克增強

根據(jù)Cutmix數(shù)據(jù)增強方式提出了Mosaic數(shù)據(jù)增強方法。思路是一次采用4張圖片，將4張圖片分別進行幾何變換和顏色變換，再按照4個方向將圖片和框組合。這樣做的好處是可以極大的豐富檢測物體的背景。而由于在數(shù)據(jù)集中軍事目標所處的場景如戈壁、丘陵等十分的復雜，文中不希望模型只能識別單個特殊背景下的目標，因此使用這種方法也可以有效增強模型的魯棒性。

3.2.4 自對抗訓練

這種數(shù)據(jù)增強方法在YOLOv4中也有使用，它分為兩個部分：第一部分是通過改變原始圖像而非網(wǎng)絡權重來使代價函數(shù)最小化，這樣會制造圖像上沒有期望目標的假象，即生成了對抗樣本。第二部分就是將這些對抗樣本加入到樣本集中使網(wǎng)絡在所有樣本上進行訓練。這樣做避免了遮擋變形等擾動使檢測結果產(chǎn)生較大偏差的問題，使得網(wǎng)絡魯棒性更好并且更加泛用。

3.3 實驗評價方法和參數(shù)設置

準確率表示預測為正樣本中真正的正樣本數(shù)量，其表達式為：

Pr=PT/(PT+PF)

(1)

召回率表示所有正樣本中預測正確的數(shù)量,其表達式為:

Re=PT/(PT+NF)

(2)

坦克目標的準確率-召回率曲線如圖4所示，可以看出，準確率和召回率是互相影響的，因此單純以準確率和召回率來評價模型性能是不客觀的。因此綜合準確率和召回率算出平均精度來反映模型在每個目標類別上的表現(xiàn)，即召回率取為0～1間的所有值對應的準確率的平均值。

圖4 準確率-召回率曲線

實驗的超參數(shù)設置如下:模型迭代次數(shù)為10 000次，每100次迭代進行一次驗證，記錄召回率、平均檢測精度等,且每1 000次生成一次權重文件；初始學習率為0.013，學習率衰減策略為在迭代次數(shù)達到8 000次和9 000次時給學習率乘以0.1,從而使用更小的學習率獲得更好的收斂效果；動量設置為0.9；權重衰減為0.000 5；真值框的交并比閾值為0.213。

實驗室的訓練配置為AMD 3900x處理器，兩塊RTX2080顯卡，32 G內存；操作系統(tǒng)為Ubuntu18.04LTS，CUDA10.0和cudnn7.5用來加速訓練。

3.4 實驗評價方法和參數(shù)設置

圖5所示為模型訓練的損失曲線，模型的訓練損失隨著訓練迭代次數(shù)的增加在逐漸減小，同時誤差波動范圍也在逐漸減小。在訓練迭代次數(shù)超過8 000次后，減小的趨勢趨于穩(wěn)定，而在超過9 000次后，損失值在0.3范圍內波動并且不再減小，即達到了理想的訓練效果。

圖5 損失曲線

訓練后產(chǎn)生的權重文件用于檢測測試集中的圖片，如圖6所示為訓練完成后使用測試集進行測試的結果，圖中檢測框的上面顯示目標類別和置信度，其中坦克類和工事類分別用紅色和黃色的框標出。可以看出在不同目標背境下，在目標尺寸大于12像素×12像素的時候均可以對目標作出識別，體現(xiàn)了模型對于小目標有較好的檢測效果。但是在檢測夜間環(huán)境下的可見光導引頭視頻中的目標的時候會出現(xiàn)定位不準或無法檢測到的情況，可能是由于夜間可見光導引頭圖像中背景與目標的像素值過于接近，導致算法無法正確框出目標。

圖6 改進YOLOv4網(wǎng)絡后的檢測結果

表1 主流目標檢測模型的性能比較

接下來對比一下改進先驗框數(shù)量前后模型的表現(xiàn)。先驗框數(shù)量k與平均交并比的關系是隨著k的增加，平均交并比的值一直在增加，而計算成本也隨之增加。使用k-means聚類方法來找出最佳k值。表2顯示的是在不同k值下聚類預測框的尺寸值，可以看出當k的值大于10時，會出現(xiàn)相似尺寸的聚類預測框，這樣會造成重復計算，增加計算成本。因此認為k的值為10是最優(yōu)解。

表2 不同k值的先驗框尺寸

表3 k-means聚類后模型與原版模型性能比較

表4 空間注意力模塊改進后的模型性能對比

通過以上比較發(fā)現(xiàn)，在軍事目標數(shù)據(jù)集上訓練時，文中提出的3種改進方法對原版YOLOv4模型的識別準確率均有不同程度的提升，其中更改網(wǎng)絡模型結構的方式對YOLOv4模型的提升最大，而用k-means聚類方法優(yōu)化先驗框的方式對模型的計算成本增加最多。最后，將這3種改進方案結合后來比較與原版YOLOv4的性能。

如表5所示，應用3種改進方式改進后的YOLOv4模型識別準確率比原版模型提高了4%，是所有模型中識別準確率最高的，而識別速度下降到33.2幀，比原版模型下降了2.5幀，滿足使用需求。

表5 綜合改進后的模型的與原模型性能對比

4 結論

對YOLOv4算法網(wǎng)絡結構中的空間金字塔池化模塊進行了改進，同時應用k-means聚類算法對先驗框進行優(yōu)化，最后對空間注意模塊進行了優(yōu)化。通過比較發(fā)現(xiàn)改進后的模型雖然在識別速度上下降了1.5幀左右，但是在準確率上提高了3%，是目前所有模型中準確率最高的。不過依然存在在可見光視頻中夜晚的目標有時無法正確識別的問題。同時數(shù)據(jù)集的樣本數(shù)量需要持續(xù)擴充，軍事目標的類別也需要增加，這樣使訓練出來的模型更具有魯棒性與泛用性。