低空無人機實時探測的GCB-YOLOv5s算法

楊輝躍,容易圣,簡鈺洪,賈軼鈞

(陸軍勤務學院, 重慶 401331)

0 引言

近年來,隨著相關技術不斷進步,無人機體積小、價格低、靈活度高、操作簡便等特點越來越顯著,在航拍、植保、救援、物流各領域都有了廣泛的應用。但是,也正由于這些特點,導致無人機在“黑飛”“濫飛”,以及他國非法軍事行動等方面問題較為普遍,對國家安全、人身安全、個人隱私等造成了巨大隱患。因此,對無人機進行快速而高效的實時檢測至關重要。

反無人機監測主要有雷達探測、射頻探測、聲波探測及視覺探測等方式[1-2]。雷達探測方法主要利用回波的多普勒頻移信息,但由于電磁波傳播特性、微小型無人機回波信號微弱等原因,雷達探測一般存在低空盲區、近距盲區等。在低空/超低空域,環境噪聲對聲波探測影響較大。射頻探測主要利用無人機與控制中心之間的通信信號,然而通信協議的不明確限制了射頻探測準確性。視覺探測利用攝像機獲取監控區域的視頻,通過圖像特征進行實時處理實現對無人機的監測。相較而言,視覺探測雖然難以實現精準定位,受光線及環境遮擋影響大,但其系統成本低、探測速度快、探測精度高、監控區域大、適用場景廣,通過合理布設,能夠滿足日間復雜環境下低空域無人機實時監控[3-4]。

實現視覺目標檢測主要有傳統目標檢測和深度學習目標檢測等2類算法。傳統目標檢測方法根據需求提取識別特征,而后通過訓練淺層分類器對目標進行檢測識別,此類方法在形態多樣、姿態多變的目標檢測中效果不佳。深度學習的目標檢測算法主要分為2類:一類是基于候選區的二階目標檢測算法(Two-Stage),二階段深度學習算法將目標檢測劃分為候選區域生成、候選區域分類與邊界框調整2個階段,代表有RCNN,Fast-RCNN,Faster-RCNN,以及Mask RCNN算法等[5-9],二階算法的檢測精度較高,但是檢測速度較慢,難以做到實時檢測;另一類是基于回歸的一階目標檢測算法(one-stage),該算法不需要先產生目標候選區,而是將圖像中的所有位置均視作潛在目標,通過神經網絡直接產生目標的類別與位置,主要代表有Anguelov等[10]提出的SSD,Redomn等[11-12]提出的YOLO算法,這類算法檢測速度快,但檢測的精度相較于Two-Stage算法稍有缺陷。其中Glen Jocher基于YOLOv3算法進行了優化,提出了YOLOv5算法,引入近年來新的優秀算法對網絡結構各部分進行了優化,進一步提高了預測的精確度和速度。因YOLO算法在目標檢測方面的優勢,已在低空無人機探測中得到初步應用和關注[13-18]。

然而,在實際應用中,不僅要考慮算法的精測精度,還需要考慮計算的實時性,以及嵌入式平臺的儲存空間等問題。為此,本文中針對上述問題,提出了一種低空無人機實時探測的GCB-YOLOv5s算法。

1 算法設計

1.1 BCB-YOLOv5s算法總體結構

YOLOv5算法有YOLOv5n、YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x等5種網絡結構,大小依次遞增。本文根據實時性和精確性需求,選擇對YOLOv5s的Bacnkbone及Neck部分進行改進,即使用Ghostnet[9]輕量級網絡代替YOLOv5backbone部分原有的CBL結構,以減少卷積層數,提高運算速度;在YOLO算法backbone部分引入了CA注意力機制,提升模型無人機檢測準確性;使用加權雙向金字塔網絡BiFPN,代替neck部分的PANet結構,更加合理應用不同分辨率特征,提升不同距離無人機檢測效果。改進后形成GCB-YOLOv5s算法(G表示Ghostnet、C表示CA注意力機制、B表示BiFPN),網絡結構仍然分為輸入端、backbone、Neck和Prediction等4個部分,如圖1所示。

圖1 GCB-YOLOv5s網絡結構

GCB-YOLOv5s算法用Ghost Conv替換了原網絡的組件CBL(Conv為卷積層,BN為批歸一化層,Leaky relu為激活函數),并使用以此改進原網絡的CSP網絡結構,得到的C3Ghost_X組件。較大地減少了網絡的參數量和計算量。

Backbone部分使用了改進的C3Ghost_X組件,并在尾部引入了CA注意力機制。網絡結構由Conv卷積、GCSP組件、CA注意力機制模塊及SPP模塊構成。第一個Conv卷積用于下采樣,將輸入的608*608*3原始圖像先變為304*304*32的特征圖,能夠減少加算量以加快網絡速度。C3Ghost_X在backbone中共有4個,其中X代表GB組件個數,作用是防止在卷積過程中產生梯度爆炸和網絡退化等問題。CA注意力機制模塊對前期所得特征張量進行轉化。SPP模塊采用1×1、5×5、9×9、13×13最大池化的方式,對所得特征圖像進行多尺度融合。CA注意力機制及SPP均主要旨在增強網絡的特征表達能力。

Neck部分用BiFPN替換YOLOv5的PANet特征圖像金字塔,進一步加強了不同層次的特征信息融合。BiFPN中不同分辨率的特征信息融合前會先進行加權處理。使用C3Ghost_X組件進行特征信息融合。C3Ghost_X組件前面的Ghost Conv2組件步長為2,相當于下采樣操作。圖像經過YOLOv5網絡處理后,得到3種不同尺寸的輸出,分別預測不同尺寸的目標。

1.2 輕量級GhostNet網絡

在深度學習卷積神經網絡中,有許多特征層之間是相似的,這些相似特征層能夠全面表達輸入數據,但正因為相似,所以沒必要用過多的FLOPs和參數去生成,不用全部都去卷積,直接拿出一部分作為相似特征層。其原理如圖2所示。使用Ghost結構不影響結果的通道數,運算分3步:第1步,進行少量卷積(卷積核數量為原先的1/s);第2步,將少量卷積結果再進行一次卷積;第3步,將前2步所得進行Concat。

圖2 GhostNet原理圖

比較兩者性能,使用普通卷積:

param=k2×c×n

(1)

cost=h′×w′×n×k2×c

(2)

而使用GhostNet:

式(1)—(4)中:param為參數量;cost為計算量;k為卷積核尺寸;c為輸入特征層通道數;h′、w′、n分別為輸出特征層高、寬和通道數。可得出,GhostNet的參數量和計算量均為普通卷積的1/s。利用Ghost模塊優勢設計的Ghost bottleneck網絡結構如圖3所示。

圖3 Ghost bottleneck網絡結構

本文結合實際需求將Ghost網絡參數s設置為2,設計了Ghost Conv和C3Ghost組件,大幅減少了參數量,加快了運算速度。

1.3 CA注意力機制

CA(coordinate attention)機制是一種高效注意力機制,它將神經網絡中任意特征張量X=[x1,x2,…,x3]∈RH×W×C進行轉換后輸出同樣尺寸的特征張量,其過程在對張量不同卷積通道的特征信息加權時,沿著另一個空間方向精確保留了位置信息,實現了通道和空間的融合,并且計算開銷較小,能夠用于輕量級網絡中。其實現過程如圖4所示。

圖4 CA機制實現流程

輸入特征張量通道數為C,寬度為W,高度為H。將輸入特征圖分為寬度和高度2個方向分別進行全局平均池化,分別獲得在寬度和高度2個方向的特征圖,計算公式為:

接著將獲得的寬度和高度2個方向的特征圖拼接在一起,將所有通道拼接所得特征圖進行卷積,卷積核參數為[C/r,1,1],然后將經過批量歸一化處理的特征圖F1送入Sigmoid激活函數得到形如1×(W+H)×C/r的特征圖f,計算公式為:

f=δ(F1([zh,zw]))

(7)

接著將特征圖f按照原高度和寬度進行切割,而后進行卷積運算,卷積核參數為[C/r,1,1],分別得到通道數與原來一樣的特征圖Fh和Fw,經過Sigmoid激活函數后分別得到特征圖在高度和寬度上的注意力權重gh和gw,計算公式為:

gh=σ(Fh(fh))

(8)

gw=σ(Fw(fw))

(9)

最后將原始圖像進行乘法加權計算,得到在高度和寬度上帶有注意力權重的特征圖。

在backbone末端引入CA機制對特征圖進行處理,以提高檢測準確率。輸入特征張量的通道數為1 024,寬度為19,高度為19,通過試驗,參數r取32。

1.4 加權雙向特征金字塔BiFPN

用FPN特征金字塔進行特征融合時,平等地對待每個輸入特征圖,忽視了不同分辨率輸入特征對特征融合貢獻的不平等性。BiFPN特征金字塔網絡引入了可學習的權重參數,能夠學習不同輸入特征的重要性,同時還在同一尺度輸入和輸出節點間增加了跳躍連接,形成了一種殘差結構,進一步加強了特征融合效果。

BiFPN特征金字塔網絡結構如圖5所示。藍色箭頭為自頂向下的通路,傳遞的是高層特征的語義信息;紅色部分表示自底向上的通路,傳遞的是低層特征的位置信息;紫色箭頭是上述第2點提到的同一層在輸入節點和輸出節點間新加的一條邊。

圖5 BiFPN特征金字塔結構

本文將YOLOv5算法neck部分的PANet特征金子塔用BiFPN結構進行優化。步驟如圖6所示,將只有一個輸入邊并且沒有特征融合的節點刪除;而后在同一級別的原始輸入與輸出節點添加一條額外的路徑連接;最后對每條路徑新增了權重參數w。加權融合方式采取快速歸一化融合,即

圖6 YOLOv5 PANet結構轉換示意圖

式中:wi為大于0的學習權重;ε=0.000 1為一個很小的值來避免數值不穩定。

1.5 網絡結構對比

與經典YOLOv5算法相比,經過改進后GCB-YOLOv5s算法的網絡結構在參數量、浮點計算量上均有較大減少,如表1所示,參數量減少了39%,浮點數計算量減少了44%。

表1 YOLOv5與GCB-YOLOv5s網絡結構對比

2 實驗結果及分析

2.1 數據集建立

數據集構建采用網絡公開數據Drone Dataset (UAV)和現地采集的方式,數據集規模為3 361張,數據集中無人機以常見的多旋翼、固定翼無人機為主體,共3 058張,補充鳥類、飛行昆蟲為相似干擾物,共303張。設置建筑、云層、樹木、陰暗條件等4類復雜背景條件,以及弱小目標檢測及相似物干擾2種常見情況,確保數據完備性。基礎數據情況如圖7所示。

圖7 基礎數據集片段

在實際檢測中,大部分無人機在捕獲圖像中為弱小目標,而其相似物體開源圖像中大多為特寫,全部自主拍攝又難以滿足數據豐富性要求,因此將部分特寫圖片中的目標進行縮小處理,以符合實際特征情況,增加數據集的豐富性。算法輸入圖像大小為640像素*640像素,圖像縮小后空白區域以純色填充,如圖8所示。

圖8 基礎數據變換情況

利用Labelimg圖像目標標注軟件對圖片進行人工標注。采用旋轉的方法擴增樣本數量,單次旋轉角度為90°,擴增后,得到樣本數量13 444張。而后按照8∶2的比例,隨機劃分為訓練集和測試集。

2.2 實驗環境

實驗平臺:操作系統linuxubuntu,處理器AMD EPYC 7543 32-Core Processor,內存30G,顯卡RTX A5000,顯存16G;實驗軟件為PyCharm 2020,Pytorch1.11,Python 3.9。

2.3 訓練策略

實驗數據采用無人機目標數據集,按8∶2比例隨機劃分訓練集和驗證集。在訓練中使用Mosaic數據增強,即將4張訓練圖像進行隨機縮放、裁剪,并進行隨機排布拼接作為輸入,如圖9所示,以此豐富圖片的背景,變相提高訓練Batch Size,提升小目標檢測的準確性和魯棒性;學習率采用余弦退火方式調節,確保學習率兩端低、中間高,兼顧學習效果與速度。

圖9 數據增強圖例

2.4 評價指標

采取消融實驗的方式對比算法結構更改效果,對無人機檢測模型使用精確率Pp(precision)、召回率Pr(recall)、F1進行評估,表示式為:

Pp=NTP/(NTP+NFP)

(12)

Pr=NTP/(NTP+NFN)

(13)

F1=2×Pr×Pp/(Pr+Pp)

(14)

式(12)—(14)中:NTP表示實例為正預測也為正的數量;NFP表示實例為負預測為正的數量;NFN表示實例為負預測也為負的數量。

2.5 實驗結論

通過驗證集對訓練的網絡模型檢測效果進行驗證。GCB-YOLOv5s迭代訓練至曲線收斂,其準確率和召回率增長情況如圖10所示。

圖10 GCB-YOLOv5s訓練過程

圖11給出了GCB-YOLOv5s網絡在復雜條件下目標檢測結果(為便于觀察,本文按照3∶1邊長比例裁剪出圖像的部分內容)。針對復雜背景遠距離小目標無人機,算法檢測的平均置信度在建筑物背景下為0.81,樹木背景0.86,云層背景0.78,陰暗背景0.76,可見GCB-YOLOv5s能夠準確實現無人機檢測,并且在肉眼較難分辨的復雜條件下具有良好的魯棒性。

圖11 GCB-YOLOv5s檢測結果例圖

在消融實驗中,對比的網絡模型分別為:YOLOv5s、YOLOv5s+Ghostnet(G-YOLOv5s)、YOLOv5s+Ghostnet+CA(GC-YOLOv5s)、YOLOv5+Ghostnet+CA+BiFPN(GCB-YOLOv5s)。在迭代訓練中,選取F1指標最優結果進行對比,其結果如表2所示。

表2 消融實驗結果

消融實驗對比結果表明,在無人機目標較小、背景環境復雜、飛鳥等物體干擾的條件下,用GhostNet替換普通卷積,引入CA注意力機制模塊,BiFPN加權特征金子塔替換PANet,相較于Yolov5s算法,本文中提出的無人機檢測GCB-YOLOv5s算法在保持較高精度的同時,在實時性上也有了較大的提升。在CPU(12th Gen Intel Core i5-12600KF)上,YOLOv5s算法的fps(Frame per second,畫面每秒傳輸幀數)為4.4,GCB-YOLOv5s算法為4.6;在GPU(NVIDIA GeForce RTX 3070)上,YOLOv5s算法的fps為48.38,GCB-YOLOv5s算法為53.97。說明GCB- YOLOv5s是一種兼顧檢測速率與精度的算法模型,適用于無人機的高清視頻監控。

3 結論

本文中提出的低空無人機實時探測的GCB-YOLOv5s算法,能有效提高低空無人機探測的準確性和實時性。

1) 使用Ghostnet輕量級網絡代替YOLOv5backbone部分原有的CBL結構以減少卷積層數,提高運算速度。

2) 在YOLO算法backbone部分引入了CA注意力機制,提升模型無人機檢測準確性。

3) 使用加權雙向金字塔網絡BiFPN[11],代替neck部分的PANet結構,更加合理應用不同分辨率特征,提升不同距離無人機檢測效果。

4) 通過現地拍攝和公開數據,構建了包括在建筑、云層、樹木、陰暗等不同復雜背景下的無人機飛行姿態實驗數據集,訓練和測試結果表明:GCB-YOLOv5s在參數量和浮點數計算量上均減少了近40%,且可達96.7%的精確率、96.4%的召回率和97.5%的平均精度。