低空輕量級紅外弱小目標檢測算法

張 上,黃俊鋒 ,王恒濤,陳永麟,王 康

(1.三峽大學湖北省建筑質量檢測裝備工程技術研究中心,湖北 宜昌 443002;2.三峽大學計算機與信息學院,湖北 宜昌 443002)

1 引 言

紅外目標檢測是實時監控、追蹤、制導的關鍵技術之一,其應用廣泛,如機載監視、反無人機等領域。目前,紅外弱小目標檢測成為計算機視覺中的一個重點與難點,紅外圖像弱小目標檢測的難點主要有:紅外弱小目標亮度低,通常呈點狀,成像不明顯;尺寸微小,一般不超過15個像素,形狀特征、紋理和邊緣特征難以提取;背景復雜,在實際檢測環境下,背景因素不可避免,如樓房、云層、植物、飛行動物等,都會干擾檢測;紅外圖像成像存在噪聲;實時性要求高。如監測與制導場景中,需要檢測算法能夠及時響應目標,提供高準確率和高速的檢測。

上述難點亟待深度學習來解決?；谏疃葘W習的目標檢測算法可分為四類,分別為注意力機制算法(Transformer[1]和Swin-Transformer[2]等)、雙階段檢測算法(Mask R-CNN[3]、Faster R-CNN[4]等)、單階段檢測算法(YOLO[5]、SSD[6]等)和無錨框檢測算法(FCOS[7]、CenterNet[8]等)。人工智能算法廣泛用于工業和軍事[9-11]。為實現紅外弱小目標的智能化實時檢測,王曉紅等人[12]提出一種基于YOLOv5的紅外弱小目標檢測方法,引入BiFPN特征融合機制,使網絡模型可以更聚焦于物體的細小特征。張立國等人[13]對特征融合模塊和解耦檢測端分類回歸結構進行改進。以上算法能夠實現紅外弱小目標的檢測,但存在檢測誤檢率、漏檢率高,計算量和模型體積大的問題。

針對紅外弱小目標檢測存在的難點,本文貢獻如下:

1)設計專用于紅外弱小目標檢測的SL-YOLO(超輕量紅外目標檢測)算法,對網絡結構進行重構,使其能夠適應紅外弱小目標特征提取,并且減輕算法的計算量與體積。

2)設計重構網絡的剪枝架構,實現剪枝算法與重構后網絡的融合。去除冗余參數與通道,提高模型的推理速度。

3)設計VariFocal-SIoU損失函數。改變邊框回歸損失函數、均衡正負樣本、提高檢測框檢測精度。

4)為驗證算法有效性,在IDSAT和SIRST公開數據集上對算法進行驗證。在數據集上的平均檢測精度分別為96.4 %、98.1 %。

2 SL-YOLO

2.1 結構設計

SL-YOLO核心思想是針對紅外弱小目標特征進行網絡結構的構建,以紅外弱小特征信息的提取與融合為基準點,分別設計網絡特征提取模塊與網絡特征融合模塊,然后設計模型剪枝算法,實現剪枝算法與網絡模型的融合,最后,設計VariFocal-SIoU損失函數,實現正負樣本均衡與重疊區域的損失計算,提升與修復剪枝完成后的精度。SL-YOLO主要由輕量化網絡結構、剪枝算法和VariFocal-SIoU損失函數構成。SL-YOLO網絡架構如圖1所示,通過在輕量化提取網絡與融合網絡的訓練過程中融合剪枝算法和VariFocal-SIoU損失函數,完成模塊輕量化和回歸優化。

圖1 SL-YOLO系統架構圖

SL-YOLO經過輕量化設計后,實現網絡結構冗余模塊的剔除,完成冗余參數的修剪,使得網絡模型計算量、體積大幅減低,檢測速度提高。

2.2 網絡重構

目標檢測中常使用80×80、40×40和20×20三類特征圖,SL-YOLO通過調整感受野和特征圖來實現紅外弱小目標的特征提取和特征融合。針對紅外弱小目標的特征信息與尺度變化,將感受野調整為40×40與80×80兩種特征尺度,將更多紅外弱小目標信息保留。

在紅外圖像中,紅外弱小目標僅占據圖片的很小部分,經過卷積與下采用后信息丟失嚴重。優化后特征提取網絡CSPDarkNet結構如表1所示,優化后特征提取網絡下采樣為4次,卷積為3次,在降低計算量和參數量的同時保留更多的紅外弱小特征信息。

表1 重構CSPDarkNet結構

特征提取網絡經過優化后需要對特征融合網絡作處理,改進后特征融合網絡結構如圖2所示,針對感受野尺度調整融合網絡結構。依次完成淺層到深層語義的融合,再進行深層到淺層語義的融合。同時,增加淺層語義的特征權重。減少紅外弱小目標的信息丟失。

圖2 特征融合網絡結構圖

SL-YOLO算法結構如圖3所示,網絡結構重構后,分別對特征提取網絡與特征融合網絡進行了重構設計。重構后網絡結構刪除大感受野信息提取,僅保留中小尺度的特征提取,特征融合網絡側重向小感受野進行調整,最后輸出40×40與80×80特征信息。

圖3 SL-YOLO網絡結構

2.3 剪枝算法融合

基于范數的剪枝算法是被經常使用的模型剪枝算法,通過特征信息的范數大小來均衡重要程度。在目標檢測特征空間中低范數特征信息也具有重要的特征信息,而基于范數的剪枝算法將其刪除,故丟失大量低范數特征信息。FPGM剪枝算法如圖4所示,SL-YOLO將剪枝算法融入到模型中,突破常規范數的局限性,去除可替代的特征信息,保留更多有用信息。

圖4 FPGM剪枝示意圖

FPGM的核心是計算濾波器的歐氏距離之和,過濾出歐式距離之和相對較低的進行刪除。計算濾波器a(i)的歐式距離:

(1)

過濾出可代替的濾波器:

x*=argminf(x)

(2)

使用幾何中值的算法計算第i層中所有濾波器的公共距離。其中,濾波器參數定義為Fi∈RNi,Ni×K×K。

(3)

濾波器根據幾何中心距離進行剪枝,找出距離特征空間中心最近的濾波器:

(4)

幾何中心距離的計算涉及到范數的計算,導致計算量的增加。而計算濾波器之間的距離相對簡單,故可以通過計算距離之和得到幾何中心相對較小濾波器之和:

(5)

(6)

其中,x∈{Fi,1,…,Fi,Ni+1}。

算法1 FPGM 前期工作:訓練集、驗證集、預訓練模型輸入,參數設定剪枝率設定:R1:initial:網絡模型及參數 W2:for epoch=1;epoch≤epoch_max;epoch++ do3: 迭代網絡模型:W4: for i=1;i ≤L;i++ do5: 計算第i層中每個濾波器之間的歐氏距離之和6: end for7: 得到N×R個可替換濾波器8: 將可替換濾波器梯度置零9: end for10:訓練模型W調節梯度獲得待去零模型W111:去除W1網絡中梯度為零的通道,獲得去零網絡W2輸出:剪枝且模型收斂的網絡與參數

2.4 Varifocal-SIoU

SL-YOLO通過對Focal loss進行改進,設計Varifocal-SIoU在提高錨框匹配的同時根據目標類別進行加權損失計算。

Focal loss、VariFocal loss損失函數如下:

(7)

(8)

其中,p為預測值,取值為[-1,1];y為實際背景與目標類別;α為比例因子;(1-p)β為目標類調制因子;pβ為背景類調制因子;q為判別條件,背景類q為0,目標類q值為真實錨框與預選框之間的IoU值。

Focal loss通過引入目標調節因子,使用加權的方式可以使得IACS回歸,解決目標類與背景類之間的不均衡問題。但對于目標類采用的是相同的計算方式,不能對正樣本進行突出。Varifocal loss基于二元交叉熵損失進行設計,使用真實錨框與預選框之間的IoU值進行損失計算,使得在均衡正負樣本的同時能夠根據樣本的質量進行損失加成。

常見的邊框損失忽視所需真實框與預測框之間不匹配的方向問題。故提出SIoU,既提高了訓練速度,又提高了檢測精度。SIoU損失函數如下:

(9)

其中,LIoU為IoU損失函數;Δ為距離損失;Ω為形狀損失。

形狀損失Ω通過錨框的寬高進行處理:

(10)

其中,τ為形狀損失調節因子;通過調節因子計算形狀損失,能夠直接對寬高損失進行調節。

距離損失Δ可依靠角度、橫縱坐標得出:

(11)

以錨框橫縱坐標、角度為基準,通過計算出距離誤差,其中,μ為角度誤差:

(12)

Varifocal-SIoU loss,在均衡正負樣本、重疊損失、錨框向量角度的同時,重點突出正樣本的貢獻:

LVarifocal-SIoU=Varifocalloss(SIoU)

(13)

2.5 系統算法詳解

SL-YOLO通過將剪枝算法、重構網絡模型訓練、損失函數優化相結合,完成輕量化紅外弱小目標檢測算法的設計與實現。SL-YOLO模型訓練及剪枝優化如算法2所示。

3 實 驗

實驗環境:操作系統:Ubuntu 16.04、CUDA 11.3;GPU配置:NVIDIA RTX2060,6 GB顯存;深度學習框架:Pytorch。

3.1 紅外弱小目標數據集

紅外小目標在學術上有兩種定義方式,分別為基于相對尺度和基于絕對尺度的定義方法。基于相對尺度的定義方法,是根據國際光電儀器工程師協會的定義,將小于原圖0.12 %像素的目標稱為小目標?；诮^對尺度的定義方法,根據通用目標檢測數據集COCO數據集中,尺寸小于32×32像素的目標定義為小目標。

算法2 SL-YOLO算法準備工作:訓練參數、預訓練模型輸入,訓練次數epoch剪枝率:RWhile(FPGM剪枝算法未收斂or N

為驗證SL-YOLO對紅外弱小目標的檢測效果,本文采用公開數據集SIRST和IDSAT數據集進行驗證。SIRST是一種單幀紅外小目標檢測數據集,共包含427張圖片,包含480個實例,數據量豐富,包含短波、中波和950 nm波長的紅外圖像。IDSAT數據集有22種背景,覆蓋地面復雜背景、天空、地空交接等復雜背景。訓練集、驗證集、測試集按照3∶1∶1進行隨機劃分。

3.2 模型剪枝對比

模型剪枝性能對比如表2所示,其中剪枝模型為網絡重構后的模型,剪枝率的增加,模型的檢測性能有所下降。網絡結構重構后在SIRST和IDSAT數據集上進行驗證,剪枝率升高,模型的檢測精度AP有所減低,當剪枝率大于80 %時,模型的檢測精度下降最多。

表2 不同剪枝率對數據集的性能指標對比

針對剪枝帶來的精度下降,本文在模型剪枝后設計Varifocal-SIoU進行算法微調。微調結果如表3所示,從表中數據可知,微調后模型的P、R、mAP和F1均有恢復。其中,在剪枝率為90 %時,性能恢復最多。其中,在SIRST數據集檢測精度能提高1.6 %,在IDSAT數據集檢測精度能提高0.9 %。實驗充分驗證了SL-YOLO算法中的Varifocal-SIoU有效性。

表3 不同剪枝率經過Varifocal-SIoU微調后性能指標比較

3.3 實驗結果與分析

為驗證SL-YOLO中每個改進點對紅外弱小目標檢測的效果,在SIRST、IDSAT數據集上進行消融實驗,如表4所示。SL-YOLO經過網絡結構重構、Varifocal-SIoU優化后平均檢測精度、準確率、召回率均有所提高。

表4 消融實驗

在兩個不同的數據集上,SL-YOLO通過網絡重構與Varifocal-SIoU后,能夠大幅提高召回率和準確率。隨著模型剪枝的提升,模型平均精度精度逐漸下降,經過Varifocal-SIoU可恢復檢測精度。

3.4 與先進算法對比

為驗證SL-YOLO算法對紅外弱小目標檢測的先進性,對SL-YOLO進行對比實驗,將SL-YOLO與當前主流算法進行對比,如表5和表6所示。

表6 不同算法對IDSTD的性能指標比較

SL-YOLO算法在當前主流算法具有競爭力。SL-YOLO算法還可以根據剪枝率的大小進行計算量、推理時間和體積縮減,能夠滿足不同應用環境進行調節,滿足不同環境下的實時檢測需求。

總的來說,SL-YOLO算法在模型體積、計算量、平均檢測精度和推理時間上均有巨大優勢,能夠滿足紅外弱小實時目標檢測需求。

3.5 實驗效果與分析

為驗證SL-YOLO算法對紅外弱小目標的實際檢測效果,在SIRST、IDSAT數據集進行驗證,包含海上、陸地、飛機等復雜背景。圖6～10分別為不同剪枝率在海上、陸地、飛機的檢測效果。

如圖5所示,(a)為YOLOv5s基線檢測結果圖、(b)為YOLOv7檢測結果圖、(c)為SL-YOLO檢測結果圖。SL-YOLO相比于當前主流算法檢測置信度更高,漏檢率和誤檢率更低。

圖5 不同模型下的檢測效果

圖6～圖8從左到右依次為剪枝率10 %、30 %、50 %、70 %、90 %。在海上、陸地、飛機檢測效果均優秀;隨著剪枝率的增加,紅外目標檢測不會存在漏檢率提高的問題,但置信度存在降低。在剪枝率50 %以下,置信度保持較高水平;當剪枝率超過50 %時,實例檢測置信度下降較多。

圖6 不同剪枝率在海上紅外目標的檢測效果

圖7 不同剪枝率在陸地背景紅外目標的檢測效果

圖8 不同剪枝率對飛機紅外檢測效果

綜上所述,SL-YOLO對海上、陸地、飛機均有優異的檢測效果。在剪枝率較高的情況下,模型的計算量與體積均大幅下降,漏檢率和誤檢率不會增加,但存在置信度降低的問題。

4 結 論

精準的紅外弱小目標檢測對紅外遙感至關重要。紅外弱小目標特征信息尺寸小、背景復雜導致其檢測難度增加。針對紅外弱小目標檢測特征,本文設計SL-YOLO算法。為保存更多特征信息,降低卷積帶來的特征信息丟失問題,SL-YOLO重設計網絡結構,在兼顧檢測效果的同時,模型更加輕量。然后設計模型剪枝算法,實現冗余特征信息的剔除,提高檢測速度,降低計算量、模型體積和參數量;最后設計VariFocal-SIoU損失函數,改變邊框回歸損失函數、均衡正負樣本、提高檢測框檢測精度。在SIRST、IDSAT數據集上進行算法驗證,SL-YOLO各項指標均優于當前主流算法,取得了優秀的成績。SL-YOLO算法精度最高分別可達96.4 %、98.1 %,模型體積最小為190 kB,推理時間最低為2.89 ms。SL-YOLO在平均檢測精度、推理速度與模型體積均具有較大的先進性。