基于YOLOv5的紅外目標檢測算法*

林 健，張巍巍，張 凱，楊 堯

（1.西北工業大學 無人系統技術研究院·西安·710000；2.上海航天控制技術研究所·上海·201109）

0 引 言

目標檢測是機器視覺領域最具挑戰性的任務之一，在現實世界中有著深遠的意義。在自動駕駛、導航制導等任務中，要求檢測算法能夠在各種照明和環境條件（包括白天、夜間、雨中、霧中等）下都具有魯棒性。然而在這些情況下，基于可見光的系統一般無法發揮作用，導致上述任務無法完成，紅外成像系統通過接收目標的熱輻射成像，對復雜天氣、光照情況有較強的適應性，可以全天候工作，探測距離遠。同時相較于可見光數據的采集，紅外數據擁有更強的隱私保護性，在當前人們對隱私保護越來越重視的背景下，足以獲得更多的學習數據，用于優化模型。

紅外成像系統具有上述全天候、遠距離、抗干擾的特性，被廣泛地應用在民用、軍用領域。雖然紅外目標檢測跟蹤算法的需求日益增長，但是紅外圖像普遍存在紋理信息差、低分辨率、高噪聲的特點，對目標原有的灰度信息破壞嚴重，給紅外目標檢測算法帶來嚴峻挑戰。經典的目標檢測算法模板匹配、HOG-SVM，以及當前主流的深度學習算法等，在設計之初都是針對可見光圖像，在目標細節、特征明顯的RGB圖像上可以獲得較好的性能，但在紅外圖像目標檢測上，算法性能均有不同程度下降。

基于深度學習的目標檢測算法——YOLO，在學術界和工業界都取得了許多顯著的成果，下面簡要介紹YOLO系列算法的發展歷程。J.Redmon等在2015年6月提出了YOLOv1算法，該算法不僅具有良好的識別性能，而且具有較高的實時性。此外，該算法具有良好的泛化能力，易于訓練，收斂速度較快。在接下來的5年里，YOLO算法得到了更新，5個版本融合了目標檢測社區的許多創新想法。在前3個版本中，YOLOv3是一個里程碑，通過引入多尺度特征（Feature Pyramid Networks，FPN）、更好的骨干網絡（Darknet53）以及將Softmax分類損失函數替換為Logic損失函數，在性能和速度方面取得了較大改進。2020年初，在原YOLO作者從研究領域離開之后，YOLOv4由不同的研究團隊發布。YOLOv4團隊對YOLO算法的幾乎所有方面進行了探索，改進了主干網絡，以及提出了很多在目標檢測領域實用的技巧。YOLOv4在Tesla V100上以65 FPS的實時速度實現了MSCOCO數據集65.7%的平均準確率。1個月后，另一個不同的研究團隊發布了YOLOv5，該算法具有更小的模型尺寸、更快的速度、與YOLOv4相似的性能，以及在Python中的完整實現，使得YOLOv5在目標檢測社區得到了廣泛關注。

為解決紅外圖像普遍存在的紋理信息差、低分辨率、高噪聲帶來的檢測難題，本文改進了YOLOv5算法的特征提取網絡，選擇了具有殘差特性的ResNet50網絡。針對紅外場景中存在大量的小目標，避免過大采樣率導致目標被過濾，改進了YOLOv5檢測頭方案，使用了更為密集的特征融合網絡提升檢測效果。本文的主要工作如下：

1）構建了基于ResNet50的骨干特征提取網絡，改進了YOLOv5的3個檢測頭方案，增加了下樣率為4的檢測頭。

2）重新設計了特征融合網絡，提出了一個Detection Block模塊，提升了紅外目標的檢測能力，同時獲得了較小的模型參數。

3）在FLIR紅外自動駕駛數據集上，相比原始的YOLOv5m模型，在平均精度上提升4%。

1 算法描述

本文提出了一種基于YOLOv5的紅外目標檢測算法（Target Detection Based on YOLOv5, YOLOv5-IF），具體結構如圖1所示。本文所提算法和現有的大多數目標檢測算法一致，結構上分為三部分：特征提取（Backbone），特征整合（Neck），檢測頭（Head）。輸入的紅外圖像，經過特征提取網絡得到目標不同尺度上的語義信息，并將特征圖（FeatureMap）劃分為不同大小的網格。同時，紅外圖像經過特征提取網絡之后，特征信息被映射在不同尺度的特征圖上，紅外圖像中存在大量的小目標，而過大的采樣率會導致目標特征經多次采樣之后難以在特征圖上體現。出于這方面的考慮，增加了下采樣率為4的特征輸出。在Neck部分將前一級得到的特征信息進一步加工處理，利用FPN和路徑聚合網絡（Path Aggregation Network，PAN）實現不同尺度特征信息的融合。網絡的最后一部分為Head，即輸出預測部分，利用卷積層得到前級特征圖上每一網格內包含目標信息（目標位置，置信度）的預測值。這些預測值為事先設定的錨框的調整參數，在后處理部分根據網絡的輸出信息對預先設定的錨框做相應的調整，最后通過非極大抑制（Non-Maximum Suppression，NMS）操作得到最可能包含目標的預測框。

圖1 YOLOv5-IF算法總體框圖Fig.1 The architecture of YOLOv5-IF

1.1 YOLOv5算法

這一部分簡要分析YOLOv5算法的改進之處，以及YOLOv5算法在解決紅外圖像識別上存在的問題。

（1）YOLOv5改進點：

基于錨框目標檢測算法的先天不足，導致了正負樣本不均衡，為了緩解這種缺陷帶來的問題，研究者提出了Focal LOSS等算法。YOLOv5在算法設計時提供了另一種解決思路，通過采用跨鄰域網格匹配，有效增加了正樣本數量，使得YOLOv5算法整體的精度得到了巨大提升，具體邊界框回歸公式為式（1），式（2）為YOLOv2、v3、v4回歸公式。

（1）

（2）

式中，、、、為目標真實的中心點坐標以及寬高；、為目標中心所屬網格的左上角坐標值；、為預設錨框的寬高值；、、、為算法輸出的錨框的中心點及寬高的調整值；為Sigmoid函數。

（2）不足之處：

Focus模塊：YOLOv5創新性地引入了一個全新的模塊Focus，具體的實現流程為：將特征圖切分為4份，每份數據量都是相當于2倍下采樣得到的，然后在通道維度進行拼接。這種操作可以在不增加計算量的同時使得特征圖減半，通道增加4倍。相比采用最大池化或步長為2的卷積操作，Focus模塊帶來的計算量更小，對YOLOv5的快速推理起到了重要作用。然而，由于Focus會造成圖像上的空洞，這種操作必然會導致圖像信息的丟失，對于紅外圖像中的小目標檢測是不利的, 因此在本文中拋棄了這種結構。

SPP模塊：YOLOv4中提出了一個全新的SPP，在經典的SPP模塊中，特征地圖在進行多尺度最大池化之后被轉換為一維向量。新的SPP將3個尺寸為××5124的特征圖分別使用∈（5，9，13）的池化核池化，再將輸入特征圖與池化后的特征圖相連形成××2048的特征圖。有效避免了在3個尺度最大池化的情況下丟失圖像的重要特征，輸入不僅提取了使訓練更容易的重要特征，而且保持了空間維度。大量的實驗證明，SPP模塊能有效提升可見光圖像的檢測率，因此這種結構在YOLOv5中也被保留了下來。Qi D.等提出了針對小目標可采用較小的池化核，然而在針對紅外圖像的測試中，不論是原始的池化核還是采用較小的池化核，對于檢測結果都沒有提升，因此在本文中拋棄了這種結構。

1.2 YOLOv5-IF算法

基于上述分析，本文針對YOLOv5算法在解決紅外目標識別方面的不足，提出了一種改進的YOLOv5-IF算法。原始的YOLOv5中，沿用了YOLOv3版本中的骨干網絡CSPDarkNet53作為特征提取網絡, CSP 跨階段連接受殘差連接啟發，在不同層之間實現特征復用，在實際測試中發現CSPDarkNet53并不能很好地提升紅外圖像中目標的特征信息。基于殘差連接的ResNet網絡可以解決深層模型梯度消失的問題，同時加入了一定的正則項可以加速模型收斂，一定程度上也減少了模型參數。針對紅外圖像存在的分辨率低、細節特征不明顯、高噪聲等問題，本文選擇ResNet50作為特征提取網絡。

為了提升算法對紅外小目標的檢測能力，本文在骨干網絡上增加了4倍下采樣的特征圖，即輸入圖像為416×416時，對應特征圖大小為104×104，依舊采用每個網格生成3個先驗錨框的策略。這種情況下，會給輸出增加104×104×3=32448個預測結果，相比原始的（13×13×3+26×26×3+52×52×3=10647）增加了3倍之多。為了解決這一問題，必然需要一個輕量高效的Neck。本文將Neck部分拆分為FPN和PAN兩部分，具體結構如圖2所示。圖中（∈（2,3,4,5））為骨干網絡輸出的不同下采樣倍率的特征圖，上采樣通過線性插值實現，特征疊加則是在通道維度上合并特征圖，卷積操作均為1×1卷積用于調節特征圖通道，Head（∈（1,2,3,4））對應不同尺度的檢測頭，同時替換原始的CSPBottleNet為更高效的Detection Block，在不影響模型精度的情況下，極大縮減了模型規模，結構如圖3所示。

（a） FPN模塊網絡結構

（b） PAN模塊網絡結構圖2 Neck模塊網絡結構Fig.2 Neck module network structure

圖3 Detection Block模塊Fig.3 Detection Block module

Detection Block設計之初就是為了得到一個輕量化的網絡，同時能夠有效融合紅外目標的特征，將目標從背景中凸顯出來，如圖3所示。具體實現流程為：對輸入的特征圖通過兩個卷積實現通道減半，其中一側首先會經過一個卷積和Leak Relu激活函數，接著通過兩個堆疊的Conv Block模塊，該模塊使用了卷積加深度可分離卷積的配置，如圖4所示，借助深度可分離卷積，在保證不影響感受野的同時，極大減小了模型參數，其中卷積核大小為3，步長為2；另一側則采用了卷積加Leak Relu激活函數的配置，形成了一個殘差連接。

圖4 Conv Block模塊Fig.4 Conv Block module

本文在骨干網絡上增加了一個輸出，對應4倍下采樣的特征圖，經過上述的Neck部分融合，最終得到預期的4檢測頭檢測結構，有效提升了紅外弱小目標的檢測能力。

4倍下采樣的檢測頭能夠輸出細粒度更高的特征圖，并準確保留紅外圖像上的小目標特征信息。各個檢測頭的輸出可視化如圖5所示，將各個檢測頭輸出得分和類別融合后，可以看到更高細粒度的檢測頭能關注到圖像中的弱小目標。

圖5 檢測頭熱圖Fig.5 Heat map of detection head

2 實驗及結果分析

2.1 實驗設置及評價指標

本文使用FLIR提供的紅外場景數據集。該數據集是在美國加利福尼亞州圣塔芭芭拉市的街道和高速公路上拍攝的，包括從5月～11月不同時間的各種天氣變化，例如霧和雨。圖像的背景包括城市、山脈、隧道、樹木、建筑物等，背景比較復雜。訓練集共包含7659幅紅外場景圖像，采用COCO數據格式進行標注。類別包括人、自行車、汽車和狗。本次實驗僅選取人、自行車、汽車作為檢測目標，其中行人22356個、自行車3986輛、汽車41247輛，共67589個目標，圖6展示了不同類別的目標占比分布。測試集包含1360幅紅外場景圖像，包括5579個行人、471輛自行車、5432輛汽車，共計11482個目標。數據集的目標尺度分布如圖7所示，其中目標的寬高比為目標高/寬與圖像高/寬的比值。由圖8可見，數據集中包含了大量小目標，同時場景中目標的模糊程度不同，增加了檢測的難度。

圖6 目標占比分布Fig.6 Target proportion distribution

圖7 目標尺度分布圖Fig.7 Target scale distribution map

圖8 部分數據集樣例Fig.8 Part of the sample datasets

網絡訓練時采用了如下配置：Batch-Size為16，采用Adam優化器，初始學習速率為0.01，訓練數據和測試數據均采用FLIR提供的訓練和驗證集。使用YOLOv5提供的數據增強策略，采用NVIDIAGTFORCE 1080TI顯卡，pytorch 1.8深度學習框架，操作系統為Ubuntu20.04，共訓練100個Epoch。對數據集采用K-means聚類算法得到了4組錨框，分別為：[9,10,10,19,17,14],[13,29,26,21,18,44],[40,31,30,70,60,45],[92,66,55,120,142,105]。

本文通過平均準確率（mean Average Precision，mAP），即各個類別的平均值（Average Precision，AP）來評價算法的性能，在計算mAP之前首先需要計算查準率（Precision）和召回率（Recall）。查準率是實際是正樣本且模型預測也是正樣本數量與模型所有預測的正樣本數量的比值。令代表實際的正樣本，模型預測也是正樣本的數量;代表實際的負樣本，但預測是正樣本的數量。計算精度的公式為

（3）

召回率是實際為正且正確預測的樣本數量與所有實際為正樣本的數量之比。令代表實際的正樣本但模型預測的是負樣本，召回率的公式為

（4）

AP的計算公式如下

（5）

mAP就是不同種類的AP求平均值，mAP0.5表示預測框與真值框的交并比（Intersection-over-Union，IoU）大于等于0.5情況下準確預測的概率；mAP 0.5 0.95表示預測框與真值框的IoU大于等于0.5小于等于0.95情況下準確預測的概率均值。

YOLOv5的損失函數包括：分類損失（classification loss）、定位損失（ localization loss）（預測邊界框與真實框之間的誤差）、置信度損失（confid-ence loss）。因此，總的損失函數為： classification loss+localization loss+confidence loss。YOLOv5使用二元交叉熵損失函數計算類別概率和目標置信度得分的損失。圖9和圖10分別展示了訓練過程中各種損失（loss）和評價指標的變化趨勢。

圖9 Loss變化曲線Fig.9 Loss curve

圖10 評價指標變化曲線Fig.10 Curve of evaluation

2.2 消融實驗

為了驗證所提的4檢測頭方案、Detection Block，設計了如下消融實驗。如表1所示，√表示當前網絡中包含此模塊或改進，×表示當前網絡中不包含此模塊，↑表示該指標越大越好，↓表示該指標越小越好，紅色代表算法表現最佳，藍色表示算法表現最差。使用mAP和模型參量作為評價指標。模型的訓練參數配置參照2.1節的實驗設置。

正如表1所示，僅僅在模型上增加輸出對YOLOv5m的檢測精度并無明顯提升。同時由于在骨干網絡上增加輸出，導致輸出結果增加3倍之多，使得模型的檢測速度下降。因此，替換了原始的CSPDarkNet53，采用ResNet50作為特征提取網絡，使得檢測精度和推理速度得到了提升。由表1可見，Detection Block模塊的加入不僅使得模型精度提升，而且模型規模得到了縮減，這對于后續部署模型工業化應用是十分有利的。

表1 消融實驗Tab.1 Ablation experiments

圖11展示了消融實驗中不同模塊的檢測效果圖，分別是小目標、行人遮擋、多尺度變化等場景, 可以看到V5-IF（圖中綠色框線算法）相比其他算法出現誤檢的情況最少。

圖11 消融實驗效果圖Fig.11 Effect of ablation experiment

2.3 對比實驗

選取了當前主流的目標檢測算法CenterNet、SSD、EfficientDet、YOLOv5m、Faster R-CNN，在FLIR數據集上進行測試，對比結果如表2所示。以上算法均訓練100Epoch，紅色、藍色分別對應算法結果最優和次優，FPS為每秒處理圖像幀數。

表2 SOTA算法對比結果圖Tab.2 Comparison results of SOTA methods

如表2所示，改進的YOLOv5-IF算法相比最新的YOLOv5m算法能夠保證一定運行實時性，同時在mAP檢測精度上提升了4%，模型參數量減少了68%。基于Anchor-Free的CenterNet使用了ResNet50作為特征提取網絡，但在模型規模和檢測精度上都不及YOLOv5-IF。SSD算法中引入了多尺度檢測頭，但是沒有加入FPN和PANet，因此沒有實現尺度融合，檢測效率也表現一般。兩階段的目標檢測算法Faster R-CNN，在推理速度上明顯低于其他算法。

3 結 論

本文針對通用目標檢測算法在紅外場景下的不足，考慮到紅外圖像普遍存在的低分辨率、高噪聲、低對比度以及小目標等問題，提出了一種YOLOv5-IF算法，主要創新點有：

1）使用了ResNet50作為骨干特征提取網絡，該骨干網絡基于殘差機制構建，實現了特征圖通道信息的高效交互，能夠更加有效地獲取紅外圖像中的目標信息，得到更加豐富的語義信息。同時考慮到紅外圖像中存在大量小目標的問題，在Backbone上增加了一個輸出，并由此構建了一個4檢測頭的算法，使得模型的檢測精度得到了提升。

2）考慮到模型規模對模型在邊緣移動設備部署和推理速度的影響，提出了一個高效特征整合網絡，通過構建Detection Block模塊，使得模型的檢測精度得到了小范圍提升，同時獲得了更小的模型規模。最后在紅外自動駕駛數據集FLIR上，與現有SOTA算法進行對比，本文所提算法的mAP為74%，參數量僅19.5MB，優于現有的算法。

YOLOv5-IF算法在精度和參數量方面取得了較好的效果，同時也存在一些問題：由于4檢測頭的引入，輸出結果的增加導致模型的推理速度并不是最優，如何均衡算法精度和模型推理速度是后續研究的重點方向，同時模型在邊緣設備上的部署問題也是后續的研究方向。