基于改進YOLOv7 算法的復雜場景煙霧檢測研究

摘要：【目的】旨在解決復雜場景中目標煙霧失檢、檢測精度低的問題。【方法】基于YOLOv7算法基礎上進行優化改進，將原模型Neck部分的PAFPN結構替換為漸近式特征金字塔結構AFPN并引入ECIoU作為目標回歸損失函數，在自構建數據集SMdatase和Pycharm平臺上進行驗證。【結果】實驗結果表明：改進后的算法準確率比原YOLOv7模型提高了1.3%，達到68.6%，平均精度均值（mAP）比原YOLOv7 模型提升了1.8%，達到64.6%，且改進后算法的計算復雜度僅有82.5 GFLOPs，比原YOLOv7模型下降了27.4%。【結論】提出的基于改進YOLOv7算法，既能降低網絡計算復雜度又能提升檢測精度，為復雜場景煙霧檢測的后續研究提供了新思路。

關鍵詞：目標檢測；煙霧檢測；YOLOv7網絡；網絡復雜度

中圖分類號：TP391 文獻標志碼：A

本文引用格式：占華林，聶子俊，姜楠，等. 基于改進YOLOv7算法的復雜場景煙霧檢測研究[J]. 華東交通大學學報， 2024， 41（6）：58-64.

【研究意義】火災煙霧對日常生活及安全生產影響很大，不僅對相關人員構成生命威脅，也會對基礎設施造成極大破壞，設計一種火災煙霧檢測算法，對預防火災發生具有十分重要的意義。

【研究進展】YOLO于2016年首次被提出，是一種實時的端到端物體檢測方法，將目標檢測任務統一為一個回歸問題，通過一個神經網絡直接在整個圖像上進行預測。在煙霧檢測任務中，Hurtik 等[1]提出改進后的YOLOv3 模型能提高檢測速度和精度，并實現實例分割功能。Huo 等[2]在YOLOv4 模型的骨干中添加了卷積路徑，提高了網絡的特征提取能力，增強了對小型煙霧目標的檢測能力。YOLOv5由Ultralytics 公司推出，采用了一種新的輕量級架構，比YOLOv4更容易使用和訓練，并在性能上得到了提升。Arifando 等[3]用輕量級架構YOLOv5模型幫助視覺障礙者檢測公交車，Inbar等[4]將FasterR-CNN和YOLOv5 模型結合起來用于二級污水處理，都取得了較好的應用效果。YOLOv6 采用了新的分類和回歸損失，以及用于回歸和分類任務的自我蒸餾策略，實現了更快的檢測。楊大為等[5]在YOLOv7基礎上引入卷積塊注意力機制（CBAM）用于增強網絡的特征提取能力。

【創新特色】目前，隨著深度學習的發展，使用計算機視覺技術[6]的目標檢測方法得到了廣泛的應用，比傳統的檢測方法更快更準確。當前的目標檢測算法主要分為一階和二階算法，其中一階常用的檢測算法有DF-SSD，RetinaNet-vline，YOLO等[7]，二階算法有Mask R-CNN[8]，Faster R-CNN[9]。一階算法檢測比二階算法檢測速度快、實時性好，本文在YOLOv7一階檢測模型基礎上將原模型Neck 部分的PAFPN結構替換為漸近式特征金字塔結構AFPN和使用ECIoU為目標回歸損失函數，以應對含有云和霧等復雜場景煙霧檢測，并將此算法在自構建數據集SM-datase和Pycharm平臺上進行了驗證。

【關鍵問題】采用2022年提出的YOLOv7作為基礎模型并進行檢測性能的優化。將網絡的Neck部分替換為漸近特征金字塔[10（] asymptotic featurepyramid network，AFPN）結構以降低計算復雜度和減少計算參數，并引入ECIoU作為目標回歸損失函數，有效地提升了煙霧目標的檢測精度且未增加網絡計算復雜度。

1 YOLOv7算法

YOLOv7 算法是基于深度神經網絡的目標檢測算法，對目標對象進行識別和定位，YOLOv7 作為一階目標檢測的典型代表，其運行速度很快，能夠運用到實時識別檢測系統中。YOLOv7 模型由輸入部分（input）、特征提取網絡（backbone）和頭部模塊（head）組成，如圖1所示。

1.1 Input

輸入模塊將圖像尺寸轉化為640*640*3。該模塊對輸入圖片進行預處理，采用數據增強、自適應圖片縮放等方法進行圖像尺寸設定和數據集豐富。

1.2 Backbone

主干特征提取網絡的主要作用是對輸入圖像進行特征信息提取，采用若干CBS模塊、高效層聚合網絡（ELAN）和雙分支下采樣（MP）結構，其中，CBS模塊由卷積層、批量歸一化層、激活函數層組成。

ELAN通過不同長度的梯度路徑實現了不同特征層之間的增強交互。而MP結構則分為上下兩分支，上分支通過Maxpool 層結合CBS模塊進行下采樣，下分支使用步長為2 的卷積CBS模塊進行下采樣，再將兩個分支的輸出進行拼接（Concat）操作，保持通道數相同的同時實現了特征層的壓縮和融合，其結構如圖2所示。

1.3 Head

Head 中包含了Neck 模塊和檢測頭部分，在Neck 模塊中進行兩次特征融合保留更多的淺層信息，SPPCSPC模塊通過不同尺寸的最大池化增大感受野，提高了速度和精度并減少了網絡計算量。UP模塊調整輸入特征圖的通道數并進行上采樣與淺層信息進行融合。Concat操作將不同輸入的特征圖進行通道維數的拼接。ELAN-H與ELAN的不同之處在于將每一層的CBS進行Concat操作以保留更多的特征信息。MP通過調整特征圖的通道數為原來的兩倍并采用下采樣調整與淺層特征圖大小一致，便于特征圖之間的Concat操作。其結構如圖3所示。

RepConv 模塊則采用了重參數化卷積架構，Rep 網絡為一個三分支的網絡，通過不同大小的卷積進行特征提取，增強了模型對特征信息的提取能力，在訓練期間通過特征提取和平滑操作及特征疊加實現高效的特征表示。

2 YOLOv7算法改進

YOLOv7 憑借其先進性得到了廣泛的應用，在Neck 模塊使用PAFPN 的網絡結構，該結構由FPN和PAN組成，其中，FPN 從高維度向低維度傳遞語義信息，PAN是低維度傳遞位置信息，從而實現圖像在不同尺寸下對同一目標的識別，但經過網絡層次較深的多次網絡卷積后，圖片背景信息的迭代會產生大量的冗余信息，損害了不相鄰級別的融合效果。本文采用AFPN 替換PAFPN 和ECIoU 替換原有的CIoU損失函數，以達到更好的檢測效果。

2.1 AFPN

漸近式特征金字塔結構與許多基于特征金字塔網絡[11]的目標檢測方法一樣，在進行特征融合之前從Backbone 中提取不同Level 的特征，從而產生一組不同尺度的特征，AFPN結構如圖4所示。

因為非相鄰層次特征之間的語義差距大于相鄰層次特征間的語義差距，尤其是底部和頂部特征，這直接導致非相鄰層次特征的融合效果較差，所以直接使用3 個不同層次的特征圖進行融合是不合理的。在Backbone 自下而上的特征提取過程中，AFPN 采用漸近的方式集成了Low- Level，High-Level 和頂級特征，漸近融合過程中，AFPN首先將融合Low-Level 的特征，然后融合更深層的特征，即更抽象的特征。由于AFPN 的架構是漸近的，這將使不同Level 特征的語義信息在漸近融合過程中更加接近，減少了不同層級特征進行融合時的語義差異。

在多級融合的過程中，利用ASFF[12] 為不同Level 的特征分配不同的空間權重，增強了關鍵Level 的重要性，并減輕了來自不同目標的矛盾信息的影響。加入了AFPN 的YOLOv7 網絡結構如圖5所示。特征向量的線性組合表達如式（1）

式中：x1 → lij 為從Level1 到Levell 的位置（i，j）處的特征向量；αlij ，βlij 和γlij 分別為在levell 空間的3 個權重，權重分布受αijl + βijl + γijl = 1 的約束。使用AFPN 模塊替換PAFPN 在保持檢測精度不受影響的前提下，降低了網絡模型的計算復雜和參數量。

2.2 損失函數改進

損失函數作用于計算預測與實際數據的差距，是衡量模型預測和實際效率的重要依據。為了進一步提高網絡模型的訓練效率，并使得模型可以收斂至更高的精度，本文對YOLOv7 的回歸損失函數進行了改進。

2.2.1 CIoU損失函數

在YOLOv7 中，回歸損失函數采用的是CIoU[13]損失函數，CIoU 損失函數在設計上考慮了目標框的形狀信息，通過引入修正因子，使得損失對于不同形狀的目標框更具魯棒性。這使得模型更容易捕捉目標的準確形狀。

CIoU通過使用交并比[14]、歐式距離以及對應長寬比來測量預測框與真實框的重疊區域。其函數表達如式（2）～式（5）

式中：α 為權重參數；v 為度量長寬比的相似性；RCloU 為差異懲罰項；ρ2（b，bgt） 為預測框和真實框之間的歐氏距離；C 為預測框與真實框的最小重疊區域的對角線距離。

2.2.2 EIoU損失函數

在CIoU 損失函數中v 表示的是長寬比的懲罰項，這可能導致預測框的長寬比逐漸接近真實框的長寬比時，對損失函數的梯度產生影響，進而阻礙模型繼續優化相似度，且模型逼近目標的寬高比時，訓練變得不穩定。為解決該問題，EIoU[15]在CIoU的基礎上分別計算寬高的差異值取代了縱橫比，同時引入Focal Loss 解決難易樣本不平衡的問題。重新計算預測框與真實框的長寬，解決CIoU有可能阻止進一步有效地優化相似度的問題。EIoU 損失函數涉及到對預測框和真實框的嵌入向量進行優化，這可能增加了計算復雜性。在某些情況下，特別是當存在邊界框的邊長差距較大時，可能會導致訓練速度較慢。EIoU的損失函數如式（6）

2.2.3 Efficient-CIoU損失函數

為解決EIoU 和CIoU 損失函數存在的問題，本文采用結合了CIoU 與EIoU 優點的Efficient-CIoU損失函數，Efficient-CIoU 引入了更多的幾何信息，包括對中心坐標、寬度和高度的優化，以及引入了完整的外接矩形信息。這使得Efficient-CIoU在處理邊界框之間的相對關系時更為全面，有助于提高模型對于各種目標形狀和尺寸的適應能力。

在訓練過程中模型先采用CIoU 進行回歸損失計算，將預測框的縱橫比進行優化，優化到一個合適值后，每個預測框的邊緣再由EIoU進一步優化，直到收斂到一個預期值。Efficient-CIoU的改進旨在提高損失函數與目標形狀的一致性，從而更好地指導模型進行邊界框回歸。Efficient-CIoU損失函數如式（7）

3 實驗與分析

3.1 實驗數據集

實驗用到的數據集為SM-dataset，本數據集是人工拍攝和收集互聯網上含有云和霧等復雜場景的煙霧圖片（圖6），并使用LabelImg 軟件進行標注打上高質量的標簽（圖7）。數據集中包含不同時間和不同照明條件下的圖片。SM 數據集中總共包含11 596 張圖像，其中訓練集包含9 276 張圖像，測試集中包含有2 320 張圖像。這些圖像在訓練集和測試集中沒有重復的圖像。

3.2 實驗設備與評價指標

在本文的算法驗證中，實驗的硬件配置為Intel i7-10700，GPU型號為NVIDIAGeForce GTX 1660Ti，顯存6 GB，內存8 GB，操作系統為Windows11。本文所有實驗的全局迭代次數均為100 次，深度學習框架為Pytorch，代碼全部使用Python 語言實現。實驗平臺參數如表1所示。

本文采用的評價指標為（mean average precision，mAP），即平均精確度均值，該評價指標與精確度（precision， P）和平均精確度（average precision，AP）有關，模型復雜度用參數量Parameter，以及計算量GFLOPs 來評價，計算復雜度用于評估模型的性能，1 GFLOPs=109 FLOPs，FLOPs 是一個浮點操作數，用于測量模型的復雜性。評價指標具體公式如下

3.3 實驗結果與分析

為驗證本文所提出的改進YOLOv7網絡模型中各模塊的檢測效果，在煙霧檢測實驗中，設置了消融實驗，將改進YOLOv7 模型中的各個模塊逐個進行改進并訓練，將實驗結果與作為Baseline的YOLOv7模型進行對比，改進模型的消融實驗結果如表2 所示。從表2可以看出YOLOv7融合了AFPN結構后，參數量與原模型相比下降了32.2%，計算量下降了21.5%，使得YOLOv7 模型有了更低的模型復雜度；在實現模型低復雜度的基礎上將模型原有回歸損失函數替換為Efficient-CIoU損失函數，改進的損失函數結合了CIoU 和EIoU 損失函數的優點，在沒有增加參數量和計算量的前提下與Baseline相比，準確率P 提升了0.4%，mAP50 值提升了1.2%；在本文提出的模型中，將AFPN結構和損失函數E-CIoU同時進行融合替換，實驗結果表明，與YOLOv7 相比，改進模型檢測準確率P 提升了1.3%，mAP50 提升了1.8%，參數量下降了32.2%，模型計算量下降了21.5%。本文提出的方法和基準方法相比，體現出了改進模型更好的檢測性能和更低的網絡復雜度。算法改進前后性能對比如圖8所示。

為了進一步驗證本文方法的有效性，本文在SM 煙霧數據集上與另外幾種檢測方法進行了對比，其中，RetinaNet 是具有代表性的單階段目標檢測算法，Faster-RCNN是經典的二階段目標檢測算法，SM-YOLO是相關研究者提出的煙霧檢測算法，這3 種算法可以作為依據驗證算法的有效性。檢測結果如表3所示。

4 結論

采用YOLOv7 作為煙霧檢測任務的基準模型，通過對YOLOv7 模型進行改進并在煙霧數據集上進行實驗測試，得出以下結論。

1）本文提出基于改進YOLOv7 的煙霧檢測算法。通過將YOLOv7 模型Neck 部分的PAFPN結構替換為AFPN網絡結構，降低了網絡的參數和計算復雜度，有效提高了網絡對圖像中煙霧目標特征的提取，同時采用Efficient-CIoU 作為模型回歸的損失函數，提升了模型的檢測精度和準確率。

2）實驗結果表明，改進后的YOLOv7 算法對煙霧檢測的準確率可以達到68.6%，mAP50 達到64.6%，相比較于原模型，改進后的檢測性能更好，模型參數更少。因此將該改進算法應用于煙霧檢測任務中，可以提高煙霧檢測的識別效率，有望在火災預防工作中發揮關鍵作用。

參考文獻：

[1 ] HURTIK P， MOLEK V， HULA J， et al. Poly-YOLO： higher speed， more precise detection and instance segmentation for YOLOv3[J]. Neural Computing and Applications， 2022， 34（10）： 8275-8290.

[2] HUO Y， ZHANG Q， JIA Y， et al. A deep separable convolutional neural network for multiscale image-based smoke detection[J]. Fire Technology， 2022， 58： 1445-1468.

[3] ARIFANDO R， ETO S， WADA C. Improved YOLOv5-based lightweight object detection algorithm for people with visual impairment to detect buses[J]. Applied Sciences， 2023， 13（9）： 5802.

[4] INBAR O， SHAHAR M， GIDRON J， et al. Analyzing the secondary wastewater-treatment process using Faster R-CNN and YOLOv5 object detection algorithms[J]. Journal of Cleaner Production， 2023， 416： 137913.

[5] 楊大為，張成超.基于改進YOLOv7的安全帽佩戴檢測 算[J].沈陽理工大學學報，2024， 43（1）： 16-21.

YANG D W， ZHANG C C. Algorithm of Safety Helmet Detection Based on Improved YOLOv7[J]. Journal of Shenyang University of Technology， 2024， 43（1）： 16-21.

[6] XIA X， YUAN F N， ZHANG L， et al. From traditional methods to deep ones： review of visual smoke recognition， detection， and segmentation[J]. Journal of Image and Graphics， 2019， 24（10）： 1627-1647.

[7] LI F， YAN H， SHI L. Multi-scale coupled attention for visu-al object detection[J]. Scientific Reports， 2024， 14：11191.

[8] GANESH P， VOLLE K， BURKS T F， et al. Deep orange：Mask R- CNN based orange detection and segmentation [J]. Ifac-papersonline， 2019， 52（30）： 70-75.

[9] REN S， HE K， GIRSHICK R， et al. Faster R-CNN： To-wards real-time object detection with region proposal net-works[J]. IEEE transactions on pattern analysis and machine intelligence， 2016， 39（6）： 1137-1149.

[10] QIN L， PANG W， ZHAO D. A feature pyramid networkwith adaptive fusion strategy and enhanced semantic in-formation[J]. Multimedia Systems， 2024， 30（4）： 1-13.

[11] WANG C， ZHONG C. Adaptive feature pyramid networks for object detection[J]. IEEE Access， 2021， 9（1）： 107024-107032.

[12] SHEN S， ZHANG X， YAN W， et al. An improved UAV target detection algorithm based on ASFF-YOLOv5s[J]. Mathematical biosciences and engineering： MBE， 2023， 20（6）： 10773-10789.

[13] ZHANG S， LI C， JIA Z， et al. Diag-IoU loss for object de-tection[J]. IEEE Transactions on Circuits and Systems for Video Technology， 2023， 33（12）： 7671-7683.

[14] LIU X B， YANG X Z， ZHAO S T， et al. Object detection method based on CIoU improved bounding box loss func-tion[J]. Chinese Journal of Liquid Crystals and Displays， 2023， 38（5）： 656-665.

[15] ZHANG Y F， REN W， ZHANG Z， et al. Focal and efficient iou loss for accurate bounding box regression[J]. 2021， 506： 146-157.

第一作者：占華林（1980—），男，副教授，碩士生導師，博士研究生。研究方向為人工智能、嵌入式開發。E- mail：james392@163.com。

通信作者：姜楠（1981—），男，教授，博士，博士生導師，入選江西省“雙千計劃”、省杰出青年基金、省政府特殊津貼、省主要學科學術和技術帶頭人、省百千萬人才工程等。研究方向為人工智能、物聯網、土木基礎設施智慧運維等。E-mail：jiangnan1018@gmail.com。

（責任編輯：李根）

基金項目：國家自然科學基金項目（62172160，62061019）