基于YOLOv7和GMM算法的火焰實時檢測方法

王振龍 陳彥 劉飛 王優優 楊羅剛 張佳銘

摘? 要：石油化工行業生產現場大多具有易燃、易爆、高溫和高壓等特點，是安全監管的核心區域。針對目前安全監管區域主要依靠監控視頻回放及人工檢查方式，導致實時性差、安全性低的問題，該文提出一種基于YOLOv7和GMM算法的火焰實時檢測方法。首先，通過生產現場對數據實時采集和分析，基于YOLOv7在目標檢測領域的優勢，實現對疑似火焰區域的檢測；其次，結合火焰特有的動態特征，利用GMM模型對檢測結果中的疑似火焰區域進行排除，如燈光、太陽光等；最后，利用形態學操作方法，進一步提高對真實火焰檢測的準確性。通過實驗結果表明，該方法能夠濾除疑似火焰的干擾，有效檢測出真實火焰，且在復雜背景下仍有很好的抗干擾能力和識別準確率。

關鍵詞：易燃；高溫；YOLOv7；GMM；形態學操作

中圖分類號：X932? ? ? 文獻標志碼：A? ? ? ? ? 文章編號：2095-2945（2024）05-0001-06

Abstract： Most production sites in the petrochemical industry have the characteristics of flammability， explosion， high temperature， and high pressure， and are the core areas of safety supervision. Aiming at the problem that the current safety supervision area mainly relies on surveillance video playback and manual inspection， which leads to poor real-time performance and low security， a real-time flame detection method based on YOLOv7 and GMM algorithm is proposed in this paper. First of all， through the real-time data collection and analysis on the production site， based on the advantages of YOLOv7 in the field of target detection， the suspected flame area is detected; secondly， combined with the unique dynamic characteristics of the flame， the GMM model is used to eliminate the suspected flame area in the detection results， such as light， sunlight and so on; finally， the morphological operation method is used to further improve the accuracy of real flame detection. The experimental results show that this method can filter out the interference of suspected flame， detect the real flame effectively， and still has good anti-jamming ability and recognition accuracy under complex background.

Keywords： flammability; high temperature; YOLOv7; GMM; morphological operation

目前，石油化工行業普遍沒有實現安防重點如明火、煙霧等實時檢測與告警，導致火災的頻發。火災的發生一直威脅著人們的生命和財產安全，嚴重時不僅造成巨大經濟損失，而且導致人員的大量傷亡[1-2]。為最大程度地降低火災給石化工廠帶來的潛在風險，及時偵測并迅速撲滅火患，需要對火災的發生進行實時、準確地檢測。

由于火焰的突發性和頻發性，前人一直在尋找更加及時有效的火焰檢測方法。文獻[3]提出了一種利用RGB顏色空間進行火焰檢測的方法，通過對RGB三通道不同的圖像特性進行分析來實現火焰識別。文獻[4]提出了一種基于YOLOv4的火焰檢測算法，利用CSPDarkNet53作為骨干網，通過SPP和PANET結構增強特征提取網絡，平均檢測精度達91.68%。文獻[5]介紹了一種基于幀差法的火焰檢測方法，使用面積增長比作為判別幀數差的依據進行火焰識別。文獻[6]提出一種基于改進的YOLOv5檢測算法進行火焰檢測的方法，通過嵌入協同注意力機制模塊和改進損失函數來實現火焰檢測。傳統的火焰檢測方法在一定程度上實現了火焰檢測的功能，但由于石油石化行業應用場景復雜、準確率要求高、場景落地困難，仍存在誤檢率大、檢測速度慢等問題，無法滿足石油石化行業生產現場對火焰檢測實時性和準確性的要求。

隨著圖像處理和計算機視覺技術的發展、視頻監控的普及，火焰的實時檢測已成為目標檢測領域的熱點問題[7]。本文提出一種基于YOLOv7和GMM算法的火焰實時檢測方法。在確保視頻圖像火焰檢測速率的同時，融合火焰獨特的動態特征，更進一步地濾除可能的誤檢情況，從而極大提升火焰檢測的準確性。

1? YOLOv7網絡模型介紹

YOLOv7算法[8]是被廣泛使用的目標檢測網絡之一，憑借檢測精度高、推理速度快等特點，在各種工業領域已取得了不錯的成果[9-10]。同時，YOLO也一直在更新迭代，目前YOLOv7是綜合表現最好的版本，也是更符合火焰實時檢測的要求。

YOLOv7是由YOLOv4團隊的原班人馬提出的。目前，無論是在實時性還是準確率上都已經超過了目前已知的目標檢測算法[11-12]，在30 FPS的情況下，最高的模型AP值可達56.8%。YOLOv7網絡結構主要分成3個部分：input、backone、Neck&Head。

1.1? input

Input端包括Mosaic數據增強、圖片尺寸處理、自適應錨框計算3部分。采用Mosaic方式增強數據，這種方式對小目標檢測效果比較理想，符合本文小目標火焰的檢測需求。

1.2? Backbone

Backbone由BConv層、E-ELAN層及MPConv層交替減半長寬，增倍通道，提取特征。其中BConv層由卷積層+BN層+激活函數組成，激活函數為ReakyReLu；ELAN層由不同的卷積拼接而成，ELAN模塊是一個高效的網絡結構，具有更強的魯棒性。MPConv模塊有2個分支，作用是進行下采樣，減少運算量和參數量，加快計算速度并防止過擬合。

1.3? Neck&Head

頸部（Neck）&預測頭（Head）層通過SPPCPC層、若干BConv層、若干MPConv層、若干Catconv層及后續RepVGG block層組成。SPPCSPC層中SPP能夠增大感受野，使得算法適應不同的分辨率圖像。Catconv層與ELAN層的操作基本相同；RepVGG block層中REP在訓練和部署的時候結構不同。訓練模塊有3分支，最上面的分支是3x3的卷積，用于特征提取；中間的分支是1x1的卷積，用于平滑特征；最后的分支是Identity，用于恒等映射。推理模塊，包含一個3x3的卷積，stride參數，在模型重參數化時，將1x1的卷積和Identity，轉換成3x3的卷積，最后將三者進行相加，實現矩陣的融合。利用單路網絡的優勢提升推理速度，從而實現高性能和高速度的平衡。

2? GMM運動目標檢測算法

運動目標檢測是基于運動目標的特性，從連續的視頻序列中抽取出運動區域的過程，其中這些運動區域被賦予前景的角色，而靜止部分則成為背景的一部分[13-15]。在石油石化行業生產現場中還存在許多與火焰顏色很類似的物體，如照明燈、太陽等，將對提取真實的火焰區域帶來阻礙，因此還需借助火焰特有的動態特征進一步篩選出真實火焰。本文利用GMM（高斯混合模型）對火焰特有的動態特征進行分析，有效排除檢測結果中誤判的情況，從而提高火焰檢測精度。

2.1? 高斯混合模型

高斯混合模型（GMM）是一種以像素樣本統計為基礎的背景建模方法[16-17]。假設像素之間的色彩信息相互獨立，因此對視頻圖像中的每個像素點，其值的變化可以被視為不斷生成新像素值的隨機過程，而在統計學上，這個隨機過程呈現高斯分布的形態。現實中火焰視頻圖像中由于光線變化、物體微小抖動等，每個像素點分布通常服從多峰高斯分布。運動檢測算法流程包括[18]GMM參數的初始化、模型參數的更新、運動目標檢測。

2.1.1? GMM參數初始化

在運動檢測中，通常統計一段時間內的視頻圖像信息對各高斯模型參數進行初始化：選取連續的幀圖像，計算這些圖像中每個像素位置的灰度平均值和方差來初始化各高斯分布的均值矩陣μ0和方差矩陣σ02，公式如下

式中：μk，0表示第k個高斯分布的均值矩陣；σ表示第k個高斯分布的均值矩陣；N表示選取連續的N幀圖像；參數初始化中，對視頻序列I（i=1，2，…，N）進行累積采樣。

2.1.2? 混合高斯模型參數更新

當GMM模型參數初始化狀態結束后，開始進行下一步的運動目標檢測。從實時視頻中獲取t時刻視頻幀，將像素位置（x，y）得到的灰度值It（x，y）與當前的k個混合高斯模型進行匹配判斷，若It（x，y）與第k個模型得到匹配則標記Mk，t=1；若沒有與第k個高斯模型得到匹配則標記Mk，t=0，公式如下所示

It（x，y）-μk，t-1（x，y）≤c·σk，t-1（x，y），

式中：c是經驗參數，一般取2～3得到的檢測效果較為理想。匹配結束后根據各個標記M值對第k個高斯模型的權重參數ωk，t（x，y）進行如下更新

ωk，t（x，y）=（1-α）·ωk，t-1（x，y）+Mk，t·α。

若存在某個Mk，t=1，則對像素點對應的第k個高斯模型的均值和方差作如下更新

若像素值It（x，y）與所有模型都未得到匹配，則用值It（x，y）取代最后一個高斯模型對應位置的均值，并重新為該模型的（x，y）處分配一個較大方差和較小權重。α是權重的學習率，αε[0，1]，β是均值和方差的學習率，且βε[0，1]。

2.1.3運動檢測

在混合高斯模型中，為了得到t時刻的背景模型，必須對當前t時刻所有k個己經完成參數更新的高斯模型做調整：首先對每個像素位置模型權重作歸一化處理，公式如下

其次，按照ωk，t（x，y）/σ（x，y）從大到小的順序對所有高斯模型重新進行排序，并選取前B個滿足如下公式，將該模型作為背景分布，其中τ是權重閾值。

最后，將當前像素點值It（x，y）與上式得到的B個背景模型進行如下公式的匹配判斷，如果找到一個模型k滿足式，則認為該點在t時刻呈現的是背景信息；否則，判斷該點為運動前景。

2.2形態學操作

形態學操作在圖像處理領域應用非常廣泛，在諸多行業領域已取得巨大的成功[19]。形態學能夠保證在圖像基本形狀不變的前提下，去除不相關區域的部分，如噪聲、邊緣毛刺等。在運動目標檢測算法中，圖像背景往往不是一直不變的，經常處于一種細微變化的狀態，導致背景物體誤檢測為前景。

2.2.1腐蝕

腐蝕運算是指將那些孤立邊界點去除掉，使得其邊界收縮的運算，其本質是計算局部最小值。用結構元素B對圖像A做腐蝕操作可記為AΘB，公式如下所示

式中：Bx為結構元素，Bx中的下標x=（x1，x2）表示結構元素的參考點在圖像中的坐標。

腐蝕操作使原始圖像的凸起部分受到侵蝕。在周圍環境為背景的情況下，可能被錯誤識別為前景的火焰能夠通過腐蝕操作得以清除，然而這一操作也會對前景中的火焰輪廓產生一定影響。

2.2.2? 膨脹

膨脹操作是將與目標物體接觸的像素點融合到物體中，從而擴展其邊界，本質上是計算局部最大值的運算。這一操作能夠將物體的范圍逐漸擴大，以實現邊界的增強和形態的變化。用結構元素B對圖像A做膨脹操作，記為A⊕B。公式如下所示

式中：A為圖像，B為結構元素，表示B集合反射，（）z表示對B反射進行位移z。

在形態學處理中，腐蝕和膨脹是最為基礎且至關重要的2種操作，許多其他形態學算法也是由這2種基本運算相互組合而成的。本文選用了開運算的策略，即先腐蝕后膨脹。

3? 火焰實時檢測方法

3.1? 火焰實時檢測流程

本文所提出的火焰檢測方法的整體實現流程如圖1所示。

3.2? 數據集建立

樣本集是深度學習網絡的基礎，優秀的樣本集讓模型有更強的魯棒性和泛化性。本文實驗數據集圖像大小為420×420像素，由公開火焰數據集和互聯網收集共8 000張圖像，其中火焰圖像為6 510張，非火焰圖像為1 490張。根據8∶2的比例劃分，生成6 400張訓練集和1 600張測試集，如圖2所示。樣本集采用PASCALVOC格式，圖像標注使用LabelImg，標注后文件以xml作為后綴存儲，通過數據轉換代碼將標注文件轉換為YOLOv7模型可用的txt文本格式。劃分見表1。

3.3? 模型訓練

實驗環境使用 Ubuntu16. 04操作系統，選用Pytorch架構，使用NVIDIA A100 Tensor Core GPU進行運算，利用Python語言編寫程序代碼，實現火焰檢測模型的訓練和測試。具體實驗配置見表2。

訓練過程中優化器采用SGD；輸入尺寸420×420；batch_size為16；迭代批量大小為128；衰減系數0.005；迭代次數為150次；初始學習率為0.001。

3.4? 模型對比

為了有效分析改進后模型的性能，本文使用相同的數據集和訓練參數設置分別對YOLOv3、YOLOv4、YOLOv5、YOLOv6和YOLOv7網絡進行訓練，將本文使用的YOLOv7模型與其他模型的mAP（0.5）曲線繪制在同一個坐標系中，如圖3所示，mAP（0.5）值越大，表明檢測的準確率越高，網絡性能越好。從圖中可以看出，基于YOLOv7的火焰檢測模型在30次左右收斂，在閾值設定為0.5的前提下，平均檢測精度（mAP）在94%以上。相比其他模型，收斂速度更快，且準確率更高。

為進一步分析本文模型在火焰檢測上的性能，將本文所采用的火焰檢測模型與各主流目標檢測模型進行對比，以Precision（查準率）、Recall（召回率）、mAP（平均精確率）為主要指標，5種模型的對比結果見表3。與YOLO系列算法相比，本文改進模型比YOLOv3、YOLOv4、YOLOv5和YOLOv6原始模型的mAP（0.5）檢測精度分別提高了13.04%、8.42%、1.07%和1.63%。

3.5? 測試結果

為全面評估基于YOLOv7的火焰實時檢測的效果，選取視頻幀數據進行火焰檢測測試，以驗證模型的可靠性。測試結果如圖4所示。可以看出，基于YOLOv7的火焰實時檢測中精確度較高，滿足工廠需求。但在檢測過程中也伴隨著一些誤檢情況，主要是工廠燈光及太陽光等類似火焰對象的干擾所致。為排除類似火焰干擾，本文將進一步對火焰特有的動態特征進行分析，提高火焰檢測的精確度。

3.6? 結果優化

通過基于YOLOv7算法已檢測出火焰區域圖像，但在石化工廠中，存在大量疑似火焰的物體，如燈光、太陽光等靜態圖像，大大干擾了火焰檢測的精度，如何從疑似火焰中尋找真實的火焰還需進一步研究。火焰在燃燒過程中的動態抖動是區別于其他疑似火焰的重要特征，根據火焰特有的動態閃爍特性，利用GMM在運動目標檢測領域的優勢找出發生空間位置變化的物體。該方法分為3個步驟：圖像預處理、火焰檢測、圖像后處理，如圖5所示。

圖像預處理階段：為進一步消除圖像其他不相關部分的干擾，將基于YOLOv7算法檢測出的火焰區域截取出來進行單獨分析。采用將其他不相關部分的圖像像素值取0操作，得到預處理后的原始圖像。如圖5（b）所示。

火焰檢測階段：利用高斯混合模型在運動目標檢測領域優勢，對疑似火焰區域進行前景目標檢測，檢測后得到火焰動態變化的二值圖像，如圖5（c）所示。模型參數設置：GMM數目k為5，GMM更新了β為0.2，與模型匹配的標準差系數c為2.2，權重閾值τ為0.8。

后處理階段：使用形態學方法（具體是先腐蝕再膨脹操作）對檢測階段得到的二值圖進行降噪處理，排除了疑似火焰的干擾，最終得到真實的火焰形態。如圖5（d）所示。

4? 結論

本文針對目前安全監管區域主要依靠監控視頻回放及人工檢查方式，導致實時性差、安全性低的問題，提出一種基于YOLOv7和GMM算法的火焰實時檢測方法。通過實驗結果展示，該方法在安全監管區域的場景中具有較好性能，能夠在保證實時火焰檢測精度、排除疑似火焰干擾的同時，實現真實火焰的實時檢測，具有一定的應用前景。通過對生產區域火災危險場景進行實時檢測和異常報警，及時發現安全隱患，提醒內操或者調度人員糾正現場人員行為，有效提升企業安全管控能力。

參考文獻：

[1] 張志英.視頻監控系統中火災檢測技術的研究[D].成都：電子科技大學，2010.

[2] 關鐵.淺談火災事故調查存在的問題與對策[J].科技創新與應用，2016（4）：294-294.

[3] 蘇展，張防震，王瑞，等.基于RGB+HSI顏色模型的早期火焰檢測算法研究[J].河南教育學院學報（自然科學版），2021，30（3）：28-32.

[4] SUN X Q， XIN S J. Flame detection algorithm based on YOLOv4[C]//Proceedings of the IEEE 7th International Conference on Intelligent Computing and Signal Processing， Xi An， China： IEEE Press， 2022： 314-317.

[5] 楊述斌，周敏瑞，潘偉.基于煙霧圖像動態多幀差分法的火災識別研究[J].自動化與儀表，2021，36（7）：47-50，100.

[6] 陳露萌，曹彥彥，黃民，等.基于改進YOLOv5的火焰檢測方法[J].計算機工程，2023，49（8）：291-301，309.

[7] 江洋.基于深度學習的火災視頻實時智能檢測研究[D].海口：海南大學，2020.

[8] REDMON J，DIVVALA S，GIRSHICK R，et al. You only? look? once：unified，real-time? object? detection[C]//Proceedings? of? the? IEEE? Conference? on? Computer Vision and Pattern Recognition，2016.

[9] 李柯泉，陳燕，劉佳晨，等.基于深度學習的目標檢測算法綜述[J].計算機工程，2022，48（7）：1-12.

[10] 李文博，趙正旭.基于YOLOv5的遙感圖像小目標檢測[J].科技創新與應用，2023，13（6）：63-67.

[11] WANG C Y，BOCHKOVSKIY A，LIAO H.YOLOv7：trainable bag-of-freebies sets new state-of-the-art forreal-time object detectors[J].arXiv：2207.02696，2022.

[12] 張亞騰，黃俊.基于YOLOv7的鋼表面缺陷檢測[J/OL].激光雜志：1-7[2023-08-03].http：//kns.cnki.net/kcms/detail/50.1085.TN.20230726.0945.004.html.

[13] 唐慧娟，李軍民.智能視頻監控中的運動目標檢測研究[J].科技創新與應用，2016（12）：41.

[14] 杜保亮.基于高斯混合模型的運動動作跟蹤研究[J].信息技術，2022（7）：1-5，11.

[15] LI R，WANG Z，GU C，et al. A novel time-of-use tariff design based on Gaussian mixture model[J].Applied Energy，2016.

[16] GREGGIO N， BERNARDINO A， LASCHI C， et al. Self-adaptive Gaussian mixture models for real-time video segmentation and background subtraction[C]//10th International Conference on Intelligent Systems Design and Applications， Cairo，2010：983-989.

[17] CHEN Z Z， TIM E. Self-adaptive gaussian mixture model for urban traffic monitoring system[C]//IEEE International Conference on Computer VisionWorkshops，Barcelona，2011：1769-1776.

[18] 周建英.基于GMM的智能視頻運動目標檢測算法研究[D].合肥：安徽大學，2013.

[19] 吳凡.基于深度學習的火災檢測算法研究與實現[D].杭州：杭州電子科技大學，2020.