













摘 要:針對火焰檢測參數量和計算量較大及準確度較低的問題,提出一種基于Fire-MCANet(Fire-MaxConvolution Activate Networks)的火焰檢測模型。該模型首先構建一種MCA(Max Convolution Activate)模塊,使用大卷積核獲取感受野,提高特征提取的能力;其次構建主干網絡MCANet Block,在提升感受野的同時,降低模型的參數量和計算量;最后引入CA(Coordinate Attention)注意力機制獲取火焰的位置信息。實驗結果表明,基于Fire-MCANet的火焰模型的檢測準確率達到95.75%,計算量僅有2.13 GMac;其網絡模型的結構比ConvNeXt網絡更加輕量化,檢測效果也更好。
關鍵詞:火焰檢測;深度學習;CA注意力機制;特征提取
中圖分類號:TP391 文獻標志碼:A
0 引言(Introduction)
火災是一種常見的災害,可能會造成巨大的財產損失和人員傷亡。在許多場景中,如化工廠、倉庫和公共建筑等,火焰檢測的重要性不言而喻。火焰檢測技術旨在幫助人們及早發現火災,以便及時采取措施進行滅火和人員疏散,最大限度地降低火災造成的人員傷亡和財產損失,保護人們的生命財產安全。目前,火焰檢測的主流方法有兩種,即基于傳統機器學習的方法和基于深度學習的方法。基于傳統機器學習的方法如支持向量機(SVM)[1]、決策樹[2]等,通過提取手動設計的特征檢測火焰。基于深度學習的方法有卷積神經網絡(CNN)[3]、YOLO系列[4]等深度學習模型。卷積神經網絡通過端到端的學習從圖像或視頻數據中學習火焰的特征表示,但其性能和計算復雜度較高。通常,火災事故發生初期的火焰檢測目標尺寸較小,使得模型很難準確地提取到火焰的特征,并且當前模型對火焰檢測的準確率較低。
1 相關研究(Related research)
火焰是一種非剛性的物體,其形狀和尺寸會隨著燃燒條件的改變而不斷變化,給火焰檢測的研究帶來了困難。馬慶祿等[5]提出了一種基于紅外熱成像的公路隧道火災初期火焰檢測方法,利用溫度閾值獲取疑似火焰區域;HOSSEINI[6]等提出一種高效卷積神經網絡架構UFS-Net,用于檢測視頻幀中的火焰和煙霧,采用基于深度學習的火焰檢測方法提取火焰特征,提升了發現剛出現火焰的速度,在保證速度的前提下,也擁有很好的識別能力。但是,上述改進模型不能很好地解決火焰在不同場景下的漏檢、誤檢問題。本文針對這些問題提出一種基于Fire-MCANet的火焰檢測模型,該模型能夠提高火焰檢測精度并降低模型計算的復雜度。
2Fire-MCANet火焰檢測模型(Fire-MCANetflame detection model)
2.1ConvNeXt網絡
ConvNeXt[7]是一種基于卷積神經網絡的深度學習框架,常被用于圖像分類和目標檢測任務的網絡結構,與其他經典的CNN(Convolutional Neural Networks)結構相比,具有更高的準確性和更少的參數量。ConvNeXt的網絡結構主要由以下幾個部分組成:Input(輸入層)、Convolution(卷積層)、LayerNorm(歸一化層)、ConvNeXt Block (卷積連接塊)、Downsample(下采樣層)、Globle Avg Pooling(全局平均池化層)和Linear(線性層)。輸入層接收圖像,并將其轉化為特征圖。歸一化層對網絡的每個神經元輸出進行歸一化,使得網絡中的每一層的輸出都具有相似的分布。卷積連接塊是ConvNeXt網絡的基本模塊。下采樣層對特征圖進行縮放。全局平均池化層用于對特征圖進行降維,將其轉換為一維向量,以便進行檢測任務。線性層對特征向量進行處理,輸出最終的檢測結果。ConvNeXt的網絡結構如圖1所示。
卷積連接塊由Depthwise Convolution(分組卷積)、歸一化層、Gaussian Error Linear Units(GELU 激活函數)、卷積層、Layer Scale(縮放層)、Drop path(正則化)和Concat(拼接)組成。卷積連接塊首先將輸入的特征圖進行分組,其次對每個分組內的特征圖進行卷積操作,提取不同組之間的特征關系。分組卷積之后,對每個分組內的特征圖進行卷積核大小為1×1的卷積操作。先使用卷積核大小為1×1的卷積進行通道數的升維,再使用卷積核大小為1×1的卷積對特征圖進行降維操作,在保證特征提取能力的同時,降低了計算復雜度。將得到的特征圖與輸入特征圖進行殘差連接[8],得到最終的輸出特征圖。ConvNeXt Block模塊如圖2所示,圖2中的k 代表卷積核大小;s 代表卷積核在圖像窗口上每次平移的間隔,即步長。
歸一化層和卷積層是下采樣層的關鍵組件。歸一化層用于下采樣的初步處理,具有抗噪性和位置不變性的特點,能夠對輸入特征進行平移、旋轉和縮放等變換,并保持不變性。卷積層是下采樣的另一個關鍵組成部分,它通過卷積操作進一步處理特征圖。卷積層可以通過不同的卷積核提取多個不同方向和尺度的特征,從而捕捉更豐富的語義信息。下采樣在深度學習中起著重要的作用,通過縮小輸入特征圖的尺寸,實現對特征的降維和提取更高層次的抽象特征。下采樣層的主要目的是減少參數量和計算量,以及增強模型對整體結構的感知能力。下采樣層的結構如圖3所示。
2.2 MCA模塊
在火災檢測中,為了獲取較好的特征提取能力,本文提出了一種MCA模塊。該模塊通過組合不同卷積的卷積核和激活函數,進行特征提取和非線性變換,以實現強大的模型表達能力和性能。GELU激活函數是一種高性能的神經網絡激活函數,它的非線性變化是一種符合預期的隨機正則變換方式,具有比傳統的ReLU(Rectified Linear Unit)[9]等函數更平滑和連續的性質,它可以引入更強的非線性能力,幫助模型更好地捕捉數據中的復雜模式和關系。通過在卷積核大小為1×1的卷積層后應用GELU激活函數,可以引入更多的非線性變換,增強模型的表達能力。使用具有較大的感受野的11×11的大卷積核[10],能夠捕捉更大范圍的上下文信息,從而獲取更豐富的火焰特征。左側最下面的卷積核大小為1×1的卷積層被用于維度變換,即通過調整通道的數量改變特征的維度,幫助模型在特征空間中進行更好的整合和組合。在左側最后一次卷積得到的結果與通過右側卷積核大小為1×1的卷積層的結果相乘(Product)的步驟中,可以進一步整合特征信息,提供更豐富的特征表達。
MCA模塊使用大卷積核、GELU激活函數和卷積核大小為1×1的卷積層的組合,旨在提高模型的表達能力、捕捉更大范圍的上下文信息、引入更強的非線性能力,以及整合和調整特征維度。MCA模塊如圖4所示。
2.3 MCANet Block模塊
本文參考ConvNeXt設計了主干網絡MCANet Block結構。為了使模型獲取更大的感受野,能夠更好地進行特征提取,本文使用MCA模塊代替ConvNeXt Block中用于升維的1×1卷積。MCANet Block的網絡結構由分組卷積、歸一化層、MCA模塊、卷積層、GELU激活函數、縮放層和正則化層拼接而成。MCANet Block的分組卷積在不改變特征圖大小的情況下,對輸入特征進行空間信息的提取和壓縮。MCA模塊可以提取更豐富的空間和通道特征信息,從而提高模型的表現能力,卷積層可以降低模型的參數量和計算量,從而提高模型的計算和內存效率。MCA模塊的使用提高了模型的魯棒性和泛化能力。該模塊進一步增強了網絡的表達能力和泛化能力,同時能防止網絡模型過擬合,提升模型的性能。MCANetBlock模塊如圖5所示。
2.4 加入CA(Coordinate Attention)注意力機制
在火焰檢測中,可應用注意力機制提高火焰檢測模型對火焰區域的感知能力和關注能力,增強火焰區域的特征表示和檢測準確性。Coordinate Attention[11]是一種基于坐標的注意力機制,用于在卷積神經網絡中引入對位置信息的關注,它通過學習和應用輸入數據的空間坐標信息,提供了一種有效的方式用于捕捉位置相關的特征和模式。傳統的注意力機制主要關注通道之間的特征,而Coordinate Attention注意力機制則專注于特征圖中的空間位置,它通過將坐標信息與特征進行融合,使網絡能夠更好地理解和利用不同位置的特征差異。CA注意力機制包括Residual(殘差邊)、Global Avg Pooling(全局平均池化)、Convolution(卷積層)、Concat、BatchNorm(歸一化層)、Non-linear(非線性層)、Sigmoid激活函數和Re-weight(重新加權)。
Coordinate Attention的引入可以提升模型的性能,增強模型對位置信息的感知能力。Coordinate Attention注意力機制模塊如圖6所示。
火焰是一種非剛性物體且擴散速度極快,因此對其檢測的精度和速度的要求較高。ConvNeXt是一種基于卷積神經網絡的深度學習框架,在檢測目標較大且清晰時,檢測效果較好,但是在一些特殊環境下,例如圖片模糊、光照不足和目標重疊情況下,檢測目標容易丟失而造成誤檢。在火焰檢測中,不僅需要檢測算法處理低清晰度圖片,及時且快速地檢測小目標圖像,還要在訓練時避免模型的訓練時間過長及解決過擬合問題。
首先構建MCA模塊替換ConvNeXt Block中卷積核大小為1×1的卷積塊,其次采用主干網絡MCANet Block和融入Coordinate Attention注意力機制,構成基于Fire-MCANet的火焰檢測模型。Fire-MCANet是一種基于卷積神經網絡的火焰檢測模型。Fire-MCANet網絡的整體架構遵循ConvNeXt的結構。該模型應用于火焰檢測,不僅增強了火焰的特征提取能力,而且提高了目標檢測的準確性和魯棒性。Fire-MCANet網絡結構如圖7所示。
3 實驗結果及分析(Experimental results and analysis)
3.1 實驗環境
實驗環境如表1所示。
本文使用的實驗數據集由訓練集和測試集兩個部分組成。
數據集來源于網絡上收集的不同類型、不同場景下的圖片和PASCAL VOC數據集。將收集的火焰圖片和非火焰圖片按照7∶3的比例,分別創建訓練集和驗證集。圖8為實驗使用的數據樣例,其中圖8(a)至圖8(c)為訓練時使用的火焰圖片;圖8(d)至圖8(f)為訓練時使用的非火焰圖片。
3.2 模型評價
本文將準確率(Accuracy,Acc)、精確率(Precision,Pre)、召回率(Recall,Rec)、參數量(Params)和計算量(Flops)作為模型性能的評價指標。
準確率是預測正火的樣本數占正火焰圖樣本的比例,準確率越高,代表網絡模型分類越好,計算方法如公式(1):
精確率是預測正樣本數占所有預測正火的比例,計算方法如公式(2):
召回率是所有預測正值中火焰正確預測的占比,計算方法如公式(3):
其中:TP(True Positive)表示真陽性,TF(False Positive)表示假陽性。
模型的參數量和計算量是衡量一個網絡復雜度的重要指標。在保持檢測精度較高的前提下,模型參數量越小,對設備的要求也就越低;模型計算量越少,網絡復雜度也越低。但在實驗中,不同的計算代碼結構可能會導致參數量和計算量的計算結果存在誤差。因此,在對比實驗中需要使用相同的計算代碼結構計算參數量和計算量,確保結果的準確性。
3.3 實驗對比
使用3組實驗,分析了本文提出的改進方法對模型性能的影響,每組實驗訓練的參數一致。通過消融實驗,能夠驗證和對比改進模型后的性能,消融實驗結果如表2所示。ConvNeXt_1表示將ConvNeXt Block中用于升維的卷積層替換成MCA模塊;ConvNeXt_2表示引入了Coordinate Attention注意力機制;ConvNeXt_3 表示使用MCA 模塊和引入CoordinateAttention注意力構建的MCANet結構。
實驗以ConvNeXt作為對照組,ConvNeXt_1 在將原ConvNeXt Block網絡中用于升維的卷積層替換為MCA模塊后,精確率提升了2.35百分點;ConvNeXt_2通過引入CoordinateAttention注意力機制,使模型更加關注火焰的特征,模型的準確率提升了3.91百分點,同時Flops也降低了0.79 GMac;ConvNeXt_3使用了MCA模塊創建的MCANet結構,并引入Coordinate Attention注意力機制,不僅降低了模型的參數量和計算量,而且模型的特征提取能力也得到提升;在降低模型計算量的基礎上,使模型更加關注火焰的特征提取,準確率也提升了3.39百分點。
為了進一步驗證本文提出的基于Fire-MCANet的火焰檢測模型的檢測性能,將模型與DenseNet[12]、Swin Transformer[13]、Faster R-CNN[14]、ConvNeXt等主流目標檢測模型進行對比實驗。采用指標Accuracy、Precision和Recall對每個模型進行評估,基于Fire-MCANet的火焰檢測模型的計算量和參數量有了大幅度的下降,同時準確率相比其他網絡模型有很大程度的提高,各模型的實驗結果對比如表3所示。
實驗表明,本文提出的基于Fire-MCANet的火焰檢測模型,不僅可以大幅度降低模型的參數量和計算量,而且能夠提升檢測的準確率和精確率。DenseNet模型的檢測精確率相對較低。Swin Transformer模型的檢測準確率相對較高,但是檢測精確率和召回率不能滿足應用要求。Faster R-CNN 和ConvNeXt模型在火焰檢測中性能表現相對較好,但是各方面的指標都有提升空間。Fire-MCANet模型的參數量和計算量都大幅度降低,同時檢測準確率高達95.75%。
4 結論(Conclusion)
本文通過深度學習的方法,實現在提高準確率的同時,降低模型的參數量和計算量,提高模型的整體性能。對模型的改進主要是通過MCA模塊中大卷積核獲取更大的感受野;通過MCANet Block整體提升模型感受野,同時有效地降低了模型的參數量;使用CA注意力機制讓模型關注到不同位置的信息,從而更好地捕捉到空間位置之間的關系和通道位置信息。未來,需要進一步優化模型,提高模型對小目標的檢測性能,并進一步提高模型在復雜場景下的檢測速度和精度。
參考文獻(References)
[1] 劉濱,劉春,邵必飛,等. 基于增強支持向量機的電力隧道多狀態全過程監控方法[J]. 計算技術與自動化,2023,42 (4):41-46.
[2] 劉偉,謝林柏,彭力. 一種改進的增量型隨機權神經網絡及應用[J]. 計算機與數字工程,2023,51(7):1681-1686.
[3] 馬曉樂,王志海,胡紹海. 基于多形態學成分分析的圖像融合[J]. 同濟大學學報(自然科學版),2024,52(1):10-17.
[4] 梁金幸,趙鑒福,周亞同,等. 基于改進YOLOv5s網絡模型的火災圖像識別方法 [J]. 傳感器與微系統,2024,43(1):157-161.
[5] 馬慶祿,馬戀,孔國英,等. 基于紅外熱成像的隧道火焰檢測技術研究[J]. 火災科學,2022,31(4):244-251.
[6] HOSSEINI A,HASHEMZADEH M,FARAJZADEH N.UFS-Net:a unified flame and smoke detection method forearly detection of fire in video surveillance applications usingCNNs[J]. Journal of computational science,2022,61:101638.
[7] LIU Z,MAO H Z,WU C Y,et al. A ConvNet for the2020s[C]∥IEEE. Proceedings of the IEEE:2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway:IEEE,2022:11966-11976.
[8] 凡遵林,王浩,管乃洋,等. 單幀紅外圖像弱小目標檢測研究綜述[J]. 紅外技術,2023,45(11):1133-1140.
[9] LI Y Z,YUAN Y. Convergence analysis of two-layer neuralnetworks with ReLU activation[C]∥Proceedings of the31st International Conference on Neural Information ProcessingSystems. New York:ACM,2017:597-607.
[10] KRIZHEVSKY A,SUTSKEVER I,HINTON G E. ImageNetclassification with deep convolutional neural networks[J]. Communications of the ACM,2017,60(6):84-90.
[11] ZHANG Z L,JIN Q Y,WANG L N,et al. Video-basedfire smoke detection using temporal-spatial saliency features[J]. Procedia computer science,2022,198(C):493-498.
[12] HUANG G,LIU Z,VAN DER MAATEN L,et al. Denselyconnected convolutional networks[C]∥IEEE. Proceedings ofthe IEEE:2017 IEEE Conference on Computer Vision andPattern Recognition. Piscataway:IEEE,2017:2261-2269.
[13] LIU Z,LIN Y T,CAO Y,et al. Swin Transformer:hierarchicalVision Transformer using Shifted Windows[C]∥IEEE. Proceedings of the IEEE:2021 IEEE/CVF InternationalConference on Computer Vision. Piscataway:IEEE,2021:9992-10002.
[14] REN S Q,HE K M,GIRSHICK R,et al. Faster R-CNN:towards real-time object detection with region proposalnetworks[J]. IEEE Transactions on pattern analysis andmachine intelligence,2017,39(6):1137-1149.
作者簡介:
祝巧巧(1998-),女,碩士生。研究領域:數字圖像處理,目標檢測。
嚴云洋(1967-),男,博士,教授。研究領域:數字圖像處理,模式識別。本文通信作者。
冷志超(1998-),男,碩士生。研究領域:數字圖像處理,目標檢測。
董 可(1999-),男,碩士生。研究領域:數字圖像處理,目標檢測。
葉 翔(1998-),男,碩士生。研究領域:數字圖像處理,目標檢測。
王盤龍(2000-),男,碩士生。研究領域:數字圖像處理,目標檢測。