電動汽車充電站火災多目標實時檢測與預警方法

張世玉, 高德欣

(青島科技大學自動化與電子工程學院, 青島 266061)

新能源汽車極大地改變了全球汽車行業發展,是未來汽車行業發展的主要方向[1]。截至2022年6月底,中國新能源汽車保有量達1 001×104輛。電動汽車充電引發火災事故呈現逐年高發態勢,充電樁和車載電池在運行過程中存在線路過載、短路、接觸不良、充電操作不當和高溫條件下散熱故障等問題,導致電池溫度過高引發火災事故。隨著新能源汽車進一步市場化,充電安全問題成為新能源汽車推廣的主要障礙[2]。

早期基于火焰和煙霧的紋理、小波、顏色、邊緣方向直方圖等靜態特征提出火災煙霧檢測方法[3-6],此類算法存在計算量大、難以實現實時檢測的問題。近年來,深度學習算法逐漸應用于火災檢測中[7-10]。輕量級YOLO網絡模型易于部署在低算力平臺,成為目前研究的主流方向[11-14]。YOLOv4-Tiny是輕量化模型,在農作物檢測[15-18]、工業電子器件檢測[19]等領域得到廣泛的應用。Lin等[20]提出了一種改進的YOLOv4-Tiny目標檢測方法,根據檢測目標特點,在原算法中加入K-means聚類算法和通道注意力機制模塊(SE),取得良好的檢測效果。盧迪等[21]提出了一種改進YOLOv4-Tiny的手勢識別算法,引入空間金字塔池化(SPP)模塊和K-means++算法,部署在安卓(Android)移動端,實現了移動端實時的手勢檢測與識別,對人機交互的發展有很大的研究意義。

鑒于此,針對火焰煙霧顏色和形狀特征具有復雜多變的特點,提出一種基于改進YOLOv4-Tiny-CBAM電動汽車充電站火焰煙霧多目標實時檢測與預警算法,在原算法中引入K-means聚類算法[22]、遺傳算法[23](genetic algorithm,GA)和卷積注意力機制(convolutional block attention module, CBAM)模塊[24-26],通過火災和煙霧數據集訓練改進神經網絡模型,基于充電站已有的監控設備實時檢測火災信息,對充電設備實施動態預警監測。選用輕量級YOLOv4-Tiny模型進行實時目標檢測,在保證檢測精度的同時,縮短檢測時間,提升檢測效率;原算法中引入K-means-GA聚類算法和CBAM模塊,加強火焰和煙霧特征提取能力,提升訓練效率和檢測結果的精度,改善模型的泛化能力和魯棒性;將電動汽車充電站監控視頻作為神經網絡模型檢測輸入視頻源,以實現對多個充電站同時監控,縮短火災應急響應時間。該網絡模型可部署在低算力平臺如巡檢機器人等,在基于視頻流的移動端目標檢測應用中,具有良好的應用前景。

1 火災檢測模型設計

1.1 基于YOLOv4-Tiny火災檢測模型設計

由于目標檢測算法在消防應用中需滿足在低算力移動平臺實時檢測的要求,因此需選用輕量化模型。YOLOv4-Tiny是YOLOv4的簡化版本,以輸入圖像大小為608×608為例,圖1為YOLOv4-Tiny的網絡結構圖。

Max Pooling表示最大值池化;Conv表示卷積;DOWNSAMPLE表示下采樣;CBL表示卷積模塊;Concat表示連接;CSP表示CSP網絡結構,其主干網絡高度簡化,使用特征金字塔網絡進行32次下采樣和16次下采樣得到兩種不同大小的特征圖,通過回歸和分類算法實現目標的檢測和定位,提高檢測速度圖1 YOLOv4-Tiny網絡結構示意圖Fig.1 YOLOv4-Tiny network structure schematic

YOLOv4-Tiny的主干網絡由堆疊的CBL結構和Resblock結構組成,與Darknet53相比,主要變化是替換Mish函數為Leaky-Relu激活函數,簡化模型參數,提高計算速度。Resblock結構是CBL模塊和CSP結構的組合,為了限制模型大小和參數個數,CSP結構只通過了一次殘差結構的堆疊。在預測方面,YOLOv4-Tiny采用YOLOv4預測模塊,使用K-means聚類算法找到錨框,考慮尺度、距離、懲罰項和錨點之間的重疊率對損失函數的影響,引入CIOU(complete-IoU)來代替交并比(IOU),目標框回歸變得更加穩定,如圖2所示。

blue為藍色;red為紅色;greeen為綠色;c為真實框和預測框兩框中最小的邊界矩形的對角線長度;d為真實框的中點和預測框中點的直線距離;A表示檢測區域(預測框);B表示目標區域(真實框);C表示包含A和B的最小區域;D表示A和B重合區域圖2 CIOU示意圖Fig.2 CIOU diagram

CIOU損失函數的計算公式為

(1)

式(1)中:dgt為真實框中點的位置;α為注意力機制中設定的權重系數;v為真實框和預測框兩框的縱橫比距離;d為預測框(A)和真實框(B)的中心點的歐式距離;c為能夠同時包含預測框和真實框的最小包閉區域(C)的對角線距離;α和v的表達式分別為

(2)

(3)

式(3)中:wgt、hgt分別為真實框的寬度和高度,w、h分別為預測框的寬度和高度。

在YOLOv4-Tiny基礎上進行改進:首先,原網絡中錨框值不適用于火焰煙霧目標,需要重新計算;其次,原網絡模型使用了大量的最大池化并減少了卷積層的使用,導致模型的主干特征提取中高級語義信息嚴重丟失,小目標的特征點在網絡特征提取過程中容易被跳過,導致檢測模型對火災發生初期的小火焰煙霧目標不敏感。針對這兩個問題,在原網絡模型中引入K-means-GA聚類算法重新篩選錨框,在主干特征提取層和加強特征融合層中引入CBAM模塊,提升火焰煙霧特征提取能力以提高模型的準確率,同時保持較高的檢測速度,改進后的網絡結構示意圖如圖3所示。

DarknetConv2D_BN_Leaky為卷積層-批歸一化層-Leaky激活層這三層網絡結構;Resblock_body通常由多個Residual Block組成,每個Residual Block 包含多個層(卷積層、批歸一化層和激活函數層等),通過跨層連接將輸入特征與輸出特征相加,從而實現信息的殘差傳遞;CBAM為CBAM注意力機制;YOLO Head為YOLOv4-tiny的預測頭;Conv+Upsampling為卷積層和上采樣層這兩個層;Input為輸入的特征圖圖3 改進YOLOv4-Tiny網絡結構圖Fig.3 Improved YOLOv4-Tiny network structure diagram

1.2 基于K-means-GA的錨框優化

在目標檢測任務中,首先在圖片上生成一系列錨框,將這些錨框當成可能的候選區域,模型對這些候選區域是否包含物體進行預測。檢測不規則物體時,微調模型的錨框有助于提升檢測性能。電動汽車充電站發生火災時,火焰和煙霧在短時間內受外界因素影響導致形狀復雜多變,不宜使用原錨框參數值,因此需使用K-means算法重新對數據集進行聚類,得到基于火焰煙霧數據集的錨框值并用于檢測。

K-means算法的目的是將對象劃分為使同一簇內對象之間的距離最小化的簇,以識別相似的對象,如圖4所示。但其缺乏選擇合適初始種子的能力,隨機選擇初始種子可能會導致局部最優解遠遠低于全局最優值,即在同一數據集上運行的不同初始種子可能會產生不同的分區結果,導致分類不準確。

不同顏色的點表示錨框的大小;×表示聚類中心圖4 K-means示意圖Fig.4 K-means diagram

為了克服上述限制,避免K-means聚類的過早收斂,采用GA算法作為優化工具,將GA與K-means均值聚類過程合并,在K-means聚類過程的第一步中進化初始種子,提高指定k(聚類簇數)周圍的分類質量。

GA算法是一種具有全局搜索能力的隨機算法,主要步驟是將待解空間中的可能值編碼為染色體,建立初始種群,然后按適應度(fit)進行遺傳選擇,按一定概率進行交叉和變異。循環執行遺傳選擇、交叉、變異操作,直到滿足結束條件。

(4)

式(4)中:JB為符合條件的個體;JE為全部個體。

交叉和變異操作會產生新的個體,但種群規模應當始終控制為固定大小m,遺傳選擇操作首先計算當前所有個體的適應度fitness,將適應度按降序進行排序,然后按照以下策略進行遺傳選擇。

(1)最優個體保留。適應度前10%的個體直接選入下一代。最優個體的保留確保了在進化過程中種群已得到的最優解不會被淘汰,使得進化不會發生倒退。

(2)剩余個體輪盤賭。對剩余的個體使用輪盤賭方式的方式決定是否能進入下一代。剩余個體i對應的適應度為fi,對應的輪盤賭概率ρi可表示為

(5)

式(5)中:ui為符合條件的個體;u為全部個體。

(3)循環考察剩余個體,產生隨機數r,若ρix=ρi,則將個體ix選入下一代。如此循環,直到下一代種群的規模達到預設m。

使用改進K-means-GA聚類算法對火焰煙霧數據集進行重新聚類,fit=0.752 6,錨框(anchor)參數如表1所示。

表1 anchor參數值Table 1 Parameter value of anchor

1.3 基于CBAM算法的特征提取網絡優化

注意力機制是深度學習算法中常用優化算法,可以分為通道注意力機制(SENet、ECANet)、空間注意力機制(SAM)、以及二者的結合體卷積注意力機制(CBAM)。注意力機制通過給不同部分的特征圖賦予權重或硬性選擇部分特征圖,抑制無用信息,以達到選擇更優特征的目的。

CBAM由輸入模塊F∈RC×H×W、通道注意力模塊Mc∈RC×1×1、空間注意力模塊Ms∈R1×H×W和輸出模塊F2組成,如圖5所示。

MaxPool為最大池化層;AvgPool為平均池化層;Shared MLP為多層感知機;Conv Layer為卷積層圖5 混合注意力機制Fig.5 Convolutional block attention module

CBAM用函數形式可表示為

F′1=Mc(F)?F

(6)

式(6)中:F′1為通道重定義特征,即特征圖已經CAM注意力模塊后生成的一種特征圖;?為卷積運算。

F2=Ms(F′1)?F′1

(7)

CBAM將空間注意力和通道注意力結合起來,實現雙機制結合。注意力模塊不再采用單一的最大池化或平均池化,而是采用最大池化和平均池化的相加或堆疊,即通道注意力模塊采用相加,空間注意力模塊采用堆疊方式,能顯著提高圖像分類和目標檢測的準確率。

由于將注意力機制模塊放置在主干網絡會導致網絡的預訓練權重無法用且降低預測準確性,在主干網絡提取出來的兩個有效特征層上增加CBAM模塊,同時對上采樣后的結果增加CBAM模塊,如圖6所示。CBAM模塊是一個輕量級的通用模塊,包含CAM和SAM兩個獨立的子模塊,分別進行通道與空間上的處理,能夠節約參數和計算力,保證其能夠作為即插即用的模塊集成到卷積神經網絡架構中,改善特征提取能力,提升卷積神經網絡的性能。

CSPDarknet53-tiny為改進后的YOLOv4-Tiny的特征提取網絡;FPN為特征金字塔網絡,其能夠對輸入的多尺度特征圖進行特征融合,并且產生新的特征圖圖6 特征提取網絡改進示意圖Fig.6 Schematic diagram of feature extraction network improvement

2 實驗平臺構建

2.1 實驗數據集構建

電動汽車發生火災時,初期燃燒溫度可達500 ℃以上,隨著高溫煙氣持續聚集,有限空間內部溫度將急劇上升,形成擴散趨勢,橫向蔓延至周邊車輛及其他可燃物。電氣設備燃燒時會產生大量煙霧,部分煙霧與火焰相融合影響火焰的亮度和形狀,火焰和煙霧易受外界因素影響導致特征復雜多變。因此,在數據集選取和構建過程中,要擴大數據集圖片數量,盡可能多的標注不同狀態下的動態目標特征信息,提升檢測精確度。

數據集在構建過程中,為保證圖片質量,選取圖片的寬度或高度應不小于600像素,去除重復、模糊、光污染的圖像,最終得到3 371幅圖像,部分數據集如圖7所示。LabelImg軟件用于對實驗圖像中的火焰煙霧圖進行標注,生成包含火焰和煙霧坐標的XML文件,并按照VOC數據集格式進行劃分,訓練集、驗證集和驗證集劃分比例為8∶1∶1。

2.2 實驗環境配置

實驗環境為win10系統,CPU為Intel i7-11800H,ROM為16 GB,GPU為RTX3060(6 GB),模型均使用PyTorch編寫,具體配置如表2所示。訓練參數設置:置信度(confident)為0.5,訓練輪數(epoch)為300,前100個epoch的學習率為1×10-3,訓練批次(batch size)為8;后200個epochs的學習率為1×10-5,batch size為4,輸入圖像尺寸統一設置為416×416。

表2 本地計算機的基本配置Table 2 Basic configuration of the local computer

電動汽車充電站多目標監測主要可以分為模型搭建,模型訓練和實時檢測3個階段,依據檢測目標對YOLOv4-Tiny網絡模型進行改進,完成網絡模型搭建;訓練集用于模型訓練;測試集用于對火災煙霧視頻進行檢測,具體流程如圖8所示。

圖8 實驗流程圖Fig.8 Experimental flow chart

2.3 模型性能評價指標

在二元分類問題中,根據樣本的真實類別和模型的預測類別的組合,可以分為4類:真正例(TP)、假正例(FP)、真負例(TN)、假負例(FN),如圖9所示。機器學習(ML),自然語言處理(NLP),信息檢索(IR)等領域,評估(Evaluation)是一個必要的工作,而其評價指標包含AP、mAP、Pr、Re和F1-Measure(F1),其中,Pr為所有預測為陽性的樣本中真陽性樣本的比例;Re為在真陽性樣本中預測為陽性的樣本的比例;每個類的AP為Pr和Re形成的Pr-Re曲線下的面積;mAP為所有類的AP值的平均值;F1為基于Pr和Re的調和平均值。

圖9 評估參數示意圖Fig.9 Schematic diagram of evaluation parameters

3 實驗驗證與分析

3.1 實驗結果分析

為驗證YOLOv4-Tiny-CBAM模型檢測性能,隨機篩選400張圖片在該改進算法進行測試評估,實驗測試結果如表3、圖10所示。損失曲線顯示了訓練期間訓練集上的誤差,在前10次訓練迭代期間,誤差急劇下降。迭代10次之后,損失曲線趨向于穩定,最終誤差在0.05附近波動。測試結果數據如表3所示。

表3 YOLOv4-Tiny-CBAM測試結果Table 3 YOLOv4-Tiny-CBAM test results

trainloss為訓練集損失函數值;val loss為驗證集損失函數值;smooth train loss、smooth val loss分別為將訓練集和驗證集的損失函數值平滑化,用于保證目標圖像的梯度不能過大,進而保證看起來更加平滑;class為目標檢測識別出來的目標類別;score_threhold為極大值抑制的閾值,當預測框的置信度小于score_threhold時會被直接去除掉,從而防止重復框;smoke F1為煙的 F1值;fire F1指的是火的 F1值圖10 YOLOv4-Tiny-CBAM測試結果示意圖Fig.10 Schematic diagram of YOLOV4-Tiny-CBAM test results

為了驗證上述改進模型的實時檢測性能,選取部分車輛著火圖片至YOLOv4-Tiny-CBAM算法模型進行實時檢測,檢測結果如圖11所示,火焰和煙霧預測框貼合目標所在區域,煙霧和單火焰目標預測準確性均大于0.8,多火焰目標準確性均大于0.7,達到了實驗預期要求。

圖11 模擬監控視頻檢測結果圖Fig.11 Analog surveillance video detection results chart

選取某電動汽車充電站著火視頻作為模擬監控設備視頻輸入YOLOv4-Tiny-CBAM算法模型進行實時檢測,檢測結果如圖11所示,該模型檢測速度足以進行43 FPS(video)的連續實時檢測,具有較高的精確率和較強的連續跟蹤能力,可應用于遠程動態視頻監控,滿足對電動汽車充電站實現實時監控需求。

3.2 模型對比分析

為了驗證提出的YOLOv4-Tiny-CBAM模型的優越性,將其與Faster R-CNN(faster-regions with CNN features)、SSD(single shot multibox detector)、YOLOv4和YOLOv4-Tiny算法進行比較分析。實驗過程中選取同一份測試數據集且各項參數保持相同,不同模型評價指標參數如表4所示。

表4 不同模型評價指標參數對比Table 4 Comparison of evaluation index parameters of different models

從表4中可以得出,YOLOv4-Tiny模型的參數量為6.057 M,是原YOLOv4模型參數量(Pa)的9.41%,網絡模型得到大幅度精簡,mAP值下降4.75%。改進后的YOLOv4-Tiny-CBAM模型與原YOLOv4-Tiny模型相比,模型參數量增加1.42%,mAP值提升7.33%,火焰目標檢測AP值提升9.36%最為顯著。實驗結果表明,K-means-GA聚類算法和CBAM算法對煙霧特征提取具有優化作用。

選取部分電動汽車著火圖片輸入至YOLOv4-Tiny-CBAM、YOLOv4和Faster R-CNN模型進行橫向對比,圖片輸入尺寸為608×608,confidence設置為0.5,檢測結果如圖12所示?？梢钥闯?改進后的算法在檢測精度上全面領先于YOLOv4算法,YOLOv4算法中存在的漏檢問題得到了解決,如圖12(d)、圖12(f)、圖12(g)、圖12(i)所示。Faster R-CNN模型雖然具有極高的檢測精度,但是存在誤檢行為,將綠色樹葉誤檢測為火焰如圖12(h)所示,與Faster R-CNN模型相比,提出的改進模型在精度上稍有下降,但在檢測速度上領先于Faster R-CNN模型,易于部署在移動平臺上實現實時檢測。

4 結論

(1)針對電動汽車充電站得安全監測與預警問題,提出一種輕量級目標檢測算法,實現了對電動汽車充電站這一復雜場景的實時火焰煙霧多目標檢測。經實驗對比分析表明,改進后的YOLOv4-Tiny-CBAM模型mAP為86.76%,模型參數量為6.143M,綜合性能優于當前流行的SSD模型、YOLOv4模型,以及具有ResNet 結構的Faster R-CNN模型,FPSvideo值為43,可應用于低算力移動端平臺實現實時火災檢測,有助于電動汽車充電站安全運行。

(2)今后工作可進行以下改進:首先根據電動汽車充電站火災特定場景構建數據集,增加電動汽車和充電樁著火圖片數量,提升火災場景復雜程度,提升檢測精度;進一步優化網絡模型,根據火焰和煙霧特征對CSPDarknet53-Tiny網絡進行通道修剪并引入先進的優化算法,提升檢測精度和召回率,使改進模型更符合特定場景火災檢測需求,提升檢測效率。