基于靜態(tài)特征和動態(tài)行為的火災(zāi)檢測模型*

孫婷婷

(1.山東省船舶控制工程與智能系統(tǒng)工程技術(shù)研究中心，山東 榮成 264300；2.威海海洋職業(yè)學院，山東 榮成 264300)

0 引言

火災(zāi)是1種頻繁發(fā)生而又損失慘重的災(zāi)難,一直是人們極力關(guān)注而又要求預(yù)防、遏制的災(zāi)禍[1]?；馂?zāi)發(fā)生過程中會伴隨著煙霧和火焰的產(chǎn)生[2]。隨著圖像處理技術(shù)的快速發(fā)展，具有檢測范圍廣并且能快速準確地定位著火點的視頻火焰檢測技術(shù)應(yīng)用越來越廣泛。傳統(tǒng)的基于視頻檢測火災(zāi)的研究大多采取人工設(shè)計的特征來實現(xiàn)火焰識別[3-4]。Foggia等[5]采用顏色、形態(tài)變化、運動來對各個區(qū)域進行判別，根據(jù)權(quán)重的投票策略進行綜合決策，該方法局限性在于對自身運動的視覺系統(tǒng)不適用；劉小虎等[6]采用改進的Soble邊緣檢測算法，選取顏色B分量的邊緣梯度作為判斷火焰和干擾圖像的依據(jù)；李巨虎等[7]在顏色特征的基礎(chǔ)上，提取圖像空域和頻域的紋理特征，該算法能夠提取火焰局部的微紋理信息，表現(xiàn)更好的魯棒性。

Muhammad等[8]提出1種能夠檢測視頻火災(zāi)的改進的GoogleNet卷積神經(jīng)網(wǎng)絡(luò)，但在處理視頻圖像時，時間開銷過多；Zhang等[9]采用Faster RCNN檢測森林火災(zāi)煙霧，避免了傳統(tǒng)視頻煙霧檢測方法中復(fù)雜的人工特征提取過程，為解決訓(xùn)練數(shù)據(jù)的不足，在森林背景中加入真實煙霧或模擬煙霧生成合成煙霧圖像；衛(wèi)鑫等[10]提出1種深度卷積集成式長短期記憶網(wǎng)絡(luò)(DC-ILSTM)模型,將其運用到森林火災(zāi)探測中，檢測性能得到提高，但增加了數(shù)據(jù)處理及訓(xùn)練的成本。針對以上研究存在的問題，將深度學習的目標檢測算法Fatser RCNN和堆疊長短期記憶網(wǎng)絡(luò)ILSTM相結(jié)合，提出基于顏色特征引導(dǎo)的目標檢測和火焰面積隨時間變化動態(tài)行為的火災(zāi)檢測策略，能夠?qū)崟r且準確地檢測定位火源。

1 改進Faster RCNN的火災(zāi)特征提取

火焰和煙霧具有特定的顏色特征，可以根據(jù)顏色的分布特征構(gòu)建火災(zāi)區(qū)域篩選規(guī)則。采用比較寬泛的RGB顏色模型使錨邊界框僅在感興趣的區(qū)域生成的方法對Faster RCNN的核心RPN區(qū)域進行改進。該模型能夠覆蓋大多數(shù)火災(zāi)情況下的火災(zāi)和煙霧特征。其疑似火災(zāi)區(qū)域判決條件如式(1)所示：

(1)

式中：M(x,y)為生成火焰和煙霧顏色腌膜；R(x,y),G(x,y),B(x,y)分別為RGB3通道的圖像值；TR為設(shè)置在R通道上面的閾值。

改進的基于Faster RCNN顏色特征和空間特征的模型如圖1所示。采用目標檢測模型為Faster RCNN[11]，卷積網(wǎng)絡(luò)結(jié)構(gòu)為VGG16。VGG16卷積網(wǎng)絡(luò)的最后1層，邊界框的坐標投影到14×14×512激活圖上提取空間特征。Faster RCNN中的RPN區(qū)域提供圖像中火焰、煙霧和非火災(zāi)區(qū)域的錨邊界框。對于投影區(qū)域，通過對每個特征映射取加權(quán)平均全局平均池化層GAP方法提取512維空間特征向量。

圖1 改進的火災(zāi)特征提取模型Fig.1 Improved fire characteristics extraction model

2 構(gòu)建堆疊長短期記憶網(wǎng)絡(luò)(ILSTM)火災(zāi)動態(tài)行為識別

長短期記憶網(wǎng)絡(luò)LSTM(Long Short-Term Memory)用于解決輸入和輸出時間關(guān)聯(lián)的問題[12]。LSTM的基本單元如圖2所示。

圖2 LSTM的基本單元Fig.2 Basic units of LSTM

遺忘門控制忘記的信息，如式(2)所示：

ft=σ(Wfxt+Ufht-1+bf)

(2)

式中：ft為遺忘門；Wf為遺忘門輸入層的參數(shù)矩陣；xt為t時刻的輸入信息；Uf為遺忘門狀態(tài)轉(zhuǎn)移參數(shù)矩陣；bf為遺忘門偏置向量；σ為sigmoid函數(shù)；ht-1為t時刻前1個時刻隱藏層的輸出信息。

輸入門控制保存新信息，如式(3)所示：

it=σ(Wixt+Uiht-1+bi)

(3)

式中：it為輸入門的激活值；Wi為輸入門輸入層的參數(shù)矩陣；Ui為輸入門狀態(tài)轉(zhuǎn)移參數(shù)矩陣；bi為輸入門偏置向量。

輸出門用來控制輸出信息，如式(4)所示：

ot=σ(Woxt+Uoht-1+bo)

(4)

式中：ot為輸出門的信息；Wo為輸出門的參數(shù)矩陣；Uo為輸出門狀態(tài)轉(zhuǎn)移參數(shù)矩陣；bo為輸出門偏置向量。

在LSTM中對目標檢測相應(yīng)的邊界框內(nèi)的空間特征進行時間上的累積，獲取火災(zāi)的短期動態(tài)特性進而判斷連續(xù)框是否為火災(zāi)。LSTM隱藏層網(wǎng)絡(luò)由2層組成ILSTM堆疊網(wǎng)絡(luò)，ILSTM中隱藏層數(shù)量由實驗確定。

3 基于Faster RCNN-ILSTM網(wǎng)絡(luò)的火災(zāi)識別算法

基于Faster RCNN-ILSTM網(wǎng)絡(luò)的火災(zāi)識別算法如圖3所示。

圖3 火災(zāi)識別算法Fig.3 Fire identification algorithm

1)火災(zāi)面積變化動態(tài)特征

原圖經(jīng)過特征圖的映射后，會產(chǎn)生將近300個錨定框。用四維向量(x,y,w,h)表示框的中心點坐標和寬高。候選框、預(yù)測框和真實邊界框的幾何形狀如圖4所示。

圖4 候選框、預(yù)測框和真實邊界框的幾何關(guān)系Fig.4 Geometric relationship among candidate box,prediction box and real boundary box

預(yù)測框G和真實框R與候選框A之間的平移量以及縮放尺度因子關(guān)系如式(5)所示：

(5)

則疑似火災(zāi)區(qū)域的面積如式(6)所示：

(6)

式中：Sarea為疑似火災(zāi)區(qū)域的面積。

為減少預(yù)測值與真實值之間的差距，定義損失函數(shù)如式(7)所示：

(7)

2)融合決策—最大投票決策

將基于ILSTM短期決策結(jié)果累積起來，采用多數(shù)投票的方法決策火災(zāi)長期動態(tài)行為。在給定投票時間段內(nèi)，最大投票決策計算方法如式(8)所示：

(8)

式中：F為投票計算結(jié)果；Nfire和Nno-fire分別表示火災(zāi)和非火災(zāi)決策的數(shù)量。

4 實驗與結(jié)果分析

4.1 實驗環(huán)境與配置

硬件配置采用Intel酷睿i7 8700F處理器，操作系統(tǒng)為windows 10版本，內(nèi)存為8GB，運行環(huán)境為python3.7的pycharm，使用keras框架，包含CNN(VGG-16)，F(xiàn)aster RCNN和LSTM。

4.2 實驗數(shù)據(jù)集

實驗采用的數(shù)據(jù)集來自于薩勒諾大學研究室(http://mivia.unisa.it)、意大利摩德納大學(http://imagelab.ing.unimoer.it/visor/)、中國消防科學國家重點實驗室(http://smoke.ustc.edu.cn)以及網(wǎng)絡(luò)采集的圖片和視頻。該數(shù)據(jù)集能夠較好地體現(xiàn)數(shù)據(jù)的多樣性。

4.3 實驗評價標準

實驗采用A，P，R和MAP等指標進行網(wǎng)絡(luò)性能的衡量[13]。公式如(9)～(12)所示：

(9)

(10)

(11)

(12)

式中：A為準確率；P為精準率；R為召回率；MAP為均值平均精度；TP為實際正類且預(yù)測正類；FP為實際負類但預(yù)測正類；TN為實際負類且預(yù)測負類；FN為實際正類預(yù)測負類。

4.4 實驗結(jié)果與分析

4.4.1 改進的Faster RCNN算法準確率對比

Faster RCNN采用靜態(tài)圖像作為訓(xùn)練數(shù)據(jù)。通過對靜態(tài)圖像的翻轉(zhuǎn)、平移、拉伸、鏡像等數(shù)據(jù)增廣技術(shù)使得靜態(tài)圖像的數(shù)據(jù)集擴充到43 000張靜態(tài)圖像。其中75%用于訓(xùn)練，15%用于驗證，10%用于測試數(shù)據(jù)。經(jīng)過20 000次迭代訓(xùn)練之后，2種模型均達到收斂。

Faster RCNN的性能是通過平均檢測精度MAP來測量的，與原Faster RCNN算法性能對比見表1。改進的Faster RCNN精度較高，原因在于采用顏色特征引導(dǎo)的丟錨策略能強化對火焰和煙霧的敏感，從而能夠提高平均檢測精度。

表1 各種算法性能對比Table 1 Comparison on performance of various algorithms

4.4.2 ILSTM短期決策仿真

云、煙囪煙、照明燈等有幾種假陽性檢測，需要結(jié)合時間特性進行檢測。從數(shù)據(jù)集篩選150個火災(zāi)視頻和150個非火災(zāi)的視頻片段。為探究不同ILSTM結(jié)構(gòu)對火災(zāi)檢測結(jié)果的影響，設(shè)置輸入層特征維數(shù)為512，設(shè)置學習率為0.001，設(shè)置權(quán)重衰減0.000 4，設(shè)置丟棄率為0.5，改變ILSTM層數(shù)以及隱藏單元(m)的個數(shù)。經(jīng)過300輪訓(xùn)練后，不同ILSTM結(jié)構(gòu)下火焰檢測的結(jié)果如圖5所示。

圖5 不同ILSTM結(jié)構(gòu)以及不同訓(xùn)練次數(shù)下火災(zāi)檢測的結(jié)果Fig.5 Fire detection results under different LSTM structures and different training times

綜合以上實驗結(jié)果可得，最優(yōu)方案為：LSTM結(jié)構(gòu)設(shè)置為512個隱藏層單元，進行140輪訓(xùn)練，火焰檢測的最高精確率能達到 94.5%，查全率最高達到94.7%。

為進一步驗證該模型的性能，取火災(zāi)視頻做短期決策，將其與文獻[14-15]的算法進行對比，其精確率、召回率、測試時間結(jié)果見表2。

表2 與其他文獻算法進行短期決策對比Table 2 Comparison of short-term decision with other literature algorithms

本文算法在精準率和查全率上均優(yōu)于文獻[14]的算法，與文獻[15]的算法相較而言，雖然在查全率上有小幅下降，但精準率有大幅提升，從測試時間上看，由于采用顏色特征引導(dǎo)的丟錨策略以及對特征層降維加快數(shù)據(jù)處理，測試時間相對其他算法較快，綜合考慮，本文算法的綜合檢測性能最佳。

4.4.3 火災(zāi)動態(tài)行為長期決策

為降低該模型的漏檢率，收集了36段超過3 min的片段，采用長期決策檢測火災(zāi)的動態(tài)行為。設(shè)置投票時間Tvot=1 min。電氣火災(zāi)中火焰和煙霧的狀態(tài)會不斷的發(fā)生改變，通過長期決策可捕捉到火災(zāi)的動態(tài)行為過程，如圖6所示。

圖6 電氣火災(zāi)視頻檢測Fig.6 Video detection of electrical fire

通過對比36個片段的平均準確率A，可以看出較長的時間段通常能夠提供更好的準確性，因為在多數(shù)投票中結(jié)合了更多的ILSTM決策。決策結(jié)果見表3。但是隨著長期決策周期增長會帶來時間復(fù)雜度的增加，為不影響火災(zāi)實時性的判決，長期決策時間不宜超過1 min。

表3 采用多數(shù)投票表決后最終決策的準確性Table 3 Accuracy of final decision after majority vote

5 結(jié)論

1)針對Faster RCNN模型初始錨數(shù)量較多，采用顏色特征引導(dǎo)的丟錨方法和空間特征降維，顯著減少生成錨框的數(shù)量并快速準確的定位可疑火災(zāi)區(qū)域，使得火災(zāi)檢測效率提高到91.3%。

2)為降低假陽性的誤測，計算疑似火災(zāi)區(qū)域的面積，采取ILSTM結(jié)構(gòu)檢測火災(zāi)的動態(tài)行為。結(jié)果表明，ILSTM對連續(xù)60幀中的特征進行累加，能實現(xiàn)2 s內(nèi)火災(zāi)有效檢測。

3)為降低模型的漏檢率，采用多數(shù)投票法進行1 min長期決策，準確率提高到97.92%。該方法具有很高的火災(zāi)檢測精度，從而減少誤報。此外，還構(gòu)建1個包含靜態(tài)圖像和視頻片段的大型火災(zāi)數(shù)據(jù)集，可增強來自知名公共數(shù)據(jù)集的數(shù)據(jù)。