基于視覺的火災檢測研究

繆偉志 陸兆納 王俊龍 王焱

摘 要：為解決傳統傳感器在檢測火災的過程中受到環境、安裝距離等因素影響導致適應性差的缺點，本文基于視覺傳感器，通過視覺目標檢測技術對火災進行檢測，從而實現火災的預警。首先，為了提高輕量級的目標檢測網絡（You Only Look Once v4 Tiny， YOLOv4-Tiny）在檢測火災目標時的準確率，本文基于森林火災的數據集，運用二分K-Means聚類算法重新生成錨定框（Anchor Box）。然后，在傳統YOLOv4-Tiny網絡的基礎上通過增加大尺度預測結果的方式，降低漏檢率。最后，本文結合預訓練權重重新訓練火災檢測網絡，并在英偉達板卡上進行部署實驗。實驗結果表明，本文的火災檢測網絡在測試數據集上的準確率為97.81%，漏檢率為4.83%，與原始YOLOv4-Tiny相比，準確率提高了3.13%，漏檢率降低了6.44%，檢測速度達到了16幀/s，綜合性能良好，滿足火災檢測的需求。

關鍵詞：火災檢測;YOLOv4-Tiny;二分K-Means;錨定框;多尺度預測

中圖分類號：S762.2??? 文獻標識碼：A?? 文章編號：1006-8023（2022）01-0086-07

Fire Detection Research Based on Vision

MIAO Weizhi， LU Zhaona， WANG Junlong， WANG Yan

（School of Automotive Engineering， Nantong Institute of Technology， Nantong 226002， China）

Abstract：Aiming at the disadvantage of poor adaptability of traditional sensors due to factors such as environment and installation distance in the process of detecting fires， this paper detected the fire through visual target detection technology based on visual sensor， so as to realize fire warning. Firstly， the binary K-Means clustering algorithm was used to regenerate the Anchor Box to improve the detection accuracy of the lightweight target detection network （You Only Look Once v4 Tiny， YOLOv4-Tiny） according to dataset in this paper. Then， the large-scale prediction results were added on the basis of the traditional YOLOv4-Tiny network to reduce the missed detection rate. Finally， combined with the pre-training weights， fire detection network was retrained and deployed on NVIDIA board. The experimental results showed that the accuracy rate of the fire detection network in this paper was 97.81% and the missed detection rate was 4.83% on the test data set. The accuracy rate had increased by 3.13% and the missed detection rate had been reduced by 6.44% compared with the original YOLOv4-Tiny. The detection speed had reached 16 frames per second. The overall performance was good and met the needs of fire detection.

Keywords：Fire detection; YOLOv4-Tiny; binary K-Means; Anchor Box; multi-scale prediction

0? 引言

無論是森林火災還是室內火災都會帶來了巨大的損失，特別是在我國東北林區。如何及時準確地檢測火災的發生，并向相關人員發出預警信號，對于降低人民群眾的生命財產損失具有重要的意義。在火災檢測方面，傳統的傳感器通過火災產生的煙霧、溫度等特征檢測火災，該方法對火災產生的環境以及傳感器與火焰的距離都提出了較高的要求[1-2]。因此，該方法并不適用于各種場景下的火災檢測。隨著攝像頭的普及，通過視覺目標檢測技術檢測火災能夠有效克服傳統傳感器的缺陷，能夠運用于各種場景。

在利用視覺目標檢測技術實現檢測火災的過程中，主要分為2種方法。一種是通過手工提取圖像中火災目標的特征，再運用各種分類算法對提取的特征進行分類[3-4]。Horng等 [5]通過研究圖像中火災目標在HIS色彩空間上的特征實現火災的檢測;Treyin等 [6]通過研究圖像中火焰的特征實現火災的檢測;Chen等 [7]提出了一種基于多特征融合的火災檢測方法，該方法通過將高斯混合濾波與火焰顏色濾波相結合的方式實現火災檢測。上述這種通過手工提取特征，再結合分類算法的火災檢測算法在抗干擾方面表現較差，檢測準確率也得不到保證。另一種是基于深度學習的火災目標檢測算法[8-10]。與傳統手工提取特征的方法相比，深度學習在目標檢測領域具有抗干擾能力強、準確率高的優點。目前基于深度學習的目標檢測算法主要分為2類，一類是以R-CNN（Regions with CNN features）系列[12-14]為代表的兩階段的算法，該算法將目標檢測的過程分為2步，首先通過卷積神經網絡獲取可能包含目標的感興趣區域，然后再利用卷積神經網絡在這些感興趣區域上回歸出目標的位置;另一類是以YOLO（You Only Look Once） [15-17]、SSD（Single Shot MultiBox Detector）[18-20]系列為代表的單階段的算法，該算法不產生可能包含目標的感興趣區域，因此在檢測速度上遠遠優于上述兩階段的算法，在實際工程中得到廣泛的運用。Bochkovskiy等 [21]于2020年提出的YOLOv4在眾多單階段的算法中表現出良好的準確率和實時性。YOLOv4-Tiny作為YOLOv4的一種輕量級網絡完美地繼承了YOLOv4的優點，并且由于其參數數量較小，更適合在各種嵌入式設備上進行部署。

綜合上述分析，本文以YOLOv4-Tiny網絡作為基礎，結合火災發生的特點，通過改進YOLOv4-Tiny的網絡結構搭建火災檢測網絡，并在嵌入式設備上進行部署實驗。

1 YOLOv4-Tiny基本結構

作為YOLOv4的輕量級版本，雖然YOLOv4-Tiny的網絡結構較小，但是完美地繼承了YOLOv4的優點，YOLOv4-Tiny網絡的結構如圖1所示。

在YOLOv4-Tiny網絡中主要分為2個部分，一部分為主干網絡，其主要作用是提取圖像中目標的特征;另一部分為FPN（Feature Pyramid Networks）網絡，其主要作用是對主干網絡中提取得到的2個有效特征層進行特征融合，最終輸出2個不同尺度的預測結果。在YOLOv4-Tiny的主干網絡中，使用CSPDarknet53_Tiny（Cross Stage Partial Network to Darknet53_tiny）的結構如圖2所示。與YOLOv4中的CSPDarknet（Cross Stage Partial Network to Darknet）結構相比，CSPDarknet53_Tiny將激活函數重新修改為Leaky ReLU，從而提高計算速度。CSPDarknet53_Tiny利用了傳統的殘差結構的思想，在傳統的殘差結構中再嵌入一個殘差結構，從而形成一個新的類似于殘差結構的網絡結構，使用這種CSPDarknet53_Tiny結構能夠有效提高特征提取的效果。假設輸入圖像的尺寸為（416，416，3），經過YOLOv4-Tiny的主干網絡提取特征后，最終的輸出結果的尺寸為（13，13，512）。在FPN網絡中，輸入為主干網絡的最后一層和倒數第二層的輸出結果，其尺寸分別為（13，13，512）和（26，26，256）。將（13，13，512）卷積后的結果再次進行卷積并進行上采樣操作后與FPN網絡的另一個輸入進行拼接，形成另一個中等尺度的輸出結果。至此，YOLOv4-Tiny網絡在13×13和26×26這2個尺度上產生預測結果，這2個預測結果的具體尺寸計算公式為：

Size=B×B×（nAnchor×（5+cn））。 （1）

式中：B為輸出尺寸大小，在YOLOv4-Tiny中為13和26; nAnchor為每個尺度上提前設置的錨定框（Anchor Box）的個數，在YOLOv4-Tiny中為每一尺寸的輸出結果配3個錨定框，因此，nAnchor=3; “5”表示在產生的預測框中將包含5個參數，具體為目標的位置參數xoffset、yoffset、w、h和目標種類的置信度c;cn為一共所需預測的目標種類的總數。

綜合上述分析可知，YOLOv4-Tiny最終輸出結果的尺寸分別為13×13×18和26×26×18。

在YOLOv4-Tiny完成預測后，通過使用非極大值抑制的策略篩選預測結果，從而提高預測精度，但是該預測結果并非直接對應目標在原始圖像中的原始位置，還需要對其進行解碼操作。在解碼的過程中，首先，需要對預測結果進行“重整”（reshape），reshape后的結果分別為13×13×3×6和26×26×3×6;然后，將每個格點加上對應的偏移量xoffset、yoffset，即可計算出預測框的中心坐標;最后，利用寬高比例w、h計算出最終預測框的長和寬，將最終的預測結果在原始圖像上繪制即可完成目標檢測。如圖2所示。

2 火災檢測網絡的搭建及改進

2.1 火災檢測網絡的搭建

分析可知，YOLOv4-Tiny保留了YOLO系列多尺度預測的思想，但是為了提高實時性，僅在中小尺度進行預測，從而導致了YOLOv4-Tiny漏檢率較高的缺點。為了提高火災檢測的性能，本文重新引入大尺度預測的結果，搭建的火災檢測網絡的主要結構如圖3所示。

在主干網絡中，使用YOLOv4-Tiny的主干網絡結構，但是在FPN網絡中，增加一個大尺寸的輸入，即將主干網絡在52×52這個尺度上的輸出作為FPN網絡的另一個輸入。將26×26這個尺度上的結果進行卷積和上采樣操作，并與52×52這個尺度進行拼接，形成一個新的輸出。由公式（1）可知，本文中的火災檢測網絡的3個輸出結果的尺寸分別為13×13×18、26×26×18和52×52×18。

2.2 基于二分K-Means的Anchor Box設計

根據分析可知，YOLOv4-Tiny在最終進行預測的過程中，在每個尺度的網絡上產生3個Anchor Box，根據本文搭建的火災檢測網絡需要在大、中、小3個尺度上進行預測，因此，需要9個Anchor Box。在原始的YOLO系列的算法中，使用K-Means聚類算法計算Anchor Box的大小，K-Means聚類算法能夠充分考慮數據集中真實目標框（ground truth）的大小，但是，K-Means聚類算法存在局部最優的缺點。針對上述缺點，本文基于二分K-Means聚類算法重新生成Anchor Box。在運用二分K-Means聚類算法生成Anchor Box的步驟如下。

（1） 將數據集中所有的數據初始化為一個簇，并將此簇分為2個簇。

（2） 以誤差平方和SSE作為聚類代價函數，篩選滿足聚類代價函數可分解的簇。

（3） 運用K-Means聚類算法將（2）中可分解的簇再分為2個簇。

（4） 重復上述步驟（2）和（3），直至得出最終的9個Anchor Box。

為了使得預測框與ground truth之間盡量重合，本文通過IOU計算聚類代價函數SSE（公式中用ESS表示），SSE的具體計算公式為：

ESS=∑ni=1（1-IOUi（b，g））2 。? （2）

式中，IOUi（b，g）為第i個目標的預測框與ground truth之間的IOU值。

經過本文的二分K-Means聚類算法后，最終得出的9個Anchor Box的大小（18，28）、（22，75）、（28，49）、（41，99）、（43，47）、（60，74）、（92，57）、（93，106）、（144，183）。

2.3 損失函數

在本文搭建的火災檢測網絡中，使用YOLOv4-Tiny網絡的損失函數作為本文中的損失函數。在YOLOv4-Tiny中的損失函數主要由3個部分組成，分別為位置損失loss_loc（公式中用lloc表示）、置信度損失loss_con（公式中用lcocn表示）和分類損失loss_c（公式中用lc表示）。因此，損失函數的計算公式為：

l=lloc+lcon+lc 。? （3）

其中， loss_loc、loss_con和loss_c的計算公式分別為：

lloc=1-IOU（p，g）+ρ2（pctr，gctr）/c2+α·v。? （4）

lcon=∑K×Ki=0∑Mj=0IobjijC^ilogCi+1-C^ilog1-Ci+

λnoobj∑K×Ki=0∑Mj=0InoobjijC^ilogCi+1-C^ilog1-Ci。 （5）

lc=∑K×Ki=0Iobjij∑c∈classesp^i（c）logpi（c）+1-p^i（c）log1-pi（c）? （6）

式中：IOU（p，g）為預測框與ground truth之間的IOU值;ρ2（pctr，gctr）為預測框與ground truth之間的距離;c為預測與ground truth的最小包圍框的對角線長度;α與v的乘積為長寬比的懲罰項，其具體計算公式分別為：

α=v（1-IOU）+v （7）

v=4π2arctanwgthgt-arctanwh2 （8）

式中：wgt、hgt分別為真實框的寬和高;w、h分別為預測框的寬和高。

3 火災檢測網絡的訓練結果分析

3.1 火災檢測數據集的制作

在目前公開的數據集中，用于火災檢測的數據集比較少，主要有韓國啟明大學（Keimyung University）CVPR實驗室的火災視頻庫、土耳其比爾肯大學（Bilkent University）公開的部分火災視頻數據集以及在火災數據集網站（Ultimate Chase）的主頁上公開的部分火災視頻。本文從上述這些公開的數據集中選擇30段典型的火災場景視頻，并將其切分成每一張圖片，從中篩選比較清晰的圖像，除了從上述公開的數據集中選擇圖片外，從網絡上另外收集各種場景的火災圖像，從而豐富數據集。經過從各種渠道收集圖像后，本文最終制作的數據集包含6 000張圖像，其中，1 200張圖像作為測試數據集。為了測試本文中的火災檢測網絡的實時性，在測試數據集中補充5段火災視頻。剩余4 800張圖像用于訓練本文的火災檢測網絡，在這4 800張圖像中抽取90%的數據用于訓練，10%的數據用于驗證。在上述6 000張圖像中，包含了室內、室外各種簡單和復雜環境，白天和黑夜等不同光照條件以及各種大小不同的火焰，從而保證了本文的火災檢測網絡較高的魯棒性。

3.2 結果分析

本文的火災檢測網絡訓練平臺的操作系統為Ubuntu18.04，深度學習框架為Darknet，硬件配置為NVIDIA RTX2080Ti顯卡。為了提高訓練的效率，主干網絡采用預訓練權重，設置輸入圖像的尺寸為（416，416），共訓練5 000個批次，批處理大小為64，初始學習率設置為0.001。在訓練過程中，損失變化曲線如圖4所示。

由圖4可以看出，由于主干網絡使用了預訓練權重，在訓練了150個批次后，損失值快速下降，在訓練1 000個批次后，損失值下降較慢，在訓練2 500個批次后，損失值基本不再變化。根據精確率（Precision，公式中用Precision表示）、召回率（Recall，公式中用Recall表示）[22]計算公式并結合驗證集，本文的各項指標見表1。為了綜合評價本文的火災檢測網絡的性能，需要綜合考慮精確率和召回率，即精度（AP）（公式中用AP表示），在本文中由于待檢測的目標只有一個，所以在本文中的平均精度（mAP）即為火災目標的AP。

Precision=TPTP+FP; （9）

Recall=TPTP+FN。 （10）

式中：TP為真正例; FP為假正例; FN為假負例。

由表1可以看出，本文的火災檢測網絡與YOLOv4-Tiny相比，在精確率方面提高了4.48%，在召回率方面提高了6.88%，在AP值方面提高了0.07，并接近1。由此可見本文中的火災檢測網絡體現了良好的性能。

為了驗證本文中的火災檢測網絡在嵌入式設備上的性能，將本文的火災檢測網絡在NVIDIA Jetson Nano上進行部署實驗。NVIDIA Jetson Nano作為一款入門級嵌入式AI計算平臺，具有較高性價比，其軟硬件配置見表2。

在各種場景下的檢測效果如圖5所示，圖5中圖像的分辨率分別為600×399、900×600、523×308、640×424、500×306、275×183，從圖5可以看出，本文中的火災檢測網絡基本能夠準確識別不同大小的火焰，并且在黑暗環境中同樣能夠準確檢測，對于高空拍攝的圖像基本能進行準確檢測，只有少量目標漏檢。

為了能夠精確評估本文中的火災檢測網絡的性能，從準確率、漏檢率和檢測速度的角度出發，結合本文數據集中的測試集，與傳統的YOLOv4-Tiny、YOLOv4進行對比分析，對比結果見表3。

由表3可以看出，在準確率方面，本文的火災檢測網絡相比原始YOLOv4-Tiny網絡提高了3.13%，與YOLOv4幾乎持平;在漏檢率方面，由于本文在3個尺度上輸出預測結果，因此比YOLOv4-Tiny降低了6.44%，幾乎與YOLOv4持平;在檢測速度方面，由于計算量遠小于YOLOv4，因此檢測速度遠優于YOLOv4，稍慢于YOLOv4-Tiny，同樣能夠達到16幀/s。

本文中的火災檢測網絡發生漏檢的情況主要為受到周圍環境干擾和火災目標較小，如圖6所示，其中藍色框中的火災目標由于較小，所以檢測失敗，綠色框中的火災目標受到周圍環境的干擾導致檢測失敗。

綜合來看，本文中的火災檢測網絡表現出了良好的綜合性能，能夠在各種場景、各種角度成功檢測各種大小不同的火焰。

4 結論

由于傳統火災傳感器在檢測火災的過程中容易受到周圍環境、安裝距離等因素的影響，因此，本文在現有YOLOv4-Tiny目標檢測網絡的基礎上搭建火災目標檢測網絡。在現有的YOLOv4-Tiny網絡中的FPN結構中引入大尺度預測層，解決原始YOLOv4-Tiny網絡漏檢率高的問題;運用二分K-Means聚類算法重新生成Anchor Box提高火災檢測準確率，從最終在NVIDIA Jetson Nano上的實驗結果可以看出，本文搭建的火災檢測網絡具有良好的性能，可以在各種角度、各種環境中檢測各種大小不同的火焰;在測試數據集上的準確率達到了97.81%，漏檢率為4.83%，并且檢測速度FPS達到了16幀/s。但仍然存在一定不足，主要表現在較小目標和受外界環境干擾的目標無法成功檢測，未來將從提高檢測準確率和降低漏檢率的角度進一步提升本文中的火災檢測網絡的性能。

【參 考 文 獻】

[1]韋海成，王生營，許亞杰，等.樣本熵融合聚類算法的森林火災圖像識別研究[J].電子測量與儀器學報，2020，34（1）：171-177.

WEI H C， WANG S Y， XU Y J， et al. Forest fire image recognition algorithm of sample entropy fusion and clustering[J]. Journal of Electronic Measurement and Instrumentation， 2020， 34（1）： 171-177.

[2]張為，魏晶晶.嵌入DenseNet結構和空洞卷積模塊的改進YOLOv3火災檢測算法[J].天津大學學報（自然科學與工程技術版），2020，53（9）：976-983.

ZHANG W， WEI J J. Improved YOLO v3 fire detection algorithm embedded in DenseNet structure and dilated convolution module[J]. Journal of Tianjin University （Science and Technology）， 2020， 53（9）： 976-983.

[3]HAN X F， JIN J S， WANG M J， et al. Video fire detection based on Gaussian mixture model and multi-color features[J]. Signal， Image and Video Processing， 2017， 11（8）： 1419-1425.

[4]劉凱，魏艷秀，許京港，等.基于計算機視覺的森林火災識別算法設計[J].森林工程，2018，34（4）：89-95.

LIU K， WEI Y X， XU J G， et. Design of forest fire identification algorithm based on computer vision[J]. Forest Engineering， 2018， 34（4）：89-95.

[5]HORNG W B， PENG J W， CHEN C Y. A new image-based real-time flame detection method using color analysis[C]//Proceedings of 2005 IEEE Networking， Sensing and Control， 2005. March 19-22， 2005， Tucson， AZ， USA. IEEE， 2005： 100-105.

[6]TOREYIN B U， DEDEOGLU Y， GUDUKBAY U， et al. Computer vision based method for real-time fire and flame detection[J]. Pattern Recognition Letters， 2006， 27（1）： 49-58.

[7]CHEN J， HE Y P， WANG J. Multi-feature fusion based fast video flame detection[J]. Building and Environment， 2010， 45（5）：1113-1122.

[8]周飛燕，金林鵬，董軍.卷積神經網絡研究綜述[J].計算機學報，2017，40（6）：1229-1251.

ZHOU F Y， JIN L P， DONG J. Review of convolutional neural network[J]. Chinese Journal of Computers， 2017， 40（6）： 1229-1251.

[9]姜俊鵬，呂斌，胡夠英，等.基于機器視覺的木材種類識別技術研究[J].林業機械與木工設備，2021，49（10）：36-38.

JIANG J P， LYU B， HU G Y， et al. Research on wood species recognition technology based on machine vision[J]. Forestry Machinery & Woodworking Equipment， 2021， 49（10）： 36-38.

[10]朱泓宇，謝超.基于可逆卷積神經網絡的圖像超分辨率重建方法[J].林業機械與木工設備，2021，49（3）：20-25.

ZHU H Y， XIE C. Image super-resolution reconstruction method based on invertible convolutional neural networks[J]. Forestry Machinery & Woodworking Equipment， 2021， 49（3）： 20-25.

[11]GIRSHICK R， DONAHUE J， DARRELL T， et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition. June 23-28， 2014， Columbus， OH， USA. IEEE， 2014： 580-587.

[12]GIRSHICK R. Fast R-CNN[C]//Proceedings of the IEEE international conference on computer vision. 2015： 1440-1448.

[13]REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN： towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137-1149.

[14]ZHANG Q X， LIN G H， ZHANG Y M， et al. Wildland forest fire smoke detection based on faster R-CNN using synthetic smoke images[J]. Procedia Engineering， 2018， 211： 441-446.

[15]REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： unified， real-time object detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. June 27-30， 2016， Las Vegas， NV， USA. IEEE， 2016： 779-788.

[16]REDMON J， FARHADI A. YOLO9000： better， faster， stronger[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. July 21-26， 2017， Honolulu， HI， USA. IEEE， 2017：7263-7271.

[17]REDMON J， FARHADI A. YOLOv3： an incremental improvement[J]. Journal of Computer and Communications， 2018， 6（11）：1804.02767.

[18]LIU W， ANGUELOV D， ERHAN D， et al. SSD： single shot MultiBox detector[M]. Cham： Springer International Publishing， 2016.

[19]LI Z X， ZHOU F Q. FSSD： feature fusion single shot multibox detector[EB/OL]. 2017， eprint arXiv：1712.00960.

[20]FU C Y， LIU W， RANGA A， et al. DSSD： deconvolutional single shot detector[EB/OL]. 2017， arXiv： 1701.06659[cs.CV].

[21]BOCHKOVSKIY A， WANG C Y， LIAO H Y M. YOLOv4： optimal speed and accuracy of object detection[EB/OL]. 2020， arXiv：2004.10934[cs.CV].

[22]DOLLAR P， WOJEK C， SCHIELE B， et al. Pedestrian detection： a benchmark[C]//2009 IEEE Conference on Computer Vision and Pattern Recognition. June 20-25， 2009， Miami， FL， USA. IEEE， 2009： 304-311.