基于卷積神經網絡的煙火智能識別算法應用研究

劉紅燕 李 謹 唐 振 賴 哲

（珠海供電局，廣東 珠海 519000）

0 前言

在很長一段時間內，對煙火進行識別所采用設備均為傳感器，強調通過傳感器對火焰燃燒給溫度、顆粒物密度產生的影響進行檢測，根據參數變化情況得出最終結論。但傳統方法在成本、智能程度還有覆蓋面積等方面的表現均無法滿足當今社會要求，基于此，研究人員提出引入深度學習法，依托YOLOv3將目標檢測相關問題向回歸問題進行轉化，在改進損失函數、網絡結構的基礎上，對邊界框所具有可靠性進行預測的方式，使物體識別精度最大程度接近理想水平。研究成果可為研發巡檢機器人、全新安防設備等工作助力，隨著火情防控力度得到提高，搶險能力自然可得到保證。

1 研究背景

以往對圖像進行識別的算法，均要人工篩選并對特征進行提取，只有在確定圖像特征后，才能對其進行識別。常見提取識別方法包括以下幾種：其一，先通過區域分割的方式，提取各亮點區及疑似區域對應邊界鏈碼，再對各區域對應圓形度進行計算，借助BP神經網絡展開檢測并得出最終結論。其二，對火焰候選區域所表現出空間、時間特征進行提取，利用改進所得紋理描述法對地形特征進行統計，借助BP神經網絡完成識別工作。其三，由高斯分塊模型負責劃分動態區域，由統計顏色概率的模型負責對各區域所表現出顏色特征進行提取，同時對疑似區域進行分割，根據各區域圓形度對其內部是否有火焰、火災存在進行判斷。

上述方法均要提前完成處理和分割圖像的操作，從而確保所得到煙霧、火焰特征具有實際意義，但相關算法均無法被用來對低紋理、中紋理圖像特征進行準確提取，極易出現漏檢或是誤檢的情況。將深度學習用于圖像識別，可確保所得到算法具有自我學習的能力，對復雜圖像特征進行提取的速度也會得到顯著提升，與手工篩選相比，由智能算法對特征進行提取，通常更利于事物本質的表達。有學者選擇利用傳統算法，深度學習算法，Dense-SIFT算法，分別對高大空間內部煙火進行檢測，對檢測結果進行分析可知，在隱層數量固定的前提下，深度學習算法所取得效果較其他算法更為理想。另外，相關研究還對ResNet、AlexNet和VGG等模型進行了運用，根據識別早期煙霧及火焰的結果可知，全新模型在識別精度方面均較傳統模型更為理想，現階段，國內外學者均將目光聚焦于煙火目標檢測，力求能夠獲得與以往不同的全新算法，為防控火情等工作的開展助力。

2 算法理論概述

2.1 檢測過程分析

YOLOv3由預測層、特征提取網絡構成，其中，預測層的數量為3個，可被用來對物體類別、所處位置進行直接預測。YOLOv3的創新之處在于以融合多尺度特征為前提，得出最終預測結論，可使顆粒度特征得到最大程度保留，即使檢測對象存在被遮擋或大小不同的情況，同樣可保證檢測結果具備理想精度。而利用Residual對特征提取網絡進行處理的目的，主要是對參數量、模型復雜程度加以控制，此舉一方面能夠增強收斂效果，另一方面可使深層網絡較易出現梯度消失情況的問題得到解決。全卷積網絡所包括卷積層的數量為53個，將LeakyRelu作為激活函數，利用Residual對各卷積層進行有效連接，確保初始數據能夠跳過指定層而到達網絡層，在保證預測精度的前提下，縮短預測時長。

2.2 增強采集數據

目標檢測對象以檢測目標存在顯著差異或較為復雜的場景為主，對相關數據進行采集時，研究人員應該重視以下內容：一是目標場景。對煙火進行檢測的環境往往較為復雜，通常存在建筑遮擋或光照差異大的情況，要想使模型盡快適應不同場景并完成預測工作，關鍵是要對采集數據的環節進行優化，增加數據集所存儲數據的數量及復雜程度。二是目標多樣性。即使檢測目標固定，在不同角度對其進行拍攝所得圖片往往也會存在一定差異，鑒于此，在實地采集數據的環節，研究人員應考慮不同視角，確保設計所得模型能夠從不同角度對檢測目標進行判斷，并得出準確結果。

以圖1為例，研究人員借助數據增強算法，分別對圖片進行了剪切、調節色域、變換角度以及縮放處理，對處理所得圖片進行合并的方式，使檢測物體背景得到豐富。雖然物體形態、背景亮度存在細微差異，但其本質仍然為煙霧、火焰。

圖1 對圖片數據進行增強的效果對比

3 建立相關模型

3.1 高斯建模

傳統檢測器無法杜絕誤定位的情況發生，而改用高斯建模可有效解決該問題，高斯建模所預測對象以邊界框置信度為主，對邊界框相關信息進行獲取的方式，為算法所具有精度提供保證。該模型的特點是利用正態分布曲線，對事物進行精確量化。為保證所建立模型可發揮應有作用，有關人員應重視以下內容：灰度直方圖所反映信息以圖像出現特定灰度值的頻次、概率密度為主，若圖像背景區域與目標區域存在較大差異，對應灰度直方圖往往會呈現出雙峰谷的形狀，雙峰分別對應目標和中心灰度。一般來說，只需將多峰特性視為高斯分布疊加，就可以使圖像分割問題迎刃而解。該文所研究算法利用t，t，t，t對邊界框坐標進行表達，研究人員可利用高斯分布函數對以上數據進行建模，從而判斷邊界框是否具備良好可靠性。若將測試輸入設定為，高斯模型設定為，則可利用公式（1）對高斯參數進行表示。

式中：為高斯參數；為高斯函數對應數據具體數量。()為的平均值。∑()代表的方差。

為準確判斷邊界框定位是否可靠，該模型將對特征圖所包含邊界框坐標的平均值及方差進行預測。研究人員以該算法檢測層所表現出結構特點為依據，提出利用以下方法對高斯參數加以處理，如公式（2）所示。式中：t、t、t、t分別為各坐標分量對應高斯分布的平均數值，即預測坐標分量。∑、∑、∑、∑分別為坐標分量對應高斯方差，通常被用來衡量坐標分量定位所具有不確定性。

3.2 改進函數

考慮到本次高斯建模的主體為邊界框坐標，通常只需對相關損失函數進行重設即可，類別損失函數、目標損失函數均不需要加以調整。基于邊界框相關數值對損失函數進行重設所得結果如公式（3）所示。

在該函數表達式中，L代表坐標分量對應損失函數（坐標分量用t代表）。對其他損失函數進行計算的方法，可沿用L所用算法。代表圖片橫向網格數（寬度）。代表圖片縱向網格數（高度）。代表錨框數量。為損失函數具體數量。μt（x）代表算法檢測層所輸出數值，即在網格（，）中錨框對應t坐標。∑t（x）同樣代表檢測層所輸出數值，其所描述對象為坐標t所具有不確定性。x ijk代表坐標分量對應標簽值。

式中：代表尺度權重，通常以訓練過程中物體的尺寸進行分配。δ 為網格(，)中錨框與相關標簽值的交集，若該交集可達到最大值，則可將δ 參數設定為1，若交集未達到最大值，通常將該參數設定為0。的取值是10。

在確定以上參數值后，研究人員便可根據類別分數、邊界框所具有不確定性、目標分數完成檢測任務，本次試驗所采用檢測標準如公式（6）所示。

C=（）×（Class）×（1-Uncertainy） （6）式中:C代表監測標準。()代表目標分數。(Class)代表物體對應分數。Uncertainy代表邊界框所具有不確定性的平均數值，其取值范圍為0~1，若類別分數、目標分數確定，邊界框可靠性將與不確定性成反比，即：邊界框可靠性可隨著不確定性的降低而提高。

研究表明，傳統檢測器無法徹底杜絕誤定位（即假陽例）情況出現。火災往往具有極易被場景所干擾、類型相對復雜等特點，對其進行檢測時，出現誤定位的概率較大，對自動滅火平臺來說，一旦有誤定位情況存在，極易使自身出現闖入火災、意外制動或其他過度反應，甚至造成碰撞、錯誤報警乃至爆炸的嚴重后果。鑒于此，利用高斯函數對損失函數進行設計，獲得相應的邊界框模型極為重要，這是因為高斯建模可被用來對邊界框所具有可靠性進行預測，并根據置信度函數對其損失進行計算，定位精度自然可得到顯著提高。對該模型加以應用，不僅能夠降低誤定位的概率，還可以避免自動滅火平臺陷入危險，最大化地實現其價值。

3.3 改進網絡

該試驗所用SE-Net可被拆分成Excitation及Squeeze，其作用主要是增強模型敏感度，提高模型識別channel精度，同時對特征通道所存在依賴關系進行構建。Excitation的作用主體為全局特征，具體來說，就是利用全連接層對參數量、學習難度加以控制，確保所得到channel權重與實際情況相符。而Squeeze的核心功能是對特征圖進行轉換，從而獲得具有全局感受野的數值。正是因為特征提取網絡的加入，才使該文所設計算法能夠通過預測得出準確結果。考慮到Residual層主要負責對各層特征進行融合，研究人員最終決定以Residual層為載體，在嵌入SE-Net的基礎上，根據全局池化平均值對特征圖進行輸出的通道數量進行設定，確保所獲得子結構擴大特征圖感知范圍。

另外，由于需要對圖片局部信息與特征進行快速獲取，研究人員還在網絡結構中新增了SPP塊。SPP塊可被拆分成4個分支，具體包括Residual層1個、最大池化層3個，各分支的位置關系為并行。事實證明，對網絡模型進行上述調整，可增強其對局部特征進行獲取的能力，同時可以增強特征圖感受，能夠準確判別火焰所存在微小差別，樣本所存在檢測目標差異大、類別不均等問題迎刃而解，該模型對特征進行表達的效果也將更接近研究預期。

4 試驗結果討論

4.1 煙火數據集

獲取試驗數據集的途徑為公開數據集、互聯網圖片與視頻，研究人員共截取了12000張圖片，在對所截取圖片數據進行增強處理的基礎上，將其劃分成煙霧數據集、火焰數據集兩類，煙霧數據集又分為白色煙霧、黑色煙霧，而火焰數據集所包括數據，主要為室內/室外在白天及黑天的火焰，這樣設計的目的有兩個，一是確保數據集具備良好的泛化能力，二是做到精確識別不同場景。分別利用smoke、fire標注圖片煙霧區、火焰區，標注格式以PASALVOC為主，隨后，經由隨機函數對數據集進行劃分，獲得研究所需測試集、訓練集，二者所包括圖片總量的比值為1∶4，其中，訓練集又分為驗證集、訓練集兩部分，二者所包括圖片總量的比值為1∶9。

4.2 試驗討論

該算法向預訓練網絡進行遷移，采用對前端特征進行凍結的方式，達到提取網絡的效果，再以測試集、訓練集為依據，調整剩余網絡參數，使其具有實際研究意義。事實證明，遷移學習可使數據所具有泛化能力得到顯著提高，訓練環節用時隨之減少。假設SGD動量為0.9，對應IOU閾值是0.5，學習率初始值為0.001。

該試驗所使用系統版本為Ubuntu18.04，開發框架為Pytorch，同時配備16G內存，在基于數據集對檢測樣本進行采集的前提下，利用遷移學習完成訓練網絡模型操作，可得出“在迭代次數達到200次時，損失值變化幅度有所減小”的結論。

對火災檢測算法進行評價的核心指標為真陽例率，即對全部火災圖片進行檢測所得存在火災情況的圖片占比。另外，還可將樣本劃分成假陰例與真陰例，通常用及加以表示。研究結果表明，對數據進行增強處理后，該算法對應值較初始數值提高了約1.3%，對應查準率可達96.6%左右，與此同時，研究人員還對傳統網絡結構進行了調整，改進所得算法對應至較初始數值提高了約2.7%，對應查準率高達97.1%。若以傳統網絡結構為參照物，經過數據增強、結構改進處理的網絡結構，其值較初始數值共提高了約5.5%，對應查準率在97.8%左右。結合消融試驗所得結果可知，以數據增強為前提，改進損失函數可使算法值提高約2.3%，若僅對數據進行增強，而不對損失函數進行調整，改進算法值較SPP結構提高約1.6%，較SE-Net算法提高約2.2%，較綜合算法提高約2.7%。考慮到煙霧的表現形態并不固定，極易被色調、天空背景以及外界光照度所影響，利用該算法識別煙霧的精度，通常無法達到火焰識別所具有精度，這點需要尤為注意。

5 結論

綜上所述，以YOLOv3為基礎，通過調整網絡結構的方式，使網絡具備快速理解局部信息的能力，有助于模型對火焰所存在微小差異進行準確區分，樣本所存在目標差異明顯、類別不均等問題也可得到有效解決。在對損失函數加以改進的前提下，將邊界框所具有可靠性納入預測范圍，可使負樣本數量得到減少，數據集所表現出泛化能力隨之提高。通過增強數據的方式改進數據集所產生積極影響，主要是能夠使預測精度最大程度接近預期水平，未來相關內容仍然是研究重點，應引起重視。