基于特征分析的卷積神經網絡煙霧識別

殷亞萍，柴 文，凌毅德，朱芳華，王曉君

(1.河北省胸科醫院，河北 石家莊 050000；2.河北省肺病重點實驗室，河北 石家莊 050000；3.河北省結核病防治院，河北 石家莊 050000；4.河北省肺癌防治研究中心，河北 石家莊 050000；5.河北科技大學 信息學院，河北 石家莊 050000；6.河北省衛生和計劃生育委員會 統計信息中心，河北 石家莊 050000)

0 引言

隨著科技的迅速發展，利用視頻監控進行火災檢測的技術手段被運用于各種不同需求的消防場所。與基于傳感器的火災檢測技術不同，機器視覺檢測技術的信息采集主要依賴于視頻監控系統，具有較高的穩定性和環境適應性。火災初期階段，著火點會產生大量煙霧，因此煙霧檢測是火災檢測的首要步驟。

煙霧識別技術中，特征分析是十分重要的步驟。煙霧特征可分為靜態特征(例如顏色、紋理等)和動態特征(例如運動方向等)。Li等人[1]采用高斯混合分量對煙霧顏色進行分析實現煙霧自主化檢測；Chen等人[2]在RGB顏色空間對煙霧像素在R、G、B3個顏色通道中的分布規律進行分析，得到煙霧檢測的決策規則；Prema等人[3]使用二維小波分解和三維體積小波分解對煙霧的紋理進行描述，然后建立紋理特征向量并輸入分類器進行煙霧探測與識別；Ko等人[4]基于煙霧向上運動的特性提取HOG特征，并提取定向光流直方圖作為煙霧的識別特征。Zhang等人[5]利用加權交叉熵值對深度學習中的損失函數進行優化，建立起一套基于注意機制的煙霧檢測模型；Zhong等人[6]利用RGB顏色空間和CNN結合的方式對候選煙霧圖像進行分類；張斌等人[7]將煙霧的運動特征與CNN算法進行結合，有效地提高了檢測能力。但是由于煙霧本身形狀變化速度快，形態不穩定，手工提取特征過程中，人為可操作性較高，很難保證特征的真實性。除此之外，利用深度學習的方法進行煙霧的檢測識別，將原始尺寸的煙霧圖像作為分類器輸入極易造成運算量的增加，拖慢處理速度。

針對以上問題，本文提出一種結合目標區域特征分析與卷積神經網絡的檢測識別(Characteristic Analysis Net_CNN，CAN_CNN)算法。根據煙霧運動特征獲取目標區域，分析該區域運動目標的運動方向和顏色特征，將符合條件的圖像作為卷積神經網絡的輸入。與經典卷積神經網絡實驗比較后發現，本文算法在準確性與魯棒性方面表現出一定優越性。

1 基于特征分析的卷積神經網絡煙霧檢測識別

煙霧屬于非剛性運動物體，邊界不明顯，對其進行特征提取過程中極易產生誤差，因此本文提出一種煙霧CAN_CNN算法。首先對視頻進行歸一化并進行相關濾波處理；然后使用高斯混合模型獲取運動目標；其次進行坐標標記，對運動目標做運動方向與顏色特征判斷；最后裁剪符合條件的目標塊并輸入到卷積神經網絡中完成分類，通過分類結果結合圖像塊位置坐標在視頻幀中標記出煙霧區域。具體流程如圖1所示。

圖1 煙霧識別流程

1.1 特征分析層結構設計

1.1.1 疑似煙霧區域獲取

煙霧一直處于運動狀態，利用這一特性可將疑似煙霧區域提取出來。常用的運動區域檢測算法包含三幀差分算法、高斯混合模型和光流法等，由于光流法運算復雜，因此不做考慮。三幀差分算法和高斯混合模型對運動區域的提取效果如圖2所示。

(a) 煙霧圖像

由圖2可以看出，高斯混合模型獲取到煙霧運動區域十分完整，三幀差分算法提取的運動區域存在大面積空洞。綜合2種算法實驗效果，本文選取高斯混合模型進行運動區域的獲取。

1.1.2 煙霧運動方向特征

視頻中不僅包含煙霧，還包含有其他運動物體，例如云層、飛機等，因此還需要添加其他特征濾除干擾物體。煙霧運動方向為整體向上，基于圖像塊分析煙霧運動方向，可濾除掉大部分運動干擾。煙霧運動方向示意如圖3所示。

圖3 煙霧運動方向示意圖

煙霧的運動方向可劃分為：水平向左(180°)、水平向右(0°)、正上方(90°)、正下方(270°)、左上方(135°)、右上方(45°)、左下方(225°)和右下方(315°)。從0°方向依次進行編號，正左方編號為“5”，左上方編號為“4”。將320 pixel×240 pixel圖像按照32 pixel×24 pixel大小進行坐標標記，分別計算間隔幀圖像對應位置圖像塊的中心圖像與八鄰域圖像質心點距離，8組質心距離差距最大的方向即為運動方向。如果經過計算物體在2，3，4方向移動，則滿足煙霧向上運動特征，計算過程如圖4所示。

圖4 運動方向計算示意

設(xt(n0),yt(n0))為第t幀圖像的第n塊圖像塊(n∈[1,100])的中心圖像運動區域質心點坐標，(xt(ni),yt(ni)),i=1,2,…,8表示其八鄰域運動區域質心坐標。(xt+k(n0),yt+k(n0))表示第t+k幀圖像中第n塊圖像塊的中心圖像運動區域質心點坐標，(xt+k(ni),yt+k(ni)),i=1,2,…,8表示其八鄰域運動區域質心坐標。第t幀與t+k幀圖像中圖像塊的八鄰域質心距離n與Li(t+k)可表示為：

(1)

第t幀與t+k幀圖像第n塊圖像塊的對應八鄰域質心距離差為：

ΔLi=Lt+k(ni)-Lt(ni),i=1,2,…,8，

(2)

則第n塊圖像塊中運動物體的運動方向可表示為：

i=max(ΔLi)。

(3)

1.1.3 煙霧顏色特征

顏色特征算法實現過程相對簡單，且更加穩定，因此特征分析層的第2個特征選取煙霧顏色特征。結合文獻[2]提出的煙霧顏色特征規律，煙霧顏色分布在R、G、B三通道分布規律一致如圖5和圖6所示。

從圖5和圖6可以看出，淺色煙霧和深色煙霧在RGB三分量的值相差較小，且都處于50～150之間。

(a) 淺色煙霧圖像

(a) 深色煙霧圖像

綜上所述，煙霧顏色特征大致符合文獻[2]提出的規則，只是由于攝像頭，圖像環境等因素，根據大量數據實驗結果對規則進行了調整。

利用現有數據集進行多次實驗，對文獻[2]提出的規則稍做修改，如式(4)所示:

,

(4)

式中，α取值范圍為15～20;L1=50;L2=150。

1.2 目標識別層設計

1.2.1 結構設計

煙霧的淺層特征并不能完全反應出煙霧本質，還需利用卷積神經網絡進行深入的特征挖掘。淺層特征用于濾除掉部分干擾圖像，降低卷積神經網絡的工作量，利用多層卷積分析煙霧圖像深層復雜的特征。網絡自動學習過程中，參數通過反向傳播機制不斷進行優化更新，解決人工定義參數與特征提取的問題[8]。

網絡的結構設計直接影響到整體模型的性能，本文網絡結構共包含3個卷積層、3個池化層、1個全連接層和1個輸出層，結構示意如圖7所示。

圖7 神經網絡結構示意

輸入層Input：輸入圖像為經過特征分析層處理的圖像，大小為32 pixel×24 pixel×3的彩色圖像，經過歸一化后像素區間縮小到[0,1]。

卷積層Conv_1：卷積核的大小直接影響到特征提取的范圍，如果卷積核設計過小，無法避免會提取到部分低參考量信息，增加網絡計算量的同時降低模型性能，因此本層的卷積核規格為5×5，步長設計為1，卷積核數量為32。選取Relu作為激活函數，特征圖譜(Feature Map)是像素信息經過Relu非線性變換的結果，大小為32 pixel×24 pixel×32。

池化層Pool_1：采用MaxPooling，池化核規格為2×2，步長設計為2，數量為32，得到的特征圖譜大小為16 pixel×12 pixel×32。

卷積層Conv_2：功能與Conv_1相同。本層卷積核規格為5×5，步長設計為1，數量為64，同樣利用Relu函數進行非線性變換，得到的特征圖譜大小為16 pixel×12 pixel×64。

池化層Pool_2：采用MaxPooling，池化核大小為2×2，步長為2，個數為64，得到的特征圖譜大小為8 pixel×6 pixel×64。

卷積層Conv_3：本層煙霧特征已經縮小，防止卷積核體積過大而錯失煙霧特征信息，因此設計本層卷積核規格為3×3，步長設計為1，數量總計128。

池化層Pool_3：采用MaxPooling，池化核設計為2×2，步長距離為2，個數總量為128，得到的特征圖譜大小為4 pixel×3 pixel×128。

全連接層F1：設置神經元數量為1 024。使用Relu作為激活函數，選取dropout方式降低過擬合發生可能性。

輸出層Output：包含2個神經元，使用Softmax函數，映射出煙霧圖像分類情況。

1.2.2 參數設計

網絡結構設計包含部分超參數，本文模型設計的超參數數值為深度學習優化選擇隨機梯度下降(Stochastic Gradient Decent，SGD)法，SGD參數更新計算如式(5)所示:

(5)

動量參數：0.9，學習率初值：0.01，batch size ：100，權重初始化方式采用正態分布函數(truncated_normal)，損失函數選取交叉熵函數，定義如式(6)所示:

(6)

式中，p(x)為真實值；q(x)為預測值。

2 實驗與結果分析

本文煙霧檢測識別實驗環境主要參數為：Intel i7 5500處理器，CPU 2.40 GHz,拓展庫numpy 1.18.2，matplotlib 3.0.3，tensorflow 1.15.0-rc0.，opencv-python 4.2.0.34，scikit-image 0.14.0。

2.1 建立數據集

使用的煙霧數據集主要來自于袁非牛實驗室、韓國啟明大學CVPR實驗室和比爾肯大學實驗室，還有部分來源于網絡。經過收集、篩選共得到可用的煙霧視頻20個，非煙霧視頻17個，視頻樣例如圖8所示。煙霧視頻包含室外濃煙視頻、室外淺色煙霧視頻、室內消防栓煙霧視頻、紅色背景下室外煙霧視頻和野外雜草燃燒煙霧視頻等。非煙霧視頻包含不同背景下不同運動速度的白云視頻，其中含有晃動的樹枝、飛鳥，以及高聳的白色建筑等干擾。經過對視頻的分割并利用CAN_CNN特征分析層對圖像的裁剪等手段，得到可用于模型建立的煙霧圖像12 500張，非煙霧圖像12 900張，共25 400張。深度學習領域為保證建立模型的可靠性與穩定性，將數據集劃分為訓練集與測試集。為提升測試結果的準確性以及對模型泛化能力的效果反映的真實性，訓練集與測試集選取來自不同視頻源的圖像集，即訓練集與測試集的數據分布并不相同。本次實驗數據集中訓練集比重為7/10,另外3/10不同于訓練集的數據作為測試集。

2.2 模型訓練

模型的訓練過程可以通過對epoch次數與損失率和檢測率的對應變化來反映。epoch是指數據集訓練的總輪數。煙霧檢測識別模型的建立共進行了2 000輪的訓練，每100次進行一次輸出。圖9為準確率變化圖，由圖9可以看出，隨著訓練輪數的增加，模型準確率也在不斷提升。在epoch為100時，準確率有一個飛躍式的提升；在100～700之間，準確率整體呈上升趨勢，之后準確率沒有太大波動，一直處于一個較高的水平；最終訓練集準確率為97.95%，測試集準確率為96%，說明模型對測試數據也有著較強的擬合能力。圖10為損失值變化圖，反映了epoch和損失值之間的關系。模型在100輪訓練時，損失值陡然直下；在100～1 000輪之間一直呈不斷下降趨勢，之后趨于平穩；最終訓練集的損失值為0.049，測試集的損失值為0.06，表明網絡的參數得到了有效優化。

圖9 準確率變化

圖10 損失值變化

2.3 評價指標

煙霧圖像檢測識別算法中常用3個參數來衡量模型的性能：檢測率(DR)、準確率(AR)和誤報率(FAR)[9]。一個性能優良的檢測模型需要具備高的檢測率與準確率和較低的誤報率。相關定義如下：

(7)

(8)

(9)

式中，DR為正樣本正確檢測的概率；AR為全部樣本正確檢測的概率；FAR為負樣本誤檢為正樣本概率；P為正樣本數量；N為負樣本數量。

2.4 實驗效果

2.4.1 模型效果對比

為了更加直觀地反映出本文模型的性能，將CAN_CNN網絡與AlexNet[10]、VGG16[11]和DNCNN[12]進行效果對比。傳統的煙霧檢測算法與基于卷積神經網絡的特征提取過程存在差異，所以在此不對傳統煙霧檢測識別算法進行比較。具體比較結果如表1所示。

表1 不同網絡模型效果對比實驗

由表1可以看出，在測試集數據中，CAN_CNN網絡的AR與DR都高于其他3種網絡，在CAR方面低于VGG16與DNCNN，但是稍高于AlexNet。整體來說，本文提出的CAN_CNN網絡能夠實現對煙霧的有效檢測，但是還需提升模型的環境適應性，降低模型的誤檢率。

2.4.2 算法效果對比

模型輸出層的輸出格式為包含2個概率數值的一維數組，其中之一代表煙霧圖像的概率，另一個代表非煙霧圖像的概率。如果煙霧圖像的概率大于非煙霧圖像概率則將圖片標記為煙霧圖像，反之標記為非煙霧圖像。煙霧區域的標記就是根據圖像塊的坐標，將判斷為煙霧的圖像塊在視頻中進行標注。如圖11所示，煙霧視頻分別包含不同背景下的深色煙霧和淺色煙霧，非煙霧視頻包含流動的云、顏色與煙霧相近的天然霧氣、晃動的樹枝等干擾物體。由檢測結果看出，本文算法針對不同顏色、不同背景下的煙霧都有較好的檢測效果，干擾視頻中，誤檢率較低，在抗干擾方面有良好的表現。

(a) 煙霧視頻1

3 結束語

針對煙霧邊緣模糊、易擴散、特征提取難度高問題，提出了基于特征分析的卷積神經網絡煙霧檢測識別算法。根據煙霧向上運動的特征和顏色特征建立網絡的特征分析層，將圖像分割為包含煙霧信息的小尺寸圖像塊，作為目標識別層的輸入數據，降低網絡計算數量級，提升運算速度與識別率。煙霧運動方向的確定依靠間隔幀圖像對應位置圖像塊的八鄰域質心點距離，8組質心距離差距最大的方向滿足整體向上且符合顏色特征則將其保留為煙霧圖像塊。目標識別層使用卷積神經網絡結構提取煙霧圖像塊的深度特征，利用dropout防止過擬合問題的發生。最后根據圖像塊的坐標將視頻圖像中的煙霧標注出來。對煙霧檢測識別模型建立過程中的參數選取過程與訓練過程以及模型的檢測效果進行了展示，并通過與其他經典網絡的效果對比，結果表明本文提出的CAN_CNN算法具有較高的檢測率，可達98.57%。