嵌入通道注意力的YOLOv4火災煙霧檢測模型

謝書翰， 張文柱， 程 鵬， 楊子軒

(西安建筑科技大學 信息與控制工程學院，陜西 西安710048)

1 引 言

隨著經濟的發展，大型場景的火災檢測任務越發重要，而傳統火災檢測環節中傳感器的檢測能力較差，檢測環節易受各種干擾因素的影響，從而使檢測的準確率較低[1]。隨著圖像、視頻處理技術的迅猛發展，各種基于圖像、視頻處理技術的煙霧檢測算法被提出，在各種大型空間火災檢測任務中效果顯著。煙霧先于火焰的發生而發生，且煙霧具有比火焰更強的擴散性，攝像頭更加容易捕捉到煙霧圖像，所以煙霧檢測在火災檢測任務中顯得格外重要。

目前，傳統基于圖像、視頻的火災煙霧檢測算法主要是根據煙霧的形狀、色彩、紋理、湍流、飄動等特征進行火災煙霧識別，研究者通過研究煙霧的一種或多種特征，使用各種不同的分類算法進行火災煙霧識別。Genovese等人[2]研究煙霧在YUV空間的顏色特性，得到煙霧檢測算法，但是對于擴散緩慢的煙霧以及復雜背景的煙霧視頻效果不佳。Sedlák V等人[3]研究了煙霧的運動特性、煙霧的顏色、面積增長率和運動方向，通過多特征進行分類識別，但是該方法小區域煙霧以及擴散不明顯的煙霧區域檢測效果較差。Gubbi等人[4]提出一種結合小波變換的檢測煙霧方法，利用小波分解得到子帶圖像，提取出幾十種煙霧特征。李紅娣等人[5]通過圖像金字塔和池化操作，提取LOBP和EOH直方圖，得到煙霧特征矢量，最后放入支持向量機進行訓練得到火災煙霧識別模型。

這些算法從煙霧的本質特征進行研究，通過提取煙霧的一種或者多種特征進行煙霧識別。對于煙霧區域較大、背景單一的煙霧視頻圖像，傳統的視頻煙霧檢測效果較好，但是火災初期以及遠距離火災煙霧視頻圖像，煙霧區域往往較小，此時檢測效果較差，出現漏檢情況嚴重，而且不能在多場景任務中應用。

隨著卷積神經網絡CNN的發展，針對上述問題，Zhang等人[6]和張倩等人[7]利用Faster R-CNN對煙霧圖像進行煙霧的識別。Frizz等人[8]和李鵬等人[9]使用卷積神經網絡作為特征提取器，得到煙霧檢測模型，較傳統特征提取手段有著更佳的性能。富雅捷等人[10]通過選擇性搜索法獲取候選區域，將候選區域經過CNN網絡得到高層特征，最后放入支持向量機訓練，得到煙霧檢測模型。馮路佳等人[11]提出了MD_CNN 煙霧檢測模型，通過背景差分法得到運動目標區域，將運動目標區域放入CNN網絡進行分類，最后得到煙霧區域。劉麗娟等人[12]利用SSD對煙霧圖像進行識別。

在火災煙霧檢測這一特定的領域，使用深度學習方法的研究和數據集相對較少。本文提出一種改進的YOLOv4[13]的火災煙霧檢測算法，在YOLOv4的基礎上嵌入通道注意力，以提高網絡預測頭的特征提取能力；使用K-means聚類獲取更符合火災煙霧檢測的候選框尺寸；根據火災煙霧檢測這一二分類場景，精簡了損失函數；訓練階段引入隨機擦除和標簽平滑，以降低過擬合風險。實驗結果表明，該算法能夠在多場景精準實現火災煙霧檢測。

2 本文算法

2.1 YOLOv4實時目標檢測框架

YOLOv4是一種端到端的實時目標檢測框架，由YOLOv3[14]改進而來，YOLOv4模型見圖1。YOLOv4主要包含 CSPDarkNet53 特征提取主干網絡、SPPNet(Spatial Pyramid Pooling Network)、PANet(Path Aggregation Network)多尺度預測網絡以及網絡預測頭(YOLO Head)。其中CSPDarknet53由5個大殘差塊組成，這5個大殘差塊包含的小殘差單元個數分別為1,2，8，8，4，也即是兩個CBM卷積模塊和一個CSPX卷積模塊共同構成一個大殘差塊。在CSPDarknet53的最后一個特征層輸出之后加入SPPNet，分別利用4個不同尺度的最大池化進行處理，最大池化的池化核大小分別為13×13，9×9，5×5，1×1(1×1表示無處理)，這種池化操作能夠在幾乎不增加模型的推理時間的情況下提高模型的推理能力。PANet由上采樣和下采樣兩部分構成，充分利用了特征融合。

YOLOv4有3個網絡預測頭，3個網絡預測頭輸出的形狀分別為(13,13,18)，(26,26,18)，(52,52,18)。最后一個維度為18,是因為該檢測算法基于火災煙霧數據集，僅識別火災煙霧一個類別，而YOLOv4針對每一個網絡預測頭存在3個先驗框，每個先驗框占據6維信息。

圖1 YOLOV4 網絡結構圖Fig.1 YOLOV4 network structure diagram

2.2 候選框改進

網絡預測頭中候選框尺寸的設置是十分重要的，選擇符合煙霧大小特征的候選框尺寸可以有助于煙霧預測框位置的回歸，故在火災煙霧檢測任務中對候選框尺寸進行改進。

本文使用K均值聚類(K-means)為火災煙霧數據集生成新的候選框尺寸，本文算法的輸入火災煙霧圖像尺寸為416×416，使用K-means對416×416的火災煙霧圖像生成的9個新的候選框尺寸分別為12×16，19×36,40×28，36×75，76×55，72×146，142×110，192×243，362×322。

2.3 網絡預測頭改進

2.3.1 通道注意力

在每個卷積過程中，一些復雜的干擾信息不可避免地會分布在某些通道上，導致網絡性能降低。注意力機制在神經網絡中得到了廣泛的使用[15-16]，隨著對通道注意力機制的深入研究，調整各通道信息的通道權重，對各通道信息賦予不同的權值，根據權值大小對通道信息進行篩選，這樣能有效緩解干擾信息的影響。通道注意力的典型代表是SENet(Squeeze-and-Excitation Networks)[17]。 如圖2所示。

圖2 通道注意力Fig.2 Channel attention

圖2中，輸入特征圖X,X有C個通道，每個通道空間大小為H×W，對每個通道進行全局平均池化，則通道權重Z的計算公式如式(1)所示：

(1)

其中輸出Z是長度為C的一維數組，表示壓縮通道得到的權重；(i,j)表示在大小為H×W的特征圖上橫縱坐標分別為i和j的點。

然后使用激活函數對各通道權重進行相關程度建模。公式如下：

SC=Fex(Z,W)=Sigmoid(W2×ReLU(W1,Z))，

(2)

其中:SC的維度是1×1×C，SC對應生成的通道注意力權重。通道注意力權值是需要經過前面這些全連階層和非線性學習得到的;W1的維度是C/r×C，W2的維度是C×C/r,r為放縮系數，這是由兩個全連接層組成。

最后對輸入通道進行加權調整，通道注意力加權公式為：

(3)

SENet可以嵌入任意卷積層中，假若每個卷積層都嵌入SENet會帶來巨大的參數量，SENet的參數數目公式如下：

(4)

其中：N為參數數目，n為嵌入SENet的次數，參數數目主要來自于放置的兩個全連接層，所以C和r以及n決定了給網絡帶來的參數大小。

SENet帶來的參數量決定了SENet只能在某些卷積層使用。在特征提取主干網絡上加入SENet，可以提升特征提取主干網絡對圖像特征的提取，如文獻[18-19]取得了不錯的結果。本文算法的特征提取主干網絡為CSPDarkNet53，CSPDarkNet53結構比較龐大，特征提取能力就火災煙霧圖像而言已經足夠，不適宜嵌入SENet。

2.3.2 嵌入通道注意力

本文在網絡預測頭嵌入SENet，這樣做主要有兩個優點：第一，減輕干擾信息的干擾，提升了網絡預測頭對特征信息的提取能力，從而提升了整個網絡的性能；第二，帶來了極小的參數量，僅為網絡增加了3MB的參數量。

圖3 算法改進前后對比。(a)改進前；(b)改進后；(c)SENet。Fig.3 Comparison of algorithm before and after improvement. (a) Before improvement; (b)After improvement; (c) SEnet.

本文在網絡預測頭嵌入SENet，如圖3所示。在3個CONV卷積操作后面加入SENet，圖3(c)為SENet的結構。由上文知，第一個FC層的神經元個數為C/r，第二個FC層神經元個數為C，縮放系數r一般取2，4，8，16，SENet的效果會隨著縮放系數r的增大而變弱，但縮放系數r的增大會降低參數量，由于本文在網絡預測頭嵌入SENet，參數量是非常小的，所以縮放系數r取2是比較合理的。

2.4 損失函數改進

YOLOv4的損失函數如下：

L=Lcoord+Liou+Lclass，

(5)

其中：L為總損失函數；Lcoord為置信度損失函數，回歸是否存在物體信息；Liou為框損失函數，回歸位置信息；Lclass為分類損失函數，回歸類別信息。

火災煙霧數據集，僅存在火災煙霧一類，是二分類問題，所以Lcoord和Lclass是存在計算冗余的，本文采用式(6)作為損失函數。

L=Lcoord+Liou，

(6)

改進后的損失函數去掉了分類損失函數，精簡了損失函數的構成以提升網絡的收斂速度和抗干擾性。

故3個網絡預測頭輸出的形狀分別從(13,13,18)，(26,26,18)，(26,26,18)變為(13,13,15)，(26,26,15)，(26,26,15)，如圖3所示。

3 實驗設計

3.1 火災煙霧數據集

本文除了主動在網上爬取火災煙霧圖像，還采用了目前煙霧檢測方向較為認可的中國科學院大學火災重點實驗室、韓國啟明大學和土耳其比爾肯大學的煙霧視頻數據，這些數據大多為avi格式的視頻數據，本文將視頻數據一幀一幀地制作成圖片數據加以使用。這些火災煙霧圖像包含遠景、近景、夜晚以及背景干擾因素較多的煙霧圖像，以此火災煙霧數據集作為證明本文算法有效性的證據。部分火災煙霧如圖4所示。

圖4 部分真實火災煙霧圖像Fig.4 Part of the real fire smoke images

3.2 實驗環境

本文實驗環境為：NVIDIA GeForce RTX 1660，64 位Win10操作系統。編程語言為Python，深度學習框架為Keras。

本文對于主干網絡CSPDarkNet53使用ImageNet大型數據集下分類任務的預訓模型，可以加快網絡收斂速度。根據文獻[13]實驗結論指出訓練階段分兩階段進行會有更好效果，第一階段凍結主干網絡CSPDarkNet53網絡參數，調整非主干網絡參數，優化器使用Adam，此階段是粗調階段，最大學習率應設置得比第二階段要大，設置為0.001，Batch size根據顯卡的性能，由于只調整非主干網絡參數，故可以設置為8，訓練20個epoch；第二階段釋放主干網絡CSPDarkNet53網絡參數，優化器使用Adam，此階段是微調階段，最大學習率設置得比第一階段要小，設置為0.000 1，Batch size根據顯卡的性能，由于調整整個網絡參數，故設置為2。

3.3 數據增強

在目標檢測中，為了防止檢測模型過擬合現象的出現，提升算法性能，需要輸入足夠的訓練數據?，F實中無法滿足足夠的訓練數據，此時就要對數據集進行數據增強操作，以彌補數據量小帶來的缺點。

本文采用了圖像翻轉、放縮、隨機擦除等數據增強方法以彌補數據量小帶來的缺點，從而降低過擬合風險。

放縮：圖像有75%的概率進行隨機比例的寬高放縮。

翻轉：圖像有75%的概率進行左右、上下翻轉。

隨機擦除：隨機擦除在目標檢測中得到大量應用，均取得不錯的效果[20-21]。訓練時，隨機擦除方法會在原圖隨機選擇一個矩形區域，將該區域的像素替換為隨機值。這個過程中，參與訓練的圖片會做不同程度的遮擋，這樣可以降低過擬合的風險并提高模型的魯棒性。

圖5 實驗檢測效果。(a)大區域煙霧；(b)中區域煙霧；(c)白天煙霧；(d)小區域煙霧且與背景相似；(e)小區域煙霧且煙霧不明顯；(f)夜晚煙霧。Fig.5 Experimental detection effect. (a) Smoke in a large area; (b) Smoke in a medium area; (c) Daytime smoke； (d) Smoke in a small area and similar to the background; (e) Smoke in a small area and smoke is not obvious；(f) Night smoke.

4 實驗結果及分析

4.1 評價指標

本 文 通 過 訓 練 后 模 型 檢 測 的 準 確 率(Precision)、召回率 (Recall)、調和平均值(Harmonic mean)、每秒檢測幀數FPS(Frames Per Second)以及模型大小(Size)作為參考進行對比，準 確 率、召回率和調和平均值由式(7)～(9)計算所得。

(7)

(8)

(9)

式(7)～式(9)中:P為準確率;R為召回率;H為調和平均值,調和平均值綜合了準確率和召回率，調和平均值越大，算法性能越好;TP為真正例;FP為假正例;FN為假負例。

4.2 實驗結果

YOLOv4與SE-YOLOv4的檢測結果對比如表1所示，實驗結果表明，SE-YOLOv4網絡模型僅犧牲了0.1幀/s的代價，準確率和召回率分別提高了0.9%，1.5%。

為了進一步驗證本文模型在火災煙霧檢測上的有效性，本文對比了文獻[6-7]提出的Faster R-CNN的煙霧檢測模型以及文獻[12]提出的SSD煙霧檢測模型，檢測結果對比見表1。

由表1可以看出，本文的火災檢測模型在準確率和召回率中有大幅度的提高，較文獻[6-7]無論從精度和速度都有較大提升；較于文獻[12]在準確率和召回率領先了1.9%，2.1%，在FPS落后了8.4幀/s的速度。

FPS的高低往往由模型的參數量所決定，一般情況下參數量越小，計算量則越小，檢測速度就越快。文獻[12]的FPS如此之高，是因為文獻[12]是基于SSD煙霧檢測模型，SSD網絡結構精簡、參數量少，其網絡結構擁有多尺度分類器，能較好地兼顧提取大、小目標。文獻[12]又將SSD的主干特征提取網絡VGG16改進為MobileNetV2，整個模型的計算量和參數量有明顯的下降，并且MobileNetV2作為主干特征提取網絡優于VGG16。本文煙霧檢測模型的參數量是文獻[12]煙霧檢測模型參數量的近4倍，但是文獻[12]煙霧檢測模型結構精簡、參數量少，不可避免地性能達不到最優。

表1 其他煙霧檢測模型與本文模型對比Tab.1 Comparison of results between other fire smoke detection models and this model

實驗結果表明，本文模型具有一定的優越性。本文基于YOLOv4的煙霧檢測具備良好的泛化能力，擁有高的準確率和召回率，適于多場景火災煙霧檢測，特別是在小區域火災煙霧圖像上也有良好表現。

4.3 YOLOv4-tiny

YOLOv4-tiny是YOLOv4輕量化的網絡架構，本文對YOLOv4-tiny進行了實驗對比，如表2所示。

YOLOv4-tiny是在YOLOv4的基礎上所輕量化的算法，主干特征提取網絡進行了精簡；多尺度預測由3個降為2個，候選框則從9個降為4個；不使用PANet作為特征融合，改為使用傳統的FPN進行特征融合等。極大地精簡了網絡結構和減少了參數量以及計算量。在精度上雖然有所降低，但在速度上遠超本文算法以及文獻[12]中的檢測算法，這給優化本文模型帶來了思路，為之后如何平衡檢測精度和檢測速度帶來方向。

表2 YOLOv4-tiny與本文模型對比Tab.2 Comparison of detection results between YOLOv4-tiny and this model

5 結 論

本文在 YOLOv4的基礎上嵌入SENet，明顯提高了算法在多場景火災煙霧檢測上的性能；使用K-means聚類算法得到更加貼近火災煙霧數據集的候選框尺寸；引入翻轉和隨機擦除等數據增強手段降低過擬合風險；在二分類的基礎上，精簡了損失函數，提高了網絡的抗干擾能力。

實驗結果表明，本文改進后的方法與同類火災檢測算法相比，在準確度和速度上都具有良好的表現，在數據集上達到了 92.5%的準確率，87.7%的召回率，平均檢測速度達 5.1幀/s；但在平均檢測速度上還有很大的進步空間，在之后的工作中可以在不犧牲性能的情況下，減小模型大小，以提高平均檢測速度。火災煙霧數據可以繼續得到擴展，增加更多的火災煙霧場景，提高火災煙霧數據質量。