基于遷移學習的火災圖像檢測方法研究

陳照悅，張紅梅，張向利

（桂林電子科技大學信息與通信學院，桂林541004）

0 引言

現有的自動火災報警系統是利用新型的感煙、感溫等探測器進行火災檢測，但受多種因素影響，存在響應時間慢，不能及時報警，漏報誤報等問題。視頻火災檢測技術可以實現快速準確的探測火災，對環境的適應性強，誤報率低，得到了廣泛的關注和應用。國內外學者對視頻火災檢測進行了大量的研究，取得了重大的進展。視頻火災檢測主要有兩種檢測方法，一是基于特征的檢測方法，二是基于深度學習的檢測方法。視頻火災圖像有動態和靜態兩大特征，靜態特征主要有顏色、紋理等特征，動態特征主要包括整體運動、頻閃等特性。Chen 等人[1]根據火焰的顏色和像素變化特征，通過RGB 模型和火焰動態特征得到異常像素點數目，并通過重復計算決策函數判斷是否超過自適應閾值，來判定是否發出報警信號，但容易將類似火焰的物體檢測為火焰，虛警率較高；Celik 等人[2]提出了一種基于規則的火焰像素分類通用顏色模型，使用YCbCr 顏色空間，更好地將火焰的亮度與色度區分開，實現了較高的火焰檢測率，但誤報率仍然較高，無法應用到實際環境中。文獻[3]使用幀差法實現火焰的前景分割，再通過動靜態特征識別火焰，但是幀差法對背景的判斷只是前后兩幀，對變化很快的物體檢驗效果明顯，沒有更多的時序信息，檢測前景區域不完整。文獻[4]使用了改進的ViBe 算法，通過引入切換變量控制模型每兩幀更新一次，并使用快速更新策略提高適應力，能夠準確檢測出森林火災煙霧，但只考慮了運動特征，不能提取出完整特征，虛警率高。文獻[5]使用3D 卷積神經網絡進行火焰識別，從時間和空間維度上提取特征，但是很難定位煙霧火焰位置，并且數據集較少，只檢測紅色火災，對藍色等火災并不能準確檢測。文獻[6]提出基于深度學習模型的遷移學習來識別煙霧的方式，利用預訓練CNN 模型進行特征遷移，只訓練全連接層得到識別模型，但訓練集較少，魯棒性較低。文獻[7]提出一種基于多通道CNN 的方法，對多場景數據構造CNN，由低到高逐層提取空間特征，訓練通用火焰識別模型，提高了火焰識別精度。文獻[8]提出一種基于Faster RCNN 模型的火焰檢測算法，可以動態提取分析火焰特征，提升了在復雜條件下識別火焰的準確率，但是輸入圖像是固定尺寸，數據集較小，容易陷入過擬合。Bingo等人[9]對遷移學習解釋為模型可以把從其他數據集學習而來的知識，轉移應用到當前所需的目標數據集中，這樣就可以讓模型在數據較少的場景下依舊可以較好的學習樣本特征并進行泛化。

為此，針對當前存在標注數據不足、識別效果差的問題，本文提出了基于遷移學習的火災圖像檢測方法，首先獲取不同場景下的火災視頻圖像作為數據集，然后利用數據增強技術，對火災圖像進行翻轉、裁剪等操作來擴充數據集。通過在這四個不同網絡模型的實驗分 析，發 現 DenseNet121[10]相 比 于 InceptionV3、ResNet18、ResNet50 模型在檢測準確率和實時性方面性能更佳。

1 遷移學習檢測方法

本文提出的基于遷移學習的火災圖像檢測方法框架如圖1 所示，首先，進行數據的預處理操作，然后進行模型的遷移學習。具體操作步驟如Step 1 和Step 2所示。

圖1 基于遷移學習的檢測方法框架

Step 1：數據預處理：

（1）將所有的圖像數據縮放到224×224；

（2）將所有的數據做數據增強；

（3）將所有數據進行歸一化。

Step 2：模型遷移學習：

（1）加載預訓練的網絡模型；

（2）重新添加一層全連接層，并隨機初始化權重；

（3）微調隱藏層中的卷積層與池化層參數或者凍結前面全部層，只訓練全連接層；

（4）使用視頻幀圖像小數據集執行訓練，微調網絡全部參數；

（5）得到深度遷移學習CNN 火焰檢測模型進行預測。

2 遷移學習模型

2.1 GoogLeNet

GoogLeNet 提出Inception 網絡結構，其目標是搭建稀疏且高計算性能的網絡結構，Inception 網絡在V1-V4 版本的發展之后漸入佳境，效果越發強大。Inception 的初始結構如圖2 所示。

圖2 Inception網絡結構

該結構將CNN 中常用的1×1、3×3、5×5 卷積和3×3 池化操作組合在一起，不僅增加了網絡寬度，也增加了網絡的適應性，其中1×1 卷積可以用來減少維度和降低運算量。InceptionV3 引入了分解，將7×7 卷積轉換成7×1 和1×7 卷積，既加速了計算，又進一步增加了網絡深度和非線性，提高了網絡的表現能力，它的網絡結構如下表1 所示。

表1 InceptionV3 模型結構

上述網絡中3 個Inception 部分。第一個Inception部分是使用兩個3×3 卷積代替了5×5 卷積，第二個In?ception 減少了feature，增多了filters，而第三個Incep?tion 增多了filter 并使用卷積池化并行結構，通過這種方式雖增加了網絡的層數，但參數量少了，訓練起來并不會比改變之前慢多少。

2.2 ResNet

在深度學習中，深度網絡都伴隨著梯度消失等問題，進而導致性能下降，而微軟研究院的Kaiming He[11]提出的ResNet 成功訓練了152 層的神經網絡，有效解決了梯度消失問題，其中解決梯度消失問題的關鍵結構是殘差塊（ResNet Unit）。殘差塊通過在網絡中加入跳躍連接結構，進而可以讓梯度在反向傳播過程中通過這個結構傳遞到更深層的網絡，殘差塊的結構如圖3所示：

圖3 殘差塊結構

圖3 將輸入設為X，殘差結構的輸出設為H（X），F（X）來表示殘差函數，則有：

網絡的訓練目標就是將這條新的學習路徑損失降為0，從而確保模型層數增多的同時，梯度不會消失，保證模型識別準確率。

2.3 DenseNet

DenseNet（Densely Connected Convolutional Net?works）是一種密集型連接網絡，其后的層都與前面的每一層相連接，對于一個L層CNN，存在L（L+1）/2 條連接。

假設傳統的網絡在l 層的輸出為：

式（2）中網絡的第l層只有一個輸入，即xl-1，而對于DenseNet，前面所有層都作為l層的輸入：

其中Hl指的是一系列非線性運算，包括BN、Re?LU、Pooling 及3*3Conv 運算。

DenseNet 的網絡特性：

（1）特征圖大小一致。DenseNet 進行運算必須要求所有特征圖大小一致，而一般的神經網絡要經過pooling 操作等來降低特征圖的大小。

（2）采用DenseBlock + Transition 結構，如圖4所示。

圖4 可以看出該結構由3 個DenseBlock 和2 個Transition 組成，每個DenseBlock 模塊可能包含很多的Conv、Pooling、ReLU、BN 運算、Transition 結構用來進行降維操作。（3）生長率。生長率指的是每層特征的映射數，假設為k，對于第i 層輸入有ki 個特征映射為：

式中K0表示輸入層的通道數。一般較小的k 值就可以獲得較好的效果，隨著層數的增加，相應的特征圖的輸入也逐漸增多。但每個層僅有自己獨有的k 個特征，而k 就是生長率。

DenseNet 網絡在圖像分類性能表現出很大的優勢，由于密集連接方式，DenseNet 提升了梯度的反向傳播，使得網絡更容易訓練。由于每層可以直達最后的誤差信號，實現了隱式的“deep supervision”；參數更小且計算更高效，這有點違反直覺，由于DenseNet 是通過concat 特征來實現短路連接，實現了特征重用，并且采用較小的growth rate，每個層所獨有的特征圖是比較小的；由于特征復用，最后的分類器使用了低級特征。

圖4 DenseBlock+Transition結構

3 實驗結果與分析

3.1 數據集獲取

目前基于深度學習的火災檢測研究還處于初期階段，在火災研究領域的公共的數據集比較少，常用的方式即通過攝像頭捕獲一些火焰、煙霧圖片或者視頻數據。考慮是既要獲取火災的空間特征，又要獲取時間特征，如果使用一般毫無關聯的火災圖像，很難學習全部特征，因此使用多個場景下的連續幀圖像模型進行訓練。數據集為網上獲取的不同場景下的連續視頻幀圖像，其中訓練集火圖像數為12550 張，非火圖像為10850 張；測試集火圖像數為1716 張，測試非火圖像數為1223 張。

3.2 圖片數據預處理

火災數據集都是一些不標準的數據集，不能直接送到網絡中訓練，雖然有些網絡可以直接對原始數據集處理，但每次訓練都需要重新處理數據集，則會浪費大量訓練時間，因此預先處理出適用于預訓練模型的數據集是非常必要的。

許多CNN 需要輸入標準尺寸的圖像，而攝像頭采集到的數據往往不能滿足這樣的要求，所以必須要對這些數據集剪切到指定尺寸，同時使用數據集增強技術擴充數據集，數據增強方法非常適用于圖像識別與目標檢測，即使圖片進行一些幾何變換（翻轉、裁剪等），其類別信息與特征也不變，可以使神經網絡的泛化誤差大大降低。

3.3 實驗環境及超參數設置

本文實驗采用GPU 是NVIDIA GeForce GTX 1080Ti，CPU 為Intel Xeon ES-260，32G 內 存，128G SSD；Windows10 64bit 操作系統，環境配置CUDA9.0，PyCharm 編譯軟件，PyTorch 深度學習框架的軟硬件平臺。

深度學習算法包含許多超參數，它們分別控制算法的不同表現，也會對算法的運行時間、推斷能力等造成影響。超參數可以手動選擇，也可以讓機器自動選擇，手選超參要對超參數的作用以及模型有著較高的認知，自動選擇超參數算法則是建立在超強的算力基礎上面。本文采取手動調整超參數方式設置如下超參數：學習率（learning-rate）為0.001，迭代次數為25 次，優化器（optimizer）為SGD 優化器，批大小（batch_size）為16。

3.4 性能評價指標

實驗結果通過TP（True Positive）、FP（False Posi?tive）、TN（True Negative）、FN（False Negative）、準確率A、誤報率P、敏感度R、漏檢率Miss 八個指標評價模型的好壞。

TP、FP、TN、FN 四個概念之間的關系如表2 所示。

表2 預測結果概念定義表

其中：

（1）TP：表示火數據集中被分類為火的圖像數量。

（2）FP：表示火數據集中未被分類為火的圖像數量。

（3）TN：表示非火數據集中未被分類為火的圖像數量。

（4）FN：表示非火數據集中被分類為火的圖像數量。

（5）準確率：指真正有火的數據集數量在所有火圖像中所占的比例，表示模型發出正確警報的概率。

（6）誤報率：指非火圖片被分類成火的統計在所有報警圖像數量的占比，表示模型發出錯誤警報的概率。

（7）敏感度：指正確圖像數量在所有火焰圖像中的比例。表示系統對火圖像的敏感程度，敏感程度R 值越大，則代表模型對火圖像的識別能力越強。

（8）漏檢率：指未檢測到的火圖片在總測試集中所占的比例。漏檢率值Miss 越低，表示模型對火的識別能力越強。

3.5 實驗結果與分析

通過對訓練集訓練得到結果如圖5 所示。

圖5 可以看出各模型訓練開始時loss 值就較小，并且loss 值可以快速收斂，模型在訓練20 個epoch后，loss 值趨于穩定。

由圖6 可以看出經過一個epoch 的訓練，各模型就達到了一個很好的預期效果，精確度最低為84%；第二個epoch 后，訓練精度大幅提升，10 個epoch 以后訓練精確度明顯提高，在98%左右波動。

我們對訓練后的模型在測試集上測試，實驗結果如表3 所示。

表3 模型實驗結果對比

圖5 各模型loss 曲線

圖6 訓練精確度曲線

通過表3 可以看出就訓練時間來說，隨著網絡深度的增加，訓練的時間是越長的。DenseNet121 模型由于網路深度的原因，越到后面層學習的特征圖越多，占用內存較大，訓練時間較長。對于測試時間，我們可以看出DenseNet121 的測試時間較短，檢測2900 多張圖片僅需要19 秒，檢測速度快；InceptionV3 模型的時間檢測較長，需要40 多秒，ResNet18 和ResNet50 的檢測時間基本都在30 秒左右；對于測試集DenseNet 能表現出很好的檢測效果，精確度91.15%，其他三種模型的精確度都在90%以下。對于模型的大小，Incep?tionV3 網絡訓練后模型大小95.3M，ResNet18 模型因其網絡層數低有43.7M，ResNet50 網絡模型大小89.9M，而DenseNet 網絡模型只有31.6M。綜合實驗我們可以得出雖然DenseNet 訓練模型的時間較長，但在檢測時間和檢測精度上都明顯優于其他三種模型，且模型小，更容易在硬件上被使用。

對火圖像和非火圖像分別在四種模型下預測，得到四種模型的混淆矩陣如表4。

將表4 的數據代入式（5）、式（6）、式（7）、式（8）可求出各模型的準確率、誤報率、召回率、漏檢率，如表5所示。

表4 4 種模型混淆矩陣

表5 4 種模型準確率、誤報率、召回率、漏檢率

由表5 可以看出InceptionV3 網絡在召回率方面有很大優勢達到94.75%，但準確率和精確率都比較低，誤報問題比較嚴重，有23.14%的誤報率，但漏檢性能較好，漏檢率為5.25%；ResNet18 與ResNet50 基本保持相同的性能，準確率分別是88.40%和87.65%，檢測效果一般；DenseNet 雖然在召回率方面略低于In?ceptionV3 網絡，但準確率在92.54%，明顯高于其他網絡，誤報率和漏報率分別是7.46%和7.36%。

通過以上實驗我們可以看出，微調后的DenseNet網絡模型具有預測時間短、精確度高、漏報率低、誤報率低等優勢而且模型比較小，能夠很好地應用到火災檢測領域，則選取DenseNet121 模型作為最終深度遷移模型。

4 結語

本文基于遷移學習的視頻火災圖像檢測方法研究，選取了遷移學習模型分別是InceptionV3、ResNet18、ResNet50、以及DenseNet 模型，將數據集放入預訓練模型中訓練，并對模型做了微調，最終得到了不同的模型，分別對他們的精確度、漏報率、預測時間做了對比，實驗表明DenseNet 具有預測時間短、精確度高、漏報率低的優勢，我們選取DenseNet 作為最后的模型。下一步準備結合目標檢測算法對火災區域進行定位。