利用深度學習進行火災圖像識別的實驗探討

曲妍姝　崔永毅　孫國慶　李龍山

一、引言

目前，圖像型火災檢測方法主要有兩大類：基于傳統圖像處理的火災檢測和基于深度學習的火災檢測。前者特征處理一般都需要人工干預完成，利用人類的經驗來選取好的特征，由于受特征選取是否合理的影響，會使得其識別準確率有所限制。而后者則是預先設計一個網絡模型，然后直接將原始圖像數據送至網絡模型進行訓練，利用訓練好的模型來對待測圖像進行識別工作。將深度學習技術應用于圖像識別領域，可在很大程度上避免特征提取過程中的盲目性，且在理論上可提取到更多更深層次的特征，如此極大地提高了火災圖像識別的準確率。

二、圖像預處理

火災發生的環境較為復雜，采集到的圖像會受到各種各樣的噪聲污染和某種程度的損壞，因此需要對圖像預處理以降低圖像所受到的影響。本文采用圖像增強方式進行預處理。火災圖像增強的目的是為了突出圖像中火焰區域特征，去除或削弱背景中可能對火焰形成干擾的區域信息，使其更適合后續的識別。在火災圖像中，火焰區域周圍經常會出現零星的火星，這會給后續火災識別帶來困難。通過實驗，中值濾波可以較為有效的去除這部分噪聲干擾。經過平滑濾波后會造成圖像的輪廓不明顯、邊界模糊。為了增強圖像的邊緣，使圖像邊緣變得清晰，我們采用圖像銳化技術來加強火災圖像的細節描述。利用圖像的頻率特性，使用高通濾波方法濾除低頻分量，實現對火災圖像的銳化。

三、深度學習識別方法

本文采用卷積神經網絡進行火災識別。卷積神經網絡主要由特征學習和分類識別兩大部分組成。常見的卷積神經網絡由輸入層、卷積層、激活層、池化層、全連接層和最后的輸出層構成。

3.1卷積層

在卷積層中，層與層之間相互連接的特征圖由一個或者多個卷積核通過卷積運算提取像素級圖像特征。在圖像處理中，一幅數字圖像可以看作是一個二維空間的離散函數。在二維圖像作為輸入時，相應地卷積運算可以用公式（1）和（2）表達：

式中， 代表輸入圖像， 表示卷積核， 為核的大小，一般 ， 。 代表輸出圖像， 代表輸出圖像中的一個元素。

卷積運算相當于用一個可訓練的卷積核對圖像進行濾波。假設一幅圖像的尺寸為 ，卷積核的尺寸為 。在計算時，卷積核與圖像的每個 大小的圖像區域相乘，相當于把該 區域的圖像特征提取出來。一小塊一小塊的提取出圖像的局部特征，每經過一次卷積核的濾波都會映射出一張新的二維特征圖像。圖1顯示出利用兩種常用算子作為卷積核進行卷積計算得到的特征圖。

3.2激活層

激活層的作用是在所有的隱藏層之間添加一個激活函數。添加適當的激活函數后，神經網絡的功能會變得更加強大。一般使用非線性函數作為激活函數，因為在實際應用中，絕大部分數據都是非線性分布的。這樣才能使深度神經網絡具備非線性映射學習能力。常用的激活函數有很多，選擇的激活函數是否適當對最終的深度神經網絡模型影響極大。本文選擇Sigmoid函數和tanh函數作為激活函數。我們嘗試使用不同的激活函數建立模型，以期找到對我們工作最有利的激活函數。

3.3池化層

池化層對原始特征層的信息進行壓縮，是卷積神經網絡中重要的一步。池化可以看作卷積神經網絡中一種提取輸入數據核心特征的方式，不僅實現了對原始數據的壓縮，還大量減少了參與模型計算的參數。池化的方法有很多，最常用是平均池化法和最大池化法。一般是在連續的卷積層之間插入池化層。池化層可以把相似的特征合并起來，有效防止過度擬合。

池化相當于對圖像按某種算法進行了壓縮。一般來說，均值池化得到的特征數據對背景信息更敏感，而最大池化得到的特征數據對紋理信息更加敏感。

3.4全連接層

全連接層實質就相當于一個分類器。經多個卷積層和池化層后，連接著1個或1個以上的全連接層。全連接層之前的卷積層作用本質是提取特征，而全連接層的作用是分類。經過多次卷積、激活和池化后，特征學習部分會輸出許多特征圖，每個特征圖只具有整體圖的一個重要特征。這就需要添加一個或多個全連接層對所有特征進行整合。利用邏輯回歸將上層抽取出來的特征向量按不同權重映射為一個特征向量。這個向量匯總了整體圖像的所有特征信息，經過激活之后，作為輸入進入分類層。在分類層中經過統計計算，輸出輸入圖像歸屬于某種類別的概率，完成圖像識別。

四、實驗及結論

本文選擇PyTorch框架搭建卷積神經網絡進行火災識別。由于目前缺乏大家公認的用于火災圖像識別的公開測試集。本文實驗用火焰視頻一部分從網絡上下載，另一部分利用實驗室進行了火災模擬實驗并錄制了視頻。利用訓練好的模型，我們選取一些視頻文件進行火災識別。結果表明：對火焰特征明顯的火災識別率相對較高，如典型的液體或固體火災。對酒精或煤氣等火焰透明的火災識別率不理想。蠟燭、打火機、火柴等在穩定燃燒時識別率較高，但在剛開始點燃的不穩定燃燒階段容易被誤判為火災。車燈、電燈、手電筒等干擾源在靜止時識別率也較高，但車燈或手電筒在運動時識別率低一些，高速運動甚至抖動時更容易被誤判為火災。采用不同的神經網絡架構對訓練和識別有一定影響，但目前尚未找到規律，有待于今后進一步研究。火災數據集對訓練模型和識別測試影響較大，受訓練和識別時間限制，單純加大數據集不是好方法，應該設法構建更加科學合理的有效的火災數據集。這些都是今后需要進一步努力的方向。

作者簡介：

1.曲妍姝，2001年1月，女，漢，遼寧省大連市，本科，沈陽航空航天大學，學生。

2.崔永毅，1965.2，男，漢族，籍貫，沈陽，學歷，碩士，工作單位，沈陽航空航天大學，職稱，副教授，研究方向：滅火技術、火災圖像檢測。

3.孫國慶，1999.10.01，男，滿族，山東諸城，本科，沈陽航空航天大學，學生。

4.李龍山，2000.09.06，男，漢，天津市武清區，本科，沈陽航空航天大學，學生。