基于數(shù)據(jù)增強的卷積神經(jīng)網(wǎng)絡(luò)火災(zāi)識別

吳 雪, 宋曉茹, 高 嵩, 陳超波

(西安工業(yè)大學(xué)電子信息工程學(xué)院，西安 710021)

在現(xiàn)實生活中的各種災(zāi)害中，火災(zāi)是最常見的危害人類公共安全和社會發(fā)展的主要災(zāi)難之一。火災(zāi)的發(fā)生通常不可控且危害范圍廣。因此，發(fā)展一種快速有效的火災(zāi)探測技術(shù)具有極其重要的理論和現(xiàn)實意義，也成為現(xiàn)代監(jiān)控技術(shù)的重要任務(wù)之一。

早期的火災(zāi)識別技術(shù)主要是采用傳感器技術(shù)進行煙霧信號的采集并報警。楊帆等[1]設(shè)計了一種基于無線傳感器網(wǎng)絡(luò)和信息融合技術(shù)的森林火災(zāi)報警系統(tǒng)，利用傳感器將采集到的環(huán)境溫度和煙霧濃度等信息傳給單片機進行處理。Chen等[2]根據(jù)火焰的特點，提出了一種基于多傳感器數(shù)據(jù)融合的火災(zāi)探測技術(shù)，但傳感器缺點是實時監(jiān)測面積較小，在面積大的地方進行實行監(jiān)測時，需要大量的傳感器，且基于傳感器的火焰探測技術(shù)在很大程度上易受外部因素的干擾，當(dāng)外部環(huán)境發(fā)生改變時，會造成傳感器的漏報誤報現(xiàn)象。

近年來，隨著計算機視覺技術(shù)和機器學(xué)習(xí)的快速發(fā)展，基于圖像和機器學(xué)習(xí)的火災(zāi)識別技術(shù)[3]得到了廣泛應(yīng)用。Maruta等[4]提出了基于紋理分析和支持向量機的煙霧探測，利用紋理分析提取圖像的特征向量，再使用SVM作為分類輸出。鄒婷等[5]和Prama等[6]利用小波變換提取的多種特征作為SVM的特征輸入。Kandil等[7]提取火焰小波變換后的特征，使用BP神經(jīng)網(wǎng)絡(luò)進行火焰的識別。但以上基于傳統(tǒng)機器學(xué)習(xí)的火災(zāi)識別方法的不足之處在于依賴大量的先驗知識，需要手動提取圖像特征，且易受外界干擾，在圖片背景比較復(fù)雜或者發(fā)生改變時，會降低識別的準(zhǔn)確率。深度學(xué)習(xí)[8]因具有避免手動提取、自學(xué)習(xí)特征的優(yōu)點，極大的推動了人工智能的發(fā)展，已被廣泛應(yīng)用到圖像檢測與分割[9]、圖像識別和語音識別[10]等領(lǐng)域中。近年來，卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展非常迅速，Lecun等[11]提出LeNet5結(jié)構(gòu)模型，將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到字符的識別中；Krizhevsky等[12]提出了一種經(jīng)典的AlexNet結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)；Cha等[13]提出了使用卷積神經(jīng)網(wǎng)絡(luò)的深層架構(gòu)來檢測混凝土裂縫，避免了手動計算混凝土的缺陷特征；Deng等[14]提出了利用R-CNN進行快速準(zhǔn)確的車輛檢測框架，避免了傳統(tǒng)的基于滑動窗口搜索[15]計算成本高、表示能力有限的缺點。相比于傳統(tǒng)的機器學(xué)習(xí)圖像識別算法，卷積神經(jīng)網(wǎng)絡(luò)具有無需手工提取特征，采用局部感知，共享參數(shù)的方法，大大減少了參數(shù)的數(shù)量等優(yōu)點。但基于深度學(xué)習(xí)的圖像識別都依賴于大量的數(shù)據(jù)樣本，在無法獲取到最夠量的樣本時易造成小樣本過擬合問題的發(fā)生。

基于此，為減少背景復(fù)雜圖像特征選取的盲目，解決耗時性問題，對不同類型的火災(zāi)和場景更具普遍性，利用卷積神經(jīng)網(wǎng)絡(luò)逐層學(xué)習(xí)出由淺到深的火焰特征。針對卷積神經(jīng)網(wǎng)絡(luò)小樣本易出現(xiàn)過擬合的問題，引入數(shù)據(jù)增強方法，將原始的火災(zāi)圖像進行旋轉(zhuǎn)、翻轉(zhuǎn)和平移，使得提取的特征能夠具有一定的旋轉(zhuǎn)平移不變性，通過增加樣本多樣性來減少過擬合的發(fā)生。

1 基于數(shù)據(jù)增強的CNN火災(zāi)識別方法

1.1 圖像的數(shù)據(jù)增強

當(dāng)使用深度學(xué)習(xí)的方法進行圖像識別時，經(jīng)常需要大量的訓(xùn)練數(shù)據(jù)，若數(shù)據(jù)集太少，則會出現(xiàn)過擬合的缺陷。為了能夠在小樣本數(shù)據(jù)集上進行卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練識別，對圖像引進增強變換，增加樣本數(shù)據(jù)量。常用的數(shù)據(jù)增強變換方法有平移、旋轉(zhuǎn)、鏡像、隨機裁剪、仿射變換、主成分分析(PCA)白化和小波變換等。為了保證在火焰背景復(fù)雜的情況下進行識別，主要采取了平移、旋轉(zhuǎn)和翻轉(zhuǎn)變換3種方法。

圖像的平移變換是將原始圖像的坐標(biāo)分別移動指定的距離，若將x0,y0分別表示像素點沿x軸和y軸移動的距離，a(x,y)和b(x,y)表示平移后的坐標(biāo)，則圖像的平移變換可以表示為

(1)

旋轉(zhuǎn)變換是將像素點繞原點逆時針旋轉(zhuǎn)一定的角度θ。可以表示為

(2)

翻轉(zhuǎn)變換是指將圖像沿著x軸或者y軸對稱變換。為了保留更多的圖片信息，將圖片進行水平翻轉(zhuǎn)，可以表示為

(3)

式(3)中：c和d分別表示沿x軸或者y軸的縮放倍數(shù)。當(dāng)c=-1時，表示當(dāng)前圖像進行y軸翻轉(zhuǎn)，當(dāng)d=-1時，表示當(dāng)前圖像沿著x軸翻轉(zhuǎn)。

火災(zāi)圖片在經(jīng)過平移，旋轉(zhuǎn)和翻轉(zhuǎn)后，數(shù)量增加到原來的3倍，擴充了樣本數(shù)量，且在背景復(fù)雜的情況下，能夠使得提取的特征具有平移和旋轉(zhuǎn)等不變性，增加了魯棒性。

1.2 卷積神經(jīng)網(wǎng)絡(luò)火災(zāi)識別的設(shè)計

卷積神經(jīng)網(wǎng)絡(luò)由輸入層，卷積層，池化層，全連接層和最后的輸出層組成(圖1)。所建立的火災(zāi)識別模型如圖2所示。該模型由一個輸入層，3個卷積池化層，一個全連接層和一個兩分類輸出層組成。輸入層由64×64像素的3通道樣本圖像組成；C1、C2、C3為卷積層，用于特征提取；S1、S2、S3為池化層，一般放在卷積層中間，用于壓縮數(shù)據(jù)和參數(shù)的計算量，去掉冗余信息，減小過擬合。其中，C1層得特征圖個數(shù)有32個，是由32個3*3大小的卷積核與輸入層進行SAME卷積，再經(jīng)過Relu激活函數(shù)得到的，經(jīng)過S1下采樣(選擇最大池化)后，特征圖數(shù)不變，圖片大小變?yōu)?2×32，最終得到32×32×32的特征圖。C2層也由32個3*3的卷積核與前一層進行卷積運算，再使用Relu激活函數(shù)得到，特征圖個數(shù)仍為32，再經(jīng)過S2下采樣(最大池化)后，圖片大小變?yōu)?6×16，最終得到16×16×32的特征圖。C3層是由64個3*3的卷積核與前一層進行卷積運算再使用Relu激活函數(shù)得到，該層特征圖個數(shù)為64，經(jīng)過S3下采樣后，圖片大小變?yōu)?×8，最終得到8×8×64的特征圖。fc1為隱藏層，該層的神經(jīng)元個數(shù)設(shè)為1 024，與上一層是全連接，該層的作用是合并前面卷積層所提取到局部的，低級特征，獲得關(guān)于圖片的全局特征，激活函數(shù)仍為Relu。最后一層是輸出層，選擇softmax激活函數(shù)輸出，與fc1之間也是全連接，由于本次識別只有兩個結(jié)果，因此該層的神經(jīng)元個數(shù)設(shè)置為2個。

圖1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

C1、C2、C3為卷積層；S1、S2、S3為池化層；fc1為隱藏層

1.3 卷積神經(jīng)網(wǎng)絡(luò)的算法

卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程和傳統(tǒng)的反向傳播(BP)算法一樣，分為由輸入圖片一級一級傳播至輸出層的前向傳播過程和由輸出值與實際值的誤差反向更新權(quán)值的過程。但又因為卷積神經(jīng)網(wǎng)絡(luò)擁有其獨特的卷積層和池化層，不同于傳統(tǒng)的全連接神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，因此卷積層和池化層的計算有所不同。

卷積層是卷積神經(jīng)網(wǎng)絡(luò)的重要組成部分，主要用于表達圖像的各個層次的特征。卷積神經(jīng)網(wǎng)絡(luò)的前向傳播公式如式(4)所示：

(4)

(5)

已知卷積層的誤差信號，可以用誤差反向求梯度來更新權(quán)重和偏置值，權(quán)重求梯度公式在MATLAB中可表示為式(6)，偏置的梯度公式如式(7)所示：

(6)

(7)

池化層在卷積神經(jīng)網(wǎng)絡(luò)中的主要作用是壓縮數(shù)據(jù)量，減少信息的冗余。同理，假設(shè)池化層的前后都連著卷積層，則池化層的前向傳播公式為

(8)

(9)

已知池化層的誤差信號，根據(jù)誤差更新池化層的權(quán)值β和偏置值b的梯度，公式如式(10)、式(11)所示：

(10)

(11)

2 實驗仿真

2.1 實驗數(shù)據(jù)

采用的火災(zāi)樣本數(shù)據(jù)集來自一位挪威的教授，其中含有110張正樣本的火災(zāi)圖片和510張復(fù)雜背景圖片的負樣本。為了減小正負樣本不均衡的缺點和卷積神經(jīng)網(wǎng)絡(luò)在小樣本數(shù)據(jù)集時容易產(chǎn)生過擬合的問題，使用平移，翻轉(zhuǎn)和旋轉(zhuǎn)3種方法對正樣本進行數(shù)據(jù)增強，圖3所示為其中一個樣本進行增強后的結(jié)果。進行數(shù)據(jù)增強方法后，設(shè)置70%的樣本為訓(xùn)練集，30%為測試集。實驗操作系統(tǒng)為windows10 64bit，CPU參數(shù)為Intel(R) Core(TM) i5-5200 CPU @2.20 GHz 2.20，內(nèi)存為4.00GB，使用pycharm、tensorboard作為實驗仿真平臺。

2.2 仿真結(jié)果分析

2.2.1 未進行數(shù)據(jù)增強的實驗仿真

首先使用原始數(shù)據(jù)集進行仿真，即正樣本圖像只有110張，背景圖像個數(shù)不變。由于樣本數(shù)據(jù)集的大小不一致，在做訓(xùn)練之前，先對輸入的火災(zāi)圖片做數(shù)據(jù)預(yù)處理，統(tǒng)一圖片大小為64×64像素。再運用圖2所示的模型進行火災(zāi)圖像的訓(xùn)練。實驗權(quán)值采用批量更新，設(shè)置batch_size值為32，反向更新的學(xué)習(xí)率為0.000 1，在實驗中加入dropout的方法，設(shè)置keep_prob的值為0.5，訓(xùn)練過程中所使用的參數(shù)如表1所示。

圖3 進行數(shù)據(jù)增強的圖片

表1 模型參數(shù)設(shè)置

對該模型的權(quán)值進行隨機初始化，然后對該網(wǎng)絡(luò)進行訓(xùn)練和測試，經(jīng)過2 000次迭代后，訓(xùn)練集和測試集的識別正確率對比曲線如圖4所示，loss損失對比曲線如圖5所示。

藍線為測試集；紅線為訓(xùn)練集

藍線為測試集；紅線為訓(xùn)練集

經(jīng)過兩次實驗比較，可以看出，原始小樣本訓(xùn)練集和測試集都有較高的識別率，測試集在95%左右，訓(xùn)練集從第780步開始就已經(jīng)達到100%的識別率，并且識別率一直保持不變。但由圖5可知，雖然在480步之前，訓(xùn)練集和測試集的誤差都在逐漸減小，但在480步之后，測試集的loss損失值突然增大，導(dǎo)致網(wǎng)絡(luò)無法收斂。說明雖然加入了dropout方法，但仍出現(xiàn)了過擬合情況。

2.2.2 進行數(shù)據(jù)增強后的實驗仿真

為比較出進行數(shù)據(jù)增強后網(wǎng)絡(luò)的性能，使用進行數(shù)據(jù)增強后的數(shù)據(jù)集做仿真實驗，設(shè)置70%為訓(xùn)練集，30%為測試集。訓(xùn)練的其他參數(shù)同未進行數(shù)據(jù)增強設(shè)置的網(wǎng)絡(luò)參數(shù)一樣。然后對該網(wǎng)絡(luò)隨機初始化，進行訓(xùn)練和測試，經(jīng)過2 000次迭代后，進行數(shù)據(jù)增強后的識別率對比如圖6所示，loss損失值對比如圖7所示。由圖7可知，隨著epoch的值的增加，網(wǎng)絡(luò)逐漸收斂。訓(xùn)練集正確率在0.871 2～0.904 2，測試集正確率在0.901 8～0.925 1。訓(xùn)練集的平均Loss損失值在收斂到0.19左右，測試集的平均Loss損失值收斂到0.20左右。實驗仿真對比結(jié)果如表2所示。

藍線為測試集；紅線為訓(xùn)練集

藍線為測試集；紅線為訓(xùn)練集

表2 仿真結(jié)果對比

2.3 數(shù)據(jù)增強改善過擬合的原因分析

基于卷積神經(jīng)網(wǎng)絡(luò)的圖像識別獲得較高的識別率，根本原因在于卷積神經(jīng)網(wǎng)絡(luò)模型的深度，深度越深，其表達能力越強，但會使得模型參數(shù)量增多，因此，需要海量的有標(biāo)簽樣本支撐訓(xùn)練，如果數(shù)據(jù)集太少，將導(dǎo)致深度模型記憶住有限的訓(xùn)練數(shù)據(jù)集，而不能泛化到測試集，從而出現(xiàn)過擬合情況。數(shù)據(jù)增強方法的本質(zhì)是增加了訓(xùn)練樣本的個數(shù)，因此可以改善過擬合情況的發(fā)生，對樣本不充足時，使用卷積神經(jīng)網(wǎng)絡(luò)具有一定重要的意義。

3 結(jié)論

依據(jù)火焰發(fā)生時背景復(fù)雜性的特點和卷積神經(jīng)網(wǎng)絡(luò)無需手工提取特征但依賴于大量樣本的特點，提出了基于數(shù)據(jù)增強的卷積神經(jīng)網(wǎng)絡(luò)火焰識別的方法。在使用卷積神經(jīng)網(wǎng)絡(luò)進行火焰圖片識別之前，先使用數(shù)據(jù)增強的方法對原始的圖片進行平移，翻轉(zhuǎn)和旋轉(zhuǎn)，增加樣本圖像的魯棒性，再使用卷積神經(jīng)網(wǎng)絡(luò)進行火焰低級特征和高級特征的提取，最后利用softmax分類器輸出識別結(jié)果。通過仿真實驗結(jié)果表明，該方法的確避免了卷積神經(jīng)網(wǎng)絡(luò)因數(shù)據(jù)集太小而導(dǎo)致發(fā)散的現(xiàn)象，使得網(wǎng)絡(luò)收斂，火焰的識別率達到了0.925 1。