多特征融合的火焰檢測算法

網絡出版地址：http://www.cnki.net/kcms/detail/23.1538.TP.20150302.1106.009.html

多特征融合的火焰檢測算法

吳茜茵1,2，嚴云洋1,2，杜靜1,2，高尚兵2，劉以安1

(1.江南大學 物聯網工程學院，江蘇 無錫 214122； 2. 淮陰工學院 計算機工程學院，江蘇 淮安 223003)

摘要：視頻火焰檢測是復雜場景下預防火災的重要方法。為了提高火焰的檢測效率和魯棒性,基于RGB和HSI顏色空間改進了火焰的顏色特征模型，有效地提取了疑似火焰區域；實驗對比分析了火焰不同的形狀結構特征，及其特征組合對火焰檢測有效性的影響，提出了一種融合圓形度、矩形度和重心高度系數的火焰檢測算法，然后將融合后的火焰特征輸入支持向量機(SVM)中進行分類。在Bilkent大學火災視頻庫上的實驗結果表明，該方法高效、快速，且能適用于多種場景。

關鍵詞：特征提取；特征融合；支持向量機；顏色模型；火焰檢測；圓形度；矩形度；重心高度

DOI:10.3969/j.issn.1673-4785.201406022

中圖分類號：TP391.41文獻標志碼：A

收稿日期：2014-06-13. 網絡出版日期：2015-03-02.

基金項目：教育部科學技術研究重大資助項目(311024)；國家自然科學基金資助項目(61402192)；江蘇省“六大人才高峰”資助項目(2013DZXX-023)；江蘇省“333工程”資助項目；江蘇省“青藍工程”資助項目；淮安市“533工程”資助項目(BRA2013208)；淮安市科技計劃資助項目(HAG2013057，HAG2013059).

作者簡介：

中文引用格式：吳茜茵，嚴云洋，杜靜，等. 多特征融合的火焰檢測算法[J]. 智能系統學報， 2015, 10(2): 240-247.

英文引用格式：WU Xiyin， YAN Yunyang， DU Jing， et al. Fire detection based on fusion of multiple features[J]. CAAI Transactions on Intelligent Systems, 2015, 10(2):240-247.

Fire detection based on fusion of multiple features

WU Xiyin1,2， YAN Yunyang1,2， DU Jing1,2， GAO Shangbing2， LIU Yi’an1

(1. School of Internet of Things Engineering, Jiangnan University, Wuxi 214122, China; 2. Faculty of Computer Engineering, Huaiyin Institute of Technology, Huaian 223003, China)

Abstract：Video fire detection is an important method to prevent fire disaster under complex circumstances. In order to improve the efficiency and robustness of fire detection, the color feature model can be improved based on RGB and HSI color space and the suspected flame area is extracted effectively. After analysis on the experimental results with different features of shape or structure of fire and the influence of their combined features on the validity of fire detection, a method of flame detection is proposed based on fusion of circularity, rectangularity and the coefficient of orthocenter height. Based on fusion of these flame features, the support vector machine (SVM) is used for classification. Experimental results on the fire videos at Bilkent University show that the proposed algorithm is efficient and fast for fire detection， and it could detect fire real-time under a variety of circumstances.

Keywords：feature extraction; feature fusion; support vector machine; color model; fire detection; circularity measures; rectangularity; orthocenter height

通信作者：嚴云洋. E-mail： areyyyke@163.com.

傳統的火災檢測大多基于傳感器，通過搜集火焰煙霧顆粒、火焰溫度和相對濕度等信息，對火災進行評估并做出響應[1]。但傳感器必須放在火焰附近才能有效使用，且不能用于對傳感器干擾較大的場景(如顆粒物較多的面粉廠)，因此難以適用于大空間、開闊空間以及復雜場景。除此之外，使用傳感器的火災檢測難以確認火災位置、火焰大小、火勢發展狀況等信息，給火災的預防和及時消防帶來困難。不同于傳統的傳感器檢測方法，視頻火焰檢測不僅適用于多種場景，而且能準確檢測出火焰的相關信息，對于早期的火焰檢測效果較好。

火焰的靜態特征基于單幀圖像獲得[2]，包括顏色特征、輪廓特征和結構特征等。火焰有著顯著的顏色特征，大部分視頻火焰的顏色檢測方法均基于RGB空間，還可結合HSI、HSV、YCbCr等顏色空間以得到更為準確的火焰區域。嚴云洋等[3]對RGB色彩模型進行了改進，通過RGB線性變換后的正交顏色特征提取疑似火焰區域，計算簡單有效，且可消除光照影響。Chen等[4]采用混合高斯模型對RGB和HSV顏色信息進行建模，并得到概率密度分布函數，再通過幀間差分法檢測運動像素。但該方法魯棒性較差，顏色與火焰相近的運動物體以及被火焰照亮的物體易被誤檢。Chen等[5]用RGB和HSI顏色模型對火焰進行動態分析，但由于該方法只在相鄰2幀間做了差分比較，因此不適用于判別噪聲較多的火焰視頻。Habiboglu等[6]改進了Chen等[5]的方法，提出了一種基于塊的時空協方差視頻火焰檢測系統，采用HSI和RGB空間提取火焰顏色區域，并采用SVM分類器訓練和測試。王瑩等[7]提出了一種基于RGB、HSV、YCbCr 3種顏色空間的火焰顏色模型，提取的火焰區域較為完整。火焰的輪廓和結構特征可用圓形度、矩形度、紋理、邊界粗糙度、重心高度系數等進行度量[8]。Chen等[9]利用圓形度表示火焰邊界的復雜度，區分邊界規則的干擾物(如燈光、煙頭等)。嚴云洋等[10]采用局部二值模式方法提取疑似火焰區域的多尺度紋理特征，并輸入到支持向量機中進行識別。Lei等[11]結合紋理、面積變化等特征，采用貝葉斯分類器進行火焰識別，但該方法對于行駛的車輛等運動干擾物區分度不大。Yang等[12]融合圓形度、質心位移、面積變化、周長變化以及圓形度變化等特征，輸入到支持向量機中進行分類。Zhang等[13]利用傅里葉描述子提取輪廓特征，并利用支持向量機進行判別，該方法能較好地區分太陽、燈泡等輪廓較為規則的干擾物。Zhao等[14]不僅提取了顏色、圓形度、輪廓、紋理等靜態特征，還提取了閃頻、面積變化等動態特征，共組成一個27維的特征向量放入支持向量機中進行檢測，該方法對森林火災的檢測結果較好。

本文基于RGB和HSI顏色空間，用總結的5條規則建立新的火焰色彩模型并提取疑似火焰區域，該方法能很好地排除黃綠色和灰色區域，且彌補火焰區域內部的空洞，得到較為完整的火焰區域。然后提出了一種融合多種形狀結構特征的快速火焰檢測方法，最后使用支持向量機進行分類識別。實驗結果表明，該方法檢測效果好，算法復雜度較低，具有較好的應用前景。

1火焰的顏色特征提取

受到溫度、燃燒物材料和燃燒充分程度等影響，火焰具有特殊的顏色分布規律，呈現為顯著且高亮的紅色和黃色，在RGB和HSI空間中，各分量間都有著特定的關系。Chen等[5]用RGB和HSI顏色模型對火焰進行動態分析，總結出的3條表達式如式(1)所示。

(1)

(2)

圖1　火焰顏色特征的提取 Fig.1　Sequence-base quantum on model

2火焰的形狀結構特征選擇及融合

火焰具有眾多形狀結構特征，如圓形度、矩形度、重心高度系數、邊界粗糙度、長寬比以及紋理特征等。通過顏色特征得到的候選火焰區域，還會包含一些干擾物，如車燈、路燈、太陽、紅色的煙霧、被照亮的樹干等。因此，需要從形狀結構特征著手，排除一些與火焰相似的非火焰區域。

2.1火焰的形狀結構特征

2.1.1圓形度

圓形度表示物體邊緣與圓的相似程度[12]，是一種物體邊緣輪廓復雜程度的度量，通過物體邊緣的總長度和物體所在區域的面積，可計算出物體的圓形度值C，如式(3)：

(3)

式中：S為物體所在區域面積，L為物體所在區域周長，即區域邊界的長度，該長度可從邊界鏈碼中得到。圓形度衡量了物體邊緣的復雜程度，其最小值取1，物體邊緣越復雜，圓形度的取值越高。由于與火焰顏色相似的車燈、路燈、太陽等物體邊緣復雜度不高，圓形度近似為1，而火焰燃燒時邊緣較為復雜，圓形度一般遠大于1，因此通過圓形度可區分邊緣復雜度不高的物體。

2.1.2矩形度

與圓形度相似，矩形度表示物體邊緣與矩形的相似程度[15]，矩形度R的公式定義如式(4)：

(4)

式中： SR為包含物體所在區域最小矩形的面積。矩形度反應了物體對其最小外接矩形的充滿程度。R的取值范圍為R∈(0,1]，火焰的矩形度一般在0.5左右。因此通過矩形度，不僅可以區分類似矩形的物體(矩形度接近為1)，還可以區分彎曲纖細的物體(矩形度接近為0)。

2.1.3長寬比

長寬比是包含物體所在區域的最小矩形寬度和長度比值[15]，可對細長物體和近似圓形或矩形的物體進行區分，RatioWL非常小(接近于0)或非常大(接近于無窮大)時表明該物體為細長型物體。長寬比RatioWL的公式定義如式(5)所示：

RatioWL=WR/LR

(5)

式中：WR為包含物體所在區域最小矩形的寬度，LR為包含物體所在區域最小矩形的長度。

2.1.4重心高度系數

重心高度系數體現了物體重心高度與物體總高度的關系[15]，其公式定義如式(6)所示：

RatioWC=HC/H

(6)

式中：HC為物體重心高度，H為物體總高度 。大部分形狀規則的物體重心位于中央，即RatioWC接近于0.5；火焰產生的大片濃煙等區域重心偏上，即RatioWC>0.5；而火焰的重心一般偏下，即RatioWC<0.5。由此可區分火焰與一些重心偏上和靠近中央的物體。

2.1.5邊界粗糙度

邊界粗糙度描述了物體輪廓的隨機性和粗糙性[16]，采用物體的周長與其外接凸包(convex hull，CH)周長的比值進行計算，可區分邊界較為光滑的物體。在一個實數向量空間V中，對于給定的集合X，所有包含X的凸集為K，則K的交集S為X的凸包，如式(7)所示：

(7)

在本文中，凸包是指包含某個疑似火焰連通域像素的最小凸集，即式(7)中X為疑似火焰連通域像素。則邊界粗糙度BR的計算公式如式(8)：

(8)

式中：LCH為凸包的周長，L為物體所在區域周長。

2.1.6紋理特征

紋理特征是一種分層特性，在火災發生時，由于火焰內部溫度的不均勻性，使得不同像素點的灰度級空間分布不同，從而導致火焰具有紋理分布的特性[10]。一般常見的火災主要有建筑火災、森林火災等，這些火災都屬于固體燃燒物火災，這類火災的火焰紋理大致可分為2層：火焰部分以及固體表面部分。

在火焰檢測中，紋理是一個較為顯著的形狀結構特征，除了可區分一些無紋理的干擾物(如紅旗等)，還可區分紋理與火焰差別較大的干擾物(如黃土地等)。本文采用Ojala等[17]提出的局部二值模式(local binary patterns，LBP)方法提取火焰紋理特征，根據文獻[10]的結論，結合統一、旋轉不變以及旋轉統一不變3種LBP方法所提取的紋理特征準確率最高，3種LBP方法的公式定義為

式中：gc為中心像素灰度值，gk為鄰域像素灰度值，r為鄰域半徑，p為鄰域像素點個數，ROR為向右循環算子，LBPp,r為LBP方法最初的計算公式。

2.2形狀結構特征的選擇及融合

由于Bilkent大學的火災視頻庫樣本較少，因此本文構建了一個圖片庫，其中100幅火焰圖片和100幅非火焰圖片作為訓練庫，300幅火焰圖片和200幅非火焰圖片作為檢測庫，圖片大小均為320×240，圖2為圖片庫中火焰圖片和非火焰圖片示例。

圖2　圖片庫中火焰圖片和非火焰圖片示例 Fig.2　Fire and non-fire image examples

通過式(2)得到疑似火焰區域后，提取上述的6類疑似火焰區域的形狀結構特征并歸一化，采用SVM方法進行小樣本訓練并分類。表1為各個形狀結構特征的分類結果比較，其中數字F1～F6代表了6類特征，分別為：圓形度、矩形度、長寬比、重心高度系數、邊界粗糙度和紋理特征。

表1　形狀結構特征分類結果

由表1可以看出，長寬比的分類效果最差，因此對形狀結構特征進行融合時摒棄長寬比特征；紋理特征的分類效果最好，但由于紋理特征的算法復雜度較高，平均處理時間遠大于其他特征，實時性較差，因此不采用紋理特征進行特征融合。綜上，選擇圓形度、矩形度、重心高度系數和邊界粗糙度4類特征進行融合，表2為4類特征11種融合方法的分類結果比較。

由表2可以看出，第7種特征融合和第11種特征融合方法效果最好，均為82.4%。第11種特征融合方法雖然對火焰圖片分類的準確率高，但對于非火焰圖片分類的準確率過低，因此選取第7種特征融合方法，即融合了圓形度、矩形度和重心高度系數3類特征的方法。這3類特征可排除不同的火焰干擾物。通過圓形度可排除車燈、路燈等物體邊緣復雜度不高的物體；通過矩形度可排除被照亮的樹干等長條形物體；通過重心高度系數不僅可以排除紅色煙霧等重心偏上的干擾物，還可排除太陽等重心位于中央的物體。綜上，融合了圓形度、矩形度和重心高度系數3類特征后，可排除大部分與火焰顏色相似的干擾物，獲取的火焰區域較為準確、可靠。

表2　特征融合方法分類結果

3基于支持向量機的火焰識別

SVM作為一種監督式分類方法，廣泛應用于模式識別的眾多領域中。SVM是一種二分類器，最早由Vapnik[15]提出，通過訓練數據集建立一個超平面，使得2類樣本以最大間隔分開，然后利用訓練結果對測試數據集進行分類。SVM不僅可以訓練高維空間向量，而且對于有限的數據訓練集有著較好的分類效果。除此之外，由于在實際應用中大部分數據集是非線性的，在SVM中提供了由低維空間到高維空間非線性映射的核函數機制，因此SVM不僅可用于線性分類，還適用于非線性分類。SVM的非線性核函數包括多項式核函數k1(x,xi)、徑向基核函數(radial basis function，RBF) k2(x,xi)和Sigmoid核函數k3(x,xi)，3種核函數定義為：

由表3看出，對火焰圖片分類效果最好的是多項式核函數，次佳的是RBF核函數，對非火焰圖片分類效果最好的是RBF核函數，總體而言分類效果最好的是RBF核函數。但由于多項式核函數的非火焰圖片分類準確率過低，因此選用RBF作為本文SVM的核函數。對RBF的懲罰參數和核參數δ優化后，將分類準確率提升至84.4%(即準確分類422張圖片)。

表3　 SVM不同核函數的分類結果

4實驗結果與分析

本文的實驗環境為MATLAB 2009a，基本配置為CPU：Intel(R) Core(TM) i3 3.07GHz，內存：1.74GB。本文采用的視頻來源于Bilkent大學的火災視頻庫(http://signal.ee.bilkent.edu.tr/VisiFire/index.html)，視頻分辨率均為320×240。表4描述了文中選取的6段視頻情況，視頻的幀樣本示例及檢測結果如圖3所示，4段火焰視頻和2段非火焰視頻的算法比較結果分別如表5和表6所示。其中TP代表火焰視頻的檢測率，FP代表漏檢率，TN代表非火焰視頻的正確率，FN代表誤檢率。

圖3　視頻的幀樣本示例及檢測結果 Fig.3　Video examples and detection results

視頻視頻情況描述1森林火焰,火焰區域較多,火焰的濃煙中常摻有火星。2森林火焰,火焰區域較多,并伴有濃煙。3室外火焰,墻面類似火焰顏色,抖動的樹葉,火焰受風的影響不斷偏移、抖動。4室外火焰,2個工人拿著火把不停走動,火焰附近的樹干被照亮。5夜晚公路視頻,小汽車從遠方駛來,車燈和被車燈照亮的地面與火焰顏色相似。6隧道視頻,攝像頭為隧道中的固定攝像頭,隧道中有強光照射,車輛快速行駛。

表5　火焰視頻檢測結果

表6　非火焰視頻檢測結果

文獻[12]融合了圓形度、質心位移、面積變化、周長變化以及圓形度變化等特征，在對于視頻中只含單個火焰且火焰輪廓變化較為劇烈時檢測效果較好，如視頻3。但當視頻中含有多個火焰且輪廓變化不大時，檢測效果欠佳，如視頻1、視頻2、視頻4。這是因為質心位移、面積變化、周長變化等特征在火焰相對穩定時不明顯，且對于多個火焰的情形，用文獻[12]的方法難以準確計算出每個連通域的質心、周長、面積等的變化信息。在非火焰視頻的檢測中，同樣存在多個疑似火焰區域的情況，因此文獻[12]誤檢率較高。文獻[13]利用傅里葉描述子提取輪廓特征，并結合邊緣腐蝕算法進行判別，對于輪廓特征明顯且未有物體遮擋的火焰視頻檢測效果較好，如視頻3。但由于火焰輪廓特征集中于火焰的上半部分，在有人或其他物體遮擋火焰上半部分時將造成輪廓特征缺失，從而導致檢測效果不理想，如視頻4。在非火焰視頻中，由于被汽車車燈照亮區域的輪廓與火焰相似，因而誤檢率較高。

本文算法融合了圓形度、矩形度和重心高度系數3種形狀結構特征，不僅能較好地檢測出多種情景下的火焰，而且不受火焰區域多少的約束。在視頻3中，由于火焰受風的影響形狀變化劇烈，有時重心高度系數接近于0.5甚至小于0.5，以至本文算法的檢測率有所降低。在非火焰視頻檢測中，本文算法均優于其他文獻，對于視頻5，由于小汽車的車燈和被車燈照亮的區域與火焰顏色相似，且形狀結構特征也較為相似，造成了較高的誤檢率。從整體檢測結果而言，本文檢測率較高，誤檢率較低。且由于本文使用的特征計算簡單，檢測速度較快，平均幀處理時間僅為25ms，適用于實時火焰檢測。

5結束語

本文通過改進的顏色特征提取疑似火焰區域，在此基礎上計算火焰的6種形狀結構特征，綜合準確率和處理時間兩方面衡量形狀結構特征的分類效果，并從中選出圓形度、矩形度以及重心高度系數進行融合識別。本文提出的算法雖然取得了較好的效果，但由于建立的圖片庫還沒有涵蓋所有的火焰形狀結構特征，誤檢率和漏檢率易受圖片庫的影響。針對以上問題，下一步將擴充現有的圖片庫，使得訓練樣本更為完整。在此基礎上，將引入一些較為顯著的動態特征，增強算法的檢測效果和魯棒性。

參考文獻:

[1]SASIREKHA M S P, RAMYA M S, PRASANTH M R M, et al. A survey about automatic flame/fire detection in videos[J]. International Journal of Research in Advent Technology, 2014, 2(2): 145-150.

[2]ZHANG L, LIU X. Fire recognition based on multiple features of video images[C]//Proceedings of the 2nd International Conference on Computer Science and Electronics Engineering. Paris, France, 2013: 1597-1600.

[3]嚴云洋, 唐巖巖, 郭志波, 等. 融合色彩和輪廓特征的火焰檢測[J]. 微電子學與計算機, 2011, 10: 137-141， 145.

YAN Yunyang, TANG Yanyan, GUO Zhibo, et al. Fusion of flame color and its contour for fire detection[J]. Microelectronics & Computer, 2011, 10: 137-141， 145.

[4]CHEN L H, HUANG W C. Fire detection using spatial- temporal analysis[C]//Proceedings of the World Congress on Engineering. London, UK, 2013: 2222-2225.

[5]CHEN T H, WU P H, CHIOU Y C. An early fire-detection method based on image processing[C]//International Conference on Image Processing (ICIP). [S.l.], China, 2004: 1707-1710.

[6]HABIBOGLU Y, GUNAY O, CETIN A E. Flame detection method in video using covariance descriptors[C]//IEEE International Conference on Acoustics Speech and Signal Processing (ICASSP). Prague, Czech, 2011: 1817-1820.

[7]王瑩, 李文輝. 基于多特征融合的高精度視頻火焰檢測算法[J]. 吉林大學學報： 工學版, 2010(3): 769-775.

WANG Ying, LI Wenhui. High-precision video flame detection algorithm based on multi-feature fusion[J]. Journal of Jilin University： Engineering and Technology Edition, 2010(3): 769-775.

[8]MENGXIN L I, WEJING X U, KE X U, et al. A new hybrid feature extraction method based on accurate motion area[J]. Journal of Electrical Engineering, 2013, 11(10): 5563-5570.

[9]CHEN J, HE Y, WANG J. Multi-feature fusion based fast video flame detection[J]. Building and Environment, 2010, 45(5): 1113-1122.

[10]嚴云洋, 唐巖巖, 劉以安, 等. 使用多尺度LBP特征和SVM的火焰識別算法[J]. 山東大學學報： 工學版, 2012(5): 47-52， 58.

YAN Yunyang, TANG Yanyan, LIU Yi’an, et al. Flame detection based on LBP features with multi-scales and SVM[J]. Journal of Shandong University： Engineering Science, 2012(5): 47-52， 58.

[11]LEI W, LIU J. Early fire detection in coalmine based on video processing[C]//International Conference on Communication, Electronics and Automation Engineering. Berlin, German, 2013: 239-245.

[12]YANG X, WANG J, HE S. A SVM approach for vessel fire detection based on image processing[C]//Proceedings of International Conference on Modelling, Identification & Control (ICMIC). Wuhan, China, 2012: 150-153.

[13]XI Z, FANG X, ZHEN S, et al. Video flame detection algorithm based on multi-feature fusion technique[C]// Control and Decision Conference (CCDC). Guiyang, China, 2012: 4291-4294.

[14]ZHAO J, ZHANG Z, HAN S, et al. SVM based forest fire detection using static and dynamic features[J]. Computer Science and Information Systems, 2011, 8(3):821-841.

[15]閔永林. 大空間智能消防水炮滅火系統研究[D]. 上海: 上海大學, 2010: 58-73.

MIN Yonglin. Intelligent water fire monitor systems applied in large space places[D]. Shanghai: Shanghai University, 2010: 58-73.

[16]XUAN T T, KIM J M. Fire flame detection in video sequences using multi-stage pattern recognition techniques[J]. Engineering Applications of Artificial Intelligence, 2012, 25(7): 1365-1372.

[17]OJALA T, PIETILAINEN M, MAENPAA T. Multi-resolution gray-scale and rotation invariant texture classification with local binary patterns[J]. Pattern Analysis and Machine Intelligence, 2002, 24(7): 971-987.

吳茜茵，女，1990年生，碩士研究生, CCF會員, 主要研究方向為數字圖像處理、模式識別。

嚴云洋，男，1967年生，教授，博士， 江蘇省計算機學會常務理事及人工智能專委會副主任委員，主要研究方向為數字圖像處理、模式識別，發表學術論文80余篇，其中被SCI、EI收錄40余篇。

杜靜，女，1988年生，碩士研究生, 主要研究方向為數字圖像處理、模式識別。