基于多特征融合的戶外視頻煙霧檢測(cè)算法

王習(xí)越，陶青川（四川大學(xué)電子信息學(xué)院，成都610064）

基于多特征融合的戶外視頻煙霧檢測(cè)算法

王習(xí)越，陶青川
（四川大學(xué)電子信息學(xué)院，成都610064）

針對(duì)目前戶外視頻煙霧檢測(cè)的檢測(cè)率低、誤檢率高的情況，提出一種新的基于多特征融合的戶外視頻煙霧檢測(cè)的算法。在YUV空間下采用碼書(shū)模型進(jìn)行背景建模，提取出疑似煙霧區(qū)域；對(duì)疑似區(qū)域進(jìn)行煙霧的顏色、模糊性、形狀以及區(qū)域中心穩(wěn)定性檢測(cè)；將各個(gè)特征的檢測(cè)結(jié)果進(jìn)行貝葉斯分類器融合，并用于判斷煙霧是否存在。實(shí)驗(yàn)表明，該檢測(cè)算法魯棒性高、能夠準(zhǔn)確地檢測(cè)出視頻圖像中出現(xiàn)的煙霧，具有一定的實(shí)用性。

本模型；多特征融合；貝葉斯分類；煙霧檢測(cè)

0　引言

隨著圖像處理技術(shù)的日趨成熟，基于視頻圖像的煙霧檢測(cè)技術(shù)已受到各界的廣泛關(guān)注并開(kāi)展了相關(guān)研究[1~4]。Chen[5]通過(guò)對(duì)大量煙霧樣本進(jìn)行分析，歸納出煙霧的顏色模型，利用該模型實(shí)現(xiàn)了對(duì)煙霧的顏色檢測(cè)并取得較好的檢測(cè)效果。鄭璐[6]提出了一種基于顏色和運(yùn)動(dòng)的煙霧檢測(cè)算法，在一定程度上提高了煙霧識(shí)別的成功率，但不能準(zhǔn)確地排除與煙霧顏色類似的運(yùn)動(dòng)物體的干擾。袁非牛[7]提出了一種通過(guò)計(jì)算基于累積量和主運(yùn)動(dòng)方向的視頻煙霧檢測(cè)方法，該算法具有較強(qiáng)的魯棒性，但在強(qiáng)風(fēng)、非常規(guī)拍攝角度等條件下會(huì)出現(xiàn)明顯的誤報(bào)。Maruta[8]提出采用共生矩陣檢測(cè)候選區(qū)域中的紋理信息的方法，但此方法需要大量的先驗(yàn)參數(shù)且算法過(guò)于冗余，實(shí)用性小。

本文提出了一種采用貝葉斯分類器融合多特征的檢測(cè)算法。實(shí)驗(yàn)結(jié)果表明，本文提出的檢測(cè)算法精度高、適應(yīng)性廣，能夠準(zhǔn)確地檢測(cè)出視頻圖像中出現(xiàn)的煙霧，具有較好的實(shí)用性。

1　算法框架

本文算法主要由3部分組成：（1）碼書(shū)背景建模提取運(yùn)動(dòng)前景；（2）顏色、模糊性、形狀、區(qū)域中心穩(wěn)定性特征提取判定；（3）貝葉斯分類器融合判定。算法流程如圖1所示。

圖1　算法流程圖

為了達(dá)到對(duì)煙霧檢測(cè)的目的，首先需要對(duì)視頻序列圖像中的疑似煙霧區(qū)域進(jìn)行分割處理。本文采用基于碼書(shū)模型進(jìn)行提取運(yùn)動(dòng)前景。碼書(shū)模型[9]是一種基于聚類思想的背景模型，通過(guò)對(duì)視頻序列進(jìn)行連續(xù)采樣，將每個(gè)像素點(diǎn)顏色的扭曲度和亮度信息來(lái)生成碼字并將代表像素的碼字聚類成碼書(shū)，從而分割出運(yùn)動(dòng)前景。為了適應(yīng)環(huán)境的變化，在檢測(cè)過(guò)程中需要對(duì)碼書(shū)進(jìn)行更新和冗余碼字的消除。傳統(tǒng)的碼書(shū)通常在RGB顏色空間建立，然而RGB顏色空間中R、G和B三個(gè)分量具有較高的相關(guān)性，沒(méi)有實(shí)現(xiàn)亮度與色度的完全分離，可能會(huì)出現(xiàn)亮度的變化，導(dǎo)致色度的變化從而造成誤判現(xiàn)象的發(fā)生。因此，為了增強(qiáng)算法的抗擾動(dòng)性和自適應(yīng)性，本文將碼書(shū)模型引入到更能有亮度和色度的YUV顏色空間中。在YUV空間中Y表示亮度，U和V則表示色度，這種亮度與色度分離的顏色模型成功的解決了RGB空間下造成的低亮度像素在逐漸變亮的過(guò)程中可能產(chǎn)生誤判的問(wèn)題。同時(shí)在YUV顏色空間下建立的碼書(shū)模型不需要計(jì)算像素與碼書(shū)之間的垂直距離和重新計(jì)算亮度分量，大大提高運(yùn)算速度。

假設(shè)X={x1，x2，…，xN}是一個(gè)像素的序列采樣值，C={c1，c1，…，cL}是此像素點(diǎn)的L個(gè)碼字。根據(jù)每個(gè)像素點(diǎn)可能出現(xiàn)的狀態(tài)，其碼字的個(gè)數(shù)也不相同。每個(gè)碼字由〈Yi，Ui，Vi，fi，λi，qi＞這6個(gè)元素構(gòu)成，其中Yi表示碼字對(duì)應(yīng)像素的亮度值；Ui和Vi表示碼字對(duì)應(yīng)像素的色度值；fi表示碼字在圖像序列訓(xùn)練過(guò)程中出現(xiàn)的次數(shù)；λi表示碼字最長(zhǎng)沒(méi)有出現(xiàn)的跨度；qi表示碼字最后出現(xiàn)的時(shí)間。其中，色彩扭曲度colordist（xt，ci）定義：

碼書(shū)模型建模的基本流程是：

（1）初始化，將每個(gè)像素的碼本置空。

（2）依次讀入每幀圖像，并對(duì)當(dāng)前幀的每個(gè)像素逐一處理，維護(hù)該像素的碼書(shū)。

（3）計(jì)算像素點(diǎn)的顏色扭曲度和亮度扭曲度是否滿足colordist（xt，ci）≤εd和brightness（xt，ci）=true，這兩個(gè)判決條件（其中εd為顏色扭曲度閾值）。以便確定是否更新或新建新的碼字。

（4）若沒(méi)有匹配的碼字或者碼書(shū)為空，創(chuàng)建一個(gè)新的碼字并進(jìn)行如下初始化：

ci=〈Y，U，V，1，t-1，t＞。如果匹配成功，則對(duì)碼書(shū)中的匹配碼字進(jìn)行更新，公式如下：

2　多特征提取及判定

2.1顏色特征

通常情況下，火災(zāi)發(fā)生時(shí)產(chǎn)生的煙霧的顏色大部分為白色、灰色、黑色。根據(jù)姚太偉[10]等人的實(shí)驗(yàn)統(tǒng)計(jì)，煙霧的R、G、B通道的值相差不大，且煙霧的灰度值大致在80~220范圍之內(nèi)。因此歸納出煙霧RGB空間顏色模型：

2.2煙霧模糊特征

煙霧本身具有半透明性，伴隨著生長(zhǎng)會(huì)擴(kuò)散并逐漸遮擋背景區(qū)域，而其他非霧狀物質(zhì)通常不具有這樣的特性，這一現(xiàn)象在頻率域表現(xiàn)為高頻能量減少，低頻能量增加。因此，基于這一特性可作為判別煙霧圖像和非煙霧的一個(gè)重要依據(jù)。本文利用二維離散小波變換提取這一特征。

原始圖像經(jīng)過(guò)二維離散小波變換后分解成4個(gè)部分：三幅高頻分量子圖像和一幅低頻分量子圖像；其中，三幅高頻分量子圖像分別為水平方向（HL）、豎直方向（LH）和對(duì)角方向（HH）紋理信息，如圖4所示。其中，低頻子圖LL幾乎包含了原始圖像的所有信息，而HL、LH、HH子圖則只是顯示了原始圖像的一些部分細(xì)節(jié)信息。隨著煙霧的產(chǎn)生與擴(kuò)散，會(huì)將圖像中的紋理和邊緣變得模糊起來(lái)，三幅高頻分量子圖像的能量值減小，通過(guò)檢測(cè)計(jì)算疑似煙霧區(qū)域的前景和背景的高頻能量的比值來(lái)確定是否有煙霧產(chǎn)生。

圖4　煙霧圖像的二維小波變換

假設(shè)Wn（x，y）為視頻序列的第n幀采集圖像中所有高頻分量子圖能量值疊加構(gòu)成的一幅復(fù)合圖像，公式表示如下:

則用En表示第n幀煙霧疑似區(qū)域圖像的高頻能量，Enb表示煙霧疑似區(qū)域?qū)?yīng)背景圖像經(jīng)二次小波變換后的高頻能量。

其中，M，N分別表示經(jīng)碼書(shū)模型提取的疑似矩形區(qū)域的長(zhǎng)、寬值。然后計(jì)算疑似煙霧的前景和背景的高頻能量的比值：

2.3形狀特征

與其他規(guī)則的物體運(yùn)動(dòng)不同，煙霧在溫度和壓力的作用下，煙霧不斷向外膨脹，其邊緣輪廓始終呈現(xiàn)出一種不規(guī)則狀態(tài)，如圖5所示。

圖5　煙霧邊緣的不規(guī)則性

基于這一特征，可以去除煙霧顏色類似的規(guī)則物體的干擾。通過(guò)引入公式（11）作為判決依據(jù)。其中，SEP表示疑似區(qū)域的周長(zhǎng)，通過(guò)對(duì)疑似區(qū)域進(jìn)行Sobel邊緣檢測(cè)統(tǒng)計(jì)邊緣像素點(diǎn)的個(gè)數(shù)來(lái)獲取;STP表示疑似區(qū)域的面積，通過(guò)統(tǒng)計(jì)疑似區(qū)域的像素點(diǎn)的個(gè)數(shù)獲取;閾值記為STD。

圖6　煙霧區(qū)域中心穩(wěn)定性

2.4煙霧區(qū)域中新位置穩(wěn)定特征

煙霧雖然具有擴(kuò)散性，但煙霧的區(qū)域中心通常也具有相對(duì)的穩(wěn)定性，如圖6所示。通過(guò)計(jì)算相鄰幀數(shù)煙霧區(qū)域中心點(diǎn)位置的變化率來(lái)描述這種相對(duì)穩(wěn)定性。在視頻序列中，計(jì)算相鄰幀的疑似區(qū)域中心點(diǎn)的位置變化快慢，并判斷該疑似區(qū)域中心點(diǎn)位置是否具有這種相對(duì)的穩(wěn)定性。

以一塊疑似煙霧區(qū)域?yàn)槔崛≡撘伤茀^(qū)域的所有像素點(diǎn)的坐標(biāo)（xnum，ynum），用num表示提取的疑似區(qū)域的像素點(diǎn)的個(gè)數(shù)。計(jì)算每幀的中心點(diǎn)的統(tǒng)計(jì)平均值（x，y）。

判斷相鄰幀的歐氏距離d，

2.5貝葉斯分類器融合

貝葉斯分類器[11]是一種結(jié)構(gòu)簡(jiǎn)單、效果明顯的分類器，其分類原理是通過(guò)對(duì)某對(duì)象的先驗(yàn)概率，利用貝葉斯公式計(jì)算出其后驗(yàn)概率，即該對(duì)象屬于某一類的概率，選擇具有最大后驗(yàn)概率的類作為該對(duì)象所屬的類。

工作流程概況如下：

（1）假設(shè)每個(gè)數(shù)據(jù)樣本都可以用n維的特征向量X（x1，x2，…，xn）表示，且特征向量的每個(gè)特征值是對(duì)樣本n個(gè)屬性Ai（i∈[1…n]）的度量；

（2）若分類器Ci（i∈[1…m]）含有m個(gè)類，對(duì)于給定的未知樣本X，分類器將預(yù)測(cè)該樣本屬于分類集中不同類的后驗(yàn)概率，后驗(yàn)概率最大的類即為該樣本所屬的類型。公式如下：

通常認(rèn)為分類器所分的類的先驗(yàn)概率為等概率，即P（C1）=P（C2）=…=P（Cm）。另外P（X）對(duì)所有的類為常數(shù)，則計(jì)算P（Ci|X）的值即為計(jì)算P（X|Ci）P（Ci）的值。由于樣本的屬性值之間是互相獨(dú)立的，所以：

在戶型內(nèi)設(shè)計(jì)方面，設(shè)計(jì)師以戶型功能要求為依據(jù)，對(duì)裝配式建筑戶型進(jìn)行布置，從結(jié)構(gòu)庫(kù)中選取相應(yīng)的結(jié)構(gòu)戶型，結(jié)合戶型功能、結(jié)構(gòu)設(shè)計(jì)方案等對(duì)設(shè)備模塊進(jìn)行選擇，使建筑、戶型能夠相互匹配，以免出現(xiàn)構(gòu)件不合，相互碰撞等情況。在對(duì)戶型內(nèi)設(shè)計(jì)過(guò)程中，最為關(guān)鍵的便是剪力墻體系的模塊化設(shè)計(jì)，該部分設(shè)計(jì)量較大，采用系統(tǒng)化、標(biāo)準(zhǔn)化的戶型庫(kù)能夠在很大程度上使協(xié)同效率提高，從而達(dá)到模塊精準(zhǔn)化的設(shè)計(jì)目標(biāo)。

其中，P（Xk|Ci）的值由訓(xùn)練樣本生成的混淆矩得到。

本文選取正樣本為煙霧視頻（視頻1~視頻5）各段的前100幀圖像，負(fù)樣本為干擾視頻（視頻6~視頻7）兩段視頻的前100幀圖像。首先通過(guò)對(duì)不同環(huán)境條件下的煙霧和非煙霧樣本進(jìn)行特征提取，統(tǒng)計(jì)煙霧與非煙霧的顏色、模型、形狀以及區(qū)域中心穩(wěn)定性4個(gè)特征的混淆矩陣；然后對(duì)這4個(gè)混淆矩陣分別進(jìn)行歸一化處理，以查找的方式計(jì)算得到各個(gè)特征的條件概率即P（Xk|Ci）的值；將求得的條件概率P（Xk|Ci）代入公式（15），計(jì)算后驗(yàn)概率P（Ci|X）最大的值，即可判定是否為煙霧。

3　實(shí)驗(yàn)數(shù)據(jù)與分析

為了驗(yàn)證算法的實(shí)用性與有效性，采用VS 2008開(kāi)發(fā)平臺(tái)，MATLAB，Pentium Dual-Core CPU，E5300@ 2.6 GHz（2CPUs）處理器，3G內(nèi)存，Window XP操作系統(tǒng)的臺(tái)式機(jī)。文中所選的視頻部分為來(lái)自網(wǎng)站，部分來(lái)自自行拍攝視頻。此次共列舉7組視頻，前5組為煙霧視頻，后2組為干擾視頻。總計(jì)2200幀，其中煙霧圖像1660幀。非煙霧圖像540幀。由于煙霧檢測(cè)目前沒(méi)有統(tǒng)一的判定標(biāo)準(zhǔn)。由此，本文定義正檢率和誤檢率這兩個(gè)參數(shù)。

實(shí)驗(yàn)1單特征檢測(cè)測(cè)試結(jié)果

對(duì)各個(gè)視頻的前100幀分別使用單特征進(jìn)行檢測(cè)（如表3）。特征1~特征4分別代表顏色特征、小波能量特征、形狀特征以及區(qū)域中心穩(wěn)定性特征。

實(shí)驗(yàn)2同類算法對(duì)比實(shí)驗(yàn)

將實(shí)驗(yàn)1中單特征檢測(cè)結(jié)果作為訓(xùn)練的輸出，則生成4個(gè)檢測(cè)特征的概率混淆矩陣。

本文提出的貝葉斯融合算法與文獻(xiàn)[3]方法、文獻(xiàn)[6]方法這3類檢測(cè)方法的檢測(cè)結(jié)果如表3和表4所示。

從表1、表2和表3、表4可以看出，單獨(dú)的特征檢測(cè)算法無(wú)法達(dá)到高檢測(cè)率、低誤檢率的性能要求，通過(guò)特征的融合是可以有效地提高檢測(cè)率、降低誤檢率。實(shí)驗(yàn)表明，本文所提算法不僅能夠準(zhǔn)確地識(shí)別出白煙、青煙，黑煙。即使在強(qiáng)風(fēng)和其他類似煙霧的干擾物存在的情況下也能夠較為準(zhǔn)確地識(shí)別出煙霧目標(biāo)。且平均處理速度為20 fps能夠達(dá)到實(shí)時(shí)的要求。

4　結(jié)語(yǔ)

本文提出的基于多特征融合的戶外煙霧檢測(cè)的算法對(duì)煙霧檢測(cè)具有很高的識(shí)別率，較低的誤檢率，克服單一特征檢測(cè)煙霧圖像的不足。該檢測(cè)算法能夠適應(yīng)戶外環(huán)境，能夠有效地排除與煙霧顏色類似的運(yùn)動(dòng)物體造成的干擾，準(zhǔn)確地檢測(cè)出煙霧圖像。今后，將重點(diǎn)研究煙霧與水蒸氣、霧氣的細(xì)小差異，以消除類似氣體現(xiàn)象的干擾以提高檢測(cè)精度。

表1　煙霧視頻單特征正檢結(jié)果

表2　干擾視頻單特征誤檢結(jié)果

表3　各種算法的正檢率對(duì)比

表4　各種算法的誤檢率對(duì)比

[1]Fang LM，XuAJ，TangLH.A Study of the Key Technology of Forest Fire Prevention Based on a Cooperation of Video Monitor and[c]. Proceedings of International Conference on Natural Computation.Jinan，China:IEEE Computer Society Press，2008:391~396

[2]Tripathi A K.Single Image Fog Removal Using Bilateral Filter[C].Proc.of IEEE International Conference on Singnal Processing，Computing and Control.[S.1.]:IEEE Press，2012

[3]Jiao，Run-hai.Smoke Detection Based on Frequency of Smoke's Contour.（School of Control and Computer Engineering，North China Electric Power University，No.2，Beinong Road，Changping District，Beijing 102206，China）;Li Wei，Qi Xiang，Li，Yanhua Source: ICIC Express Letters，v 7，n 11，p 2933~2940，2013

[4]Dongil Han Byoungmoo Lee.Flame and Smoke Detection Method for Early Real-Time Detection of a Tunnel Fire[J].Fire Safety Journal，2009，44（7）:951~961

[5]Thou-Ho Chen，Yen-Hui Yin，Shi-Feng Huang，Yan-Ting Ye“The Smoke Detection for Early Fire-Alarming System Base on Video Processing”2006 IEEE International Conference on Intelligent Information Hiding and Multimedia Signal Processing，2006：427~430

[6]]鄭璐，陳俊周.基于運(yùn)動(dòng)和顏色的視頻煙霧檢測(cè)算法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2010（21）31:4650~4652

[7]Fei-niu Yuan.A Fast Accumulative Motion Orientation Model Based on Integral Image for Video Smoke Detection[J].Pattern Recognition Letters，2008，29（7）:925~932

[8]Maruta H，Kato Y，Nakamura A，et al.Smoke Detection in Open Areas Using its Texture Features and Time Series Properties[C].KualaLumpur:IEEE International Symposiumon Industrial Electronicsand Applications，2009:1904~1908

[9]Kim K，Chalidabhongse T H，Harwood D，et al.Real Time Foreground Background Segmentation Using Codebook Model[J].Real-Time Imaging，2005，11（3）:172~185

[10]姚太偉，王慧琴，胡燕.基于小波變換和稀疏光流法的火災(zāi)煙霧檢測(cè)[J].計(jì)算機(jī)工程，2012（3）

[11]Piccinini P，Calderara S，Cucchiara R.Reliable Smoke Detection in the Domains of Image Energy and Color［C］.Proceedings of IEEE International Conference on Image Processing.San Diego，USA:IEEE Computer Society Press，2008:1376-1379.[DOI:10.1109/ICIP. 2008.4712020]

Outdoor Video Smoke Detection Algorithm Based on Multi-Feature Fusion

WANG Xi-yue，TAO Qing-chuan
（College of Electronic and Information Engineering，Sichuan University，Chengdu 610064）

Proposes new multiple feature fusion based smoke detection algorithm,which deals with situations like low detection rate and wrong detection in outdoor videos.Uses code book in YUV for background modeling to extract smoke area.Detects the color,shape,and center position of the suspicious smoke area.Carries out the fusion on the detect outcome using Bayesian classifiers.Takes the fusion result as a symbol to judge whether the smoke actually exist.Experiments show that the proposed algorithm is robust and accurate in smoke detection in video images.

Code Book;Feature Fusion;Bayesian Classification;Somke Detection

1007-1423（2015）11-0078-06

10.3969/j.issn.1007-1423.2015.11.016

王習(xí)越（1986-），男，四川人，在讀碩士研究生，研究方向?yàn)橛?jì)算機(jī)應(yīng)用與圖像識(shí)別

陶青川（1972-），男，四川人，副教授，研究方向?yàn)閳D像處理、機(jī)器視覺(jué)、模式識(shí)別等

2015-03-05

2015-03-30