基于幀間動態和紋理特征的郵輪艙室火焰識別*

藺 瑞 俞孟蕻 宋英磊 袁 偉

（江蘇科技大學電子信息學院 鎮江 212003）

1 引言

火焰分析在探測真實火災中占有重要地位，火焰有許多的特征，例如顏色、形狀變化、閃爍和紋理等。單一特征的使用，火焰與類火焰色物體會產生混淆。因此，需要有效的火焰探測方法來理解真實的火焰?？紤]到火焰的動態性和紋理是兩個重要的火焰特性，對兩者的分析非常重要。近年來提出了許多火焰探測方法。文獻［1］提出基于Ohta 顏色空間結合動態閃爍特性的火焰探測方法，可以排除不具有火焰閃爍特征的前景，但是對于同樣閃爍特性的干擾項難以排除。文獻［2］提出了基于灰度差分統計的紋理特征的火焰探測，對不同火焰紋理所處的時期識別率較高，探測速度較快。文獻［3］提出了時間維度下的靜態紋理特征結合加權SVM的火焰探測方法，加入了時間維度，靜態紋理特征具有一定動態性，多火焰的識別和檢測效果有較大提升。上述文獻的火焰檢測方法都取得了不錯效果，但是特征的提取以及環境較為的單一。本文基于多尺度顏色空間建模，研究分析了火焰的動態特性和混合紋理特征，利用極限學習機進行綜合學習，所得模型實現火災的有效識別。

2 火焰探測方法

本文提出的火焰檢測方法如圖1 所示。首先在顏色空間中進行顏色濾波，將輸入圖像中具有火焰狀的顏色區域分割為“候選火焰區域”。“候選火焰區域”包括火焰和類火焰顏色對象。然后通過靜動態紋理分析，從“候選火焰區域”中提取靜態和動態紋理特征。靜態紋理特征包括通過混合紋理描述符獲得的特征。動態紋理特征包括二維時空小波分解和三維體積小波分解得到的紋理特征。提取的特征用于極限學習機（ELM）分類器作分類處理，經過訓練的ELM 分類器可以有效地將分割出的候選火焰區域預測為“火焰”或“非火焰”。

圖1 火焰探測方法框圖

顏色是火焰的靜態特征之一，火焰在背景光源足夠亮的時候，攝像機捕捉到的火焰在色調上白色偏少，主要顏色為紅色到黃色，對應到RGB 空間就是R＞G＞B。此外，在RGB 圖像下，火焰的R 通道成分占主要地位，R 成分大于閾值Rt。由于RGB 色彩空間較為依賴于背景光源亮度，光照條件變化，則疑似火焰像素點的提取效果變差。圖像處理中，一般轉換為其他色度空間。在YCbCr色彩空間，顏色分量的相關性較小，可以有效的表征火焰特征，其判據條件為Y（x，y）＞Cb（x，y），Cr（x，y）＞Cb（x，y）。在背景光源較強的時候，其散發光的飽和度較低，通過對飽和度S 分量設定閾值St，可以比較有效的排除光源的干擾。除了飽和度，背景光源明亮與否，火焰會呈現出不同的色調H，取H 大于其均值Hm，因而引入HSV色彩模型。

圖2 色彩空間模型

綜上所述，本文所采用的色彩空間為三者復合的多色彩空間模型，根據大量實驗統計結果［4］，式中 Rt和 St的取值范圍分別為 115～135 和 55～65 之間。對應的公式如下：

下面通過兩種不同類型的火焰圖像，對所建立的色彩空間模型進行驗證對比，對比如圖2。

從實驗結果，我們可以發現三個色彩空間的結合，可以更好地排除干擾源，但是加入HSV 色彩空間判據后，有的火源區域被過度減除。通過比對，過度減除的圖片，環境整體光線較為昏暗，火焰顏色飽和度比較高，HSV 色彩空間的探測效果不理想，疑似火焰區域幾乎被完全剔除。此時，RGB-YCbCr模型就可以達到較好的效果。針對這種情況，本文設置一個明暗度閾值（intensity），若所處空間的明暗達到一定的臨界值，HSV色彩空間可以發揮較好的作用時，結合HSV 色彩空間判據，達到較好的判斷效果。明暗度閾值取所有像素灰度值的均值，經實驗，明暗度閾值THi在28～32 之間，具體如式（2）。

火焰顏色模型取得了不錯的效果，但是圖像中的與火焰顏色相似的類火區域，通常也被提取為真實的火焰區域。這種情況來源于兩個方面：與火焰顏色相同的非火災物體、與火災類似的背景光源。這些情況使得火焰區域的提取過程復雜且不可靠。

3 動態和紋理特征提取

針對火焰候選區域的特征提取，很多方法都被提出來。由于火焰具有動態性，因而火焰的動態特性是一個重要的判據。本文研究中主要的干擾項是金屬墻壁的火焰光反射，由于其同樣具有運動性且運動頻率與火焰相似，所以純動態特征無法滿足要求，紋理特征是探測真實火焰的重要特征，它在噪聲、旋轉和光照變化方面具有不變性［4］。因而本文結合使用了動態特征和紋理特征。本文研究的動態特征有面積變化率和相似性，紋理特征有擴展局部二值模式（ELBP）和結合局部二值模式的離散小波變換（ELBP-DWT）。

3.1 火焰面積變化率

火焰發生時，其形狀和大小在動態變化著，在其初期呈連續增長的趨勢。另一方面許多干擾源，如陽光、燈光等的面積保持相對穩定。因此，火焰面積變化率可以作為識別火焰膨脹變化的重要標準?；鹧婷娣e變化率可根據相鄰幀的火焰像素變化來計算，具體如式（3）所示，I1和I2分別是前后兩幀的圖像，NI1和NI2分別是前后兩幀圖像探測到的火焰像素數量。

對火焰、燈光和燭光等物體實驗，火焰的面積變化率在［0.01，0.25］內波動，燈光和陽光等干擾的相似度在［0.001，0.045］內小幅波動。

3.2 火焰相似性

相鄰兩幀火焰的形狀相似性也遵循一定的原則。使用Ii-1(x，y)，Ii(x，y)分別表示從幀i-1 和i的圖像獲得的火焰二值圖像。如果（x，y）的像素被確定為火焰像素點，則像素點Pi-1(x，y) 或者Pi(x，y)的值為1，否則其值為0。Ii-1和Ii之間的火焰相似性如式（4）。

對火焰、燈光和陽光等實驗，火焰的相似度在［0.75，1］內大幅周期波動，太陽，燈光等干擾的相似度在［0.94，1］內小幅波動。

3.3 擴展局部二值模式ELBP

近年來，局部二值模式特征提取方法在紋理分析中取得了顯著的進展。文獻［5］引入了LBP紋理操作符，它對紋理圖像中的像素信息進行編碼。傳統的LBP 算子，不同的結構模式下，相同的LBP 編碼值，很難說具有相同的局部結構。因此，有必要提高LBP的識別能力。文獻［6］提出了完全局部二值模式描述符（CLBP），增加了基于像素強度的描述，對噪聲的敏感度低。文獻［7］提出的ELBP（擴展局部二值模式）框架具有更好的特性和有效性。其3×3 局部區域的中心像素值被其平均局部灰度值取代。與中心灰度值運算相比，平均灰度值對光照變化和噪聲的魯棒性更強。ELBP像素強度和差異描述子的數學公式如等式（5）和（6）所示。

式中xr，n為鄰域像素點的值，為鄰域像素點的均值。

圖3 非火焰與火焰的LBP紋理描述（上行為火焰區域，下行非火焰區域）

比對結果發現，相比于LBP 和CLBP 的圖像描述，ELBP 更為有效地描述了隨機強度變化的火焰紋理。將傳統的紋理描述符（如DWT）應用于LBP、CLBP和ELBP圖像描述，可以形成一種混合紋理描述。這樣有助于區分火焰和類似火焰的干擾。

3.4 離散小波變換DWT

DWT 是用于圖像分層分解的數學工具，它提供了空間和頻率信息。因此，它在圖像處理應用中得到了廣泛的應用。2D-DWT 的元素有尺度變換函數φ(x，y)和三個小波函數ψH(x，y)、ψV(x，y)和ψD(x，y)，分別用于測量水平、垂直和對角線方向的灰度變化。如果有一點P(x，y)在輸入的m×n大小的圖像上，則圖像離散小波變換可由式（7）和（8）得來。

其中j0是初始任意尺度比例，通常選擇為0。尺度比例為j0時，系數Wφ(j0，m，n) 是P(x，y) 的近似值。尺度比例j≥j0時，系數為其添加了水平、垂直和對角線細節。此處采用Daubechies小波，其具有時間不變性、實數小波系數和銳化濾波過渡帶等特點，且在微觀和宏觀結構具有不同的灰度變化，因此，它們在統計上具有子圖像特征［8］。為了觀察火焰圖像的微觀和宏觀結構，對ELBP 圖像進行了DWT小波變換。

圖4 等級L=2的DWT下候選火焰區域的混合紋理描述（上行為火焰區域，下行非火焰區域）

從圖4 可以看出，在混合紋理描述符中，火焰的水平、垂直和對角線系數比非火焰系數更具體。而且CRLBP-DWT 描述符更清楚地觀察到火焰紋理中像素強度的隨機分布。因此，CRLBP-DWT 混合紋理描述符對火焰紋理的描述更為有效。從CRLBP-DWT 中提取的特征包括不同級別（L=1～7）的小波子圖像的熵。在DWT 的每個級別上，都會生成三個子圖像（水平、垂直和對角線）。子圖像的熵共產生21個特征。

4 極限向量機分類火焰

ELM 是一種單隱層前饋人工神經網絡（SLFN），適用于廣泛的非線性應用。ELM 是最近提出的一種機器學習方法，與其他學習方法相比，它具有很低的計算成本和快速的訓練速度，而且不需要麻煩的參數調整。ELM 以前被應用于不同的任務，如文獻［9］的圖像超分辨率、文獻［10］的蝴蝶種類的識別、文獻［11］的人類行為識別和文獻［12］的面部識別。從火焰動力學分析中提取了27 個特征集。這些27 個特征被用作輸入特征向量來訓練ELM分類器，訓練網絡相當于尋找最小二乘解。

圖5 實驗模擬視頻

從火焰視頻和非火焰視頻中提取的特征用作訓練數據。訓練數據及其相應的標簽被輸入到ELM 學習二進制分類器，如圖5 為一些用于實驗的視頻。在所提出的工作中，ELM的內核版本使用了160 個隱藏節點和“徑向基函數”作為激活函數。對于火焰檢測，從給定的輸入視頻中提取特征，并使用ELM 分類器對火焰進行預測。內核在等式（9）中定義。

式中σ是核函數的寬度，設置為訓練數據集之間的平均歐幾里得距離。

5 結果與討論

采用ELM 分類器對火焰、火焰光反射和火焰色物體等視頻進行了火焰檢測實驗。測試視頻如圖 5 的 6 組視頻，幀率為 25 幀/s～30 幀/s 不等，詳細描述如表1所示。火焰與非火焰的探測結果如表2所示。由于，本文所用的方法為動態紋理的混合特征，為了驗證所提出的火焰檢測方法的有效性，將其與文獻［13～15］中的三種方法作比較。

表1 輸入視頻描述

方法1是文獻［13］“火焰圖像跳動特征的火災識別算法”，為動態頻閃特征。方法2 是文獻［14］“基于多階段模式識別技術的視頻序列中的火焰檢測”方法，為幀間動態特征。方法3 是文獻［15］“基于視頻的時空火焰建模和紋理分析的火災自動檢測”，為紋理特征。

在視頻（a）和（c）中，火焰反光干擾在一些幀中強度變大，看起來似乎和火焰相似，但是其前后幀動態形狀模糊，相似性較高，基于幀間動態性考慮，取得不錯的檢測效果。在視頻（b）中，火焰區域隨著時間的推移動態變化，紋理迅速擴展，基于動態和紋理的特性，本方法具有較高的檢測率。從表2可以看出本方法是優于前三種方法的，平均檢測率為95.45%，漏檢率4.55%，可以看出，所提出的基于動態和紋理特征的火焰檢測方法可以有效地區分火焰色運動物體和真實火災。

表2 本文火焰探測方法和三種文獻方法的結果比對

6 結語

火焰檢測在實踐中有許多潛在的應用。提出的基于動態和紋理分析的火焰檢測方法，提高了分類的精度。在紋理分析中，與傳統的紋理描述符相比，在識別火焰和干擾方面，混合紋理描述符能產生有意義的特征向量。通過動態火焰分析，利用各種動態和紋理特征對火災行為進行建模，實現了95.45%的檢測率和4.55%漏檢率，同時減少了火焰色運動物體引起的虛假報警。與其他基于單一動態和紋理建模的算法相比，該方法的計算要求更高。然而，該算法的平均幀速率對于火災預警系統仍然是足夠的。此外，ELM 具有較好的泛化性能，在火焰分類中得到了很好的應用。