基于多維動(dòng)態(tài)紋理分析的煙霧檢測(cè)算法

李鴻燕，郭人輔，張 靜

(1.太原理工大學(xué) 信息工程學(xué)院，山西 晉中 030600；2.上海海洋大學(xué) 愛(ài)恩學(xué)院，上海 201306)

火災(zāi)是一種多發(fā)性災(zāi)害，世界各國(guó)高度重視火災(zāi)的預(yù)防和警報(bào)。近年來(lái)，隨著數(shù)字圖像理論的完善和應(yīng)用，出現(xiàn)了基于視頻圖像的火災(zāi)預(yù)警。火災(zāi)發(fā)生初期伴有大量煙霧產(chǎn)生，并在一定空間范圍內(nèi)傳播。因此，煙霧的監(jiān)控對(duì)于火災(zāi)預(yù)警有著非常重要的意義。

目前，基于視頻圖像的煙霧檢測(cè)致力于研究煙霧的特征，這些特征在一段時(shí)間內(nèi)較為穩(wěn)定并且能反映煙霧特有的狀態(tài)。煙霧的特征可分為靜態(tài)和動(dòng)態(tài)特征。過(guò)去的研究對(duì)煙霧的顏色、紋理、圓形度、模糊等靜態(tài)特征進(jìn)行了大量的研究，同時(shí)合理地組合不同的特征以提高檢測(cè)率，卻忽略了煙霧的一個(gè)主要特征——?jiǎng)討B(tài)特性。為解決這個(gè)問(wèn)題，DORETTO et al最早提出了煙霧視頻的線性動(dòng)態(tài)系統(tǒng)框架(linear dynamic system ，LDS)[1]，將隨時(shí)間變化的亮度值模型化。LDS不僅能夠識(shí)別視頻序列中的煙霧，還可以確定畫(huà)面中煙霧的確切位置和煙霧發(fā)生的具體時(shí)間。但是LDS也有其不足，它僅采用亮度值作為圖像信息，忽視了其他信息如彩色視頻的RGB信息等。因此，YUAN et al在LDS中加入反饋控制，提出了閉環(huán)線性動(dòng)態(tài)系統(tǒng)框架(closed-loop linear dynamic system,CLDS)[2]；COSTANTINI在LDS中運(yùn)用高階分解以降低時(shí)間域、空間域和顏色域的維度[3]；CHAN et al定義了兩個(gè)LDS動(dòng)態(tài)系統(tǒng)的核來(lái)改進(jìn)LDS[4].這些方法大多采用密集抽樣方法，計(jì)算量較大。

為了提高動(dòng)態(tài)紋理特征分析的可靠性，同時(shí)為了控制計(jì)算量，本文提出了一種高階線性動(dòng)態(tài)系統(tǒng)(higher order linear dynamic systems，h-LDS)煙霧檢測(cè)算法。該算法首先經(jīng)過(guò)預(yù)處理得到煙霧候選區(qū)域，然后在多維圖像塊中新增RGB和HOG特征，提高了動(dòng)態(tài)紋理特征分析的可靠性；同時(shí)基于對(duì)多維圖像數(shù)據(jù)的高階分解，分析煙霧視頻的動(dòng)態(tài)紋理特征。由于采用滑動(dòng)時(shí)間窗，可以確定畫(huà)面中煙霧的確切位置和煙霧發(fā)生的具體時(shí)間，改善了煙霧特征提取階段所提取的煙霧特征穩(wěn)定性不高且對(duì)煙霧的判斷準(zhǔn)則過(guò)于簡(jiǎn)單的缺點(diǎn)。

1 算法結(jié)構(gòu)

本文提出的煙霧視頻檢測(cè)的多維動(dòng)態(tài)紋理分析算法包括預(yù)處理、多維動(dòng)態(tài)紋理分析、分類3個(gè)模塊，算法結(jié)構(gòu)如圖1所示。

圖1 基于多維動(dòng)態(tài)紋理分析的煙霧檢測(cè)算法結(jié)構(gòu)Fig.1 Structure of smoke detection algorithm based on multidimensional dynamic texture analysis

1.1 煙霧視頻圖像的預(yù)處理

視頻序列預(yù)處理是通過(guò)運(yùn)動(dòng)前景分離和顏色分析，先對(duì)運(yùn)動(dòng)視頻圖像和同一攝像機(jī)鏡頭下的靜態(tài)背景進(jìn)行對(duì)比，得出在攝像頭拍攝期間運(yùn)動(dòng)目標(biāo)運(yùn)動(dòng)的軌跡；然后對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行顏色分析，得到初步的煙霧疑似目標(biāo)區(qū)域，并對(duì)它進(jìn)行高斯平滑濾波。

1.1.1 前景分離

運(yùn)動(dòng)前景分離采用基于獨(dú)立分量分析技術(shù)(independent component analysis，ICA)和基于圖的視覺(jué)顯著性(graph-based visual saliency，GBVS)的煙霧前景分離算法。該算法在煙霧分離階段先采用改進(jìn)的ICA運(yùn)動(dòng)物體識(shí)別模型初步分離煙霧前景區(qū)域，再通過(guò)GBVS提取煙霧前景顯著區(qū)域。

1.1.2 顏色分析

在火災(zāi)發(fā)生的初期，由于溫度比較低，物體往往燃燒不夠充分，會(huì)產(chǎn)生灰白色的煙霧。煙霧自身是半透明的，且剛產(chǎn)生時(shí)煙霧往往比較稀疏，這會(huì)使得背景圖像變模糊；隨著煙霧密度增加，背景圖像從半透明到被煙霧全部遮蓋，背景圖像失去了原來(lái)的顏色特征，所以可以根據(jù)顏色特征來(lái)判斷是否存在煙霧。

經(jīng)過(guò)觀察和分析可以發(fā)現(xiàn)，煙霧在RGB彩色模型下R、G、B三個(gè)分量的灰度值相當(dāng)接近。因此如果同時(shí)滿足以下兩個(gè)條件，則認(rèn)為該像素點(diǎn)滿足煙霧的顏色特征。

條件1：RGB彩色模型的3個(gè)分量同時(shí)增減后仍相等，即R±a=G±a=B±a；

條件2：將RGB彩色模型轉(zhuǎn)化為HSI彩色模型后，HSI模型的I分量滿足L1≤I≤L2或者H1≤I≤H2。其中，I表示強(qiáng)度或亮度，L1，L2，H1，H2均為分量I的經(jīng)驗(yàn)閾值。

進(jìn)行上述視頻序列預(yù)處理以后，得到預(yù)處理后的待檢測(cè)視頻，能夠降低煙霧檢測(cè)的計(jì)算量，提高檢測(cè)速度和檢測(cè)效率。

1.2 煙霧視頻的多維動(dòng)態(tài)紋理分析

1.2.1 煙霧視頻的線性動(dòng)態(tài)系統(tǒng)框架(LDS)

由于煙霧的動(dòng)態(tài)變化特性，動(dòng)態(tài)紋理分析方法能更好地分析煙霧視頻動(dòng)態(tài)特征。因此，本文基于一階自回歸運(yùn)動(dòng)平均模型(auto-regressive moving average，ARMA)，同時(shí)加入獨(dú)立同分布的具有零均值的高斯白噪聲，構(gòu)造了一個(gè)煙霧視頻的線性動(dòng)態(tài)系統(tǒng)[5]，定義如下：

x(t+1)=Ax(t)+Bv(t) .

(1)

(2)

式(1)表示了相鄰進(jìn)化隱態(tài)過(guò)程的遞歸關(guān)系，式(2)表示了y(t)是各時(shí)間進(jìn)化隱態(tài)過(guò)程x(t)的線性表示。也就是說(shuō)，矩陣A和C確定了煙霧視頻的線性動(dòng)態(tài)系統(tǒng)。

在處理大量視頻序列時(shí)，需要先求解A和C來(lái)估計(jì)煙霧視頻的線性動(dòng)態(tài)系統(tǒng)(LDS)框架，再進(jìn)行密集采樣。然而，待測(cè)視頻中并不是每一個(gè)樣本圖像都有效，比如煙霧發(fā)生早期或者是距離比較遠(yuǎn)而使得拍攝到的煙霧比較稀薄，因此拍攝到的視頻較為模糊。如果將此模糊的視頻也作為樣本處理，將會(huì)導(dǎo)致計(jì)算量過(guò)大。為克服此局限性，同時(shí)為了確定圖像中煙霧的確切位置和煙霧發(fā)生的具體時(shí)間，建立一個(gè)三維圖像塊，長(zhǎng)寬為N×N，因此d=N×N，時(shí)間跨度為F，用Y∈RN×N×F來(lái)表示三維圖像塊，如式(3)：

Y=[ypatch(1),ypatch(2),…,ypatch(F)] .

(3)

式中：Y表示三維圖像塊集，ypatch(t)∈Rd(t=1,2,…,F)是三維圖像塊輸出灰度值。由式(2)可得：

(4)

煙霧視頻的線性動(dòng)態(tài)系統(tǒng)矩陣A和C的求解方法如下[6]：

先構(gòu)造一個(gè)零均值矩陣

(5)

對(duì)Y0進(jìn)行奇異值分解，得：

Y0=USVT.

(6)

式中：U是d階實(shí)酉矩陣，d表示當(dāng)前視頻圖像的像素總數(shù)；S是d×F階對(duì)角矩陣，F(xiàn)表示圖像塊時(shí)間跨度，S中對(duì)角線上的元素是Y0的奇異值；VT是V的轉(zhuǎn)置，V是F階實(shí)酉矩陣。

由式(4)和式(5)，可得：

Y0=CX.

(7)

其中，X=[x(1),x(2),…,x(F)].

由式(6)和式(7)，可得：

C=U.

(8)

令X=[x(1),…,x(F)]，X1=[x(1),…,x(F-1)]，X2=[x(2),x(3),…,x(F)]，則：

(9)

因此，煙霧視頻的線性動(dòng)態(tài)系統(tǒng)框架可以表示為：MLDS=(A,C).

1.2.2 煙霧視頻的高階線性動(dòng)態(tài)系統(tǒng)框架(h-LDS)

煙霧視頻的高階線性動(dòng)態(tài)系統(tǒng)框架(h-LDS)能夠提高動(dòng)態(tài)紋理特征分析的可靠性且降低計(jì)算量。h-LDS采用滑動(dòng)時(shí)間窗把視頻分成若干間隔相等的子序列，然后構(gòu)造一個(gè)四階張量Yh∈RN×N×M×F來(lái)表示四維時(shí)空?qǐng)D像塊，其中N是圖像塊的邊長(zhǎng)，F(xiàn)是多維圖像塊時(shí)間跨度，M表示圖像靜態(tài)特征通道的個(gè)數(shù)。靜態(tài)特征包括四維圖像塊的RGB特征和方向梯度直方圖特征。如圖2所示為四維時(shí)空?qǐng)D像塊的結(jié)構(gòu)示意圖，其中通道1對(duì)應(yīng)圖像塊R分量的特征值，通道2對(duì)應(yīng)圖像塊G分量的特征值，通道3對(duì)應(yīng)圖像塊B分量的特征值，通道4對(duì)應(yīng)圖像塊R分量的方向梯度直方圖特征值。

圖2 多維圖像塊結(jié)構(gòu)Fig.2 Structure of multidimensional image block

四維時(shí)空?qǐng)D像塊Yh∈RN×N×M×F可以表示成：

(10)

(11)

Yh=X×kCh.

(12)

式(12)可以進(jìn)一步化為Yh=ChX(k)，其中X(k)=X×k是X的k維展開(kāi)式，其形式和式(7)形式一致。令

Xh1=[x(k)(1),x(k)(2),…,x(k)(F-1)] ,

(13)

Xh2=[x(k)(2),x(k)(3),…,x(k)(F)] .

(14)

xRGB(t+1)=AhxRGB(t)+v(t) .

(15)

(16)

(17)

因此，代表四維圖像塊的四階張量Yh又可寫(xiě)成：

xRGBH(t+1)=AhxRGBH(t)+v(t) .

(18)

(19)

煙霧視頻的高階線性動(dòng)態(tài)系統(tǒng)：

Mh-LDS=(Ah,Ch) .

在得到煙霧視頻的加入HOG特征的高階線性動(dòng)態(tài)系統(tǒng)后，采用一種比較經(jīng)典的聚類算法K-medoids[10]對(duì)視頻序列的動(dòng)態(tài)紋理進(jìn)行分類，得到煙霧的碼書(shū)。得到的碼書(shū)涵蓋三類：一類不含煙霧，另一類含煙霧，還有一類包含從顏色和運(yùn)動(dòng)上來(lái)說(shuō)與煙霧類似的成分。

1.3 直方圖對(duì)比

(18)

將待檢測(cè)的煙霧視頻和碼書(shū)進(jìn)行對(duì)照，如果滿足DMh

2 實(shí)驗(yàn)結(jié)果與分析

本文的仿真環(huán)境為Visual Studio 2012 C++和openCV，實(shí)驗(yàn)數(shù)據(jù)集選取了Toreyin建立的煙霧數(shù)據(jù)庫(kù)中的測(cè)試視頻，同時(shí)用固定攝像頭拍攝了一組點(diǎn)煙器模擬煙霧發(fā)生的視頻。該數(shù)據(jù)集在不同的條件下拍攝，涵蓋了多種濃度和光照的煙霧形態(tài)。

本文以檢測(cè)率為評(píng)價(jià)指標(biāo)，采用多元比較的方法，對(duì)多維圖像塊的邊長(zhǎng)N、碼書(shū)中集群的個(gè)數(shù)K以及把視頻分成若干相等子序列的滑動(dòng)時(shí)間窗的大小F這3個(gè)參數(shù)采用控制變量法，固定兩個(gè)參數(shù)改變另一個(gè)參數(shù)，得出h-LDS和傳統(tǒng)的LDS的檢測(cè)率。在對(duì)比試驗(yàn)中，根據(jù)M的取值又可以將h-LDS分為h-LDS/RGB和h-LDS/RGBH，前者M(jìn)=3，后者加入HOG特征因而M=4.

首先，采用控制變量法固定碼書(shū)中集群的個(gè)數(shù)K以及滑動(dòng)時(shí)間窗的大小F，通過(guò)改變多維圖像塊的邊長(zhǎng)N來(lái)研究不同N值對(duì)實(shí)驗(yàn)結(jié)果的影響。圖3為N分別取4,8,12,20,30,40,80時(shí)，對(duì)四維圖像塊Yh-LDS∈RN×N×M×F和三維圖像塊YLDS∈RN×N×F的檢測(cè)結(jié)果。針對(duì)三維圖像塊Yh-LDS∈RN×N×M×F的記做LDS，針對(duì)四維圖像塊Yh-LDS∈RN×N×M×F的，根據(jù)M的值，M=3時(shí)記做h-LDS/RGB,M=4時(shí)記做h-LDS/RGBH，二者的區(qū)別在于h-LDS/RGBH多了一個(gè)記錄方向梯度直方圖特征值的通道。由圖3可知，無(wú)論是在LDS，h-LDS/RGB還是h-LDS/RGBH框架下，N=20時(shí)的檢測(cè)率最高。從圖3還可以看出，不同的框架檢測(cè)率也不同，采用h-LDS/RGBH框架的檢測(cè)率高于采用LDS框架和h-LDS/RGB框架的檢測(cè)率。實(shí)驗(yàn)中發(fā)現(xiàn)，采用最小的圖像塊Yh-LDS∈R4×4×N×4時(shí)，為了提高檢測(cè)率，需要提高視頻分辨率。從實(shí)驗(yàn)結(jié)果我們可以分析得出，由于在LDS框架中使用灰度級(jí)的時(shí)空?qǐng)D像塊，導(dǎo)致LDS框架和h-LDS框架的檢測(cè)率相差10%，所以本文采用的h-LDS/RGBH框架優(yōu)于前面兩種框架。

圖3 不同N值對(duì)實(shí)驗(yàn)結(jié)果的影響Fig.3 In fluence of different N values on the experimental results

為了研究不同K值對(duì)實(shí)驗(yàn)結(jié)果的影響，將圖像塊邊長(zhǎng)N和滑動(dòng)時(shí)間窗大小F分別設(shè)置為20和80.圖4表示K-medoids分類器產(chǎn)生的碼書(shū)種類K分別取8,16,24,32,48,60,72,80,88,96時(shí)的檢測(cè)率。從實(shí)驗(yàn)結(jié)果可以看出，當(dāng)碼書(shū)種類K不超過(guò)60時(shí)，無(wú)論是何種框架，增加碼書(shū)種類K可以提高檢測(cè)率；而當(dāng)碼書(shū)種類K超過(guò)60時(shí)，無(wú)論是何種框架，增加碼書(shū)種類K檢測(cè)率的提升變緩。但是，無(wú)論K取何值，本文采用的h-LDS/RGBH框架的檢測(cè)率總優(yōu)于另外兩種框架。

圖4 不同K值對(duì)實(shí)驗(yàn)結(jié)果的影響Fig.4 In fluence of different K values on the experimental results

為了研究不同F(xiàn)值對(duì)實(shí)驗(yàn)結(jié)果的影響，將碼書(shū)種類K和圖像塊邊長(zhǎng)N分別設(shè)置為60和20，改變?nèi)鐖D5所示的滑動(dòng)時(shí)間窗大小F分別取20,50,70,80,90時(shí)的檢測(cè)率。從實(shí)驗(yàn)結(jié)果可以看出，無(wú)論滑動(dòng)時(shí)間窗大小F取何值，h-LDS/RGBH框架的檢測(cè)率都比另外兩種框架的檢測(cè)率高。對(duì)于h-LDS/RGBH框架，當(dāng)滑動(dòng)時(shí)間窗大小F小于80時(shí)，檢測(cè)率隨著滑動(dòng)時(shí)間窗大小F增加而增加，而當(dāng)滑動(dòng)時(shí)間窗大小F超過(guò)80時(shí)，檢測(cè)率的增加開(kāi)始變緩；對(duì)于LDS框架和h-LDS/RGBH，這個(gè)臨界值變?yōu)?00，比h-LDS框架的臨界值增加25%.

圖5 不同F(xiàn)值對(duì)實(shí)驗(yàn)結(jié)果的影響Fig.5 In fluence of different F values on the experimental results

綜上所述，采用控制變量法研究碼書(shū)中集群的個(gè)數(shù)K、滑動(dòng)時(shí)間窗的大小F和多維圖像塊的邊長(zhǎng)N對(duì)檢測(cè)率的影響時(shí)，其h-LDS/RGBH框架的檢測(cè)率均高于另外兩種框架的檢測(cè)率。

3 結(jié)束語(yǔ)

本文對(duì)傳統(tǒng)煙霧視頻的線性動(dòng)態(tài)系統(tǒng)(LDS)加以改進(jìn)，加入多維動(dòng)態(tài)紋理分析，形成一種新的高階線性動(dòng)態(tài)系統(tǒng)(h-LDS)。該系統(tǒng)先經(jīng)過(guò)煙霧顏色和背景差分預(yù)處理得到煙霧候選區(qū)域，避免出現(xiàn)密集采樣，降低了計(jì)算量；在多維圖像塊中新增RGB和HOG特征，增加了圖像塊的維度，然后基于對(duì)多維圖像數(shù)據(jù)的高階分解，分析煙霧視頻的動(dòng)態(tài)紋理特征。在該系統(tǒng)下，每個(gè)視頻子序列中的煙霧區(qū)域塊都可以用直方圖來(lái)表示，并且可以確定畫(huà)面中煙霧的確切位置和煙霧發(fā)生的具體時(shí)間。實(shí)驗(yàn)以檢測(cè)率為評(píng)價(jià)指標(biāo)，采用多元比較的方法，得出多維圖像塊的維度在特定值下，檢測(cè)率有最佳值；維度在一定范圍內(nèi)，高階線性動(dòng)態(tài)系統(tǒng)(h-LDS)的檢測(cè)率總高于線性動(dòng)態(tài)系統(tǒng)(LDS).