多特征融合的視覺煙霧探測技術研究

顧立春，黎 川

（中國電子科技集團第三十八研究所，安徽 合肥 230000）

0 引 言

隨著人類社會的發(fā)展和城鎮(zhèn)化的變遷，人們居住的越來越密集，高層建筑多且結構復雜，這增大了火災發(fā)生的危害性，給火災的預防帶來了考驗。根據(jù)世界火災的統(tǒng)計數(shù)據(jù)，近20年來平均每年發(fā)生大小火災約600萬起，造成約30萬人死亡、上千萬人受傷，帶來的經(jīng)濟損失僅次于洪澇自然災害。

火災發(fā)生早期，通常存在陰燃現(xiàn)象，陰燃伴隨著煙霧的擴散和溫度的上升，然后才會逐漸出現(xiàn)明火并慢慢擴大。因此煙霧的早期識別是預防大規(guī)?；馂陌l(fā)生、降低火災危害的重要手段。傳統(tǒng)的火災煙霧探測器以感煙和氣體傳感器為主，它的優(yōu)勢是價格便宜且性能穩(wěn)定，因此在現(xiàn)代各類建筑里得到了大量的應用。但是煙霧和氣體探測器需要煙霧或氣體在探測器周圍達到一定的濃度閾值時，才會報警，這時火災通常達到了一定的程度，且容易受到安裝位置、高度、濕度、空氣對流等因素的影響，無法適用于一些大空間、強對流和室外等環(huán)境。

1 國內外研究現(xiàn)狀

近年來，隨著人工智能和圖像處理技術的發(fā)展，視頻圖像檢測技術逐漸被應用到了火災探測中?；谝曨l圖像的火災探測是一種結合模式識別和統(tǒng)計學原理的智能探測技術。基本的原理是通過采集設備將前端視頻信號輸入到計算機設備，再用圖像處理算法對這些數(shù)字圖像進行分析，提取感興趣區(qū)域，利用煙霧的特征參數(shù)進行模式識別，最后判斷是否發(fā)生火災，根據(jù)結果推送火災報警器，或推送給消防控制室值班人員確認。

國內外很多學者對早期煙霧的識別做了深入的研究，并在某些場合得到了一定推廣和應用。鄧彬等人[1]首先對圖像進行預處理，利用貝葉斯分類器，提取圖像的靜態(tài)RGB特征，同時計算煙霧的擴散特征和不規(guī)則特性，運用多參數(shù)的處理算法來識別圖像中是否存在煙霧信息。Celik等[2]也同樣利用了煙霧擴散的無規(guī)則特性，提取相鄰幀的光流場信息，利用圖像的光流方向分布熵實現(xiàn)煙霧判別。Toreyin等[3]利用了基于小波變換原理的煙霧提取算法。圖像的特征邊緣信息經(jīng)小波變換后會對應高頻能量信息，而煙霧的擴散過程中會掩蓋圖像的很多邊緣特征，使得該區(qū)域高頻能量衰減，低頻能量增加，達到煙霧識別的目的。任厚平等人[4]對輸入圖像進行前景和背景提取，利用高斯混合模型得到前景目標，再通過幀間的運動差分比對疑似煙霧運動區(qū)域，最后通過對這些區(qū)域提取紋理特征參數(shù)來判別圖像中是否存在煙霧。張燕君等人[5]提出了一種基于小波紋理特征分析的視頻煙霧檢測算法，該算法首先利用混合高斯模型提取前景和背景，分離煙霧圖像，再對煙霧進行前景分離處理和二維離散小波變換，獲取煙霧的局部特征信息；然后利用灰度共生矩陣提取煙霧圖像的紋理特征；最后通過自適應神經(jīng)網(wǎng)絡對煙霧進行判別。煙霧火災識別技術在現(xiàn)代建筑、隧道、森林等環(huán)境下得到了一定的應用[6-10]。綜上所述，煙霧特征檢測主要算法包括顏色、運動特征和紋理能量特征算法等，這些算法在不同的場景下有其特定的優(yōu)勢，但是在環(huán)境復雜、光影雜亂、空氣對流大等場合存在誤報率高的問題，因此目前的研究多采用特征融合的算法保證煙霧識別的穩(wěn)定性。

2 疑似煙霧區(qū)域提取

在煙霧圖像的識別中，通常要先提取出圖像的疑似感興趣區(qū)域。對于輸入圖像，進行濾波去燥、膨脹腐蝕等基本操作后，提取出疑似煙霧的運動區(qū)域，這樣可以提高煙霧的識別速度，并有效去除部分誤識別區(qū)域。疑似區(qū)域檢測方法對比情況見表1所列。

表1 疑似區(qū)域檢測方法對比

2.1 圖像差分法

圖像差分是通過計算圖像連續(xù)幀或固定間隔圖像的差值來找到運動區(qū)域，假設Ft+n(x,y)和Ft(x,y)為視頻間隔N幀的圖像，Dt(x,y)為差分后的圖像，關系式如下：

為了得到運動區(qū)域的圖像，對差分圖像Dt(x,y)作二值化處理，根據(jù)圖像的光影變化和噪聲程度適當設定閾值T，通常圖像靜止部分差分圖像灰度接近于0，將灰度大于閾值T的像素部分認為是前景運動區(qū)域，其他認為是背景區(qū)域。二值化圖像方法如公式（2）：

通常煙霧特征幀間的變化不是非常明顯，因此間隔幀N的選取比較重要。因煙霧具有緩慢擴散特征，也可以通過上述方法得到煙霧運動的邊緣信息。

2.2 煙霧面積變化率

煙霧的擴散特性也呈現(xiàn)一定的規(guī)律，一般來說煙霧在火源的周圍向上方和兩側擴散，而圖像的面積是不斷變化的，在火災的最早期煙霧面積逐漸變大，開始時速度較為緩慢，發(fā)展到一定階段可能迅速增大，而到了后期出現(xiàn)明火后煙霧面積一般又會逐漸變小。通過圖像分割技術得到疑似煙霧區(qū)域面積，計Mi為第i幀圖像的疑似煙霧區(qū)域面積，計算其動態(tài)變化率為：

煙霧的發(fā)展是一個過程，因此R的值是緩慢變化的，不會保持靜止，也不可能發(fā)生跳變。

2.3 光流法

光流法是基于運動的煙霧特征提取算法，光流是指圖像中各像素點的瞬時運動，應用到圖像中具體表達為圖像中任意點的灰度瞬時速度。通過該方法預測運動目標可以描述為根據(jù)輸入圖像中所有像素的運動信息來近似估計空間中物體的運動信息，根據(jù)圖像的特征和不同環(huán)境下的經(jīng)驗知識得到圖像中的運動區(qū)域。采用光流法檢測運動目標首先要計算出圖像中的光流場，即圖像像素點的瞬時運動速度方向，然后再運用光流場把感興趣區(qū)域的運動信息從圖像中分離出來。光流場對于前景和背景運動較為明顯的圖像可以很好地提取出煙霧區(qū)域，但是對于火災煙霧不明顯或者遠距離圖像運動緩慢的情況效果相對較差。

2.4 高斯模型

高斯模型是另一種運動區(qū)域提取方法，高斯模型可分為單高斯模型和混合高斯模型。其主要算法流程為：大多數(shù)火災發(fā)生前視頻圖像都會處于靜止或者運動緩慢的情形，對這些相對靜止的視頻序列進行采集，會發(fā)現(xiàn)視頻的圖像像素符合單高斯分布；當火災發(fā)生時，圖像出現(xiàn)擾動和光影的變化，這時視頻圖像的像素點就會變成多個高斯分布；當煙霧或者其他特征出現(xiàn)閃爍、運動明顯時，那么連續(xù)幀的視頻圖像里這些運動目標的像素點就不再滿足以前的高斯分布，由此可以提取出圖像中的運動區(qū)域。單高斯模型應用較為簡單，對圖像相對單一、運動區(qū)域集中的圖像檢測效果較好。而混合高斯模型可以滿足更加復雜的場景，也得到了更加廣泛的應用。

3 煙霧特征識別

3.1 算法流程

本文的識別方案是先對視頻圖像序列進行去噪平滑等處理，然后依據(jù)上述方法檢測圖像的運動區(qū)域，按照不同環(huán)境的經(jīng)驗參數(shù)，提取出候選疑似煙霧區(qū)域，再對其進行顏色、紋理特征、小波高頻和低頻能量分析，最后判斷出煙霧區(qū)域。檢測流程如圖1所示。

圖1 算法檢測流程

3.2 煙霧圖像識別

依據(jù)上述煙霧的擴散和運動特征分析算法，對圖2提取煙霧的疑似區(qū)域。從圖2（a）中可以看出，煙霧特征判斷沒有發(fā)生漏報，但是在圖像右側樹影和草地交接處存在誤識別；圖2（b）也存在同樣的情況，煙霧擴散到白色墻壁，墻壁的光線變化擾動對識別產(chǎn)生了一定的干擾。

圖2 煙霧疑似區(qū)域判定

沒有發(fā)生火災時視頻幀的背景一般是紋理清晰的，而煙霧會對背景產(chǎn)生模糊。火災早期階段和一些陰燃火災產(chǎn)生的大量煙霧向周圍擴散時，圖像中的背景會受到煙霧的影響，圖像的邊緣輪廓被遮擋而變得模糊。圖像的邊緣和細節(jié)信息在頻域中對應高頻信息，平滑均勻的圖像信息在頻域中對應低頻信息。利用煙霧圖像中高頻信息逐漸減低的特征，對疑似區(qū)域進行進一步的特征提取，排除干擾區(qū)域。同時針對不同的背景圖像，還采用了煙霧的顏色分布、連通性原理等識別方法。如圖3所示，在圖3（a）中有效排除了墻面的干擾，圖3（b）是實驗室的棉條陰燃實驗，背景同樣存在大量的干擾，采用多種特征融合的算法得到了較好的識別效果。

圖3 基于紋理的煙霧區(qū)域確認

針對火災的煙霧特征，首先判定出煙霧的待選區(qū)域，再利用顏色、紋理等信息對待選區(qū)域進行二次判定，最后確認火災煙霧圖像。通過后天控制系統(tǒng)，將火災信號傳送物聯(lián)網(wǎng)網(wǎng)關；根據(jù)用戶設定，再推送給火災報警主機或消防控制室值班人員。

在大量的數(shù)據(jù)集和場景實驗中，有效識別率可達約98%。但是對于一定的復雜環(huán)境下的類似特征，如天空的烏云，特征與煙霧過于相似，雖然利用小波特性可以排除，但是在森林或者其他背景光影交叉的環(huán)境里，還是存在少量誤報。

4 結 語

本文描述了一種多特征算法融合的煙霧圖像分割和特征識別方法，利用煙霧的運動特性實現(xiàn)煙霧疑似區(qū)域的分割，再根據(jù)其連通性、顏色特征、擴散的紋理特征進行煙霧特征識別。圖像分割對圖像要求較高，參數(shù)選擇要符合場景的特征要求。通常火災可以接受少量誤報情況，而為了降低漏報本文對疑似區(qū)域的選擇特征稍微放寬，但這給后期的特征識別帶來了一定的壓力。雖然多種特征識別的方法可以排除大量誤報，但是當圖像分辨率較低時紋理特性就難以發(fā)揮作用，顏色特性會受到水汽和云霧等因素的干擾。

目前煙霧檢測多集中于區(qū)域識別，如果要有效利用環(huán)境特征對煙霧特征識別產(chǎn)生巨大的輔助作用，還需要建立分類數(shù)據(jù)集樣本的標準化庫，對算法分類進行完善。深度學習和語義分割的發(fā)展給火災煙霧檢測提供了一個開闊的方向。