基于最優質量傳輸光流法和神經網絡的火焰和煙霧檢測

王衛兵　徐倩　韓再博

摘要：針對傳統光流法不適用于氣體和液體等圖像檢測的問題，提出了使用最優質量傳輸光流作為復雜過程的低維描述符用于火焰和煙霧檢測的方法。檢測過程可以抽象成一種關于時空像素鄰域的監督式貝葉斯分類問題，其特征矢量是由最優質量傳輸光流速度和R、G、B顏色通道構成的，并采用單隱層神經網絡分類器進行特征提取，最后通過分析像素概率來判斷屬于火焰或者是煙霧。實驗結果表明，該方法成功的區分了煙霧和顏色相似的白云，同樣區分了火焰和與火焰顏色相似的背景，具有較強的魯棒性。

關鍵詞：最優質量傳輸，神經網絡，視頻檢測，監督式分類

中圖分類號：TP183 文獻標志碼：A 文章編號：1007-2683（2017）01-0086-05

0 引言

目前，火焰檢測大多是通過使用點式光電感煙探測技術來執行的。這些方法在大的，開放空間和有固定延時的情況下檢測效果不好，這是因為燃燒粒子所到達傳感器所用時間的影響。文僅使用像素的顏色信息最為特征來檢測。文中的檢測方法使用傅里葉描述符來描述火焰的邊界。在文中，使用小波分析來解決FFT執行時窗口的選擇問題。這種方法依賴于小波能量，尋找小波能量最低且對噪聲是敏感的點。文中，作者提出一種系統，這種系統建模火焰像素作為一種固定空間像素小波系數的隱馬爾科夫模型，這種固定空間像素是在三中狀態之間變化的變量。此外，他們使用邊界區域光滑作為分類變量。這兩個屬性相結合作為一個弱分類器。在文中非煙區域使用背景估計和顏色信息進行濾波。然后，計算Lucas-Ka-nade光流并且使用流的統計信息來訓練神經網絡。

這些方法有一個共同點，就是不試圖區分類獨立的像素。本文為了檢測火焰和煙霧，同樣不去使用獨立的像素，以利于與火焰、火災煙霧顏色相近的實物的區分。基于該主要研究目的，提出了基于最優質量傳輸光流法的檢測算法，并結合神經網絡，對火焰和煙霧進行檢測。

1 分類器特征選擇

目前大多數的檢測方法都是基于啟發式模型，這種模型描繪火或者煙的大約特征，但這往往不是最優的。一個最基本的方法是從描述煙或者火的訓練數據中學習，訓練一個分類器如神經網絡等。訓練和測試的原理如圖1所示。

計算一個圖像序列的光流，而不是簡單的幀差，這允許考慮成像過程所期望的屬性；接下來會討論原因，基于最優質量傳輸的光流被計算用于火的分類，Horn-Schunck光流用于煙霧區域的分類。

圖1（a）通過人工標記樣本圖像序列創建訓練數據。樣本含有時空像素鄰域，這個鄰域被標記是否含有火，煙或者二者都沒有。通過系數矩陣有限差分求解器來計算最優質量傳輸光流。特征矢量是由含有R、G、B顏色通道和光流速度形成的，且特征矢量通過一個反向傳播神經網絡分類器進行分類處理。

圖1（b）在一個新的視頻幀中使用訓練的分類器權重為每個像素鄰域創建特征適量測試分類器。最終的輸出含有每個像素類成員的概率（煙、火都沒有）。

1.1 最優質量傳輸

最優質量傳輸問題起初是由Gaspar Monge在1781年提出的，且關注尋找將一堆土從一個地點移動到另一個地點最優的方式，其意義在于最小化傳輸成本。這個問題在Kantorovich研究中被給出一種數學構造，這就是熟知的Monge-Kantorovich問題。

我們現在給出Monge-Kantorovich問題的構造。令Ω₀和Ω₁是R^d的兩個子域，擁有光滑的邊界，每個有一個正的密度函數，分別是μ₀和μ₁。我們假設

這項總的相同質量是與Ω₀和Ω₁有關的。我們認為微分同胚映射u是從（Ω₀，μ₀）到（Ω₁，μ₁），微分同胚映射的意義是映射一個密度到其他的密度

（1）

也許有許多這樣的映射，并且從某種意義上來說我們想要選擇一種最優的。因此，定義LPKantorovich-Wasserstein度量標準如下：

（2）

（3）式中|Hω|表示ω的海森行列式。

因此，Kantorovich-Wasserstein度量定義兩個質量密度的距離，通過考慮式（2）給出的公式計算從一個域到另一個域最便宜的方式，最優傳輸映射在p=2是情況下，是某一種函數的梯度。這個結果的新穎之處在于，它像平面上的Riemann映射理論，這個過程指出一個特定的偏愛幾何學的映射。

1.2 光流法

光流是一種計算方法來計算在很短時間差內一組圖像間運動。主要的思想是每個圖像的灰度值在兩幀圖像間是不變的。這導出光流約束方程

（4）

（5）

注意方程（5）的一個潛在的假設是亮度恒定。在這種假設下，一個物體的亮度從一幀到另一幀是恒定的。這個假設適用于一個朗伯表面剛性物體但不是用于氣體和液體材料。在計算機視覺中，這些通過所謂的動態紋理建模。煙和火的典型的動態紋理具有內在動態，所以不能通過標準光流方法來進行捕獲。同時，煙/火區域流的速度比周圍地區的速度快的多，通過公式（5）給出的模型可能又會產生很多錯誤結果。

這篇文章的目標是獲得更好的光流場模型用于火和煙霧檢測。這樣做的一個方法是基于在這些過程中物理屬性的光流。一個簡單的屬性是火和煙大約使亮度守恒作為一個廣義質量并且以文中的最優方法進行移動。因此，一個恰當的數學上的光約束不是強度守恒而且質量守恒或者亮度守恒。這個模型被寫為

（6）

理由如下：

這意味著區域強度的總的變化率僅通過一個光流表示（邊界上進入或者出去的）。這是一個守恒定律。但是通過散度定理

這是一個精確無窮小亮度（質量）守恒條件。

下面是前面部分的解釋，本文提出了用于動態紋理分割的光流：

第一項是優化問題，代表移動圖像的總質量，第二項是質量守恒光流方程。

2 神經網絡分類分類器

煙霧檢測可以抽象為兩種模型，其檢測結果由給定的像素決定屬于有煙的情況或是無煙的情況。神經網絡的最小二乘計算模型滿足貝葉斯判別式。輸出的結果是關于一個像素屬于某一特定類的概率，因此決定像素屬于有煙情況或是無煙情況的閾值是使用者根據其期望設定的。根據貝葉斯定理，多個事件的后驗概率公式可以寫成如下形式：

（8）

上式中的x由C_k類滿足判別式y_k（x，w）具有最大值時確定。如果x屬于C_k則目標值t_k（x）=l，否則都為零。神經網絡每次輸出的誤差如下式所示：

（9）

當樣本數量趨近無限大時，在文中可以看出，反向傳播算法最小化下面的式（10）來縮小由神經網絡來產生的誤差

（10）式中的n代表類的數量。上式表明當數據點的數量趨近與無窮時，輸出的結果的判別式等價于后驗概率中）y_k（x，ω）≈P（C_k|x）。因此，把x指定給類C_k，也就是映射具有最大值的判別式函數，相當于把x指定為具有最大后驗概率的這個類。

根據貝葉斯原理，確定判別式的形式。后驗概率如下式：

（11）

將文中a_k=ln（p（x|C_k）p（C_k））的替換，式（11）也稱為softmax函數。此式恰恰是神經網絡使用的激勵函數。

假設類的條件概率密度p（x|C_k）屬于分布的限制指數族，則采用下面的形式：

（12）

將上式的密度代入式（11），得到的等式是關于a_k（x）與x成線性關系：

（13）

因此，判別式采用激勵函數的形式，當非線性函數φ（x）的線性組合為變量時如下：

（14）式中f（·）為激勵函數。

在神經網絡中的非線性函數組成了隱藏單元，這些非線性函數是根據具體情況選擇的，而且它們是關于輸入的線性組合的函數。

（15）其中h（·）是一個柔性最大值（softmax）函數。本文所使用的神經網絡是完全被連接的，并且由一個含有20個隱藏單元的單隱層構成的，這個隱藏單元在隱藏層和輸出使用softmax非線性。

3 實驗結果

為了獲得如下結果，只需要6幀圖片來訓練神經網絡分類器。包括手動描繪的有火、無火、有煙和無煙的區域。樣本的數量要小并且出自同一視頻中。通過提供更多明顯的樣本，例如來自不同的視頻資源的有用和沒用的數據樣本。可以使分類器檢測更多的視頻。

神經網絡分類器的輸出結果為每個像素的后驗概率p（C_k|x），這里的類C_k指的是有火或煙和無火或煙，x是給定像素的特征向量，圖2中顯示了分類器的一個樣本輸出中一幀圖像的所有像素。根據閾值可以選擇像素的類，圖2顯示的是煙，圖3顯示的是火。

對圖2所示的圖片進行特征向量提取和相鄰時空像素最優質量傳輸光流速度值計算，并提供給神經網絡分類器。輸出的每個像素的概率屬于煙的類。如圖2（b）所示，這種選擇是根據閾值概率做出的。可見白煙是從白墻中區分出來的。

將圖3所示的一組圖像序列提供給神經網絡分類器，這個分類器已經通過有火和無火的圖像訓練過。這時，分類器通過給定的閾值概率來標記圖像中火焰。

4 結論

基于視頻的火焰和煙霧檢測是一種非常關鍵且重要的檢測方法，它允許一個相機覆蓋較大的檢測面積，且很容易集成到現有的視頻監控系統中。對于視頻火焰和煙霧檢測，為解決傳統光流法不適用于氣體和液體等圖像檢測的問題，本文提出了一種基于最優質量傳輸光流計算方法，該方法將檢測過程抽象為一種關于時空像素鄰域的監督式貝葉斯分類問題，其特征矢量由最優質量傳輸光流速度和R、G、B顏色通道構成，并采用單隱層神經網絡分類器進行特征提取，最后通過分析像素概率來判斷屬于火焰或者是煙霧。這種方法涉及到轉換過程的物理性質，這種性質通過訓練一個分類器來檢測火焰和煙霧，而不是傳統的通過創建一個啟發式的檢測方法。實驗結果表明，該方法成功的區分了煙霧和顏色相似的白云，同樣區分了火焰和與火焰顏色相似的背景，具有較強的魯棒性。

（編輯：溫澤宇）