基于運動韋伯和局部約束的稀疏表示暴力檢測

李建新 張 濤

1(東莞職業技術學院計算機工程系 廣東 東莞 523808)2(江南大學物聯網學院 江蘇 無錫 214000)

0 引 言

近年來，越來越多的研究者們開始關注如何準確識別視頻中的目標和事件[1-3]。暴力行為嚴重危害到了國家和人民的安全，故各大公共區域都安裝了視頻監控設備。計算機視覺技術的發展使人們意識到，可以通過計算機視覺來獲取環境的一切信息[4]，包括對視頻監控中的暴力行為進行檢測并及時發出警報。這樣不僅可以節省大量的人力物力財力，而且可以解決傳統視頻監控的滯后問題。

早期，Nam等[5]認為人們在火災現場雜亂的尖叫聲和跑步聲等具有明顯的特征，可以根據這些特征來進行暴力檢測，據此提出了一種基于聲音特征的暴力檢測算法。近年來，基于時空興趣點的方法[6-7]被提出用來進行暴力行為檢測。該算法從視頻序列幀中提取出興趣點，然后使用詞袋模型(BoW)的框架進行暴力行為檢測。

迄今為止，人們開展了很多基于視頻的異常檢測工作[8-11]。最近幾年，一些研究人員開始嘗試用基于深度神經網絡的算法對暴力行為進行檢測[26-28]，但是深度神經網絡在構建暴力特征時比較困難，因為大部分的深度學習算法模型都是針對圖像構建的，忽略了視頻的時序特性，無法很好地描述運動信息，暴力行為檢測效率不高，而且操作步驟繁瑣、特征提取的時間消耗高、不能高效執行。本文對暴力行為的檢測主要集中在興趣點的檢測和特征表達上。Chen等[12]提出了一種用于人臉檢測的韋伯局部描述子(Weber Local Descriptor , WLD)，Wang等[13]證明了它具有光照不變性的特征。WLD陳述了這樣一個物理現象：若外界信號的變化是原始信號的一定比率，這個刺激的信號就是值得注意的；如果小于這個比率，就將該刺激信號作為當前背景。WLD是用于檢測圖像中的興趣點，而本文所研究的暴力檢測要比人臉識別復雜得多，需要能夠提供足夠的運動信息的特征，因此，本文提出一種新的描述子——運動韋伯描述子(MoWLD)用于檢測視頻中的興趣點。

現如今，基于稀疏分類的思想被研究者們應用于行為識別領域[14-16]。許多的研究者開始使用基于稀疏表達的分類機制用于人臉識別，但是如何學習稀疏的數據并且具有高判別性的詞典仍然是一大難題。

1 算法設計

本文提出MoWLD 和稀疏分類相結合的方式對視頻中的暴力行為進行檢測，系統框架如圖1所示。首先，從輸入視頻中用高斯濾波去除一些噪聲。然后，再提取出MoWLD 特征。接著，提出改進的稀疏模型用于特定類字典的學習。在這個模型里面，表達約束項和系數調整項被用于字典的學習，使得學習的詞典具備更強的判別能力。表達約束項可以確保帶著同一類標簽的訓練樣本特定類詞典具備更好的重建能力。系數調整項反映了不同類標簽的訓練樣本的特定類的子詞典有較弱的重建能力，可以確保不同類的字典表達盡可能獨立。因此兩個增加的項可以使得模型具備更強的判別能力。最后，相應的分類機制被提出用來對視頻中的暴力行為特征進行分類。

圖1 提出的算法框架

1.1 運動韋伯特征提取

為了對暴力行為進行更好的識別，本文設計了一種有效的特征表達的方法，使它盡可能地包含更多的興趣點信息。

1.1.1韋伯局部描述子(WLD)

Chen等[12]提出的韋伯局部描述子(WLD)主要包括差分幅值和差分方向兩個變量。

差分幅值：

(1)

式中:反正切函數用于防止輸出結果過大，可以抑制噪聲的邊緣效應；xc代表中間的像素，xi(i=0,1,…,p-1)代表鄰域的像素；p是鄰域的像素的個數；α用來調整當前像素與周圍像素值的大小差別。

差分方向：

(2)

式中：x1-x5和x3-x7分別代表xc像素在垂直和水平方向上的兩個鄰域像素值的差。

文獻[20]中，ξm和ξo分別被線性地量化為T個主要的差分幅值和方向。本文中，T為12。

WLD用當前像素和它的鄰域的像素灰度差來衡量當前像素的變化程度，這種方式與人們獲取世界信息的方式相符。Wang等[13]證明了差分幅值和差分方向具有光照不變性的特性。二維的WLD特征直方圖的每一行對應主要的差分幅值ξm(xc)，每一列對應主要的差分方向ξo(xc)[12,17]。

1.1.2改進的WLD

旋轉不變性是兩個關鍵點相似性度量的標準，因此對于圖像的紋理特征是非常重要的。但是原始的WLD特征并不是旋轉不變性的，因此本文提出改進的WLD直方圖，通過聚合鄰域的WLD直方圖和使WLD直方圖與它們的主方向對齊的方式重構WLD直方圖。具體步驟如下：

1) 首先對輸入圖像用高斯濾波去除一些噪聲，根據式(1)和式(2)，計算處理后的圖像中的每一個區域內的像素的差分幅值和差分方向。

2) 運用文獻[17]中的非線性的量化方法，將差分方向量化為12個主方向，每一個方向覆蓋30度，形成一個具有12個方向的差分方向直方圖。

3) 將從局部鄰域內計算得到的韋伯梯度的直方圖累加到局部紋理特征中。

4) 鄰域窗口內的韋伯梯度方向，根據當前點的韋伯幅值和它中心點的距離加權后，增加到當前直方圖中。得到一個主方向后，其他鄰域內的所有韋伯幅值都將被旋轉到這個主方向上，從而達到旋轉不變性的特性。

改進后的WLD直方圖的構建如圖2所示。輸入圖像中的某一鄰域內的像素分為4×4塊，每塊包含3×3個像素。這樣得到的WLD直方圖有4×4×12=192維的向量。

圖2 改進的WLD直方圖的構建過程

改進后的WLD只是對靜態圖像的處理，在暴力檢測時，如果使用改進后的WLD特征進行特征描述，會產生很多與行為沒有關系的興趣點區域，對暴力檢測結果產生很大的影響。因此本文提出了運動韋伯描述子(MoWLD)，它由兩部分構成：累加的WLD直方圖，用來描述圖像的表觀空間；累加的光流直方圖，用來刻畫時間上的運動特征。此外，在同一位置的不同大小的子圖像能夠產生不同的特征向量，只有多尺度的圖像采樣方法可以解決這個問題，因此本文可以采用基于P個像素的正方形對稱的鄰域的集合計算得到的多尺度的WLD特征分析算法[12]。

1.1.3運動韋伯描述子(MoWLD)

本文提出的運動韋伯描述子(MoWLD)采用基于光流的方法對運動行為進行描述。基于光流的算法根據連續視頻幀內的某一個圖像區域在時間上的差異來確定運動區域。與基于視頻立方體和時空卷的方法[8,18]不同，基于光流的方法能夠明確地獲取運動的幅值和方向，直接對行為特征進行描述。為了將運動特征增加到我們改進的WLD特征中去，采用同樣的方法，將光流區域分割為4×4個網格，每個網格包含3×3個像素，使用同構建改進的WLD相同的方法，如此便得到了運動韋伯描述子(MoWLD)。

MoWLD將WLD和光流融合到一起來描述視頻中不同幀之間的運動信息。同WLD特征一樣，光流檢測不同幀之間的運動幅值和方向特征，因此我們也要構建光流的直方圖。構建光流直方圖的過程與構建改進的WLD直方圖過程類似。首先得到一個有4×4×12=192維的向量的光流直方圖。為了增加時間上的上下文信息而達到更高的魯棒性，再增加前三幀圖像到當前描述子上，最終得到一個有4×4×192=3 072維數的特征向量的光流直方圖。

這里我們直接將光流直方圖融入到WLD直方圖中形成MoWLD描述子，并不對光流方向進行調整。圖3給出了MoWLD描述子的構建過程。提取連續四幀圖像用于計算WLD和光流的直方圖，具有足夠運動量的候選興趣點被認為是MoWLD的興趣點，累加起來就是整個MoWLD特征。

圖3 MoWLD描述子的構建過程

1.1.4多尺度的MoWLD

本文采用多尺度的WLD特征分析的方法[12]，多尺度的光流的計算就是根據WLD的尺度分別進行統計的。多尺度是定義在P個像素的正方形對稱區域內，以(2R+1)為正方形的邊的長度的尺度上。其中P代表鄰域內的像素的個數，而R則確定了算子的空間分辨率。圖4給出了3個尺度上的WLD算子。

圖4 多尺度WLD下的正方形對稱區域圖示

由于本文提出的MoWLD是基于WLD和光流，所以它的抗遮擋和變形的能力都比較強。而且，當一個興趣點被檢測到的時候，得到WLD的一個主方向，在這個鄰域內的所有的梯度方向根據這個主方向做相應的旋轉，從而使得MoWLD具有旋轉不變性的特性。

為了減少冗余信息，提高檢測的速度，我們采用基于核密度估計(KDE)[19]的特征降維方式，將MoWLD特征向量的維數降至550維。下面用降維后的MoWLD特征作為輸入特征。

1.2 稀疏分類模型和字典學習

1.2.1SRC模型

給定K個物體的類，令D=[A1,A2,…,AK]代表由訓練樣本組成的字典，其中Ai是i類的訓練樣本的子集。令y代表測試的樣本。傳統的SRC分類算法如下：

1) 標準化每一個訓練樣本Ai，i=1,2,…,K。

1.2.2提出的模型

(3)

s.t. ‖dn‖2≤1,?n

1.2.3特定類的字典學習

不同行為類型的MoWLD特征不同，因此本文采取特定類的字典學習方法。本文的稀疏分類模型融入了表達約束項和系數調整項，因而具有很好的分類效果。雖然式(3)是非凸的，但是當其他兩個變量固定的時候，對求解式(3)中的D、W或Z變量就是凸的。因此我們可以將問題分割成三個子問題：當D和W固定時更新Z，當D和Z固定時更新W，當W和Z固定時更新D。如此便可以得到式(3)的解。

1) 當D和W固定時更新Z：此時，求解式(3)的問題就變為求解Z=[Z1,Z2,…,ZK]的問題。當計算得到Zi后，所有的Zj(j≠i)是固定的。式(3)可以降解為：

(4)

針對每一個Zi，方程可以進一步約束為：

(5)

計算得到Zi為：

Zi={DTD+(λ1+λ2)I+

γ1WTW}-1(DTai+λ2mi+γ1WTbi)

(6)

2) 當D和Z固定時更新W：原問題可以約束為：

(7)

式(7)可以變形為：

(8)

(9)

用最小二乘法求解得到如下結果：

(10)

3) 當W和Z固定時更新D：同更新Z的方法一樣，當計算得到Di后，所有的Dj(j≠i)是固定的。式(3)可以降解為：

(11)

s.t.‖dn‖2=1，?n

可以利用文獻[21]中的拉格朗日對偶方法來求解式(1)。

至此，式(3)求解完畢。

1.2.4分類機制

學習過字典D后，我們需要對測試樣本y進行處理，并進行分類。下面是我們提出的分類模型：

(12)

(13)

通過用一個簡單的線性預測分類器去估計向量l的類，類別索引對應向量l中的最大的元素。

圖5顯示了本文提出的稀疏分類模型相比于原始的SRC模型的優勢。在所用時間方面，SRC算法比較穩定。本文算法由于要計算同類之間的相似性矩陣，所用時間會隨著樣本數增加而增加，但是其成功地將所提出模型的算法的計算復雜度降低了。

圖5 不同字典大小下的表現性比較

2 實驗結果與分析

為了驗證本文提出的算法的有效性和優越性，我們在BEHAVE數據集[22]和Crowd Violence數據集[23]這兩個數據集上對算法進行了測試，并且同當前比較流行的算法進行了比較。在上面提出的稀疏分類模型里，在字典學習階段，我們設置λ1=0.005、λ2=3、γ1=1、γ2=0.1，在分類機制階段，設置γ=0.01。在每一個數據集上使用5個交叉驗證，以平均預測率(ACC)±標準差(SD)和ROC曲線的面積(AUC)兩種方式顯示結果。

2.1 在BEHAVE數據集上的測試結果

BEHAVE數據集涵蓋各種場景下的超過200 000幀圖像，包括走路，奔跑，追逐和打架等行為。我們將這些數據分為帶有各種行為的片段，每個片段至少包含上百幀的圖像。這里我們將每個片段標記為暴力或者非暴力，然后從中隨機選取80個片段用來進行暴力行為檢測，這80個片段分為20個暴力片段和60個非暴力片段。我們將本文的算法同當前比較流行的算法進行了比較，這些算法有HOG、HOF、HNF(HOG和HOF的結合)、ViF[23]、基于RVD的算法[24]、基于外貌和運動的深度神經網絡(AMDN)[25]、MoSIFT算法[12]以及原始的SRC思想[20]。各種算法在BEHAVE數據集上的比較結果如表1所示。

表1 在BEHAVE數據集上的檢測結果

續表1

實驗中字典被固定在1 800，由表中數據可以看出，本文提出的基于稀疏分類和運動韋伯特征相結合的算法戰勝了其他所有的比較流行的算法。而且本文提出的MoWLD描述子相比于HOG、HOF和HNF具有更強的判別性。從表中數據也可以看出，基于RVD[24]方法的結果僅次于本文提出的算法，這是因為它在前期采用光流的高斯模型去除了大量的噪聲，為后期的高準確率識別提供了保障。AMDN方法的表現性非常穩定，這是因為它采用深度神經網絡自動地表達學習特征，但是這種方法因為使用了光流作為輸入圖像的特征，所以表現性并不是最好的。此外，BEHAVE數據集上包含了很多類似于打架的暴力行為，所以傳統的SRC算法在這個數據集上的表現也不理想。

2.2 在Crowd Violence數據集上的測試結果

Crowd Violence數據集中的所有數據都來源于優酷，是專門為檢測群體暴力行為而搜集的，所以它包含了很多的擁擠場景。Crowd Violence數據集的246個視頻片段中，一半是暴力片段，一半是正常片段。我們將整個數據集分為5個集合來進行交叉驗證。同樣將本文提出的算法與當前比較流行的算法進行比較，各種算法在Crowd Violence數據集上的比較結果如表2所示。

表2 在Crowd Violence數據集上的檢測結果

續表2

實驗中，仍然將字典大小固定在1 800。從表中的數據可以看出，RVD的表現性相比于之前下降了，這是因為Crowd Violence數據集中包含了很多的擁擠場景。AMDN在Crowd Violence數據集上的表現性非常穩定，但是由于光流噪聲的引入，它的表現性并不是最好的。

原始的SRC模型比較簡單，無法對場景中復雜的信息進行判別，所以這里SRC的表現性又下降了。最重要的是，從表中信息可以看出，本文提出的算法仍然是所有算法中表現性最好的。這是因為這種算法中的MoWLD描述子相比于HOG、HOF和HNF具有更強的判別性。而且，本文提出的稀疏分類模型中的表達約束項和系數調整項也使得本文的算法具有更強的判別性。同時也說明了本文提出的基于稀疏分類和運動韋伯特征相結合的算法即使在擁擠的場景下也具有很好的識別性。

3 結 語

針對視頻監控場景中的暴力行為，本文提出了一種基于稀疏分類和運動韋伯特征相結合的暴力檢測算法。本文提出的運動韋伯描述子(MoWLD)充分結合了SIFT特征計算梯度直方圖方面的優勢和LBP在計算有效性的特點，它既是對圖像紋理特征的描述，也是對時間上的運動特征的刻畫。改進的稀疏分類模型引入了表達約束項和稀疏調整項，表達約束項可以確保帶著同一類標簽的訓練樣本特定類詞典具備更好的重建能力。系數調整項反映了不同類標簽的訓練樣本的特定類的子詞典有較弱的重建能力，可以確保不同類的字典表達盡可能的獨立，因而使得算法具有更強的判別性。大量的實驗結果證明本文提出的用于暴力檢測的算法具有很強的判別性，提出的融合有監督的特定字典學習的稀疏模型在分類上也是非常有效的。同時本文提出的基于稀疏分類和運動韋伯特征相結合的算法即使在擁擠的場景下也具有很好的識別性。