基于Haar-NMF特征和級聯AdaBoost的脫崗檢測算法

魏京天， 王 軍， 王玉楠2， 薄煜明

(1.南京理工大學 先進發射協同創新中心，江蘇 南京 210094； 2.東北大學 計算機科學與工程學院，遼寧 沈陽 110819)

近些年來，國防、安防、消防等高危化行業的崗位執勤工作日益受到重視，因此設計并實現一套可用于檢測值班室人員是否脫崗的系統具有十分現實的意義[1-2]。由于值班人員的“空崗”往往會造成不可估量的損失，脫崗檢測就顯得尤為重要。早期一般是通過指派專人不定期地查崗來進行脫崗檢測[3]，但這種方式實時性很差，難以第一時間處理突發狀況并且查崗耗費太多不必要的時間。隨著目標檢測領域的不斷發展，一套基于視頻監控平臺的值班室人員脫崗檢測系統應運而生。

脫崗檢測的方法論是基于機器學習中統計學習的方法[4]，設計一個完整成熟的脫崗檢測系統必須要解決一些關鍵問題，包括適應行人姿態變化的多樣性、單一場景下對行人和背景的分辨性和檢測的準確性和實時性等，其中在工程化和商業化的過程中最需要解決的問題就是如何同時兼顧檢測的準確率和檢測速度，設計并實現一種特定場景下滿足特定需求的脫崗檢測算法。在解決檢測速度和檢測準確度方面，由于對檢測準確性的高要求通常使得算法處理的過程中消耗了大量時間，而對于脫崗檢測這種單一場景下單一目標檢測的情況，對于區分有人和沒人的情況不需要使用很復雜的訓練過程和算法，因此，主要需要解決的問題就是檢測速度的問題，這也是目前所有的脫崗檢測應用急需解決的問題。

針對以上問題，為了降低算法的復雜度，沒有采用基于深度學習的方法，而是采用傳統的脫崗檢測的算法，對基于Haar特征和分類器的算法進行了改進，提出了一種基于Haar-NMF特征和級聯分類器的算法。

脫崗檢測系統一般分為外觀特征提取和分類學習兩個部分，常用的外觀特征有Haar特征、形狀特征、顏色特征、以及方向梯度直方圖等[5-6]。常用的分類方法有人工神經網絡、聚類算法以及集成算法[7-8]。本文重點研究基于Haar特征，提出利用非負矩陣分解Haar特征進行降維，提取出訓練樣本的Haar-NMF特征，得到基于人體特征的弱分類器，級聯得到14級的強分類器。針對分類器所產生的錯誤檢測進行噪聲消除等優化措施[9]。實驗表明，經過降維的Haar特征的訓練時間要短于普通的Haar特征，通過級聯得到分類器的檢測效果也比單一分類器的檢測效果好，整個基于Haar-NMF特征和級聯分類器組成的系統實現了檢測速度和準確率的折中，對脫崗檢測場景有較強的適用性。

1 基于Haar-NMF特征和級聯AdaBoost的脫崗檢測基本原理

1.1 Haar-NMF特征

Haar-NMF特征分為邊緣特征、線性特征、中心特征和對角線特征[10-11]，可由白色矩形和黑色矩形經過不同的組合得到不同的特征模板。Haar-NMF特征可以很好地表征圖像中局部區域的特征，如在崗人員的頭部和肩部特征，并且可以滿足高精度的要求。具體計算方法如下。

(1) 設T是長度為L的Haar特征向量，將其取絕對值后轉化為m×n的矩陣A，文中將訓練樣本歸一化后，得到L=122512，為便于后續進行低秩矩陣分解運算，需將向量T中的特征量放進矩陣A中存放，對于m、n的取值，沒有原則性的要求，但需滿足L=m×n與m>n，經查閱相關資料[12]，一般列數n的取值較小，本文取m=4712，n=26。

(2) 對轉化后的矩陣A進行秩為r的NMF分解：

A=W×KT

(1)

式中，W和K分別為m×r和n×r的非負的基矩陣和系數矩陣，應滿足r<

(3) 對W和K的每一個列向量進行歸一化處理，即

(2)

(4) 將所有的ia級聯成Haar-NMF特征。Haar-NMF特征通過低秩分解得到的基矩陣和系數矩陣很好地保留了Haar特征的特性，并且減少了算法的計算時間。

1.2 級聯AdaBoost算法

在得到Haar-NMF特征后，需要送入Cascade AdaBoost分類器進行訓練，目的是生成結果文件cascade.xml，以便被程序在進行實際檢測時調用。通常情況下，AdaBoost算法示意圖如圖1所示。

圖1 AdaBoost算法示意圖

算法流程如下：給定一個訓練數據集T={(x1,y1),(x2,y2),…,(xN,yN)}，其中實例xi∈X，實例空間x?Rn，yi屬于標記集合{-1,+1}。

(1) 首先對訓練數據的權重進行初始化，給每一個訓練樣本賦予同樣的權值：1/N。

D1=(w11,w12,…,w1i,…,w1N)

(3)

(4)

(2) 接著進行多次迭代運算，其中m表示迭代的輪數(m=1，2，…，M)。

① 使用具有權值分布Dm的訓練數據集學習，選取讓誤差率最低的閾值來設計基本分類器：

Gm(x):x→{-1,+1}

(5)

② 計算Gm(x)在訓練數據集上的分類誤差率em：

(6)

式中，Gm(x)在訓練數據集上的誤差率em就是被Gm(x)誤分類樣本的權值之和，I為單個樣本的代價函數，取值為“0”或“1”，當樣本的預測結果和真實結果相同時，代價函數的值為“0”，反之代價函數值為“1”。

③ 計算Gm(x)的系數，αm表示Gm(x)在最終分類器中的重要程度，該步驟的目的在于計算出基本分類器在最終分類器中所占的權重αm：

(7)

式中，em≤1/2時，αm≥0，且αm隨著em的減小而增大，即分類誤差率越小，基本分類器在最終分類器中的作用越大。

④ 更新訓練數據集的權值分布，目的是得到樣本新的權值分布，用于下一輪迭代：

Dm+1=(wm+1,1,wm+1,2,…，wm+1,N)

(8)

(9)

式中i=1,2,…N。AdaBoost是通過增大基本分類器Gm(x)誤分類樣本的權值以及減小正確分類樣本的權值來重點關注那些比較難區分的樣本，式(10)中Zm是規范化因子，使得Dm+1成為一個概率分布：

(10)

(3) 組成各弱分類器f(x)。

(11)

得到的最終強分類器如下：

(12)

實際應用中，一般將上述訓練得到的強分類器AdaBoost串聯起來構成級聯分類器，即Cascade AdaBoost。概括來說，Cascade AdaBoost就是一簇包含若干層的強分類器AdaBoost的集合[13]。

由于AdaBoost本身由多個弱分類器構成，故級聯的AdaBoost本質上來說是由若干簇弱分類器層層疊加所構成的，其中每一簇的弱分類器構成一個AdaBoost分類器，多個AdaBoost分類器串聯組成一個Cascade AdaBoost，之后提取每個平滑窗上的不同特征，并把這些特征依次放進不同的AdaBoost的弱分類器里進行判斷，如果所有的弱分類器都判斷為正標簽，則表示該平滑窗內檢測到目標，接下來就送到下一級AdaBoost的弱分類器里繼續進行判斷，分類器結構圖如圖2所示。

圖2 級聯分類器結構圖

采用級聯分類器的好處主要有兩點：一是通過多個弱分類器的級聯形成一個強的級聯分類器，能夠提高檢測的準確率[14]；二是可以減少運算量，比如采用一個包含400個弱分類器的AdaBoost和采用20級包含20個弱分類器的Cascade AdaBoost檢測效果相同，但是當一個平滑窗第一個特征沒有通過第一個分類器，那么Cascade AdaBoost就沒有必要繼續運算下去，直接拒絕掉當前平滑窗，轉而處理下一個平滑窗。Cascade AdaBoost的級聯思想保證了可以快速拋棄掉沒有目標的平滑窗，從而提高了檢測效率，滿足了系統實時性的需求。

2 實驗設計與過程

2.1 基本思想

脫崗檢測的本質是分類問題，即檢測目標圖像是“有人？”還是“沒人？”。基于此，本項目所設計的檢測系統，其狀態機共4種狀態，分別是“有人？”、“確認有人？”、“沒人？”、“確認沒人？”。該狀態機可形象地用圖3來表示。

圖3 脫崗檢測狀態機

檢測視頻圖像幀序列，當檢測不到人時，首先在圖像中找人，當檢測到一幀圖像中有人時，繼續檢測進行確認，當檢測到與該幀圖像相鄰的連續5幀圖像中有3幀中有人或者連續5幀有3幀畫面中存在移動時，則判定畫面中有人，即值班人員在崗，否則確認有人失敗，值班人員脫崗；當連續檢測到有人狀態，突然某一幀無法檢測到人，則繼續在視頻序列中找人確認是否的確沒人，當接下來的連續5幀圖像中有2幀檢測不到有人或者連續5幀有4幀沒有檢測到存在移動時，則認定視頻中沒有人，否則值班人員在崗。實際檢測結果中當屏幕顯示AffirmNoPeople(確認沒人)、PeopleInPic(有人)狀態時字幕都呈綠色，而顯示AffirmPeople(確認有人)、NoPeopleInPic(沒人)狀態時字幕則呈橘色，當NoPeopleInPic(沒人)狀態持續超過1 min時，字幕變成紅色，系統自動報警，同時系統自動將此時的脫崗圖片存放到程序中指定的報警圖片文件夾。

2.2 分類器訓練流程

3 實驗測試與分析

本文樣本集由3000張正樣本和4000張負樣本組成，正樣本由人的頭部和肩部等上半身特征組成，負樣本由復雜的環境特征和其他無關特征構成，選用的部分正負樣本集分別如圖4、圖5所示。

圖4 部分正樣本集

圖5 部分負樣本集

系統整體的訓練及檢測流程圖如圖6所示。

圖6 系統訓練和測試流程圖

在系統測試過程中，畫面中出現在崗行人運動時，系統通過檢測相鄰畫面的幀的差值來判斷是否有運動的行人，即是否在崗。當在崗人員處于坐立狀態時，除了像普通人臉識別對人體面部進行檢測外，還因人體坐姿的不確定性，對頭部的側方和后方的特征進行檢測。

本文的測試平臺為Visual Studio 2012和OpenCV 3，編程語言為C++，測試計算機配置為Intel Core i7-7700K，內存為16 GB，GPU為6 GB的GTX1060。

分別對提取的Haar特征和Haar-NMF特征進行分類訓練，分類器均為10級的AdaBoost分類器，計算訓練時間和檢測率。其中檢測子窗口的大小為30×30，步長為8，單幀圖片的平均檢測時間為33 ms。使用Haar-NMF特征訓練的時間明顯小于Haar特征的訓練時間。對比結果如表1所示。

表1 特征訓練時間與檢測率對比

由表1可以得出，使用Haar-NMF特征與使用Haar特征進行訓練相比，訓練時間大大降低，但是訓練的結果(檢測率)并沒有大幅下降。因此可以得出結論，使用Haar-NMF特征可以有效地降低算法的復雜度，提升系統訓練和檢測的速度。

啟動程序調用訓練好的級聯分類器文件cascade.xml，加載入多個測試視頻，測試視頻的幀率為60 f/s，清晰度為720p，圖片的分辨率為1816像素×988像素，檢測效果如圖7、圖8所示。

圖7 初步測試結果(1)

圖8 初步測試結果(2)

測試時發現有時會有誤檢的情況，誤檢目標一般為桌面上的小物件，如圖9所示。

圖9 部分誤檢結果

本設計進行了多次正負樣本的補充，最終使用的正樣本數為4000個，負樣本數為5000張，當然分類器自行分割的負樣本數遠不止于此，部分補充后的樣本如圖10所示。

圖10 部分補充后的樣本

增加正負樣本訓練后檢測效果有所提升，實驗證明補充樣本后的檢測效果有所改善，檢測率由原來的88.1%提升為90.7%，最終測試結果如圖11所示。

圖11 最終測試結果

為了進一步改善分類性能，本設計對級聯分類器也進行了多次調試，級數由原來的10級提高至12級并最終增至14級，其對比結果如表2所示。

表2 不同分類器級數訓練時間與檢測率對比

采用14級分類器分別對Haar特征和Haar-NMF特征進行訓練，得到的檢測時間與檢測率如表3所示。

表3 14級分類器訓練時間與檢測率對比

通過表2和表3的實驗結果可以得出，提高分類器計數能在一定程度上提升檢測率，對分類性能有所改善。運用Haar-NMF特征進行檢測時，在檢測率很好的同時，大大降低了訓練時間。

4 結束語

本文針對傳統的脫崗檢測技術和理論進行了一定的改進并加以實現，提出了一種基于Haar-NMF特征和級聯分類器的算法。

采用低維Haar-NMF特征代替傳統的Haar特征，Haar-NMF特征可以很好地表征圖像中局部區域的特征，如在崗人員的頭部和肩部特征，滿足系統對檢測準確率的要求；采用級聯AdaBoost分類器代替AdaBoost分類器，提高了檢測的準確率并減少了運算量，滿足系統對檢測速度的要求。實驗表明，此算法在保證檢測成功率的基礎上，縮短了樣本的訓練和檢測的時間，并且通過增加分類器的級數提高了系統的部分性能，驗證了本文理論的正確性和實現的可行性。