視頻中的人體檢測算法

常州先進(jìn)制造技術(shù)研究所 王敏，趙娜娜，劉忠杰，黃榜

中國科學(xué)院合肥物質(zhì)科學(xué)研究院先進(jìn)制造技術(shù)研究所 宋小波

常州先進(jìn)制造技術(shù)研究所 朱擎飛

1 簡介

一般情況下，有兩種主要方法來解決圖像中的人體檢測。一種是用人身體部位位置的幾何模型來對人體建模，在文獻(xiàn)[1]中，身體部位用組合關(guān)節(jié)和位置的直方圖來表示。用獨立的Adaboost算法檢測器訓(xùn)練多個身體部位的模型。盡管這項技術(shù)能夠提供一個通用的對象識別框架，但是難以達(dá)到快速實現(xiàn)的目的。此外應(yīng)該考慮到，人體的自然狀態(tài)可能不完全適用于處理低分辨率的人體圖像上，這種情況在監(jiān)控錄像中經(jīng)常遇到。

第二種方法建立在對給定圖像的所有可能的子窗口進(jìn)行人體檢測的基礎(chǔ)上。檢測圖像中目標(biāo)的最簡單方法之一，就是用濾波器卷積圖像或用目標(biāo)響應(yīng)建立模板。卷積的輸出應(yīng)該產(chǎn)生一個大響應(yīng)來顯示目標(biāo)；同時抑制背景響應(yīng)。卷積輸出超過閾值的時候，就意味著檢測到目標(biāo)。這種方法的主要優(yōu)點是，它非常簡單而且速度非常快。

基于濾波器的目標(biāo)檢測算法是否成功取決于濾波器區(qū)分目標(biāo)和背景能力。產(chǎn)生濾波器的典型方法是從訓(xùn)練圖像中剪裁目標(biāo)的模板。不幸的是，一幅圖像基礎(chǔ)上的模板往往不能充分捕捉外觀變化，因此只能用在高度控制的對象檢測的方案之中。為了彌補(bǔ)這一缺陷，有一些技術(shù)從大量的模板中提取濾波器，這樣才能更準(zhǔn)確地反映目標(biāo)的外觀。例如，可以通過平均模板產(chǎn)生一個濾波器。但是也存在另一個缺點，這種濾波器往往不能充分區(qū)分目標(biāo)和背景。

更復(fù)雜的基于綜合鑒別函數(shù)（SDF）[2]的方法也可用來產(chǎn)生濾波器，對訓(xùn)練模板有良好的反應(yīng)，并產(chǎn)生清晰和穩(wěn)定的峰值。SDF的一個問題是在訓(xùn)練中沒有考慮完整的卷積輸出。相反，它只強(qiáng)調(diào)在輸出中濾波器與目標(biāo)對準(zhǔn)時的一個點。這些技術(shù)的目的，強(qiáng)調(diào)良好的目標(biāo)峰值，但當(dāng)它涉及到相似背景的抑制峰值的效果就差了很多。

最近訓(xùn)練濾波器引入一個新的概念，所謂平均合成精確的濾波器（ASEF）[3]。ASEF考慮到濾波器完整的卷積操作的整個輸出。比起傳統(tǒng)技術(shù)，通過利用卷積定理產(chǎn)生的ASEF濾波器更像是反卷積。文獻(xiàn)[3]的結(jié)果表明，ASEF濾波器定位在臉上眼睛的效果很好，因為濾波器很好地抑制了其他面部特征的響應(yīng)。這項研究將顯示ASEF濾波器在一個更一般的檢測問題上，能產(chǎn)生良好的目標(biāo)與背景分離，參見2009年的PETS數(shù)據(jù)集[4]。

ASEF濾波器基礎(chǔ)上的檢測器有許多優(yōu)點。訓(xùn)練只需要少量的手注解圖像和幾秒鐘計算時間。由此產(chǎn)生的檢測器要專門對于相機(jī)設(shè)置進(jìn)行調(diào)整。比起其他競爭技術(shù)，檢測技術(shù)非常簡單，而且是在非常規(guī)則的卷積的基礎(chǔ)上，這意味著它非常適合于嵌入式系統(tǒng)或現(xiàn)有的信號處理芯片。基于濾波器的檢測比競爭技術(shù)快許多倍，而它的精度差不多甚至更好。

2 方法

本文的目的是從固定攝像機(jī)捕獲的實時視頻中檢測人體。為了檢測視頻中的人體，每一秒都必須對成千上萬的檢測窗口進(jìn)行評估。絕大多數(shù)這些窗口對應(yīng)著背景，而且必須被忽略。因此，必須構(gòu)造一個分類，能夠可靠地拒絕掉提交給它的大多數(shù)檢測窗口；但是，當(dāng)實際存在一個人體的時候，就要避免錯誤地拒絕窗口。這可能是一個重大的挑戰(zhàn)。

原則上，在每一幀標(biāo)記視頻中，對于所有可能的檢測窗口訓(xùn)練檢測器都是有意義的。但是這樣做對常用類型的檢測器（如VJ級聯(lián)分類檢測器），往往要求過高的計算能力。雖然推動這種類型的訓(xùn)練是明智的，多次迭代后可以產(chǎn)生很好的檢測器，但是過程中難以實現(xiàn)自動化，并在實踐中可能會出現(xiàn)問題。

與此相反，這里所介紹的技術(shù)本身在每一個可能的檢測窗口自然參與有效的培訓(xùn)。這是因為分類器是基于卷積的，而且訓(xùn)練可以實現(xiàn)高效率地利用卷積定理。具體說來，本研究提出的濾波器是花費(fèi)了12秒在3145728個檢測窗口中被訓(xùn)練出來的。

2.1 大小歸一化和預(yù)處理

創(chuàng)建一個基于濾波器的檢測器，其中一個挑戰(zhàn)是規(guī)模變化的問題。在PETS2009數(shù)據(jù)集中，人體的高度從最小的50個像素變化到最大的150像素。這帶來了兩個問題。第一個問題是訓(xùn)練都是假定人體為大致相同的尺寸的。第二個問題是在測試中，濾波器需要被應(yīng)用在多尺度下。這兩個問題的解決方案是利用相機(jī)設(shè)置的幾何形狀。由于相機(jī)的升高而且在一個近似平面的場景向下看，相機(jī)定位的人體很好預(yù)測一個人的高度。這里的方法是按照大致比例把場景分割為一些區(qū)域。然后這些區(qū)域重新調(diào)整，使人們在每個區(qū)域中都是大致相同的高度。重新縮放的區(qū)域比整幅圖像中的人體平均身高按比例而言，方差小得多。這些區(qū)域可以在人行道上著重檢測工作，那里已經(jīng)涵蓋了視頻中的大部分動作。設(shè)置均勻尺寸的區(qū)域，簡化了濾波器的訓(xùn)練，又確保了圖像的大小與FFT兼容。

圖1（a）顯示的是高度完整的視頻圖像中的人，可以很好地使用線性模型來近似。圖1（b）顯示了在重新調(diào)整的檢測區(qū)域中人的高度。在重新縮放區(qū)域，人的高度變化要小得多。

圖1 目標(biāo)大小歸一化

另一個挑戰(zhàn)是一個事實，即一個人的外表受服裝的影響很大。許多檢測算法都專注于基于梯度的特征來解決這個問題[5～7]。基于梯度特征集中于邊緣信息的檢測過程中，檢測較少依賴于像素的絕對強(qiáng)度值。因此，在檢測區(qū)域中圖像使用標(biāo)準(zhǔn)的Sobel算子對每個像素進(jìn)行預(yù)處理，產(chǎn)生梯度幅值。此步驟創(chuàng)建一個新的圖像，里面的人體主要由輪廓來定義。然后，通過給像素值取對數(shù)的方法對這些照片進(jìn)行歸一化，而且調(diào)整照片使一個區(qū)域內(nèi)歸一化的值在零和單位長度之間。

2.2 訓(xùn)練ASEF濾波器

濾波器的訓(xùn)練過程的例子如圖3所示，在[3]中有詳細(xì)討論，使用了Pyvision庫實現(xiàn)濾波器[8]。ASEF濾波器學(xué)習(xí)了從源圖像到目標(biāo)圖像的映射。更正式地說，他們選中圖像f∈RP×Q，并將其映射到一個新的圖像g∈RP×Q。該映射的參數(shù)化由濾波器和卷積變換來定義，其中卷積g=f?h。

在訓(xùn)練標(biāo)準(zhǔn)檢測器的時候，每個檢測窗口都會被標(biāo)注：如果存在一個人體，就標(biāo)注為一個正面的例子；如果是對應(yīng)于背景，就標(biāo)注為負(fù)例子。與此相反，對于復(fù)雜的場景，ASEF濾波器的訓(xùn)練同時包含正面和負(fù)面的例子。如果存在一個人體，整個圖像被標(biāo)記為峰，值是1.0，背景值就為0.0。ASEF過程學(xué)習(xí)了從訓(xùn)練圖像到標(biāo)記輸出的映射。

更正式地說，對于每個訓(xùn)練圖像if，將產(chǎn)生一個合成輸出ig，其圖像里的每個人都對應(yīng)一個峰。ig里的峰將按二維高斯的形狀分布：

其中，(xp,yp)是訓(xùn)練的圖像中的人p的位置，σ控制峰值的半徑。

接著，對于每個訓(xùn)練圖像，將要計算一個精確的濾波器hi，精確地將圖像fi映射到gi。在傅立葉域中，這種計算是有效的。卷積定理指出，卷積在傅立葉域中變?yōu)樵叵喑恕Ｒ虼耍@個問題可以從空間域中的：

轉(zhuǎn)化為在傅立葉域中的：

其中，Gi，F(xiàn)i和Hi是他們小寫字母的傅立葉變換，? 明確表示對應(yīng)元素乘積。確切的濾波器現(xiàn)在可以通過求解下面的公式進(jìn)行快速計算：

該方法將學(xué)習(xí)一個“匹配”濾波器，這意味著它在空間域的x軸和y軸將同時翻轉(zhuǎn)。也可以通過采取在傅立葉域中的復(fù)共軛執(zhí)行這翻轉(zhuǎn)。該濾波器上也以像素(0，0)為中心。

所得的濾波器可以被認(rèn)為是一個弱分類器。映射到高維特征空間中的過程是緩慢的，所以選擇建立在完整圖像特征空間基礎(chǔ)上的弱分類器。如圖3所示，精確的濾波器看上去不像模板，更像是噪音響應(yīng)了人體的輪廓。要產(chǎn)生一個更一般的分類器，就要對于每一幅訓(xùn)練圖像進(jìn)行計算精確的濾波器，然后取平均值。平均精確的濾波器的目的可以參見文獻(xiàn)[9]。簡單的濾波器集中收斂于方差誤差最小化的濾波器。對于同一個實例，平均得到的特征是特定的，于是思考平均過程的更直觀的方式是：通過多次濾波后保持特征不變。因此，最終ASEF濾波器被計算為：

其中N是訓(xùn)練圖像的數(shù)目。平均有一些很好的特性，使得ASEF濾波器的訓(xùn)練速度快又很容易計算：它不會過度擬合訓(xùn)練數(shù)據(jù)，對于每個圖像，它僅需要一個單一步驟，只需要足夠內(nèi)存來存儲一個濾波器。

ASEF有一個限制是：它通常需要大量的訓(xùn)練圖像，以收斂到一個好的濾波器。有兩種方法可以減少所需的培訓(xùn)總幀數(shù)。第一，從[3]可知，是重復(fù)使用因小縮放、小旋轉(zhuǎn)、小變換與影響而變動的訓(xùn)練圖像。這增加了訓(xùn)練圖像的數(shù)目，而且還鼓勵濾波器對于旋轉(zhuǎn)和縮放的小變化變得更強(qiáng)大。

本文介紹的改進(jìn)技術(shù)改善了精確濾波器的穩(wěn)定性。在求解濾波器的公式中，訓(xùn)練圖像中攜帶較少功率的頻率，在相應(yīng)的精確濾波器中占有較大比重。這些頻率會導(dǎo)致精確濾波器變得不穩(wěn)定，并且在極端的功率為零情況下，會引起被零除的錯誤。為了糾正這個問題，精確濾波器使用iF的最大頻率來構(gòu)造，iF包含圖像95%的總功率。

刪除小的頻率似乎會除去精確濾波器的很多“噪音”。在測試中，這種發(fā)現(xiàn)就允許了ASEF濾波器以較少的圖像進(jìn)行訓(xùn)練，而其準(zhǔn)確性或外觀不會有不利影響。

2.3 基于濾波器的對象檢測

使用濾波器的目標(biāo)檢測器簡單又快捷。各個檢測區(qū)域進(jìn)行相同的重新調(diào)節(jié)和預(yù)處理過程，作為訓(xùn)練。圖像使用公式2的FFT方法與ASEF濾波器卷積，得到這些梯度幅度圖像。

由此產(chǎn)生的相關(guān)輸出，當(dāng)人體存在的時候，應(yīng)該有峰值；當(dāng)為圖像背景的時候，響應(yīng)被抑制。然后掃描相關(guān)輸出，尋找局部極大值。任何超過了用戶定義的閾值的最大值就被認(rèn)為是檢測到了一個結(jié)果。參閱圖2和圖4的例子。

3 實驗結(jié)果與分析

圖2 實時視頻中的人體檢測結(jié)果例一

圖3 例一的前景識別結(jié)果

圖4 實時視頻中的人體檢測結(jié)果例二

圖4是實時視頻中的快速人體檢測實例，顯示效果良好，尤其是例二中，運(yùn)動人體在身側(cè)的深色玻璃上產(chǎn)生鏡面反射，于是在視頻中的部分圖像中，很清楚地顯示出了鏡中的人影，但是本文使用的算法很好地避免了這種情況的誤檢測。

實驗結(jié)果表明，算法可以處理超過每秒25幀的圖像，并實現(xiàn)了對于稀疏人群實現(xiàn)94.5%的檢出率。濾波器訓(xùn)練也很快，訓(xùn)練32手動注釋圖像的檢測器只需12秒。本文的的檢測算法能夠更好地處理復(fù)雜背景下的不明顯運(yùn)動人體目標(biāo)檢測，減少前景圖像中圖像的空洞，從而精確地實現(xiàn)運(yùn)動人體的目標(biāo)檢測。

4 結(jié)束語

本文采用基于濾波器的相關(guān)邊緣幅度圖像的人體檢測算法。關(guān)鍵是訓(xùn)練濾波器所使用的技術(shù)：平均合成的精確濾波器（ASEF）。ASEF檢測算法效果好、精度高、準(zhǔn)確度高、魯棒性強(qiáng)，大大改善了復(fù)雜背景下的人體檢測率，本文算法能夠很好地對運(yùn)動視頻中的人體進(jìn)行提前檢測，從而更準(zhǔn)確地實現(xiàn)運(yùn)動人體檢測。

[1] K. Mikolajczyk, C. Schmid, and A. Zisserman. Human detection based on a probabilistic assembly of robust part detectors. In Europe Conf. Comp [C].Vision (ECCV),2004,1:69-81.

[2] B.V.K. Vijaya Kumar, A. Mahalanobis, and R.D. Juday. Correlation Pattern Recognition. Cambridge University Press, 2005.

[3] D.S. Bolme, B.A. Draper, and J. Ross Beveridge. Average of synthetic exact filters[C].In CVPRMiami Beach, Florida,2009.2105-2112.

[4] J. Ferryman and A. Shahrokni. An overview of the pets2009 challenge[C].In PETS,2009,25-30.

[5] N. Dalai, B. Triggs, I. Rhone-Alps, et al. Histograms of oriented gradients for human detection[C].In CVPR,2005,886-893.

[6] O. Sidla, Y. Lypetskyy, N. Brandle , et al. Pedestrian detection and tracking for counting applications in crowded situations[C].In IEEE International Conference on Video and Signal Based Surveillance,2006.

[7] B. Wu and R. Nevatia. Detection of multiple, partially occluded humans in a single image by bayesian combination of edgelet part detectors[C]. In ICCV,2005,90-97.

[8] D.S. Bolme. Pyvision - computer vision toolkit[EB/OL]. http://pyvision.sourceforge.net, 2008.

[9] L. Breiman. Bagging Predictors[J].Machine Learning,1996,24(2):123-140.