基于Adaboost和STC的實(shí)時(shí)人臉跟蹤

王佐成，吳艷平，薛麗霞

(1.中國電子科技集團(tuán)公司第三十八研究所， 合肥 230088；2.安徽四創(chuàng)電子股份有限公司， 合肥 230088；3.合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院， 合肥 230009)

?

基于Adaboost和STC的實(shí)時(shí)人臉跟蹤

王佐成1，吳艷平2，薛麗霞3

(1.中國電子科技集團(tuán)公司第三十八研究所， 合肥 230088；2.安徽四創(chuàng)電子股份有限公司， 合肥 230088；3.合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院， 合肥 230009)

針對公共重點(diǎn)區(qū)域的智能監(jiān)視問題，研究了時(shí)空語義模型(STC)跟蹤技術(shù)。針對STC不能實(shí)現(xiàn)自動(dòng)跟蹤，提出利用Adaboost進(jìn)行人臉檢測、然后利用STC進(jìn)行跟蹤的實(shí)時(shí)人臉跟蹤技術(shù)。首先利用Adaboost算法進(jìn)行人臉檢測，而后通過貝葉斯框架建立檢測到的人臉區(qū)域與周圍內(nèi)容的時(shí)空關(guān)系，計(jì)算出人臉區(qū)域的置信圖和似然概率最大的位置并作為跟蹤結(jié)果。實(shí)驗(yàn)結(jié)果表明：該方法實(shí)現(xiàn)簡單，具有較好的實(shí)時(shí)性與魯棒性,可以作為實(shí)時(shí)人臉跟蹤的有效方法。

智能監(jiān)視；Adaboost；STC；人臉跟蹤

人臉識(shí)別技術(shù)由于采集方式友好、用途廣泛，在過去的四十多年中一直是人工智能領(lǐng)域的熱點(diǎn)研究課題。而人臉檢測與人臉跟蹤技術(shù)作為人臉識(shí)別系統(tǒng)的先決條件，有著十分重要的作用和研究意義。同時(shí)人臉檢測與跟蹤也不僅僅局限于人臉識(shí)別的范疇，在圖片視頻檢索、視頻監(jiān)控、人臉表情分析等方面有著廣泛的應(yīng)用前景。人臉檢測與跟蹤的研究已成為計(jì)算機(jī)視覺與模式識(shí)別領(lǐng)域的研究熱點(diǎn)之一[1]。

基于STC(spatio-temporal context)學(xué)習(xí)模型的方法[2]通過貝葉斯框架對要跟蹤的目標(biāo)和它的局部上下文區(qū)域的時(shí)空關(guān)系進(jìn)行建模，得到目標(biāo)和其周圍語義區(qū)域間低級特征的統(tǒng)計(jì)相關(guān)性，將跟蹤問題轉(zhuǎn)化為目標(biāo)位置置信圖的計(jì)算問題，最大化似然函數(shù)后獲得目標(biāo)位置。該方法采用快速傅里葉變換實(shí)現(xiàn)時(shí)空模型的快速學(xué)習(xí)和目標(biāo)的檢測，有著較好的實(shí)時(shí)性和抗遮擋能力[3]。

由于STC不能主動(dòng)跟蹤，必須依賴于手動(dòng)選取目標(biāo)，本文首先利用Adaboost進(jìn)行人臉檢測，選取跟蹤的人臉，后利用STC進(jìn)行跟蹤。通過真實(shí)視頻數(shù)據(jù)實(shí)驗(yàn)驗(yàn)證，表明該算法處理速度快，且具有較高的準(zhǔn)確度。

1 Adaboost人臉檢測算法

AdaBoost算法[4-9]是一種基于學(xué)習(xí)的特征訓(xùn)練級聯(lián)分類器算法。該方法采用類Haar特征來表示人臉。Haar型特征是Viola[4]等提出的一種簡單矩形特征，因類似于Haar小波而得名，最初的特征庫包括3種類型5種形式的特征，3種類型分別為2-矩形特征、3-矩形特征、4-矩形特征。矩形特征的特征值等于原圖像在白色區(qū)域的所有像素值之和減去黑色區(qū)域的所有像素值之和。由于計(jì)算特征值時(shí)須對其覆蓋的矩形范圍內(nèi)的像素進(jìn)行灰度值統(tǒng)計(jì)，這樣會(huì)導(dǎo)致重復(fù)計(jì)算像素值，效率會(huì)降低，因此，應(yīng)用積分圖解決該問題[8]。

對于圖像內(nèi)一點(diǎn)A(x,y)，定義其積分圖為：

(1)

其中i(x′,y′)為點(diǎn)(x′,y′)處的灰度像素值。點(diǎn)的積分圖的物理意義表示為該點(diǎn)與圖像原點(diǎn)所形成的矩形內(nèi)各像素的值之和，但是計(jì)算方法并非對各個(gè)像素值累加，而是根據(jù)迭代的方法快速計(jì)算，如圖1所示，可得：

(2)

圖1 積分圖說明

利用基于AdaBoost的學(xué)習(xí)算法[9-10]，從一個(gè)較大的特征集中選擇一些關(guān)鍵的特征，產(chǎn)生若干個(gè)高效的分類器，再用級聯(lián)的方法將這些分類器合成為一個(gè)更復(fù)雜的分類器。分類器訓(xùn)練過程中根據(jù)訓(xùn)練結(jié)果改變樣本權(quán)重，其中判斷正確的賦予較小的權(quán)重，下次訓(xùn)練時(shí)給予較少的關(guān)注。判斷錯(cuò)誤的賦予較大的權(quán)重，下次訓(xùn)練時(shí)給予較多的關(guān)注。然后將賦予新權(quán)值的數(shù)據(jù)集從下層分類器進(jìn)行訓(xùn)練，選取若干弱分類器構(gòu)成強(qiáng)分類器，最后將訓(xùn)練得到的強(qiáng)分類器級聯(lián)起來，形成最終的分類器。

2 時(shí)空語義(STC)學(xué)習(xí)算法

在視覺跟蹤中，包含目標(biāo)的局部場景在連續(xù)幀之間存在著較強(qiáng)的時(shí)空關(guān)系，充分利用此關(guān)系將有助于目標(biāo)的準(zhǔn)確跟蹤[10-14]，其中，目標(biāo)和它附近一定區(qū)域范圍內(nèi)的背景共同組成了局部語義區(qū)域。在遮擋情況下，對于局部區(qū)域來說，只是一部分發(fā)生了變化，背景以及遮擋部分與背景之間的相對位置并未發(fā)生明顯改變，利用這一點(diǎn)，局部上下文就可以在下一幀中預(yù)測到目標(biāo)出現(xiàn)的位置。該方法利用時(shí)空語義區(qū)域信息能夠處理局部遮擋。具體算法如下[4]：

跟蹤問題可轉(zhuǎn)化為計(jì)算目標(biāo)置信圖c(x)，

(3)

其中:x∈R2是目標(biāo)位置;o表示當(dāng)前幀的目標(biāo)。

假設(shè)在當(dāng)前幀中已經(jīng)獲得目標(biāo)中心的坐標(biāo)x*。語義特征集合被定義為

(4)

式中：I(z)表示z處的圖像灰度；Ωc(x*)表示位置x*的近鄰。

聯(lián)合概率密度為P(x,c(z)|o)。目標(biāo)位置似然函數(shù)可計(jì)算如下：

(5)

條件概率P(x,c(z)|o)表示目標(biāo)位置和它的語義信息，定義為：

(6)

其中hsc(x-z)表示目標(biāo)及其空間語義之間的空間關(guān)系。

P(c(z)|o)是語義的先驗(yàn)概率，表示局部語義的外觀。

(7)

其中：I(z)是點(diǎn)z處的圖像灰度；a是歸一化常量；σ是尺度參數(shù)。

目標(biāo)位置的置信圖定義為：

(8)

其中:b為歸一化常量;α為尺度參數(shù);β為形狀參數(shù)。

結(jié)合式(8)中的置信圖函數(shù)和語義先驗(yàn)?zāi)Ｐ停梢缘玫綄W(xué)習(xí)空間語義模型：

(9)

其中F-1表示傅里葉逆變換。

3 基于Adaboost和STC的實(shí)時(shí)人臉檢測及跟蹤

圖2 算法流程

3.1 Harr特征及人臉分類器訓(xùn)練

在進(jìn)行人臉檢測之前，需要進(jìn)行人臉分類器的訓(xùn)練。Adaboost人臉分類器選取的部分haar特征如圖3所示。

圖3 人臉haar特征

1)選擇合適的正樣本集和負(fù)樣本集(正樣本集是指待檢目標(biāo)樣本，負(fù)樣本集指其它任意圖片)，通常數(shù)量比例為1∶4左右，并對正樣本進(jìn)行歸一化處理。本文選取的正樣本個(gè)數(shù)為300個(gè)，負(fù)樣本個(gè)數(shù)為1 300個(gè)，統(tǒng)一歸一化為20×20大小。圖4、5所示為訓(xùn)練分類器所需的部分正樣本和負(fù)樣本。

圖4 部分人臉庫樣本

圖5 部分非人臉庫樣本

2) 根據(jù)樣本和選擇的Haar特征，對樣本中包含的所有Haar特征確定最優(yōu)閾值。并選擇分類效果最好的一個(gè)特征作為第一個(gè)弱分類器，并根據(jù)判斷結(jié)果，改變樣本權(quán)重。

3) 利用改變權(quán)重后的樣本繼續(xù)對Haar特征進(jìn)行訓(xùn)練，選擇。重復(fù)步驟2)，訓(xùn)練弱分類器。

4) 根據(jù)最大誤檢率(55%)和最小檢測率(96%)來進(jìn)行強(qiáng)分類器的訓(xùn)練。

5) 將這些訓(xùn)練好的強(qiáng)分類器組成級聯(lián)分類器。

6) 利用級聯(lián)分類器對待檢測的樣本進(jìn)行人臉檢測。

城市發(fā)展是循序漸進(jìn)的，走可持續(xù)發(fā)展的路線，濱海新區(qū)著力打造“天津智港”“生態(tài)城”等新的城市發(fā)展功能更符合國際化的城市發(fā)展定位，優(yōu)越的城市文化和先進(jìn)的城市功能將會(huì)吸引更多的國際交流與合作。

圖6 Adaboost分類器與檢測流程

3.2 時(shí)空模型更新

啟動(dòng)跟蹤時(shí)即啟動(dòng)人臉檢測，選取根據(jù) Adaboost 算法檢測到的人臉?biāo)诘木匦挝恢脜^(qū)域?yàn)椤?/p>

(10)

(11)

其中ct+1(x)可由式(12)得到。

(12)

時(shí)空語義模型按下式更新：

(13)

4 實(shí)驗(yàn)與分析

本實(shí)驗(yàn)運(yùn)行環(huán)境為：Intel E5-2600u 2.5 GHz， 內(nèi)存為2×8 GB的服務(wù)器上，使用 VC++ 編寫程序進(jìn)行實(shí)驗(yàn)。

本方法可以用攝像頭或視頻文件作為輸入。實(shí)驗(yàn)取目前監(jiān)控?cái)z像頭捕獲的視頻進(jìn)行測試來驗(yàn)證算法的可行性。圖7為監(jiān)控視頻的跟蹤結(jié)果。圖7(a)為某安檢區(qū)域的監(jiān)控視頻(共238幀)中的第1幀、第22幀、第99幀、第135幀、第172幀、第230幀。算法首先在第1幀中利用Adaboost算法進(jìn)行人臉檢測，對檢測到的人臉進(jìn)行時(shí)空語義建模。而后利用STC進(jìn)行人臉跟蹤。在第172幀到230幀之間，運(yùn)動(dòng)目標(biāo)發(fā)生側(cè)移，跟蹤誤差稍許增高。圖7(b)為普通道路區(qū)域的監(jiān)控視頻(共59幀)中的第1幀、第12幀、第26幀、第37幀、第48幀、第59幀。通過這些幀數(shù)的直觀跟蹤結(jié)果說明，該算法可行，可作為后續(xù)人臉識(shí)別的基礎(chǔ)。

圖7 基于Adaboost和STC的監(jiān)控視頻人臉跟蹤

為了驗(yàn)證算法的抗遮擋能力，本文取跟蹤領(lǐng)域主流的camshift算法與之比較，同時(shí)特地在視頻中進(jìn)行類膚色干擾如手的干擾等。輸入視頻為720P攝像機(jī)拍攝產(chǎn)生的視頻。圖9、10給出了同一個(gè)視頻采用兩種方法跟蹤的結(jié)果。該組視頻從左到右分別對應(yīng)第35幀、第82幀、第101幀、第135幀、第149幀的分析結(jié)果。視頻在第82幀的時(shí)候，出現(xiàn)過被跟蹤人臉被手遮擋的現(xiàn)象，如圖9所示，采用STC，仍能夠很好的進(jìn)行跟蹤。如圖10所示，采用Camshift算法，則因類膚色干擾，導(dǎo)致跟蹤框漂移。通過該實(shí)驗(yàn)說明了STC算法對遮擋具有很好的魯棒性。

圖8 視頻序列中心誤差曲線

圖9 Adaboost+STC跟蹤結(jié)果

圖10 Adaboost+Camshift跟蹤結(jié)果

本文選取平安城市監(jiān)控?cái)z像機(jī)以及實(shí)驗(yàn)環(huán)境下監(jiān)控?cái)z像機(jī)拍攝的多組1080P視頻數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，選取TLD與Camshift算法與本文算法進(jìn)行比較，得出的實(shí)驗(yàn)數(shù)據(jù)如表1所示。從表1中可以看出本系統(tǒng)具有更好的實(shí)時(shí)性與魯棒性。

表1 本文方法與其他跟蹤算法對比

5 結(jié)束語

本文提出了一種基于人臉檢測和STC算法的人臉跟蹤技術(shù)。對于攝像頭或者視頻文件輸入，首先利用Adaboost算法進(jìn)行人臉檢測，而后通過貝葉斯框架對要跟蹤的目標(biāo)和它的局部上下文區(qū)域的時(shí)空關(guān)系進(jìn)行建模，得到目標(biāo)和其周圍語義區(qū)域間低級特征的統(tǒng)計(jì)相關(guān)性，將跟蹤問題轉(zhuǎn)化為目標(biāo)位置置信圖的計(jì)算問題，計(jì)算最大化似然函數(shù)后獲得目標(biāo)位置，進(jìn)而完成人臉跟蹤。試驗(yàn)結(jié)果表明：該算法具有較高的實(shí)時(shí)性與魯棒性，可在攝像機(jī)或視頻流中采集和跟蹤人臉，更好的服務(wù)于人臉識(shí)別和視頻濃縮摘要。在平安城市軌跡追蹤、銀行身份識(shí)別、機(jī)場安檢、支付認(rèn)證等方面具有較好的應(yīng)用前景。

[1] 佘九華，王敬東，李鵬.基于Camshift的人臉跟蹤算法[J].計(jì)算機(jī)技術(shù)與發(fā)展，2008，18(9):12-15.

[2] ZHANG K H,ZHANG L,YANG M H,et al.Fast Visual Tracking via Dense Spatio-temporal Context Learning[M].New York:Springer International Publishing,2014:127-141.

[3] 黃井強(qiáng).機(jī)載視頻運(yùn)動(dòng)目標(biāo)跟蹤研究[D].合肥：合肥工業(yè)大學(xué)，2014.

[4] VIOLA P,JONES M.Rapid Object Detection Using a Boosted Cascade of Simple Features[J].IEEE Computer Society Conference on Computer Vision & Pattern Recognition,2001(1):511-518.

[5] 王麗.基于視頻的人臉檢測與跟蹤系統(tǒng)的研究[D].重慶：重慶大學(xué)，2008.

[6] 趙萬鵬.基于Adaboost算法的數(shù)字識(shí)別技術(shù)的研究與應(yīng)用[D].成都：中國科學(xué)院成都計(jì)算機(jī)應(yīng)用研究所,2006.

[7] 孔凡芝.基于Adaboost和支持向量機(jī)的人臉識(shí)別系統(tǒng)研究[D].哈爾濱：哈爾濱工程大學(xué),2005.

[8] 佘九華.人臉動(dòng)態(tài)檢測與實(shí)時(shí)跟蹤系統(tǒng)的設(shè)計(jì)[D].南京：南京航空航天大學(xué),2008.

[9] LEI Y,DING X,WANG S.Adaboost tracker embedded in adaptive particle filtering[C]//International Conference on Pattern Recognition.2006:939-943.

[10]DIVVALA S K,HOIEM D,HAYS J H,et al.An empirical study of context in object detection[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition.2009:1271-1278.

[11]GRABNER H,MATAS J,Van GOOL L,et al.Tracking the invisible:Learning where the object might be[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition.2010:1285-1292.

[12]DINH T B.Exploring supporters and distracters in unconstrained environments[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition.2011:1177-1184.

[13]WEN Longyin,CAI Zhaowei,LEI Zhen,et al.online spatio-temporal structural context learning for visual tracking[C]//12th European Conference on Computer Vision.2012:716-729.

[14]TORRALBA A.Contextual priming for object detection[J].International Journal of Computer Vision,2003,53(2):169-191.

(責(zé)任編輯 楊黎麗)

Real-Time Face Tracking Based on Adaboost and STC

WANG Zuocheng1, WU Yanping2, XUE Lixia3

(1.The 38thResearch Institute of China Electronics Technology Group Corporation,Hefei 230088, China; 2.Anhui Sun Create electronic CO., LTD., Hefei 230088, China;3.School of Computer and Information, Hefei University of Technology, Hefei 230009, China)

The spatio-temporal context (STC) tracking method is investigated aiming at the problem of intelligent monitoring in public focus areas. The new method firstly uses Adaboost algorithm for face detection and then tracking the face real-time by STC is proposed because that STC can’t track faces real-time and automatically. First of all, Adaboost algorithm is used for face detection. Then the spatiotemporal relationship between the detected face region and its surrounding contents is established by the Bayesian framework to calculate the confidence map of the detected face region and the maximum position of likelihood function as a tracking result.Experiment results shows that this method is a simple, real-time and robust method, and it is an effective way for real-time face tracking.

intelligent monitoring; Adaboost; STC; face tracking

2017-03-08

中央高校基本科研業(yè)務(wù)費(fèi)專項(xiàng)資金資助項(xiàng)目(JZ2014HGBZ0059)

王佐成(1973—)，男，四川巴中人，博士，高級工程師，主要從事視頻圖像，軟件工程研究，E-mail：cswangzc@163.com；吳艷平(1986—)，女，安徽樅陽人，碩士，主要從事視頻圖像研究；薛麗霞(1976—)，女，四川西昌人，博士，副教授，主要從事視頻圖像研究。

王佐成,吳艷平，薛麗霞.基于Adaboost和STC的實(shí)時(shí)人臉跟蹤[J].重慶理工大學(xué)學(xué)報(bào)(自然科學(xué))，2017(7):169-175.

format：WANG Zuocheng, WU Yanping, XUE Lixia.Real-Time Face Tracking Based on Adaboost and STC[J].Journal of Chongqing University of Technology(Natural Science)，2017(7):169-175.

10.3969/j.issn.1674-8425(z).2017.07.027

TP391

A

1674-8425(2017)07-0169-07