基于視頻的人數(shù)統(tǒng)計(jì)方法綜述

孫萬春　張建勛　瞿先平　馬慧

摘要：在視頻監(jiān)控領(lǐng)域中，人數(shù)統(tǒng)計(jì)工作一直是研究的熱點(diǎn)話題，視頻人數(shù)統(tǒng)計(jì)工作是實(shí)現(xiàn)和完善在圖像視頻監(jiān)控領(lǐng)域應(yīng)用的基礎(chǔ)，如果能夠準(zhǔn)確、快速、低成本的完成人數(shù)統(tǒng)計(jì)工作，無論在商業(yè)領(lǐng)域、安全領(lǐng)域等都會(huì)帶來無限的應(yīng)用空間。因此，本文在前人所做的基礎(chǔ)之上，結(jié)合近些年該領(lǐng)域的發(fā)展情況，進(jìn)行了比較有針對(duì)性的描述。對(duì)一些比較熱點(diǎn)的方法進(jìn)行了詳細(xì)的理論介紹，希望相關(guān)研究工作者能夠基于本文所作的相關(guān)研究，發(fā)揮其更大的價(jià)值。

關(guān)鍵詞：人數(shù)統(tǒng)計(jì)；視頻；綜述；角點(diǎn)檢測

中圖分類號(hào)：TP391.4 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2018）01-0049-03

隨著我國科技水平不斷的提高，城鎮(zhèn)化發(fā)展日益成熟，公共場所的人流量呈現(xiàn)上升勢(shì)頭，無論是在商業(yè)領(lǐng)域還是公共場所的安全監(jiān)控領(lǐng)域都具有非常大的應(yīng)用價(jià)值。基于人工監(jiān)控的人數(shù)統(tǒng)計(jì)不僅耗時(shí)、耗力，在當(dāng)下高速發(fā)展的科技時(shí)代，人工成本也是一筆高昂的支出，除此之外，由于人長時(shí)間處于同一狀態(tài)的環(huán)境工作下極易出錯(cuò)，因此如何利用計(jì)算機(jī)視覺技術(shù)解決人數(shù)統(tǒng)計(jì)問題一直以來備受關(guān)注。與此同時(shí)，人群集中問題也會(huì)引發(fā)一系列的安全問題[1]，比如2014年12月31日午夜，在上海外灘發(fā)生了嚴(yán)重的踩踏事件，造成了人員傷亡。因此，人數(shù)統(tǒng)計(jì)工作有著十分重要的現(xiàn)實(shí)意義。

最初的人數(shù)統(tǒng)計(jì)方法主要是通過一些紅外傳感、壓力傳感器等機(jī)械裝置來進(jìn)行。通過機(jī)械裝置進(jìn)行人數(shù)統(tǒng)計(jì)，會(huì)在人過多時(shí)造成壓力板檢測不夠精準(zhǔn)、紅外設(shè)備檢測被遮擋等情況，導(dǎo)致無法精確的計(jì)算出統(tǒng)計(jì)結(jié)果，與此同時(shí)傳統(tǒng)設(shè)備需要不定期的人工保養(yǎng)，也是一筆不小的資金。

近年來，國家綜合經(jīng)濟(jì)能力的提升，圖像處理等相關(guān)技術(shù)得到了迅猛的發(fā)展[2]，通過智能化的圖像處理技術(shù)來進(jìn)行相關(guān)人數(shù)統(tǒng)計(jì)的工作越來越受到市場的青睞。國內(nèi)重點(diǎn)高校等紛紛成立人工智能方面的相關(guān)實(shí)驗(yàn)室，為該科技的發(fā)展提供了堅(jiān)強(qiáng)的基礎(chǔ)保障。目前市場上通過視頻采集進(jìn)行人數(shù)統(tǒng)計(jì)的相關(guān)成熟的產(chǎn)品，大致使用了包含以下幾種方式，Beymer等通過立體式攝像機(jī)來對(duì)區(qū)域目標(biāo)進(jìn)行檢測、跟蹤工作，從而統(tǒng)計(jì)人數(shù)，Schofield和Sonham等將神經(jīng)網(wǎng)絡(luò)用在單一攝像機(jī)上以達(dá)到人數(shù)統(tǒng)計(jì)的目的，除此之外運(yùn)用人體的各類特征進(jìn)行統(tǒng)計(jì)較多，比如頭發(fā)、顏色、人形輪廓等。

1 人數(shù)統(tǒng)計(jì)研究現(xiàn)狀

目前，計(jì)算機(jī)視覺領(lǐng)域比較有影響力的期刊（PAMI、IJCV、CVIU、PR）和國際會(huì)議（ICCV、CVPR、ECCV）等[3]為智能視頻圖像領(lǐng)域的研究工作者提供了廣闊的交流平臺(tái)來展現(xiàn)自己最新的理論研究成果。迄今為止人數(shù)統(tǒng)計(jì)主要將目標(biāo)檢測、分割、形態(tài)分析、特征提取和識(shí)別等多領(lǐng)域的技術(shù)知識(shí)進(jìn)行了融合，如圖1所示是目前較常采用的人數(shù)統(tǒng)計(jì)基本思路。

國內(nèi)方面[4]，雖然智能視頻技術(shù)發(fā)展相對(duì)較晚，但是從國家到科研機(jī)構(gòu)、高校等都非常重視和積極的推薦相關(guān)研究工作，公安部門等也將視頻監(jiān)控項(xiàng)目納入城市報(bào)警和監(jiān)控系統(tǒng)的重要工程之中。比如，2008年的北京奧運(yùn)會(huì)和2010年的上海世博會(huì)均采用了國內(nèi)自主研發(fā)的人臉識(shí)別系統(tǒng)確保會(huì)場等安全工作，為活動(dòng)的順利舉辦提供了有效的安全保障。在國外，上世紀(jì)90年代末視覺跟蹤算法如雨后春筍一般涌現(xiàn)出來，Aggarwal等人對(duì)該類算法進(jìn)行了分類[5]，一類是光流法，另一類是基于特征點(diǎn)的相關(guān)算法。隨著近三十多年來視覺領(lǐng)域的異軍突起，目前的人數(shù)統(tǒng)計(jì)方法各式各樣。一般研究工作者根據(jù)個(gè)人研究情況需求往往選擇某一種處理方法來得到人數(shù)統(tǒng)計(jì)，人數(shù)統(tǒng)計(jì)關(guān)鍵在圖1中的目標(biāo)檢測環(huán)節(jié)。如圖2所示，本文針對(duì)人數(shù)統(tǒng)計(jì)的方法中所融合的目標(biāo)檢測，分割、形狀分析、特征提取等多種特征技術(shù)，進(jìn)行分類，并對(duì)各種分類下的統(tǒng)計(jì)方法進(jìn)行逐一歸納分析。

2 基于目標(biāo)特征的統(tǒng)計(jì)方法

視頻監(jiān)控的人數(shù)統(tǒng)計(jì)方法有很多，其中比較有代表性的主要有基于形狀特性的方法、基于顏色特征的方法、基于輪廓信息統(tǒng)計(jì)分類的方法、基于模板匹配的方法等。

2.1 基于形狀特性的方法

形狀特性主要包含人體頭部、軀干、頭肩等，依靠人體形狀特性來進(jìn)行檢測。比如文獻(xiàn)[6]提出了先劃分豎直軸線，根據(jù)人體對(duì)稱性來進(jìn)行人體目標(biāo)識(shí)別，包含計(jì)算目標(biāo)區(qū)域的水平、垂直方向的投影并進(jìn)行投影柱狀圖的分析判斷從而進(jìn)行目標(biāo)標(biāo)記。文獻(xiàn)[7]則通過人頭特征具有類圓的特性，對(duì)人頭進(jìn)行抽樣、橢圓擬合等特性判斷來進(jìn)行人數(shù)統(tǒng)計(jì)，該方法在人群密度較低的場景中取得了較好的效果。基于形狀特性的方法對(duì)人體的輪廓特征要求較高，當(dāng)目標(biāo)與其他干擾特征類似時(shí)，容易產(chǎn)生較大的誤差。

2.2 基于顏色特征的方法

顏色特征是區(qū)分圖像之間分類的一種基本方法，基于顏色特征的人數(shù)統(tǒng)計(jì)方法主要利用人體膚色或者發(fā)色等與場景中的背景色差異較大來進(jìn)行統(tǒng)計(jì)。比如文獻(xiàn)[8]為了提高視頻監(jiān)控中的人頭檢測率，通過在HIS顏色空間建立人頭顏色模型，結(jié)合頭發(fā)灰度范圍來進(jìn)行人頭檢測。

2.3 基于輪廓信息統(tǒng)計(jì)方法

顏色特征進(jìn)行統(tǒng)計(jì)對(duì)于目標(biāo)為單一對(duì)象的結(jié)構(gòu)和特征的描述不能夠進(jìn)行細(xì)分，相比較而言，輪廓信息對(duì)于提高單一目標(biāo)的精度具有有效性。除此之外，輪廓信息的目標(biāo)檢測對(duì)目標(biāo)的顏色變化、外界光照環(huán)境變換下都具有穩(wěn)定性。1954年，美國心理學(xué)家Attneave在對(duì)人的視覺感知進(jìn)行研究發(fā)現(xiàn)，人的視覺系統(tǒng)能通過物體的輪廓或者形狀特征，而不用其他任何信息的幫助就能夠快速的對(duì)目標(biāo)進(jìn)行識(shí)別。任何目標(biāo)物體在不同的場景、環(huán)境下可能呈現(xiàn)出不同的人群面貌，但通過研究調(diào)查分析報(bào)告得出其輪廓特征信息基本不變足以說明輪廓特征的研究在對(duì)圖像識(shí)別領(lǐng)域方面具有重要的意義。目前常用的輪廓提取方法包括Canny算法、Prewitt算法、Sobel算法等，Canny其檢測速度較慢，但檢測效果較好，是目前最常采用的方法。Prewitt算法檢測時(shí)間較快，具有一定的抗噪能力。Sobel算法對(duì)于噪聲較多的圖像處理能力較好，對(duì)圖像質(zhì)量要求較高。表1對(duì)三種輪廓邊緣檢測方法進(jìn)行了比較。

2.4 基于模板匹配分類方法

模板匹配的方法是利用先驗(yàn)知識(shí)，通過某種特征來對(duì)計(jì)算機(jī)進(jìn)行訓(xùn)練，通過機(jī)器學(xué)習(xí)對(duì)模型進(jìn)行分類后識(shí)別的一種方法。比如劉冠群等人[9]對(duì)視頻監(jiān)控中存在步態(tài)識(shí)別算法準(zhǔn)確率較低問題，通過模板匹配進(jìn)行步態(tài)識(shí)別提高了其準(zhǔn)確率。文獻(xiàn)[10]對(duì)在復(fù)雜場景下傳統(tǒng)方法姿勢(shì)識(shí)別效果不理想的情況，通過對(duì)每組特征信息進(jìn)行分類，再通過模板進(jìn)行匹配，在遮擋等復(fù)雜環(huán)境下實(shí)驗(yàn)結(jié)果均較滿意。

3 基于度量的統(tǒng)計(jì)方法

統(tǒng)計(jì)學(xué)方法中認(rèn)為，人群數(shù)量和人群特征之間存在著某種關(guān)系，這種關(guān)系可以通過相關(guān)的數(shù)學(xué)模型來進(jìn)行描述，當(dāng)然這種數(shù)學(xué)模型的描述不可能僅僅通過簡單的函數(shù)構(gòu)造來實(shí)現(xiàn)。

為了解決人群數(shù)量和人群特征之間存在的某種未知關(guān)系時(shí)求解方法，訓(xùn)練器被眾多學(xué)者所提出。訓(xùn)練器目前使用比較多的是訓(xùn)練向量機(jī)。通過對(duì)樣本進(jìn)行訓(xùn)練，讓計(jì)算機(jī)通過學(xué)習(xí)獲得分類器，再用訓(xùn)練好的分類器去進(jìn)行識(shí)別。文獻(xiàn)[11]中通過使用SVM向量機(jī)對(duì)樣本特征進(jìn)行訓(xùn)練來計(jì)算與人群數(shù)量之間的關(guān)系，從而達(dá)到統(tǒng)計(jì)人數(shù)的目的。

也有學(xué)者認(rèn)為人群某種特征與人數(shù)之間一定存在某種確定的數(shù)學(xué)模型，通過該數(shù)學(xué)模型一定能夠準(zhǔn)確統(tǒng)計(jì)出人數(shù)。比如文獻(xiàn)[12]，認(rèn)為人群的角點(diǎn)特征與人數(shù)之間存在一種一階線性模型關(guān)系，通過卡爾曼濾波的思想，可以推算出人數(shù)。

目前來看基于度量下的統(tǒng)計(jì)方法較多采用特征點(diǎn)進(jìn)行人數(shù)統(tǒng)計(jì)工作。因此本文將常用的特征點(diǎn)檢測分為：（1）基于灰度圖像的角點(diǎn)檢測。（2）基于二值圖像的角點(diǎn)檢測。（3）基于輪廓曲線的角點(diǎn)檢測。

3.1 基于輪廓曲線的角點(diǎn)檢測

通過輪廓邊緣曲率、夾角、對(duì)稱性等來進(jìn)行角點(diǎn)判定。文獻(xiàn)[13]等人在1975年提出了用角點(diǎn)強(qiáng)度K來提取角點(diǎn)，這是學(xué)術(shù)界最早有人提出了相關(guān)思想，雖然該方法容易受到噪聲等各種外界因素的影響，但是方法較為簡單，被眾多學(xué)者采用。1988年，Mokhtarian等人[14]提出了一種CSS的輪廓曲線角點(diǎn)檢測算法，一度被認(rèn)為是當(dāng)時(shí)最好的檢測方法。后來的很多算法均是基于該算法而進(jìn)行的改進(jìn)。下面對(duì)此算法的基本思想進(jìn)行闡述。

CSS算法的基本思想是：對(duì)目標(biāo)窗口輪廓進(jìn)行T型檢測，對(duì)T型交叉的每一個(gè)點(diǎn)進(jìn)行標(biāo)記。設(shè)定一個(gè)參數(shù) ，利用高斯函數(shù)，計(jì)算輪廓曲線上某一點(diǎn)的曲率。

從上述公式不難看出，對(duì)于求得的局部最大曲率，通過定義一個(gè)適當(dāng)?shù)拈撝担纯膳袛嘣摵蜻x角點(diǎn)是否是角點(diǎn)。該算法通過各個(gè)尺度下的變換特征來實(shí)現(xiàn)角點(diǎn)候選和檢測，根據(jù)該思想不斷有學(xué)者提出了各種改進(jìn)算法。

3.2 基于二值圖像的角點(diǎn)檢測

文獻(xiàn)[15]提出了一種基于形態(tài)骨架的角點(diǎn)檢測方法，該方法把原始圖像看作一個(gè)多邊形，通過檢測骨架中最大圓盤為零的點(diǎn)來獲得角點(diǎn)，并由它的補(bǔ)圖來獲得凹的角點(diǎn)，通過由原圖及不凸獲得角點(diǎn)進(jìn)行異或操作，對(duì)角點(diǎn)進(jìn)行離散，該方法借助于硬件易于實(shí)現(xiàn)，且抗干擾性較強(qiáng)，由于目前很多科研工作者提出的很多方法中都融合了相關(guān)的思想，因此目前很少能看到僅僅使用此單一方法來進(jìn)行角點(diǎn)檢測，但是此方法還是需要在本文中歸為一類。

3.3 基于灰度圖像的角點(diǎn)檢測

灰度下的角點(diǎn)檢測方法需要對(duì)圖像中的像素點(diǎn)信息進(jìn)行獲取，利用相鄰像素點(diǎn)之間的變化關(guān)系來進(jìn)行特征判斷。目前主要有以下3種方法：（1）基于梯度的方法，該方法利用邊緣曲率進(jìn)行角點(diǎn)判斷，相關(guān)閾值的規(guī)定同邊緣方向變化、強(qiáng)度等有關(guān)系。（2）基于模板的方法[16]，該方法主要利用相鄰像素點(diǎn)的灰度變換，對(duì)變化差較大的點(diǎn)認(rèn)定為角點(diǎn)。文獻(xiàn)[17]提出一種利用模板匹配的人臉圖像特征提取方法，對(duì)人臉突出特征的眼睛、嘴部進(jìn)行定位并利用遺傳算法視頻模板匹配最優(yōu)，該方法能夠達(dá)到較快的收斂速度。（3）基于模板梯度方法，該方法在前者方法改進(jìn)基礎(chǔ)上，羅斌[18]等人利用電磁場理論中相關(guān)鞍點(diǎn)檢測來代替角點(diǎn)的一種綜合方法。

4 結(jié)語

人數(shù)統(tǒng)計(jì)在計(jì)算機(jī)視覺領(lǐng)域一直是比較熱門的研究話題，本文針對(duì)該領(lǐng)域進(jìn)行了詳細(xì)的闡述和說明，將人數(shù)統(tǒng)計(jì)分為兩類，一類是基于目標(biāo)特征方法，包含形狀特性、顏色特征、輪廓信息統(tǒng)計(jì)、模板匹配等。另一類是基于度量的統(tǒng)計(jì)方法，該類主要包含了灰度圖像的角點(diǎn)檢測、二值圖像的角點(diǎn)檢測和輪廓曲線角點(diǎn)檢測等。并對(duì)每一類通過經(jīng)典的文獻(xiàn)以及最近的文獻(xiàn)研究成果進(jìn)行了簡述，希望通過本文對(duì)人數(shù)統(tǒng)計(jì)相關(guān)技術(shù)的介紹，能夠?qū)υ擃I(lǐng)域的相關(guān)研究工作者提供一定的幫助。

參考文獻(xiàn)

[1]周進(jìn)科，劉翠萍，靳鳳彬，王曉妹，李金紅，翟香香，王翠翠.擁擠踩踏事件傷亡情況和發(fā)生原因分析[J].中華災(zāi)害救援醫(yī)學(xué)，2015，3（02）：67-71.

[2]何曉辰. 基于圖像信息的決策方法研究[D].東北大學(xué)，2014.

[3]丁麗君. 基于模板的可信傳播立體匹配算法[D].天津大學(xué)，2009.

[4]徐寧. 基于DM6467T的視頻控制網(wǎng)絡(luò)節(jié)點(diǎn)的設(shè)計(jì)與開發(fā)[D].華中科技大學(xué)，2013.

[5]趙明瀚，王晨升.基于視頻的人數(shù)識(shí)別方法綜述[J].軟件，2013，34（03）：10-12+54.

[6]Gavrila D M， Giebel J. Shape-based pedestrian detection and tracking[C]// Intelligent Vehicle Symposium. IEEE， 2002：8-14 vol.1.

[7]裴冠軍. 監(jiān)控視頻中人群的密度估計(jì)和行為分析[D]. 中國科學(xué)技術(shù)大學(xué)， 2011.

[8]趙軍偉，侯清濤，李金屏，彭勃.基于數(shù)學(xué)形態(tài)學(xué)和HSI顏色空間的人頭檢測[J].山東大學(xué)學(xué)報(bào)（工學(xué)），2013，43（02）：6-10.

[9]劉冠群，羅桂瓊，譚平.基于類Haar特征模板匹配的多鏡頭步態(tài)識(shí)別算法[J].計(jì)算機(jī)工程，2017，43（12）：231-236.

[10]羅會(huì)蘭，馮宇杰，孔繁勝.融合多姿勢(shì)估計(jì)特征的動(dòng)作識(shí)別[J].中國圖象圖形學(xué)報(bào)，2015，20（11）：1462-1472.

[11]黃瑜青. 基于支持向量機(jī)的文本自動(dòng)分類器的研究與應(yīng)用[D].廣東工業(yè)大學(xué)，2012.

[12]李虎，張二虎，段敬紅.基于PCA和多元統(tǒng)計(jì)回歸的人群人數(shù)統(tǒng)計(jì)方法[J].計(jì)算機(jī)工程與應(yīng)用，2014，50（11）：206-209.

[13]Rosenfeld A， Weszka J S. An Improved Method of Angle Detection on Digital Curves[J]. IEEE Transactions on Computers， 1975， C-24（9）：940-941.

[14]Mokhtarian， Farzin. Multi-Scale Description of Space Curves and Three-Dimensional Objects[J].1988：298-303.

[15]劉文予，朱光喜.二值圖像角點(diǎn)檢測的形態(tài)骨架法[J].信號(hào)處理，2000（03）：276-280.

[16]寧麗. 基于幾何形狀的圖像識(shí)別——鏈碼技術(shù)與聚類分析在形狀識(shí)別中的應(yīng)用[D]. 江南大學(xué)， 2008.

[17]王展，皇甫堪，萬建偉.基于模板匹配的人臉圖像特征提取[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2000（05）：333-336.

[18]羅斌，E.R.Hancock.圖象角點(diǎn)檢測的矢量場方法[J].中國圖象圖形學(xué)報(bào)，1998（10）：32-35.