基于二進(jìn)制光流描述子的運(yùn)動(dòng)目標(biāo)提議

李 洋 吳克偉 謝 昭 孫永宣

(合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院 安徽 合肥 230009)

基于二進(jìn)制光流描述子的運(yùn)動(dòng)目標(biāo)提議

李 洋 吳克偉 謝 昭 孫永宣

(合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院 安徽 合肥 230009)

針對(duì)視頻目標(biāo)檢測(cè)提議框存在大量冗余的問(wèn)題，提出二進(jìn)制光流描述子，實(shí)現(xiàn)視頻連通目標(biāo)的分離提議。通過(guò)分析目標(biāo)局部運(yùn)動(dòng)一致性，設(shè)計(jì)二進(jìn)制光流描述子，構(gòu)建目標(biāo)提議模型，然后利用線性支持向量機(jī)分類器求解運(yùn)動(dòng)目標(biāo)提議參數(shù)。為充分利用二進(jìn)制與或運(yùn)算速度快的優(yōu)勢(shì)，采用二進(jìn)制近似表示運(yùn)動(dòng)目標(biāo)提議參數(shù)，快速高效地完成目標(biāo)提議任務(wù)。實(shí)驗(yàn)針對(duì)Caltech行人數(shù)據(jù)庫(kù)，快速地生成了少量高質(zhì)量的運(yùn)動(dòng)目標(biāo)提議窗口。實(shí)驗(yàn)結(jié)果優(yōu)于現(xiàn)有目標(biāo)提議方法。

目標(biāo)提議 局部運(yùn)動(dòng)一致性 光流 二進(jìn)制描述子

0 引 言

目標(biāo)檢測(cè)是計(jì)算機(jī)視覺(jué)領(lǐng)域重要的研究任務(wù)之一，近年來(lái)這方面的研究取得了巨大成就，廣泛應(yīng)用在工業(yè)、醫(yī)學(xué)、軍事、教育、商業(yè)、體育等領(lǐng)域中。但是，目前許多先進(jìn)的檢測(cè)器，需要使用特定類別分類器評(píng)估每一個(gè)滑動(dòng)窗口，而被評(píng)估的滑動(dòng)窗口存在大量的冗余，導(dǎo)致檢測(cè)速度過(guò)慢[1-2]。為了加快目標(biāo)檢測(cè)速度，通過(guò)目標(biāo)性提議，剔除特定類別分類器需要評(píng)估的滑動(dòng)窗口中的非目標(biāo)性窗口，成為近年來(lái)研究的熱點(diǎn)[3-4]。

目標(biāo)具有定義良好的封閉邊界而背景具有雜亂無(wú)章性，梯度幅值特征描述子可以表示目標(biāo)的封閉邊界特性，用于區(qū)分目標(biāo)與背景，剔除滑動(dòng)窗口中的非目標(biāo)性窗口[5]。圖像中目標(biāo)像素點(diǎn)比背景像素點(diǎn)具有更強(qiáng)的視覺(jué)吸引力[6]，圖像中目標(biāo)像素點(diǎn)局部顏色統(tǒng)計(jì)特征可以描述目標(biāo)局部顯著性，使用決策森林方法判別每一個(gè)像素點(diǎn)與周圍像素點(diǎn)的差異性，得到目標(biāo)的輪廓區(qū)域[7]。超像素把目標(biāo)分割成具有統(tǒng)一顏色和紋理的小區(qū)域，同一個(gè)超像素區(qū)域里的像素點(diǎn)屬于同一個(gè)目標(biāo)[8]，因此，一個(gè)目標(biāo)雖然被劃分為幾個(gè)超像素區(qū)域，但是每一個(gè)區(qū)域并沒(méi)有跨越目標(biāo)邊界，超像素的這一特性可以作為評(píng)估一個(gè)窗口是否包含目標(biāo)的有效線索[9]。靜態(tài)背景視頻中運(yùn)動(dòng)目標(biāo)具有運(yùn)動(dòng)顯著性，幀差法可以有效提取運(yùn)動(dòng)目標(biāo)區(qū)域[10-11]。上述方法雖然都可以實(shí)現(xiàn)目標(biāo)性提議任務(wù)，但是只考慮了目標(biāo)與背景的差異性，沒(méi)有考慮目標(biāo)局部運(yùn)動(dòng)一致性，應(yīng)用于視頻前景檢測(cè)中，存在目標(biāo)提議冗余，并且無(wú)法區(qū)分多個(gè)連通目標(biāo)。

針對(duì)上述方法應(yīng)用于動(dòng)態(tài)背景視頻目標(biāo)提議冗余和無(wú)法區(qū)分連通目標(biāo)的問(wèn)題，本文考慮到目標(biāo)封閉邊界性在視頻中表現(xiàn)為目標(biāo)區(qū)域運(yùn)動(dòng)一致性這一線索，使用光流描述子，描述目標(biāo)局部運(yùn)動(dòng)一致性以及與背景區(qū)域的差異性，有效地區(qū)分目標(biāo)與背景以及多個(gè)連通目標(biāo)，生成高質(zhì)量的目標(biāo)性提議窗口，與現(xiàn)有目標(biāo)提議方法相比，本文主要貢獻(xiàn)如下：

(1) 針對(duì)視頻中場(chǎng)景信息混雜的難題，利用前景目標(biāo)的局部運(yùn)動(dòng)一致性，提出一種二進(jìn)制光流描述子，實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)性的客觀提議，有效區(qū)分多個(gè)連通目標(biāo)。

(2) 采用線性支持向量機(jī)，實(shí)現(xiàn)特定類目標(biāo)的二進(jìn)制光流模板的近似求解。

(3) 在Caltech數(shù)據(jù)集中，驗(yàn)證了本文方法對(duì)行人目標(biāo)提議的查全率，優(yōu)于目標(biāo)提議的現(xiàn)有方法。

1 基于光流特征的目標(biāo)提議

將客觀目標(biāo)提議用于視頻運(yùn)動(dòng)目標(biāo)識(shí)別，可以有效地加快視頻目標(biāo)識(shí)別速度，但是現(xiàn)有方法是針對(duì)靜態(tài)圖片提議，應(yīng)用于視頻提議存在大量冗余框，所以本文構(gòu)建目標(biāo)運(yùn)動(dòng)描述子，采用二進(jìn)制光流描述子完成視頻運(yùn)動(dòng)目標(biāo)提議任務(wù)。

1.1 光流幅值描述子與客觀目標(biāo)性

目標(biāo)具有定義良好的封閉邊界，在視頻圖像中，目標(biāo)的封閉邊界特性表示為目標(biāo)區(qū)域運(yùn)動(dòng)一致性。將不同尺度的視頻圖像目標(biāo)窗口縮放到大小預(yù)先設(shè)定的分辨率，光流幅值特征是區(qū)別運(yùn)動(dòng)目標(biāo)與背景的有效特征，因?yàn)楣饬鞣堤卣鞯淖兓w現(xiàn)了運(yùn)動(dòng)目標(biāo)封閉邊界的微小變化，雖然目標(biāo)的形狀、顏色、紋理、光照等特征不同，但是目標(biāo)局部運(yùn)動(dòng)是一致的，局部運(yùn)動(dòng)量是相似的，與背景光流特征具有差異性[12]。

基于運(yùn)動(dòng)目標(biāo)的局部光流幅值相似性，計(jì)算每種預(yù)設(shè)尺度的窗口縮放為預(yù)先設(shè)定的分辨率后的光流幅值，構(gòu)成對(duì)應(yīng)窗口的光流特征向量，采用式(1)計(jì)算每一個(gè)窗口的目標(biāo)性得分：

sl=〈W,OFl〉

(1)

其中，sl表示濾波值，OFl表示窗口l的光流幅值特征向量，l=(i,x,y)表示窗口位置參數(shù)，i=(a,b)表示預(yù)設(shè)的目標(biāo)提議窗口的長(zhǎng)和寬，(x,y)表示窗口坐標(biāo)，W為模型參數(shù)。

1.2 二進(jìn)制近似求解目標(biāo)性得分

與或運(yùn)算比乘法運(yùn)算具有更快地運(yùn)算速度[13]，為了充分利用二進(jìn)制與或運(yùn)算速度快的優(yōu)勢(shì)，加快視頻目標(biāo)提議的速度，本文將W與OFl轉(zhuǎn)化為二進(jìn)制形式[5]，通過(guò)與或運(yùn)算求解〈W,OFl〉的近似值。

為了用與或運(yùn)算近似求解〈W,OFl〉，本文將向量OFl中的值量化為0～255，得到二進(jìn)制表示的光流特征向量OFBl。將每種預(yù)設(shè)尺度的窗口縮放為8×8，每個(gè)像素的光流幅值用1byte=8bit表示，那么每個(gè)窗口的特征向量正好用64byte存儲(chǔ)。將訓(xùn)練數(shù)據(jù)集中標(biāo)定的正例窗口作為正例樣本，隨機(jī)采取背景窗口構(gòu)造負(fù)例樣本，使用線性支持向量機(jī)獲得模型最優(yōu)解。

算法1 目標(biāo)提議模板二值化近似求解算法

輸入：W,NW

初始化：ε=w

forj=1:Nw

αj=sign(ε)

βj=〈αj,ε〉/‖αj‖2

ε←ε-βjαj

Endfor

將用二進(jìn)制向量基近似表示的W和二進(jìn)制光流幅值特征向量OFBl代入式(1)，得到式(1)的近似表示式(2)：

(2)

通過(guò)與或運(yùn)算快速計(jì)算式(2)，得到每一個(gè)預(yù)設(shè)尺度i下的每一個(gè)窗口的目標(biāo)性得分sl的近似值，采用極大值抑制，從每一個(gè)固定尺度和比率的窗口中選擇一些候選框，快速完成目標(biāo)提議任務(wù)。

2 實(shí) 驗(yàn)

本文實(shí)驗(yàn)方法基于Caltech行人數(shù)據(jù)庫(kù)，該數(shù)據(jù)采用車載攝像頭拍攝，約10個(gè)小時(shí)左右，視頻的分辨率為640×480，30幀/秒，標(biāo)注了約250 000幀，用矩形框標(biāo)定每幀中的行人，另外還對(duì)矩形框之間的時(shí)間對(duì)應(yīng)關(guān)系及其遮擋的情況進(jìn)行標(biāo)注。數(shù)據(jù)集包括set00-set10，其中set00-set05為訓(xùn)練集，set06-set10為測(cè)試集。測(cè)試時(shí)，以DR#WIN和時(shí)效性作為對(duì)比方法評(píng)價(jià)標(biāo)準(zhǔn)，其中DR為檢測(cè)查全率，WIN為DR對(duì)應(yīng)的目標(biāo)提議窗口數(shù)量，目標(biāo)被正確預(yù)測(cè)的標(biāo)準(zhǔn)為預(yù)測(cè)的窗口與Ground-Truth窗口面積重疊超過(guò)50%。為了保證公平對(duì)比，本文程序和對(duì)比方法的程序在同一臺(tái)PC上在單線程條件下運(yùn)行，本文PC的配置為IntelCPUi3-4130。

為了獲取行人目標(biāo)提議的窗口分辨率參數(shù)，分別對(duì)Caltech行人數(shù)據(jù)庫(kù)中行人高度分辨率，以及行人寬度與高度的比率進(jìn)行了統(tǒng)計(jì)。在統(tǒng)計(jì)分析的基礎(chǔ)上，本文為目標(biāo)提議窗口預(yù)設(shè)了10個(gè)不同的高度分辨率(26到160等比取10個(gè)值)，為每種高度的預(yù)設(shè)窗口設(shè)置3個(gè)不同的縱橫比(寬/高)0.34、0.41、0.50，所以本文共計(jì)預(yù)設(shè)30種尺度的預(yù)設(shè)窗口，并隨后縮放為8×8提取二進(jìn)制光流描述子。

表1中給出了用于近似表示W(wǎng)的二進(jìn)制向量基的數(shù)量Nw對(duì)查全率和平均一幀視頻提議時(shí)間的影響，時(shí)間單位為毫秒，用符號(hào)ms表示。Nw越大基元數(shù)量越多，則檢測(cè)速度越慢，綜合考慮目標(biāo)提議的查全率與速度，由表1可以看出，Nw=2可以兼顧查全率與速度。圖1給出了本文方法與BING[5]方法在Caltech行人測(cè)試數(shù)據(jù)集上的DR#WIN曲線(Nw=2)，曲線橫坐標(biāo)表示目標(biāo)提議窗口數(shù)量，縱坐標(biāo)表示目標(biāo)查全率。

表1 不同基元個(gè)數(shù)情況下的運(yùn)動(dòng)目標(biāo)提議

圖1 本文方法與BING[5]方法的目標(biāo)提議查全率

由于缺乏目標(biāo)的先驗(yàn)位置，傳統(tǒng)的目標(biāo)檢測(cè)算法采用滑動(dòng)窗口采樣，需要的采樣窗口數(shù)量約為106～107，造成目標(biāo)檢測(cè)實(shí)時(shí)性效率低下。觀察圖1中曲線，對(duì)應(yīng)每一個(gè)WIN，本文方法DR高于BING[5]方法DR，WIN約為3 600時(shí)，本文方法的DR已經(jīng)達(dá)到最大值93.7%，而B(niǎo)ING[5]方法在WIN約為5 000時(shí)DR才達(dá)到最大值90.2%。本文方法使用比BING[5]方法較少的窗口數(shù)量實(shí)現(xiàn)了比BING[5]方法高的召回率，說(shuō)明在視頻圖像目標(biāo)提議中，光流特征描述子能夠比BING[5]方法中的梯度幅值特征描述子更有效地描述目標(biāo)，獲得更高質(zhì)量的目標(biāo)提議框。

本實(shí)驗(yàn)對(duì)不同方法的檢測(cè)速度進(jìn)行對(duì)比，由于兩種方法都使用了二進(jìn)制與或運(yùn)算，并且計(jì)算量相當(dāng)，因此，實(shí)驗(yàn)中兩種方法時(shí)間開(kāi)銷非常接近，本文方法為39.1毫秒，BING[5]方法為36.4毫秒，在同一個(gè)數(shù)量級(jí)上，本文方法使用較少窗口數(shù)量實(shí)現(xiàn)了較大DR。綜上所述，本文時(shí)效性與BING[5]相同的情況下，使用更少的窗口數(shù)量實(shí)現(xiàn)了更高的查全率，即窗口數(shù)量比BING[5]減少了30%，DR值卻增加了3.5%。

與BING[5]方法相比，本文方法不僅使用更少的窗口數(shù)量實(shí)現(xiàn)了更高的查全率，而且還可以區(qū)分多個(gè)連通目標(biāo)。如圖2(a)所示，輸入視頻幀最左邊的兩個(gè)行人連在一起，由于BING[5]方法基于外觀特征，將兩個(gè)連通的人視為一個(gè)目標(biāo)，如圖2(c)最左邊白色框所示。而本文通過(guò)計(jì)算場(chǎng)景的光流能量圖2(b)，使用目標(biāo)局部運(yùn)動(dòng)一致性線索，由于兩個(gè)人的運(yùn)動(dòng)速度不同，所以有效地區(qū)分兩個(gè)連通的目標(biāo)，如圖2(d)中最左邊兩個(gè)白色框。為避免標(biāo)記過(guò)多窗口，圖中只標(biāo)記與目標(biāo)重疊率大于50%的目標(biāo)提議窗口中重疊面積最大的窗口。

圖2 連通目標(biāo)的運(yùn)動(dòng)目標(biāo)提議

上述實(shí)驗(yàn)結(jié)果表明，視頻目標(biāo)檢測(cè)中目標(biāo)局部運(yùn)動(dòng)一致性是非常有用的線索，使用二進(jìn)制光流特征描述，能夠很好地表示目標(biāo)局部運(yùn)動(dòng)量相似性，并通過(guò)二進(jìn)制與或運(yùn)算，高效地完成目標(biāo)提議任務(wù)。

3 結(jié) 語(yǔ)

本文通過(guò)使用二進(jìn)制光流幅值特征描述子，快速地完成了視頻目標(biāo)提議任務(wù)，生成了少量高質(zhì)量的目標(biāo)性提議窗口。將這些窗口應(yīng)用于特定類別的目標(biāo)檢測(cè)器，可以有效地加快目標(biāo)檢測(cè)速度。基于本文的目標(biāo)提議窗口數(shù)量為103數(shù)量級(jí)，因此，下一步工作將探索是否可以利用時(shí)間和空間規(guī)律，確定獨(dú)立目標(biāo)的新信息，完成準(zhǔn)確高效的目標(biāo)性估計(jì)，降低目標(biāo)提議窗口的數(shù)量。

[1]RenX,RamananD.Histogramsofsparsecodesforobjectdetection[C]//Proc.ComputerVisionandPatternRecognition,Portland,OR,USA,2013:3246-3253.

[2]DayanandaKumarNC,SureshKV.HOG-PCAdescriptorwithopticalflowbasedhumandetectionandtracking[C]//Proc.InternationalConferenceonCommunicationsandSignalProcessing,Melmaruvathur,India,2014:900-904.

[3]HosangJ,BenensonR,DollárP,etal.Whatmakesforeffectivedetectionproposals?[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2015,38(4):814-830.

[4]GirshickR,DonahueJ,DarrellT,etal.Richfeaturehierarchiesforaccurateobjectdetectionandsemanticsegmentation[C]//Proc.ComputerVisionandPatternRecognition,Columbus,OH,USA,2014:580-587.

[5]ChengMM,ZhangZ,LinWY,etal.BING:Binarizednormedgradientsforobjectnessestimationat300fps[C]//Proc.ComputerVisionandPatternRecognition,Columbus,OH,USA,2014:3286-3293.

[6] 白雪飛,王文劍,梁吉業(yè).基于區(qū)域顯著性的活動(dòng)輪廓分割模型[J].計(jì)算機(jī)研究與發(fā)展,2015,49(12):2686-2695.

[7]DollárP,ZitnickCL.Fastedgedetectionusingstructuredforests[J].PatternAnalysis&MachineIntelligence,2015,8(37):1558-1570.

[8]RussellBC,FreemanWT,EfrosA,etal.Usingmultiplesegmentationstodiscoverobjectsandtheirextentinimagecollections[C]//Proc.ComputerVisionandPatternRecognition,Jeju,Korea,2006,2:1605-1614.

[9]AlexeB,DeselaersT,FerrariV.Measuringtheobjectnessofimagewindows[J].TransactionsonPatternAnalysisandMachineIntelligence,2012,34(11):2189-2202.

[10]ZhouF,KangSB,CohenMF.Time-mappingusingspace-timesaliency[C]//Proc.ConferenceonComputerVisionandPatternRecognition,Columbus,OH,USA,2014:3358-3365.

[11] 高美鳳,劉娣.分塊幀差和背景差相融合的運(yùn)動(dòng)目標(biāo)檢測(cè)[J].計(jì)算機(jī)應(yīng)用研究,2013,30(1):299-302.

[12]BarronJL,FleetDJ,BeaucheminSS.Performanceofopticalflowtechniques[J].Internationaljournalofcomputervision,1994,12(1):43-77.

[13]HareS,SaffariA,TorrPHS.Efficientonlinestructuredoutputlearningforkeypoint-basedobjecttracking[C]//Proc.ComputerVisionandPatternRecognition,Providence,RI,2012:1894-1901.

MOTION OBJECT PROPOSAL BASED ON BINARY OPTICAL FLOW DESCRIPTOR

Li Yang Wu Kewei Xie Zhao Sun Yongxuan

(SchoolofComputerandInformation,HefeiUniversityofTechnology,Hefei230009,Anhui,China)

In order to reduce the redundance of proposal windows in video object detection, a novel binary optical flow descriptor is proposed to achieve separate proposals for connected objects. By analysing the local motion coherence of objects, we design the binary optical flow descriptor, construct the object proposal model and then use linear SVM classifier to solve motion object proposal parameters. To make full use of the speed advantage of binary and/or calculation, the motion object proposal parameters are represented approximately in binary to complete object proposal tasks quickly and efficiently. The experiment on the Caltech Pedestrians dataset is carried out, and a small number of high-quality motion object proposal windows are generated quickly. Experimental results show that the proposed method is superior to current object proposal methods.

Object proposal Local motion coherence Optical flow Binary descriptor

2016-01-22。國(guó)家自然科學(xué)

61503111，61501467)。李洋，碩士生，主研領(lǐng)域：計(jì)算機(jī)視覺(jué)。吳克偉，講師。謝昭，副研究員。孫永宣，講師。

TP391.41

A

10.3969/j.issn.1000-386x.2017.03.023