多攝像機(jī)跨區(qū)域目標(biāo)跟蹤

石亞玲，劉正熙，熊運(yùn)余

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都 610065）

0　引言

在當(dāng)今社會(huì)中，監(jiān)控?cái)z像頭日益增多，形成了龐大而又復(fù)雜的監(jiān)控網(wǎng)絡(luò)。傳統(tǒng)的單目攝像機(jī)下的小場景監(jiān)控已經(jīng)不能滿足人們的需要，面對龐大的視頻監(jiān)控系統(tǒng)，如何利用計(jì)算機(jī)代替人自動(dòng)處理來自多個(gè)攝像頭的長時(shí)間監(jiān)控視頻數(shù)據(jù)，判斷該目標(biāo)所經(jīng)過的所有攝像機(jī)形成的路徑，實(shí)現(xiàn)對感興趣目標(biāo)的長時(shí)間持續(xù)穩(wěn)定監(jiān)控。由此跨攝像機(jī)目標(biāo)跟蹤成為當(dāng)下研究熱點(diǎn)，目前跨攝像頭目標(biāo)跟蹤主要分為非重疊區(qū)域和重疊區(qū)域跟蹤。非重疊區(qū)域跟蹤即相鄰攝像頭之間的視域無重疊部分，可見部分有監(jiān)控盲區(qū)，主要的技術(shù)難點(diǎn)在于攝像頭關(guān)聯(lián)模型。李志華[1]等提出當(dāng)目標(biāo)離開某攝像頭視域后，檢測其相鄰攝像頭中新出現(xiàn)的目標(biāo)，利用新目標(biāo)的SIFT特征與數(shù)據(jù)庫中需匹配目標(biāo)的特征進(jìn)行對比，若比對成功，則將原攝像頭中的目標(biāo)編號賦予給新攝像頭中的目標(biāo)。缺點(diǎn)是需提前知道攝像機(jī)的拓?fù)浣Y(jié)構(gòu)，需要網(wǎng)絡(luò)和服務(wù)器能夠承受較大的負(fù)荷。Xiaotang Chen[2]等人在Javed[3]等人工作的基礎(chǔ)上，提出用非監(jiān)督方法構(gòu)建攝像頭間轉(zhuǎn)移模型，利用攝像頭間的時(shí)空線索和目標(biāo)的外觀線索實(shí)現(xiàn)跨攝像機(jī)跟蹤，采用顏色特征轉(zhuǎn)移算法（CTT）建立攝像頭間外觀轉(zhuǎn)換模型，缺點(diǎn)是不同的顏色轉(zhuǎn)移方向會(huì)極大的影響CCT的性能。重疊區(qū)域的跟蹤即同一個(gè)目標(biāo)同時(shí)出現(xiàn)時(shí)多個(gè)攝像頭中，在這種情況下需要考慮的是圖像融合。Khan和Mubarak在文獻(xiàn)[4]中計(jì)算出重疊區(qū)域中每個(gè)攝像頭的視場分界線，根據(jù)各攝像頭視域間的單應(yīng)關(guān)系建立目標(biāo)在相鄰攝像頭之間的一致性。缺點(diǎn)是相鄰攝像頭的視域線必須互相可見，否則會(huì)降低置信度。

而本文提取圖像的SIFT特征，形成視場分界線。當(dāng)一個(gè)新目標(biāo)進(jìn)入某攝像機(jī)的視野范圍內(nèi)時(shí)，根據(jù)攝像機(jī)的視野分界線就能確定出該目標(biāo)是否在其他攝像機(jī)的視野內(nèi),若該目標(biāo)并未出現(xiàn)在其他攝像頭的視野內(nèi)，給予新標(biāo)志；否則匹配重疊區(qū)域內(nèi)候選目標(biāo)中聯(lián)合概率最高的目標(biāo)標(biāo)志。

1　基于SIFT特征匹配的視野分界線的形成

視野分界線即一個(gè)攝像機(jī)的視野邊界線在另一個(gè)攝像機(jī)中的表現(xiàn)位置，只要在相鄰攝像機(jī)的重疊區(qū)域內(nèi)找到4對以上的對應(yīng)點(diǎn)，利用投影不變量關(guān)系在重疊視域內(nèi)做任意點(diǎn)的投影，即可生成視野分界線[5]。然而基于投影不變量的視野分界線生成算法的精度取決于對應(yīng)點(diǎn)的精度，故本文運(yùn)用SIFT[6]特征進(jìn)行特征點(diǎn)的提取，使用RANSAC[7]算法去除誤匹配，選擇適合的對應(yīng)點(diǎn)生成視野分界線。

因此如果我們需要拼接來自攝像機(jī)自O(shè)i與Oj的兩幅圖像Ii與Ij，重疊區(qū)域即Oi與Oj的可見區(qū)域，其視野分界線的生成可通過以下步驟實(shí)現(xiàn)：

（1）分別提取Ii與Ij的SIFT特征獲取關(guān)鍵特征點(diǎn)集 Fi與Fj,可以表示為 {(xt,yt)|(xt,yt)∈Ft,(xt,yt)∈It,t=i,j}。

（2）利用最近鄰搜索算法[8]針對圖像中的某個(gè)特征點(diǎn)找到與之匹配的鄰近點(diǎn)。獲取初匹配點(diǎn)集 M={xi,yi)?(xj,yj)}|(xi,yi)∈Fi,(xj,yj)∈Fj}。

（3）采用特征的歐氏距離作為相似性度量來判定特征點(diǎn)對是否匹配，計(jì)算匹配結(jié)果中距離的最大值dmax，用于篩選合適的匹配點(diǎn)集M'，規(guī)則如下：

其中d{(xi,yi),(xj,yj)}代表歐氏距離，α為篩選的閾值，α越少，匹配數(shù)量越少，匹配精度越高。

（4）對匹配點(diǎn)集M'采用RANSAC去除野點(diǎn)，獲得較準(zhǔn)確的匹配點(diǎn)對K''，同時(shí)獲得RANSAC得到的基礎(chǔ)矩陣H。

（5）圖像Ii在Ij中相應(yīng)的視野分界線可通過變換獲得，即Oi在Oj的視野分界線通過Ii的邊界線s的H變換進(jìn)行逼近，即=Hs。

圖1　相機(jī)的視野分界線示意圖

2　基于視野分界線的目標(biāo)交接

跨相機(jī)跟蹤的主要難點(diǎn)為目標(biāo)交接，即當(dāng)一個(gè)目標(biāo)從一個(gè)相機(jī)走出或者進(jìn)入另一個(gè)相機(jī)是，給多攝像機(jī)中觀測的同一個(gè)目標(biāo)分配相同的標(biāo)識。常用的目標(biāo)交接算法有基于模型的算法，基于特征匹配的算法與基于視場分界線的算法等[9]。而基于視場分界線的算法不需要進(jìn)行標(biāo)定，簡單高效，故本文以此方法進(jìn)行跨攝像機(jī)的目標(biāo)交接與跟蹤研究。

通過上文的步驟確定了相機(jī)的視野分界線后，可以根據(jù)視野分界線將場景分為重疊區(qū)域與非重疊區(qū)域。再根據(jù)目標(biāo)的位置信息與視野分界線的距離判斷目標(biāo)的所在區(qū)域。對相機(jī)中新進(jìn)入的目標(biāo)進(jìn)行身份判斷，并給予正確的標(biāo)志。

2.1　目標(biāo)的可見攝像機(jī)集合

生成相機(jī)的視野分界線之后，通過目標(biāo)中心位置到視野分界線（可表示為Ax+By+C=0）的位置判斷目標(biāo)是否在其他攝像機(jī)視野內(nèi)。如圖3-1所示，對于圖像坐標(biāo)而言，當(dāng)目標(biāo)的位置位于視野分界線上方，則可以表示為Ax+By+C＞0,當(dāng)目標(biāo)位置位于視野分界線下方，則可表示為Ax+By+C＜0。

圖2　目標(biāo)位置與視野分界線的關(guān)系

當(dāng)相機(jī)O1檢測到運(yùn)動(dòng)目標(biāo)P時(shí)，記錄下其坐標(biāo)位置（x1,y1）。假設(shè)相機(jī)O2在相機(jī)O1中的視野分界線為Ax+By+C=0，又假設(shè)重疊視野區(qū)域位于視野分界線下方，那么目標(biāo)的可見攝像機(jī)集合可由以下式子判斷：

每個(gè)圖像Ii都有相應(yīng)的可見區(qū)域，其中Vij(x,y)=1表示（x,y）在攝像機(jī)Oj中可見，那么可計(jì)算在Oi中出現(xiàn)的第n個(gè)目標(biāo)Tin所有可見的攝像機(jī)的集合Oi(n)：

其中On表示所有攝像機(jī)的集合。

2.2　基于聯(lián)合概率匹配的重疊區(qū)域跟蹤算法

（1）獲取 Oi中目標(biāo)的位置信息，并對于?Oj∈Oi(n)，查找候選目標(biāo)，候選目標(biāo)需要滿足其中心位置離視野分界線的歐式距離小于閾值td，同時(shí)滿足候選目標(biāo)從攝像機(jī)Oj向Oi的邊s移動(dòng)。

（2）若滿足以上條件的候選目標(biāo)不只一個(gè)，則采用聯(lián)合概率匹配法，找出聯(lián)合概率最高的目標(biāo)，若已經(jīng)被關(guān)聯(lián)標(biāo)簽blob_id,則給加上相同的標(biāo)簽blob_id,否則，給和附上新的標(biāo)簽。若候選目標(biāo)集為空，則給附上新標(biāo)簽。

聯(lián)合概率匹配法的目的是提高目標(biāo)匹配的準(zhǔn)確度。其具體的思想如下：

時(shí)間距離匹配度為：

其中σt用來控制時(shí)間段的范圍。

空間距離匹配度：

其中σa用來控制候選目標(biāo)的區(qū)域半徑范圍，d（x,y）表示向量x和y的歐氏距離。

顏色直方圖的相似匹配概率：

其中h1,h2分別表示，的顏色直方圖，而d(h1,h2)表示兩顏色直方圖的歐氏距離。

因此，對于待匹配目標(biāo)Tin，候選目標(biāo)與的匹配概率為 Pd，Pt，Pa，Ph的乘積，即：

2.3　基于常速度模型的非重疊區(qū)域跟蹤

假設(shè)攝像機(jī)Oi與Oj為非重疊的攝像機(jī)，當(dāng)從攝像機(jī)Oj消失進(jìn)入Oi的“盲區(qū)”時(shí)，利用最小二乘法估算目標(biāo)在“盲區(qū)”的平均速度。通過攝像機(jī)Oj中的已知腳點(diǎn)位置和常速度模型估算盲區(qū)中的位置。當(dāng)目標(biāo)進(jìn)入攝像機(jī)Oi視野之后，其跟蹤方法同2.2。

3　實(shí)驗(yàn)結(jié)果及對比

圖3為真實(shí)場景中重疊場景的跨區(qū)域跟蹤結(jié)果，其中紅色線段代表攝像機(jī)的FOV線。

圖4為真實(shí)的非重疊場景的跨區(qū)域跟蹤結(jié)果，對圖 4（a）中紅框目標(biāo)=1持續(xù)跟蹤一段時(shí)間后，目標(biāo)進(jìn)入攝像機(jī)的非重疊區(qū)域，利用常速度模型對目標(biāo)位置進(jìn)行預(yù)測。目標(biāo)消失一段時(shí)間之后出現(xiàn)在攝像機(jī)O2中，檢測結(jié)果為=5，如圖 4（b）所示，然后根據(jù) 2.2 的匹配方法持續(xù)跟蹤，最后匹配結(jié)果為=1，見圖 4（c）。

圖3　重疊區(qū)域真實(shí)場景跟蹤

4　結(jié)語

本文的創(chuàng)新點(diǎn)在于基于SIFT特征的視野分界線生成算法，提出基于聯(lián)合概率的多攝像機(jī)跨區(qū)域跟蹤算法，實(shí)現(xiàn)了重疊區(qū)域跟蹤和非重疊區(qū)域的有效跟蹤。為了驗(yàn)證算法的準(zhǔn)確性，搭建了一個(gè)室外的包含重疊區(qū)域和非重疊區(qū)域的多攝像機(jī)跟蹤系統(tǒng)。根據(jù)實(shí)驗(yàn)結(jié)果表明，運(yùn)用此算法的跟蹤系統(tǒng)能夠?qū)崟r(shí)、穩(wěn)定的跟蹤目標(biāo)。但是本算法仍需繼續(xù)改進(jìn)，相信今后會(huì)出現(xiàn)更加魯棒，更具擴(kuò)展性，更加智能化的跨攝像頭目標(biāo)跟蹤算法。

參考文獻(xiàn)：

[1]李志華,陳耀武.基于多攝像頭的目標(biāo)連續(xù)跟蹤[J].電子測量與儀器學(xué)報(bào),2009,23（2）:46-51.

[2]Chen X,Huang K,Tan T.Obeject Tracking Across Non-Overlapping Views by Learning Inter-Camera Transfer Model[J].Pattern Recognition,2014,47（3）:1126-1137.

[3]Javed O,Rasheed Z,Shafique K,et al.Tracking Across Multiple Cameras with Disjoint Views[C].IEEE International Conference on Computer Vision,2003.Proceedings.2003:952-957 vol.2.

[4]Khan S,Shah M.Consistent Labeling of Tracked Objects in Multipe Cameras with Overlapping Fields of View[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2003,25（10）:1355-1360.

[5]紀(jì)慧泉,黎寧.一種基于投影不變量的目標(biāo)交接改進(jìn)方法[J].計(jì)算機(jī)與數(shù)字工程,2012,40（4）:78-80.

[6]Lowe D G,Lowe D G.Distinctive Image Features from Scale-Invariant Keypoints[J].International Journal of Computer Vision,2004,60（2）:91-110.

[7]Fischler M A,Bolles R C.Random Sample Consensus:a Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography[J].in Comn.of the ACM,1981,24（6）:726-740.

[8]肇瑩,劉紅星,王仲宇,等.最近鄰搜索用于分類問題的一種改進(jìn)[J].南京大學(xué)學(xué)報(bào)（自然科學(xué)）,2009,45（4）:455-462.

[9]衡林.多攝像機(jī)視域中的運(yùn)動(dòng)目標(biāo)檢測與跟蹤研究[D].南京郵電大學(xué),2013.