基于多層定位的多目標跟蹤算法

姜 明 新， 王 洪 玉

（1.大連理工大學 電子信息與電氣工程學部，遼寧 大連 116024；2.大連民族學院 信息與通信工程學院，遼寧 大連 116600）

0 引 言

在復雜的監控環境中，由于多目標的密度大，相互之間的遮擋頻繁發生.在這種情況下，多目標的穩定跟蹤具有一定的難度.近年來，很多學者進行了這方面的研究[1、2].文獻[3]提出利用粒子濾波方法進行多目標跟蹤和數據融合，但算法無法達到實時性要求.文獻[4]提出了基于核的多目標跟蹤算法，該算法在目標外觀比較接近時的魯棒性能比較差.文獻[5]提出了利用貝葉斯框架實現對多目標的跟蹤.文獻[6、7]提出了利用多相機之間的單應性的多目標跟蹤算法，但算法需要對相機進行完全標定.

為解決遮擋問題，本文提出一種基于多層定位的目標跟蹤算法.該算法利用多相機間基于多個高度層的單應性變換對多目標進行定位.即將多個同步相機放置在不同的視角上，通過對背景建模得到多個視角的前景信息，選擇其中任意一個相機的像平面作為參考圖像.選擇地平面作為參考平面，垂直地面的方向作為參考方向，在參考方向上分多層.在每一層上，利用單應性將其他視角的信息映射到參考場景中，通過多相機信息的融合實現對多個目標的定位.然后利用圖割算法，根據每層的定位信息實現對多目標的跟蹤.

1 前景檢測

本文采用碼本模型對背景進行建模，獲得每個像素屬于前景的概率，即獲得每一個相機拍攝場景圖像的前景似然信息.文獻[8]提出了碼本模型，獲得碼本后，檢測前景似然信息的過程如下：

假設目標檢測過程中新輸入像素為xi＝（RGB），其對應的碼本為M.減背景操作BGS（xi）可以大致分為3步：

步驟1 計算當前像素的亮度I＝R＋G＋B，定義布爾變量match＝0，并給閾值變量ε賦值.

步驟2 根據以下兩個條件從碼本M中找出與當前像素相匹配的碼字Cm，如果能夠找到碼字Cm，則match＝1，否則，match＝0：

為了判斷前景和背景，運動目標檢測中亮度變化有一個范圍，對于每個碼字，其范圍為[Ilow，Ihi].亮度函數的定義為

步驟3 判斷前景運動目標像素：

圖1是利用混合高斯模型和碼本模型進行前景檢測的實驗結果對比.可以看出，利用碼本模型進行前景檢測能夠很好地克服運動目標的陰影問題和空洞現象.

圖1 利用不同模型檢測前景的結果Fig.1 Results of foreground detection using different models

2 定位算法

2.1 單應性矩陣

本文選擇地平面作為參考平面，兩個相機拍攝的圖像（簡稱像平面）分別記為Ii和Ij.設π是不通過兩個相機任一光心的空間參考平面，令X是平面π上的任意一點，X在Ii和Ij中的像分別為mi＝ （xiyi1）T和mj＝ （xjyj1）T，定義一個3×3的矩陣：

使得mj＝Hiπjmi，即

滿足式（4）的矩陣Hiπj稱為平面π誘導的兩個像平面間的單應性矩陣，式（4）稱為單應性變換[9].利用單應性矩陣Hiπj，從一個像平面上的點可以得到另一個像平面上的對應點.單應性矩陣Hiπj具有8個自由度.在實驗過程中，在地面上放置4個標志物，來計算基于參考平面（地面）的單應性矩陣.

2.2 垂直方向的滅點

為了獲得平行于地面的多個高度層的單應性矩陣，需要計算垂直方向上的滅點.直線上無窮遠點的像稱為該直線的滅點.由于平行直線與無窮遠平面相交于同一個無窮遠點，平行直線有一個相同的滅點，即滅點只與直線的方向有關而與直線的位置無關[10].為了計算基于多層的單應性矩陣，必須先檢測垂直方向上的滅點.因為建筑物的邊緣一般存在很多相互平行的直線，本文利用監控場景中的建筑物進行滅點的求解.本文檢測滅點的方法可以大致歸納為以下幾個步驟：

步驟1 利用Canny算子提取圖像中的邊緣信息.

步驟2 利用Hough變換從邊緣信息中提取出垂直于地面方向的線段.

步驟3 利用下式求出垂直方向上的滅點VY：

2.3 利用滅點進行多目標多層定位

本文在平行于參考平面的多個高度層上對目標進行定位，然后融合多層定位的信息，對目標進行跟蹤，這樣大大提高了多目標跟蹤的魯棒性和準確性.

π為參考平面，垂直于參考平面的方向為參考方向.為平行于參考平面的任意平面.Ii為相機i的像平面，選擇Ii的前景似然圖像作為參考圖像.

平面π誘導的任意兩個像平面Ii和Ij間的單應性矩陣Hiπj可以分解為

同理，由平面誘導的單應性矩陣Hi j也可

以分解為

根據文獻[11]，可以得到

式中：vrefj是相機j的像平面Ij垂直方向上的滅點，γj是控制多層之間距離的標量.

式中g＝trace（（0｜γivrefi）Hitoπ）.把式（8）、（9）代入式（7），可以得到

注意到Hitoπ是一個平面到另一個平面的中心投影，g＝trace（（0｜γivrefi）Hitoπ）＝γi，將此結果和式（6）代入式（10），經過線性代數推導可得由平面誘導的Ii和Ij間的單應性矩陣為

在實驗過程中選用3個相機對多目標進行跟蹤，得到3個視角的圖像，簡記為view1、view2、view3.選擇其中一個視角的前景似然圖像作為參考圖像，利用式（11）將其他兩個視角的前景似然圖像映射到參考圖像中，得到多相機的多層融合圖像，多層融合圖像上的高亮點即為多目標在多層上的定位信息.

3 跟蹤算法

本文利用圖割理論[12]對多層定位信息進行處理，進而實現對多目標的跟蹤.空間中的某一個位置在某一個時刻只能被一個目標所占據，所以在一段時間內，這個目標多個時刻位置的集合就構成了它的軌跡.利用第2章得到的多目標在多層上的定位信息，構建能量函數：

式中：P（p）為多層融合圖像上的像素p屬于前景的概率；N為所有相鄰元素的集合；dist（p，q）為相鄰元素p和q的歐幾里得距離；α、β為數據項和平滑項比例關系的系數；τ為歸一化因數.

在實驗過程中，為了提高跟蹤的準確度，采取了時間滑動窗口進行處理.所謂時間滑動窗口就是每15幀處理一次，第一幀為初始化幀，最后一幀作為下一個時間滑動窗口的初始幀.在每次處理中保證有一幀的交疊，這種交疊方式是為了傳遞ID（目標的標簽值）.ID的傳遞則是通過由初始化幀中每個目標位置在其余14幀中的位置預測一個區域，同時賦予相應的標簽值.然后利用圖割理論實現能量函數最小化，進而得到每個目標在不同層上的標簽值.將多層圖割后的結果融合起來就可以實現對多目標的穩定跟蹤，本文在實驗中用矩形框表示跟蹤結果.

4 實驗結果及分析

為了說明本文的多層定位跟蹤算法對遮擋的魯棒性，利用3臺相機從不同視角拍攝實驗視頻進行實驗，實驗視頻分辨率均為320pixel×240 pixel，算法實現基于 Windows操作系統，采用Visual Studio 2008和opencv2.0作為軟件平臺，計算機配置為Pentium（R）Dual－Core CPU 2.0 GHz.

實驗過程中，本文計算垂直方向上的滅點，實驗結果如圖2所示，選取其中1個視角來進行說明，其他2個視角的求法與此相同.圖2（b）是利用Canny算子提取出的視頻圖像中的邊緣信息，圖2（c）是利用Hough變換從邊緣信息中手動選取的垂直于地面方向的線段.利用式（5）求出垂直方向上的滅點VY，垂直方向上滅點坐標為（254，460）.

圖3是對多目標進行多層定位的實驗結果，圖3（a）是3臺相機從3個視角拍攝的原始視頻圖像，在實驗中選取第3個視角的前景圖像作為參考圖像，平行于地面共分為8層.圖3（b）～（d）分別表示實驗視頻基于地平面、第3層和第6層的多目標定位信息.圖4是參考視角多目標跟蹤的實驗結果.

圖2 實驗視頻垂直方向上的滅點檢測Fig.2 Detection of vanishing points for the vertical direction of experimental video

圖3 本文定位算法多層定位的結果Fig.3 The results of localizing algorithm in this paper at multiple planes

圖4 參考視角的多目標跟蹤結果Fig.4 Multi－object tracking results of the reference view

5 結 論

本文在平行于地面的多個參考平面上對多人進行定位，利用多層定位信息構建能量函數，采用圖割理論實現能量函數的最小化，進而實現對多目標的穩定跟蹤.本文提出的算法不需要標定相機，只需要計算相機的滅點，所以在很大程度上簡化了跟蹤算法的計算復雜度.實驗結果表明算法對遮擋具有很強的魯棒性.

[1] JIANG Ming－xin，LI Min， WANG Hong－yu.A robust combined algorithm of object tracking based on moving object detection [C]//Proceedings of 2010 International Conference on Intelligent Control and Information Processing，ICICIP 2010.Piscataway：IEEE Computer Society，2010：619－622.

[2] Brendel W，Amer M，Todorovic S. Multi－object tracking as maximum weight independent set[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Piscataway：IEEE Computer Society，2011：1273－1280.

[3] Hue C，Le Cadre J P，Perez P.Sequential Monte Carlo methods for multiple target tracking and data fusion[J].IEEE Transactions on Signal Processing，2002，50（2）：309－325.

[4] Han Bo－hyung，ZHU Ying，Comaniciu D，etal.Kernel－based Bayesian filtering for object tracking[C]//Proceedings －2005IEEE Computer Society Conference on Computer Vision and Pattern Recognition， CVPR 2005. Piscataway：IEEE Computer Society，2005：227－234.

[5] Mittal A，Davis L S. M2tracker：A multi－view approach to segmenting and tracking people in a cluttered scene[J].International Journal of Computer Vision，2003，51（3）：189－203.

[6] TONG Xiao－ming，YANG Tao，XI Run－ping，etal.A novel multi－planar homography constraint algorithm for robust multi－people location with severe occlusion[C]//Proceedings of the 5th International Conference on Image and Graphics，ICIG 2009.Piscataway：IEEE Computer Society，2010：349－354.

[7] Han Bo－hyung，Joo Seong－wook，Davis L S.Multicamera tracking with adaptive resource allocation[J].International Journal of Computer Vision，2011，91（1）：45－58.

[8] Kim K，Chalidabhongse T H，Harwood D，etal.Real－time foreground－background segmentation using codebook model [J].Real－Time Imaging，2005，11（3）：167－256.

[9] Hartley R，Zisserman A.Multiple View Geometry in Computer Vision [M]. Cambridge：Cambridge University Press，2003：237－253.

[10] Rother C.A new approach for vanishing point detection in architectural environments[J].Image and Vision Computing，2002，20（9）：647－655.

[11] Criminisi A，Reid I，Zisserman A.Single view metrology [C] // Proceedings of the IEEE International Conference on Computer Vision.Piscataway：IEEE Computer Society，1999：434－441.

[12] Nicolas P，Aurelie B.Tracking with occlusions via graph cuts [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33（1）：144－157.