一種重疊視域多攝像頭協同運動目標跟蹤方法

李 旭，俞 娜，李景文，2，姜建武，2

(1.桂林理工大學測繪地理信息學院，廣西桂林 541006；2.桂林理工大學廣西空間信息與測繪重點實驗室，廣西桂林 541006)

1 引言

在運動目標檢測和跟蹤過程中單一攝像頭難以實現大范圍、多角度、長時間的跟蹤監控[1]，如何利用多攝像頭協同工作實現目標檢測和跟蹤成為當前研究的熱點。近年來眾多學者對運動目標特征提取、跟蹤和檢測問題進行了研究，潘邈[2]通過計算目標圖像的均布差值來劃分運動前景和背景，融合EM算法得到目標圖像特征的所屬類別，進而完成精確的目標跟蹤；卜言生[3]采用RGB 顏色特征與LBP 紋理特征對目標進行背景目標雙加權，利用特征更新選擇函數，從而實現目標行人的有效跟蹤；楊輝[4]提出一種融合Harris角點和Surf算法對Meanshift改進的算法，提高了運動目標跟蹤算法的性能；吳瑋[5]等在Camshift算法框架下得到目標匹配中心位置，通過自適應加權融合的方法得到最優中心位置，進而實現存在顏色干擾以及目標重疊遮擋時運動目標的跟蹤；W.Zhou[6]利用背景減法、HOG特征檢測和系統聚類的偏差二乘法建立了基于HOG檢測和系統聚類的多視角前景匹配模型，實現對同一位置不同角度前景運動目標的檢測和提取；M.Z.Alom[7]等利用動態環境神經網絡和背景差分法對行人進行檢測，從而更好的獲得前景區域的運動目標實時跟蹤和檢測。上述算法雖較好地實現了動態目標的實時跟蹤，但是在多攝像頭連續跟蹤且存在重疊視野范圍時，不能實現對同一運動目標的檢測和跟蹤。本文提出一種通過特征點對數匹配生成重疊視域范圍內的視野分界線，實現同一運動目標判別和實時跟蹤，完成在重疊視域范圍的多視角協同的運動目標跟蹤方法。

2 重疊視域運動目標交接跟蹤實現過程

特征點的匹配、視野分界線的確定和目標的交接與跟蹤是實現運動目標在重疊視域多視角協同下交接跟蹤的核心環節，其具體過程是：首先通過Harris-Sift算法自動生成特征匹配點對，利用特征點對數計算求得投影矩陣，進而生成視野分界線，然后利用可見性函數判斷運動目標的位置，檢測識別同一運動目標，完成對重疊視域范圍內的同一運動目標實時跟蹤，該方法的具體技術流程如圖1所示。

圖1 運動目標交接跟蹤技術流程

3 運動目標交接跟蹤方法

在圖1中，運動目標交接跟蹤方法主要包括Harris-Sift特征點匹配、重疊視域視野分界線的生成、目標可見性判別、運動目標交接和運動目標跟蹤五部分，特征點匹配結果和視野分界線為運動目標的可見性判別提供了基礎，運動目標檢測和交接是實現同一運動目標實時跟蹤的關鍵環節。

3.1 Harris-Sift特征點匹配算法

本文將Harris算法和Sift算法相融合，利用Harris算法能夠剔除視域范圍邊緣特征點對Sift算法[8，9]進行改進，通過Harris在角點鄰域范圍以角點為中心，設置半徑限制檢測圖像特征點，從而刪除不在Harris角點領域范圍內的Sift特征點提高特征點匹配效率，實現光滑邊緣特征點的提取，降低誤匹配精度，提高特征點匹配效率。Harris-Sift特征點匹配方法的過程如下：

將圖像窗口[u，v]進行灰度化E(u，v):

(1)

其中

I(x+u，y+v)=I(x，y)+Ixu+Iyv+o(u2，v2)

(2)

則

(3)

是用來濾波的高斯函數，對于局部微小移動量[u，v]，表式為

(4)

M為2×2矩陣，由圖像的導數求得

(5)

對角點相應函數F進行閾值處理，F>threshold，即得到F的局部極大值

F(x，y)=det(M)-Ktrace2(M)

(6)

其中K為常數項，取值范圍是0.03～0.05；det(M)=λ1λ2，trace(M)=λ1+λ2，和trace(M)分別為自相關矩陣的行列式和跡。

本文算法以Harris角點為中心，r為半徑檢測圖像的特征點。其中半徑r計算公式為

(7)

式中：δoct為Harris角點所在尺度。通過定義半徑r，尋找得到半徑r范圍內的特征點，刪除定義r半徑外鄰域范圍的Sift特征點，使得這些特征點同時具備高穩定性和旋轉不變性。利用最終在重疊視域范圍得到的特征匹配點為視野分界線的生成提供基礎。

3.2 視野分界線生成方法

投影不變量算法[10]是一種投影變量不受場景、場景中目標的運動以及攝像機參數等信息變化而改變的方法，因此采用該方法能較好地生成視野分界線。如圖2所示，圖像A1和圖像A2中任選三點，均不能構成一條直線，因此可以得到相互獨立的兩個投影不變量

(8)

(9)

(10)

利用Harris-Sift算法得到4對特征匹配點并獲取相應坐標，選取攝像頭A2右邊界上的兩點，將這兩點的坐標和已獲得的4點坐標帶入式(8)中計算，求得A2右邊界上的兩點在A1中的對應點，連接兩點，得到A2圖像在A1圖像中的視野分界線，再利用得到的重疊視域范圍的視野分界線來判別運動目標。

3.3 運動目標可見性判別過程

利用投影不變量算法得到的視野分界線后將一個攝像頭的視野分為兩個區域，如圖3所示。其中灰色區域為視野中的可見區域，白色區域為不可見區域。

圖3 相鄰攝像頭可見區域示意圖

設所追蹤的運動目標在A1圖像中質心位置坐標為Q:(x1，y1)，圖像中的視野分界線為Q1Q2:Ax+By+C=0，則運動目標在圖像A1視野中的目標可見性判別為

Q(x1，y2)=Ax1+By1+

(11)

因此，為確保運動目標能夠順利跟蹤，只需通過運動目標判別性函數在視野范圍以及視野分界線的情況即可。通過目標可見性判別，為后續實現對運動目標在重疊視域的交接和跟蹤提供良好的基礎。

3.4 運動目標交接

當運動目標從一個視野范圍進入另一個視野范圍時，判斷運動目標的質心與視野分界線之間的水平距離即只需計算水平方向x的之間的值，將水平差值值最小的運動目標記為跟蹤目標。運動目標的標記過程可以記為

(12)

通過直方圖與視野分界線相匹配來解決在運動目標交接過程中出現誤判而導致目標交接失敗的問題，具體方法是：

1)根據目標質心與視野分界線在X方向的距離，通過對比閾值確定待跟蹤目標，將待跟蹤目標與跟蹤目標的顏色直方圖進行匹配度識別；

2)對匹配度最好的待跟蹤目標賦予標識，進而完成運動目標交接。

3.5 運動目標跟蹤

運動目標跟蹤首先利用Vibe算法對視頻幀圖像建立背景模型并對背景進行實時更新；然后是對圖像進行三幀差分運算，并得到前景運動目標；最后利用meanshift算法融合實現對運動目標的提取，從而解決運動目標跟蹤失敗問題，具體流程如圖4所示。

圖4 運動目標跟蹤過程

利用上述運動目標跟蹤方法消除了Vibe算法在運動目標檢測過程中產生的鬼影，解決了運動目標跟蹤丟失的問題，實現了運動目標的實時跟蹤。

4 實驗驗證

為了驗證所提方法的有效性，本文所采用的開發環境為CPU：Inter(R)Core (TM)i7-7700K CPU @ 4.20GHz 4.20GHzi7+16G內存；程序代碼采用Matlab2016a+OpenCv2.7.1為實驗平臺進行編寫。在校園內設置實驗場景，場景中相鄰攝像機之間設置40-50%的重疊視野區域，為顏色直方圖模板匹配法[11]和多特征信息融合法[12]及本文提出的改進算法的對比提供實驗數據源。

4.1 視野分界線實驗

圖5為A1視野區域在A2視野區域生成的視野分界線過程，圖5(a)是A1視野區域，圖5(b)是A2視野區域，圖6(a)是利用Sift算法在A1和A2視野重疊視域內產生的特征點匹配結果，圖6(b)是利用本文所提出的算法在A1和A2的重疊視域內產生的特征點匹配結果，從所有特征點對數中選取4對特征點，利用特征點求得投影變換矩陣，在圖5(c)中選擇A1視野右邊界上兩點，通過投影變換得到A2視野中的對應點，連接兩點得到重疊視域的視野分界線，如圖5(d)所示。

圖5 生成視野分界線

圖6 特征點匹配結果圖

經過實驗對比，Harris-Sift算法與Sift算法的特征點匹配結果相比較，降低了特征點誤匹配效率，提高重疊視域范圍的特征點的匹配精度，且該算法能夠在重疊視域范圍內能夠找到特征匹配點對數，為視野分界線生成提供了基礎。

4.2 目標跟蹤實驗及對比分析

為了驗證重疊視域多攝像頭協同的運動目標跟蹤方法可行性和實時性，試驗從運動目標跟蹤效果和運動目標跟蹤精度兩個方面進行了對比試驗。

4.2.1 運動目標跟蹤效果對比

通過設置單目標的連續跟蹤、有干擾目標時的連續跟蹤和與干擾目標近距離跟蹤三種常見實驗場景，將顏色直方圖模板匹配法、視野分界線與Sift算法融合和重疊視域目標跟蹤算法進行實驗對比分析，分別獲取實驗過程中的相關幀圖像跟蹤結果進行對比分析，實驗結果如下圖7、圖8、圖9所示。

圖7 顏色直方圖法目標跟蹤結果圖

圖8 視野分界線與Sift算法融合的目標跟蹤結果圖

圖9 重疊視域多視角跟蹤算法對運動目標連續跟蹤

圖7中的a、b、c分別為單個目標的連續跟蹤、有相近目標進行干擾時的連續跟蹤和干擾目標靠近跟蹤目標時的連續跟蹤實驗過程。從上述實驗結果圖中可以看出，當出現背景顏色進行干擾或匹配模板與運動目標出現偏差，跟蹤效果較差，均會導致跟蹤目標丟失。

圖8中的a、b和c分別為單個目標連續跟蹤、干擾目標與跟蹤目標的連續跟蹤和干擾與跟蹤目標靠近的連續跟蹤實驗。跟蹤結果可以看出，雖然視野分界線與Sift算法相融合的方法能夠提高目標交接效率，當存在多個干擾目標時目標跟蹤失敗，因此導致運動目標跟蹤丟失。

圖9中的a、b和c為分別為單個目標連續跟蹤、干擾目標與跟蹤目標的連續跟蹤和干擾與跟蹤目標靠近的連續跟蹤實驗。從上述實驗結果中可以得出，重疊視域多視角跟蹤算法在三種不同的場景下對運動目標進行跟蹤均能成功地實現目標交接，完成目標的連續跟蹤。

4.2.2 運動目標跟蹤精度對比

為了進一步驗證本文算法的跟蹤精度，與文獻[13]算法進行對比，在原有的實驗數據基礎上進行了連續跟蹤，跟蹤過程中運動目標的起點和終點一致，跟蹤視頻幀數設為150幀，跟蹤結果精度分析如表1所示。

表1 算法對比跟蹤效果

本文與文獻[13]算法相比在特征點匹配方面提高了特征點的匹配精度，降低了特征點誤匹配效率；在運動目標檢測與跟蹤方面消除了Vibe算法在運動目標檢測過程中產生的鬼影，解決了運動目標跟蹤丟失的問題。通過數據對比(如表1所示)，本文算法對運動目標跟蹤準確率分別為76%、87%、88%，文獻[13]算法對運動目標進行跟蹤準確率為63.4%、74.7%、72%，實驗結果分析表明，本文運動目標跟蹤算法準確率高于文獻[13]改進算法準確率。

5 結論

本文將Harris算法和Sift算法相融合提出了Harris-Sift特征點匹配算法，提高了重疊視域特征點匹配精度，通過構建重疊視域范圍內視野分界線和目標可見性判別，提高了對運動目標交接。經過實驗驗證，本文構建的重疊視域多視角協同的運動目標交接跟蹤方法既提高了運動目標跟蹤精度，又提高了跟蹤效率，解決了重疊視域范圍運動目標交接與跟蹤失敗[14-16]的問題，為多視角重疊區域內的運動目標跟蹤提供了一種實現方法。