檢測圖像角點自適應確定跟蹤模板的方法

王德勝，吳鐘建，姚秀娟，金代中，盧宏超

?

檢測圖像角點自適應確定跟蹤模板的方法

王德勝1，吳鐘建1，姚秀娟1，金代中1，盧宏超2

（1.西南技術物理研究所，四川 成都 610041；2. 駐209所軍代室，四川 成都 610041）

基于區域的跟蹤方法，其跟蹤模板的大小和位置對跟蹤結果的影響十分顯著，本文通過分析模板視覺顯著性特征，提出采用AGAST快速角點檢測方法，計算角點間相對距離，分析角點位置分布來自適應確定模板大小和位置，從而提高相關匹配跟蹤算法的適應能力。仿真試驗結果表明，該方法確定的模板能較好的包含目標顯著性視覺特征，并且具有計算速度快，穩健性高，能有效提高采用區域模板匹配方法的跟蹤性能。

視覺特征；角點檢測；自適應模板；圖像跟蹤

0 引言

基于區域的相關模板匹配跟蹤算法以其具有計算量較小、易于工程實現、可實時處理、能適應于各類復雜地面及戰場環境等優良特性而被大量地應用于“射前鎖定、發射后不用管”等圖像制導跟蹤技術中。相關模板匹配跟蹤算法是將包含目標的模板圖像在實時圖像上以固定值位移，根據相關函數計算模板圖像和實時圖像間的相似程度，相關函數取得最大值的位置就是目標位置。相關跟蹤因無需對目標圖像進行分割，而只是在原始圖像數據上進行運算，從而保留了圖像的全部信息[1]。

相關匹配跟蹤其模板圖像的大小選擇對相關跟蹤性能的影響很大，文獻[2]分析了影響匹配算子統計特性的各種因素；并得出了重要結論：模板圖像的尺寸愈大，圖像的信噪比SNR愈高，匹配算子的各項統計性能就愈好；但是沒有給出確定模板尺寸具體的方法；文獻[3]針對裝甲目標圖像進行了模板圖像尺寸及其比例選擇的大量仿真，得到了合理的固定模板圖像尺寸和比例，文獻[4]采用拓展模板（固定模板＋近況模板）的方法確定模板，固定模板保持追蹤目標最初的圖像特征，防止錯誤的追蹤結果在模板更新時引入錯誤的特征，進而導致識別目標偏移．近況模板記錄目標的最新跟蹤結果，避免由于點模板的大量使用而造成遮擋的誤識別，但是文中并沒有解決模板累積誤差問題；文獻[5]提出了采用支持向量機和機器學習的方法來更新模板，文獻[6]提出了檢測顏色特征或紋理特征確定模板，這2類方法計算復雜，耗時多，在圖像制導領域應用還有障礙。

歸納起來，現有各方法在某些情況下都可以部分解決模板自適應問題，但是對于圖像制導目標跟蹤無法同時實現以下幾個目的：①計算速度快，滿足圖像導引頭產品的實時性要求；②能適應圖像導引頭不斷逼近目標產生的圖像膨脹、旋轉、變形等變化；③能適應跟蹤過程中圖像局部光照變化等干擾影響。

針對這個問題，本文通過分析跟蹤位置圖像內容，提出了一種采用快速特征角點檢測，根據特征角點的分布情況來自適應確定模板大小和位置，從而提高相關匹配跟蹤算法的適應能力。該方法區別于一般的角點跟蹤方法在于，一般的角點檢測跟蹤方法是需要檢測目標自身的角點，通過目標角點的匹配來確定位置，例如王向軍等人[7]將目標特征角點用于空中目標跟蹤和識別。

1 采用角點自適應確定跟蹤模板

1.1 模板內容分析

模板圖像內容首先是人在原始圖像關注和聚焦的區域，其圖像內容一般具備視覺關注顯著特征。視覺關注顯著特征包括亮度對比度、目標形狀、圖像邊緣和角點等，相對圖像中的平坦區域和邊緣區域，角點是一種特殊的邊界點，它具有2個關鍵特征：即角點不僅位于圖像中物體的邊緣上，而且是邊緣上曲率較大的點，如圖1所示。

圖1 圖像不同位置點特征

不同視覺關注顯著特征其相關匹配結果不同，分別選取圖2中平坦區域、邊緣區域和含有角點區域3個場景作為圖像匹配模板，采用常用的誤差平方和算法（Sum of Squared Differences，簡稱SSD算法）測試匹配效果[8]，計算方法見公式(1)：

式中：(,)表示原始圖像坐標(,)處的SSD相關結果；(,)表示模板圖像坐標(,)的灰度。

匹配結果如圖2右邊相關曲面圖所示，可以看出，在角點區域，相關曲面具有很好的單峰特性，模板匹配結果具有唯一性，匹配結果準確；而直線邊緣位置呈現“帶狀”波峰，難以確定匹配的正確位置。所以我們選擇圖像模板，其內容應盡量包含適當的角點位置。

圖2 相關模板匹配（左：原始圖像；右：相關匹配結果）

1.2 角點檢測方法

角點檢測的方法很多，其中具有代表性的算法是Harris算法與FAST算法。

Harris角點檢測是一種基于圖像灰度的一階導數矩陣檢測方法。檢測器的主要思想是局部自相似性/自相關性，即在某個局部窗口內圖像塊與在各個方向微小移動后的窗口內圖像塊的相似性。在像素點的鄰域內，導數矩陣描述了數據信號的變化情況。假設在像素點鄰域內任意方向上移動塊區域，若強度發生了劇烈變化，則變化處的像素點為角點。

基于加速分割測試的FAST算法可以快速地提取出角點特征。該算法判斷一個候選點是否為角點，依據的是在一個以像素點為圓心，半徑為3個像素的離散化Bresenham圓周上，在給定閾值的條件下，如果在圓周上有個連續的像素灰度值大于()＋或小于()－，則該點為角點[9]。

Fast算法采用的是三叉樹角點決策，在部分實時系統中，仍然存在著使用障礙，為了進一步加快算法的檢測速度，Elmar Mair等人通過把FAST算法中三叉決策樹改造為二叉樹，并根據當前處理的圖像信息動態，高效地分配決策樹（最多只有一個像素延遲），因此，產生的算法速度更快，不通過訓練也能達到保持一致的角反應，以及如同FAST算法一樣的可重用性。改進后的算法稱為自適應通用加速分割檢測（AGAST）算法[10-11]。

1.3 自適應模板選擇方法

1）在初始圖像上人工選定跟蹤位置，記為(,)。

2）采用AGAST特征檢測的方法檢測角點[11-12]：

①以待檢測點為中心，對半徑為3個像素的Bresenham圓上的像素按順時針方向從1到16的順序對圓周像素點進行編號，如圖3所示。

②如果在圓周上有個連續的像素的亮度都比圓心像素的亮度p加上閾值還要亮，或者比圓心像素的亮度減去閾值還要暗，則圓心像素判斷為角點。

③利用非極大值抑制進行角點特征的驗證。

圖3 半徑等于3的Bresenham圓周像素編號

3）特征點相對距離計算：特征點坐標用(￠,￠)來表示，分別計算每個特征點相對跟蹤點的方向和方向距離：

4）角點位置分布統計：如圖4所示，以跟蹤點為中心，設最小矩形窗模板長為h1，寬為w1；最大矩形模板長度為h2，寬為w2，步進大小為d，統計每一個矩形框內角點的數量，矩形框內最小x坐標、最大x坐標、最小y坐標、最大y坐標，分別記為min_x、max_x、min_y、max_y；

5）模板大小確定：設定模板內角點數量閾值為，當第個矩形窗口內的特征點數量為N，同時滿足下列條件：

則按以下方式確定模板長和寬分別按以下方式確定：

式中：為常量，取值范圍為4～8之間。

6）模板匹配：根據步驟1）～5）確定的模板采用減相關算法完成匹配和跟蹤。

2 試驗結果及分析

本算法在PC機上，使用MATLAB軟件編程實現；CPU性能為intel酷睿i5-4210，主頻2.6GHz。算法仿真軟件實現時，綜合考慮算法性能和計算速度，涉及到的各參數值分別為：連續點＝9，閾值＝5，矩形框初始大小長1＝16，寬1＝16，步進大小＝2。

測試數據為視覺跟蹤網站公開的標準視頻[13]car序列和RedTeam序列圖像，部分圖像如圖5和圖6所示，圖中細十字表示人工鎖定的跟蹤點，黑色矩形框表示本文算法自適應確定的模板大小，從圖中可以看出，自適應確定的模板大小較好的包含了目標顯著特征區域。

圖5 Car序列圖像模板檢測結果

從圖6中還可以看出，人工確定的跟蹤點不在目標顯著位置中心，本文算法仍能自動將模板位置進行偏移，使得模板包括了絕大部分目標顯著特征區域，非常有利于后續跟蹤匹配。

采用拓展模板的跟蹤方法和本文方法，對上述RedTeam視頻序列進行跟蹤對比，固定模板大小為48×28，近況模板取最近5幀的結果，對RedTeam序列圖像進行跟蹤，初始跟蹤點一致，將二種方法在對應圖像幀中的跟蹤結果與標準目標位置的中心矩進行對比，跟蹤結果見圖7。

定義跟蹤目標區域與實際目標區域的交疊率[5]為：2區域之交的面積與2區域之并面積區域之比，選取區域交疊率來決定每一幀的追蹤結果是否可以接受，對RedTeam序列圖像計算結果見表1。

圖6 RedTeam圖像序列自適應確定的模板

圖7 跟蹤結果對比

表1 RedTeam序列圖像兩種方法正確率對比

圖8為跟蹤圖像對比（第268幀），可以看出，采用固定模板＋近況模板的方法跟蹤位置已經漂移，而本文方法確定的模板仍能較好地定位目標位置。

圖8 本文方法和原方法結果對比

3 結論

本文提出的采用AGAST圖像角點檢測算法來自適應確定跟蹤模板大小的方法，計算速度快，且對硬件資源要求較低，試驗結果表明自適應確定的模板對復雜地面環境下的目標跟蹤具有較好的適應性、穩健性高，能夠應用于實時制導系統中。

[1] 黃飛, 李德華, 姚迅. 基于相關匹配及自適應模板更新的目標跟蹤新方法[J]. 計算機工程, 2007, 33(16): 147-149

HUANG Fei, LI Dehua, Yao Xun. New Target Tracking Method Based on Correlation Matching and Adaptive Modal Modification[J]., 2007, 33(16): 147-149.

[2] 孫仲康, 沈振康. 數字圖象處理及其應用[M]. 北京: 國防工業出版社, 1985．

SUN Zhongkang, SHEN Zhengkang.[M]. Beijing: National Defense Industry Press, 1985.

[3] 嚴國榮. 成像相關跟蹤算法的研究[D]. 西安: 西安電子科技大學, 2003: 20-24.

YAN Guorong. Research on imaging correlation tracking algorithm[D]. Xi'an: Xi'an Electronic and Science University, 2003: 20-24．

[4] 張永強, 程丹松, 王君, 等. 拓展模板的視頻跟蹤技術[J]. 哈爾濱工業大學學報, 2016, 48(4): 66-72.

ZHANG Yongqiang, CHENG Dansong, WANG Jun, et al. Video tracking technology of extended template[J]., 2016, 48(4): 66-72.

[5] 郭敬明, 何昕, 楊杰, 等. 模板自適應的mean shift 紅外目標跟蹤[J]. 紅外與激光工程, 2014, 43(4): 1087-1093

GUO Jingming，HE Xi, YANG Jie, et al. Template adaptive mean shift infrared target tracking[J]., 2014, 43(4): 1087-1093．

[6] 湯貝. 基于模板匹配的目標跟蹤算法研究[D]. 長沙: 長沙理工大學, 2013: 14-22.

TANG Bei. Research on object tracking algorithm based on template matching[D]. Changsha: Changsha University of Science and Technology, 2013: 14-22.

[7] 王向軍, 王研, 李智. 基于特征角點的目標跟蹤和快速識別算法研究[J]. 光學學報, 2007, 27(2): 360-364.

WANG Xiangjun, WANG Yan, Li Zhi. Fast Target Recognition and Tracking Method Based on Characteristic Corner[J]., 2007, 27(2): 360-364.

[8] Siegwart R., Scaramuzza D., Chli M., et al. Image Keypoint Detection, Description, and Matching[EB/OL]. [2016-9-18]. https://www.ethz.ch.

[9] Edward Rosten. Tom Drummond. Machine learning for high-speed corner detection[C]//, 2006, 1: 430-443.

[10] Mair E, Hager G D, Burschka D, et al. Adaptive and Generic Corner Detection Based on the Accelerated Segment Test[C]//2010,, 2010: 183-196.

[11] V. Lepetit, P. Fua. Keypoint recognition using randomized trees[J].. 2006, 28(9): 1465-1479.

[12] Rosten E, Drummond T. Fusing points and lines for high performance tracking[C]//, 2005, 2:1508-1515.

[13] Data sets. Visual Tracker Benchmark[DB/OL]. [2016-10-26]. https:// www.visual-tracking.net.

Method for Detecting Image CornersUsingAdaptive Determining Tracking Template

WANG Desheng1，WU Zhongjian1，YAO Xiujuan1，JIN Daizhong1，LU Hongchao2

(1. Southwest Institute of Technical Physics, Chengdu 610041, China; 2. Military Representative Office of PLA in 209th Institute,Chengdu 610041, China)

Atracking method based on region, is significantly affected bythe size and position of the tracking template. Through the analysis of the template vision, which is a significant feature of the tracking template, the AGAST fast corner detection method is used, which calculates the angle between the relative distances andanalyzes the angle point distribution to determine the template size and position. The simulation and test results show that thismethod candetermine the template that contains the target withbetter significant visual features, has fast calculation speed withhigh robustness, and can effectively improve the tracking performance of the region template matching method.

vision feature，corner point detection，adaptive template，image tracking

TN911

A

1001-8891(2017)07-0638-04

2016-11-03；

2017-07-04.

王德勝（1979-），男，安徽省合肥市人，高工，碩士，主要研究工作是圖像制導、目標檢測與跟蹤。E-mail：wdshyxj@163.com。