光電跟蹤系統高精度模板匹配跟蹤算法

吳 浩，張 勇，李 欣，佀明華，王偉明

光電跟蹤系統高精度模板匹配跟蹤算法

吳 浩1，張 勇2，李 欣3，佀明華3，王偉明3

（1. 陸軍工程大學 石家莊校區 電子與光學工程系，河北 石家莊 050003；2. 中國人民解放軍32181部隊，河北 石家莊 050000；3. 石家莊鐵道大學 電氣與電子工程學院，河北 石家莊 050043）

為實現在光電跟蹤系統條件下的高精度測量并且滿足復雜環境下高精度目標匹配，本文選用去均值歸一化互相關匹配算法。為提高匹配速度以及跟蹤實時性，利用和表法計算公式中圖像求和、平方和圖像匹配互相關來簡化計算復雜度；采用小波分層金字塔法作為搜索策略，并將模板質心作為參考點進行十字形搜索，引入終止閾值減少誤匹配點進一步提高搜索速度。為驗證該算法的有效性，實驗中將光電跟蹤系統放置在二維轉臺上，調整轉臺利用該算法跟蹤目標靶板。實驗結果表明，目標脫靶量控制在3個像素以內，該算法在光電跟蹤系統上可實現高精度穩定跟蹤。

模板匹配；光電跟蹤系統；歸一化互相關匹配；和表法；小波金字塔

0 引言

光電跟蹤系統廣泛應用于實時監控、視覺測量、視覺定位、武器火控系統等領域。同時在光電跟蹤系統下可實現高精度測量，如激光跟蹤儀、導彈導引頭等，其中目標脫靶量的提取直接影響光電跟蹤系統的跟蹤精度以及測量精度。

工程中常用的模板相關匹配算法[1]主要有絕對誤差和算法（sum of absolute differences，SAD）、平均誤差平方和算法（mean square differences，MSD）和歸一化互相關算法（normalized cross correlation，NCC）等算法。其中歸一化互相關算法廣泛用于光電跟蹤系統的目標跟蹤，具有精度高、魯棒性強等優點。傳統的歸一化算法匹配精度高但采用遍歷的搜索方式，運算量較大，必須配以合適的搜索策略才能用于實時跟蹤。如Lewis首先提出用和表法簡化歸一化互相關公式分母復雜度，但分子復雜度沒有改變[2]。陳翔提出一種相似度量函數的模板匹配跟蹤算法改善了跟蹤速度，但精度沒有大幅提高[3]。謝維達提出了一種利用三個判據確定最優解的模板匹配算法，但合適閾值判斷復雜[4]。王斌提出了將高斯金字塔分層引入十字形搜索方法提高搜索效率，但對于運動目標偏量估計不足[5]。胡敏提出一種根據模板質心區域進行匹配方法，提高了匹配速度，但無法滿足跟蹤實時性的要求[6]。

因此本文使用基于灰度圖的去均值歸一化互相關模板匹配方法來降低背景環境的亮度變換對匹配結果的影響。為了提高匹配速度，通過建立和表的方法來降低公式復雜度，減少了公式的計算量。同時利用小波金字塔分層與十字形搜索相結合的優化搜索策略，提取目標圖案中心坐標為脫靶量的基準，從粗匹配到精匹配，提出了一種快速穩定的高精度目標跟蹤算法。通過實驗驗證該算法跟蹤合作目標的效果，計算得到光電跟蹤系統對運動目標脫靶量小于3個像素。

1 光電跟蹤模板匹配

1.1 歸一化互相關算法

歸一化互相關算法的計算復雜度較大，但對于灰度變化和較小的幾何形變存在魯棒性，同時具有較強的抗干擾能力、魯棒性高和不依賴圖像分割效果的優點[7]。在實際應用中，圖像亮度的突然變化會對計算結果造成不利影響[8-9]。圖像亮度變化的影響主要體現在圖像均值上，通過減去圖像均值可以抑制圖像亮度及對比度突變對相關匹配的影響，提高配準的準確性。去均值歸一化互相關運算公式如下[10]：

將公式(1)展開得到：

將公式(3)代入公式(2)化簡得到：

式中：

公式(4)中，模板方差t和模板均值只需計算一次，通過簡化公式一定程度上減少了計算量，但對于待匹配圖的方差及兩張圖像的協方差計算仍需要多次重復執行。

1.2 快速歸一化互相關算法

當,＜0時，1(,)＝0、2(,)＝0、3(,)＝0，則待匹配圖像區域累加和、平方累積和及互相關值為：

對于待匹配圖像×和模板圖像×，提出的快速歸一化互相關算法與傳統歸一化互相關算法相比，計算復雜度從(×××)降為(×)，計算復雜度對比如表1所示。

表1 計算復雜度對比

2 基于小波金字塔質心法的十字形搜索策略

2.1 小波金字塔分層搜索策略

分層金字塔方法搜索策略[14-15]，能夠減少圖像匹配搜索時間，有效地保留圖像中的大部分信息，實現對圖像的匹配和分析。小波分解變換將圖像根據高頻與低頻信息進行分解，能夠有效地保留圖像中的大部分信息。本文采用小波金字塔分層搜索策略。

小波金字塔認為一幅圖像可分為包含內容信息的低頻圖像和包含細節信息的高頻圖像[16]，分別對圖像的行列進行高通濾波與低通濾波，然后進行亞抽樣獲得縮略圖，通過小波變換可將原圖像分解為4幅子圖像，子圖的分辨率為原圖的1/2。低頻子圖像反映了原圖的絕大部分信息，所以對低頻子圖再進行濾波分解，此基礎上又獲得低頻子圖像。按照這個過程反復，實現圖像的多級分解。

對采集的視頻序列進行小波金字塔分層處理，將模板圖像與待檢測圖像分成5層圖像進行歸一化互相關匹配，觀察小波金字塔分層圖像對匹配結果的影響。如圖1所示。

圖1 金字塔分層圖像的互相關匹配結果

通過圖1可以看出第二層與第三層圖像最大相關值比原圖要高，經分析是在金字塔分層的過程中前兩層圖像通過低通濾波將原圖中的噪聲與及邊緣細節進行了剔除。雖然內容細節信息也相應減少，但是對匹配結果影響較小。第四層金字塔圖像的最大相關度與原圖像相比平均略低，經分析在第四層圖像經過多重低通濾波，內容細節信息有了較大損失，但還基本滿足原圖模板匹配精度要求。第五層金字塔圖像的最大相關度遠低于原圖模板匹配，內容細節嚴重丟失，與原圖相關度相比有較大差距不滿足模板匹配精度要求。

理論上來說，金字塔分層數越高，搜索速度越快。但通過對本視頻序列分析，金字塔層數越高，匹配精度越低，誤匹配點概率越大，因此金字塔分層在2～4層為宜。在本方法中，選用3層金字塔結構進行匹配。對待匹配圖像進行濾波分解處理后，首先對最低分辨率待匹配圖像與最低分辨率模板圖像進行快速NCC模板匹配，獲得該層圖像的最佳匹配點(,)。低分辨率層圖像的匹配點可以作為高分辨率層圖像的初始值搜索位置，然后以該點為中心的小范圍內進行局部快速NCC模板匹配，尋找最佳匹配點(0,0)。

2.2 基于目標質心的十字形搜索策略

十字形搜索[17]是將當前匹配點與其上下左右四個匹配點進行比較，選擇最優匹配點建立新的十字形進行比較，從而確定搜索方向直至當前匹配點為最優結果。根據搜索形狀可分為大十字形、小十字形、菱形等。小波金字塔高層圖像分辨率低、尺寸變小，適合用小十字搜索進行優化搜索。

選擇合作目標靶板進行跟蹤，靶板圖案采用一定寬度的黑色十字分劃線。根據模板圖案，選取了常見的兩種方案提取模板圖案中心。一是直線檢測法檢測直線交點提取中心，二是采用質心法提取中心。如圖2、3所示。通過比較質心法檢測速度更快，結果更為穩定，因此選擇質心法檢測模板圖案中心坐標。

圖2 質心法

圖3 直線檢測法

選取視頻序列中任一幀圖像進行歸一化模板匹配，觀察匹配相關度結果，仿真結果如圖4所示。傳統分層搜索過程中對最高層圖像采用遍歷搜索查找最佳匹配點，在本實驗及算法中在最高處圖像設置終止閾值，經計算發現待測圖像模板匹配相關度大于0.8的像素點占整幅圖像的千分之一，如圖5所示。結合圖1視頻序列最大相關度曲線，跟蹤過程中背景變化小但應考慮噪聲干擾等因素不宜設置閾值過高，選用0.8作為匹配相關度的終止閾值滿足所有視頻序列。

圖4 待測圖像模板匹配相關度

圖5 待測圖像匹配相關度大于0.8

在初始圖像中選取模板圖像，提取初始圖像中模板質心坐標用于之后的匹配搜索初始位置。傳統模板匹配將待匹配圖像左上角作為圖像初始匹配點，進行遍歷搜索。改進搜索策略將模板圖像質心作為參考點[6]，在金字塔頂層圖像上以模板質心坐標為初始匹配點，進行十字形搜索并引入自適應終止閾值，根據仿真分析將相關度值0.8作為當前幀的終止閾值。當歸一化匹配結果大于這一閾值并且匹配點位于十字形搜索中心時，提前結束頂層金字塔圖像匹配。將上層金字塔匹配點坐標作為下一層金字塔圖像初始匹配點，然后重復上述步驟。最終在待測原圖像得到匹配區域，進行質心提取。本幀圖像的最佳匹配點即為目標質心點，計算目標質心脫靶量。將脫靶量轉換角度信號輸入到伺服系統中進行穩定跟蹤。算法流程圖如圖6所示。

圖6 跟蹤算法流程

3 實驗結果與分析

為驗證該跟蹤算法的有效性，將該算法用于高精度空間角度動態測量方法。該測量方法利用相位激光測距獲得被測對象與目標靶板之間的空間距離，利用高精度伺服機構跟蹤遠處場景中的合作靶板，獲得相對于目標靶板的空間角度信息。進而通過空間坐標變換，實現被測對象轉角的精確測量。測量過程中靶板放置不動，光電跟蹤系統隨被測目標發生轉動，該過程中相機拍攝靶板圖像，并始終對準初始靶板中心。采用圖像開源庫OpenCV和C＋＋語言編程實現，搭建模擬實驗，將光電跟蹤系統夾持在位移臺平板底座末端，距離光電跟蹤系統約30m處立一個帶有20cm×20cm十字分劃的目標靶板。光電跟蹤系統中的相機和激光測距機實現靶板十字分劃圖案的采集和測距，圖7是實驗裝置示意圖。

圖7 實驗裝置示意圖

整個測量過程中無目標遮擋且圖像背景變化不大，且為提高跟蹤精度與魯棒性，選擇了易識別的十字靶板圖案。實驗過程中圖像配準精度以及伺服系統框架的控制精度直接影響到跟蹤結果的準確性與穩定性。通過初始圖像手動選取目標并開始跟蹤。將小波金字塔分層搜索策略與十字形搜索策略相結合對待檢圖像進行模板匹配。檢測目標圖案質心并求得目標幀間偏移量，并將該偏移量送給伺服機構。伺服控制系統將其轉化為角跟蹤誤差信號，通過位置和速度雙回路反饋，控制雙框架電機轉動實現對目標的跟蹤。圖8為實驗結果跟蹤圖像。

圖8 跟蹤結果圖像

通過對跟蹤區域位置進行中心提取，模板圖案質心均被準確標記，可見跟蹤過程穩定。選取100幀處理圖像序列，通過提取目標質心坐標進行觀察，如圖9所示。

圖9 圖像質心坐標序列

100幀處理圖像中心坐標平均值為(319.93, 370.12)，均方差為(1.73,1.49)。目標質心坐標基本在3個像素范圍內波動，該跟蹤誤差與被測目標運動狀態以及伺服系統跟蹤精度有關。通過實驗結果可認為該算法用于光電跟蹤系統過程中跟蹤穩定，精度高、魯棒性好。同時對非合作目標進行跟蹤實驗比較實驗結果，在距離30m左右選擇路燈作為跟蹤目標。轉動二維轉臺使光電跟蹤裝置發生偏轉，觀察跟蹤效果。實驗跟蹤結果圖像如圖10所示。

選取100幀處理圖像序列，通過提取目標質心坐標進行觀察，如圖11所示。

從非合作目標跟蹤序列觀察來看，100幀圖像中心坐標平均值為(339.01, 295.11)，均方差為(3.57, 3.15)，目標質心坐標基本在6個像素范圍內波動。非合作目標跟蹤雖然滿足了跟蹤要求，但與合作目標跟蹤相比，十字靶板跟蹤精度更高，穩定性更好。在兩組跟蹤實驗中，背景變化不大，因為該算法主要用于滿足以光電跟蹤裝置為基礎的高精度檢測需求。將光電跟蹤裝置與被測目標固定，被測目標移動時光電跟蹤裝置跟蹤靶板，通過解算跟蹤過程轉動角度及變化關系，得到目標動態角度或方位信息。該方法可用于調炮精度檢測等方面。該方法對跟蹤精度要求較高。因此，本方法選用以合作目標十字靶板為跟蹤目標的模板匹配跟蹤算法。

圖10 非合作目標跟蹤圖像

圖11 非合作目標質心坐標序列

4 結論

本文為實現光電系統的高精度跟蹤測量，采用去均值歸一化互相關算法作為跟蹤算法，傳統歸一化互相關算法具有較高的計算復雜度影響了算法實時性。為減少模板配準時間，將匹配公式進行改進減少不必要的計算，并采用和表法將公式中乘法運算簡化為加減運算。為減少目標搜索時間，采用小波金字塔搜索策略，將圖像通過小波金字塔分層，從高層到底層，以模板質心為參考點進行十字形搜索，并通過閾值提前結束搜索得到最佳匹配點。實驗結果表明，去均值快速歸一化互相關算法結合小波金字塔分層搜索策略在運動過程中可以穩定地跟蹤十字靶板目標，通過質心法提取目標圖案中心坐標，目標在跟蹤中偏移量小于3個像素。可將該算法用于以光電跟蹤裝置為基礎的高精度檢測方法。本文介紹的圖像跟蹤算法在光電跟蹤系統中具有較高的應用價值，基于靶板的目標識別跟蹤算法，精度高但操作依賴合作目標，下步著重利用遠場中的典型非合作目標實現高精度跟蹤測量。

[1] 朱泓諭. 模板匹配技術在圖像識別中的運用[J]. 電子技術與軟件工程, 2021(5): 122-123.

ZHU Hongyu. Application of template matching technique in image recognition[J]., 2021(5): 122-123.

[2] Lewis J P. Fast normalized cross correlation[C]//, 1995: 120-123．

[3] 陳翔, 陳鵬. 基于改進模板匹配的目標跟蹤算法[J]. 計算機應用, 2011, 31(z2): 127-128.

CHEN Xiang, CHEN Peng. Object tracking algorithm based on improved template matching[J]., 2011, 31(z2): 127-128.

[4] 謝維達, 周宇恒, 寇若嵐. 一種改進的快速歸一化互相關算法[J]. 同濟大學學報(自然科學版), 2011, 39(8): 1233-1237.

XIE Weida, ZHOU Yuheng, KOU Ruolan. An improved fast normalized cross correlation algorithm[J].(Natural Science), 2011, 39(8): 1233-1237.

[5] 王斌, 何中市, 伍星, 等. 基于高斯金字塔的圖像運動估計算法[J]. 計算機工程與應用, 2015, 51(7): 174-178.

WANG Bin, HE Zhongshi, WU Xing, et al. Image motion estimation algorithm based on Gaussian pyramid[J].s, 2015, 51(7): 174-178.

[6] 胡敏, 賀曉佳, 王曉華. 快速區域質心圖像匹配算法[J]. 電子測量與儀器學報, 2011, 25(5): 455-462.

HU Min, HE Xiaojia, WANG Xiaohua. Fast image matching algorithm with area centroid[J]., 2011, 25(5): 455-462.

[7] YANG Zhuo. Fast template matching based on normalized cross correlation with centroid bounding[C]//, 2010: 224-227.

[8] 穆欣侃, 羅海波. 一種對亮度變化魯棒的相關跟蹤方法[J]. 紅外與激光工程, 2012, 40(1): 255-260.

MU Xinkan, LUO Haibo. Correlation tracking approach robust to the variation of image brightness[J]., 2012, 40(1): 255-260.

[9] 徐一鳴, 顧菊平, 袁媛, 等. 基于改進歸一化積相關算法的目標跟蹤方法研究[J]. 南通大學學報(自然科學版), 2013, 12(2): 11-15.

XU Yiming, GU Juping, YUAN Yuan, et al. Research on target tracking method based on an improved normalized product correlation algorithm[J].(), 2013, 12(2): 11-15.

[10] WEI Shouder, LAI Shanghong. Fast template matching based on normalized cross correlation with adaptive multilevel winner update[J]., 2008, 17(11): 2227-2235.

[11] Tsai D M, LIN C T. Fast normalized cross correlation for defect detection[J]., 2003, 24: 2625-2631．

[12] Gharavi-Alkhansari M. A fast globally optimal algorithm for template matching using low-resolution pruning[J]., 2001, 10(4): 526-533.

[13] 吳強, 任琳, 張杰. 快速歸一化互相關算法及DSP優化實現[J]. 電子測量與儀器學報, 2011, 25(6): 495-499．

WU Qiang, REN Lin, ZHANG Jie. Fast algorithm of normalized cross correlation and optimized implementation on DSP[J]., 2011, 25(6): 495-499．

[14] 陳岳軍, 孫廣玲, 姚恒. 結合小波金字塔的空頻域亞像素圖像配準[J]. 上海大學學報(自然科學版), 2012, 18(4): 342-348.

CHEN Yuejun, SUN Guangling, YAO Heng. Hybrid spatial-frequency domain sub-pixel image registration with wavelet pyramid[J].(), 2012, 18(4): 342-348.

[15] 吳鵬, 徐洪玲, 宋文龍. 結合小波金字塔的快速NCC圖像匹配算法[J]. 哈爾濱工程大學學報, 2017, 38(5): 791-796.

WU Peng, XU Hongling, SONG Wenlong. A fast NCC image matching algorithm based on wavelet pyramid search strategy[J]., 2017, 38(5): 791-796.

[16] 劉元琳, 宋春鳳, 王玲玲. 基于金字塔的漸進分辨率匹配算法研究[J]. 電子制作, 2020(20): 27-29.

LIU Yuanlin, SONG Chunfeng, WANG Lingling. Research on progressive resolution matching algorithm based on pyramid[J]., 2020(20): 27-29.

[17] 張萬緒, 吳佳麗, 趙麗平, 等. 改進的十字菱形搜索算法INCDS[J]. 西北大學學報(自然科學版), 2011, 41(2): 226-230.

ZHANG Wanxu, WU Jiali, ZHAO Liping, et al. Improved new cross-diamond search algorithm INCDS[J].(), 2011, 41(2): 226-230.

High-precision Template Matching Tracking Algorithm for Optoelectronic Tracking System

WU Hao1，ZHANG Yong2，LI Xin3，SI Minghua3，WANG Weiming3

(1.,,050003,; 2. 32181,050000,; 3.,,050043,)

To achieve high-precision measurements under the operating conditions of optoelectronic tracking systems and satisfy high-precision target matching in complex environments, in this study we adopted the average normalized cross-correlation algorithm. To improve the matching speed and real-time tracking, the computational complexity was simplified by using the sum table method to correlate the sum of images, squares, and the correlation of images. The wavelet pyramid method was used as the search strategy, and the center of the template was used as the reference point for cross-shaped search. A termination threshold was introduced, which reduced the number of mismatched points to increase the search speed. To verify the effectiveness of the algorithm, an optoelectronic tracking system was placed on a two-dimensional turntable in an experiment that used the algorithm to track a target. The experimental results show that the missed target was controlled within 3 pixels. The proposed algorithm can realize high-precision and stable tracking in optoelectronic tracking systems.

image matching, optoelectronic tracking system, normalized cross correlation, sum-table scheme, wavelet pyramid

O439；TP391

A

1001-8891(2022)12-1301-08

2018-06-20；

2022-11-18.

吳浩（1993-），男，河北辛集人，碩士研究生，研究方向為光電檢測與圖像處理。

張勇（1974-），男，河北邢臺人，博士，高級工程師，研究方向為光電檢測與圖形圖像處理。E-mail：bit10701159@163.com。

國家自然科學基金（51305455），陸軍裝備部資助課題（ZS2014070140A12002）。