基于輪廓片段匹配和圖搜索的紅外目標識別方法

蘇娟，楊羅，張陽陽

(1.第二炮兵工程大學907 教研室，陜西 西安710025;2.96427 部隊 氣象室，陜西 寶雞721006)

0 引言

紅外成像制導因其具有靈敏度高、隱蔽性好、全天時工作等優良特性，成為目前精確制導技術的發展主流和研究熱點。模板匹配是紅外末制導尋的階段常用的自動目標識別方法，通過對基準圖和實時圖進行匹配實現目標的識別定位［1］。基準圖是根據目標高程、下視可見光圖像、成像視角和距離、目標紅外特性等信息制作而成的，與紅外導引頭獲取的實時圖存在較大的灰度差異、視角差異和尺度差異，傳統的外觀特征(如灰度和紋理等)不能發揮明顯的優勢，而在異源圖像匹配中得到了廣泛應用的輪廓特征［2-5］，由于具有較好的鑒別性和魯棒性，在基準圖與實時圖的匹配中作用明顯。通過提取基準圖與實時圖中的輪廓特征，在實時圖中尋找基準圖輪廓對應的最佳匹配區，可以實現目標的匹配識別。然而，在紅外成像制導中，當目標處在復雜背景中時，背景區域的邊緣線條通常會給輪廓匹配帶來較大干擾，并且，目標遮擋、紅外干擾和成像質量等因素可能導致目標的重要輪廓難以被完整地檢測出來，出現輪廓片段缺失現象。上述復雜背景干擾和目標輪廓片段缺失的情況使得基準圖與實時圖的輪廓差異擴大，相應增加了輪廓匹配的難度。

在形狀輪廓匹配方面，文獻［6］根據基準圖的尺度和形狀信息對實時圖進行目標重構處理，提取邊緣線條進行匹配，融合輪廓匹配和區域對比度進行目標的識別，該方法需要根據彈目距離制備尺度精確的基準圖，要求基準圖與實時圖的尺度差異較小。文獻［7］提出一種不等分坐標空間，提取目標區域的模糊形狀特征，采用形狀上下文和全局特征加權度量，實現了形狀特征差異較大時的紅外與可見光圖像匹配。文獻［8］將模板的輪廓片段分組成片段組合，采用投票的方法衡量模板片段組合與圖像中邊緣片段集合的相似性，產生候選的邊緣片段組合，最后通過邊緣片段組合與輪廓模板之間的全局相似性來尋找目標位置，該方法要求輪廓模板包含足夠多種類型的形變。文獻［9］利用輪廓片段的分布情況形成描述子，從而實現目標檢測，該方法需要通過邊緣連接使得輪廓的各部分構成一個網絡。文獻［10］根據訓練集得到具有多尺度特性的目標形狀片段模型，然后通過計算形狀片段間的相似性選取出候選片段，并結合具有全局約束的Hough 變換實現目標檢測，該方法計算復雜，受噪聲的影響較大。

針對紅外成像制導特定的應用背景，本文提出一種基于輪廓片段匹配和圖搜索的目標識別方法，利用輪廓分段進行形狀匹配。在對基準圖和實時圖進行輪廓提取與分段的基礎上，利用片段的位置和朝向信息計算得到片段匹配矩陣，然后構建匹配圖并采用圖搜索方法尋找與基準圖輪廓最相似的片段組合，最后采用距離變換計算全局相似性測度，確定目標的匹配位置。

1 算法

本文算法流程如圖1所示，主要包括4 部分內容:輪廓分段與描述、計算片段匹配矩陣、匹配圖構建與圖搜索、全局相似性度量。

1.1 輪廓分段與描述

首先對基準圖和實時圖分別進行輪廓特征提取與分段處理。邊緣是基于輪廓的形狀描述中所使用的基本特征，前視紅外(FLIR)目標識別中所處理的目標大部分為具有穩定結構形式的人造目標，因此本文首先提取圖像的結構特征邊緣作為輪廓特征，然后提取邊緣中的角點，并據此對邊緣進行分段處理。具體步驟如下:

1)提取圖像的Canny 邊緣，并采用基于局部處理的邊緣點連接方法提取邊緣線段;

2)通過計算邊緣線段上每個點的曲率，提取出具有穩定曲率的邊緣線段，如直線、弧線、圓等;

3)基于曲率尺度空間提取角點，如果有角點位于邊緣線段中，則將該線段在角點處斷開;

4)對得到的每條邊緣片段進行標記，記錄片段上的像素坐標，用于后續處理。

如圖2所示給出了一個邊緣輪廓片段提取實例。可見，在提取得到的邊緣輪廓片段圖中，大部分細小雜亂的邊緣被濾除，能夠基本反映目標的輪廓信息和幾何結構。

圖2 輪廓片段提取Fig.2 Contour fragment extraction

成像質量、遮擋或背景干擾等因素通常會使紅外實時圖中目標輪廓受到影響，出現某條片段整體缺失或部分缺失的現象。與片段的長度特征相比，片段的方位和朝向特征能更魯棒地描述片段的屬性，因此本文利用片段的方位和朝向進行片段匹配。片段的方位特征提取方法為:首先計算片段的斜率，將其與閾值1(代表斜率為45°的片段)進行比較，斜率大于1 的片段被認為是垂直朝向，反之被認為是水平朝向。在FLIR 目標識別中，以典型建筑物為代表的矩形目標均適用于這種片段區分方法，以圖3(a)為例進行介紹。按照以上規則，基準圖輪廓中有兩條水平朝向和兩條垂直朝向的片段，然后根據每條片段的質心相對于圖像中心的方位，可給基準圖輪廓的片段分別賦以label 進行方位標記，其中label=1(left)，2(down)，3(right)，4(up)，分別代表左、下、右、上等粗略方位。圖3(b)中12 表示左邊第2 條片段，22 表示下邊第2 條片段，以此類推。片段的朝向特征用片段的角度表示，設某條片段的斜率為k，則其朝向特征為角度θ=arctan|k|.

1.2 計算片段匹配矩陣

圖3 片段描述示意圖Fig.3 Illustration of fragment description

經過輪廓提取與分段處理后，采用遍歷的方法對基準圖和實時圖進行模板匹配。在某個匹配位置，基準圖和實時圖的相應區域分別有m 條和n 條輪廓片段，每條片段均有方位和朝向兩個特征。基準圖輪廓片段bi(i=1，2，…，m)和實時圖輪廓片段rj(j=1，2，…，n)的方位特征分別為labelbi和labelrj，其匹配通過邏輯運算實現。朝向特征分別為θbi和θrj，其匹配通過計算朝向特征的余弦值實現，即以朝向特征匹配值pi=cos(θbi-θrj)作為片段間的相似性測度。根據以下準則計算片段匹配矩陣:

1)實時圖片段與基準圖片段的方位特征label必須相等;

2)實時圖片段與基準圖片段的質心間距離dij應滿足dij≤r;

3)朝向特征匹配值應滿足pi＞thresh，即兩片段的夾角小于arccos(thresh).

矩陣元素pji表示第i 條基準圖片段bi與第j 條實時圖片段rj的相似性測度。通過方位和朝向匹配后，如果基準圖有兩條或兩條以上的片段存在對應的實時圖匹配片段，則該次匹配有效，可進行后續操作。

表1 片段匹配矩陣Tab.1 Fragment matching matrix

1.3 匹配圖構建與圖搜索

對片段匹配矩陣按由大到小排序，選取每條基準圖片段對應的前3 條實時圖匹配片段作為節點構建匹配圖，該圖中每層節點對應1 條基準圖輪廓片段，如圖4所示。圖4(c)中節點n41、n42、n43與基準圖片段4 相對應，分別代表候選的實時圖片段41、片段42 和片段44. 匹配圖中灰色節點為有效節點，從第1 層節點出發到第4 層節點，存在多條路徑，每條路徑代表了一種可能的輪廓片段組合。

在此基礎上，本文根據基準圖輪廓相鄰片段的空間位置關系定義匹配圖相鄰層節點間的匹配代價，如圖5所示。圖5(a)中，連接片段1 和片段2的質心構成向量l12，匹配圖中對應的節點為第1 層n1i和第2 層n2i;圖5(b)中，對應于基準圖片段1 的候選片段為片段11，對應于基準圖片段2 的候選片段為片段21 和片段22. 因此，可連接片段11 和片段21 的質心構成向量l112，連接片段11 和片段22 的質心構成向量l212，用兩向量的夾角＜l12，l1i2＞來衡量l12與的相似性，作為節點n11和n2i的匹配代價。越小，說明向量l12與相似性越大，基準圖中輪廓片段1 和片段2 的空間關系在對應的實時圖中保持得越好。本例中夾角＜l12，l212＞最小，即節點n11和n22間的匹配代價最小。因此，利用相鄰片段之間的空間關系計算節點之間的匹配代價，充分利用基準圖輪廓片段的空間信息，遍歷搜索匹配圖即可得到具有最小匹配代價的路徑;圖5(c)中，粗實線路徑即為搜索得到的最小匹配代價路徑，實時圖中對應的片段組合(11-22-32-41)即為候選目標。

圖4 匹配圖構建Fig.4 Matching graph construction

1.4 全局相似性度量

為提高匹配的準確率，本文在獲取候選片段組合的基礎上，利用目標輪廓的全局特征信息，對候選目標進行進一步確認。由于所處理的輪廓均為二值圖像，本文采用距離變換匹配值作為全局相似性度量。距離變換是對二值邊緣圖像進行的一種運算，變換矩陣中各點的值表示該點到距它最近的一個邊緣點的歐氏距離，其計算公式為

式中:E={e}為輪廓片段組合圖像上所有邊緣點的集合;d 為歐氏距離。

圖5 匹配圖搜索Fig.5 Matching graph Searching

如圖6所示給出了一個輪廓片段組合圖像的距離變換結果，其中邊緣圖像上的白色線條表示邊緣點，在距離變換圖像中，邊緣點的灰度值為0，越暗的點表明和邊緣點的距離越近。

因此，基于距離變換的全局相似性度量為

圖6 輪廓片段組合的距離變換Fig.6 Distance transform of fragment combination

式中:T 為對應的基準圖輪廓片段組合中所有邊緣點的集合;M·N 為基準圖的尺寸。該測度相當于將基準圖輪廓片段組合作為二維濾波器對實時圖輪廓片段組合的距離變換矩陣進行濾波，并按照基準圖的尺寸求平均值。對于每個候選的輪廓片段組合，利用(2)式計算全局相似性度量，測度值最小的片段組合即為最終確定的目標區域。

2 仿真實驗與分析

為了考察本文算法對目標輪廓片段缺失、復雜背景干擾和尺度變化明顯等紅外成像制導中常見影響因素的適應性，本文采用了兩組有代表性的圖像序列進行了仿真實驗。

2.1 輪廓片段缺失

輪廓片段缺失的一個主要原因是目標被局部遮擋，這在實際應用中是經常出現的。對紅外序列中的目標進行遮擋處理，采用梯度矢量法［11］、結構張量法［12］和本文算法分別進行匹配實驗，考察算法對目標部分遮擋的適應性，其匹配結果如圖7所示。

圖7 輪廓片段缺失時的建筑物匹配實驗Fig.7 Matching experiment in case of contour fragment missing

由圖7可見，當目標被局部遮擋時，目標輪廓片段部分缺失，本文算法仍能實現正確匹配，而另兩種方法匹配錯誤，說明本文算法對目標局部遮擋具有一定的適應性。梯度矢量算法和結構張量算法是在特征提取的基礎上進行的模板匹配，局部遮擋使得目標區域特征發生較大變化，從而導致匹配失敗。本文算法是針對輪廓片段缺失而設計的，當目標被部分遮擋時，只要能檢測出目標的部分輪廓片段，通過片段匹配與組合即可克服遮擋的影響。

2.2 復雜背景干擾

本組實驗序列中，目標所處的背景區域存在大量的干擾邊緣，并且基準圖與實時圖中的目標存在視角差異。采用梯度矢量法［11］、結構張量法［12］和本文算法分別進行匹配實驗，考察算法在復雜背景干擾情況下的匹配性能，其匹配結果如圖8所示。

圖8 復雜背景干擾下的建筑物匹配實驗Fig.8 Matching experiment in case of complicated background interference

由圖8可見，當目標所處背景干擾較大，且基準圖與實時圖存在視角差異時，本文算法均能實現正確匹配。這是因為該算法根據片段的方位和朝向進行匹配，設定的閾值能容許一定的角度差異，利用了片段之間的空間關系進行片段組合，局部特征與全局特征的組合提高了特征鑒別能力，因此能克服復雜背景干擾與視角差異的影響。

2.3 尺度變化明顯

為了考察本文算法對目標尺度變化的魯棒性和對序列圖像的適應性，采用兩組分別包含150 幀和300 幀的圖像序列進行匹配實驗。待匹配目標分別為不同場景下的建筑物目標(如圖7和圖8所示)，隨著攝像頭與目標距離之間的變化，圖像序列由遠及近，目標尺度變化明顯，匹配實驗時均只使用一張基準圖。將本文算法與模板匹配的兩種常用算法:基于邊緣強度的歸一化積相關算法(Nprod)和基于Hausdorff 距離的輪廓整體匹配算法進行比較，匹配結果如表2所示。

表2 建筑物序列匹配率Tab.2 Matching ratios for two building sequences

由表2可見，本文算法在這兩組形狀特征較為明顯的圖像序列上，均能取得較好匹配性能。對兩組序列均利用一張基準圖即可實現較好匹配，證明了本文算法對目標尺度變化的魯棒性。由于基準圖缺乏側面紋理信息，造成基準圖和實時圖差異較大，因此基于邊緣強度的Nprod 算法的匹配性會受到一定影響;而在實時邊緣圖中，邊緣信息較為豐富和復雜，目標區域存在大量邊緣片段，造成基準圖輪廓與實時圖輪廓間存在較大差異，使得基于Hausdorff 距離的輪廓整體匹配算法的適應性不好。本文算法采用輪廓分段匹配的策略，能有效克服輪廓不完整的情況，不要求實時邊緣圖中具有封閉、完整的輪廓，在片段匹配的基礎上采用圖搜索方法進行片段組合，對復雜區域具有較好適應性。

從運行速度上來看，在Intel Pentium 2.6 GHz 處理器和2 GB 內存的硬件配置下，采用VC+ +6.0 編程環境，本文算法平均運行時間約2 幀/s，略高于梯度矢量算法(1.2 幀/s)和結構張量算法(1.45 幀/s)。如果采用硬件加速，處理速度還可進一步提高。

3 結論

針對FLIR 目標識別中復雜背景干擾和目標輪廓片段缺失的問題，本文提出了一種基于輪廓片段匹配和圖搜索的目標識別方法。該方法對輪廓采用先拆分后組合的思路，充分利用了輪廓片段的局部特征與全局特征。首先將輪廓分段描述與匹配，并構建匹配圖，然后根據基準圖輪廓片段間的空間關系進行約束，采用圖搜索方法進行片段組合，最后采用基于距離變換的全局相似性度量，實現目標的匹配定位。仿真實驗結果表明，該方法能夠魯棒準確地識別出復雜背景中的目標，對復雜背景干擾和輪廓片段缺失具有較好適應性，對具有典型形狀特征的目標識別具有一定的應用前景。

References)

［1］張義廣，丁明躍，周成平. 彈道導彈紅外成像制導的關鍵技術［J］. 制導與引信，2004，25(4):11 -14.ZHANG Yi-guang，DING Ming-yue，ZHOU Cheng-ping. Key technology on ballistic missile infrared imaging guidance［J］. Guidance ＆ Fuze，2004，25(4):11 -14. (in Chinese)

［2］Shotton J，Blake A，Cipoll R. Contour-based learning for object detection［C］∥Tenth IEEE International Conference on Computer Vision. Beijing:IEEE，2005:503 -510.

［3］Tan C Q，Chen Y F，Li F X，et al. A new method for content-based image retrieval via subsets of key contours fragments［J］. Advanced Materials Research，2012，532/533:792 -796.

［4］Yang X W，Liu H R，Latecki L J. Contour-based object detection as dominant set computation ［J］. Pattern Recognition，2012，45(5):1927 -1936.

［5］楊效余，張天序. 一種基于復雜地物背景圖像的目標識別方法［J］. 系統工程與電子技術，2011，33(1):13 -16.YANG Xiao-yu，ZHANG Tian-xu. Method of target recognition from images based on complex natural scenes［J］. Systems Engineering and Electronics，2011，33(1):13 -16. (in Chinese)

［6］李志軍，王衛華，牛照東，等. 基于模板的低信噪比前視紅外建筑物識別技術［J］. 信號處理，2012，28(9):1235 -1240.LI Zhi-jun，WANG Wei-hua，NIU Zhao-dong，et al. Method of target recognition from low SNR building FLIR images based on template［J］. Signal Processing，2012，28(9):1235 - 1240. (in Chinese)

［7］曹治國，鄢睿丞，宋拮. 利用模糊形狀上下文關系的紅外與可見光圖像匹配方法［J］. 紅外與激光工程，2008，37(6):1095 -1100.CAO Zhi-guo，YAN Rui-cheng，SONG Jie. Approach on fuzzy shape context matching between infrared images and visible images［J］. Infrared and Laser Engineering，2008，37(6):1095 -1100.(in Chinese)

［8］Lu C E，Adluru N，Ling H B，et al. Contour based object detection using part bundles［J］. Computer Vision and Image Understanding，2010，114(7):827 -834.

［9］Ferrari V，Tuytelaars T，Van Gool L. Object detection by contour segment networks［C］∥9th European Conference on Computer Vision. Graz，Austria:Springer Berlin Heidelberg，2006:14 -28.

［10］陳國棟，孫立寧，杜志江，等. 一種利用形狀片段的物體檢測方法［J］. 自動化學報，2011，37(4):427 -439.CHEN Guo-dong，SUN Li-ning，DU Zhi-jiang，et al. Object detection based on shape fragments［J］. Acta Automatica Sinica，2011，37(4):427 -439.(in Chinese)

［11］明德烈，田金文. 紅外前視對一類特殊建筑目標識別技術研究［J］. 宇航學報，2010，31(4):1190 -1194.MING De-lie，TIAN Jin-wen. Automatic infrared condensing tower target recognition using gradient vector features［J］. Journal of Astronautics，2010，31(4):1190 -1194. (in Chinese)

［12］楊兵，于秋則，劉永才，等. 基于新的加權互相關的圖像匹配［J］. 彈箭與制導學報，2008，28(4):199 -202.YANG Bing，YU Qiu-ze，LIU Yong-cai，et al. Image matching based on new weighted normalized cross correlation［J］. Journal of Projectiles，Rockets，Missiles and Guidance，2008，28(4):199 -202. (in Chinese)