基于仿射不變性映射的不顯著目標間接定位

孫大為，王仕成，楊東方，李永飛

（火箭軍工程大學，西安 710025）

對目標的準確識別定位是精確制導武器末制導尋的階段的關鍵問題，當前的研究和應用主要針對與背景特征差異明顯的顯著目標，采用模板匹配的方法，實現目標的定位和識別。文獻[1]提出一種基于邊緣匹配的前視紅外目標識別算法，對建筑物和冷凝塔等典型目標進行匹配，是一種基于模板匹配的方法，具有良好的匹配性能，但該算法對尺度不變性的適應性較差。文獻[2]中提出的方法也是對冷凝塔等具有建筑規范的特殊建筑物目標進行的識別定位，該方法一定程度降低了模板制備過程對基礎保障數據的依賴。文獻[3]提出的基于形狀模板匹配的方法是對油庫、火電廠、建筑物、雷達站、水塔等典型地物目標進行識別，提出采用多尺度的感興趣區域檢測和基于模糊集的形狀特征提取，用改進的 Hausdorff距離進行匹配，但是該方法并未考慮目標受背景干擾等導致目標不顯著情況下的目標識別。上述方法的研究對象都是具有顯著特征的目標，均采用直接識別定位目標的策略。

然而，在實際應用中，針對不顯著目標的識別和定位更加具有研究價值和現實意義。當目標被遮擋、受到背景干擾或者目標尺度較小、目標相似度較高等情況下，以及受圖像拍攝尺度、視角、光照條件等因素的制約時，目標特征往往就變得并不顯著，對這類不顯著目標采用直接識別定位的方法通常是不可行的。文獻[4]提出通過匹配得到地標在實時圖中的位置，并且已知地標在大地坐標系下的位置偏差，反過來解算目標在實時圖中的位置，即采取先捕獲目標所在場景中具有顯著特征的地物結構，再間接定位到感興趣目標，從而達到對感興趣目標的間接定位與識別。這種方法更符合人類視覺導航的特點，但是該方法需要成像姿態參數作為保障，而對于載有慣性導航系統的武器而言，由于陀螺儀漂移的存在，導致角度參數的誤差隨時間積累，從而使得計算結果的精度難以保證。另外，算法需要地標的多尺度、多視點特性視圖,這也限制了其在武器系統中的應用。

針對上述問題，本文提出一種基于仿射不變性映射的不顯著目標間接定位方法，該方法借鑒了文獻[4]中提出的間接定位策略，但與文獻[4]的方法不同，本文提出的方法不依賴于地標的多尺度視圖，同時為了克服前述定位算法對角度參數的依賴，本文的算法則是通過解算實時圖與基準圖之間的變換關系，實現對復雜地面背景中的不顯著目標的識別定位。

1 基本原理

在飛行器尋的制導階段，匹配算法使用的參考圖像通常是由遙感衛星拍攝得到的衛星圖像或由高空偵察機拍攝得到的航空圖像，實時圖像則是由機載設備在實時飛行時拍攝，因此，目標識別定位問題可歸結為圖像的匹配問題，就是要在待定位的圖像中尋找與模型圖像的最佳匹配。圖1給出了算法的流程，主要包括三個部分：1）顯著區域檢測和匹配；2）仿射變換和特征點匹配；3）基于仿射不變性的不顯著目標定位。

圖1中的紅框標識的區域為顯著區域，通常是顯著性較強的地標式建筑等，并非末制導最終要識別定位的目標，而“十字叉”標記的不顯著目標才是識別定位的對象。算法的第一階段是顯著區域的檢測和匹配，目的是為了檢測實時圖所拍攝的區域是否進入了參考圖所示的區域，如果顯著區域檢測匹配成功，則程序進入第二階段，否則，飛行器繼續飛行，更新實時圖，重復第一階段；第二階段是仿射變換和特征點匹配階段，該階段的主要任務是在實時圖和參考圖成功匹配的顯著區域內提取ASIFT特征點，利用特征點的匹配來估計顯著區域之間的仿射變換矩陣H，從而得到圖像之間的一一對應關系；最后是對不顯著目標的識別定位階段，已知參考圖中不顯著目標的位置信息，利用仿射變換矩陣估計實時圖中的不顯著目標的位置信息，從而實現對不顯著目標的間接識別定位。

圖1 不顯著目標的間接定位Fig.1 Flowchart of insignificant targets indirect location

上述算法的實施需要滿足一個前提條件，即實時圖和參考圖之間的變換是一個三維仿射變換。事實上，成像系統在遠距離情況下，由于成像距離遠遠大于攝像機的焦距，此時被攝圖像中的場景可近似認為在同一平面內，即圖像之間的變換可以用一個三維空間的仿射變換來近似，而這種條件下，三維空間的仿射變換可以用二維的射影變換來表示。基本的二維平面變換如圖2所示，包括平移、旋轉、相似、仿射和射影變換。

射影變換又稱透視變換，是更為一般的圖像變換模型，可以描述攝像機的平移、旋轉、縮放、水平掃動和垂直掃動等運動。二維平面的剛性變換、相似變換和仿射變換都是射影變換的特例，用二維空間中的點(,)xy??、(,)xy分別表示變換后和變換前的點，則二維射影變換的齊次坐標表示滿足：

其中：H是一個3×3的射影變換矩陣，有8個自由度，且 r ank （ H ） =3；η表示齊次坐標之間相差的常數非零因子。

圖2 圖像二維平面基本變換關系Fig.2 Basic transformations in 2D planes

2 顯著區域檢測和匹配

為了判斷視場中的顯著特征是否在實時圖和參考圖中同時出現，需要對圖像進行顯著區域的檢測和匹配。顯著區域檢測是依據視覺注意機制建立的模型，人眼根據這種機制可以在海量信息中快速捕獲到最容易引起注意的區域，并且將響應強度作為該圖像的顯著性度量。近年來，顯著區域檢測得到了快速的發展，被廣泛應用于目標檢測[5-9]、圖像分割[10-11]、目標識別[12-14]和目標跟蹤[15-17]等領域。

顯著區域檢測依據的視覺特征可以分為底層特征和高層特征，其中底層特征包括對比度、顏色、方向、形狀等，而高層特征則包括轉移性、返回抑制性、排他性等。本文應用的顯著區域檢測算法模型是由Achanta等在文獻[13]中提出的顯著圖生成算法，該算法是一種頻率調諧的方法，利用顏色、亮度等底層的視覺特征的“中心—周圍”估計，自底向上地構建顯著圖，可以很好地突出顯著區域的邊緣，并且是一種全分辨率的算法。為了得到圖像I的顯著圖S，定義顯著值為

式中：(x,y)為像素點坐標；Iμ為圖像像素的算術平均值； Iωhc為高斯卷積后的圖像；差值的絕對值表示顯著值，強調二者之間的差異程度，即顯著性。若用顏色和亮度的向量作為視覺特征，可以將式(2)擴展改寫為

其中：Iμ為圖像特征均值的向量；Iωhc為對應特征的高斯卷積后的圖像；·為2范數；采用Lab顏色空間，每一個像素的位置是一個［L a b ］T向量。通過對原始圖像所有像素點計算其顯著值，從而生成顯著圖。

為了將顯著區域分割出來，還需要對顯著圖進行二值化。比較簡單的是采用閾值分割的方法，即顯著值大于一個顯著性閾值的區域屬于顯著區域。首先用Mean-shift算法對圖像進行分割，然后選擇一個自適應閾值作為顯著性閾值檢測顯著區域。該自適應閾值定義為圖像顯著值均值的2倍，即滿足

其中：W和 H分別為顯著圖的像素寬度和高度；S(x,y)為在(x,y)位置的像素的顯著值。將顯著圖二值化后的圖像，通過匹配可以確定顯著特征是否同時出現在參考圖和實時圖中。當顯著區域匹配時，則表明飛行器實時采集的圖像已經在參考圖所表示的區域內，反之則需要繼續探測，更新實時圖。

3 基于仿射不變性映射的間接定位

該部分包含了算法的第二和第三階段。為了得到實時圖和參考圖之間的映射關系，需要對二者進行匹配，利用圖像的不變特征匹配是常用的方法。所謂的圖像不變特征主要是指對于圖像的旋轉、平移、尺度和視角的變化等能夠保持穩定的局部區域及其特征描述。David Lowe在總結基于不變特征檢測方法的基礎上，提出了一種基于尺度空間不變提取算法以及基于該特征的描述符，即尺度不變特征變換（Scale Invariant Feature Transform），簡稱SIFT算法[18]，并將其進行完善[19]。尺度不變特征具有在旋轉、縮放、平移甚至部分仿射變換條件下保持不變的特點，SIFT算法可以較好地解決旋轉、縮放、視角變化以及場景部分遮擋等情況下的特征提取。

然而，SIFT算法只對仿射變換中的四個參數具有完全不變性，即平移、縮放和旋轉，對剩下的兩個參數不具有完全不變性。文獻[20]針對這一問題在SIFT算法的基礎上提出了ASIFT算法，即仿射尺度不變特征變換。該算法具有完全仿射不變性，后又不斷被改進并拓展應用[21]。本文將ASIFT方法應用到飛行器的目標定位過程中，使其對視角變化大的圖像仍然能夠進行匹配。

3.1 仿射不變特征的提取

數字圖像是攝像機將空間景物平面透視投影而成的，其透視投影模型可以用下式描述[20]：

如果景物與攝像機光心的距離遠大于攝像機焦距時，可將拍攝景物所在位置看作一個平面，故式(5)中的0u是景物平面，T表示由攝像機運動引起的剛性變換，A表示對景物平面的透視變換，1G表示模擬光學模糊的高斯卷積，1S表示標準的采樣操作子，u為得到的數字圖像。

如前所述，飛行器的目標定位過程中，由于攝像機距離目標較遠，此時針孔攝像機模型可以簡化為一個仿射變換模型。事實上，仿射相機模型是透視投影模型在參考點鄰域內的一階泰勒近似，在景物表面分段光滑的情況下，可以在局部用仿射模型來近似代替投影透視模型，也即是所有由攝像機運動引起的局部透視投影成像都可用仿射變換來描述，即

其中：λ＞0，λt是A的行列式，R1、R2為旋轉矩陣，φ∈ [ 0 ,π)； Tt表示傾斜，是一個對角陣，并且其第一個特征值為t(t ＞ 1 )，第二個特征值為1。公式(7)滿足奇異值分解，其幾何解釋如圖3所示。仿射變形是由攝像機光軸的方向發生變化引起的，由兩個參數來決定：經度角φ和緯度角θ，滿足 θ = a rccos1t ，ψ表示攝像機光軸的自轉角，λ表示尺度。攝像機位置發生變化時，相應的參數也發生變化，從而模擬攝像機的仿射變換。

圖3 ASIFT算法的幾何解釋Fig.3 Geometric interpretation of ASIFT

ASIFT算法是在SIFT算法的基礎上，通過模擬攝像機的運動，從而實現完全仿射尺度不變。由于該算法采用SIFT算法生成特征描述符，既保留了SIFT算法的優點，又克服了受視角變換影響的缺點，達到更好的匹配效果，因此ASIFT算法大致分為兩個階段：

1）模擬所有可能的仿射變形來實現圖像的變換。對緯度角θ的采樣，由傾斜度參數t來決定，圖像按照t = 1 ,a,a2,… ,an等比數列取值，通常取 a = 2，n =5。對于每一個傾斜度t，經度角φ按照等差數列0,bt,…,kbt進行采樣，通常取b≈72°，k是滿足kbt＜ 1 80°的最大正整數。對于數字圖像，在采樣前需要抗混疊濾波，即用標準差為 c t2- 1 的高斯核進行卷積，SIFT算法中取 c = 0 .8，能確保很小的重疊誤差，更具體的細節可參閱文獻[20]。

2）對所有生成的仿射變換圖像運用SIFT算法進行特征點檢測和匹配，匹配過程中應剔除一對多或者多對一匹配的特征點。

為了提高算法的實時性，特征提取的過程中采用圖像降采樣，而且對于參考圖特征點的提取可以離線計算，以減少算法的時間消耗。

3.2 不顯著目標的間接定位

根據極幾何理論中單應矩陣約束思想可知，一張圖像上的任意一點可以映射到另一張圖像上的唯一一條直線[21]。該直線是唯一確定的，對應點可以是直線上的任意一點，但還不能唯一確定。然而，在目標定位應用中，往往需要從已知參考圖像中的一點找到實時圖像上的對應點，這里可以借助于兩視圖幾何中的單應變換原理。在飛行器對地目標尋找過程中，由于飛行器和目標之間距離較遠，因此，目標所處的位置相對于空間攝像機而言可以近似為在一個平面上，即具有相近的景物深度。此時，可以利用仿射成像的約束條件，對極幾何關系進行進一步限制，得到相應的映射關系。

考慮攝像機關于空間平面π的投影。空間點X在攝像機P的作用下，其圖像點是 m = PX，以空間平面π為世界坐標系的 O - xy平面，則平面π上點X的坐標為 X =(x,y ,0,1)T，因此：

當通過攝像機光心時，平面π的投影是一條直線，這條直線是平面π與像平面的交線；當平面π不通過攝像機光心時，H是一個秩3的矩陣。因此它是從平面π到像平面二維射影變換，通常稱矩陣H為平面π到像平面的單應矩陣。

現假設π是不通過兩攝像機任一光心的空間平面，它在兩個攝像機下的圖像分別記為 I1、 I2。令X是平面π上的任一點，它在兩個攝像機下的像分別記為 m1、 m2，則根據式(9)可知空間平面π與兩個像平面之間存在兩個單應矩陣 H1、H2，使得 m1=H1X，m2=H2X。由于平面π不通過兩攝像機的任一光心，所以 H1、 H2實現平面π到對應的像平面之間的二維射影變換。因此， m1、 m2之間也存在一個二維射影變換 H = H2H1-1，使得：

即平面在兩個攝像機下的圖像之間的關系也是二維射影變換。矩陣H實現第一個像平面與第二個像平面的一一變換。根據式(10)利用單應矩陣H，從一幅圖像上的點可以得到另一幅圖像上的對應點，這正是本文所提算法的核心思想。一般情況下，實時圖和參考圖在圖像采集過程中，攝像機距離被攝景物距離較遠，被攝景物可以近似看作在一個平面上，所以兩圖像上對應的點滿足式(10)。由于H是一個33×的矩陣，且有8個自由度，因此為了求解H至少需要知道4對匹配點對應才可以計算出單應矩陣，如果大于4對，可以采用最小二乘法求解。

對參考圖和實時圖進行ASIFT特征點檢測和匹配后，得到多對匹配的特征點對應，將其用齊次坐標表示為矩陣形式，用最小二乘法求得參考圖與實時圖對應的單應矩陣H，這時如果已知參考圖中不顯著目標的齊次坐標為，利用式(10)可以得到m2=Hm1。將 m2提取一個因子η轉化為齊次坐標即為實時圖中不顯著目標的坐標位置，即實現了對不顯著目標的定位。

4 實驗驗證及分析

本文設計了三個實驗來驗證算法的有效性。

實驗一：近距離拍攝，圖像中的目標完全共面的情況。

如圖4所示，圖中有一張平面的海報，兩圖像均為近距離拍攝的可見光圖像，分別模擬參考圖和實時圖。兩圖像是嚴格意義上的目標完全共面的情況，滿足所提算法的條件，此時，利用ASIFT對兩圖中紅框標識的區域提取特征點并匹配，可以得到138對匹配點，圖4中用藍色直線連接了部分匹配點對。根據這些匹配點對應的坐標，求解得到單應矩陣H。

對于參考圖中海報上的任一點，就可根據式(10)求得實時圖中海報上的對應點，結果如圖5所示。

圖4 實驗一的顯著區域ASIFT匹配Fig.4 ASIFT matching of salient regions in Experiment 1

圖5 實驗一的不顯著目標定位Fig.5 Insignificant targets location in Experiment 1

實驗一中由于海報上的點都是在一個平面內,因此可以準確求得兩幅圖像中的對應點。

實驗二：遠距離拍攝，圖像中的目標近似共面的情況。

參考圖和實時圖均為飛行器遠距離拍攝的紅外圖像。首先進行對圖像進行顯著區域檢測，得到結果如圖6(a)所示，左圖為參考圖的二值化顯著圖，右圖為實時圖的二值化顯著圖。通過兩顯著圖的匹配，可以表明飛行器實時拍攝的區域就在參考圖表示的區域范圍。實驗二圖像中的場景并非嚴格意義上的共面，但是由于拍攝距離遠大于攝像機焦距，可以近似看作是共面，從而滿足算法的條件。然后利用ASIFT算法對顯著區域提取特征點并匹配，可以得到99對匹配點，并用藍色線條連接對應匹配點，如圖6(b)所示，并解算得到單應矩陣H。對參考圖中的不顯著目標，可根據式(10)求得實時圖中不顯著目標的對應點，結果如圖6(c)所示。

實驗二的結果實現了對不顯著目標的定位，驗證了算法的有效性，但從結果看，存在一定的定位偏差，這是由于其單應矩陣的計算是根據顯著區域計算的，而不顯著目標和顯著區域并不嚴格在同一平面，只是近似看作在一個平面，因此存在定位偏差。

圖6 實驗二結果Fig.6 Results of Experiment 2

實驗三：遠距離拍攝，實時圖存在仿射畸變的情況。參考圖與實驗二是同一幅圖，而實時圖是在實驗二的實時圖的基礎上平移、縮放和旋轉后得到，即兩實時圖之間產生了仿射畸變。實驗的方法步驟同實驗二，實驗結果如圖7所示，從實驗結果可以看出，即使圖像存在仿射畸變的情況，算法依然能夠實現對不顯著目標的定位，表明算法具有仿射不變性。

圖7 實驗三結果Fig.7 Results of Experiment 3

5 結 論

在飛行器尋的過程中，由于機載攝像機距離拍攝對象較遠，得到的圖像中的景物具有相近的景深，可以用一個三維的仿射變換來描述圖像之間的變換關系。本文基于這一原理，提出一種對不顯著目標的間接定位方法，該方法可以應用于目標被遮擋、受到復雜背景干擾或目標相似度較高等情況下，經實驗驗證表明：

1）當圖像中景物具有相同或相近景深時，仿射不變性成立，可以求得變換矩陣H。

2）近距離拍攝且目標完全共面的情況下，利用本文的方法可實現對不顯著目標的準確定位。

3）遠距離拍攝時，在目標近似共面情況下仍然可以利用本文的算法實現對不顯著目標的定位，但會存在一定的定位偏差。不顯著目標與顯著區域的景深越接近，定位偏差越小，反之則會越大。

4）當飛行器實時拍攝的圖像存在仿射畸變時，利用本文算法仍然可以實現對不顯著目標的定位。

（

）：

[1] 蘇娟, 徐青松, 劉剛. 一種基于邊緣匹配的前視紅外目標識別算法[J]. 兵工學報, 2012, 33(3): 271-277.Su J, Xu Q S, Liu G. A forward looking infrared target recognition algorithm based on edge matching[J]. Acta Armamentarii, 2012, 33(3): 271-277.

[2] 明德烈, 田金文. 紅外前視對一類特殊建筑目標識別技術研究[J]. 宇航學報, 2010, 31(4): 1190-1194.Ming D L, Tian J W. Automatic infrared condensing tower target recognition using gradient vector features[J].Journal of Astronautics, 2010, 31(4): 1190-1194.

[3] 高晶, 孫繼銀, 吳昆, 等. 基于形狀模板匹配的前視紅外目標檢測方法[J]. 北京工業大學學報, 2012, 38(9):1359-1365.Gao J, Sun J Y, Wu K, et al. FLIR target detection algorithm based on shape template matching[J]. Journal of Beijing University of Technology, 2012, 38(9): 1359-1365.[4] Wang D W, Zhang T X. Building recognition based on indirect location of planar landmark in FLIR image sequences[J]. International Journal of Pattern Recognition and Artificial Intelligence, 2011, 25(3): 431-448.

[5] 趙愛罡, 王宏力, 楊小岡, 等. 基于極端學習機背景預測的紅外小目標檢測算法[J]. 中國慣性技術學報,2016, 24(1): 36-44.Zhao A G, Wang H L, Yang X G, et al. Infrared smalltarget detection algorithm based on background prediction by extreme learning machine[J]. Journal of Chinese Inertial Technology, 2016, 24(1): 36-44.

[6] Zhang L, Li J H, Lu H C. Saliency detection via extreme learning machine[J]. Neurocomputing, 2016, 218: 103-112.[7] You J, Zhang L H, Qi J Q, et al. Salient object detection via point-to-set metric learning[J]. Pattern Recognition Letters, 2016, 84: 85-90.

[8] Chen Z H, Liu Y, Sheng B, et al. Image saliency using Gabor texture cues[J]. Multimedia Tools and Applications,2016, 75(24): 16943-16958.

[9] Xu F, Liu J H. Ship detection and extraction using visual saliency and histogram of oriented gradient[J]. Optoelectronics Letters, 2016, 12(6): 473-477.

[10] Ramadan H, Tairi H. Robust segmentation of moving objects in video based on spatiotemporal visual saliency and active contour model[J]. Journal of Electronic Imaging, 2016, 25(6): 061612(1-10).

[11] Bai X Z, Wang P, Zhou F G. Pedestrian segmentation in infrared images based on circular shortest path[J]. IEEE Transactions on Intelligent Transportation Systems, 2016,17(8): 2214-2222.

[12] Kulshreshtha A, Deshpande A V, Meher S K. Time-frequency-tuned salient region detection and segmentation[C]//IEEE International Advance Computing Conference.Ghaziabad, 2013: 1080-1085.

[13] Achanta R, Hemami S, Estrada F, Susstrunk S. Frequency-tuned salient region detection[C]//IEEE Conference on Computer Vision and Pattern Recognition.Miami, 2009: 1597-1604.

[14] 馬巖. 基于視覺注意機制的紅外圖像識別與定位[D],沈陽: 沈陽理工大學, 2013.Ma Y. Research on infrared image detection and location based on visual attention[D]. Shenyang: Shenyang Polytechnic University, 2013.

[15] 黎萬義, 王鵬, 喬紅. 引入視覺注意機制的目標跟蹤方法綜述[J]. 自動化學報, 2014, 40(4): 561-576.Li W Y, Wang P, Qiao H. A survey of visual attention based methods for object tracking[J]. Acta Automatica Sinica, 2014, 40(4): 561-576.

[16] 張巧榮, 張慧娟. 基于視覺注意機制的目標跟蹤方法[J]. 計算機工程與科學, 2014, 36(8): 1549-1554.Zhang Q R, Zhang H J. Object tracking based on visual attention[J]. Computer Engineering & Science, 2014,36(8): 1549-1554.

[17] Wei W, Liu X H, Zhou B B, et al. Sea surface target detection and recognition algorithm based on local and global salient region detection[C]//Applications of Digital Image Processing. San Diego, 2016: 99712U(1-8).

[18] Lowe D G. Object recognition from local scale-invariant features[C]//International Conference on Computer Vision.1999: 1150-1157.

[19] Lowe D G. Distinctive image features from scaleinvariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[20] Morel J M, Yu G S. ASIFT: a new framework for fully affine invariant image comparison[J]. SIAM Journal on Imaging Sciences, 2009, 2(2): 438-469.

[21] Fu H, Xie D H, Zhong R F, et al. An improved ASIFT algorithm for indoor panorama image matching[C]//9th International Conference on Digital Image Processing.Hong Kong: SPIE 2017: 104201C(1-18).