直線對幾何特征約束的近景影像特征匹配

張平，王競雪，2

(1.遼寧工程技術大學 測繪與地理科學學院，遼寧 阜新 123000；2.西南交通大學 地球科學與環境工程學院，成都 611756)

0 引言

直線特征匹配即在2幅或多幅影像中利用有效的匹配技術進行同名直線特征識別的過程。直線作為豐富存在于自然景觀與人工建筑物群的邊緣特征，具有直觀性與整體性。與點特征相比，直線能夠用較少的特征表達更豐富的紋理信息，使其在計算機視覺與三維重建[1-4]中具有舉足輕重的作用。目前，計算機視覺領域內的直線特征匹配方法可分為單直線匹配與組直線匹配。

單直線匹配主要利用直線自身長度、角度、斜率等屬性信息[5-6]，并結合一定的匹配約束條件完成直線特征匹配。現有的單直線匹配方法利用的主要約束條件有核線約束[7-8]、三角網約束[9]、鄰域約束[10-12]、區域描述約束[13-15]，其中，核線約束能夠增強匹配可靠性，應用最為廣泛。梁艷等[16]利用目標直線鄰域內的同名點構造與目標直線相交的虛擬直線段，結合相交直線的局部仿射不變性，篩選目標直線的候選同名直線，此過程受同名點匹配精確度與稀疏程度影響較大，導致匹配結果正確率降低；張云生等[17]根據可靠種子點構造同名三角網，利用三角網約束線-線與線-面的初匹配，再基于移動窗口的自適應直線相關方法確定最終的同名直線，該算法對位于紋理缺乏、斷裂區域的直線效果較好；王競雪等[18]利用多重約束條件確定目標直線到候選直線的支撐區域，借助仿射變換統一支撐區域的大小，進而構建目標直線與候選直線的直線描述子(line band descriptor，LBD)，將滿足最近鄰距離比準則的候選直線作為匹配結果，最后檢核匹配結果獲得可靠的同名單直線。上述單直線匹配算法結合可靠的約束條件，均取得了顯著的研究成果，但缺乏考慮相鄰直線間的相關性，該類匹配算法存在局限性。

組直線匹配即直線對匹配，利用直線間拓撲關系構造特征直線對，并將其作為匹配基元，再結合可靠的約束完成直線對匹配。王競雪等[19]利用限定直線鄰域矩形窗口以及直線間的角度、距離等信息對直線進行編組，結合多重約束條件和灰度相關性確定同名直線對。將其拆分為對應的同名單直線，得到初始匹配結果，對其中“一對多” “多對一” “多對多”匹配中的“多”直線進行擬合，檢核過程中采用“一刀切”的方法，導致部分正確的匹配結果也被刪除，從而降低了匹配結果中同名直線的數目。Wang等[20]利用直線間的相似性、角度、長度比作為特征編組的約束條件，構建直線組描述符，并根據直線組描述符的相似性度量完成匹配，但該算法對于直線端點發生變化的情況適應性較弱。Park等[21]將直線進行兩兩分組，利用直線對的端點、直線中點、直線對交點構造整體的參數模板，再通過整體的向量參數預估與參考模板最接近的模板，該方法計算過程中數據量大且匹配效率低。Alshahri等[22]根據2條直線夾角的角度約束條件構造特征直線對，該編組約束條件單一，導致重復編組數量增多進而造成匹配效率降低。此外，在對候選直線對進行進一步篩選過程中，在搜索影像上判斷目標直線對中2條直線段的投影分別與對應候選直線對中的2條直線段是否存在重疊部分，當直線對中有一條直線段不存在重疊部分時，將刪除該候選直線對。該過程加強了直線空間接近性，但會刪除部分滿足重疊條件的單直線，造成匹配結果中同名直線正確率降低。同時，由于遮擋、直線提取算法等影響導致2張影像上同一目標物的直線提取斷裂，此時利用該重疊約束條件，會出現代表同一目標物的2條直線因沒有重疊而被剔除掉的情況，從而降低了同名直線匹配數目。根據現有的直線組匹配算法，本文提出一種直線對幾何特征約束的近景影像特征匹配算法。首先，對參考影像與搜索影像提取的直線進行特征編組得到特征直線對；然后，依次結合雙重核線約束、仿射變換約束、最優相似性原則確定同名直線對；最后，根據SIFT同名點到直線端點的距離關系將同名直線對拆分為同名單直線，并結合仿射變換約束整合匹配結果，最終得到一對一的同名單直線。

1 直線對匹配

本文在已有直線檢測算法(line segment detector，LSD)的提取結果與隨機抽樣一致算法(random sample consensus，RANSAC)優化后的尺度不變特征變換(scale-invariant feature transform，SIFT)匹配的同名點結果基礎上，利用直線間的拓撲關聯性，提出了一種直線對幾何特征約束的近景影像特征匹配方法：首先，利用2條直線間的距離與角度等拓撲關系，結合排列組合函數模型構造參考影像與搜索影像的特征直線對；其次，對獲取的特征直線對依次運用雙重核線約束、仿射變換約束、最優相似性原則確定2張影像的同名直線對；最后分別搜索出同名直線對中2條直線端點的最近同名點，根據同名點到直線端點的距離關系，拆分直線對為2對同名單直線獲得初始匹配結果，并為避免結果中出現錯誤匹配，利用單直線中點仿射變換優化匹配結果，進而得到參考影像與搜索影像上一對一的同名單直線。

1.1 函數編組確定特征直線對

本文對參考影像和搜索影像分別進行LSD直線提取，提取結果為L={l1，l2，l3，…，ln}、R={r1，r2，r3，…，rm}。其中，n和m分別表示參考影像與搜索影像單直線提取數量?？紤]到直線存在提取不完整的現象，本文利用排列組合函數模型對直線進行特征編組，增大對其的包含性，提供豐富的幾何信息，如直線對的交點。表達式如式(1)所示。

(1)

式中：N為直線編組后的數量；ns為提取的直線數量。參考影像與搜索影像直線編組的具體過程分為以下4個步驟。

1)根據2條直線在影像范圍內交點的存在性判定直線編組。由于2條直線間的平行關系為不明顯特征，判定2條直線相交交點是否存在就顯得非常重要。如圖1所示，直線li與直線lj編組構成特征直線對，其中P為特征直線對的交點坐標。

2)根據距離公式確定特征直線對中li與lj4個端點距離，將4個距離中的最大值設置在一定范圍內，確保不會因為直線邊緣化而生成無意義編組，從而增加編組數量。如圖1所示，直線li和lj符合編組條件構成特征直線對，d1、d2、d3和d4分別為直線對4個端點距離，d1為a到c的距離、d2為b到c的距離、d3為a到e的距離、d4為b到e的距離。

圖1 特征直線編組

3)若2條直線間的夾角θ滿足一定范圍，則將直線編組為特征直線對。如圖1所示，直線li與直線lj滿足該條件可編組為特征直線對。

4)根據2條直線相交可得直線對交點與端點的距離信息，直線對交點與2條直線最近的2個端點的最大距離滿足一定范圍內的直線編組生成特征直線對。如圖1所示，直線li與直線lj可編組為直線對，d5表示直線li端點b距離直線對交點P的距離。集合Gl={Gl1(l1，l′1，Pl1)，Gl2(l2，l′2，Pl2)，…，Gln′(ln′，l′n′，Pln′)}表示參考影像編組結果；集合Gr={Gr1(r1，r′1，Pr1)，Gr2(r2，r′2，Pr2)，…，Grm′(rm′，r′m′，Prm′)}表示搜索影像編組結果；n′和m′分別表示參考影像與搜索影像編組得到的特征直線對數目。

1.2 多重約束條件的直線對匹配

根據上文方法，將參考影像與搜索影像直線編組得到的特征直線對，依次運用雙重核線約束、仿射變換約束和最優相似性原則進行匹配，確定2幅影像上的同名直線對。

1)雙重核線約束。編組得到特征直線對后，利用可提高匹配可靠性的核線約束篩選候選直線對。計算參考影像任意一組特征直線對交點在搜索影像的核線，并計算搜索影像每個特征直線對交點到核線的垂距，距離小于一定閾值的直線對選作候選直線對；然后，計算已知候選直線對交點在參考影像的核線，并求出參考影像直線對交點到核線的垂距，滿足距離閾值要求的搜索影像直線對作為雙重核線約束的候選直線對。如圖2所示，Hr1表示參考影像中以Pli為特征直線對交點在搜索影像中的核線，將搜索影像直線對交點與核線的垂直距離設置在一定范圍，確定以Prj1和Prj3為交點的候選直線對，其中i∈[1，n′]，j∈[1，m′]。Hl1為以Prj1為交點的候選直線對在參考影像生成的核線，根據交點Pli與核線Hl1的垂直距離判定搜索影像中以Prj1為交點的直線對為雙重核線約束的候選直線對。

圖2 核線約束示意圖

2)仿射變換約束。仿射變換作為基本的幾何變換，保持了變換后直線的“平直性”和“平行性”。由于直線對在仿射變換后的夾角具有不確定性，本文將參考影像特征直線對的交點仿射變換到搜索影像，根據候選直線對交點與仿射變換交點的距離約束篩選候選直線對。選擇與特征直線對交點距離依次最近的至少4組同名點計算相關參數。具體的仿射變換如式(2)所示。

x′=g1x+g2y+g3

y′=h1x+h2y+h3

(2)

式中：g1、g2、g3、h1、h2、h3為仿射變換的6個參數；(x，y)為參考影像直線對交點坐標；(x′，y′)為仿射變換到搜索影像的交點坐標。

分別計算搜索影像上候選直線對交點與仿射變換得到的搜索影像上交點之間的距離，設置在一定閾值范圍內，確定最終候選直線對。

3)最優相似性原則。上述雙重核線約束與仿射變換約束涉及到的距離閾值為可變因子，為了降低距離閾值的變化對匹配同名直線對正確率的影響，本文利用距離相似度量函數對搜索影像的候選直線對做最終篩選，從而確定同名直線對。相似性度量函數如式(3)所示。

sim(Gli，Grj)=e-|∑D1(Pr，Hr)|2e-|∑D2(Pl，Hl)|2e-|∑D3((X-X′)2+(Y-Y′)2)|

(3)

式中：Gli與Grj為滿足要求的同名直線對；D1為雙重核線約束中參考影像特征直線對交點在搜索影像的核線與滿足距離要求的候選直線對交點的距離；D2為雙重核線約束中搜索影像候選直線對交點在參考影像的核線與特征直線對交點滿足閾值的距離；D3為參考影像直線對交點仿射變換約束后與搜索影像候選直線對交點的距離。

1.3 同名單直線的確定與優化

由于直線特征提取不完整，導致在特征編組時出現重復編組。此步驟主要將同名直線對拆分為同名單直線，有效地解決單直線對應不一致的問題。分析以下3種情況：參考影像一條直線對應搜索影像多條直線、參考影像多條直線對應搜索影像一條直線、參考影像多條直線對應搜索影像多條直線。

1)同名點約束確定同名單直線。同名點作為能提高匹配可靠性的條件，用其約束參考影像與搜索影像單直線，能增強單直線的描述性。本文利用同名點到同名直線對中單直線端點的距離關系拆分同名直線對。找到距參考影像2條單直線各自端點最近的同名點并計算距離，然后，計算搜索影像對應同名點與2條單直線各自端點的距離，根據距離大小判斷搜索影像同名點與單直線端點的對應關系，再依據相似度量函數確定搜索影像單直線中相似性度量值最大的作為參考影像的同名單直線。如圖3所示，以同名直線對中單直線lt1為例，tr1與tr1′、tr2與tr2′為已知的匹配同名點，tr1為直線lt1左端點的最近同名點，tr2為直線lt1右端點的最近同名點。根據tr1′和tr2′與搜索影像2條單直線各自端點的距離判斷其與單直線端點的對應關系，確定tr1′歸屬于rt1和rt2的左端點，tr2′歸屬于rt1和rt2的右端點，最后，根據相似性度量函數確定相似性度量值最大的參考影像單直線lt1與搜索影像單直線rt1為同名單直線。

圖3 同名直線對拆分

本文利用相似性度量函數確定圖3中單直線lt1的同名直線rt1，如式(4)所示。

sim(lt，rt)=e-∑G(dtmd1，dtmd2)-∑G(dtmd1′，dtmd2′)

(4)

式中：∑G表示數值的平方和；dtmd為同名點與直線端點的距離；lt與rt分別為參考影像單直線與搜索影像單直線。最后，根據相似度量值最大的原則確定同名單直線。

2)結果優化。由于直線重復編組造成匹配結果中單直線對應關系不唯一，因此需要對其優化。下面以“一對多”單直線匹配為例，運用式(2)，根據參考影像單直線中點距離依次最近的至少4組同名點確定仿射變換模型。依據同名單直線的唯一性，將參考影像單直線的中點仿射變換到搜索影像，確定占距離最優閾值的直線為參考影像的同名單直線。為了進一步提高算法的準確性，將參考影像單直線中點仿射變換至搜索影像，并將仿射變換后獲得的點到搜索影像單直線中點的距離設置在一定的范圍內。

2 實驗與結果分析

由于建筑物的輪廓邊緣蘊含著豐富的直線信息，因此主要選取來自網絡公開數據庫的4組具有變換特性的典型建筑物近景影像數據，對本文算法的有效性進行驗證，并以Matlab 2017a為實驗平臺驗證算法的有效性與可靠性。如圖4所示，其中，圖4(a)為小尺度平移變換影像，大小為640像素×480像素；圖4(b)為尺度變換影像，變換比例約為1∶1.54，大小為800像素×600像素；圖4(c)為視角變換影像，視角變換約為23°，大小為800像素×600像素；圖4(d)為旋轉變換影像并伴隨微小尺度變換，旋轉角度約為20°，大小為640像素×480像素。

圖4 實驗影像

2.1 編組參數閾值選取

對上述4組影像分別進行LSD直線提取與SIFT同名點匹配，并利用RANSAC對同名點進行優化。為了驗證本文算法的有效性與可靠性，本文在實驗過程中利用雙重核線約束與仿射變換約束進行大范圍的全局搜索，保證同名直線對在較窄的數量區間內波動，因此，雙重核線約束與仿射變換約束涉及的距離閾值能夠篩選出足夠數量的候選直線且保證正確即可。依據實際的實驗需求，雙重核線約束2個距離閾值分別設置為1、1，直線對交點仿射變換距離閾值設置為25；本文根據經驗，單直線中點仿射變換距離閾值設置為7。

基于本文提出的直線對匹配方法可知，直線編組結果會對最終匹配結果有一定的影響。實現直線編組的過程主要有直線對4個端點的最大距離閾值Ta、2條直線夾角范圍閾值Tθ、2條直線交點與直線最近端點最大距離閾值Tb3個參數支撐。在已知上述參數閾值的前提下，本文以圖4(a)小尺度平移變換特性影像為例，通過選取不同的Ta、Tθ、Tb數值，分析編組的閾值選取對最終同名單直線正確率的影響，進而確定實驗選取的編組參數閾值。由于以上3組參數相互關聯，Ta作為編組初始閾值具有可控性，所以將Ta作為整體閾值的不變因子，通過Tθ與Tb的變換確定3個參數的最優值。其中，3個閾值的取值范圍分別為Tθ∈{40°～140°，50°～130°，60°～120°}；Ta=80，100，120像素；Tb=30，40，50像素。實驗結果如表1所示。表1表示

表1 直線編組不同閾值實驗結果

直線對4個端點最大距離Ta依次等于80、100、120像素時，2條直線夾角范圍、2條直線交點與直線最近端點最大距離對最終匹配同名單直線正確率的影響。由表1可知，當取Ta為固定閾值時，隨著夾角Tθ的變小，同名單直線的匹配正確率越來越高，但夾角的變小會導致編組數量的減少，直接影響最終同名直線的數量，使建筑物或者自然地物的輪廓信息不完整，因此，夾角最優閾值選擇在相對穩定的范圍即60°～120°；當Ta與Tθ選取固定閾值Tb=40像素時，獲取的同名直線正確率最高，且數量充裕，因此，Tb=40像素為編組的最優閾值；Ta=100像素時，最終匹配出同名直線的最高正確率出現在Tb=40像素且Tθ范圍在60°～120°時，因此，Ta=100像素為編組最優閾值的同時也滿足以上最優閾值的判斷。由上述分析確定編組的最優閾值組為Ta=100像素；Tθ范圍在60°～120°；Tb=40像素。

2.2 對比實驗與分析

為了進一步驗證本文算法的可靠性與有效性，在同名點獲取與直線提取結果相同的條件下，本文還實現了文獻[22]中的算法，并在其實現后增加了單直線中點仿射變換約束進行匹配結果后處理，其中，文獻[22]算法的參數閾值設置為TG=15、Tδ=15。本文的實驗結果如圖5所示。圖5中標為紅色的直線為最終匹配同名單直線的正確結果，標為藍色的直線為錯誤匹配直線，正確匹配數目通過人工目視判別，匹配實驗的具體結果如表2所示。

圖5 本文算法的直線匹配結果

表2中第1列為實驗影像類型，即本文圖4中的4組典型近景影像；第2列為單直線提取數目，包括參考影像與搜索影像；第3列為實驗過程中采用的算法；后4列分別對本文算法與文獻[22]算法的編組數目、單直線匹配數目、匹配正確數、正確率進行記錄。由表2可知，文獻[22]實現的參考影像與搜索影像上直線編組數目分別為21 707、21 587、39 952、9 198和23 313、38 858、33 215、8 790；本文對應實現的編組數目為6 126、4 037、3 882、2 427和6 624、4 647、3 886、3 069。本文的直線編組數目明顯少于文獻[22]的直線編組數目，且最高減少了90.0%。以本文直線編組數目明顯少于文獻[22]的編組數目為前提，就最終匹配同名直線數目與正確匹配概率進行對比分析，本文算法匹配得到的同名直線數目與匹配正確率總體看來都高于文獻[22]算法結果，且個別匹配得到的同名直線數量增加了54.0%，正確率平均增加了9.2%。由以上數據分析總結為，文獻[22]僅對存在交點以及夾角的角度大小在一定范圍內的2條直線進行特征編組，約束條件單一，因此，編組結果中直線對數目較多，導致篩選候選直線對過程耗時較長，從而降低了匹配效率。而本文在直線對編組過程中，除了考慮2條直線的夾角以外，還增加了2條直線4個端點之間的距離約束和交點到直線端點的距離約束，多重約束減少了同一直線多次參與編組的機會，編組結果在保證直線對的可利用信息不變的情況下，直線對的數目明顯減少，進而減少后續運算時間，提高了匹配效率。文獻[22]利用直線對中單直線的重疊約束篩選候選直線對，當存在遮擋、直線斷裂情況時，導致在2張影像上分別代表同一屬性的直線因沒有重疊部分而被篩選掉，從而造成結果中同名直線總數目減少，此外，當出現一條直線區域不重疊時，將候選直線對整對剔除，導致正確匹配的直線被刪除掉，從而降低了匹配結果中同名單直線的正確率。本文利用穩定的同名點特征描述符增強了提取不完整直線的描述性，保證了同名直線對中單直線一對一的關系，又減弱了對視角變換和旋轉變換影像的影響。同名單直線整合過程中，又結合單直線中點仿射變換約束，降低了誤匹配概率，對最終匹配的正確率起到促進作用，同時增大了本文算法對尺度變換影像的抵抗力，進一步增強最終同名單直線匹配約束力度。結合直線提取數量與直線匹配正確率進行整體分析，實驗結果表明，本文算法具有一定的可靠性與有效性。

表2 對比實驗結果

考慮到本文涉及的部分幾何約束建立在匹配的同名點上，因此，參考圖6(a)和圖6(b)對該因素進行實驗分析。圖6(a)中4組影像匹配同名點的數量按順序呈現凹凸狀，與此同時，圖6(b)各組影像最終匹配出同名直線的正確率也呈現凹凸狀，狹義地總結為同名點的匹配數量對本文的算法有帶動性。如第3組影像在直線編組數目上與第2組影像相近時，獲取的同名點數量明顯占優，因此，最終匹配的同名單直線數量較多，匹配單直線正確率也較高。

圖6 同名點數量分析

3 結束語

本文提出了一種直線對幾何特征約束的近景影像特征匹配方法。該算法利用相鄰直線關聯性，通過函數直線特征編組的方式加強編組過程的約束力度，減少重復編組數量的同時，保證特征直線對對建筑物結構紋理信息的覆蓋性；依次運用雙重核線約束、仿射變換約束、最優相似性原則提高了算法的適應性與可靠性；通過同名點增強直線特征自身的描述性，有效地降低了提取不完整直線段對最終同名單直線匹配的影響，結合單直線中點仿射變換約束，進一步增強了對變換特性影像的適應性。在實驗過程中，即便選取不同變換特性的影像，本文算法都可以獲得可靠的直線匹配結果，且表現出一定的穩健性和普適性。由于本文算法中單直線中點仿射變換距離閾值約束去除了一部分正確匹配的同名單直線，因此后續研究將提高對誤去除單直線的利用率，增加最終匹配同名單直線的正確率。