基于鄰域紋理的線段匹配方法及應用

胡丹青，吳紹鋒，林靖宇

(廣西大學 電氣工程學院，廣西 南寧 530004)

0 引 言

室外建筑測繪的信息數據量大，提高信息提取與融合過程自動化程度是目前測繪的發展方向。通過大量的圖像信息庫提供源數據，希望盡可能壓縮數據降低運算量。建筑物的幾何結構有點、線、面3種，點特征檢測分布過于分散，而面特征提取多是近似為平行四邊形。對建筑物運用線段特征進行描述研究，則可以折中地獲得相較于點特征更小的位置信息描述數據量，從而縮短計算迭代的時間，并且線段上的元素相對關系具有更強的三維空間關聯[1]。根據現階段的線段特征研究主要有兩個描述子發展方向：其一是通過線段上特定點元素匹配的方式，Shen Yan等[2]提出通過點特征將圖像進行單應變換后匹配相應線段的方法，Kai Li等[3]提出通過找到線段交點的SIFT鄰域匹配方法獲得線段對。這類方法為了保證匹配的準確度，通常會保留較多用于計算的點特征的數據量，但還是逃不開點特征匹配過程中遮擋產生的故有問題，未能充分利用建筑的幾何結構關系。另一類是基于線段基元本身的特性描述進行匹配的方法，Bart Verhagen等[4]提出將梯度描述子拓展到整個線段的匹配方法。Francesco Castaldo等[5]提出RGB圖像的語義信息用于立體視覺的線段匹配。Hyunwoo Kim等[6]提出基于交叉線段歸一化之后的相似性進行線段匹配。對線段鄰域的梯度、顏色等特征的分析是利用了線段所處環境的特點增加匹配的信息，根據建筑物室外裝飾形態的特點，提出紋理分析結合幾何結構特點是很有必要的。

基于上述分析，本文提出一種基于鄰域紋理相似度比較的直線匹配方法。通過線段鄰域的紋理特征統計的差異，將建筑物同一平面上的相鄰框架線段分成一組，對每一組線段生成包含紋理信息和結構位置信息的描述子，最后的評價函數通過巴氏距離比較紋理直方圖相似度。

1 線段提取

采用Linelet算法[7]對建筑物圖像進行直線提取，該方法對建筑物框架線段的提取連續度高、檢出丟失率低。由于Linelet算法在檢測自然界物體時也不會丟掉其中的線段特征，在圖像中的草叢、樹葉、樹枝等接近線段特性的物體也會提取出線段基元，所以本文中的算法對線段提取結果設置的粗篩閾值，將占總檢出數量半數以上的短線段剔除，這些短線段多數是從自然界的紋理特征中提取出來的，而建筑物主體結構的框架多是較長的連續線段，所取得的鄰域范圍與線段長度呈正相關，長線段可獲得更多的描述鄰域，故剔除短線段后可降低本文算法的計算時間和匹配誤差。

在采集圖像移動的過程中，目標建筑會出現尺度縮放的情況，為了克服圖像縮放的問題，減小線段選取鄰域時尺度變化引入的描述誤差，對進行線段匹配的兩幅圖像搭建圖像金字塔。本文采用3層圖像金字塔處理，對每一層尺度空間上通過Linelet算法提取到的線段加上尺度空間和提取順序兩個標簽進行標記，使得同一線段在不同尺度下相互關聯。在進行線段匹配時對兩個金字塔不同尺度之間進行組合比較，取各個尺度下的最佳匹配線段對。

2 線段描述子

2.1 鄰域模型

紋理是一種有規律性的呈現于物體表面的特征[8]，根據建筑物設計與裝飾的特點，建筑物表面的裝飾呈現出的紋理規律比自然界中的紋理規律性更強、周期更小，紋理相對于建筑結構的分布關系不會隨著采集視角的變化而改變。本文基于這個特點對建筑物表面的線段進行匹配。

基于線段鄰域的直方圖統計方法，是將圖像中提取到的線段特征分別取特定鄰域，通過計算直方圖的方法對這個鄰域中像素分布的位置和像素值進行計算統計信息，并且把這個信息作為對應線段的特征描述子。一條線段的鄰域紋理直方圖可表示為

(1)

(2)

其中，T表示某一個區域的紋理統計直方圖，對這一個區域的像素灰度值x從0到255分別統計得到一個統計向量h(x)，Texture表示線段鄰域統計直方圖的完整描述信息，Tj與Ti分別表示兩側統計鄰域區塊的紋理，下標i,j∈part。

目標線段的描述鄰域在兩側對稱分布，其中一側鄰域為長度等于目標線段總長、寬度為W個像素的矩形區域，則一個鄰域分區內的像素總數W×Member個，Member是每個區域長度的像素個數。每側鄰域沿目標線段的矢量方向均分為part個區塊則每個區塊就是一個紋理統計描述的最小單元，依次對part個區塊的各個單元進行式(1)的鄰域紋理直方圖統計，則可以得到一個目標線段的鄰域紋理描述子。線段鄰域分區方法如圖1所示。

圖1 線段鄰域分區方法

在沒有考慮鄰域像素與線段距離的情況下，同一個區塊中各個像素對紋理統計直方圖的影響因數是相等的。當增加鄰域的寬度W以獲得更多紋理信息時，隨著區域寬度W的增加，各線段鄰域內紋理的像素統計直方圖區分度會逐漸縮小，匹配誤差增大，當鄰域取為整個圖像時，一幅圖像中各線段的描述差別為零。本算法在描述子中增加一個維度，即加入被統計的像素與線段的距離w，在沿線段的法線方向上，紋理像素的統計影響因子呈現高斯分布，這符合視覺認知的規律，即離中心越近的信息對判斷的影響越大，像素影響因子的高斯分布系數方法如圖2所示。以線段為中心w=0，兩側鄰域紋理的直方統計占比為

(3)

其中，totalpixles表示線段鄰域分區內紋理像素個數的總數，它等于鄰域寬度乘分區線段基元的像素數即W×Member，pixles(x)表示當前區域像素灰度值為x∈[0,255]的像素個數，w為像素離中心線段的距離。采用式(3)的分區形式可以將不同長度的線段歸一化為相同的分區數，進一步降低描述子對于線段長度的依賴，有助于在匹配過程中解決尺度變換帶來的匹配問題。

圖2 線段鄰域像素到中心距離與影響因子的關系

2.2 分組匹配模型

在圖像拍過程中，若出現相機鏡頭旋轉時，一條孤立的線段是無法確定正方向的，也就是說當相機旋轉180°時，若按照圖像的原始坐標確定線段的正方向，則會存在同一條線段由于兩側的紋理互換也會無法匹配。所以描述子中需要增加有效的描述線段角度的模型，保證線段匹配描述子具有旋轉不變性。針對如何保證旋轉不變性這個問題，本文提出了以下方法來解決。通過觀察和分析建筑物表面框架結構發現，建筑物的框架是由線段相互組合相接形成的結構，三維空間中相交線段組的交點和線段組之間鄰域的建筑物表面紋理特征是穩定的，不會隨著圖像旋轉而變化。

利用魯棒的周邊線段組合的方法確定線段正方向，在圖中檢測到的線段集合中找出與目標線段夾角大于閾值τθ的k條線段{l1,l2,…,lk}，將線段集中的每條線段分別與目標線段計算最近點之間的距離，找出最近點距離最小的線段，假設目標線段的兩個端點分別為P1、P2，在k條線段集{l1,l2,…,lk}中存在端點分別為Q1和Q2的一條線段，線段P1P2和線段Q1Q2上分別有點P、Q可以如下表示

(4)

求解其目標函數min(P-Q)1/2可以得到線段上點的最近距離用于篩選目標線段的結構線段組，還可以得到兩個端點到線段最近點的比例系數λa和λb，但這對比例系數在透視變換中不是完全不變的，所以設置了偏差范圍τλ，用于輔助判斷的線段匹配條件。

在得到滿足最近點距離條件的線段后，比較線段和目標線段的夾角內側的紋理統計直方圖相似程度，若達到閾值且相似度最高的，則兩條線段為同一平面的框架邊界的可能性較大，通過組合的方法，將同一個平面上的相交或相鄰的線段組合為具有夾角和正方向的線段特征描述單元。

2.3 紋理匹配的描述

通過將篩選內側夾角紋理后的線段組作為最終構成描述線段匹配的組合單元，綜合以上分析和計算過程中獲得的信息，需要完整的包含紋理信息、夾角和正方向3個方面的描述，并且保留冗余篩選條件。依據線段組的關系屬性，線段的描述子應該具備夾角內側紋理、夾角兩側紋理、線段夾角度數、最近點所在線段比、線段組所在金字塔層數共6個元素

ARG={Tinside,Toutside,θ,θmid,λa,λb,N}

(5)

其中，Tinside表示當前線段組兩條線段所夾平面的紋理直方統計特征。Toutside表示當前線段組所夾平面外側的紋理直方統計特征，作為夾角外側紋理情況的標志。θ表示線段組中兩條線段在所夾平面一側形成的夾角角度，θ∈(τθ,π)。θmid是兩條線段夾角的中線與圖像橫坐標軸正方向夾角的角度，λa是組內兩線段最近點在lP上的位置與端點的比例關系，λb是組內兩線段最近點在lQ上的位置與端點的比例關系。N表示線段組所處在金字塔的層數。

描述子中的6個元素是根據描述子ARG中的排列順序重要性依次遞減，最核心的元素Tinside是本文算法中判斷線段匹配的最基本依據。Toutside為線段外側夾角紋理，若線段組為建筑物表面凸結構的平面的兩條框邊，如房頂拐角等，則外側紋理在拍攝視角出現較大的變化時可能會存在變化。線段組成員之間的夾角θ要大于閾值τθ我們才認為它們是一組穩定的夾角，且有可能是建筑物的結構框架。前3個元素均具有縮放和旋轉不變性，其余是作為冗余篩選條件。所以在進行圖像之間線段組匹配比較時，也是依照描述子元素的排列順序依次進行比較的。

完成線段組合之后，定義線段的正方向表示為從靠近交點的一側端點指向線段上遠離交點的一側端點，則定義線段正方向后就可以定義線段夾角的內側，即鄰域紋理分區的標號沿線段定義的正方向依次增加，得到如線段鄰域外側紋理標記分區圖3的鄰域分布。線段組內側鄰域為兩條線段正方向所夾，即若定義一條線段的正方向左側為正、右側為負，或上側為正、下側為負，則為了方便說明將兩條線段旋轉至如圖中方向所示，一條平行于圖像橫坐標軸，內側紋理分別處在兩條線段的②和③處，只有在②和③的紋理比較相似度大于閾值的時候兩條線段才可能被劃分為一組，所以Tinside表示②和③的直方圖相加。Toutside包含①和④兩側的紋理統計直方圖以及①和②、③和④的紋理是否相同，相同標記為1，否則標記為0，會出現4種情況00、10、01、11，利用這4種情況作為記號先進性粗篩可以提高匹配的效率。

圖3 線段鄰域外側紋理標記分區

引入針對建筑物結構描述的線段分組方法，從線段進一步提升至相交線段組成的平面上的紋理，通過線段維度與建筑物表面紋理特性的組合, 加強了建筑物結構上的線段位置與線段鄰域紋理之間的關聯，對線段進行分組獲得了更多的篩選條件，增強了線段描述子對建筑物結構特性的描述能力, 從而提高線特征之間的區分度。

3 匹配模型

將線段組的描述元素的差異程度作為線段匹配的依據，對兩組線段利用貝葉斯公式進行描述得到的匹配模型如下，在圖像J中提取的線段組集合中尋找能夠獲得與圖像I中提取的線段組集合中各線段組相似度各項得分最高的匹配線段LGj和LGi

LGjmax=argmaxLGjp(LGj|LGi)

(6)

(7)

其中，Z(LGj)為線段組LGj的正則化常數，φ(LGj,LGi)為線段描述子中與角度相關的項，表示兩組線段的夾角度數和夾角中線度數分別差值的模型，c1表示φ(LGj,LGi)項的影響因數。ψ(LGj,LGi)為線段組中兩線段元素最近點到各自端點的比例系數相關項，表示比例系數的差值模型，c2表示ψ(LGj,LGi)項的影響因數。其中，c1,c2∈(0,1)，篩選項對匹配模型的影響比重小于紋理模型的占比。

兩幅圖像的線段組進行匹配時，首先比較①和②、③和④兩側的紋理標記Toutside，通過外側鄰域紋理標記粗篩之后得到相同標記的線段組候選集合。在候選集內進行夾角內側紋理相似度的比較，兩幅圖像各自的線段組紋理的描述是基于灰度直方統計圖，本文中選擇巴氏距離作為紋理描述子相似度的比較模型，依照巴氏距離模型計算兩組線段對應順序的分區鄰域紋理統計直方圖概率密度分布情況的重疊率。對于兩組線段的夾角內側平面紋理Tinside_i和Tinside_j分別在同一區塊part下統計得出的直方圖離散概率分布情況hi和hj的像素灰度值分布區段X=[0,255]，巴氏距離DB的定義可表示為

(8)

DB(hGi,hGj)=-ln(BC(hi,hj))

(9)

其中，BC(p,q)為Bhattacharyya系數

(10)

此時，hi(x)與hj(x)分別為兩個直線的鄰域內各區塊統計直方圖在灰度為x時的概率密度。

在匹配過程中，可以根據需要調整part的分區方法，目前有兩種不同的分區方法，對匹配的效果各有側重：方法一，將線段的鄰域依照線段提取到的像素長度均分為part1個區塊，所有的線段匹配時就可以一一對應地比較紋理相似度。方法二，固定分區的Member長度再依次逐個切分出part2個分區，進行線段匹配比較時，將短線段按照掃描的方式逐次與長線段對比分區紋理相似度，取匹配區塊按升序排序后個數超過兩者區塊個數小者的百分比閾值的線段作為匹配線段，則它們的巴氏距離為逐次比較的巴氏距離最小值。第一種方法在匹配速度上比較有優勢，計算量o(part1)小于o(part22)。第二種方法在出現遮擋情況時能更準確找到匹配的線段，如果相機移動過程中有較多遮擋物，應選方法二的分區模式。

在計算夾角內側線段鄰域紋理相似性比較后，所得到的候選匹配線段還需要滿足建筑物的結構屬性相似，即候選線段組的夾角大小差值小于閾值θi-θj<τθ，線段組夾角中線角度相近θmid_i-θmid_j<τθ_mid，線段組最近點到兩條線段端點的距離比例差足夠小λa_i/λb_i-λa_j/λb_j<τλ。對判斷條件轉化為貝葉斯公式評價表達，所以式(7)中的后兩項表示的是結構屬性的判斷條件

φ(LGj,LGi)=φθinside(LGj,LGi)+φθmid(LGj,LGi)

(11)

(12)

(13)

(14)

滿足以上條件的線段組匹配分數越高，因為結構屬性有可容許限度，結構屬性在線段組匹配中是必要而非充分條件，紋理統計直方圖才是充分必要條件，利用參數c1和c2的取值調整屬性對篩選匹配度的占比，使得紋理匹配作為主導評價。

4 線特征匹配應用

匹配線段可以應用在目標識別、三維重建中，對應線段對象能夠匹配是計算的前提。建筑物結構上有豐富的線段特征，線特征可以表示建筑物的框架結構，也可以對面特征進行描述，這樣的描述方法比點云模型更接近建筑物設計描述。相比于點云三維重建，利用線特征來描述建筑物的三維結構可以很好壓縮數據量。利用線段匹配有利于克服遮擋問題，基于線段鄰域紋理的匹配方法除去了線段長度這一比較維度，采用紋理的統計信息，容錯性有很大的提升。

只需要3張建筑物的視圖的對應線段就可以構建起3個視角的幾何關系，利用三視圖對應的匹配線段組可以解算出3個相機姿態矩陣的相對參數，將3幅圖的匹配線段用各自的相機姿態矩陣映射形成三維空間中的平面，則理想狀態下這3個平面的相交線就是線段在三維空間中的位置。存在誤差的情況下，3個空間平面不相交于同一條直線，通過優化求解最小誤差三維重建直線。

5 實驗結果

本文提出的算法與文獻[9]中的ICP算法進行對比。ICP算法是將最近點迭代求解整體誤差最小值的一種點集匹配方法，為滿足二維點集運算，在二維空間中將線段從歐式空間的線l=(a,b,c)降維到Hough空間由斜率和截距表示的點l=(θ,ρ)，再對兩幅圖像的Hough空間上的點集利用ICP算法求解最近點，從而恢復對應的匹配線段。

用于實驗測試的圖像數據集以采集到的建筑物和線段匹配中常遇到的場景為例，實驗圖例如圖4所示。圖像為白天同一時段采集的兩張圖作為一組，模擬實時采集和處理圖像的情況，相近時間采集的圖像建筑物表面紋理受到的光照情況是相似的，對紋理灰度值的影響在算法可容許的范圍內。通過機械小車搭載的相機，通過圖像傳感器和數據傳感器反饋信息，由計算機端平臺控制小車的移動和圖像采集，模擬現實場景中的圖像采集變化情況，所采集圖像場景中部分是有綠化植物出現的并且被采集到圖片素材庫中。通過小車和相機相對建筑物的移動變化情況，將采集到的圖像分為3種室外采集圖像常見的情況：①旋轉；②縮放；③透視變換。

圖4 匹配實驗測試樣

對本次實驗中基于鄰域紋理的線特征匹配，在MATLAB平臺上進行實驗，采用的鄰域寬度值為W=20，鄰域像素影響因子的高斯系數σ=10，鄰域分區數為part=5，線段分組最近點距離閾值τd=20，夾角誤差閾值θ=15°。ICP算法也是在MATLAB平臺上復現并進行運算。對相同的測試圖片進行匹配實驗，線段匹配結果見表1。

表1 線段匹配結果

本文中基于鄰域紋理的線段匹配算法在旋轉情況下的表現與ICP算法相當，而在縮放變換下，由于加入了圖像金字塔的關系，本文算法的表現優于ICP算法。在透視變換中，各線段的旋轉角度變化是與相機相對位移有關，所以圖中的線段旋轉變化程度是不相同的，這就使得ICP算法這個依靠投射到Hough空間后整體匹配的方法誤差上升，而本文中依賴鄰域紋理的方法就可以克服這一問題。

利用本文線段匹配方法，對目標建筑物分別在3個視角拍攝的圖片進行線段匹配，如實驗建筑物3個視角如圖5所示。將3個視圖中的直線進行匹配，最后得到相互匹配的線段組，共34組。利用這些匹配的線段數據計算三焦點張量和相機姿態矩陣，其中兩組對應線段可構造一個求解方程組，則共有17組齊次方程可求解相機姿態矩陣，由于存在測量誤差，利用最小二乘法求解關于17組齊次方程的相機姿態矩陣，得到的建筑物三維重建如圖6所示。

圖5 實驗建筑物3個視角的拍攝圖片

圖6 建筑物線特征三維重建結果

在本文算法進行三維重建的結果中，可以看到右上角仍有5條樹枝線段未被濾除并且進入三維重建的計算，這是由于樹木這類自然界物體也擁有較長的線段架構，在線段提取時獲得的線段元素超過了粗篩的閾值。而草叢和葉片較多的灌木已經被過濾，它們的短線段對象沒有進入匹配計算和三維重建的過程中，提升計算的效率。

利用點特征三維重建算法作為對照組，對上述建筑物圖像采用Colmap[10]重建方法，分別在相同的三視圖情況輸入和更多個視圖的輸入情況進行點云三維重建，多視圖輸入情況選取了同一建筑物的200張不同視角采集的圖片。Colmap算法重建得到的稀疏點云分別如圖7(a)和圖7(b)中所示。

圖7 Colmap算法點云三維重建

Colmap算法重建的結果對場景中的所有對象都進行特征得提取，在對象圖片素材數量足夠多時，可以對全場景中所有對象進行三維重建，200張輸入圖像可以獲得73 513個特征點組成的點云，使得肉眼可以辯別出建筑物對象，但對于目標建筑物而言，樹木、草叢的數據量增加會影響匹配和重建優化過程的效率。在圖像素材只有3張時，Colmap算法的點云重建獲得143個點特征的結果無法達到視覺上可辯別對象的程度。

由以上實驗結果可以看出，利用線特征進行建筑物三維重建可以由線段之間的拓撲關系求解出完整的相機姿態信息，并恢復出建筑物大致的框架結構。相比于點云三維重建，在人造場景中線特征具有數據量小、對建筑物結構特征描述更清晰、可以達到所需要采集的數據量更少而達到相同的三維重建表達效果的優勢。

6 結束語

本文針對建筑物識別與測繪標定過程中線段匹配問題，提出了基于線段鄰域紋理統計的匹配方法，結合線段在建筑物框架上的位置特征，能夠解決線段長度、方向變化對于匹配的影響，克服拍攝視點變化情況中的結構描述進行匹配迭代求解的固有誤差對求解過程迭代收斂的影響。在縮放和視點變換狀況下有效提升匹配的準確率，在一定程度上解決了線段在對稱建筑結構上的區分問題。利用本文算法得到的匹配線段應用與三維重建，可以在圖片數量相同的條件下重建出更完整的建筑物框架信息。