高分辨率光學遙感幾何與紋理約束的線段優化算法

戴激光，謝詩哲，苗志鵬，宋偉東，王 楊，朱婷婷

1. 遼寧工程技術大學測繪與地理科學學院，遼寧 阜新 123000； 2. 資源與環境信息系統國家重點實驗室, 北京 100101； 3. 城市空間信息工程北京市重點實驗室，北京 100038； 4. 東華理工大學江西省數字國土重點實驗室，江西 南昌 330013

作為一種重要的幾何基元，線段的方向、長度、端點及線段間的拓撲關系在三維重建、道路提取、建筑物提取、地物變化監測等領域具有較強的應用價值[1-4]。因而近年來國內外學者針對線段檢測算法開展了大量的研究。按照文獻[5]對線段提取算法的分類，可以分為兩類：①全局統計算法，建立符合線性關系的聚類模型，通過解析方式得到參數信息[6-9]；②局部跟蹤算法，設定起始跟蹤點，根據一定的幾何相位約束原則，利用區域增長的方式提取邊緣點集，采用擬合方式獲取線段參數信息[10-13]。相對于①類算法，局部跟蹤算法由于計算量小，因而受到了更廣泛的關注[14-16]。在背景相對簡單、差異比較明顯的近景及航空影像中，目前大多數線段提取算法均有較好的檢測效果。然而，在較為復雜實際場景的光學高分辨率衛星遙感影像(空間分辨率優于1 m，以下簡稱遙感影像)中，一些目視清晰的線狀信息依然難以保證線段提取結果的完整性，在道路、建筑物、梯田等具有線性特征的地物中表現尤為突出。這使得線段提取結果長度、端點信息準確性下降，同時也增大了線段間拓撲關系分析的難度，使得線段在遙感影像處理中的應用受到限制。

深入分析現有算法提取線段斷裂的因素，可以發現：①地物遮擋，例如樹木等對建筑物邊緣的遮擋，將導致建筑物邊緣的丟失；②邊緣影像模糊，實際場景中反差較小的地物間邊緣相對模糊，邊緣點連續性不強；③邊緣鋸齒化，噪聲、細微地物變化[17]以及推掃式傳感器成像過程均易引發邊緣鋸齒化，使得邊緣點間的線性關系不夠穩定。由此表明，導致線段斷裂的原因一方面是邊緣點間連續性不強，另一方面是部分邊緣點間難以符合精準化線性要求。而已有線段提取算法均是基于邊緣點的連續性和線性準則而提出的，因此線段斷裂問題難以避免。而人眼之所以能夠觀測到完整線狀信息，是由于人類能夠在視覺環境中組織排列事物的位置，感受和識別出線性地物的連續信息[18]。受到上述思想的啟發，一些學者以檢測線段為處理基元，利用線段間的幾何相位相似性，采用聚類算法[19-20]、跟蹤算法[21-23]對提取線段結果進行優化，即將同一地物的斷裂線段連接起來，形成完整線段。但聚類算法運行效率較低，并且僅考慮斷裂線段間的幾何關系，因而精度難以保證。而跟蹤算法對線段作為影像特征間的紋理相似特性考慮不足，并且在優化過程中嚴重依賴于初始優化線段的精度，因而效果難以令人滿意。

線段是邊緣點的線性聚集體，同時更是地物輪廓表達的一種方式[24]。因此要將斷裂線段連接起來，不應僅考慮斷裂線段間的幾何關系，更應分析斷裂線段是否符合同一地物輪廓的紋理相似性。從此思想出發，本文在跟蹤算法的基礎上，通過對遙感影像線段斷裂規律的分析，提出一種基于幾何與紋理約束的線段優化算法，并據此給出了完整的算法流程。

1 線段斷裂規律

將線段提取結果放入真實場景，有利于對線段斷裂規律進行深入分析。圖1(a)所示為Worldview-2真實影像，空間分辨率為0.5 m。圖1(b)中人工目視道路邊緣可視為一條黑色線段，但仔細觀察后可以發現道路邊緣存在白色遮擋物。因此，利用經典LSD算法[15]進行線段提取后，如圖1(c)所示在道路邊緣處出現黑色斷裂線段。將斷裂線段連接起來，優化為圖1(b)所示一條線段，需要構建如圖1(c)白色連接線段，即將斷裂線段連接起來的假設線段，同時也要考慮在同一地物輪廓框架下斷裂線段和連接線段的特征。因而本文總結如下：

1.1 幾何特征

幾何特征主要存在于斷裂線段間，這是由于斷裂線段是由規則邊緣構成，而連接線段為假設線段，不能確保其精確位于地物邊緣處，因而幾何特征僅適用于斷裂線段：

(1) 端點鄰近性。圖1(c)中所有黑色斷裂線段端點和圖1(b)所示黑色優化線段間垂直距離應低于一定閾值。

(2) 空間接近性。如圖1(c)所示斷裂線段端點間空間距離較小，即相鄰斷裂線段間端點距離符合一定閾值。

(3) 分布有序性。斷裂線段集在空間中呈現出同一方向排列有序性，該屬性可作為斷裂線段跟蹤方向的判斷依據。

1.2 紋理特征

如果斷裂線段、連接線段隸屬于一條線段，那么斷裂線段與連接線段應相鄰于同一目標地物，而同一地物應存在較為一致的紋理相似性，因此需要對線段鄰域進行紋理特征分析：

(1) 相位一致性。斷裂線段集左右側灰度對比狀況一致。如圖1(c)所示，作為線條邊緣，所有斷裂線段左側影像相對右側灰度總體偏低。

(2) 共區域性。如圖1(c)所示，斷裂線段、連接線段均相鄰于道路區域，所有線段左側均為同一地物，即同側區域具有紋理相似性。如圖1(b)所示，雖然道路邊緣屬于線條邊緣，存在白色遮擋物體，但由于覆蓋區域較小，故可通過整體評價其是否符合共區域性要求，因此共區域性以此可作為連接線段、斷裂線段的紋理約束條件之一。

(3) 封閉性。封閉性專門適用于連接線段，這一特征可以反向印證連接線段是否為地物輪廓。根據這一特征，如圖1(c)中白色連接線段理論應為不同地物間分割線，故連接線段兩側紋理應具有一定的差異性，以滿足地物邊緣特性。如圖1(b)所示，連接線段左側雖然受到白色遮擋地物影響，但由于其僅占據較小斷裂區域，故圖1(c)中白色線段兩側可以構成一定的紋理差異性，可滿足封閉性特征。

圖1 線段斷裂示意Fig.1 Schematic of line segment fracture

2 算法原理

根據感知編組非偶然性定律，影像特征呈現某種有序結構絕非偶然[25]。因而當多條斷裂線段符合上述特征規律時，可以建立線段優化模型。線段提取結果是優化算法的基礎，本文選取一種鏈碼跟蹤與相位結合的線段提取算法[5]。該算法優點在于能夠確保構成線段的邊緣點相位一致性，同時最大程度提高線段檢測結果的長度。在線段提取過程中，本文將記錄每條線段的多個參數信息(thera,xstart,ystart,xend,yend,flength,Np)。其中，xstart、ystart、xend、yend分別為線段兩端點x向與y向坐標；flength為線段長度；Np為擬合當前線段的所有邊緣點；thera為線段相位，該參數近似垂直于線段角度，主要反映線段兩側的灰度對比情況，計算公式如下

(1)

式中，Np為構成線段的邊緣點數量；ang(i)為第i個點邊緣點梯度方向，其范圍為[-π,π]。

2.1 線段優化模型

按照數字圖像理論，噪聲通常是隨機存在的，其符合線性規則特征的概率必然較小。反之若線段長度越大，其符合實際地物邊緣的概率越高，但同時受到噪聲干擾的可能性也相應增大。因此本文首先利用文獻[5]算法提取線段，根據線段長度優先的原則確定初始優化線段，其次建立幾何約束模型，再次建立紋理約束模型，最后動態更新優化線段及跟蹤區域，以此完成對線段優化模型的構建。

2.1.1 幾何約束模型

在實際場景中，線段提取結果數量上呈現出海量化的特點，同時相互間存在錯綜復雜的空間拓撲關系，例如建筑物和道路、道路兩側邊緣、農田與道路等線狀地物間存在角度相似、距離相近的特點。

因此在進行斷裂線段搜索過程中，首先需要確定跟蹤范圍。

(1)跟蹤矩形。依據分布有序性，斷裂線段應位于待優化線段延長線方向上，因此如圖2(a)所示，可依據端點坐標A(xstart,ystart)和B(xend,yend)向兩側外延確定跟蹤方向。根據端點臨近性、空間接近性，斷裂線段一側端點必然位于待優化線段端點臨近區域內。因此如圖2(b)所示，本文以端點A為起始跟蹤點為例(B點類似)，建立一個長度為Ls(像素)，右側距離為Lwr(距離為正值，單位為像素)，左側距離為Lwl(距離為負值，單位為像素)的灰色矩形。在此跟蹤矩形內，線段L1按照跟蹤方向遍歷斷裂線段端點。

圖2 跟蹤矩形Fig.2 Tracking rectangle

(2) 位置約束。對大量實際場景線段斷裂問題的分析表明，當一條線段兩端點位于待優化線段跟蹤方向兩側時，人眼一般將其視為相同線狀地物，可視其為斷裂線段。反之當兩端點位于待優化線段同側且與其存在一定距離時，人眼很難將其視為待優化線段的斷裂線。在此思想的啟發下，本文首先確保線段兩端點坐標(i,j)和(i′,j′)與待優化線段之間的距離D(i,j)和D(i′,j′)均位于[Lwr,Llr]范圍之內；其次保證D(i,j)和D(i′,j′)累積絕對值和低于閾值ε。上述兩條件構成斷裂線段的位置約束條件。具體公式如下

a×x+b×y+c=0

(2)

D(i,j)=(a×j+b×i+c)/sqrt(a×a+b×b)

(3)

abs(D(i,j)+D(i′,j′))<=ε

(4)

式(2)中，(x,y)為待優化線段任意點坐標；a、b、c為線段參數；式(3)中，以待確定線段任意端點(i,j)為例，計算其端點(i,j)與待優化線段間的距離D(i,j)；式(4)中，ε為D(i,j)和D(i′,j′)端點累加距離閾值。

(3) 拓撲約束。圖3(a)、(b)中，與白色矩形框連接線段為待跟蹤線段。按照位置約束，圖3矩形框內白色線段和圖3(b)黑色線段作為待確定斷裂線段均符合式(4)要求，但明顯可以看出圖3(a)矩形框內白色線段為正確線，而圖3(b)黑色線段為錯誤斷裂線。因此在位置約束的基礎上，需進行拓撲關系約束。如圖3(b)所示，由于一側端點已位于矩形跟蹤區域內，因此僅需對另一側端點進行分析，確保該端點位于下側跟蹤線方向上。

dis_pro_S+dis_pro_E>dis

(5)

式中，dis_pro_S為待確定線段端點在待跟蹤線段上投影點與待跟蹤線起始端點間的空間距離，dis_pro_E為投影點與待跟蹤線結束端點間的空間距離，dis為待跟蹤線段長度。當線段端點滿足式(5)時，則說明其符合拓撲約束。

圖3 拓撲約束Fig.3 Topology constraint

2.1.2 紋理約束模型

紋理約束模型是將線段置入實際影像中進行分析，以確定斷裂線段是否滿足同一地物輪廓要求。因此，本文將依次開展相位約束、共區域性約束及封閉性分析。

(1) 相位約束。依據相位一致性原則，將相位約束設置為待確定斷裂線段的紋理約束條件之一。相位約束公式如下

abs(theraref-therasrc)<=η

(6)

式中，theraref為待優化線段相位；therasrc為待確定斷裂線段相位；η為相位閾值。

(2) 共區域性約束。根據共區域性特征，斷裂線段、連接線段均應相鄰于同一地物。因此本文針對共區域性特征，提出一種整體匹配評價算法。如圖4所示，首先在黑色實線(斷裂線段)、黑色虛線(連接線段)左右根據距離線段為2像素(設置短距離是為了適應線條邊緣的特點)，步長為5像素抽取黑色點為抽樣點；其次在整體匹配評價中，對灰度值進行重新量化(以8 bit影像為例，可將其線性壓縮為4 bit)，以解決線段邊緣附近紋理均質化較差的問題；最后，針對線段邊緣影像易發生灰度跳變的問題，建立種子點為圓心半徑為1的圓形模板。確定模板值的公式如下

(7)

式中，M為圓形模板；Im為圓形模板的灰度均值；Igm為圓形模板的灰度直方圖峰值。

依據圖4與式(7)可給出具體步驟：首先，利用式(7)在斷裂線段、連接線段兩側分別計算其抽樣點模板值M；其次，利用線段相應方向進行匹配，即2條斷裂線段與連接線段左側模板均值進行比較，如差值均低于2，則說明滿足左側共區域性特征，反之進入右側共區域性約束判斷。

圖4 共區域性約束Fig.4 Common regional constraints

(3) 封閉性分析。封閉性分析主要是針對線段優化過程中的過提取問題。如圖5所示為兩條黑色線段為真實提取線段，依據線段幾何約束模型兩條線段完全滿足要求，同時2條線段右側為同一地物也符合相位約束和共區域性，但兩條線段明顯不是斷裂線段。如何避免將2條線段連接起來，需要對連接線段所在區域進行封閉性分析。在分析過程中，可參考圖4在連接線左右抽樣統計模板值。如兩側值差異絕對值低于2，說明當前為錯誤連接線段，反之高于2則說明連接線符合封閉性要求，可進行線段優化。

圖5 線段過提取問題Fig.5 Problem of line segment over extraction

2.1.3 線段動態優化模型

受到邊緣鋸齒化的影響，初始優化線段與實際地物邊緣并不能完全吻合。因此需要動態優化線段，以確定新的跟蹤端點及跟蹤范圍，避免當初始優化線段出現位置偏差時，導致最終提取的優化線段精度受到影響。本文利用每條線段提供的邊緣點集，采用最小二乘法計算線段參數，并利用邊緣點在該直線上的投影范圍確定優化線段端點，同時更新優化線段參數信息(thera,xstart,ystart,xend,yend,flength,Np)。

2.2 算法步驟

依據上述線段優化提取模型，圖6給出了本文算法的技術流程。

圖6 技術流程Fig.6 Technical flow chart

(1) 線段數據集與端點矩陣構建。以線段提取結果作為處理基元，按照線段長度由大到小的順序將其存入數據集N中。該數據集依次記錄每條線段屬性及該線段在數據集中的序號。以線段端點空間位置為基礎，構建端點矩陣M1。M1的大小與影像大小一致

(8)

式中，mij記錄對應影像位置(i,j)上是否存在線段端點，有則直接記錄線段在N中的序號，沒有則為0；k和n分別為影像行列數值。

(2) 初始優化線段確定。在數據集N中按照存儲順序依次抽取線段，如果該線段端點在矩陣M1非0值，則將其設為初始優化線段，基于初始優化線段端點建立跟蹤矩形，雙向跟蹤并進入步驟(3)；如為0值，則再次進入步驟(2)。

(3) 在跟蹤區域內遍歷線段端點。依據搜索區域及跟蹤方向，遍歷線段端點信息，如存在則進入步驟(4)，否則進入步驟(6)。

(4) 幾何和紋理約束分析。依據幾何約束模型和紋理約束模型，對待確定斷裂線段進行分析，判斷其是否要求，滿足則進入步驟(5)；不符合條件則進入步驟(3)。

(5) 優化線段端點與跟蹤區域更新。基于線段所提供的邊緣點集，動態優化線段及其參數，并由此確定新的跟蹤端點及跟蹤矩形，進入步驟(3)。

(6) 優化線段分析。存儲新優化線段，并判斷優化線段是否已經全部處理，如未處理則進入步驟(2)，反之若全部處理完畢則輸出所有優化線段。

3 試 驗

3.1 參數分析及設定

為解決遮擋、邊緣模糊和鋸齒化等問題對線段優化的影響，本文算法需要設定多個參數閾值。由于本文所選取的遙感影像空間分辨率均在0.5～0.8 m，分辨率相差不大，因此依照閾值最大適應性原則，對各個參數設定經驗閾值，并對定量設定結果及其原因進行討論：

(1) 跟蹤矩形參數。跟蹤矩形的設定主要是為了克服遮擋、邊緣模糊化和鋸齒化對線段斷裂的影響。本文設定Ls為20像素；左側距離Lwl為-8像素；右側距離Lwr為8像素。

(2) 幾何約束閾值ε。當線段與待優化線段近似平行且有較大的距離，人眼傾向于將其視為不同線段，幾何閾值參數ε就是針對這一問題建立的定量化幾何約束條件。經過多次試驗驗證，本文將這一閾值設定為8像素。

(3) 相位約束閾值η。該參數是為了消除邊緣鋸齒化對線段斷裂的影響，本文設定η為π/9弧度。

3.2 試驗結果與分析

在試驗中，本文算法以VS2010為運行環境，利用C++編程進行試驗分析。在選取對比算法時，分別選取具有代表性的線段優化算法，即文獻[21，22]算法進行對比分析。文獻[21]算法從幾何拓撲關系和物理光譜信息兩個方面對線段進行優化，并利用C++編程方式實現；文獻[22]算法則利用線段圖模型對線段間的連接關系進行估計、驗證，以此進行線段優化，該試驗結果由筆者提供的Matlab代碼處理得到。相對而言，文獻[21]算法是幾何拓撲與光譜信息的結合，而文獻[22]算法更加側重于幾何關系的分析。在試驗中，本文首先選取一幅城郊高分辨率遙感影像，分別展示加入幾何約束和紋理約束后線段優化結果，以驗證將幾何與紋理約束進行線段優化的必要性；其次，分別選取了具有代表性的2幅不同類型的遙感影像進行算法分析，覆蓋區域分別對應于城市、農村，其中包含遮擋、模糊化、邊緣鋸齒化所導致的線段斷裂問題。在線段優化結果精度檢驗過程中，由于優化線段數量不大，因此本文采用目視檢驗的算法進行精度分析。

3.2.1 試驗1

圖7(a)所示為遼寧省葫蘆島市某地區的GF-2衛星影像，空間分辨率為0.8 m，影像大小為1500×1500像素，覆蓋范圍為城郊區域。直接對影像進行線段提取，可獲得7875條線段。經過優化后變為7504條線段，其中優化線段為150條，錯誤線段為3條，耗時為67.5 s。由于線段檢測結果數量較大，為了清晰展示線段提取及優化結果，如圖7(a)所示對局部影像進行放大，可以發現該區域為小區門口，存在較多線狀信息。同時也可以看到，受到邊緣模糊化的影像，道路邊緣線段明顯出現了斷裂。采用如圖7(b)所示的幾何約束優化，可以看到道路線已經被連接起來，但出現了過連接問題，最突出的就是小區門口已經被道路線連接，并且小區內的線段也存在過連接問題。如圖7(c)所示，本文在幾何約束的基礎上引入紋理約束，可以看到由于過連接線段不滿足封閉性，故兩條白色線段的過連接問題已被處理，由此說明本文紋理約束的必要性，也驗證了幾何與紋理相結合優化線段算法的可靠性。

3.2.2 試驗2

圖8所示為遼寧省葫蘆島市某農村的Pleiades光學高分辨衛星遙感影像，空間分辨率為0.5 m，影像大小為632×679像素，覆蓋區域內包含平房、道路等線狀信息，利用線段提取算法可檢測到1675條線段。如圖8(a)線段提取結果放大圖顯示，道路受到兩側樹木陰影遮擋的影響，存在斷裂現象。如圖8(b)所示為本文算法線段優化結果。對放大圖白色優化線段分析后可以發現，由陰影遮擋所導致的線段斷裂問題也已解決。同時對比文獻[21]算法中的優化結果，可以看到建筑物白色線存在過連接問題，同時由于遮擋所導致的線段斷裂問題也未解決。對比如圖8(d)結果可以明顯發現，文獻[22]算法優化線段與邊緣吻合度非常高，但遮擋導致的線段斷裂問題基本沒有解決。

3.2.3 試驗3

圖9所示為澳大利亞某地區的GeoEye-1影像，空間分辨率為0.5 m，影像大小為1024×1024像素，覆蓋區域為城區。在圖9(a)線段提取結果局部放大圖中，受到邊緣鋸齒化影響，道路邊緣提取線段結果存在交叉的現象。如圖9(b)所示，利用本文算法能夠基本解決鋸齒化問題，并且線段優化結果基本符合人工視覺。而圖9(c)利用文獻[21]算法，優化后的部分線段存在較大的位置偏差，這說明該算法對于線段間紋理約束的分析不足，因而降低了優化線段結果的精度。同樣對比圖9(d)，可以看到文獻[22]算法對于邊緣鋸齒化問題處理能力不足，因而道路線斷裂問題依然存在。

圖7 線段優化過程Fig.7 Process diagram of line segment optimization

圖8 Pleiades影像線段優化效果Fig.8 Line segment optimization results for Pleiades image

圖9 GeoEye-1影像線段優化效果Fig.9 Line segment optimization results for Pleiades image

基于城市、農村及城郊不同實際場景，采用不同類型的高分辨率遙感影像數據，通過對比可以明顯看到本文算法具有解決線段斷裂問題的能力。由于優化后不同算法線段數量并不一致，全部分析線段并不反映本文算法解決遮擋、模糊化、鋸齒化問題的能力，因此本文僅選取符合一定條件的線段進行優化。這是由于實際遍歷初始優化線段和最終形成優化線段的數量比例通常為5∶1，大量線段不需要進行優化處理。例如圖8需要優化90條線段，但實際初始優化線段需要461條。因此從提供算法效率的方面考慮，本文根據不同的影像選擇不同數量的優化線段。如表1所示，通過對比本文與文獻[21]算法優化線段提取精度，可以看到本文算法優化精度(95.7%)明顯高于文獻[21]算法(82.1%)，低于文獻[22]算法。但文獻[22]算法對于鋸齒化、模糊化、遮擋問題解決能力不足，雖然精度很高但優化線段平均長度很低，無法將斷裂線段連接起來，難以滿足實際場景遙感影像處理需求，這從優化后線段總長度和平均長度可以清楚看出。同時對比不同算法的運行耗時，可以看到本文算法低于文獻[21]算法。這是由于本文算法加入更多的紋理約束條件，降低了算法的速度，另外也說明本文算法需要進一步提高效率。

表1 不同算法線段優化結果

Tab.1 Line segment optimization results by different algorithms

項目本文算法文獻[21]算法文獻[22]算法圖8圖9圖8圖9圖8圖9優化線段/條9010090100169264優化錯誤線段/條26132100優化后線段總數量/條141747931396475212782350優化后線段總長度/萬像素2.948.552.958.572.154.07優化后線段平均長度/像素20.7517.8421.1318.0316.8217.66耗時/s13.9033.032.6610.5531.18143.35

4 結 論

本文針對線段斷裂問題，將線段視為同一地物的輪廓表達，由此提出了一種線段優化算法，并通過不同場景、不同類型影像、不同線段斷裂類型的試驗，驗證了本文算法的有效性。相對于其他算法，本文算法具有以下創新之處：

(1) 確定了遮擋、邊緣模糊化和鋸齒化是導致線段斷裂的主要因素。在此基礎上，揭示了線段斷裂規律，并給出了斷裂線段幾何與紋理特征。

(2) 建立幾何約束模型。設定跟蹤矩形，以確定線段優化的幾何范圍。建立位置與拓撲約束分析模型，以從幾何上確定斷裂線段。

(3) 建立紋理約束模型，將匹配算法引入共區域性和閉合性分析，避免了線段優化過程中的過提取問題。

(4) 動態化線段優化模型的構建。通過動態化的線段優化過程，解決初始優化線段不完全符合整體線狀邊緣的角度修正問題。

不足之處在于目前本文算法僅能處理小幅遮擋問題。如何進一步處理更大幅度遮擋問題，同時提高本文算法效率，尚有待于進一步研究。