SAR 圖像與可見光圖像融合的建筑物提取算法

蘇娟，鮮勇，宋建社

(第二炮兵工程學院，陜西 西安710025)

基于多源圖像融合的目標檢測方法可以通過綜合各種傳感器圖像的共性和互補數據，實現增強圖像中有用信息，提高目標檢測準確性的目的。以SAR 圖像與可見光圖像為例，2 者是目標對于不同電磁波波段的響應，通過圖像融合可以有效擴展目標在電磁波譜域的表達，從而克服基于單源圖像進行目標檢測的局限性［1-2］。

由于SAR 圖像的幾何變形較嚴重，可解譯性較差，并且受雷達波的入射角和波長等參數的影響較大，因此直接利用SAR 圖像進行建筑物輪廓的精確提取比較困難［3-6］。但是，建筑物在SAR 圖像中所存在的高亮線條、陰影區域、疊掩區域和亮斑區域等能為定位建筑物的感興趣區域提供可能。與此同時，可見光圖像所具有的解譯性好和易于獲得的特點使得其在建筑物輪廓提取方面具有較廣的應用，近年來該領域取得了較大的進展［7-8］，尤其是在利用多張可見光圖像進行建筑物提取和三維重建方面［9-10］。在目前已有的算法中［7-11］，一般是首先基于邊緣和角點作出屋頂假設，再采用陰影、墻壁等特征對屋頂假設進行檢驗，從多個假設中挑選出檢驗合格的假設，而檢測對象以屋頂呈矩形或矩形組合的建筑物為主。文獻［6］利用2 種傳感器的成像方程等先驗知識將SAR 圖像的邊緣投影到相應的可見光圖像中去，在可見光邊緣圖中定義一個包含該邊緣的、方向確定而長寬待定的矩形搜索區域，對建筑物輪廓進行搜索提取。

提出了一種基于SAR 圖像和可見光圖像融合的建筑物提取算法。該算法作用于2 幅已配準的包含同一建筑物目標的SAR 圖像與可見光圖像，充分利用建筑物在2 種不同傳感器圖像中所表現的共性和互補特征，采用邊緣匹配和感知組合的方法提取建筑物的輪廓。

1 算法原理

如圖1所示，建筑物輪廓提取算法包括以下步驟:結構特征邊緣匹配、屋頂輪廓的感知組合和屋頂假設檢驗。首先通過對2 圖的結構特征邊緣進行邊緣匹配，由匹配的邊緣提供建筑物的可能方位信息，然后由可見光圖像提供建筑物輪廓提取所需的視覺特征，在可見光圖像中采用感知組合的方法提取建筑物輪廓，最后在可見光圖像中采用屋頂灰度均勻性特征進行建筑物驗證。

圖1 算法的總體框圖Fig.1 Flowchart of proposed algorithm

算法暫不考慮SAR 圖像固有的疊掩和陰影等幾何變形問題，假定SAR 圖像已經過必要的預處理，如斜地校正，疊掩和陰影補償以及斑點噪聲消除等，并且已實現與可見光圖像的配準。

2 結構特征邊緣匹配

在可見光圖像中，幾何結構特征是表征建筑物目標的主要特征。經過大量樣本統計發現，建筑物的頂部邊緣以矩型結構或其組合為主，具有較穩定的組織結構模式，局部范圍內存在2 個主要的相互垂直的主方向。在SAR 圖像中，由于建筑物的墻壁與地面易形成2 面角反射器，產生強烈的雷達后向散射，建筑物墻壁與地面的交線處易形成一條清晰可辨的高亮線條。基于以上特性分析，采用以下方法提取建筑物在可見光圖像和SAR 圖像中的結構特征邊緣:

1)對原始圖像運用Canny 算子進行邊緣提取，得到二值邊緣圖。選擇Canny 算子的原因在于，與其它邊緣檢測算子相比，Canny 算子對于弱邊緣具有較好的檢測能力，并能得到比較細化的邊緣。

2)采用基于鄰域搜索的邊緣點連接方法從二值邊緣圖中提取邊緣線段，并填補邊緣線段上的小間隙，默認填補間隙為1 個像素。

3)從提取的邊緣線段中保留曲率穩定的邊緣線條，去除大量雜亂散碎的邊緣線段。采用最小二乘擬合對保留的邊緣線段進行直線擬合，并對其進行標識，記錄邊緣線段上的像素坐標，擬合直線的斜率與截距等。

4)對于SAR 圖像，將經過上述處理的邊緣定義為SAR 圖像中建筑物目標的結構特征邊緣。

5)對于可見光圖像，根據最小二乘擬合所得的直線斜率與截距提取出相互垂直的邊緣線段和相互平行的邊緣線段，將其定義為可見光圖像中建筑物目標的結構特征邊緣，作為建筑物輪廓提取所需的底層視覺特征。

圖2給出了2 幅已配準的包含同一建筑物目標的SAR 圖像與可見光圖像，以及相應的結構特征邊緣圖。通過目視可知，本文方法能夠比較準確地提取出SAR 圖像和可見光圖像中反映建筑物在該類傳感器圖像中幾何結構特性的結構特征邊緣。

SAR 圖像上建筑物墻壁與地面的交線處形成的高亮線條能為定位建筑物的感興趣區域提供可能。本文的處理對象是已配準的SAR 圖像和可見光圖像，對于SAR 邊緣圖中的某條邊緣，如果在可見光邊緣圖中存在與之相對應的邊緣，則該邊緣應該是與之在方向和距離上最匹配的邊緣。因此，本文對配準后的SAR 圖像和可見光圖像的結構特征邊緣圖(如圖2(b)、(d))進行邊緣匹配，將能夠實現匹配的可見光邊緣圖的邊緣作為建筑物輪廓搜索的起點，從而大大減小搜索空間。

圖2 結構特征邊緣Fig.2 Structure feature edges

邊緣匹配如圖3所示。SAR 圖像中的邊緣Li經過配準后變換為邊緣，邊緣匹配的目的是要在可見光圖像的邊緣圖中找出與最匹配的邊緣，搜索范圍為可見光圖像邊緣圖中與具有近似相等的斜率的邊緣。dij為邊緣的中點到候選邊緣L'j所在直線的正交距離;Oij為邊緣到候選邊緣L'j所在直線的重疊距離，定義為邊緣的2 端點在候選邊緣L'j所在直線上的投影點之間與邊緣L'j重合的那段距離。如果邊緣與候選邊緣L'j之間的正交距離dij越小，重疊距離Oij越大，則邊緣與候選邊緣L'j就越匹配。

因此定義以下的匹配度函數

式中:f(dij)為均值為0 和方差為σ 的高斯函數，具有隨著dij的增長而不斷下降的性質。根據匹配度函數的定義，如果邊緣與候選邊緣L'j之間的正交距離dij越小，重疊距離Oij越大，則邊緣與候選邊緣L'j之間的匹配度就越大。因此，(1)式定義的匹配度充分考慮了正交距離和重疊距離在邊緣匹配中的作用。

對搜索范圍中的每條邊緣，根據(1)式計算相應的匹配度，選取滿足(2)式所示條件(即匹配度最大且大于預設閾值match-threshold)的邊緣作為邊緣在可見光邊緣圖中的匹配邊緣。根據多次實驗設定match-threshold 為10.

圖3 邊緣匹配Fig.3 Edge matching

采用上述算法對圖2(b)、(d)所示的結構特征邊緣圖進行邊緣匹配，結果如圖4所示。

圖4 圖2中匹配的邊緣Fig.4 Matched edges in SAR and optical images

3 建筑物屋頂的感知組合

經過邊緣匹配以后，將能夠實現匹配的可見光邊緣圖中的邊緣作為建筑物輪廓搜索的起點，采用感知組合思想，對建筑物進行輪廓提取。感知組合是指在沒有任何關于圖像內容的知識的前提下，從底層的原始圖像特征中提取有效的圖像關系的視覺能力。該方法從圖像的底層特征開始，逐步提取圖像的更高層的特征，直到獲得有意義的語義表示，該語義表示可用于更高層次的推理過程［12］。以提取呈矩形或矩形組合形狀的建筑物屋頂輪廓為主要目的，將建筑物屋頂輪廓定義為由一系列連接點組合而成的封閉多邊形，具體提取流程如圖5所示。

算法的主要步驟如下:

步驟1 提取節點。將邊緣匹配模塊提供的可見光邊緣圖中的匹配邊緣作為搜索起點，在可見光邊緣圖中搜索與之垂直的邊緣，并提取2 條相互垂直的邊緣線段的交點作為L 型連接點。L 型連接點是圖像中顯著凸點的有力證明，與對應的2 條相互垂直的邊緣一起構成了組成建筑物屋頂輪廓的底層元素Vij=(ei，cij，ej)，其中ei和ej為2 條相互垂直的邊緣，cij為相應的L 型連接點，將此底層元素定義為節點。從可見光邊緣圖中提取出所有的具有上述結構形式的節點，作為搜索空間。

步驟2 自下而上地進行節點組合。設定搜索空間里的第1 個節點為搜索路徑的起始節點，在搜索空間內搜索滿足以下連接條件的節點:

1)2 個節點的L 型連接點之間的距離大于預設閾值(該閾值用于對建筑物屋頂的最短邊長進行限制，通常根據圖像分辨率而設定)。

2)2 個節點具有一條公共的邊緣。節點的組合如圖6(a)所示，在圖中2 種情況均出現的情況下，優先選擇U 形組合。將搜索得到的節點存入搜索路徑中，在剩余搜索空間內繼續上述搜索過程，直到無法找到滿足連接條件的節點，將該起始節點對應的最長搜索路徑的L 型連接點作為候選的建筑物屋頂的系列連接點。如果該路徑的起始節點和終止節點滿足連接條件，則將該路徑定義為閉合路徑。重復上述搜索過程，得到一系列搜索路徑，每條路徑代表一個候選的建筑物屋頂輪廓。該過程是根據對建筑物屋頂結構所作的假設，采用自下而上的方式得到建筑物屋頂的連接節點。

步驟3 自上而下地尋找“丟失的”邊緣。對非閉合路徑采用自上而下的方式在可見光邊緣圖和SAR 邊緣圖中尋找“丟失的”邊緣。在尋找“丟失的”邊緣時，將搜索條件放寬，即將對垂直邊緣和平行邊緣的角度的要求放寬。如果找到滿足要求的邊緣，則該搜索路徑成為閉合路徑。

步驟4 提取出路徑集合中所有的閉合路徑，將每條閉合路徑中的連接點連接成一個封閉的多邊形，作為圖像中建筑物屋頂輪廓的多邊形表示。如果某個多邊形位于另一個多邊形內部，則保留輪廓位于外部的多邊形。如果2 個多邊形的位置和大小幾乎完全重疊，則保留其中面積較大的多邊形。

綜上所述，以上感知組合過程可用圖6(b)所示的特征關系圖表示。圖中節點為組成建筑物屋頂輪廓的最底層特征，路徑為組合而成的更高層特征，閉合路徑則為最終組合得到的最高層特征——建筑物屋頂輪廓的多邊形描述。圖6(c)給出了對圖2實驗對象進行節點提取的結果，圖6(d)給出了對該實驗對象進行建筑物屋頂輪廓檢測的最終結果。

圖5 基于感知組合的建筑物輪廓提取流程Fig.5 Flowchart of building outline extraction based onperceptual grouping

圖6 感知組合過程與結果Fig.6 Process and results of perceptual grouping

4 屋頂假設檢驗

經過上述感知組合步驟以后，可以得到建筑物屋頂的假設，其中可能存在部分虛警。在可見光圖像上，大部分建筑物屋頂均具有比較均勻的灰度分布，本文利用此特性對其中的虛警進行剔除，采用一個均勻性算子對可見光圖像上經過感知組合得到的建筑物目標區域進行屋頂均勻性驗證。均勻性算子的定義窗口如圖7所示，計算如(3)式所示。

圖7 均勻性算子的定義窗口Fig.7 Definition window for homogeneity operator

可以看出，均勻性算子用于計算局部區域內(如圖7中的3 ×3 窗口)每個像素與區域中心位置處像素的亮度之差的絕對值的平均值。對可見光圖像上每個經過感知組合得到的建筑物目標區域計算均勻性算子后，采用以下判斷:

令HO-num 為該目標區域中滿足條件

的像素個數總和，如果HO-num 與該目標區域的總像素個數之比大于預設閾值ratio-threshold，則認為該屋頂假設滿足屋頂均勻性驗證。其中參數經過多次實驗設定為HO-threshold =15，ratio-threshold =0.7.

5 實驗結果與分析

采用本文算法對多組建筑物的可見光圖像和SAR 圖像進行了建筑物輪廓提取，均取得了較好的效果。給出2 組比較有代表性的實驗，實驗1 如圖2所示，具體過程與最終結果均已在前文中給出，該實驗對象只有一組建筑物，背景比較簡單，但建筑物形狀為矩形組合。由圖6(d)可以看出，本文算法提取的建筑物輪廓與實際情況比較吻合。實驗2 如圖8所示。圖8(a)、(b)分別為已配準的SAR 圖像和可見光圖像，圖像中包含不只一組建筑物，背景比較復雜，但建筑物為形狀比較規則的矩形。本文的檢測對象為具有一定面積的、至少在其中一幅圖像中可被人工判讀的建筑物，該組實驗中共有7 個這樣的建筑物，如圖8(a)標注所示。圖8(d)為從可見光圖像中提取的曲率穩定的平行邊緣與垂直邊緣，圖8(e)為根據匹配邊緣在可見光邊緣圖中提取的節點，圖中十字表示節點中的L 型連接點。圖8(f)為感知組合得到的建筑物屋頂的多邊形描述，可以看出，該實驗正確檢測出6 個目標，存在一個漏警，一個虛警。采用查全率(recall)和查準率(precision)進行檢測性能的評價。對于該組實驗有recall=86%，precision=86%.在收集得到的包括12 對SAR 圖像和可見光圖像的實驗數據集上的統計結果為，recall=78%，precision=84%.

通過對收集得到的實驗數據集進行統計實驗和分析，可以得到以下結論:

1)對于矩形建筑物來說，本文算法必須滿足的前提條件是，待檢測的建筑物在可見光圖像上需要檢測出至少3 條邊緣，同時在SAR 圖像上檢測并匹配至少一條邊緣，否則容易造成漏警。

2)算法的邊緣匹配模塊能夠有效地克服SAR圖像常見的邊緣不連續的問題，這是因為匹配度函數綜合考慮了重疊距離和正交距離，SAR 圖像中的短邊緣會造成待匹配邊緣之間的重疊距離減小，但由圖4可以看出，算法仍然可以魯棒地找出匹配的邊緣對。但是，對于部分SAR 圖像而言，由于幾何變形或斑點噪聲等因素嚴重影響圖像質量，導致無法從中提取出足夠的反映建筑物方位信息的邊緣，邊緣匹配的結果會因此受到影響。因此本文算法設定了一個判斷模塊(見圖1)，對邊緣匹配結果進行統計，如果可見光邊緣圖中匹配邊緣的數目與邊緣總數目的比例小于某一預設閾值(本文經實驗指導設定為0.2)，則直接利用單一的可見光邊緣圖進行建筑物輪廓提取。同時，實驗中發現，如果減小匹配度閾值match-threshold，可以增加匹配邊緣的數目，降低漏警，但虛警也隨之增加。因此該參數的取值應在虛警和漏警之間折衷考慮。

3)如果僅采用可見光圖像邊緣提取建筑物輪廓，則容易受到圖像中非建筑物目標和背景噪聲的干擾，導致大量的虛警，并且感知組合的搜索空間明顯增大，而采用基于SAR 圖像和可見光圖像融合的方法可以通過邊緣匹配有效地降低虛警，提高建筑物輪廓提取的準確率，并且減少感知組合的搜索空間。對比實驗結果驗證了這一結論。圖9(a)給出了根據單一的可見光圖像進行建筑物輪廓提取的實驗結果，以黑色矩形表示。可以看出，圖9(a)正確檢測出6 個目標，存在1 個漏警，4 個虛警。從檢測性能上來看，與圖8(f)相比，圖9(a)的查全率不變，查準率由86%下降為60%.從運行速度上來看，在Intel Pentium 2.6 GHz 處理器，2 GB 內存的硬件配置下，采用Matlab7.1 的編程環境，基于SAR 和可見光圖像融合的建筑物提取實驗的運行時間約為20 s，約為僅采用可見光邊緣圖進行建筑物提取實驗所需時間的1/2.

4)如果僅采用SAR 圖像邊緣提取建筑物輪廓，則會導致大量的漏警，這是由于SAR 圖像的幾何變形和斑點噪聲比較嚴重，可解譯性較差，提取的邊緣不完整的原因造成的。圖9(b)給出了根據單一的SAR 圖像進行建筑物輪廓提取的實驗結果，以白色矩形表示。可以看出，圖9(b)正確檢測出4 個目標，存在3 個漏警，無虛警。從檢測性能上來看，與圖8(f)相比，圖9(b)的查全率由86% 下降為57%.對部分低分辨率SAR 圖像來說，漏警現象更加嚴重，除了2 面角反射器形成的高亮線條以外，建筑物屋頂其它部分的邊緣幾乎不可辨別，因此基于邊緣和角點的感知組合方法對這類圖像幾乎失效。

圖8 基于圖像融合的建筑物輪廓提取Fig.8 Building outline extraction based on image fusion

圖9 基于單一圖像的建筑物輪廓提取Fig.9 Building outline extraction based on single image

6 結束語

提出了一種基于SAR 圖像和可見光圖像融合的建筑物輪廓提取算法。該算法充分利用建筑物在SAR 圖像和可見光圖像中所表現的共性和互補特征，通過提取兩種不同傳感器圖像中建筑物目標的比較穩定的結構特征邊緣，采用邊緣匹配和感知組合的方法提取建筑物的屋頂輪廓。理論分析與實驗結果表明，本文算法中的結構特征邊緣提取模塊可以濾除大量雜亂無章的邊緣，邊緣匹配模塊可以減少感知組合的搜索空間，感知組合模塊能夠充分利用圖像的底層特征獲取建筑物的準確表征，基于屋頂均勻性驗證可以有效地去除感知組合的虛警。如何使算法在更復雜的背景中提取形狀更復雜的建筑物目標將是作者未來的研究目標。

References)

［1］Wang Y Q，Tang M，Tan T N，et al.Detection of circular oil tanks based on the fusion of SAR and optical images［C］∥Proceedings of the third International Conference on Image and Graphics，US:IEEE Computer Society Press，2004:524 -527.

［2］Weydahl D J，Bretar F，Bjerke P.Comparison of RADARSAT-1 and IKONOS satellite images for urban features detection［J］.Information Fusion，2005，6(3):243 -249.

［3］Simonetto E，Oriot H，Garello R.Rectangular building extraction from stereoscopic airborne radar images［J］.IEEE Transactions on Geoscience and Remote Sensing，2005，43(10):2386 -2395.

［4］Simonetto E，Oriot H，Garello R.Rectangular building extraction from stereoscopic airborne radar images［J］.IEEE Transactions on Geoscience and Remote Sensing，2005，43(10):2386 -2395.

［5］Thiele A，Cadario E，Schulz K，et al.Building recognition from multi-aspect high-resolution InSAR data in urban areas［J］.IEEE Transactions on Geoscience and Remote Sensing，2006，45(11):3583 -3593.

［6］Tupin F，Roux M.Detection of building outlines based on the fusion of SAR and optical features［J］.Journal of Photogrammetry＆ Remote Sensing，2003，58(1 -2):71 -82.

［7］Mayer H.Automatic object extraction from aerial imagery:a survey focusing on buildings［J］.Computer Vision and Image Understanding，1999，74(2):138 -149.

［8］Shufelt J A.Performance evaluation and analysis of monocular building extraction from aerial imagery［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1999，21(4):311 -326.

［9］Noronha S，Nevatia R.Detection and modeling of buildings from multiple aerial images［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2001，23(5):501 -518.

［10］Kim Z W，Nevatia R.Automatic description of complex buildings from multiple images［J］.Computer Vision and Image Understanding，2004，96(1):60 -95.

［11］Lin C，Huertas A，Nevatia R.Detection of buildings using perceptual grouping and shadows［C］∥Proceedings of the 1994 IEEE Computer Society Conference on Computer Vision and Pattern Recognition，US:IEEE Computer Society Press，1994:62 -69.

［12］Iqbal Q，Aggarwal J K.Retrieval by classification of images containing large manmade objects using perceptual grouping［J］.Pattern Recognition，2002，35(7):1463 -1479.