馮鵬++高峰
摘 要: 闡述了道路信息提取的重要性和一般步驟及基本思路,通過對高分辨率遙感圖像中道路信息提取方法利用道路特征的不同進行了分類整理,并對經典方法進行分析,希望能對找到一種具有普適性的道路提取方法起到事半功倍的效果。在此基礎上結合當前科技發展的方向,從道路提取的基本思想出發,對道路特征提取研究的前景做出展望。
關鍵詞: 高分辨率; 遙感影像; 道路特征提取; 圖像處理
中圖分類號: TN911.73?34 文獻標識碼: A 文章編號: 1004?373X(2015)17?0053?05
Method of road information extraction in high resolution remote sensing images
FENG Peng, GAO Feng
(National Key Ladoratory of ATR, National University of Defense Technology, Changsha 410073, China)
Abstract: The importance, general steps and basic ideas of road information extraction are elaborated in this paper. The road information extraction methods of high-resolution remote sensing images are classified according to different road characteristics. It is in the hope that a road information extraction method with strong universality can be found to yield twice the result with half the effort. On this basis, and in combination with the current development direction of science and technology and the basic thought of road feature extraction, the prospect of research on road feature extraction is pointed out.
Keywords: high resolution; remote sensing image; road feature extraction; image processing
進入新世紀以來,高分辨率遙感衛星的使用越來越多,海量高分辨率遙感圖像的獲得,深刻的影響著人們日常生活和科技發展,例如電子導航地圖、自然災害預警、土地利用檢測等。大量衛星應用帶來了海量的圖像數據,如何快速準確地處理這些圖像數據,從中找出人們關注的信息,濾去人們不關注的信息成為研究的熱點[1]。在人們關注的諸多信息中,道路信息是最基礎和最重要的地理信息之一,隨之,道路信息提取的技術方法研究便成為一門新興的科學技術[2]。高分辨率影像中含有非常豐富的地物信息,道路目標也越來越多、越來越清晰,但是仍存在各種干擾,例如:樹木、綠化帶和建筑物的陰影或遮擋、道路上的車輛、各種交通標志線等,所以研究高分辨率遙感圖像中的道路提取方法具有重要的科學意義[3]。本文從道路提取的一般步驟和基本思路、國內外研究現狀和道路提取的發展前景三部分。闡述了高分辨率遙感圖像中道路信息的提取方法。
1 道路提取的一般步驟和基本思路
從20世紀70年代開始,經過幾十年道路信息提取的研究,文獻[4]在前人的基礎上提煉出非常經典和實用的道路模型,如圖1所示。該模型完整地體現了道路在三個不同層面——真實世界層、幾何和材質層及圖像層上的表現形式,尤其是在圖像層中顯示出的特性為道路提取提供了明確的指引和依據。
在對圖像的處理上,文獻[5]提出了按照Marr視覺理論分三個層次從高分辨率遙感影像上提取道路的思想;文獻[6]歸納了圖像中道路特征信息提取的一般過程,如圖2所示。
圖像預處理:在進行道路提取時,一般要對原始圖像進行預處理,以提高圖像的質量。通常應用的手段有直方圖均衡化和濾波處理等。圖像直方圖均衡化用來改善圖像的視覺效果[7];采用均值濾波器或中值濾波器對圖像進行平滑處理,以去除圖像上的噪聲和孤立點。還包括一些其他圖像處理手段,如:圖像校正、圖像增強等。
低層次處理:主要是把原始圖像轉換為便于提取道路特征的圖像,例如二值圖像;或者是將圖像進行閾值分割,劃分出含有道路信息的區域等。
中層次處理:對進行過處理的圖像進行分析,提取出道路特征。包括幾何特征、輻射特征、拓撲特征和上下文特征,每個特征所含有的意義不同,所用的處理方法也不同。幾何特征主要是道路的形狀特征(長、寬)、方向特征(有鮮明的方向性,且不會突然變化過大)和坡度變化(具有緩慢的海拔高度變化)。輻射是道路目標映射到高分辨率影像上呈現出和鄰近區域不同的灰度,并且由于道路目標周圍地物的影響,如:路旁樹木、路邊房屋、路面汽車等,道路目標在影像上可能會出現斷裂或斑駁。拓撲特性指道路通常是相互連接成網狀,并且每條道路的兩端只有兩種情況:與另一段道路相連和延伸到圖像邊界外。上下文特征是指居民區中道路一般緊鄰房屋、綠化帶、廣場通道,道路旁邊一般有樹,有的高分辨率影像上的道路中間的綠化帶、行車標示、斑馬線等也能顯示出來。
高層處理:用計算機技術等手段,將經過中層處理后的圖像上的道路特征按一定的規則組織起來,利用要素的結構和關系、道路模型以及與道路有關的規則、知識理解識別道路。
2 高分辨率影像上提取道路的現狀
根據道路提取方法利用的特性信息不同,可以分為以下幾類:
2.1 基于灰度特性的方法
(1) 遙感影像中道路目標和背景區域在灰度值上有著較為明顯的區別,在灰度分布規律上也有不同的分布規則(即紋理特征),據此提出利用數學形態學方法提取道路信息。數學形態學是一種基于集合理論的非線性圖像處理和分析的理論,基本思想是基于像素間的邏輯關系對數字圖像進行分析處理[8]。其操作簡單,效果良好,被廣泛研究,然而此法的適用范圍有限[9]。文獻[10]首先利用數學形態學的方法,將影像進行分割提取出基本輪廓,再用形態學方法進行去毛刺、填補孔洞等步驟最終提取道路。并在灰度形態學的基礎上,先將圖像二值化并分割出道路網的輪廓,再進一步使用膨脹和腐蝕等算法進行去噪聲和細化處理。運用數學形態學在遙感圖像上提取道路網方法的基本過程如下:
首先對影像進行直方圖均衡化的預處理,在此基礎上,設定一定的閾值分割圖像,分割出含有道路信息的二值化圖像[11];然后對分割出的二值化圖像的噪聲進一步處理,得到更清楚的道路信息;最后一步是利用形態學上的腐蝕和重建方法進行恢復圖像,從而得到道路網信息,如果想得到更完整的道路網,則可以利用開閉運算進行處理[12];進一步對圖像進行數次的形態修剪和細化就能得到道路的中心線。方法主要應用了腐蝕與擊中擊不中變換、開閉運算和重建運算等數學形態學算子[13],上述方法對中低分辨率的圖像處理效果不錯,但是在高精度的圖像上處理效果不太理想。
(2) 在遙感影像上對道路的剖面研究發現[14],道路剖面存在著灰度梯度變化的極值([p1]和[p2]處)。這樣就可以利用指定的起始剖面,得到道路的寬度[W,]道路前進方向以及道路邊緣的一對灰度梯度極值([p1,][p2]處),通過得到的信息找到下一個滿足以上條件的道路剖面,由此提取整個道路,如圖3所示。
2.2 基于線、面特征的道路網提取方法
在中、低分辨率的遙感影像中道路呈現出直線的特性,尤其是道路的邊緣特征較為明顯。而在高分辨率遙感影像中,道路呈現出長條狀區域特性。根據這些特性,產生了以下不同的道路提取方法:
(1) 平行線法,文獻[15?20]研究了基于人工智能的自動識別道路的方法。該方法源于Marr的視覺理論,主要在三個層次上進行研究:基于低層次的邊緣檢測和鏈接;基于中層次的特征信息處理;基于高層次的特征識別處理。其關鍵在于在連接好的邊緣中產生表示道路邊緣的平行線對特征,以及識別平行線對是否為道路的識別策略。此類提取方法對提取背景簡單的高速公路等整體走向較為平直的市區外道路效果不錯,但不能提取出道路的寬度信息。
(2) Hough變換方法,依據道路直線特征的全局化,用Hough變換直接檢測目標輪廓,這種方法能將影像上道路邊緣不連續的像素點連接起來。對已經進行閾值分割的含有道路輪廓的城市道路圖像,再做Hough變換,可以達到道路段可能存在的直線,判斷這些直線是不是道路上的直線,如果是則標記并連接成網,再通過進一步的修剪得到切合實際的道路網[21]。Hough具有去除噪聲和直線間斷對提取結果影響的優點,但也存在著不能完全去除點間距離帶來影響的缺點。但是在對城市直線道路提取過程中,此方法能有效地去除道路上汽車和路邊建筑物陰影對道路提取的影響[20,22]。
(3) 城市主路自動提取方法[23],該方法采用先局部后整體的思路,先將整幅圖像分塊,然后提取出子塊上的道路直線,再按照一定的編組規則將這些子塊上的直線連接成道路網,提取過程安全自動化,實驗結果也達到了滿意的效果。
(4) 基于Snakes模型[24]提取道路的算法及改進算法。Snakes模型是一種自上而下的充分利用高級信息處理過程的模型,主要優點是圖像數據、初始估計、目標輪廓特征及基于知識的約束條件都集成在一個特征提取過程中。經過適當的初始化后,能夠自主收斂到能量極小值狀態。Snakes模型的數學表示為:
[Etotal=01EsnakeV(s)ds=01EintV(s)+EextV(s)ds]
通過求能量函數的最小值達到提取目標的目的[4,25?26]。文獻[27]提出了多分辨率模板匹配與LSB?Snake模型相結合的道路半自動提取方法。首先利用已有的方法提取道路的中心線,結合道路已知特征為約束條件構造出一個LSB?Snake模型的能量函數,在已知道路中心點對LSB?Snake處進行位置初始化,經過多次迭代運算后得到道路的中心線。文獻[28]提出一種利用模板匹配和B spline Snake(B?Snake)算法準自動提取高分辨率遙感影像面狀道路的方法,僅利用兩個種子點,通過自動搜索獲取道路兩邊緣的B樣條曲線,達到準自動提取道路的目的。
(5) 基于最小二乘的道路提取方法。最小二乘法在道路提取中應用較為廣泛,多結合B樣條曲線和Snakes模型等配合使用,也能達到較好的效果[29]。最小二乘模板匹配的方法首先是給出特征點的初始值,然后用最小二乘平差模型估計模板與影像之間的幾何變形參數。該方法可便捷的加入約束條件,獲得較高的精度,結果和精度評定方法比較成熟[30]。其基本方法是:在要提取道路的遙感影像上,沿道路方向標記數個種子點,將這些種子點的數據代入最小二乘法的公式里面,構造一個關于道路和種子點的具有一定預設寬度值信息的B樣條曲線;對構造的B樣條曲線和GIS信息系統中的數據進行校準,從而得到道路曲線;通過得到的道路曲線能很容易求出其中心線的信息或者方程。如果有這一地區的同一時間點不同攝影角度的幾幅影像,則可以利用外部幾何約束光度方程得到道路的三維坐標[31?32]。
2.3 基于知識的道路網提取方法
(1) 基于拓撲特性的網狀模型法。城市道路網通常是相互交叉連接在一起,形成網狀。此方法充分利用道路的這一特征,首先構造出一個評價道路聯通交織的函數,再將用各種不同的提取方法提取出來的“疑似道路片段”代入函數進行評價,最終將符合函數要求的“疑似道路片段”聯通成交織相通的道路網[33]。
(2) 動態規劃法。此方法的最大創新是將道路上的像元用來描述道路交織聯通的最優化問題,將道路片段聯通交織的問題轉化成一個尋找最優解的問題。該方法首先在道路內設定數個種子點,再造一個關于道路一般形式的參數模型,而這個參數模型就是那些預設的種子點的一個代價函數,最后利用動態求解規劃的方法尋找出那些預先設定的種子點間的最優路徑,這樣就得到要提取的道路網信息[34?36]。但在此方法中由于要對道路上的所有像元進行運算以求最優解,所以會造成極大量的計算信息儲存空間。而對于圖像上邊緣不清晰的道路段,提取直線信息是很難的,所以文獻[37]使用了相位編組原理對弱邊緣道路段選取,然后連接成道路網,再利用動態規劃的方法,將這些提取出來的邊緣線聯通交接,最后構成完整的網狀結構道路,得到了滿意的結果。
(3) 多分辨率提取算法。不同分辨率的影像中道路的特征也不盡相同,分辨率低的圖像中道路一般以一定寬度的直線形式出現,而分辨率高的圖像中道路則會出現帶狀的特征,能良好地反映出道路的寬度和邊緣信息,利用這一分辨率不同帶來的不同特征差異,可以從同一地區不同分辨率的圖像上分別提取道路的中心線和邊緣線以及寬度信息,能夠有效地避開在不同分辨率圖像上各種噪聲帶來的影響[38?39]。
(4) 基于啟發式圖搜索的道路提取。文獻[40]使用啟發式圖搜索法實現了道路的半自動跟蹤。它的基本思路是:進行道路信息增強;在幾何特性和輻射特性的描述上對傳統的道路數學模型進行擴展,并依此構建圖搜索的代價函數,實現基于啟發式圖搜索法的道路半自動跟蹤。
(5) 基于數學理論的方法。此類提取道路的方法主要有:神經網絡法[41],將道路擬成同源區域,檢測道路和背景的波普差異,再進行賦值判斷運算,該方法在IKONOS和Quick?Bird的圖像上實驗結果良好。道路邊緣自取法[42?43],將道路邊緣看成是平行線對,首先用邊緣檢測算子和融合算法提取出圖像中道路邊緣線多邊形,再將此局部的道路木匾設為種子,最后將道路種子連接重建道路網。標點隨機過程理論運用[44?45],根據隨機框架對任意數量、位置,采用任意參數定義的待分析目標進行建模,它定義了一個關于泊松的密度函數,用這些參數定義目標的幾何特性。小波理論方法[46],利用小波系數的極大值檢測道路交叉點,然后基于檢測的道路交叉點,跟蹤形成道路的中心線,利用小波系數標準差去除偽節點、產生新節點,最終用Dauglas?PEU Cker算法簡化描述。張量表決機制法[45],首先采用SVM(支持矢量機)將圖像劃分成道路和非道路兩類,然后再采用張量表決機制技術提取出道路的中心輪廓。
3 道路提取研究發展趨勢
結合道路提取研究幾十年的發展軌跡和科技進步的方向,道路提取研究將朝著以下幾個方向發展。
3.1 上下文信息
高分辨率遙感影像提供了細節更為豐富的道路上下文信息,路邊的樹木和植被、路上的車輛和行人、路中間的道路隔離帶以及道路上那些指示車輛行駛交通標示線都稱為可以佐證道路存在的重要上下文信息。這樣豐富的上下文信息在對遙感影像進行區域分割時有著十分重要的意義,能使得道路區域和背景區域的劃分更為清晰和準確。文獻[47]提出利用道路的上下文信息,通過數學形態學的知識實現局部城區道路的半自動化提取。利用豐富的上下文信息進行輔助道路提取或者是直接進行道路提取,相信通過進一步研究,利用上下文信息提取道路可以取得更令人滿意的提取效果。
3.2 基于多領域知識融合的方法
道路提取的研究一直沒有一套完整的可以適應任何背景、任何傳感器影像的普適方法,所以應綜合各種方法的優點,進行融合式方法研究是亟需解決的問題。例如,人工智能可以將道路提取自動化;模式識別使道路提取更加“擬人”化;而數學、計算機視覺和圖形學則可以使道路提取更加精確和快速。只有將各領域內適合道路提取的先進知識引入道路提取的研究中,才能將道路提取這個復雜的過程簡便化,才能將得到的結果準確度提高,使得到的道路“質量”明顯提升。
參考文獻
[1] 趙英時.遙感應用分析原理與方法[M].北京:科學出版社,2003.
[2] JENSEN J R. Introductory digital image processing: A remote sensing perspective [M]. New Yersey: Pearson Education, 2005.
[3] JIN X, DAVIS C H. An integrated system for automatic road mapping from high?resolution multi?spectral satellite imagery by information fusion [J]. Elsevier Science Information Fusion, 2005, 6(4): 257?273.
[4] MAYER H, LAPTEV I, BAUMGARTNER A, et al. Automatic road extraction based on mulit?scale modleing, context, and snakes [J]. International Archives of Photogrammetry and Remote Sensing, 1997, 12(30): 106?113.
[5] OFTEN R J. VLSI image processing [M]. US: McGraw Hill Higher Education, 1986.
[6] 史文中,朱長青,王昱.從遙感影像提取道路特征的方法綜述與展望[J].測繪學報,2001,30(3):257?261.
[7] 張強,王正林.精通MATLAB圖像處理[M].北京:電子工業出版社,2009.
[8] 孫即祥.圖像分析[M].北京:科學出版社,2007.
[9] 朱長青,王耀革,馬秋禾,等.基于形態分割的高分辨率遙感影像道路提取[J].測繪學報,2004,33(4):347?351.
[10] ZHANG C S, MURAI S, BALTSAVIAS E. Road network detection by mathematical morphology [C]// Proceedings of 1999 ISPRS Workshop on 3D Geospatial Data Production: Meeting Application Requirements. Paris: ISPRS, 1999: 185?200.
[11] 王耀革.基于數學形態學的遙感影像道路提取[D].鄭州:中國人民解放軍信息工程大學,2003.
[12] 李利偉,劉吉平,尹作為.基于數學形態學的高分辨率遙感影像道路提取[J].遙感信息,2005(5):9?11。
[13] 李利偉.數學形態學在遙感影像道路提取中的應用研究[D].武漢:武漢大學,2005.
[14] 張斯琪.基于剖面分析與擴展Snakes模型的高分辨率遙感圖像道路提取方法研究[D].南京:南京師范大學,2010.
[15] YUILLE A L, COUGHLAN J M. Fundamental limits of Bayesian inference:order parameters and phase transitions for road tracking [J]. IEEE Transform on Pattern Analysis and Machine Intelligence, 2000, 22(2): 160?173.
[16] TRINDER J C, WANG Y D, SOWMYA A, et al. Artificial intelligence in 3D feature extraction automatic extraction of man?made objects from aerial and space images(2) [M]. Basel: Birkhaeuser Verlag, 1997.
[17] TON J, JAIN A K, ENSLIN W R, et al. Automatic road identification and labeling in landsat 4 TM images [J]. Photogrammetric, 1989, 43(5): 257?276.
[18] XIAO Y, TAN T S, TAY S C. Utilizing edge to extract roads in high?resolution on satellite imagery [C]// 2005 IEEE Intemational Conference on Image Processing. [S.l.]: IEEE, 2005: 637?640.
[19] MCKEOWN D M, DENLINGER JL. Cooperative methods for road tacking in aerial imagery [C]// Proceedings of 1988 IEEE Conference on Computer Vision and Pattern Recognition. Michigan: IEEE, 1988: 662?672.
[20] 章毓晉.圖像分割[M].北京:科學出版社,2001.
[21] 呂健剛,韋春桃.基于Hough變換的高分辨率遙感影像城市直線道路提取[J].遙感應用,2009(3):15?18.
[22] 王培法,王麗,馮學智,等.遙感圖像道路信息提取方法研究進展[J].遙感技術與應用,2009,24(3):284?290.
[23] 文貢堅,王潤生.從航空遙感圖像中自動提取主要道路[J].軟件學報,2000,11(7):957?964.
[24] KASS M, WITKIN A, TERZOPOULOS D. Snakes: Active contour models [J]. International Journal of Computer Vision, 1988, 1(4): 321?331.
[25] BAUMGARTNER A, ECKSTEIN W, HEIPKE C et al. T_REX: TUM research on road extraction [C]// Festschrift for Professor Dr. Ling. [S.l.]: [s.n.], 1999, 43?64.
[26] 劉少創,林宗堅.航空遙感影像中道路的半自動提取[J].武漢測繪科技大學學報,1996,21(3):258?264.
[27] 夏春林,張靜,褚廷有.基于高分辨率遙感影像的道路半自動提取方法研究[J].測繪科學,2008,33(5):140?142.
[28] 孟樊,方圣輝.利用模板匹配和B?Snake算法準自動提取遙感影像面狀道路[J].武漢大學學報:信息科學版,2012,37(1):39?42.
[29] 宋富林,劉榮.遙感影像中提取道路的方法綜述和展望[J].水利科技與經濟,2005(10):636?638.
[30] 李燕,余旭初.基于啟發式圖搜索的遙感影像道路半自動提取[J].測繪學院學報,2002(4):268?270.
[31] PARK S R, KIM T. Semi?automatic road extraction algorithm from IKONOS images using template matching [C]// Procee?dings of 2001 22nd IEEE Asian Conference on Remote Sen?sing. [S.l.]: IEEE, 2001, 3: 1209?1213.
[32] SHUKLA V C, RAMACHANDRAN R. Semi?automatic road extraction algorithm for high resolution images using path following approach [C]// 2002 IEEE Indian Conference on Computer Vision Graphics & Image Processing Ahmadabad. [S.l.]: IEEE, 2002, 6: 201?207.
[33] MONGA O, ARMANDE N, MONTESINOR P. Thin nets and crest lines: application to satellite data and medical images [J]. Computer Vision and Image Understanding, 1997, 67(3): 285?295.
[34] GRUEN A, LI H H. Semiautomatic linear feature extraction by dynamic programming and LSB?snakes [J]. Photogramme?tric Engineering & Remote Sensing, 1997, 63(8): 985?995.
[35] DAL POZ A P, ZANIN R B, VALE G M. Automated extraction of road network from medium and high?resolution images [J]. Pattern Recognition and Image Analysis, 2006, 16(2): 239?248.
[36] AMO M, MARTINEZ F, TORRE M. Road extraction from aerial images using a region competition algorithm [J].IEEE Transactions on Image Processing.2006, 15(5): 1192? 1201.
[37] 周紹光,黎瑾慧.高分辨率遙感影像中提取復雜道路的新方法[J].計算機工程與應用,2008,44(35):190?193.
[38] BAUMGARTNER A, STEGER C, MAYER H, et al. Automatic road extraction in rural areas [J]. Photogrammetry and Remote Sensing, 1999, 3(2): 107?112.
[39] 郭丙軒,董玲燕,李齊,等.基于不同分辨率的道路半自動跟蹤[J].測繪信息與工程,2009,34(1):21?23.
[40] STEGER C,MAYER H,RADIG B. The role of grouping for road extraction [C]// Proceedings of 1997 the Centro Stefano Franscini. Basel: Birkhaeuser Verlag, 1997: 245?255.
[41] MOKHTARZADE M, VALADAN ZOEJ M J. Road detection from high?resolution satellite images using artificial neural networks [J]. International Journal of Applied Earth Observation and Geoinformation, 2007, 9(1): 32?40.
[42] PETERI R, CELLE J, RANCHIN T. Detection and extraction of road networks from high?resolution satellite [C]// Procee?dings of 2003 IEEE International Conference on Image Processing. [S.l.]: IEEE, 2003: 301?304.
[43] RENAUD P, THIERRY R. Multi?resolution snakes for urban road extraction from ikonoks and quickbird images [C]// Proceedings of 2003 the 23rd EARSeL Symposium. [S.l.]: EARSeL, 2003: 69?76.
[44] ZHENG S, LIU J. Road central contour extraction from high resolution satellite image using tensor voting framework [C]// Proceedings of 2006 IEEE International Conference on Machine Learning and Cybernetics. Dalian: IEEE, 2006: 3248?3253.
[45] ZHAO H J, KUMAGAI J, NAKAGAWA M, et al. Semiautomatic road extraction from high?resolution satellite image [C]// Proceedings of 2002 IEEE Photogrammetric Computer Vision. Graz: IEEE, 2002: 406? 411.
[46] ZHANG Q, COULOIGNER I. A wavelet approach to road extraction from high spatial remotely? sensed imagery [J]. Geomatica, 2004, 58(1): 411?441.
[47] 李成范,劉嵐,周廷剛,等.基于行道樹的高分辨率遙感影像道路提取研究[J].遙感信息,2009(1):32?35.