條件隨機場框架下基于隨機森林的城市土地利用/覆蓋遙感分類

楊耘， 徐麗， 顏佩麗

(1.長安大學地質工程與測繪學院，西安 710054； 2.長安大學西部礦產資源與工程教育部重點實驗室，西安 710054； 3.長安大學信息工程學院，西安 710061； 4.西安長慶科技工程有限責任公司，西安 710018)

0 引言

在利用高分辨率遙感圖像進行土地利用/覆蓋分類中，空間上下文及語義信息的描述及利用是項關鍵技術。馬爾科夫隨機場(markov random fields，MRFs)可對圖像的空間關系進行建模，但它需要假設或估計圖像的條件和先驗概率[1]。條件隨機場(conditional random fields，CRFs)是Lafferty于2001年針對自然語言處理問題提出的一種判別式概率模型框架。在圖像處理中，CRFs在空間上下文的表達及后驗概率建模方面有其獨特優勢[2]，已被廣泛應用到計算機視覺領域的自然圖像目標類分割、視頻目標跟蹤[3-6]等方面。CRFs僅是一個模型框架，如果待處理的數據或目的不同，以及采用的圖像分析方法不同，則模型具體形式也不盡相同。近年來，國內外學者[7-9]開展了CRFs在遙感領域的應用研究，但針對高分辨率遙感圖像分類的研究相對較少。前人利用不同傳感器圖像(如多光譜、高光譜及SAR圖像等)提取土地利用/覆蓋分類信息并圍繞如何有效表達目標空間上下文及語義信息這一關鍵技術開展了CRFs模型研究，為CRFs在遙感領域的推廣應用作出了重要貢獻，但大多集中在基于超像素的CRFs模型研究上。同其他面向對象分類方法一樣，基于超像素的CRFs模型也存在分割質量對分類精度影響大的問題。在這一背景下，本文開展了“考慮空間上下文信息的基于像素的CRFs模型能否在m級分辨率的IKONOS和QuickBird等多光譜遙感圖像分類中表現良好”這一問題的研究。

另一方面，已有研究[10-11]表明，隨機森林(random forests，RF)算法[12]在多光譜、高光譜遙感圖像分類中能與支持向量機(support vector machine，SVM)算法相競爭。在這種情況下，本文提出了適用于城市土地利用/覆蓋高分辨率遙感分類的基于像素的RF-CRFs模型。

1 基于像素的RF-CRFs模型

1.1 概率圖的建立

概率圖的建立是基于CRFs模型分類的前提和基礎。本文中，以圖像的每個像素為結點建立一個概率圖G(V,E)，如圖1(a)所示。其中，V是像素表示的結點集合{nri,i=1,…,9}，每個結點包含觀測變量的結點(圖1(b)深灰色表示)和其標簽變量的結點(圖1(b)淺灰色表示)；E是結點i與其相鄰結點j的連線表示的無向邊集合(i,j)∈E，每個結點都具有4/8鄰域(本文采用8鄰域結構)。與不規則概率圖模型相比，這類圖模型更容易推理。

(a) 以像素為結點的4鄰域概率圖(b) 4鄰域概率圖的立體表示

1.2 特征提取

對于高分辨率遙感圖像分類來說，除了光譜特征以外，紋理也是一項重要的特征[13]。其中，Texton 濾波器可產生多尺度多方向的紋理特征； 與Gabor濾波器相比，它同時描述了目標的紋理、空間位置以及上下文信息多種特征[3]。本文選用5像素×5像素大小為窗口的Texton 濾波器來描述目標多尺度多方向的空間結構。

方向梯度直方圖(histogram of oriented gradient，HOG)是計算局部圖像梯度方向信息統計值的圖件(目標的色調和形狀能夠被梯度或邊緣的方向密度分布很好地描述)。在城區，主要土地利用類型是建筑物和道路，用方向梯度直方圖可較好地反映這些特征。

上述特征可用一個高維特征向量來表示，并作為各結點的觀測值，但存在特征維數過高及特征分量之間相關的問題。提升(boosting)技術是一種常用的特征優化方法。但本文實驗表明： 該技術對復雜場景遙感圖像的分類效果改善不大，反而會增加分類的時間代價； 而RF算法具有降低特征分量之間相關性的優勢，其分類效果能與常用的SVM算法相競爭。因此，本文將RF與CRFs框架有機集成來定義RF-CRFs模型，用于高分辨率圖像分類。

1.3 勢函數的定義

1.3.1 基于隨機森林的關聯勢函數

二階CRFs模型的一般形式[2]為

，

(1)

式中：xi，yi分別表示概率圖中第i個結點的觀測值及其類標簽；Z(x)為歸一化常數；w,v分別表示關聯勢函數和交互勢函數的參數向量；β為調節關聯勢能和交互勢能的權重。關聯勢函數?i表達了第i個觀測變量xi取標簽yi的概率，交互勢函數φij反映了變量xi與其相鄰變量xj之間的相關性及其各自標簽yi與yj的相關性。

關聯勢函數的定義對CRFs模型的分類起主要作用，它通常利用某判別分類器的直接或間接概率輸出來定義。常見的判別分類器有： 邏輯回歸、SVM及RF等。其中RF是一種采用集成策略的分類器[12]，在遙感圖像分類中得到了較好應用。與其他分類器相比，RF分類器具有3個特點： ①RF可適用于大數據量的分類，在高維數據分類中更能體現出其速度快、精度高以及對噪聲魯棒的優勢[14]； ②與SVM不同，RF的輸出是個概率值，它可直接集成到CRFs模型框架中； ③RF可以直接擴展到多值分類中(RF分類原理參見文獻[10])。

本文引入RF分類器來定義關聯勢函數?i。對于變量xi及其標簽yi，當yi=l，?l∈L(L為標簽集合)時，則有

(2)

式中:K是決策樹總數；Tk(xi,θk)中k=1,…，K；θk是描述第k個決策樹的獨立同分布參數向量；δ為示性函數，其定義參見文獻[14]。

利用式(2)定義的RF后驗概率可將CRFs關聯勢函數定義為

?i(yi,xi)=logP(yi|xi)。

(3)

本文對決策樹總數、決策樹最大深度和最大特征數這3個參數分別取經驗值為50，2和10。

1.3.2 特征對比度加權Potts函數的交互勢函數

本文采用對圖像特征對比度敏感的Potts模型來定義交互勢函數，其表達式為

φij(yi,yj,xi,xj,v’)=v’Tu(xi,xj)δ’(yi,yj) ,

(4)

式中：v’是待學習的參數向量；δ’是Potts函數，其定義參見文獻[2]；u(xi,yj)是特征函數。

u(xi,xj)的定義是交互勢函數定義的關鍵。對于城區高分辨率遙感圖像，房屋與道路的光譜、紋理、形狀特征相近，而高程信息是鑒別這兩類目標的有效特征。但目前獲取高分辨率的高程數據成本較高，因此要融合多種特征(如光譜、多尺度多方向的紋理及方向梯度直方圖等)才能提高分類的精度。基于以上分析，本文將u(xi,xj)定義為

u(xi,xj)=1-exp(-‖f(xi,xj)‖2) ,

(5)

式中f(xi,xj)為廣義特征對比度向量，其形式為

f(xi,xj)=[1,|xi1-xj1|,…,|xim-xjm|,…,|xiM-xjM|],

(6)

其中xim，xjm分別表示觀測變量xi，xj的第m(m=1,2,…,M)維分量。組合式(5)(6)，便構成了完整的RF-CRFs模型。

2 模型實現

選取一定數量的訓練樣本，采用分項學習法[3]對RF-CRFs模型參數集{w,v,β}進行訓練。模型參數學習后，便可對標簽未知的圖像數據進行分類，即模型推理。本模型屬于多標簽的二階CRFs模型，對應的Gibbs能量是非亞模(non-submodular)的。因此，常用的模型推理方法僅能實現近似推理。考慮到圖模型中結點數眾多，本文采用基于圖割(graph cut)的α-膨脹算法[2]進行快速推理。

上述過程是基于Darwin機器視覺庫[15]，用Matlab和C++混合編程方式二次開發實現的。

3 實驗及分析

3.1 實驗

選取2005年7月武漢城區QuickBird多光譜圖像為測試數據(如圖2(a))，圖像大小為412像素×412像素。SVM，RF和RF-CRFs模型對該圖像進行分類的結果如圖2(c)—(e)所示。

(a) QuickBird多光譜圖像(b) 分類地面參考數據(c) 基于像素的SVM分類(d) 基于像素的RF分類

(e) 基于RF-CRFs模型(f) (d)與(e)類標記結果(g) (c)與(e)類標記結果(h) (e)相對于(b)的分類的分類差異圖差異圖錯誤示意圖

從上述分類結果來看，與RF分類器相比，RF-CRFs模型的分類效果有所改善，改善之處可以從圖2(f)看出： 黑、白點分別表示了2種分類器對同一個結點輸出標簽的不一致性和一致性。其中，不一致性主要是由于RF-CRFs模型考慮了空間上下文信息，而RF分類器沒有考慮而造成的。因此，RF-CRFs模型的分類效果更好。

圖2(g)給出SVM與RF-CRFs模型分類結果的差異，可以看出二者的標記結果差異較大，其原因之一是SVM與RF-CRFs的分類原理存在較大差異，同時也間接反映了二者分類精度的差異。與其相比，RF與RF-CRFs的分類原理更相似，因此它們的標記結果差異較小，如圖2(f)所示。

從圖2(h)可以看出， RF-CRFs模型仍存在分類錯誤： 除目標邊緣像素外，目標內部存在錯分現象，錯誤主要在建筑物與陰影，以及建筑物與道路的混分上，如圖2(e)箭頭所示。

3.2 定量評價及分析

隨機選取訓練和檢驗樣本，利用混淆矩陣的總精度及Kappa進行精度評價，上述3種方法的分類精度如表1所示。

表1 3種方法分類精度對比

分析圖2和表1，可以得出：

1)對比RF與SVM這2種分類器的分類結果，RF的分類精度比SVM提高了4.56%，分類可靠性也有所增加。

2)圖2(d)(e)表明,與RF和SVM的分類結果相比，RF-CRFs模型分類結果中的“分類噪聲”減少，其分類精度比RF分類精度提高了3.35%，比SVM分類器提高了7.91%，表明交互勢能項對于緩解分類噪聲，提高分類精度有一定作用。

3)從圖2(f)可以看出，對于CRFs模型，關聯勢能對分類起主要作用，而交互勢能僅用于進一步改善分類效果。

4 結論

憑借CRFs在目標空間上下文特征建模及分類方面的獨特優勢，針對城區高分辨率遙感圖像的土地利用/覆蓋分類問題，本文開展了集成光譜、多尺度、多方向Texton紋理等多種線索的基于像素的RF-CRFs模型的定義研究。

實驗中，以典型城區的QuickBird多光譜圖像為實驗數據，開展了該模型的測試與分析。結果表明： 上述多特征融合的RF-CRFs模型的分類精度達82.52%以上，比無交互勢能的RF分類器提高了3.35%。因此，若特征及關聯勢函數定義合適，基于像素的RF-CRFs模型在m級分辨率的遙感圖像分類中表現良好，可作為高分辨率圖像的分類方法。

本文方法仍存在建筑物、道路以及陰影之間的混分現象。若無高程信息，這些現象很難避免。更重要的是，本文方法仍屬于基于像素的分類，仍不能夠表達大尺度的空間上下文信息(特別是語義信息)。因此，今后要開展多級空間上下文特征融合的CRFs模型研究。

參考文獻(References)：

[1] 楊紅磊,彭軍還.基于馬爾可夫隨機場的模糊c-均值遙感影像分類[J].測繪學報,2012,41(2):213-218.

Yang H L,Peng J H.Remote sensing classification based on Markov random field and fuzzy c-means clustering[J].Acta Geodaetica et Cartographica Sinica,2012,41(2):213-218.

[2] Sutton C,Mccallum A.An introduction to conditional random fields[J].Machine Learning,2011,4(4):267-373.

[3] Shotton J,Winn J,Rother C,et al.Textonboost for image understanding:Multi-class object recognition and segmentation by jointly modeling texture,layout,and context[J].International Journal of Computer Vision,2009,81(1):2-23.

[4] Baloch S,Cheng E,Fang T.Shape based Conditional Random Fields for Segmenting Intracranial Aneurysms[M]//Image-based Geometric Modeling and Mesh Generation.Netherlands:Springer,2013:55-67.

[5] 高琳,唐鵬,盛鵬,等.復雜場景下基于條件隨機場的視覺目標跟蹤[J].光學學報,2010,30(6):1721-1728.

Gao L,Tang P,Sheng P,et al.Visual object tracking based on conditional random fields under complex scene[J].Acta Optica Sinica,2010,30(6):1721-1728.

[6] 李玲玲,金泰松,李翠華.基于局部特征和隱條件隨機場的場景分類方法[J].北京理工大學學報,2012,32(7):720-724.

Li L L,Jin T S,Li C H.Scene classification based on local feature and hidden conditional random fields[J].Transactions of Beijing Institute of Technology,2012,32(7):720-724.

[7] Zhong P,Wang R.Modeling and classifying hyperspectral imagery by CRFs with sparse higher order potentials[J].IEEE Transactions on Geoscience and Remote Sensing,2011,49(2):688-705.

[8] Su X,He C,Feng Q,et al.A supervised classification method based on conditional random fields with multiscale region connection calculus model for SAR image[J].IEEE Geoscience and Remote Sensing Letters,2011,8(3):497-501.

[9] Hoberg T,Rottensteiner F,Heipke C.Context models for CRF-based classification of multitemporal remote sensing data[C]//ISPRS Annals of the Photogrammetry,Remote Sensing and Spatial Information Sciences.Melbourne,2012，1/7:129-134.

[10]劉毅,杜培軍,鄭輝,等.基于隨機森林的國產小衛星遙感影像分類研究[J].測繪科學,2012,37(4):194-196.

Liu Y,Du P J,Zheng H,et al.Classification of China small satellite remote sensing image based on random forests[J].Science of Surveying and Mapping,2012,37(4):194-196.

[11]雷震.隨機森林及其在遙感影像處理中應用研究[D].上海:上海交通大學,2012.

Lei Z.The research on random forests and its application to remote sensing image processing[D].Shanghai:Shanghai Jiaotong University,2012.

[12]Breiman L.Random forests[J].Machine Learning,2001,45(1):5-32.

[13]王東廣,肖鵬峰,宋曉群,等.結合紋理信息的高分辨率遙感圖像變化檢測方法[J].國土資源遙感,2012,24(4):76-81.

Wang D G,Xiao P F,Song X Q,et al.Change detection method for high resolution remote sensing image in association with textural and spectral information[J].Remote Sensing for Land and Resources,2012,24(4):76-81.

[14]Kontschieder P,Bulò S R,Bischof H,et al.Structured class-labels in random forests for semantic image labelling[C]//International Conference on Computer Vision.Barcelona:IEEE,2011:2190-2197.

[15]Gould S.Darwin:A framework for machine learning and computer vision research and development[J].Journal of Machine Learning Research,2012,13:3533-3537.