NMI特征優化邊界敏感的LSC遙感影像分割算法

琚麗君,田豐華,曾朝平

(1.河南測繪職業學院,鄭州 451464;2.鄭州華潤燃氣股份有限公司,鄭州 451464)

0 引言

隨著對地觀測技術的快速發展,影像的空間分辨率達到亞米級別。高分辨率遙感影像具有信息豐富、邊界輪廓清晰、光譜波段多等優點,該優點擴展了遙感影像的應用領域,但也增加了高分辨率遙感影像中有效信息的提取難度[1]。影像分割通過影像光譜、顏色以及紋理等信息,將整景影像分割成符合人眼視覺要求的多個區域,以增強區域內特征的一致性,同時突出不同區域差異性[2-3]。

傳統的基于像元的分割方法未考慮影像紋理細節信息,僅依靠影像光譜信息導致分割結果存在很大的不確定性,加上影像存在噪聲,分割結果出現“椒鹽噪聲”現象,給后續處理帶來新的問題[4-5]。基于深度學習的影像分割方法在樣本數據充足的情況下能獲取良好的分割結果,但不同季節、不同緯度區域、不同傳感器獲取影像分割效果不理想,而且基于深度學習的分割方法獲取地物分割邊界需要后期人工編輯[6-7]。在樣本數據不足情況下,為了獲取較為理想的分割結果,相關學者利用影像空間幾何、紋理特征以及光譜信息關系,將超像素分割方法[8-9]應用于遙感影像分割中,該類方法以聚類為基本思想,將影像分割成接近均勻、互斥的超像素塊,提高后期影像處理效率[10]。董志鵬等[11]提出簡單線性迭代聚類與最小生成樹融合的高分辨率遙感影像分割方法,該方法通過區域動態約束策略對超像素分割結果進行合并,獲取良好的分割結果;周佳超等[12]針對簡單線性迭代聚類(simple linear iterative cluster,SLIC)算法對遙感影像分割準確率、效率不足等問題,采用Wasserstein距離優化SLIC方法,在確保分割準確性的前提下提升算法運算效率;張銳等[13]提出標記分水嶺與改進超像素融合的遙感影像分割方法,該方法在超像素分割時充分應用影像顏色、空間、紋理等多種特征,對于過分割現象通過超像素合并的方法獲取最終結果。上述可知,由于遙感影像場景相比常規影像復雜得多,將SLIC超像素分割算法直接應用于高分辨率遙感影像分割鄰域時,較多的微小特征與紋理會導致超像素塊分割獨立地物現象,分割性能較差。李嬌嬌等[14]提出深度網絡模型的遙感影像分割方法,但在遙感場景復雜、目標地物的尺度不一致時,會導致算法處理效率低而且一景影像上不同地物的分割精度差別較大,因此需要較多樣本數據對模型進行優化。線性譜聚類(linear spectral cluster,LSC)[15]算法是一種較為新穎的超像素分割方法,其分割性能較高。

鑒于此,文中提出歸一化轉動慣量特征(normalized moment of inertia,NMI)優化邊界敏感的LSC遙感影像分割算法。首先,為了增強影像邊緣特征,在LSC初始化聚類中心時,對包含地物邊界初始超像素進行邊界約束,更新初始像素塊;然后,利用LSC算法對高分辨率遙感影像進行分割,獲取候選超像素結果,并統計微小超像素塊;最后,計算微小超像素塊與相鄰超像素塊的歸一化轉動慣性量相似性度量值,并將微小超像素塊合并到相似性最小的超像素塊上,有效避免分割出微小超像素塊。

1 改進的LSC超像素分割算法

1.1 邊緣敏感的線性譜聚類分割算法

線性譜聚類算法通過設計核函數將影像投影到高維特征空間,進行簡單加權的K-means聚類數據處理,較大程度地降低算法復雜程度,提高算法效率。LSC算法將原始RGB空間影像數據轉換到高維特征空間,每個像素采用所在位置坐標(x,y)和顏色值(l,α,β)共同構成一個五維的特征相鄰表示。其中,l表示顏色亮度,α表示深綠色到亮粉紅色顏色通道值,β表示藍色到黃色顏色通道值。LSC生成超像素的具體實現過程如下。

1)將影像上任意像素點p,通過φ(p)核函數表示為多維特征向量,φ(p)核函數的表達如式(1)所示。

(1)

式中:(lp、αp、βp、xp、yp)、(lq、αq、βq、xq、yq)表示像素點p和像素點q的五維向量;V表示待分割影像數據集;p、q表示影像上任意兩個像素點;w(p)表示像素點p與像素點q在高維特征空間的距離;Cc、Cs表示調整顏色與空間權重的參數因子,Cc=Cs/r,當r取值較小時,顏色空間相似的像素聚集,反之,空間相近的像素聚集,文中r=0.075。

2)在影像行列方向分別設置水平間隔vx、垂直間隔vy,生成K個初始化超像素種子點。

3)設置迭代次數T、初始化聚類中心ck與類內加權均值mk,表達如式(2)所示。

(2)

式中:Mk為第k個超像素數據集,k=1,2,3,…,K。

4)統計ck類中心局部鄰域(τvx×τvy,τ>0.5)內像素點p和mk的相似性值,并將像素點p更新到差異最小值類上,表達如式(3)所示。

(3)

5)更新式(2)獲取第k個超像素的加權均值mk,直至到達迭代次數或超像素加權均值mk收斂,否則迭代步驟1)～步驟3)。

在LSC初始化聚類中心時,存在包含地物邊界的跨邊界初始超像素塊。若直接進行LSC處理,生成超像素塊的邊界難以有效地貼合地物邊界導致部分地物邊界信息丟失。跨邊界超像素塊如圖1所示。

圖1 跨邊界超像素塊

為了獲取地物邊界完整的超像素塊,提出邊緣敏感的LSC高分辨率遙感影像分割算法。該算法通過邊緣檢測算子提取地物邊界信息,結合初始超像素塊判斷是否為跨邊界初始超像素塊,若是跨邊界超像素塊,需用跨邊界初始超像素的區域質心更新原始聚類中心。新的聚類中心確定規則如下。

1)若初始聚類中心局部S×S區域內存在地物邊界,剔除初始聚類中心,并將地物邊界與超像素塊邊界閉合,將區域質心更新為處理聚類中心,如圖2中Bi所示。

圖2 聚類中心更新示意圖

2)若初始聚類中心局部S×S區域內不存在地物邊界,保留初始聚類中心不變,如圖2中Ci所示。

本文選擇LoG邊緣檢測算子對原始影像進行邊緣檢測,該算子能夠有效地克服噪聲對提取結果的影響。然后,將邊界檢測結果與LSC分割產生的初始超像素塊融合,更新超像素塊聚類中心生成超像素分割結果。通過引入邊緣信息優化LSC算法,可以充分利用高分辨率的地物邊緣細節信息,增強邊緣信息對LSC算法的邊界約束力,有效區分影像弱邊緣與噪聲信息,確保分割出的地物信息更加完整、吻合。

1.2 基于NMI特征的超像素合并

由上文分析可知,為避免分割結果中出現欠分割情況,超像素塊數K不能設置過小;但隨著超像素數K值的增加,分割結果也會存在過分割現象。針對邊緣敏感的LSC分割產生的微小超像素塊,本文通過計算影像微小超像素與鄰域超像素塊的繞質心的歸一化轉動慣量(normalized moment of inertia,NMI)相似性,將其合并到鄰近超像素塊上。

對光譜紋理相似的區域,僅利用LSC算法計算影像局部區域的光譜與空間特征的相似性度量,難以有效進行區分。若引入區域的整體特征,將提高超像素塊的分割精度。NMI特征是影像二階矩特征,通過影像空間信息表示影像的光譜復雜分布程度,具有平移、旋轉和縮放不變性的特點,已在影像匹配中有所應用。本文將該特征作為計算超像素塊間的相似性值。對于一幅M×N大小的遙感影像,每個像素點可以視為平面上的一個質點,每個波段的灰度值I(i,j)可以表示為質點的質量,影像所有像素灰度之和為影像質量m,表達如式(4)所示。

(4)

影像質心(i0,j0)如式(5)所示。

(5)

假如影像灰度分布比較均勻,那么影像的質心應該為圖形的平面形心。因此,影像繞質心(i0,j0)的轉動慣量可以表示為J(i0,j0),如式(6)所示。

(6)

依據影像質量、影像質心以及轉動慣量定義歸一化轉動慣量,表達如式(7)所示。

(7)

由式(7)可知,歸一化轉動慣量與影像灰度值分布、質心位置和灰度分布相對質心的分布均有相關。因此,可利用歸一化轉動慣量區別紋理差異。

由于LSC算法分割影像生成超像素存在微小像素塊,因此需計算微小像素塊與其鄰域的像素塊的NMI值,并對微小超像素進行合并處理。

LSC算法分割影像生成的超像素用S表示,表達如式(8)所示。

(8)

對于一幅M×N的遙感影像,通過LSC算法分割生成K個超像素,由文獻[16]可知,當超像素塊滿足N′

1.3 算法流程

文中采用NMI特征的相似性度量方法合并微小超像素塊,提高影像分割精度,流程圖如圖3所示。首先,通過LOG算子提取影像邊界信息,并以邊界信息為引導,結合初始超像素塊判斷是否為跨邊界初始超像素塊,若是跨邊界超像素塊,需用跨邊界初始超像素的區域質心更新原始聚類中心,避免初始超像素塊內存在地物邊界信息;然后,利用邊緣敏感的LSC算法分割高分辨率遙感影像生成候選超像素塊,并統計微小超像素塊;最后,為了避免超像素過分割結果存在,通過計算微小超像素塊與相鄰超像素塊的歸一化轉動慣性量相似性度量值,將微小超像素塊合并到相似性最小的超像素塊上,有助于后期影像處理效率。

圖3 算法流程圖

算法具體流程如下。

1)初始化超像素塊數K,計算初始聚類中心。

2)利用LOG算子提取影像邊界信息,生成邊界圖像。

3)以邊界影像為引導,更新初始聚類中心。

4)獲取影像候選超像素分割結果,并標記微小超像素塊。

5)計算微小超像素塊與局部鄰域超像素塊NMI特征相似性值。

6)將微小超像素與NMI特征差異最小的超像素塊合并。

7)影像分割完成。

2 實驗與分析

2.1 算法流程

為了驗證本文方法的有效性、可行性,文中對兩組不同場景的高分辨率遙感影像數據進行分割處理,并設計兩種方法與本文方法對比:一是LSC算法,二是eCognition軟件中的多尺度分割方法。本文方法的實驗運行系統環境為Windows 10系統,CPU為Core(TM) i5-124900f,內存為32 GB,在實驗平臺MATLAB2016、eCognition Developer 9.0軟件上進行仿真實驗。

選用定性與定量方法進行分割結果精度評定。其中,定性方法通過視覺對比方法分析分割結果;定量方法通過查全率R、查準率P以及R、P的平均值F1等指標對分割結果進行精度評價。定義如式(9)至式(11)所示。

(9)

(10)

(11)

式中:TP表示獨立地物分割屬于相同對象的數目;FN表示獨立地物被分割為其他地物的數目;FP表示獨立地物分割中出現其他對象的數目。其中,R、P值越大,表示分割精度越高。當R與P難以描述分割結果時,通過F1進行綜合對比分析。

2.2 實驗結果

1)實驗1結果與分析。選用高景一號01星全色影像與多光譜影像經過最鄰近融合(nearest neighbor diffuse,NND)生成的多光譜數據,影像包含近紅外、紅、綠以及藍4個波段,實驗輸入數據為紅、綠、藍3個波段,影像大小為1 200像素×1 200像素,影像分辨率為0.5 m。該區域包含水體、植被、裸地等典型地物信息,如圖4(a)所示。由圖4(b)可知,由于高分辨率遙感影像中的地物繁雜,采用LOG邊緣檢測算子在原始遙感影像中進行邊緣檢測,會出現諸如模糊邊緣紋理、可能產生虛假邊界和對曲線邊界定位不準確等問題,導致一定程度的分割性能降低,但邊緣敏感的線性譜聚類分割算法僅在初始化聚類中心時對存在邊界信息的初始像素塊進行區域聚類中心更新,在后期NMI特征超像素合并時會對上一步結果進行優化。

圖4 影像數據

其中,圖5(a)為LSC算法分割高分辨率遙感影像結果。由圖5(a)可知,整個高分辨率遙感影像的分割結果存在嚴重的過分割現象,特別是植被和水體區域分割過于破碎,且存在微小的超像素塊區域。圖5(b)、圖5(c)分別為多尺度分割方法下不同尺度因子產生的分割結果,由于圖5(b)分割尺度因子為60,在水體內部存在光譜變化較大的區域產生大量過分割結果。由圖5(c)可知,當尺度因子增加到100時,過分割現象有所緩解,但在植被、水體區域的過分割現象未能消除,同時隨著尺度因子的增加,部分區域出現了欠分割現象,見圖5(c)橢圓形區域。由于文獻[12]采用Wasserstein距離優化K-means算法中距離度量工具,難以有效區分耕地區域間的差異性,導致圖5(d)耕地區域存在過分割問題。由圖5(e)可知,本文方法有效解決水體、植被區域存在的過分割問題,通過邊緣特征優化初始LSC聚類中心,避免初始像素塊穿過物體邊界,同時通過引入NMI特征相似度參數,有效合并微小超像素塊獲取的分割結果基本與地物邊界一致,較好地保留了植被、水體、道路等區域邊界信息。

圖5 實驗數據及分割結果

由圖5(a)可知,LSC算法分割結果存在嚴重的過分割現象,導致分割精度很差。因此,本文不對LSC算法結果進行精度評定。表1給出多尺度分割方法與本文方法的分割結果精度評定。由表1可知:本文分割結果的查準率P為0.916,均高于多尺度分割方法(0.815、0.853),說明本文方法的分割結果優于多尺度分割方法;本文方法分割結果的查全率R優于0.9,說明本文分割結果與地物實際邊界基本保持一致;本文方法相比較不同尺度參數的多尺度分割方法平均值F1分別提高0.091、0.059,說明本文方法通過邊緣特征優化LSC初始聚類中心,能有效避免后期分割超像素塊通過線性特征區域,通過引入NMI特征計算不同超像素塊間的相似性值,將微小超像素塊合并到相似性區域,避免過分割現象,進一步提升影像分割精度。

表1 實驗1分割結果精度評定

圖6給出超像素數量K=[200,400,600,800,1 000,1 200,1 400]時生成的影像分割精度。由圖6可知,當K取1 000時,算法分割精度的查全率最高,說明算法分割影像邊界與實際地物貼近,同一地物基本被分割到一個對象區域,有效避免過分割現象,分割結果更加符合人眼視覺效果;隨著K值增加,查全率與準確率有所下降,因此邊緣貼合程度有所下降。

圖6 實驗1影像超像素參數初始值對分割精度影響

2)實驗2結果與分析。實驗2為吉林一號高分04A星數據全色影像與多光譜影像經過NND融合生成的多光譜數據,影像包含近紅外、紅、綠以及藍4個波段,實驗輸入數據為紅、綠、藍3個波段,影像大小為1 000像素×1 000像素,影像分辨率為0.3 m。該區域包含建筑物、道路、植被等典型地物信息,如圖7(a)所示,邊緣檢測結果如圖7(b)所示。

圖7 影像數據

圖8(a)為LSC方法過分割結果,由圖8(a)可知,該結果依然存在嚴重過分割現象。圖8(b)、圖8(c)為多尺度分割方法分割結果,圖8(b)為尺度因子70時分割結果,圖上的矩形是獨立建筑物被分割為多個對象,由于建筑物光譜特征差別較大,導致過分割現象。隨著尺度因子的增大,圖8(c)為尺度因子為100時的分割結果,由圖8(c)可知,該區域建筑物的過分割現象明顯好轉,但隨著尺度因子的增加,圖上橢圓區域存在明顯的欠分割。由圖8(d)可知,由于建筑物頂部存在明顯彩鋼瓦拼接縫,導致建筑物頂部被分割為多個對象,通過采用改進的距離相似度計算方法難以將該區合并,導致過分割問題。由圖8(e)可知,本文方法可以很好地區分建筑物、道路、植被等地物,較好地保留地物的邊緣信息,避免過分割與欠分割情況。

圖8 實驗數據及分割結果

表2為多尺度分割方法與本文方法的分割結果精度評定。由表2可知:本文分割結果的查準率P為0.932,均高于多尺度分割方法(0.854、0.891),說明本文方法的分割結果優于多尺度分割方法;本文方法分割結果的查全率R為0.966,說明本文分割結果與地物實際邊界基本保持一致;本文方法相比較不同尺度參數的多尺度分割方法平均值F1分別提高0.073、0.047,說明本文方法能有效避免后期分割超像素塊通過線性特征區域,分割結果更加合理有效。

表2 實驗2分割結果精度評定

圖9給出超像素數量K=[200,400,600,800,1 000,1 200,1 400]時生成的影像分割精度。由圖9可知,當K取1 200時,算法分割影像查全率與查準率最高,說明影像分割邊界與實際地物貼近,有效避免過分割現象,分割結果更加符合人眼視覺效果。

圖9 實驗2影像超像素參數初始值對分割精度影響

3 結束語

針對線性譜聚類方法處理復雜場景的高分辨率遙感影像時存在地物邊界丟失、過分割問題,本文提出NMI特征優化邊緣敏感的LSC高分辨率遙感影像分割方法。利用邊緣信息引導LSC初始聚類中心,能有效避免初始超像素塊內部存在線性地物,減少過分割問題。同時,結合NMI特征計算微小超像素塊與相鄰超像素塊相似性,合并微小超像素塊進一步改善過分割問題。利用兩組高分辨率遙感影像數據進行實驗,實驗結果表明,該方法可有效改善復雜區域的過分割現象,提升影像分割效果。在實驗過程中發現,高分辨率遙感影像中的地物繁雜,在遙感影像中使用LOG邊緣檢測算子會存在模糊邊緣紋理、虛假邊界等問題,導致分割性能降低,這也是算法的下一步改進方向。