多尺度超像素紋理特征保持與融合的高光譜圖像分類

涂 兵 朱 禹 周承樂 陳思源 何 偉

(湖南理工學院信息科學與工程學院 岳陽 414000)

1 引 言

高光譜圖像蘊含著密集的光譜信息，適用于地表診斷、礦物勘探、精準農業等眾多應用領域。盡管豐富的光譜信息為材質識別與分類提供了便捷與高效的途徑，然而高光譜圖像的低光譜可分離性及低空間分辨率的特性給高光譜圖像的數據處理帶來了不可避免的困難與挑戰。

高光譜圖像特征提取技術可分為光譜特征提取以及空間特征提取。前者旨在將高維非線性光譜特征進行投影或映射至低維線性子空間，以期改善像元的可分離性。如主成分分析法(Principal Component Analysis, PCA)[1]通過線性變換將高維特征映射到低維子空間，降低信息冗余并保留有價值的判別信息。再如羅甫林等人[2]利用稀疏流形嵌入對原始光譜信息進行特征提取以提升光譜特征的判別性。然而，光譜特征提取技術僅考慮了高光譜圖像的光譜信息，并不能顯著提升分類器的精度。后者則是在特征提取過程中引入像元的空間上下文信息，利用鄰域像元具有相似性的特點去進一步提升分類器精度。如Chen等人[3]利用像元空間上下文相關性，提出聯合稀疏表示模型(Joint Sparsity Reconstruction and Classification, JSRC)，有效平滑了分類中椒鹽噪聲。但固定的方形窗口未能有效刻畫像元分布的空間結構，致使分類結果中依然存在邊緣誤分類現象。超像素分割算法是一種依據圖像顏色、亮度等顯性特征對像元進行聚類的技術，能夠有效提取到像元局部空間結構信息。如Yu等人[4]結合多尺度超像素子空間與支持向量機設計了一種超像素級的分類器，實驗證明該方法能夠緩解方形窗口鄰域內的噪聲及信息缺失問題。此外，結合超像素空間特征提取的新技術[5,6]已被成功證實能夠有效應用于高光譜圖像分類，提高地物解譯的精度。

圖像紋理是符合人類視覺感知的材質表征信息之一，被成功應用于高光譜圖像分類、異常檢測等領域。同時，圖像紋理信息的重要性催生了許多特征提取技術，如灰度共生矩陣(Gray Level Co-occurrence Matrix, GLCM)、局部二值模式(Local Binary Pattern, LBP)及Gabor等。GMCL與LBP是自然圖像處理中較為流行的紋理描述方法，可以最大限度地提高圖像紋理特征的表征力[7,8]。但由于高光譜圖像的紋理基元呈非規則化排列，且隨著觀察距離的不同紋理基元發生變化，因此單一分辨率的紋理描述方法損失了部分紋理相關信息。Gabor濾波器因其多通道、多分辨率的特性，能夠獲得多方向及多尺度紋理特征，被廣泛用于大量的高光譜研究工作中。如Xu等人[9]提出基于Gabor濾波協同表示的分類方法，與原始協同表示方法相比，具有良好的分類性能。再如Kang等人[10]將Gabor特征與深度學習結合并應用于高光譜圖像分類領域，取得了良好的效果。然而，上述工作均未從Gabor濾波器的不同方向以及尺度來刻畫與提取高光譜圖像的紋理特征，因此，不可避免地影響高光譜圖像中類邊界以及角點像元的精準識別。

綜上，相比于光譜特征提取技術，空譜特征提取技術在提升分類器精度方面具有良好優勢，同時，基于超分割的空間鄰域信息比方形窗口的空間信息更有優越性。然而，超像素是一種基于圖像顯性特性的像元聚類方法，難以避免鄰域中存在隱性不相關像元。此外，Gabor作為多通道及多分辨率紋理特征提取的濾波器，簡單地將Gabor濾波器作用于高光譜圖像并不能多層次地反映與提取其深層紋理特征。為了解決上述問題，本文提出多尺度超像素紋理保持與融合的特征提取方法。

2 本文方法

本文所提多尺度超像素紋理保持與融合的高光譜圖像分類方法MSuTPF (Multi-scale Superpixel Texture Preservation Fusion)如圖1所示，主要包括紋理特征提取與融合、多尺度超像素分割、同質區域紋理保持和多尺度決策融合4個主要步驟。

圖1 多尺度超像素紋理保持與融合的高光譜圖像分類方法示意圖

2.1 紋理特征提取與融合

2維Gabor濾波器在不同方向可反映同一材質不同豐富度的紋理信息，而多個尺度則反映其不同分辨率的紋理信息。由于地物自身的尺度屬性，其空間特征常利用不同尺度加以度量，本文將不同層次的頻率信息進行融合，強化圖像邊緣細節，使紋理特征進一步增強。特別地，多方向與尺度的Gabor紋理特征中包含冗余信息，因此，通過融合同方向的不同尺度Gabor紋理特征，可以降低信息冗余。Gabor紋理特征融合的定義為

2.2 多尺度超像素分割

2.3 同質區域紋理保持

超像素內部紋理基元的排列方式、規律以及紋理的粗糙程度等表現相似，且超像素紋理受觀察區域規模大小的影響，因此通過利用多尺度超像素度量策略，可提取到既具有整體紋理趨勢又包含細節信息的紋理特征。不同尺度的超像素集Sk是由一系列位置相鄰且顏色、亮度、紋理等特征相似的像素點組成的nk個局部區域。然而，利用顏色、亮度、紋理等顯性特征獲取的高光譜遙感圖像所對應的超像素集往往使得超像素內部存在隱性不相關像元。也就是說，超像素分割的理想情況是超像素內部光譜際上

差超異像較素小S且ik內超可像能素包之含間少光量譜來差自異其性他較類大別，的然像而素實，使超像素表現為局部隱性不相關，此時超像素并不是真正意義上的紋理一致性區域而是弱同質區域。

通過執行2.1及2.2的步驟，獲得V個光譜-紋理聯合特征圖Ti與 其對應的超像素分割MiERS。

2.4 多尺度決策融合機制

盡管多尺度超像素引導光譜-紋理聯合特征能夠顯著增強不同局部區域的光譜可分離性，提升像元的分類準確性，但是當場景中某些類別的樣本數較少且分布不集中時，超像素引導的方法可能會對分類結果產生負面影響，導致整個局部像素被誤分類。因此，為了進一步增強所提方法的魯棒性，本文在由各尺度超像素光譜-紋理聯合特征得到的分類圖的基礎上引入多數投票機制去進一步提升分類精度，最終分類圖F由式(12)確定

3 實驗與分析

3.1 實驗數據

(1) Indian Pines高光譜圖像：于1992年在印第安納州西北部的農業印度派恩斯測試地點獲取，圖像大小為145×145，空間分辨率為20 m，數據光譜波段為200，波段范圍是400～2500 nm，共標記10249個像素，其主要地物類型被劃分為16類。

(2) Pavia University高光譜圖像：在意大利帕維亞大學周圍的市區記錄，由610×340個像素組成，圖像空間分辨率為1.3 m，其包含42776個像素，實驗保留了剔除噪聲后的103個波段，地面覆蓋包含9個目標類別。

3.2 參數設置

影響本文算法性能的參數主要包括以下這些。它們對本文算法的影響在3.4節中詳細分析。

(1) Gabor濾波器固有參數。鑒于Gabor濾波器的性能對空間局部特征具有較大影響，將Gabor濾波器尺度U與方向V分別設置為5和8，以提取局部紋理特征，其中，8個方向θ分別為[0,π/8,π/4,3π/8,π/2,5π/8,3π/4,7π/8]。在具體實驗中，針對每個高光譜圖像，Gabor濾波器窗口d設置為55。

(2) 在3.3.1節和3.3.2節中，自由參數ξ統一設置為0.7。

(3) 超像素數量Sn：在3.3.1節和3.3.2中，超像素尺度分別設置為100～800, 600～1300。

3.3 實驗

為了客觀而有效地評價所提方法MSuTPF的性能，本文選取了支持向量機(Support Vector Machine, SVM)[15]、稀疏表示(Sparsity Reconstruction and Classification, SRC)[3]、聯合稀疏表示(Joint Sparsity Reconstruction and Classification,JSRC)[3]、超像素多核(Superpixel-based Classification via Multiple Kernels, SC-MK)[16]、超像素主成分分析(Superpixelwise PCA, SuperPAC)[17]、分層引導濾波(Hierarchical Guidance Filtering-Weighted Voting, HiFi-we)[18]、Gabor濾波稀疏自編碼深度網絡(Gabor Filtering and Deep Network,GFDN)[10]和無監督空-譜超像素PCA(Spectral-Spatial and Superpixelwise PCA, S3-PCA)[19]8個高光譜圖分類算法與本文MSuTPF方法進行分類性能比較和分析。其中，SVM參數通過5層交叉驗證設置，對比方法中的參數均為對應論文中的默認參數。此外，實驗采用常用的總體分類精度(Overall Accuracy , OA)、平均分類精度(Average Accuracy, AA)以及Kappa系數，作為量化指標來衡量分類性能。同時，為了消除隨機性影響，所有量化指標結果均為10次結果的均值。

3.3.1 Indian Pines數據實驗結果與分析

表1和圖2給出在Indian Pines真實數據上不同對比算法采用1.5%的標記樣本作為訓練集得到的分類精度及結果(黑色加粗數字表示同行中的最大值)，以及客觀評價結果。

SVM和SCR分類器由于僅考慮了像元的光譜信息，導致分類結果中存在較多的“椒鹽噪聲”。JSRC分類器通過像元的上下文信息來改善SRC的分類性能，盡管分類精度有所提升，但邊界與角點像元容易被誤分類。SC-MK以超像素的方式引入像元的空間信息，但未考慮超像素塊內隱性不相關像元的存在，導致分類精度受限。SuperPCA與S3-PCA是超像素引導的局部特征提取方法，雖然利用多尺度超像素提取空間結構，但同樣地未考慮超像素塊內隱性不相關像元的存在，因而存在性能瓶頸。此外，HiFi-we在每個層次結構中進行邊緣保持濾波操作，圖像細節易被過平滑處理。同時，1.5%的訓練樣本無法充分訓練自適應編碼深度網絡，導致GFDN未能得到有效的訓練，使得GFDN分類精度有限。特別地，從表1和圖2可以看出本文的MSuTPF方法無論是在OA(94.32%), AA(95.00%)及Kappa(93.52%)3個客觀評價指標上還是在分類圖上都取得了比上述8個對比方法更優的實驗結果。

圖2 Indian Pines高光譜圖像不同方法的分類圖

此外，本文將基于單一尺度光譜-紋理聯合特征的方法架構定義為MSuTPF*，并給出相應的實驗結果。由表1發現，MSuTPF*方法的分類指標都低于MSuTPF方法，說明僅用單一尺度不能有效地提取出不同大小地物的紋理信息，而以多尺度超像素構造的光譜-紋理聯合特征能夠獲得各同質區域豐富的空間紋理結構信息，從而提升了分類器對邊界地物的鑒別準確率。

表1 Indian Pines高光譜圖像不同方法的分類精度(%)

3.3.2 Pavia University數據實驗結果與分析

對于Pavia University數據實驗隨機選取總樣本數的0.42%作為訓練樣本集，剩余樣本作為測試樣本。表2展示了各種分類算法的定量指標(黑色加粗數字表示同行中的最大值)，本文所提出的MSuTPF方法的OA, AA及Kappa均為最高值。同時，如圖3所示，在有限的標記訓練樣本的情況下，MSuTPF方法相比于8個對比方法獲得的分類結果具有明顯較少的誤分類現象。由此，該實驗充分驗證了本文MSuTPF方法的可行性和優越性。

圖3 Pavia University高光譜圖像不同方法的分類圖

表2 Pavia University高光譜圖像不同方法的分類精度(%)

3.4 相關參數影響分析

3.4.1 參數w與ξ對MSuTPF方法的性能影響

當Gabor濾波窗口w較小時紋理特征提取僅考慮有限的局部結構，局部紋理方向性不明顯，易損失具有代表性的信息。圖4(a)與圖4(b)展示了隨著窗口尺寸增大，OA精度呈現明顯上升趨勢，但窗口w規模大于55時，分類精度增幅變緩，計算時間持續上升。自由參數ξ改變對最終分類精度影響不大。考慮到算法時間代價與滿意的整體分類精度，本文實驗默認Gabor濾波窗口w與自由參數ξ分別設置為55和0.7。

3.4.2 超像素尺度對算法的影響

圖4(c)與圖4(d)給出了不同尺度超像素對基于單一尺度光譜-紋理聯合特征的方法MSuTPF*性能影響的量化指標(OA)。由此可知，OA曲線伴隨超像素尺度(數量)增加表現為短上升、長下降的趨勢。這說明，單一尺度的超像素存在空間結構信息提取不充分的現象。因此，本文采用多尺度超像素分割策略，進一步提出了MSuTPF算法，以期提取高光譜圖像多尺度空間結構信息。對每個方向的光譜-紋理聯合特征進行多尺度超像素分割，其中，以Indian Pines為例，將圖4(c)中算法性能較好且連續的8個超像素分割尺度(步長為100)作為MSuTPF算法多尺度分割的依據(100～800超像素)。同樣地，對于Pavia University高光譜圖像選取800～1500超像素作為超像素分割的尺度范圍(步長為100)提取不同高光譜圖像8個2D Gabor方向上的光譜-紋理聯合特征Ti的同質空間信息。

圖4 不同參數對所提算法性能的影響

3.4.3 各架構組件對MSuTPF的性能影響

首先，本文通過比較遞歸濾波(Recursive Filtering, RF)[20]、Savitzky-Gola濾波(Savitzky-Gola Filtering, SGF)[21]、雙邊濾波(Bilateral Filtering, BF)[22]、高斯濾波(Gaussian Filtering,GuF)[23]及Gabor濾波[10]5種常用的濾波方法在MSuTPF方法架構中對分類性能的貢獻。特別地，上述方法中濾波參數設置采用相關參考文獻默認參數。由圖5發現，在兩個真實數據上，Gabor濾波對MSuTPF方法的分類性能貢獻均比其它4種濾波法更優。因此，Gabor濾波被選為MSuTPF方法的默認組成。

圖5 不同濾波方法的整體分類效果

其次，本文深入研究了Gabor濾波在不同方式下的紋理特征提取能力。實驗結果如表3所示，其中，I-Gabor表示各尺度和方向順序堆疊的紋理特征；II-Gabor表示保留尺度融合各方向的紋理特征；III-Gabor表示方向融合各尺度的紋理特征；III-Gabor的實驗結果證明，融合Gabor濾波器響應后同一方向不同尺度的特征信息對MSuTPF方法的性能貢獻大于I-Gabor和II-Gabor方法。此外，本文探討了考慮局部像元隱性不相關現象對MSuTPF方法的性能貢獻問題。同樣地，實驗結果如表3所示，II-ERS和I-ERS分別表示有無采用基于密度最近鄰的相似性評價準則進行紋理一致化處理的實驗結果。結果發現II-ERS對MSuTPF方法的性能貢獻大于I-ERS，說明基于密度最近鄰的相似性評價準則可以有效地提高算法的分類性能。

3.4.4 不同光譜維數對MSuTPF的性能影響

本文將原始高光譜圖像的主成分(Principal Components, PCs)作為光譜特征與Gabor融合的紋理特征串聯構建光譜-紋理聯合特征。由表4可知，當光譜特征維數控制在20左右時，整體分類精度OA較高，且隨著光譜維數的增加，算法性能并沒有明顯的提升。雖然更多的PCs中仍可能具有對光譜信息的貢獻，但由于存在較多的冗余信息與圖像噪聲點等情況，因此對分類性能產生負影響。同時考慮到Gabor融合特征僅具有15個波段，若使用全光譜作為聯合特征的光譜特征，龐大的光譜信息將會淹沒紋理特征信息，且維數增大時間復雜度隨之提升。因此本文將主成分數量設置為20。

表4 不同維數光譜特征對算法性能的影響

3.4.5 不同訓練樣本數量對算法性能的影響

在本節中，分析了訓練樣本數量變化對不同分類算法性能的影響。對于Indian Pines和Pavia University，隨機選取不同百分比數據(Indian Pines每類地物標記1%～10%，Pavia University每類地物標記0.42%～4.2%)作為訓練樣本。圖6展示了在不同方法在不同訓練集下的總體分類精度的變化趨勢。可以觀察到，增加訓練樣本數量對所有分類方法的分類精度均具有較為積極的影響。尤其是，本文所提出的MSuTPF方法在有限的訓練樣本情況下比8個對比方法的分類精度更為理想。

圖6 不同訓練樣本數量對于不同方法的影響

4 結 論

結合Gabor、超像素與峰值密度聚類的優勢，本文提出了一種多尺度超像素紋理特征保持與融合的高光譜圖像分類方法MSuPTF，其主要貢獻如下：(1)依據各方向對不同尺度的高光譜圖像Gabor紋理特征進行融合，增強高光譜圖像紋理信息的表征力；(2)設計基于密度最近鄰相似性評價準則，有效地解決了超像素內鄰域像元的隱性不相關問題，提升了超像素塊的同質化程度；(3)提出了Gabor方向與超像素對應的多尺度空間結構提取策略，顯著增強了邊界與角點像元的細節信息。