基于PLFT及圖像融合的衛星河流識別

冷凱群

(北京工業大學 軟件學院，北京 100124)

0 引 言

衛星圖像中的河流自動監測具有重要的應用價值，如水資源的監測和評估、洪水預測、水污染檢測、及GIS數據庫更新等。計算機視覺中的目標識別和檢測的主要任務就是依靠特征提取的分類器的設計。一些常用的圖像特征包括灰度特征、彩色特征、形狀特征、結構特征及紋理特征等；常用的分類器包括支持向量(SVMs)、多層感知器、最近鄰域分類器等[1]。

隨著理論研究的加深和技術的進步，近些年國內外學者提出局部圖像特征并將其廣泛地應用于計算機視覺、圖像處理及模式識別領域[2-4]。在局部圖像空間內具有的對光照、尺度、位置、遮擋等的不變性是局部圖像特征能得以成功應用的關鍵，而這種屬性在全局圖像空間中是不具有的，因此局部圖像特征比一些全局圖像特征(如：基于主元分析(PCA)的特征)更具有模式鑒別能力。在模式識別研究領域，基于k近鄰(kNN)思想的分類器是最簡單也是研究時間最長的一類分類器。文獻[5]提出了一種基于增大判決邊緣距離的大間隔近鄰(large margin nearest neighbor，LMNN)分類器算法，LMNN通過從訓練樣本中學習馬氏距離(Mahalanobis)達到模式分類的目的——屬于同一類別的樣本總是在k鄰域內，而不同類別的樣本被一個較大的判決邊緣距離隔離開。該方法的實驗結果表明，LMNN分類器在5個大型數據庫中的3個能取得比SVM更好的分類效果，但是其仍需要有較大的改進。

本文提出了一種基于融合的方法用于提取衛星圖像中的河流區域，該方法通過對監督分類的結果和無監督分割的結果進行融合而得到最終的結果。在監督分類的方法中本文提出了一種局部圖像特征算法，即基于主元分析的局部傅立葉變換特征(PCA-based local Fourier transform，PLFT)。與現有方法相比，PLFT對圖像的紋理信息和顏色信息具有更好的模式鑒別能力，能更準確的對衛星河流的背景和顏色信息進行分類識別。

1 本文識別算法

1.1 所提PLFT特征算法

1.1.1 局部傅立葉變換特征

Zhou等[6]提出了一種基于局部傅立葉變換(local fourier transform，LFT)的圖像紋理特征描述算子用于紋理分類和圖像分割。Yu等[7]提出了一種改進的LFT，該特征描述算子的新穎之處在于計算傅立葉系數的一階和二階矩，而非文獻[6]中那樣計算量化后傅立葉系數的直方圖。LFT在處理灰度圖像時，使用8個LFT模板計算得到一個維數為16的特征數組；當該算法進一步應用于處理彩色圖像(如HSV)的每一個彩色分量時，能得到一個維數為48的特征數組，并取得比灰度的LFT特征更好的圖像識別或分割效果。

圖1是一個3×3的局部圖像I(x,y),x=1, …,L-2和y=1, …,M-2，這里原始圖像大小是L×M，中心點是(x,y)，8個鄰域像素點被標注為Pn,n=1, 2, …, 8。式(1)計算(x,y)的局部傅立葉變換系數

(1)

其中，FI(k)表示灰度共生屬性以及它們的空間分布[6]，n是8個鄰域像素點的編號。

圖1 3×3的局部圖像區域

1.1.2 PLFT特征提取流程

目前，有效將LFT系數轉化為特征描述算子向量的方法有兩種：一種是計算系數量化后的直方圖；另一種是計算系數的一階和二階矩。而文獻[7]的結果表明后者的圖像特征描述能力要優于前者，所以本文采用后者的方法。接下來，首先介紹計算LFT系數的一階和二階矩的過程，然后由此推導提出一種新的局部特征描述算子，即基于主元分析的局部傅立葉變換特征(PCA-based local Fourier transform，PLFT)。

F=[f1,f2,…,f81]∈R8×81

(2)

沿F的水平方向計算每行的均值就得到系數的一階矩：M=[m1,m2,…,m8]∈R8，其中

(3)

系數二階矩是計算水平方向每行的方差，即V=[v1,v2,…,v8]∈R8，其中

(4)

最后，通過級聯向量M和V得到一個維數是16的LFT特征向量：Xlft=[M,V]∈R16。

圖2 8個計算LFT系數的模板[7]

均值和方差是統計方法描述樣本數據的兩個基本分布特征，此外，另一個常用于揭示數據內在分布特征的方法是主元分析法，它的第一主元(最大的特征值)揭示了數據分布中最大可能的方差，而第二主元是數據分布中下一個最大可能的方差，以此類推，并且不同的主元之間它們的方向是正交的。因此，可以利用主元分析方法在LFT系數矩陣中提取更有用的特征用于描述圖像。

假設在整個訓練樣本中總共有N個圖像窗口，那么可以組成一個更大的LFT系數距陣

F=[F1,F2,…,FN]∈R8×Nm

(5)

這里m是每個圖像窗口里可用于計算LFT系數的像素點，如前面的81個像素點。對F進行奇異值分解

F=UDWT

(6)

這里U和W分別是左奇異值向量矩陣和右奇異值向量矩陣，D是對角矩陣包含了奇異值，而非零奇異值的平方就是8×8矩陣FFT的非零特征值。

在特征值中，由于數據中的噪聲和樣本數量不足，較小的值通常偏離數據分布的真實方差[8]。為了避免主元空間中的不穩定性，會把特征值較小對應的主元向量從主元空間中去除掉，通常只保留前面k個較大的主元向量組成主元空間U，這里的k可以通過設定特征值能量的98%來確定。通過主元分析方法，可以將F中的每個Fi轉化成具有低維的形式

Fi=UTFi∈Rk×m, (k<8)

(7)

然后沿水平方向計算Fi每行的均值，Mpca=[m1,m2,…,mk]∈Rk。把3個向量M，V，Mpca級聯起來就形成了一個新的圖像描述特征，即基于主元分析的局部傅立葉變換特征PLFT

Xpca_lft=[M,V,Mpca]∈R16+k

(8)

由于加入了主成分分析元素，PLFT能夠更有效地識別出占主要地位的有用信息并忽略占次要地位的干擾信息，因此，與文獻[6]中所提的LFT方法相比，PLFT對圖像的紋理信息和顏色信息具有更好的模式鑒別能力。

1.2 LMNN分類算法

大間隔近鄰算法(LMNN)由Weinberger等提出，該算法基于K近鄰算法改進，具體理論可參見文獻[10]。其學習一種馬氏距離度量方式

(9)

式中：M=LTL為半正定對稱矩陣，用于最小化每個訓練點和它的K個最近鄰中類標簽相同的點，以及最大化類標簽不同的點，其構造代價函數

ε(M)=(1-μ)εpull(M)+μεpull(M)

(10)

(11)

(12)

2 衛星圖像河流檢測流程

2.1 圖像顏色空間轉換

在計算機視覺領域，彩色特征已經被廣泛地研究以提高目標和場景識別中算法的光照不變性和分類鑒別能力[9]。L*a*b*彩色空間也叫做CIELAB彩色空間或CIE L*a*b*彩色空間，是常用來描述人眼可見的所有顏色的最完備的彩色模型，它的3個基本坐標分別表示圖像的顏色亮度，在紅色/品紅色和綠色之間的位置及它在黃色和藍色之間的位置。在衛星圖像中大部分河流區域呈現出黑色或深藍色，而背景一般是綠色或棕色的，利用L*a*b*彩色空間，可以量化衛星圖像中河流和背景之間的顏色視覺差別，針對這種特點本文選取在L*a*b*彩色空間中進行河流的提取和分割。因此，在后續處理之前需要首先把彩色衛星圖像從RGB空間轉化為L*a*b*彩色空間，如圖3(a)，圖3(b)所示。

圖3 本文算法的流程

2.2 有監督PLFT特征分類

彩色衛星圖像在轉化到L*a*b*彩色空間后，對它的每個彩色分量提取PLFT特征，這樣對每一個圖像窗口可獲得一個維數是3×(16+k)的向量組。在有監督的分類算法中，使用PLFT特征和LMNN分類器把每個像素分類成河流和背景兩類。由于要處理L*a*b*空間的3個分量，為了減少計算量這里并非分別計算3個投影矩陣U(見式(7))，而是把3個彩色空間分量的LFT系數矩陣級聯起來組成一個矩陣F∈R24×Nm，以得到一個單獨的投影矩陣U，這樣PLFT特征的維數就是3×16+k而不是3×(16+k)。值得注意的是，在訓練和測試過程中需要使用同一個投影矩陣U。

有監督分類學習過程中的訓練樣本是裁剪出的11×11的圖像窗口，它們包含了河流區域(正樣本)和背景區域(負樣本)，使用類別標注后的樣本訓練一個LMNN分類器，然后用訓練完成的LMNN分類器來對需要處理衛星圖像進行河流識別。有監督分類的結果如圖3(d)所示。

2.3 無監督k均值聚類分割

在無監督的方法中，使用k均值聚類方法對L*a*b*空間的3個分量同時聚類，根據理論經驗這里聚類中心數選擇為5，然后把具有最小L*值的中心選為河流像素點的聚類中心，分割的結果如圖3(c)所示。

2.4 融合檢測

觀察圖3(c),圖3(d)所示的兩類識別結果可以發現，無監督聚類的方法取得了較高的正確率，即大部分河流區域被分割出來，但同時也有較高的錯誤率，即把很多的背景像素也識別為了河流區域。而有監督學習的方法由于嚴重地依靠訓練樣本，它的分類正確率不高，即一些河流像素被分類成背景。這是因為衛星圖像中背景區域的面積遠大于河流面積，故而很難獲得足夠多的正樣本來訓練LMNN分類器，所以在對新樣本進行分類測試階段一些河流的像素點不能夠被正確的分類。但同時這種方法有較低的錯誤率，只有少部分背景被分類成河流。

基于上述的特點，為了提高本文算法的性能，提出通過融合的方法得到河流的識別結果，即同時使用有監督PLFT特征分類和無監督k均值聚類的圖像分割的方法提取衛星圖像的河流區域，最后把兩種方法的結果進行融合得到最終的結果。融合檢測的效果如圖3(e)所示。

3 實驗研究

3.1 PLFT分類性能分析

為了分析本文所提PLFT特征在目標分類中的有效性，從Google Maps中隨機選取50幅包含河流信息的衛星圖像作為實驗樣本圖像。圖4所示為其中兩個樣本，樣本1的圖像尺寸是80×100，樣本2的圖像尺寸是70×100。實驗中，通過手動標注圖像中的河流區域，然后遍歷圖像中所有大小為11×11的窗口，凡窗口中心是河流像素的這個窗口被選為正樣本，否則為負樣本，總共獲得11 700個圖像窗口，其中正樣本窗口有1361個，最后從這些圖像窗口提取PLFT特征并訓練一個LMNN分類器。

圖4 實驗樣本圖像

為了進行比較，運用文獻[6]中所提的LFT特征進行同樣分析步驟的比較實驗。經過對這50幅衛星實驗樣本圖像的分析，獲得這兩類特征分類性能的實驗結果見表1，可以發現這兩類特征均能較為準確地將衛星圖像的背景分離開來，故而其平均分類正確率都較高，但是PLFT對于河流分類的正確率則明顯高于LFT，表明該特征更適用于本課題。

3.2 本文方法檢測效果

驗證本文方法的檢測效果，從Google Maps中選取100張具有不同地貌地形的衛星河流圖像，圖5(a)所示為其中的4張具有代表性的圖像。實驗中，運用有監督的PLFT特征及LMNN分類算法依次提取這4張圖像的河流信息，其分類結果如圖5(b)所示；然后運用無監督的k-means聚類算法依次提取圖像河流信息，其分割結果如圖5(c)所示。可以發現，基于PLFT和LMNN的方法能夠將圖像中的絕大多數背景干擾信息去除，但對有用的河流信息破壞也較大；k-means聚類的方法能更完整地保留河流信息，但其卻難以去除背景干擾信息。

表1 PLFT和LFT分類性能的比較

經上述分析，接下來將以上兩種方法的結果進行融合。首先對圖5(c)中的目標(黑色像素區域)進行標號，然后遍歷每個目標，在它的區域范圍內統計圖5(b)中有多少個對應的黑色像素點，最后返回這個數量最大的目標，那么該目標就被認為是圖像中的河流區域，這4張圖像融合識別的結果如圖5(d)所示。實驗結果表明，本文提出的融合算法吸取了上述兩種方法各自的優點，同時也摒棄了其缺點，能夠有效地將衛星河流圖像中的背景干擾信息去除掉，同時也能較為清晰完整地保留圖像中的有效河流信息，基本能滿足自動提取檢測并保證一定精度的要求。

4 結束語

衛星圖像中的河流自動檢測在水資源監測評估、洪水預測及水污染檢測中具有重要的應用價值。本文提出了一種新的局部圖像描述算子，即基于主元分析的局部傅立葉變換特征PLFT，用來提取衛星圖像中的河流信息，實驗結果表明，該特征較傳統的LFT算子有更好的分類鑒別能力。其次，本文將基于PLFT特征和LMNN分類器的有監督學習分類算法和基于k均值聚類的無監督聚類分割的算法進行融合，來用于衛星圖像中河流的識別。選取大量Google Maps衛星圖像進行實驗，結果表明提出的方法更加清晰完整地檢測出衛星圖像中的河流信息，具有較高的實用價值。今后的研究中，可以嘗試使用核密度估計[11]的方法對彩色衛星圖像進行分割。

圖5 不同方法實驗結果對比