基于精調的膨脹編組-交叉CNN的PolSAR地物分類

肖東凌 劉 暢

(中國科學院電子學研究所 北京 100190)

(中國科學院大學 北京 100049)

1 引言

極化合成孔徑雷達(Polarimetric Synthetic Aperture Radar， PolSAR)憑借全天時、全天候和高分辨率成像的能力以及豐富的地物目標散射信息和通道相位信息，被廣泛運用于地物分類、目標檢測和相干變化檢測等領域。在地物分類研究中，表面平滑的地物紋理特征區分度不高，而PolSAR豐富的通道相位信息則能有效地區分紋理差異不大的地物，因此PolSAR數據在該領域受到了極大的關注。

傳統的PolSAR圖像處理算法按照特征提取、訓練分類器兩個基本步驟獨立展開[1-4]，特征和分類器之間的交互較弱，模型連貫性較差。相較于傳統的圖像算法，卷積神經網絡(Convolution Neural Network， CNN)能根據具體的任務來自適應地捕獲特征，并聯合特征網絡訓練分類器，具有更好的靈活性和連貫性，因此能夠得到更加準確的分類結果。目前，CNN已被廣泛運用到PolSAR圖像處理領域，例如Zhang等人[5]用復元素CNN來實現PolSAR地物分類；Xu等人[6]利用CNN實現PolSAR圖像相干變化的檢測；Bi等人[7]用基于圖的CNN以及Chen等人[8，9]采用極化特征驅動的CNN算法實現精確的PolSAR地物分類。

在基于PolSAR數據的地物分類研究中，深度分類網絡的訓練數據一般是后向散射矩陣S以及由S變換得到的協方差矩陣C和相干矩陣T[10-13]，而非實數CNN模型輸入的3通道RGB圖像。C矩陣和T矩陣的非對角元素都是復數，且S，C和T矩陣都包含能有效區分不同地物的通道相位信息。其中PolSAR的后向散射矩陣S如式(1)所示。

其中，SHH和SVV項包含同極化通道回波功率，而SHV和SVH項則包含交叉極化通道回波功率。協方差矩陣C矩陣的表示見式(2)。式中為時間或空間集合平均。

為了充分利用PolSAR豐富的通道相位信息，Zhang等人[5]將CNN網絡底層實現中的變量修改為復數；然而該算法在實現上較為繁瑣，并且模型的遷移推廣性不強，如推廣到膨脹卷積神經網絡(Dilated CNN)[14]、全卷積神經網絡(FCN)[15]等復雜的CNN模型。因此本文基于一種編組-交叉卷積神經網絡(Group-Cross CNN， GC-CNN)來模擬復數乘法運算并支持復數信號的輸入和傳遞。該結構實質上是兩組并行的交叉且交互的實數CNN網絡，因此更容易實現和遷移推廣到復雜的網絡中。

在算法效率方面，逐像素點(pixel-by-pixel)分類的算法[5-9]在提取相鄰像素特征時存在大量的重復運算，因此分類較大尺寸圖像的時間開銷很大。而像素到像素(pixel-to-pixel)映射的算法[14，15]，如FCN和Dilated CNN則能有效地剔除冗余計算，實現端到端的高效預測。其中基于FCN的算法[15-17]由于在解碼網絡上采樣的過程中丟失了大量的邊緣細節信息，導致分類結果邊緣粗糙；而基于Dilated CNN的算法[14]通過帶孔洞的卷積核實現尺寸不變的輸出特征圖，這樣既能實現快速的端到端分類又能保持目標的細節信息，因此本文采用基于Dilated CNN的膨脹編組-交叉卷積網絡(Dilated Group-Cross CNN， DGC-CNN)來提升分類效率。

在DGC-CNN的訓練中，需要和輸入圖像尺寸相同的標注圖，這對于PolSAR圖像來說是困難的，因為帶標注的PolSAR圖像較少，且大部分帶標注的PolSAR數據都存在未標注的區域。因此，本文用總采樣率小于1.5%的標注像素預訓練GC-CNN，并將其參數直接遷移到匹配的DGC-CNN中來實現效率提升。考慮到參數的直接遷移會導致DGC-CNN分類精度的損耗，本文沿用訓練GC-CNN時的訓練像素對遷移后的DGC-CNN進行精調，來捕獲更多空間上下文語義特征，恢復并進一步提升GC-CNN模型的分類精度，文中稱該算法為精調的膨脹編組-交叉卷積神經網絡(Fine-tuned Dilated Group-Cross CNN， FDGC-CNN)。

綜上，本文的結構安排如下：第2節介紹卷積和編組-交叉卷積單元；第3節詳細介紹編組-交叉卷積神經網絡(GC-CNN)和精調的膨脹編組-交叉卷積網絡(FDGC-CNN)；第4節為實驗部分，基于AIRSAR平臺的16類規則地物數據和E-SAR平臺4類不規則地物數據，驗證了本文采用的網絡和算法的準確性和高效性。

2 編組-交叉卷積單元

2.1 CNN原理

CNN啟發于視覺成像原理的研究，它通過使用不同的卷積核來模擬可視皮層細胞對邊緣和方向的感知，隨后連接非線性激活函數得到圖像一系列復雜的特征表達[18]。CNN模型包含卷積層、池化層和激活層，其中卷積層由多組卷積核組成；第j組卷積核的輸出的數學表達式如下

其中，c和s分別為輸入圖像通道數和卷積核窗口尺寸；表示輸入圖像的第i通道、坐標為(m，n)的值；表示第j組卷積核Kj的第i個通道、坐標為(m，n)的值；bj為第j組卷積核的偏置項；W為卷積在圖像上滑動的區域，(p，q)為滑動窗口的左上角坐標；之后將輸入激活層進行非線性表示，增加特征的非線性可分性，常見的激活函數有Sigmoid，tanh和ReLU[19]以及其它相關變種如CReLU[20]，PReLU[21]等；最后，池化層對激活后的輸出進行降采樣，增加了每個像素的感受野，使空間形狀灰度特征匯聚到更抽象的特征空間，并且減少了下一層卷積的計算量。

在多層CNN模型中，淺層卷積捕獲局部的邊緣、角點特征，深層卷積捕獲更抽象且強語義的高維特征。常見的多層CNN特征模型如VGG[22]，GoogLeNet[23]， ResNet[24]， DenseNet[25]等已用于目標檢測、分類和分割等諸多研究領域。

2.2 編組-交叉卷積原理

PolSAR通道之間的相位信息反映散射地物的回波時延，攜帶著地物的空間結構信息，對提升地物分類精度起著重要的作用。為了不丟失PolSAR的通道相位信息，本文采用編組-交叉卷積神經網絡(GC-CNN)來實現復數信號的輸入、傳輸和輸出。該網絡將輸入信號的實部通道和虛部通道編組，并分別輸入兩組并行且交叉交互的實數CNN網絡，將實數模型推廣到復數域，GC-CNN結構如圖1所示。

復數域下的輸入圖像I由實部和虛部組成，因此本文將其編組為兩組相同通道數的實數圖像組，分別表示實部和虛部。設復數輸入圖像I的表達式如下

其中，c為I的通道數，Ireal和Iimag分別表示實部和虛部的圖像組。同樣，編組-交叉卷積核也被劃分為兩組實數信號，分別表示實部和虛部；窗口尺寸為s×s的編組-交叉卷積層如式(5)所示。

其中，c，o分別是卷積層的輸入和輸出維度，Kreal，Kimag分別是實部卷積核和虛部卷積核。

實數卷積運算實質上是多組3維卷積核和圖像的內積，本文記該運算為Conv(?)；同時編組-交叉卷積GC-Conv(?)是2組實數卷積的交叉結合。第o組編組-交叉的輸出Io′可表示為

圖1 編組-交叉卷積神經網絡結構示意圖Fig. 1 Structure of group-cross convolution neural network

值得注意的是，ReLU激活函數也應推廣到復數域，記作ReLU′(見圖2)。具體形式如下所示。

圖2 編組-交叉卷積層結構示意圖Fig. 2 Structure of group-cross convolution layer

3 精調的膨脹編組-交叉卷積神經網絡

本節將詳細地介紹編組-交叉卷積神經網絡(GC-CNN)和精調的膨脹編組-交叉卷積神經網絡(DGC-CNN)。

3.1 編組-交叉卷積神經網絡

算法首先以低采樣率(＜2%)在PolSAR圖像中隨機采樣，并取10×10的像素窗作為中心像素的特征區域，輸入3層的GC-CNN。GC-CNN的參數集中在全連接層，在訓練樣本不足的情況下，模型容易過擬合，因此，采用dropout和L2正則來泛化模型。為了使該網絡參數能夠很好地遷移到下一節介紹的DGC-CNN中，采用無邊緣填充(Padding)的卷積方式進行特征提取，從而使得在每層3×3卷積層后，輸入圖像尺寸都將減少2個像素，如圖3(a1)所示。因此，10×10的特征像素窗通過2層3×3編組-交叉卷積層后，可以得到尺寸為1×1的復數特征圖。最后將復數特征圖輸入1×1編組-交叉卷積層以提取高維復數特征向量，用于中心像素點的分類。GC-CNN的具體結構如圖3(b)所示。為將復數特征圖轉換為實數的分類結果，模型采用圖4所示的結構將復數特征圖及其相位和幅度轉換為實數輸出。

該結構將復數輸出特征圖的實部和虛部及其對應的幅度和相位在通道上拼接，并輸入4×1的全連接層來獲得各類別的分類概率。最后計算分類損失，更新GC-CNN參數。

其中，I表示當前樣本的真實標注，pI(I′)為輸出類別I的預測概率。

3.2 精調的膨脹編組-交叉卷積神經網絡

GC-CNN在提取相鄰像素特征時存在大量的冗余計算，且分類效率較低。為了提升GC-CNN的分類速度，本文將GC-CNN的參數遷移到相同參數規模的膨脹編組-交叉卷積網絡(DGC-CNN)中，如圖3(c)所示，實現輸入輸出像素的直映射，從而大幅度減少冗余計算，提升分類效率。

圖3 膨脹編組-交叉卷積神經網絡結構示意圖Fig. 3 Structure of Dilate Group-Cross CNN (DGC-CNN)

圖4 GC-CNN模型損失計算結構Fig. 4 Loss calculation of GC-CNN

在GC-CNN中，為了捕獲上下文語義特征，需要將輸入圖像進行池化降采樣，使特征圖中每個像素點都具有比降采樣前大4倍的上下文感受野和更強的空間語義表達能力，但與此同時圖像局部的邊緣細節信息丟失嚴重。膨脹卷積可以解決這一問題，它通過對普通卷積窗進行空洞填充(hole padding)，使卷積輸出的特征圖能在尺寸不變的情況下和普通卷積池化后的特征圖具備相同的感受野，即稠密的的特征圖(dense map)，如圖3(a2)所示。因此本文將GC-CNN的第2層卷積參數遷移到孔洞維度為1的DGC-CNN中。為了和GC-CNN中的池化層對應，DGC-CNN中的池化核步長和邊緣填充尺寸設置為1個像素，且第2層池化核的空洞維度為1，從而實現如圖3(c)所示的端到端的映射分類。圖3(b)、圖3(c)中紅色虛線為GC-CNN的第1，2層卷積核參數遷移至DGC-CNN對應位置的示意圖。

由于DGC-CNN模型直接由GC-CNN參數遷移激活，分類精度上較GC-CNN會有所降低。因此，本文使用精調的膨脹交叉卷積神經網絡(FDGC-CNN)來捕獲更多上下文語義特征，進一步提升分類精度，其中精調算法流程圖如圖5所示。FDGC-CNN和全卷積神經網絡FCN相同，在訓練中都需要和輸入圖像尺寸一致的先驗標注圖，這對于先驗標注較為稀缺的PolSAR數據來說是不可行的。為解決這一問題，本文沿用預訓練GC-CNN時采樣的像素點來實現FDGC-CNN的訓練。在FDGC-CNN的訓練過程中，只計算訓練圖像塊中采樣像素點的損失，并用于微調網絡參數。具體的精調訓練步驟為：用128×128的滑窗在輸入復數圖像上以步長為64進行滑動采樣，作為DGC-CNN的輸入數據；之后在訓練過程中生成損失權重矩陣Wloss，用于剔除圖像塊中非采樣像素點的損失，其中Wloss矩陣的采樣像素點權重為1，其余像素點權重為0；最后將Wloss和訓練預測結果加權，得到采樣像素點的平均分類損失，并精調網絡參數。

圖5 DGC-CNN 精調流程圖Fig. 5 Flowchart of DGC-CNN fine-tuning process

4 實驗結果和分析

為了驗證FDGC-CNN模型的分類能力，本節選擇參數規模相當的CNN， GC-CNN， Dilated CNN， DGC-CNN與FDGC-CNN進行對比試驗；實驗的輸入是PolSAR數據的協方差矩陣C，根據互易原理，單波段C矩陣可以轉化為9維的實數特征向量Inputreal，如式(10)所示。其中C11，C22，C33分別為協方差矩陣C的對角元素，C12，C13，C23分別為C的非對角復數元素。

為了讓實數和復數域模型的網絡參數規模相近，本文設置GC-CNN的第1層卷積通道數為12，參數自由度(Degree of Freedom， DoF)為8788；設置CNN的第1層卷積通道數為17，參數自由度為8891。GC-CNN和CNN的參數自由度如圖6所示。CNN和GC-CNN的參數DoF差異很小，利于實驗說明被推廣到復數域下的網絡的性能優勢。

圖6 CNN和GC-CNN參數自由度結構圖Fig. 6 The DoF of CNN and GC-CNN

實驗采用像素分類準確率(Overall Accuracy，OA)、度量分類區域和真實地物重合程度的頻權交并比(Frequency Weighted Intersection over Union， FWIoU)以及一致性檢驗指標Kappa系數3個評價指標對試驗中各個網絡算法進行評估，記N為分類混淆矩陣，Nij為地物i被分為地物j的像素點數量。OA如式(11)所示

FWIoU如式(12)所示

Kappa系數的計算如式(13)所示

4.1 基于AIRSAR平臺的Flevoland-Netherlands地區PolSAR數據實驗

實驗采用美國NASA/JPL實驗室基于AIRSAR平臺的Flevoland-Netherlands地區L， P， C全波段PolSAR數據。該數據廣泛地用于PolSAR地物分類研究，總共包含了14類農作物和2類人造目標。其中，數據L波段部分的Pauli偽彩圖如圖7(a)所示，圖像尺寸為1279×1024; 16類真實地物[27]和對應的標簽圖例見圖7(b)和圖7(c)，圖7(b)中的黑色區域不參與模型的訓練和評估。

圖7 Flevoland-Netherlands地區L， P， C波段PolSAR數據Fig. 7 L， P， C-band PolSAR image data over the Flevoland-Netherlands region

16類地物包括potato， beans， wheat， fruit等14類莊稼以及道路和少量建筑。在預訓練CNN和GC-CNN時，由于不同地物類別的樣本數差異很大，小樣本地物類別的學習更加困難。因此，實驗為每類地物采樣數目相近的樣本用于訓練，每類地物采樣樣本數詳見表1第2行，各地物的采樣率如表1第1行括號中數值所示，除Peas外，每類地物的采樣率都低于6%，訓練樣本總采樣率為1.5%。在Zhang等人[5]的實驗中，分類精度隨采樣率升高而提升，并推薦在實際運用中將總采樣率設置為5%～10%。Hou[28]和Guo[29]分別采用5%和10%的采樣率實現精度相當的地物分類。本文設置總采樣率為1.5%，旨在更低的總采樣率下驗證所提出模型的學習能力和泛化能力。

參考Chen等人[8]的實驗過程，本文對表1中每組實驗隨機進行了10次采樣和訓練，每次訓練的超參數相同，表1的評估結果取10次實驗的平均值。由于輸入數據為L， P， C全波段極化SAR圖像，因此CNN網絡的輸入為27維實數特征矢量，GC-CCN網絡的輸入為18維復數特征矢量。CNN和GC-CNN各迭代60輪后的收斂曲線如圖8所示。

可見，由于編組-交叉卷積能夠充分利用PolSAR數據豐富的相位信息，GC-CNN能更快和更穩定地收斂，并且能得到更好的分類效果；從表1中的CNN和GC-CNN兩行可以看出，GC-CNN在OA，Kappa和FWIoU 3項指標上都高過CNN大約0.6%，并且在Maize， Peas， Beans和Onion等樣本數較少的類別上具有更好的分類結果。然而在參數規模相當的情況下，GC-CNN的卷積乘法運算量是CNN的2倍，因此，在預測過程中GC-CNN的分類速度較CNN變慢了約2倍。

表1 Flevoland-Netherlands地區PolSAR圖像分類結果表Tab. 1 Classification results of Flevoland-Netherlands region

圖8 GC-CNN和CNN訓練loss收斂圖Fig. 8 Training loss convergence curves of GC-CNN and CNN

CNN和GC-CNN訓練結束后，將具參數分別遷移至Dilated CNN和DGC-CNN中，從表1中CNN和Dilated CNN兩行可以看出，Dilated CNN的分類速度較CNN加速了大約55倍，但由于直接遷移CNN的參數，分類精度有0.56%的損耗。DGC-CNN和GC-CNN相比，以損失0.3%分類精度為代價，大幅度提升了分類速度，且分類精度較Dilated CNN有1.1%的提升。

在精調過程中，由于像素到像素(pixel-to-pixel)映射方式的訓練使輸入圖像塊內的采樣像素被固定在一個批次(batch)中計算損失并更新網絡參數，引入了先驗的空間信息。因此，FDGC-CNN能夠捕獲更多的上下文語意特征，進一步提升分類精度。表1最后一行顯示，FDGC-CNN相較于其他算法能夠大幅度提升道路的分類精度，并且對于一些小樣本地物如Onion， Peas， Beans和Beet等能夠實現更加準確的分類。在AIRSAR平臺的Flevoland-Netherlands地區實驗中，FDGC-CNN實現了最精確和相對高效的地物分類。

圖9列出了各網絡的分類結果圖。從圖9中可見，每個網絡都能實現邊緣保持良好的連貫分類。圖中的白框指出，編組-交叉卷積能在小類別上實現更加準確的分類，從而提升整體分類精度。另外，FDGC-CNN能夠彌補DGC-CNN的精度損耗，并且在Road， Beans， Beet上分類結果更加連貫。綜上，本文采用的FDGC-CNN模型在Flevoland-Netherlands極化數據上兼顧了準確率和分類效率，得到了最優的地物分類結果。

圖9 Flevoland-Netherlands地區分類結果圖Fig. 9 Classification images of the Flevoland-Netherlands region

4.2 基于E-SAR平臺的Oberpfaffenhofen地區L波段PolSAR數據實驗

為驗證FDGC-CNN在表面不規則地物上的分類性能，本文采用德國E-SAR平臺的L波段PolSAR數據進行實驗。該數據包含表面粗糙的城區(Urban)和灌木(WoodLand)以及平滑的耕地(FarmLand)和道路(Road)，總共4類地物。數據尺寸為1300×1200，其Pauli偽彩圖如10(a)所示，真實地物和標注圖例分別如圖10(b)、圖10(c)所示，其中真實地物根據Google Earth光學圖像通過人工標注得到。4類地物的采樣樣本數和實驗總樣本數如表2第1、第2列所示，單類采樣率詳見表2第1列括號中的數值，實驗總采樣率為0.94%。

圖10 Oberpfaffenhofen地區L波段PolSAR數據Fig. 10 L-band PolSAR image data over the Oberpfaffenhofen region

表2 Oberpfaffenhofen地區PolSAR圖像分類結果表Tab. 2 Classification results of oberpfaffenhofen region

表2第4，第6列指出，GC-CNN在表面不規則的WoodLand和Urban地物上的分類精度相較CNN模型有較大提升，這主要因為PolSAR通道相位表征的是回波時延，GC-CNN通過充分學習通道相位信息來提取不規則地物的空間幾何特征，因此能進一步提升不規則地物的分類精度。Dilated CNN和DGC-CNN在參數遷移后都損失了大約0.7%的總分類精度，但分類耗時縮短了大約100倍。精調后的FDGC-CNN模型在OA、Kappa和FWIoU指標上都優于DGC-CNN和GC-CNN，兼顧了分類準確率和效率。

圖11為Oberpfaffenhofen地區實驗分類結果圖。GC-CNN在白框區域較CNN能夠實現更連貫的分類，空洞區域較少。FDGC-CNN相較于GC-CNN在FarmLand上的離散區域更少，說明精調過程能夠結合訓練圖像塊中像素的空間信息來約束平滑地物中的離散區域，進而提升分類精度。

圖11 Oberpfaffenhofen地區分類結果圖Fig. 11 Classification images of the Oberpfaffenhofen

4.3 實驗分析

從2組實驗的分類精度評估指標曲線(如圖12所示)可以看出，基于編組-交叉卷積的模型能夠利用相位信息有效地提升網絡的分類精度。將CNN和GC-CNN的參數遷移到Dilated CNN和DGC-CNN后，分類精度輕微下降，但分類速度大幅度提升。精調的FDGC-CNN能學習更多的上下文語義特征，從而修正一些樣本數較少或具有較強結構特征地物的錯分像素，并能根據像素的空間關聯信息剔除規則地物區域中的離散點和空洞點，最終在GCCNN和DGC-CNN的總體分類精度上實現了進一步的提升。綜上，兩組實驗驗證了FDGC-CNN模型能夠在少量先驗標注下實現高精度高效率的極化SAR地物分類。

5 結論

本文通過FDGC-CNN算法實現了在低采樣率下精確且高效的PolSAR地物分類。該算法首先用低采樣率采樣得到的像素點預訓練GC-CNN，隨后將網絡參數遷移到DGC-CNN中，在分類精度降低的代價下實現像素到像素(pixel-to-pixel)直接映射的快速分類。最后通過精調參數遷移后的DGC-CNN以捕獲更多上下文強語義特征，進而修正錯分樣本，提升分類精度。基于AIRSAR平臺以及E-SAR平臺的PolSAR數據的實驗表明，在低采樣率下，FDGC-CNN相較于SVM分類器和CNN模型取得了精度和效率上的大幅度提升，兼顧了分類精度和效率，具有很強的實用性和部署性。

圖12 Flevoland-Netherlands和Oberpfaffenhofen地區實驗各模型評估結果曲線Fig. 12 Evaluate results curve of models on Flevoland-Netherlands and Oberpfaffenhofen