一種基于CNN與梯度分水嶺算法的衛星圖像區域分割識別方法

張日升，朱桂斌，張燕琴，陳威靜

?

一種基于CNN與梯度分水嶺算法的衛星圖像區域分割識別方法

張日升1，朱桂斌1，張燕琴2，陳威靜1

（1. 重慶通信學院應急通信重慶市重點實驗室；重慶 400035；2. 中國人民解放軍95894部隊，北京 102211）

衛星圖像的準確分割與識別在軍事、環境、民生方面都有著重要的研究意義與價值。傳統的區域分割算法如分水嶺算法、k-means算法等在錯綜復雜的衛星圖像中表現不佳，且不能同時給出區域的類別。為解決上述問題，本文提出一種結合CNN與分水嶺算法的圖像區域分割方法。該方法首先使用人工標記的區域圖像訓練CNN（卷積神經網絡）分類器，且使其具有旋轉不變性及平移不變性，從而能適應不同狀態下的圖像分類。然后用分水嶺算法對圖像進行區域粗粒度的聚類，針對分割出的每一個候選區域，使用CNN分類器對其迭代打分，最后得到分割區域并給出識別結果。實驗結果表明，該方法較傳統方法有更好效果。

卷積神經網絡；梯度分水嶺；衛星圖像；分割識別

0 引言

圖像分割技術一直是計算機視覺領域中的一個研究熱點。圖像分割是指將數字圖像細分為多個圖像子區域的過程[1]，通常用于定位圖像中的物體和邊界。對于衛星圖像，因其錯綜復雜的區域交叉特性與區域間的不規則連接，傳統的圖像分割技術，如Chen等[2]提出的基于顏色的聚類方法和Fowlkes等[3]提出的基于梯度的圖像分割方法，容易造成多分、重分等問題，效果不佳。

隨著深度學習的興起，卷積神經網絡越來越多的被應用到了圖像識別中[4]，卷積神經網絡的稀疏連接、權值共享的特殊結構，不僅大大降低了模型的運算復雜度，而且旋轉不變性與縮放不變性也使其具備良好的魯棒性。目前，Google利用卷積神經網絡在ImageNet數據集上已取得了96.9%的驚人準確率。同時，將卷積神經網絡運用到衛星圖像的分類問題中，可以較好地解決衛星離地距離不同、遙感設備拍攝角度不同和大氣層多光譜散射等帶來的噪聲等問題。

我們也考慮到了RCNN（Region with Convo- lutional Neural Network）與 Fast-RCNN[5]對于區域的分割方法。由于Fast-RCNN在訓練與識別時，所計算出的區域均為矩形，對于彎曲的公路或河流，具有較低的召回率，因此只能解決局部的準確率問題，大幅的衛星圖像中表現不佳。如圖1所示。

為解決多分、重分以及召回率過低的問題，我們結合卷積神經網絡[6]對圖像精準分類的優點，提出分割區域重組思想。首先使用梯度分水嶺算法[7]對預處理后的圖像按顏色進行粗粒度聚類，再使用卷積神經網絡對每一個聚類區域按一定規則進行迭代識別，并按識別結果對每一個類別進行打分，將得分最高的類別認為是該區域所屬類別。針對相同類別的相鄰區域，將其合并為一個區域，進而解決多分重分問題。

1 算法實現

本文利用卷積神經網絡在分類時具有平移不變性、旋轉不變性的特點，對衛星圖像塊進行準確分類（準確率97%），進而對候選區域打分并重組，實現區域分割識別。本文首先利用梯度分水嶺算法對整幅衛星圖像按顏色聚類，得到粗略的區域劃分，然后對候選區域使用CNN分類器為所屬類別打分，最后根據得分，重新整理候選區域，得到分割識別結果。算法流程如圖2所示。

1.1 數據預處理

首先采用小波變換[8]對圖像進行去噪處理，然后將圖像轉為灰度圖，采用中值濾波算法[9]對圖像做平滑處理，便于梯度分水嶺算法聚類。

1.1.1 小波變換

采用自適應閾值法去噪。相比于固定閾值方法，該方法可自適應地調節閾值，使之對于不同噪聲的適應性與穩定性都得到了提升。自適應閾值定義如公式(1)：

式中：為小波的總分解尺度；為閾值小波尺度。可見，不同尺度有不同閾值，與小波分析的多分辨率相適應。

圖像經小波變換去噪后效果如圖3所示（左圖為原始圖像，右圖為去噪后圖像）。

1.1.2 中值濾波

針對灰度圖，采用中值濾波算法對其處理，如公式(2)：

(,)＝med{(－,－),(,?)} (2)

式中：(,)和(,)分別為處理后的圖像與原始圖像；和分別為圖像橫坐標和縱坐標的滑動距離；為二維模板，本方法中選取9×9大小的區域。

針對圖像中混雜的一些椒鹽噪聲，采用中值濾波方法可以很好地起到過濾作用，如圖4所示（左圖為輸入圖像，右圖為中值濾波后圖像）。

1.2 區域粗分割

1.2.1 梯度分水嶺算法

分水嶺分割方法，是一種基于拓撲理論的數學形態學的分割方法，其基本思想是把圖像看作是測地學上的拓撲地貌，圖像中每一點像素的灰度值表示該點的海拔高度，每一個局部極小值及其影響區域稱為集水盆，而集水盆的邊界則形成分水嶺。

分水嶺變換得到的是輸入圖像的集水盆圖像，集水盆之間的邊界點，即為分水嶺。顯然，分水嶺表示的是輸入圖像極大值點。因此，為得到圖像的邊緣信息，通常把梯度圖像作為輸入圖像，如公式(3)：

圖1 基于RCNN的衛星遙感圖像區域識別結果

圖2 基于CNN與梯度分水嶺算法的區域分割算法流程圖

式中：函數表示原始圖像；grad函數表示梯度運算。

為降低分水嶺算法產生的過度分割，通常要對梯度函數進行修改，一個簡單的方法是對梯度圖像進行閾值處理，以消除灰度的微小變化產生的過度分割，如公式(4)：

(,)＝max(grad((,)),()) (4)

式中：函數表示閾值。

1.2.2 候選區域獲取

結合實際圖像，對預處理后的圖像使用梯度分水嶺算法進行區域粗分割，當閾值為10時分割結果如圖5所示（從左至右依次是輸入圖像、梯度化后圖像、標記后圖像和分割后圖像）。

1.3 卷積神經網絡模型

1.3.1 卷積神經網絡的特點

卷積神經網絡受貓腦皮層的局部感知與方向選擇的啟發而被設計提出。一方面，卷積神經網絡中神經元之間的稀疏鏈接與權值共享，可使其在深層次上挖掘出數據在空間上的關系，因此使網絡具有旋轉不變性與平移不變性；同時，參數共享也減少網絡中可訓練參數的數量，提高了訓練速度與計算效率。

1.3.2 針對衛星圖像搭建的卷積神經網絡模型

模型分為兩個部分。一是特征提取部分，一是分類部分。其中，特征提取部分負責學習圖像塊中的有效特征以助于后續分類；分類部分利用上述特征對圖像所屬類別進行精準預測。

特征提取部分是由卷積層與池化層組成。其中，卷積層又由眾多卷積核組成，最后經過激活函數后將結果輸出，如公式(5)：

式中：x表示第層卷積層中第個圈結合對應的特征；M表示當前神經元的感受域；W表示第層中第個卷積核的第個加權系數；b表示第層中第個卷積核的偏執系數，在這里，我們選取ReLu函數作為激活函數，如公式(6)：

()＝max(0,) (6)

池化層利用局部相關性原理對數據進行子抽樣，在減少數據維度的同時又保證了信息的有效性，且使模型具有了平移不變性。如公式(7)：

式中：down函數表示卷積函數；表示加權系數；表示偏執系數。

針對35×35像素大小的遙感衛星圖像設計的卷積神經網絡模型圖，如圖6所示。

1.3.3 訓練方法

卷積神經網絡是輸入到輸出的映射，能夠在不需要任何輸入和輸出之間的精確數學表達式的前提下，利用已標記的數據進行訓練，建立輸入輸出對之間的映射關系。卷積神經網絡訓練流程如圖7所示。

據經驗值，將設為60，偏置系數初始為1，卷積核加權系數按照公式(8)初始化：

式中：Fin為輸入數據的維度；Fout為輸出數據的維度。

圖4 中值濾波

圖5 梯度分水嶺算法區域粗分割

圖6 識別衛星圖像的卷積神經網絡模型圖

圖7 卷積神經網絡訓練流程圖

1.4 區域分割方法

1.4.1 區域打分

對于2.2節給出的候選區域，我們使用2.3節中CNN分類器對候選區域中的每一個圖像塊進行識別分類，步長為25，如圖8所示。

對于邊界外區域，我們采用0填充，如圖9所示。

為所屬類別打分，分值即為softmax給出的概率值，如公式(9)：

式中：Ci為第i類別的得分；n為大區域中小區域塊的數量；Sji為第j個區域塊屬于i類別的概率。

Fig. 8 Region marking

圖9 邊界填充

圖10的打分結果如表1所示，精確到小數點后兩位，小于0.01時得分為0。

1.4.2 區域重組

對上述打分后的區域，認為得分最高的類別為該區域所屬類別，同時，將屬于同一類別而相鄰的區域合并，如圖10所示。

圖10 區域合并

Fig. 10 Region merging

表1 遙感圖像分割區域打分表

2 測試結果及分析

2.1 卷積神經網絡超參數選取方法

2.1.1 訓練數據的選取

實驗所使用數據來自谷歌衛星地圖19級圖像，隨機區域采集后切分成25×25像素圖像，按照類別分為5類，即草地、湖泊、公路、居民區、土地，每類5000張，合計25000張。為了增加樣本的相關性，使模型具有更好的泛化能力，現將訓練數據依次順時針旋轉90°、180°和270°，如圖11所示。

經過旋轉處理后，每類圖片擴增至20000張，合計100000張。在每類20000張數據中，隨機取12000張作為訓練集，其余部分隨機分成兩部分，每部分4000張，分別為測試集與驗證集。

2.1.2 訓練次數選擇

我們將數據按每128張圖片為一個batch，最后一個batch不足128時隨機抽取補充，共160個batch，迭代到360次之后，loss不再下降，模型訓練完畢，如圖12所示。

2.2 與經典BP神經網絡對比

為證實設計的卷積神經網絡更加有效，我們將相同數據集用經典BP神經網絡訓練，并作比較實驗，結果如表2所示。

2.3 與傳統圖像分割方法比較

同時，為證實本方法較傳統方法的有效性，作對比實驗，結果如表3所示。

2.4 結果分析

由于衛星圖像的特殊性，直接采用傳統的梯度分水嶺算法會產生明顯的多分和重分現象，無法達到識別的目的。若直接使用CNN方法進行區域識別，由于識別的區域均為矩形，對于彎曲的公路或河流，不能夠準確地表現出目標輪廓范圍，因此只能個別目標識別而無法做到大幅衛星圖像識別。基于CNN與梯度分水嶺算法的衛星圖像區域分割識別方法充分發揮了梯度分水嶺算法和卷積神經網絡的優勢，圖像分割后邊界清晰，類別明顯，較好地實現了衛星圖像的區域分割與識別功能。

3 總結

本文研究了CNN與梯度分水嶺算法相結合的衛星圖像區域分割與識別方法，解決了傳統分割方法重分、多分與深度學習方法只能精準識別的問題。但是還有一些不足之處，如區域打分依賴于準確率較高的分類器、區域合并運算速度較慢等。同時，在討論本方法的時候，封閉區域的選取也是需要重點討論的對象。在下一步的工作中，我們將對如何選取封閉區間與如何進一步提高運算速度進行優化。

圖11 旋轉衛星圖片

Fig. 11 Rotating satellite images

圖12 Loss曲線

Fig. 12 Loss curve

表2 卷積神經網絡與經典BP神經網絡算法對比結果

表3 CNN與梯度分水嶺結合方法與傳統方法對比結果

[1] Acharya J, Gadhiya S, Raviya K. Segmentation techniques for image analysis: A review[J]., 2013, 2(1): 1218-1221.

[2] CHEN J, Pappas T N, Mojsilovic A, et al. Adaptive image segmentation based on color and texture[C]//, 2002, 3: 777-780.

[3] Fowlkes C, Martin D, Malik J. Learning affinity functions for image segmentation: Combining patch-based and gradient-based approaches[C] //, 2003, 2: II-54-61.

[4] Sharif Razavian A, Azizpour H, Sullivan J, et al. CNN features off-the-shelf: an astounding baseline for recognition[C]//, 2014: 806-813.

[5] Girshick R. Fast r-cnn[C]//, 2015: 1440-1448.

[6] Ciregan D, Meier U, Schmidhuber J. Multi-column deep neural networks for image classification[C]// 2012(), 2012: 3642-3649.

[7] MA J, BAI H, FENG J, et al. Image segmentation algorithm based on wavelet transformation and watershed[C]//, 2016: 100331L-100331L-5.

[8] YAN R, SHAO L, LIU Y. Nonlocal hierarchical dictionary learning using wavelets for image denoising[J]., 2013, 22(12): 4689-4698.

[9] Hsieh M H, CHENG F C, Shie M C, et al. Fast and efficient median filter for removing 1%-99% levels of salt-and-pepper noise in images[J]., 2013, 26(4): 1333 -1338.

Method of Satellite Images Region Segmentation and Recognition Based on CNN and Gradient Watershed Algorithm

ZHANG Risheng1，ZHU Guibin1，ZHANG Yanqin2，CHEN Weijing1

(1.,,400035,; 2.95894,100102,)

The accurate segmentation and recognition of satellite images is very important in military and environmental matters and for people's livelihoods. Traditional region segmentation algorithms, such as the watershed algorithm, k-means algorithm, etc., do not perform well on complex satellite images, and cannot simultaneously display the region category. To address this problem, a method of satellite images region segmentation is proposed based of a convolutional neural network (CNN) and the gradient watershed algorithm. Firstly, the artificial markers of regional images are used to train the CNN classifier to adapt to the different categories of image classification with rotation in variant and translation in variant. Then, the watershed algorithm is used for regional images’ coarse-grained clustering. For each candidate region segmented, CNN classifiers were used to iterate and mark. The experimental region segmentation and the recognition results show that the proposed method is better than the traditional methods.

convolutional neural network，gradient watershed，sensing images，segmentation and recognition

TP389.1

A

1001-8891(2017)12-1114-06

2017-01-10；

2017-12-01.

張日升（1988-），男，碩士研究生。研究方向：智能信號與信息處理。E-mail：15320339816@163.com。

重慶市科技研發基地能力提升項目（cstc2014ptsy40003）。