基于改進LinkNet的寒旱區(qū)遙感圖像河流識別方法

沈 瑜 王海龍 苑玉彬 梁 麗 張泓國 王 霖

(1.蘭州交通大學電子與信息工程學院， 蘭州 730070； 2.南京航空航天大學電子與信息工程學院， 南京 211106)

0 引言

遙感圖像精準識別河流對于水資源的合理利用具有重要意義[1]。高分衛(wèi)星技術(shù)的快速發(fā)展為高分辨率遙感圖像的獲取提供了新的途徑，對于河流圖像的精準識別具有支撐作用[2-4]。

利用傳統(tǒng)方法對河流進行識別精度較差、效率低[5-6]。近些年，利用深度學習方法研究遙感圖像取得了重大突破，尤其是基于深度卷積神經(jīng)網(wǎng)絡的遙感圖像語義分割取得了比較大的進展[7-11]。WANG等[12]利用遷移學習方法將UNet和CAM (Class activation maps)算法結(jié)合，形成U-CAM網(wǎng)絡，使用弱監(jiān)督方法在只有100幅圖像的情況下進行訓練，在農(nóng)田影像數(shù)據(jù)集上實現(xiàn)了較高的像素級預測精度。ResUNet[13]網(wǎng)絡結(jié)合了深度殘差網(wǎng)絡和UNet網(wǎng)絡各自的優(yōu)勢，使得網(wǎng)絡參數(shù)僅為UNet的1/4，并使用預訓練好的網(wǎng)絡進行了微調(diào)，在Massachusetts roads dataset的測試集上取得了優(yōu)于其他網(wǎng)絡的分割性能。LinkNet[14]網(wǎng)絡借鑒了UNet的思想，并引入了residual blocks，然后將每個編碼器的輸入連接到對應解碼器的輸出上，在保證分割精度的同時提升網(wǎng)絡推斷速度，以滿足實時性的任務需求，在Cityscapes測試集上實現(xiàn)了快速分割。D-LinkNet[15]使用預訓練編碼器的LinkNet作為骨干，通過引入殘差單元和串并聯(lián)空洞卷積結(jié)構(gòu)，在DeepGlobe道路數(shù)據(jù)集的驗證集和測試集上，IoU(交并比)分別為64.6%和63.4%。MANet[16]中提出了一種新的具有線性復雜度的注意力機制，以減輕注意力中的大量計算需求，通過多個高效的注意力模塊提取上下文依賴關(guān)系，在ISPRS Potsdam等多個數(shù)據(jù)集上驗證了其準確度均超過了其他8種對比網(wǎng)絡。MUNet[17]是一種多尺度自適應分割網(wǎng)絡，將多個尺度的UNet進行融合，所有分支共用一個下采樣編碼過程，然后進行上采樣，并將預測結(jié)果連接后進行卷積融合，在ISPRS Vaihingen等數(shù)據(jù)集上與UNet++模型進行對比實驗，MUNet模型的預測精度更高，容錯能力更強。GLCNet[18]中提出了一種全局風格和局部匹配對比學習網(wǎng)絡，在ISPRS Potsdam數(shù)據(jù)集上將Kappa系數(shù)提高了6%，效果明顯優(yōu)于有監(jiān)督學習。R-LinkNet網(wǎng)絡通過遷移ResNet50到LinkNet網(wǎng)絡中，同時結(jié)合Dense ASPP[19]對河流圖像進行語義分割，在分割細節(jié)上得到了較大提升，在河流數(shù)據(jù)集上像素準確率為89.1%。WEI等[20]提出一種編碼器-解碼器架構(gòu)模型，利用編碼器網(wǎng)絡提取超高分辨率圖像的高層語義特征，利用解碼器網(wǎng)絡將低分辨率編碼器特征圖映射到全輸入分辨率特征圖，并結(jié)合了條件隨機場，實現(xiàn)像素級標記，在Vaihingen數(shù)據(jù)集上平均像素準確率為76.32%。

雖然在遙感圖像領(lǐng)域有很多語義分割算法都取得了較好的效果，但是針對寒旱地區(qū)遙感圖像河流的提取算法較少。我國寒旱地區(qū)河流分布較為分散，水量較小，因此河流呈現(xiàn)出細小的特點，且存在高山陰影和云霧遮擋的問題。目前的算法對河流邊緣細節(jié)以及陰影遮擋處很難識別，容易出現(xiàn)不連續(xù)和鋸齒狀，基于以上問題，本文提出一種改進LinkNet模型的分割網(wǎng)絡(AFR-LinkNet)，用于對我國寒旱地區(qū)遙感圖像河流的識別。

1 實驗數(shù)據(jù)集

1.1 實驗區(qū)域

本文遙感圖像數(shù)據(jù)采集區(qū)域位于30°～50°N，80°～100°E，如圖1所示。該地區(qū)每年最冷月平均氣溫小于-4.0℃、月平均氣溫大于10℃時間不超過5個月，連年平均降雨量小于500 mm，屬于典型的寒旱地區(qū)。該地區(qū)生態(tài)脆弱、水資源分布不均勻、缺乏水資源統(tǒng)一管理和調(diào)度，使得寒旱地區(qū)的生態(tài)環(huán)境日益惡化。因此，寒旱地區(qū)河流精準識別顯得尤為重要。

圖1 實驗區(qū)域示意圖Fig.1 Schematic of experimental area

1.2 數(shù)據(jù)集

數(shù)據(jù)集選自我國寒旱地區(qū)具有不同尺度和代表性的遙感河流圖像，從圖1所示實驗區(qū)域的Google Earth中共采集200幅遙感河流圖像，圖像尺寸為1 024像素×1 024像素，覆蓋面積為1 m2。利用標注工具Labelme進行二分類人工語義標注，河流標注為1，背景標注為0。數(shù)據(jù)集中包含山體陰影、冰雪、道路、云霧、干涸河床等具有代表性的干擾因素，圖2為數(shù)據(jù)集部分示例。

圖2 河流數(shù)據(jù)集示例圖Fig.2 Example diagram of a river dataset

為了使數(shù)據(jù)集足夠大，對采集到的訓練數(shù)據(jù)集進行數(shù)據(jù)增強[21]，包括圖像旋轉(zhuǎn)、縮小填充、放大、鏡像、色度變換等操作，使原有數(shù)據(jù)集擴大5倍達到1 000幅圖像。圖像增強操作示意圖如圖3所示。

圖3 數(shù)據(jù)擴增效果Fig.3 Data amplification effect

2 網(wǎng)絡模型

為了實現(xiàn)對寒旱區(qū)遙感河流圖像精細化的分割，本文對LinkNet結(jié)構(gòu)進行了改進，提出一種基于編碼-解碼的AFR-LinkNet網(wǎng)絡，其結(jié)構(gòu)如圖4所示。

圖4 AFR-LinkNet網(wǎng)絡結(jié)構(gòu)Fig.4 AFR-LinkNet network structure

LinkNet采用ResNet18作為編碼器，其表征能力和精度有限。本文提出的AFR-LinkNet網(wǎng)絡屬于編碼-解碼結(jié)構(gòu)，包括2個卷積層、1個反卷積層、4個編碼層、4個解碼層、3個非對稱卷積塊、1個殘差通道注意力模塊和密集跳躍連接結(jié)構(gòu)。編碼器部分采用預訓練好的殘差網(wǎng)絡ResNet50，以增強網(wǎng)絡的表征能力，并縮小收斂時間，同時使用最新針對計算機圖像的非線性視覺激活函數(shù)FReLU[22]，可以使網(wǎng)絡獲得更多的圖像空間關(guān)聯(lián)性的細節(jié)信息。將編碼器階段的每個輸出都經(jīng)過一個不對稱的卷積塊提供給解碼器，壓縮網(wǎng)絡大小，速度得到提升，將不同級別的圖像信息進一步細化，為解碼器提供更多的圖像空間信息。殘差通道注意力結(jié)構(gòu)位于網(wǎng)絡的編碼器和解碼器之間，該結(jié)構(gòu)中使用了空洞卷積，可以增大網(wǎng)絡感受野，保留更多的有用信息，該結(jié)構(gòu)可以對提取的特征進一步重新標定，重點關(guān)注對語義分割任務有效的圖像特征，有利于實現(xiàn)精細化分割。在解碼器階段，使用密集跳躍連接，以將不同級別和尺度的特征進行融合加以利用，減少特征信息的損失，使網(wǎng)絡分割能力得到提升。

2.1 殘差通道注意力結(jié)構(gòu)

在遙感河流圖像語義分割任務中，由于受陽光、山體陰影、云霧、干澀河床以及冰雪等的影響，網(wǎng)絡模型經(jīng)常會出現(xiàn)分割的語義圖中細小河流不連續(xù)或者在邊緣產(chǎn)生鋸齒狀的現(xiàn)象，如果能使網(wǎng)絡關(guān)注重點目標區(qū)域，便可提升分割精度，因此需要強化對遙感河流圖像語義分割任務有效的高級語義特征信息。不同高級特征通道之間具有一定的關(guān)聯(lián)性，而且各個高級通道都包含大量豐富的圖像語義信息，只要將這些通道進行建模形成一定的信息依賴，就能實現(xiàn)對有效的高級語義信息的強化作用，因此本文采用具有殘差結(jié)構(gòu)的通道注意力模塊(Residual channel attention block，RCAB)，如圖5所示。

圖5 殘差通道注意力模塊結(jié)構(gòu)圖Fig.5 Residual channel attention block structure diagram

在殘差通道注意力結(jié)構(gòu)中，一方面將編碼器得到的具有高級語義信息的特征圖經(jīng)過全局平均池化操作進行壓縮，得到每個通道的全局特征信息。然后經(jīng)過兩個卷積層和一個非線性激活函數(shù)FReLU構(gòu)成的bottleneck結(jié)構(gòu)進行通道之間的信息依賴建模，最后通過Sigmoid函數(shù)獲取通道權(quán)重。另一方面將編碼器得到的特征圖經(jīng)過兩層膨脹卷積進行處理，然后與得到的權(quán)重進行Scale運算，最后得到具備通道注意力的遙感河流圖像的特征圖。殘差通道注意力結(jié)構(gòu)對目標分割任務的特征圖進行了重新標定，強化了有效特征，有助于提高網(wǎng)絡的語義分割精度。

2.2 非對稱卷積塊

在網(wǎng)絡模型中使用大小為d×d的標準卷積核能夠?qū)D像特征進行提取，但是普通卷積核的感受野和網(wǎng)絡深度較為有限。文獻[23]提出了使用非對稱卷積(Asymmetric convolutional network，ACNet)代替原有普通卷積，并證明了可以將標準的d×d卷積分解為d×1和1×d，以減少參數(shù)和計算量，并增加了網(wǎng)絡深度，使得網(wǎng)絡的非線性表達能力更強。非對稱卷積主要通過逼近方核卷積的方式進行壓縮和加速，但是在逼近過程中會導致部分信息丟失。文獻[24]針對該問題提出了使用兩個一維非對稱卷積分別從水平和垂直方向?qū)Ψ胶司矸e進行特征增強，以提升局部顯著特征的影響因子。最后將3個并行卷積核獲取的信息集中到方核卷積，用以豐富特征空間信息，使得網(wǎng)絡對圖像具有良好的辨別性能。非對稱卷積塊如圖6所示。

圖6 非對稱卷積塊結(jié)構(gòu)圖Fig.6 Structure diagram of asymmetric convolution block

非對稱卷積塊由3個并行的3×3、1×3、3×1卷積層構(gòu)成，3個通道具有相同的特征輸入。特征圖分別經(jīng)過方核、水平核以及垂直核的卷積操作，并將輸出進行求和操作得到融合結(jié)果。水平和垂直方向的卷積操作捕獲了更多的空間細節(jié)信息，增強了卷積核的表達能力，避免了大量參數(shù)計算的引入。最后將融合后的特征圖經(jīng)過批量歸一化(Batch normalization，BN)操作，減少過擬合，提升訓練速度，并經(jīng)非線性ReLU激活后輸出。

2.3 視覺激活函數(shù)FReLU

現(xiàn)實中數(shù)據(jù)分布大多數(shù)都是非線性的，因此引入非線性激活函數(shù)可以強化網(wǎng)絡的學習能力，提供更好的建模能力，使卷積神經(jīng)網(wǎng)絡更接近真實情況。卷積神經(jīng)網(wǎng)絡圖像語義分割中經(jīng)常使用的激活函數(shù)為ReLU(Rectified linear unit)和PReLU(Parametric ReLU)[25]，表達式為

(1)

(2)

式中a——隨機參數(shù)x——特征輸入

在ReLU激活函數(shù)中，有效導數(shù)是常數(shù)1，解決了深層網(wǎng)絡中出現(xiàn)的梯度消失問題，也就使得深層網(wǎng)絡可訓練。但是ReLU強制將x≤0部分的輸出置為0可能會導致模型無法學習到有效特征，所以如果學習率設置的太大，就可能導致網(wǎng)絡的大部分神經(jīng)元處于失效狀態(tài)，所以使用ReLU網(wǎng)絡，學習率不能設置太大。PReLU在x≤0部分的線性激活單元引入了一個隨機參數(shù)a，該參數(shù)可通過學習進行更新。

ReLU和PReLU在卷積神經(jīng)網(wǎng)絡中應用較為廣泛，但是在圖像處理上對空間特征信息不敏感。針對該問題，文獻[22]提出一種新的非線性計算機視覺任務激活函數(shù)FReLU(Funnel ReLU)解決對空間信息不敏感的問題。FReLU的計算式為

FReLU(x)=max(x,T(x))

(3)

式中T(x)——二維空間條件

FReLU激活函數(shù)中使用一個依賴于空間上下文的二維漏斗狀條件T(x)，該視覺條件有助于提取物體的精細空間布局。FReLU原理圖如圖7所示。二維空間條件創(chuàng)建了像素級別的空間依賴，實現(xiàn)了網(wǎng)絡的像素化建模能力，它能增強網(wǎng)絡對不規(guī)則和詳細物體布局的解析，極大地提升了圖像語義分割精度。

圖7 FReLU原理圖Fig.7 Schematic of FReLU

3 實驗結(jié)果與分析

3.1 實驗設置

實驗硬件平臺為i9-11980HK CPU、NVIDIA GeForce RTX3080 GPU16GB，內(nèi)存32GB，Windows 10操作系統(tǒng)。網(wǎng)絡模型使用Python語言和PyTorch框架進行搭建，實驗中優(yōu)化器為Adam，學習策略為Poly，批量大小為2，迭代次數(shù)為100，初始學習率為2×10-4，權(quán)重衰減為1×10-4，動量為0.99，損失函數(shù)采用二分類交叉熵損失函數(shù)，為防止網(wǎng)絡陷入局部最優(yōu)解，并按多項式衰減，衰減率設置為0.9。在數(shù)據(jù)集中將訓練集與驗證集比例設置為9∶1，測試數(shù)據(jù)集從寒旱區(qū)單獨采集了100幅尺寸為1 024像素×1 024像素，且含有高山陰影、道路、冰雪等干擾因素的河流圖像作為測試集。

3.2 評價指標

采用召回率(Recall)、交并比(IoU)、F1值、準確率(Accuracy)作為評價指標。

3.3 實驗結(jié)果

通過對比實驗和消融實驗，驗證AFR-LinkNet網(wǎng)絡模型對遙感圖像河流精準分割的有效性，實驗參數(shù)初始化全部使用HE等[26]初始化方法，權(quán)值初始化服從正態(tài)分布，超參數(shù)設置服從3.1節(jié)中各項設置。實驗結(jié)果表明，AFR-LinkNet網(wǎng)絡的交并比、召回率、F1值和準確率分別為70.9%、88.2%、89.9%和91.8%，均高于FCN、UNet、ResNet50、LinkNet和DeepLabv3+網(wǎng)絡；河流圖像識別結(jié)果在細節(jié)和精度上均優(yōu)于其他網(wǎng)絡，對各種干擾因素具有較強的區(qū)分能力。

3.3.1對比實驗結(jié)果分析

實驗選取5個經(jīng)典網(wǎng)絡模型FCN、UNet、ResNet50、LinkNet、DeepLabv3+ 作為對比，圖8為不同網(wǎng)絡的準確率變化曲線，表1為相應網(wǎng)絡的評價指標結(jié)果。

圖8 不同網(wǎng)絡的準確率對比曲線Fig.8 Accuracy comparison curves of different networks

表1 不同網(wǎng)絡評價指標結(jié)果Tab.1 Results of different network evaluation indicators %

由表1可知，AFR-LinkNet網(wǎng)絡相較于FCN、UNet、ResNet50、LinkNet、DeepLabv3+ 網(wǎng)絡，交并比分別提高了26.4、22.7、17.6、12.0、9.7個百分點，像素準確率分別提高了25.9、22.5、13.2、10.5、7.3個百分點。從圖8中看出， AFR-LinkNet網(wǎng)絡在20個迭代周期時像素準確率基本趨于穩(wěn)定，可達91.8%，其準確率高于其他網(wǎng)絡，具有更好的收斂性與準確性。

圖9為含有冰雪、干澀河床、道路、高山陰影等情形下網(wǎng)絡的4幅遙感河流圖像的語義分割效果圖。圖中紅色矩形為主要的分割差異，可以看出FCN、UNet以及ResNet50網(wǎng)絡在河流較細處出現(xiàn)了中斷，邊緣識別效果較差，并且將一些冰雪、高山陰影、小道等誤識別為河流，抗干擾性以及細節(jié)識別效果不理想。LinkNet和DeepLabv3+ 網(wǎng)絡識別效果有一定提升，細小河流處出現(xiàn)中斷的較少，但仍然有許多誤識別且識別精度比較差。AFR-LinkNet網(wǎng)絡受殘差通道注意力結(jié)構(gòu)(RCAB)影響，重點關(guān)注了目標分割任務區(qū)域(河流)，在河流連貫性和邊緣識別精細度上有了較大提高，并且因為非對稱卷積結(jié)構(gòu)(ACNet)豐富了特征空間信息，使得網(wǎng)絡對圖像具有較強的辨析能力，因此受冰雪和干澀河床等的影響較小，對高山陰影遮擋以及道路等干擾因素有較強的區(qū)分性，結(jié)合視覺激活函數(shù)FReLU對河流圖像的像素級空間解析能力，使得網(wǎng)絡分割精度整體提升，分割效果較其他網(wǎng)絡有明顯的區(qū)別。但是在特別細小和離目標區(qū)域較遠的河流(圖中綠色矩形區(qū))仍有部分識別不了，主要原因可能是網(wǎng)絡重點關(guān)注了目標區(qū)域且衛(wèi)星圖像分辨率有限。

圖9 4幅圖像不同網(wǎng)絡識別結(jié)果對比Fig.9 Comparison of identification results of different networks

3.3.2消融實驗結(jié)果分析

為了驗證ACNet和RCAB對提高遙感河流圖像識別效果的有效性，實驗中將未引入ACNet和RCAB的AFR-LinkNet網(wǎng)絡與AFR-LinkNet + ACNet、AFR-LinkNet + RCAB、AFR-LinkNet+ACNet+RCAB網(wǎng)絡進行對比，其像素準確率變化曲線以及網(wǎng)絡相應的評價指標結(jié)果如圖10和表2所示。

圖10 網(wǎng)絡測試準確率變化曲線Fig.10 Accuracy change curves of network test

表2 網(wǎng)絡測試評價指標結(jié)果Tab.2 Network test evaluation index results %

根據(jù)表2可知，在AFR-LinkNet網(wǎng)絡上分別只引入ACNet和RCAB后網(wǎng)絡收斂速度和像素準確率均有提高，單獨引入RCAB時的各項評價指標優(yōu)于單獨引入ACNet結(jié)構(gòu)，當同時引入ACNet和RCAB時各項評價指標均達到最優(yōu)。只引入ACNet模塊后，交并比提高了5.1個百分點，像素準確率提高了2.9個百分點；單獨引入RCAB模塊后，交并比提高了5.5個百分點，像素準確率提高了3.8個百分點；同時引入ACNet和RCAB，交并比提高了7.7個百分點，像素準確率提高了6.1個百分點。

圖11為網(wǎng)絡河流識別效果，紅色方框標注的為主要差異部分，可以看出， AFR-LinkNet網(wǎng)絡識別效果最差，錯誤地將冰雪、道路以及一些山體和陰影遮擋識別為河流，一部分細小河流識別不到，一部分識別出現(xiàn)斷流，河流邊緣識別精度較差；只引入ACNet結(jié)構(gòu)后的網(wǎng)絡從不同方向上對特征信息進行了增強，能夠提取到豐富的特征空間信息，使得網(wǎng)絡對圖像具有良好的辨別性能，因此識別到了細小的河流，沒有將山體陰影和道路錯誤識別為河流，識別到的河流較為完整和連貫，但在邊緣細節(jié)上仍有部分誤識別；只添加RCAB結(jié)構(gòu)后的網(wǎng)絡能夠?qū)恿髂繕朔指钊蝿盏奶卣鲌D進行重新標定，強化有效特征，重點關(guān)注河流分割目標，從相應的識別效果圖中可以看出對河流的邊緣細節(jié)識別精度較高，對冰雪和遮擋有較強的抗干擾性，細小河流得到了精確識別，但仍有部分斷流；可以看到同時結(jié)合ACNet和RCAB的AFR-LinkNet網(wǎng)絡識別效果最佳，識別到的河流最完整，細小河流得到了完整的提取，且邊緣部分的細節(jié)精度也較高，沒有將各種干擾因素錯誤地識別為河流，達到了精細化、精準化識別遙感河流圖像的目的，證明了本文網(wǎng)絡的有效性。但是對特別細小的河流和其邊緣(語義標簽圖中的綠色方框部分)的分割精度還有一定的提升空間。

圖11 不同網(wǎng)絡的河流識別效果對比Fig.11 Comparison of identification effects of different networks

4 結(jié)束語

根據(jù)寒旱區(qū)地理特點，制作了相應的高分辨率遙感河流圖像數(shù)據(jù)集。為了解決寒旱區(qū)遙感河流圖像精細化識別精度低的問題，提出了一種基于改進LinkNet網(wǎng)絡的遙感河流圖像識別算法(AFR-LinkNet)，網(wǎng)絡的分割結(jié)果與原始圖像的分辨率能夠保持一致。首先將ResNet50遷移到LinkNet中，并使用FReLU替換ReLU激活函數(shù)，增加密集跳躍連接結(jié)構(gòu)，在增加網(wǎng)絡深度的同時保留更多的空間信息，保證了河流圖像識別的連貫性；其次，引入ACNet和RCAB模塊，使得網(wǎng)絡專注于分割目標，進一步加強了低級圖像空間語義信息與高級圖像語義信息的結(jié)合，提升了網(wǎng)絡收斂速度和河流邊緣識別的準確度，增加了抗干擾性。實驗結(jié)果表明，AFR-LinkNet網(wǎng)絡的交并比、召回率、F1值和像素準確率分別為70.9%、88.2%、89.9%和91.8%，優(yōu)于FCN、UNet、ResNet50、LinkNet和DeepLabv3+網(wǎng)絡，證明了其有效性。