聯合Bi-LSTM和注意力加強多尺度卷積的黃河三角洲濕地高光譜圖像分類方法研究

徐美論, 李忠偉, 王雷全, 李 娟, 胡亞斌, 梁 建

聯合Bi-LSTM和注意力加強多尺度卷積的黃河三角洲濕地高光譜圖像分類方法研究

徐美論1, 李忠偉1, 王雷全2, 李 娟2, 胡亞斌3, 梁 建4

(1. 中國石油大學(華東)海洋與空間信息學院, 山東 青島 266580; 2. 中國石油大學(華東)計算機科學與技術學院, 山東 青島 266580; 3. 自然資源部 第一海洋研究所, 山東 青島 266061; 4. 南通智能感知研究院, 江蘇 南通 226007)

近年來, 面向黃河口的監測需求日益增大, 如黃河入海流路改道至清水溝路以來, 在新老河道的交匯處存在著豐富的地物類別, 對于這些地物類別的檢測識別研究有助于掌握生態環境狀態, 對于黃河口的濕地保護以及國家改善環境的戰略支持具有重要意義。因此, 本文提出一種新的濕地高光譜圖像分類方法, 分雙路分別提取圖像的空譜特征并融合分類。光譜維采用分組預處理的雙向長短期記憶網絡(Bi-LSTM)有效學習光譜特征; 空間維采用注意力加強的多尺度卷積網絡有效增強所提取的空譜特征, 使得分類結果更具準確性。本文實驗應用覆蓋黃河入海口新老河道交界處的成像光譜儀(Compact High Resolution Imaging Spectrometer, CHRIS)所采集的數據和黃河三角洲自然保護區濱海濕地高分5號傳感器(GF-5)所采集的高光譜圖像開展。結果表明: 分組與雙向長短期記憶網絡(Bi-LSTM)的有效結合顯著提升了網絡性能, 同其他監督分類方法相比提升約3%~8%, 此外注意力機制的加入同比增加約3%, 在使用1%的極少訓練集下數據集CHRIS和GF-5的總體分類精度分別達到92.3%和86.11%。

高光譜圖像分類; 黃河三角洲; 分組; 多尺度; 注意力機制

黃河三角洲是高效的生態經濟區, 是國家級自然保護區, 在資源儲備, 生態調節, 生物保護等[1-2]方面發揮著重要作用。黃河入海流路改道至清水溝路以來, 在新老河道的交匯處, 存在多種地物類型, 其生態資源、土地資源極為豐富, 而近年來由于油田和農田的增加導致灘涂大面積圍墾, 破壞了生態環境, 使得面向黃河三角洲濕地分類遙感監測的需求日益增大; 加之遙感技術的飛速發展, 使得越來越多的學者投身于高光譜圖像分類領域, 因此采用有效的分類方法來監測識別相關地物對于黃河三角洲濕地的生態資源保護具有重要意義。

高光譜遙感是將成像技術和光譜技術相結合的多維信息獲取技術, 可以同時獲取目標的二維空間信息與第三維的光譜信息, 得到高光譜分辨率的連續、窄波段圖像數據[3]。與傳統遙感相比, 其優勢在于光譜分辨率高, 波段眾多, 能夠獲取地物幾乎連續的光譜特征曲線, 為圖像分類提供了條件。根據每個像元的灰度、紋理、空間鄰域信息及光譜信息等可得到像元的類別標簽。高光譜圖像(Hyperspectral Image, HSI)應用于農業、海洋遙感、地表資源調查、環境監測、地質資源勘探、軍事偵察等領域均表現出突出優勢與重要作用。

直到夜幕降臨，父親才臉色鐵青地回來。剛進屋，父親把我們三個朝懷里一摟，“嗚哇嗚哇”大哭起來，大聲說自己沒用。那一刻，我們知道，想吃頓帶肉的年夜飯的愿望又泡湯了。或許是父親去借錢時受了風寒，第二天他就感冒了，燒得滿臉通紅，一向剛強的父親主動說扛不住了，要去醫院。醫生說，是重感冒引發的急性肺炎，需要住院幾天。母親身體不好，我們又小，只好告知親朋好友，希望能過來幫忙照看一下。

目前國內已有文章也談及東非某國抗震設防烈度的取值方法[2]，本文試圖以其他地區幾個海外項目為例，淺析海外巖土工程勘察工作中抗震設防烈度的采取方法，供從業者參考。

目前, 深度學習方法已成為高光譜圖像分類領域的研究新熱點, 其相較于傳統的機器學習算法如支持向量機(SVM)、K-近鄰法、樸素貝葉斯、決策樹、稀疏表示、字典學習等能夠自主學習圖像的更高級特征, 可以更好地提取非線性和層次特征。其中, 卷積神經網絡(CNN)、遞歸神經網絡(RNN)、生成對抗網絡(GAN)、長短期記憶網絡(LSTM)等為基本、常見、高效、經典的深度學習網絡。Li S等[4]綜述了自編碼(SAE)、CNN、RNN、GAN等深度學習網絡在高光譜圖像分類中的應用, 并比較了傳統方法和深度學習方法間的差異性。張雪薇[5]列舉了CNN、RNN、LSTM等神經網絡在海洋信息探測中的應用現狀, 并總結了深度學習方法的前景展望。高光譜圖像分類方法高度依賴于空譜信息的特征提取, 而傳統方法如支持向量機[6]、隨機森林(RF)[7]等方法僅利用了光譜信息, 忽略了空間信息的重要性, 導致提取的特征信息不夠完整, 影響分類準確率。RNN、LSTM網絡主要用于光譜序列的學習, 例如楊勝龍[8]提出多層雙向長短期記憶網絡(Bi-LSTM)用于識別遠洋漁船類型, 考慮船舶的兩個方向的歷史信息, 但僅利用單一的光譜波段信息進行特征的提取和識別, 因光譜存在同物異譜、同譜異物的現象而影響網絡性能。因此, 空間信息對于分類至關重要。CNN網絡主要用于提取空譜特征, 有1DCNN、2DCNN和3DCNN, 例如ROY S K等[9]綜合考慮空譜信息, 提出典型3D-2D-CNN網絡同時提取空譜信息, 3D- CNN有助于從一堆光譜波段中聯合表示空間-光譜特征, 2D-CNN進一步學習更抽象的空間表示, 增加特征的辨別度, 從而提高分類精度; ZHANG Z[10]采用殘差網絡從高光譜圖像(HSI)豐富的光譜特征和空間背景中連續學習鑒別特征, 進而提升網絡性能。而上述方法均未考慮空間分布的特殊性, 即目標像素鄰域內像素類別存在隨機性。于是, ZHANG M[11]提出DR-CNN網絡, 學習目標像素多鄰域空間區域的上下文交互特征, 使提取到的空譜特征具有更強的識別能力。FENG J[12]提出RS-AMCNN網絡, 自適應選取目標像素周圍多個不同大小的鄰域塊, 不僅提取聯合空間-光譜特征, 而且通過多尺度卷積操作利用不同空間位置的感受野。而這些模型忽略了卷積核提取不同區域特征對分類結果的貢獻程度的不同, 因此, 近年注意力機制的興起為深度學習提供更好的學習能力。

神經網絡在注意力機制的輔助下可以聚焦局部重要位置而忽略無關位置, 根據輸入的重要性自適應加權特征加以分配不同的權重值, 突出重要特征弱化相對無用特征。GUO M H[13]綜述了通道、空間、分支等不同注意力的應用場景和方式。HUJ[14]提出的壓縮激活網絡(SENet)屬于通道注意力, 通過對特征通道之間的相互依賴關系建立注意力機制, 自適應地對特征進行重新校準。J WANG[15]提出波段注意力, 使網絡可以自動學習關注所需的波段集, 從而最大限度地提高分類精度。在卷積網絡中加入注意力機制已是當下研究熱點, 例如SUAN H[16]提出一種空間注意力機制網絡(SSAN), 將光譜-空間網絡(SSN)與SSAN相結合提取空譜特征。在此基礎上, WOO S等[17]結合通道和位置注意力, 提出CBAM, 在通道和空間2個維度上均對輸入特征進行特征優化, 使網絡更多關注對分類有用的信息, 增強特征的表達能力。Li R[18]提出雙路注意力網絡DBDA, 將特征分別輸入光譜特征提取分支和空間維提取分支, 分別加強光譜特征和空間特征的表征能力。Fu J[19]提出了一種新穎的對偶注意力網絡, 位置注意力模塊用于學習特征的空間依賴性, 通道注意力模塊用來學習通道之間的內部關聯性, 利用自注意力機制提高特征表示的判別性。

黃河三角洲濕地的黃河水含沙量巨大, 而河口區的裸灘含水量較大, 在衛星圖像中其水體和裸灘的光譜特征差異較小, 因而根據黃河三角洲濕地類型及分布特點, 本文在深度學習方法和注意力機制的基礎上作相關改進, 提出了聯合分組預處理的雙向長短期記憶網絡(Devide pretreatment Bi-LSTM network, DBL)和注意力加強多尺度卷積網絡(Atten-tion enhancement on Multiple scales CNN, AMCNN)用于黃河三角洲濕地高光譜圖像分類, 網絡名字簡稱則為DBL-AMCNN。該網絡主要有以下三點貢獻:

目前，我國對食品安全的監督，涵蓋了從農產品種養殖、食品生產加工與制造到流通和消費的全鏈條、各環節，食品安全的“共治”格局已形成。具體來講，從農業部門、水產部門、林業部門到加工運輸，再到食品供應，甚至包括互聯網食品快餐的配送，以及小攤點、小餐桌、小飯館的消費，每一個環節都納入了食品安全監管的范圍內。

圖1、圖2的真實地物標簽圖均由自然資源部第一海洋研究所和南通智能感知研究院相關人員聯合進行了數據標簽的人工標注和處理(去噪和大氣校正)。此外, CHRIS是GF-5圖像的黃河口入海口部分, 區域有重疊但地物標簽存在不一樣現象, 是因為兩幅圖像波段、所用衛星和采集年份不一樣, 地物會發生變化, 從而地物類型存在差異, 在人工進行數據標簽標記時進行了更細致的歸類。

1.4統計學分析采用SPSS18.0進行統計分析,計量資料以(±s)表示,t檢驗,計數資料用n(%)表示,χ2檢驗,P<0.05為差異有統計學意義。

1 實驗數據

1.1 研究區域

如圖1所示, 高分五號(GF-5)數據集采集于2018年11月, 其區域覆蓋了黃河三角洲的自然保護區濱海濕地, 其影像圖由78、25、5三波段組合得到, 像素尺寸為462×617, 共150個波段, 光譜范圍為390~1 029 nm, 其分辨率3.67~4.81 nm, 地面空間分辨率30 m。該區域為典型的濱海濕地, 其地物類型包含互花米草、蘆葦、檉柳林、鹽地堿蓬、潮灘蘆葦、裸潮灘、鹽堿灘及水體共8類。PROBA-CHRIS (Compact High Resolution Imaging Spectrometer) 是搭載于歐洲空間局(European Space Agency, ESA)小衛星上的遙感器, 成像模式多, 可獲取0°、+36°、–36°、+55°和–55°等五種角度的高光譜圖像。如圖2所示, 本文采用的CHRIS數據集區域位于黃河入海口新老入海徑流清八汊和清水溝交界處, 于2012年6月獲取黃河口濱海濕地CHRIS工作模式2的0°圖像, 其影像圖由15、10、5三波段組合得到; 像素尺寸為510×511, 共18個波段, 光譜范圍為406~ 1 035 nm, 其光譜分辨率5.9~44.1 nm, 地面空間分辨率為17 m。該區域為典型的濱海濕地, 其地物類型包括蘆葦、互花米草、灘涂、水體、裸地及檉柳堿蓬混生區共6類。

1.2 數據

黃河三角洲是我國暖溫帶最廣闊、最完整、最年輕的濱海濕地, 位于山東省北部渤海灣和萊州灣之間, 東營市黃河入海口處, 東經118°10￠至119°15￠與北緯37°15￠至38°10￠之間, 地處黃河入海口, 總面積約5 450 km2, 是上游黃河攜帶大量泥沙在渤海凹陷處沉積形成的沖積平原, 是山東省東營市經濟發展的廣闊空間, 為山東黃河三角洲國家級自然保護區, 其水源充足, 海水和淡水的交匯促進泥沙絮凝沉降形成泥灘, 生長有許多濕地植被與珍稀動植物, 具有很高的科研價值; 加之其對于生態保護的重要性, 選取該研究區域, 對其地物類型進行有效的監測及分類。

子美性極辣，惜未見諸行事。 《雕賦》一篇，辣味盡露。 所云“重其有英雄之姿，類大臣正色立朝之義”，可謂善于立言。 《義鶻行》是其一生心事，偶遇好題，遂不覺淋漓痛快。 至功成用舍之際，何其撇脫，幾于神龍見首不見尾矣。 高鳥奇文，并傳不朽。[26]9101

(3)空間特征提取支路采用多尺度卷積神經網絡, 并通過加入注意力對不同尺度和不同層次的網絡信息進行信息增強學習, 最后級聯多尺度多層次的信息得到空間特征用于后續分類; 在注意力增強特征信息表現力的基礎上充分學習網絡不同深度的特征信息, 使得分類精度更高, 黃河三角洲濕地不同地物類型的邊界更清晰。

圖1 實驗區GF-5影像圖及地物真值圖

圖2 實驗區CHRIS影像圖及地物真值圖

2 方法

本文所提出的黃河三角洲濱海濕地高光譜圖像分類方法的整體網絡框架如圖3所示, 該網絡分兩路分別提取地物的空譜特征并融合; 針對黃河三角洲濕地地物中水體和裸灘的光譜特征差異較小的問題, 光譜特征提取支路采用分組預處理的Bi- LSTM網絡, 分別從正反兩方向學習光譜間相關性和長距離依賴性; 針對各地物空間分布邊界的模糊性, 空間特征提取部分引入注意力機制進行特征的增強, 并通過級聯多尺度卷積充分提取具表征力的特征。本節將分以下五小部分對圖中相關工作做詳細介紹。

2.1 分組策略預處理

研究表明在處理復雜光譜結構時深層的結構具有更好的泛化能力[20-21], 現有的方法主要關注光譜的完整性, 輸入網絡可在無監督情況下自動學習光譜特征, 而長短期記憶網絡(LSTM)等時序網絡更加關注相鄰波段的上下文信息。因此, 如何正確地將高光譜矢量劃分為不同的序列對網絡的性能至關重要。高光譜含有數百個波段, 若將每個波段作為一個時間步輸入一個頻段一次則使得LSTM網絡太深而無法訓練。此外, 黃河三角洲濕地地物光譜之間具有強相似性, 如裸灘和水體光譜信息相似, 不易區分; 因此根據地物光譜間強相關性和長距離依賴性的特點進行分組預處理。

圖3 聯合Bi-LSTM和注意力加強多尺度卷積的高光譜圖像分類網絡架構

本文提出兩種分組策略, 如圖4所示為分組策略1, 圖5所示為分組策略2, 并通過后續實驗選擇最優方案和最優時間步長。設為波段數,為LSTM中時間步數, 則每個時間步的序列長度為=(/),()表示向下舍入。例如: 設=[1,2,…,z]為高光譜圖像中某一像元在整個波段上的光譜向量序列。經分組變化后的光譜序列表示為=[1,2, …x, …τ], 則存在下列分組策略。

圖4 分組策略1

分組策略1為:

分組策略2為:

2.2 長短期記憶網絡(LSTM)

(1)該網絡分為雙路分別學習高光譜圖像的光譜信息和空間信息, 最后將兩路信息通過全連接層進行融合學習后得出最終分類結果。整個網絡相互統一、相互制約, 通過反向傳播不斷訓練優化。

機構優化設計中常用的算法有梯度優化算法[14]和進化算法[15-17]。梯度優化算法收斂速度快，但容易導致局部最優解；遺傳算法、蟻群算法屬于進化算法，能有效規避局部最優解，但搜索到滿足點距準則、函數值變化準則或梯度準則的最優解需要較長的迭代時間。

圖6 LSTM網絡門單元

2.3 基于分組預處理的雙向長短期記憶網絡(DBL)

每個波段圖像不僅與其之前的波段圖像相關, 還與其后續的波段圖像相關, 基于此, 梁聯暉等[22]運用Bi-RNN注意力網絡, Mei S[23]運用Bi-LSTM, 有效學習序列長期依賴和上下文關系。因此在圖像識別等某些任務中, 雙向的序列網絡可以很好的解決上述問題。

圖7 DBL網絡

Fig. 7 DBL network

2.4 注意力機制模塊

提取的立方體的不同位置具有不同的語義信息。例如, 對象邊緣通常比其他位置更具辨別力。如果能充分利用這些先驗信息, 光譜和空間子網的學習能力將得到提高。由于黃河三角洲濕地地物空間分布的邊界模糊, 網絡對于邊界地物的分類識別具挑戰性。基于此, 本文將注意力機制加入到網絡中, 使得網絡更加關注對分類有用的信息并抑制對分類無用的信息, 從而可以讓網絡學習到更準確的特征信息, 更加精確高效地區分邊界信息, 從而提升分類精度。

本文所提出的模型在下述服務器上運行: 操作系統Ubuntu18.04.3, CPU處理器Intel(R) Core(TM) i7-9700K CPU@3.60GHz, GPU顯卡NVIDIA RTX 3090 Super GP基于Tensorflow 2.5.0框架實現。

國網鄉鎮供電所生產的營業用房，處于嚴寒地區，因嚴寒地區施工時間短，施工地點多，位置分散，建筑規模小，因此構建節能環保的裝配式建造體系更利于滿足建筑全生命周期綠色建筑發展（見圖4）。

圖8 注意力機制模塊

Fig. 8 Attention mechanism module

2.5 注意力加強多尺度卷積網絡(AMCNN)

CNN不同層次之間的信息互補更有利于分類, 結合黃河三角洲濕地地物空間分布邊界的模糊性特點, 本文提出AMCNN用于提取濕地高光譜圖像的空間特征, 如圖9所示, CNN中加入批歸一化層[24], 其多尺度體現在目標像素鄰域在卷積過程中提取三個不同的鄰域范圍和淺中深三個不同層次的結構特征, 通過卷積、PCCBA注意力模塊、批歸一化、池化等, 分別從不同尺度和不同深度提取不同的空間特征, 并通過級聯的方式融合這些特征用于后續通過全連接層和softmax層進行分類。該網絡可加強特征之間的互補和層次之間的相關性, 提取到更加具有表現性的特征, 更加精準高效地對邊界地物進行分類, 提升網絡性能。相較于傳統的多尺度多分支網絡, 該網絡不僅可以學習不同尺度之間相關性, 而且可以提取到不同尺度的特征信息。網絡每個步驟細節參數如表1所示, 步長是指卷積或池化過程中滑動窗口的移動步長, 填充是CNN中常用的一種技術, 通過在邊界中添加零值使卷積運算前后特征圖大小不變。

圖9 引入BN層的多尺度卷積模塊

表1 注意力加強多尺度卷積網絡模塊參數

3 實驗

3.1 實驗數據設置及環境

本實驗所選數據集為黃河三角洲濕地CHRIS高光譜影像。本實驗均隨機重復10次后取平均值, 每次訓練均隨機抽取訓練集和測試集。如表2、表3所示。實驗中訓練集分別選取1%、2%、3%進行不同訓練樣本占比的比較, 剩下的為測試集。實驗中采用小批量隨機梯度下降算法優化網絡, 實驗中設置訓練批次為300, 學習率為0.001, 批量大小為128。實驗結果采用OA和Kappa系數評估。OA表示正確分類的樣本占總測試樣本的比例, Kappa系數表示真實值和分類結果之間的一致性, 兩個指標越高說明分類結果越好。

行為風格或人格能夠影響創造力，創造力與行為風格或人格密切相關。早期的研究就發現了一些較為穩定的人格對創造力有很大影響，如內在動機、寬廣的興趣、審美敏感、容忍模糊、直覺、冒險、韌性與自信、不關注公眾認可等。巴龍、愛杜森等人在研究科學家的創造力時發現，高度的自我力量、獨立自主的強烈需要、較高的自信水平、陶醉于所熱愛和傾注的事業等是創造者的共同個性特征。克頓(1989)發現那些具有“創新性”解決問題的人往往以“新穎的”方式解決看似普通的問題，甚至重新“界定問題表征”，然后再找尋答案。他說，這些創造性行為風格是較為穩定的，一旦形成，就會貫穿于解決絕大多數問題的過程之中。

表2 GF-5訓練集和總樣本數量

表3 CHRIS訓練集和總樣本數量

(2)光譜特征提取支路采用Bi-LSTM網絡, 學習光譜間的雙向關系, 并通過分組策略預處理緩解梯度消失現象, 更好地學習光譜的長期依賴關系; 從而緩解了由于水體和裸灘的光譜特征差異較小而影響分類精度的問題。

十九大報告明確指出，推動形成全面開放新格局，要以“一帶一路”建設為重點，賦予自由貿易試驗區更大改革自主權，探索建設自由貿易港。從總體上看，“一帶一路”倡議與自貿試驗區建設互為補充，“一帶一路”建設的“五通”與自貿試驗區的“四化”兩者高度契合，共同推動形成全面開放新格局[注]張時立：《中國自貿區建設與“21 世紀海上絲綢之路”——以上海自貿區建設為例》，《社會科學研究》2016年第1期，第58頁。。

3.2 實驗結果與分析

首先驗證分組策略的有效性, 對所提出的兩種分組策略進行實驗驗證, 策略1按照光譜順序將相鄰波段劃分為同一組, 策略2則按相同的時間步長間隔劃分為同組。實驗結果如圖10、圖11所示(采用1%的訓練集), 通過實驗說明, 太深的網絡并不適合LSTM提取光譜特征, 所以本文中將時間步設置為3, 全連接FC神經元數量設置為128。實驗結果證明了在不同時間步長的設置下策略2均優于策略1, 其原因一是策略2所劃分的序列覆蓋了更寬的光譜范圍, 在每個時間步中有更多豐富的上下文光譜信息送入LSTM單元, 原因二是策略2中不同時間步之間的光譜距離更短, 使網絡更好地學習長短期依賴關系。此外, 從可分性的角度來看, Xu Y[23]通過使用PCA將數據從原始高維空間投影到三維空間, 也驗證了分組的有效性。

圖10 CHRIS基于不同步長的分組策略性能

圖11 GF-5基于不同步長的分組策略性能

其次, 采用第二種分組策略, 驗證lstm不同方向的性能。實驗結果如表4所示, 在采用光譜特征進行圖像分類的任務中, 雙向網絡能達到最好效果; 同時, 黃河三角洲濕地不同地物的光譜間差異性小, 利用DBL網絡可綜合學習不同方向的上下文長期依賴關系, 為分類網絡提供更好的性能, 實現地物的有效區分。

表4 基于分組策略2的LSTM不同方向性能

然后評估AMCNN在不同降維通道和不同輸入鄰域塊大小下的性能, 因為PCA預處理的降維通道數和輸入網絡的patch塊大小是網絡中兩個重要的影響性能的參數。由于經PCA降維預處理后, 高光譜圖像的空譜信息多集中于第一主成分, 因此選擇3, 4, 6進行實驗對比,選擇28, 24, 20, 其實驗對比如表5所示。因此加權計算時間花費和分類精度,選擇4,選擇28。

表5 AMCNN主要參數性能

最后我們將所提出的方法同其他方法進行比較, 包括SVM、BL-0(無分組Bi-LSTM)、DBL-1(基于分組策略1的Bi-LSTM)、DBL-2(基于分組策略2的Bi-LSTM)、SSUN[25]、DBMA[26]、DBDA[18]、AMCNN (本文所提方法的空間特征提取支路)、DBL0-MCNN (無分組Bi-LSTM且無注意力機制)等, 分別采用不同占比的訓練集, 其評估結果如表6—8(GF-5-1%/2%/ 3%訓練集)、表9—11(CHRIS-1%/2%/3%訓練集)所示, 各方法相應分類結果如圖12—14(GF-5-1%/2%/3%訓練集), 圖15—17(CHRIS-1%/2%/3%訓練集)所示。

通過實驗可知, 分組策略可以顯著地提高LSTM的性能, 在兩個數據集中, OA可提高約3%~5%, 其原因則是逐頻帶輸入網絡使得訓練過深影響精度, 因此本文采用的分組策略2效果達到最優。此外, 光譜分支缺乏空間特征, 其分類圖會受到胡椒噪聲的干擾; 在空間分支中可有效利用地物連續性, 得到較清晰的分類圖, 在不加注意力機制情況下SSUN的性能相較于AMCNN略低, 這是由于在AMCNN中使用的是雙注意力, 可以同時捕獲空譜信息, 有效提高網絡精確率; DBL0-MCNN相較于DBMA、DBDA、SSUN略低, 其原因是無分組的Bi-LSTM加重了網絡的計算負擔, 使網絡訓練參數升高, 出現過擬合現象; 而DBMA、DBDA略低于SSUN可能由于該網絡相對復雜, 不適用于小樣本訓練, 其參數訓練出現欠擬合現象。因此, 相比之下, 本文所提出的DBL-AMCNN綜合雙向、分組和雙注意力機制, 可達最優效果, 相比于其他卷積神經網絡有效緩解過擬合現象, 減少網絡訓練壓力和計算消耗, 提升抗噪聲干擾能力; 從對比實驗圖的黑框和白框中可清晰看到本文算法在地物邊界處的良好分類效果, 相比于其他方法地物邊界更清晰, 更精確; 此外, 在不同占比訓練集的實驗相比較下, 總體精度在1%的極少訓練集下已達到86%(GF5), 93%(CHRIS), 且其強泛化能力亦能在其他數據集中獲得較優性能。

表6 所提分類方法與其他實驗結果對比(GF-5-1%訓練集)

表7 所提分類方法與其他實驗結果對比(GF-5-2%訓練集)

表8 所提分類方法與其他實驗結果對比(GF-5-3%)

表9 所提分類方法與其他實驗結果對比(CHRIS-1%訓練集)

表10 所提分類方法與其他實驗結果對比(CHRIS-2%訓練集)

表11 所提分類方法與其他實驗結果對比(CHRIS-3%訓練集)

圖12 GF-5-1%訓練集下不同方法實驗結果對比圖(a-i為對比方法, j為本文方法)

圖13 GF-5-2%訓練集下不同方法實驗結果對比圖(a-i為對比方法, j為本文方法)

圖14 GF-5-3%訓練集下不同方法實驗結果對比圖(a-i為對比方法, j為本文方法)

圖15 CHRIS-1%訓練集下不同方法實驗結果對比圖(a-i為對比方法, j為本文方法)

圖16 CHRIS-2%訓練集下不同方法實驗結果對比圖(a-i為對比方法, j為本文方法)

圖17 CHRIS-3%訓練集下不同方法實驗結果對比圖(a-i為對比方法, j為本文方法)

4 結語

本文提出了一種新的高光譜圖像分類方法, 并將其應用于黃河三角洲的濱海濕地地物識別檢測, 根據該濕地地物的空譜特點, 網絡分雙路分別進行地物的光譜特征提取和空間特征提取。首先利用PCA對空間維進行降維預處理, 然后取降維后的小patch塊輸入AMCNN網絡提取多尺度多層次融合的空間特征; 采用分組策略將對光譜維進行分組預處理后的光譜序列輸入Bi-LSTM網絡提取雙向上下文關聯和具長期依賴的光譜特征, 最后融合雙路的空-譜特征通過softmax層進行分類。

觀察組和對照組均采用標準的化療方案，對獲得CR的急性髓細胞性白血病的緩解后治療，主要包括表柔紅霉素+阿糖胞苷（DA）、高三尖杉酯醇+阿糖胞苷（HA）、米托蒽醌+阿糖胞苷（MA）、阿霉素+阿糖胞苷（AA）及中/大劑量阿糖胞苷（Ara-C）等方案；對獲得CR的急性淋巴細胞白血病患者的緩解后治療，主要包括長春新堿+柔紅霉素+環磷酰胺+強的松（VDCP）、足葉乙苷+阿糖胞苷（EA）以及甲氨蝶呤（HD-MTX）等方案。觀察組加用十一味參芪片（吉林金恒制藥股份有限公司，國藥準字Z10900029，0.3 g/片）口服，每日服用3次，每次服4粒。

本文通過一系列實驗比較證明了所提DBL- AMCNN方法的有效性, 證明了分組和雙向組合的有效性。此外, 通過雙注意力和多尺度卷積的有效結合, 并驗證注意力的對比試驗, 證明了注意力模塊在多尺度卷積的基礎上進一步加強了空譜特征。所提出的方法不僅在少量的樣本下實現了較好的分類效果, 而且降低了模型計算量和復雜度, 有效在龐大的數據提取困難度下更好的檢測黃河三角洲濱海濕地的地物分布狀況。

雖然所提出的分類方法和其他方法相比, 表現出最優異的性能, 但還存在不足之處, 之后的工作還需進一步優化模型, 繼續提高模型效率和魯棒性, 用更少的訓練樣本來達到更高的分類精度, 繼續探索優化注意力及多尺度的參數問題, 并使網絡能夠自動學習雙分支的貢獻度權重因子并合理分配權重。

[1] 李永濤, 杜振宇, 王霞, 等. 黃河三角洲自然保護區濕地生態服務功能價值評估[J]. 海洋環境科學, 2019, 38(5): 761-768.

LI Yongtao, DU Zhenyu, WANG Xia, et al. Evaluation of wetland ecological service function in Yellow River delta nature reserve[J]. Marine environmental science, 2019, 38(5): 761-768.

[2] 王娜娜, 劉宏元, 李英, 等. 黃河三角洲濕地生態系統服務價值評估[J]. 山東農業科學, 2022, 54(2): 153-158.

WANG Nana, LIU Hongyuan, LI Ying, et al. Evaluation of wetland ecosystem services in Yellow River Delta[J]. Shandong Agricultural Sciences, 2022, 54(2): 153-158.

[3] 張建偉, 陳允杰. 高光譜圖像分類方法綜述[J]. 南京信息工程大學學報(自然科學版), 2020, 12(1): 89-100.

ZHANG Jianwei, CHEN Yunjie. A review of hyperspectral image classification methods[J]. Journal of Nanjing University of Information Science & Technology (Natural Science Edition), 2020, 12(1): 89-100.

[4] LI S, SONG W, FANG L, et al. Deep Learning for Hyperspectral Image Classification: An Overview[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(9): 6690-6709.

[5] 張雪薇, 韓震, 郭鑫. 深度學習在海洋信息探測中的應用: 現狀與展望[J]. 海洋科學, 2022, 46(2): 145-155.

ZHANG Xuewei, HAN Zhen, GUO Xin. Application of deep learning in ocean information detection: Current Situation and Prospect[J]. Marine Science, 2022, 46(2): 145-155.

[6] MOUGHAL, T A. Hyperspectral image classification using Support Vector Machine[J]. Journal of Physics Conference, 2013, 439(1): 20-42.

[7] XIA J, FALCO N, BENEDIKTSSON J A, et al. Hyperspectral Image Classification With Rotation Random Forest Via KPCA[J]. IEEE Journal of Selected Topics in Applied Earth Observations & Remote Sensing, 2017, 10(4): 1601-1609.

[8] 楊勝龍, 史慧敏, 張勝茂, 等. 基于Bi-LSTM模型的遠洋漁船類型識別研究[J]. 海洋科學, 2022, 46(3): 25-35.

YANG Shenglong, SHI Huimin, ZHANG Shengmao, et al. Research on type identification of ocean-going fishing vessel based on BiLSTM Model[J]. Marine Science, 2022, 46(3): 25-35.

[9] ROY S K, KRISHNA G, DUBEY S R, et al. HybridSN: Exploring 3D-2D CNN Feature Hierarchy for Hyperspectral Image Classification[J]. IEEE Geoscience and Remote Sensing Letters, 2020, 17(2): 277-281.

[10] ZHONG Z, LI J, LUO Z, et al. Spectral-Spatial Residual Network for Hyperspectral Image Classification: A 3-D Deep Learning Framework[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 56(2): 847-858.

[11] ZHANG M, LI W, DU Q. Diverse Region-Based CNN for Hyperspectral Image Classification[J]. IEEE Transac-tions on Image Processing A Publication of the IEEE Signal Processing Society, 2018, 27(6): 2623-2634.

[12] FENG J, WU X, SHANG R, et al. Attention Multibranch Convolutional Neural Network for Hyperspectral Image Classification Based on Adaptive Region Search[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(6): 5054-5070.

[13] GUO M H, XU T X, LIU J J, et al. Attention Mechanisms in Computer Vision: A Survey[J]. 2021, 8 (3): 331-368.

[14] HU J, SHEN L, SUN G. Squeeze-and-excitation networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 7132-7141.

[15] WANG J, ZHOU J, HUANG W. Attend in bands: Hyperspectral band weighting and selection for image classification[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2019, 12(12): 4712-4727.

[16] SUN H, ZHENG X, LU X, et al. Spectral–Spatial Attention Network for Hyperspectral Image Classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 58(5): 3232-3245.

[17] WOO S, PARK J, LEE J Y, et al. Cbam: Convolutional block attention module[C]//Proceedings of the European conference on computer vision (ECCV). 2018: 3-19.

[18] LI R, ZHENG S, DUAN C, et al. Classification of hyperspectral image based on double-branch dual-atten-tion mechanism network[J]. Remote Sensing, 2020, 12(3): 582.

[19] FU J, LIU J, TIAN H, et al. Dual attention network for scene segmentation[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2019: 3146-3154.

[20] CHEN Y, LIN Z, ZHAO X, et al. Deep learning-based classification of hyperspectral data[J]. IEEE Journal of Selected topics in applied earth observations and remote sensing, 2014, 7(6): 2094-2107.

[21] CHEN Y, ZHAO X, JIA X. Spectral–spatial classification of hyperspectral data based on deep belief network[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2015, 8(6): 2381-2392.

[22] 梁聯暉, 李軍, 張紹泉. 基于3D Octave卷積和Bi-RNN注意力網絡的高光譜圖像分類方法[J].光子學報, 2021, 50(9): 13.

LIANG Lianhui, LI Jun, ZHANG Shaoquan. Hyperspectral image classification based on 3D Octave convolution and BI-RNN attention Network[J]. Journal of photons, 2021, 50(9): 13.

[23] MEI S, LI X, LIU X, et al. Hyperspectral image classification using attention-based bidirectional long short- term memory network[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 60: 1-12.

[24] IOFFE S, SZEGEDY C. Batch normalization: Accelerating deep network training by reducing internal covariate shift[C]//International conference on machine learning. PMLR, 2015: 448-456.

[25] XU Y, ZHANG L, DU B, et al. Spectral–spatial unified networks for hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(10): 5893-5909.

[26] MA W, YANG Q, WU Y, et al. Double-branch multi- attention mechanism network for hyperspectral image classification[J]. Remote Sensing, 2019, 11(11): 1307.

Combined Bi-LSTM and attention enhancement multiscale convolution for wetland hyperspectral image classification in the Yellow River Delta

XU Mei-lun1, LI Zhong-wei1, WANG Lei-quan2, LI Juan2, HU Ya-bin3, LIANG Jian4

(1. College of Oceanography and Spatial Information, China University of Petroleum (East China), Qingdao 266580, China; 2. College of Computer Science and Technology, China University of Petroleum (East China), Qingdao 266580, China; 3. Ministry of Natural Resources, First Institute of Oceanography, Qingdao 266061, China; 4. Nantong Intelligent Perception Research Institute, Nantong 226007, China)

Recently, the demand for monitoring the Yellow River estuary has gradually increased. For example, there are various types of ground objects at the intersection of the old and new rivers since the flow of the Yellow River into the sea was diverted to Qingshuigou. Thus, the detection and recognition of these ground objects can provide insights into the state of the ecological environment for the protection of wetlands at the Yellow River estuary. Therefore, in this paper, a new classification method for wetland hyperspectral images is proposed. The proposed method can be categorized into spectral and spatial dimensions to extract the empty spectral features of the images and fuse them for classification. In the spectral dimension, a bidirectional long- and short-term memory network (Bi-LSTM) with packet preprocessing was used to determine spectral features efficiently. In the spatial dimension, an attention-enhanced multiscale convolution network was used to effectively enhance the extracted empty spectrum features and further improve the accuracy of classification results. In this paper, the experimental application was conducted based on data from a compact high-resolution imaging spectrometer (CHRIS) covering the junction of old and new rivers at the estuary of the Yellow River and the hyperspectral images collected using the Gaofen-5 sensor (GF-5) in the coastal wetland of the Yellow River Delta Nature Reserve. Our results show that the effective combination of grouping and Bi-LSTM significantly improved the network performance by ~3%–8% compared with other supervised classification methods, and the addition of an attention mechanism increased by ~3% compared with the previous year. Under the minimal training set of 1%, the CHRIS and GF-5 datasets reached overall classification accuracy of 92.3% and 86.11%, respectively.

hyperspectral image classification; Yellow River Delta; grouping; multiscale; attentional mechanism

Apr. 29, 2022

TP79

A

1000-3096(2023)5-0027-14

10.11759/hykx20220429013

2022-04-29；

2022-12-30

山東省聯合基金項目(U1906217)；國家自然科學基金項目(62071491)

[Shandong Provincial Joint Foundation Project, No. U1906217; National Natural Science Foundation of China, No. 62071491]

徐美論(1997—)，女，河南新鄉人，碩士研究生，主要研究方向為高光譜圖像分類，E-mail: s20160034@s.upc.edu.cn；李忠偉(1978—)，通信作者，男，教授，研究方向：大數據與人工智能、多源遙感數據融合與智能信息處理 E-mail: li.zhongwei@vip.163.com

(本文編輯: 康亦兼)