融合多尺度特征的冬小麥空間分布提取方法

陳芳芳，宋姿睿，張景涵，王夢(mèng)楠，吳門(mén)新，張承明,3，李 峰，柳平增,5,6，楊 娜

·研究速報(bào)·

融合多尺度特征的冬小麥空間分布提取方法

陳芳芳1，宋姿睿1，張景涵1，王夢(mèng)楠1，吳門(mén)新2，張承明1,3※，李 峰4，柳平增1,5,6，楊 娜7

（1. 山東農(nóng)業(yè)大學(xué)信息科學(xué)與工程學(xué)院，泰安 271018；2. 國(guó)家氣象中心，北京 100081；3. 山東省數(shù)字農(nóng)業(yè)工程技術(shù)研究中心，泰安 271018；4. 山東省氣候中心，濟(jì)南 250031；5. 山東農(nóng)業(yè)大學(xué)農(nóng)業(yè)大數(shù)據(jù)研究中心，泰安 271018；6. 農(nóng)業(yè)農(nóng)村部黃淮海智慧農(nóng)業(yè)技術(shù)重點(diǎn)實(shí)驗(yàn)室，泰安 271018；7. 航天宏圖信息技術(shù)股份有限公司，北京 100093）

獲取到高質(zhì)量的特征是從遙感影像中提取高精度的農(nóng)作物空間分布的關(guān)鍵，該研究針對(duì)利用哨兵2A（Sentinel-2A）影像提取高精度的冬小麥空間分布開(kāi)展研究。針對(duì)影像中存在的數(shù)據(jù)空間尺度不一致的問(wèn)題，以生成式對(duì)抗網(wǎng)絡(luò)為基礎(chǔ)建立了降尺度模型REDS（Red Edge Down Scale），用于將B5、B6、B7、B11 4個(gè)通道的空間分辨率從20 m降為10 m；然后利用卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建了逐像素分割模型REVINet（Red Edge and Vegetation Index Feature Network），REVINet以10m分辨率的B2、B3、B4、B5、B6、B7、B8、B11，以及提取出的增強(qiáng)植被指數(shù)、歸一化植被指數(shù)和歸一化差值紅邊指數(shù)組合作為輸入，進(jìn)行逐像素分類(lèi)。選擇ERFNet、U-Net和RefineNet作為對(duì)比模型同REVINet開(kāi)展對(duì)比試驗(yàn)，試驗(yàn)結(jié)果表明，該研究提出的方法在召回率（92.15%）、查準(zhǔn)率（93.74%）、準(zhǔn)確率（93.09%）和F1分?jǐn)?shù)（92.94%）上均優(yōu)于對(duì)比方法，表明了該研究在從Sentinel-2A中提取冬小麥空間分布方面具有明顯的優(yōu)勢(shì)。

卷積神經(jīng)網(wǎng)絡(luò)；降尺度；Sentinel-2A；冬小麥空間分布；EVI；NDVI；NDRE1；紅邊波段

0 引 言

目前，中等分辨遙感影像已經(jīng)成為提取大范圍農(nóng)作物空間分布的主要數(shù)據(jù)源[1]，但由于中等分辨率遙感影像上農(nóng)作物的特征不明顯，特征提取難度較大，如何合理組織數(shù)據(jù)并設(shè)計(jì)一種有效的特征提取方法，以提取出高質(zhì)量的特征，是從中等分辨率遙感影像中準(zhǔn)確提取農(nóng)作物空間分布的關(guān)鍵。

在遙感影像中，不同作物在可見(jiàn)光波段范圍內(nèi)，表現(xiàn)出的特征比較相近，但在紅邊波段上卻存在明顯的差異[2]，綜合使用可見(jiàn)光波段和紅邊波段等數(shù)據(jù)，能夠有效提高結(jié)果精度[3]。由于Sentinel-2A圖像中紅邊波段與可見(jiàn)光波段分辨率不同，通常需要對(duì)紅邊波段進(jìn)行降尺度處理。傳統(tǒng)的降尺度方法包含基于重建、基于學(xué)習(xí)和基于插值等，其中基于插值的方法較為常用[4]，結(jié)果圖像的邊緣容易出現(xiàn)模糊現(xiàn)象[5]。與傳統(tǒng)方法相比，基于深度學(xué)習(xí)的降尺度方法具有明顯優(yōu)勢(shì)[6]，較典型的方法包括SRCNN（Super-Resolution Convolutional Neural Network）[7]，GANs（Generative Adversarial Networks）[8]等。

在特征提取方面，研究者曾提出多種技術(shù)和方法，傳統(tǒng)的包括決策樹(shù)[9]、隨機(jī)森林[10]、支持向量機(jī)[11]等特征提取方法，但這些方法僅考慮了像元自身的信息，獲取到的特征區(qū)分度往往不夠理想。卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）[12-13]以圖像塊為單位進(jìn)行特征提取，能夠綜合考慮像元自身的信息以及像元間的空間關(guān)系，所提取出的特征具有更高的類(lèi)內(nèi)一致性和更高的類(lèi)間區(qū)分度。以卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)，人們成功地從高分辨率遙感影像中提取了水稻、枸杞、小麥[14]等多種農(nóng)作物信息，但由于中等分辨率遙感影像上細(xì)節(jié)信息明顯變少，利用卷積神經(jīng)網(wǎng)絡(luò)提取出高質(zhì)量特征的難度依然很大，需要根據(jù)中等分辨率遙感影像的特點(diǎn)，合理組織輸入并設(shè)計(jì)模型結(jié)構(gòu)。

本文在充分吸收前人研究成果的基礎(chǔ)上，重點(diǎn)針對(duì)如何從Sentinel-2A數(shù)據(jù)中提取高精度的冬小麥空間分布開(kāi)展研究。針對(duì)通道數(shù)據(jù)空間尺度不一致的問(wèn)題，以GAN為基礎(chǔ)建立了一種降尺度模型REDS（Red Edge Down Scale），用于對(duì)B5、B6、B7、B11等波段進(jìn)行降尺度處理；針對(duì)獲取高質(zhì)量特征的問(wèn)題，以CNN為基礎(chǔ)構(gòu)建了一種逐像素分割模型REVINet（Red Edge and Vegetation Index Feature Network），用于提取特征并進(jìn)行逐像素分類(lèi)。以期為利用Sentinel-2A數(shù)據(jù)提取其他作物的空間分布提供借鑒。

1 研究區(qū)和數(shù)據(jù)

1.1 研究區(qū)概況

本文選擇中國(guó)的冬小麥主產(chǎn)區(qū)（山東、河北、河南、湖北、江蘇、安徽、山西、陜西、北京、天津）作為研究區(qū)，總面積共計(jì)133.76萬(wàn)km2。研究區(qū)位于北緯29°05′～42°37'、東經(jīng)105°29′～122°43′之間（圖1）。

圖1 冬小麥主產(chǎn)區(qū)

1.2 遙感數(shù)據(jù)及其預(yù)處理

本文以Sentinel-2A[15]作為主要數(shù)據(jù)源，收集了研究區(qū)2022年3—4月期間的238幅Sentinel-2A數(shù)據(jù)，這些數(shù)據(jù)覆蓋了整個(gè)研究區(qū)。利用航天宏圖信息技術(shù)股份有限公司自主研發(fā)的PIE（Pixel Information Expert-Basic）遙感圖像處理軟件對(duì)所有波段圖像進(jìn)行輻射定標(biāo)、大氣校正、正射校正等預(yù)處理步驟。

1.3 制作逐像素標(biāo)記文件

3—4月份的Sentinel-2A圖像中，與冬小麥同期的作物主要是大蒜和冬油菜。根據(jù)地面調(diào)查資料和遙感影像進(jìn)行對(duì)比，可以發(fā)現(xiàn)，冬小麥呈深綠色，大蒜呈淺綠色，冬油菜顏色介于兩者之間；三者的紋理具有明顯區(qū)別。根據(jù)以上特征，以PIE軟件為基礎(chǔ)進(jìn)行目視解譯[16]，然后將原始圖像及對(duì)應(yīng)的標(biāo)注圖像裁剪為512×512像素尺寸，最終共得到6 210組圖像塊，以此為基礎(chǔ)組成訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集，用于對(duì)本文模型進(jìn)行訓(xùn)練和測(cè)試。

2 研究方法

本研究的技術(shù)路線如圖2所示。

2.1 紅邊及短波紅外波段的降尺度

根據(jù)Sentinel-2A影像的特點(diǎn)，選擇RSFuseNet模型[17]為基礎(chǔ)，重點(diǎn)對(duì)其上采樣部分和損失函數(shù)進(jìn)行了改進(jìn)，形成了降尺度模型REDS（Red Edge Down Scale），用于對(duì)B5（Red edge 1）、B6（Red edge 2）、B7（Red edge 3）、B11（SWIR 1）波段進(jìn)行降尺度處理，得到空間分辨率為10 m的數(shù)據(jù)。

圖2 冬小麥空間分布提取技術(shù)流程圖

2.1.1 模型結(jié)構(gòu)

REDS模型的輸入包括低分辨率通道和高分辨率通道兩部分，低分辨率通道提供光譜信息，高分辨率通道提供紋理信息。REDS通過(guò)將從高分辨率通道提取出的空間結(jié)構(gòu)信息注入到低分辨率通道中，達(dá)到對(duì)低分率通道降尺度的目的（圖3）。

REDS首先利用線性插值進(jìn)行上采樣，然后利用1組1×1的卷積層對(duì)上采樣結(jié)果進(jìn)行調(diào)整，用于提取低分辨率通道的光譜特征；從高分辨率通道中提取空間結(jié)構(gòu)信息，并逐級(jí)對(duì)光譜信息和空間結(jié)構(gòu)信息進(jìn)行融合，生成結(jié)果圖像。

2.1.2 損失函數(shù)

損失函數(shù)計(jì)算公式如（1）所示，包括空間結(jié)構(gòu)損失和光譜損失兩部分，

式中L代表空間結(jié)構(gòu)損失，L代表光譜損失，、為權(quán)重。

空間結(jié)構(gòu)損失計(jì)算方法如公式（2）所示，

式中代表降尺度后的數(shù)據(jù)，代表原始數(shù)據(jù)，代表像素?cái)?shù)，代表紋理?yè)p失，的計(jì)算公式如（3）所示，

式中代表的均值，代表的均值，2為的方差，2為的方差，為和的協(xié)方差，1、2為經(jīng)驗(yàn)常量。

光譜損失計(jì)算方法如公式（4）所示，

式中l(wèi)-為原始圖像插值上采樣得到的與h尺寸相同的圖像，m代表圖像塊的高度，w代表圖像的寬度。

2.2 提取植被指數(shù)

使用經(jīng)過(guò)降尺度的數(shù)據(jù)提取植被指數(shù)。根據(jù)前人文獻(xiàn)[18-19]，提取增強(qiáng)植被指數(shù)（Enhanced Vegetation Index，EVI）、歸一化植被指數(shù)（Normalized Difference Vegetation Index，NDVI）和歸一化差值紅邊指數(shù)（Normalized Difference Red-Edge1，NDRE1）3個(gè)植被指數(shù)。

2.3 進(jìn)行逐像素分割

選擇ERFNet[20]為基礎(chǔ)模型，根據(jù)基礎(chǔ)數(shù)據(jù)的特點(diǎn)重新設(shè)計(jì)了特征融合部分，形成了REVINet模型（圖4），用于實(shí)現(xiàn)逐像素分割。

圖4 REVINet網(wǎng)絡(luò)結(jié)構(gòu)圖

2.3.1 模型輸入

在訓(xùn)練階段，模型的輸入為圖像塊對(duì)，每個(gè)圖像塊對(duì)包含1個(gè)數(shù)據(jù)塊和1個(gè)標(biāo)記塊，尺寸均為512×512像素。在分割階段，圖像的輸入僅包含數(shù)據(jù)塊。

2.3.2 編碼器

編碼器由5個(gè)串聯(lián)的特征提取單元組成，能夠?yàn)槊總€(gè)像素提取5個(gè)級(jí)別語(yǔ)義特征信息。D1、D2、D3使用3×3型卷積核；Non-bottleneck-1D 1-5和Non-bottleneck-1D 6-13使用1×1型卷積核，這種結(jié)構(gòu)設(shè)計(jì)的優(yōu)勢(shì)在于充分考慮了哨兵2號(hào)遙感圖像的空間分辨率與地物覆蓋面積的比例關(guān)系對(duì)于卷積計(jì)算的影響，在保證能夠提取到足夠的語(yǔ)義特征的基礎(chǔ)上，避免了使用過(guò)深的卷積結(jié)構(gòu)可能導(dǎo)致特征值出現(xiàn)噪聲較大的問(wèn)題，有利于分類(lèi)器進(jìn)行逐像素分類(lèi)計(jì)算。

2.3.3 解碼器

解碼器由U1、Non-bottleneck-1D 14-15、U2、Non-bottleneck-1D 16-17、U3等5個(gè)解碼單元和ResBlock 1個(gè)殘差單元構(gòu)成。模型上采樣時(shí)采用了逐步恢復(fù)的策略，每次調(diào)整時(shí)行數(shù)和列數(shù)分別擴(kuò)大1倍，最終將特征圖的行列數(shù)恢復(fù)到與原圖像一致。卷積層的作用是對(duì)上采樣后的特征值進(jìn)行調(diào)整。分類(lèi)器和損失函數(shù)依然采用模型原有結(jié)構(gòu)。

2.4 試驗(yàn)設(shè)計(jì)

為了驗(yàn)證紅邊通道在識(shí)別農(nóng)作物時(shí)的作用，設(shè)計(jì)了3種數(shù)據(jù)組織方案[21]，如表1所示，其中，REDS紅邊組合（方案1）使用REDS模型對(duì)紅邊及短波紅外波段進(jìn)行降尺度，插值法紅邊組合（方案2）使用最近鄰域插值法[22]對(duì)紅邊及短波紅外波段進(jìn)行降尺度。在前兩種組合方案中，所使用的紅邊通道和SWIR通道均為經(jīng)過(guò)降尺度處理的數(shù)據(jù)。

表1 數(shù)據(jù)組織方案

注：B2～B11為藍(lán)、綠、紅波段，紅邊波段1、2、3，近紅外波段，短波紅外波段1；EVI、NDVI、NDRE1分別為增強(qiáng)植被指數(shù)、歸一化植被指數(shù)和歸一化差值紅邊指數(shù)。

Note: B2-B11 represent blue, green and red bands, red edge 1, 2 and 3, near infrared band, short-wave infrared band 1; EVI, NDVI and NDRE1 represent Enhanced Vegetation Index, Normalized Difference Vegetation Index and Normalized Difference Red-Edge1.

考慮到ERFNet、RefineNet和U-Net的模型結(jié)構(gòu)與REVINet工作原理相似，選擇其作為對(duì)比模型，以便反映REVINet的性能。其中，ERFNet同REVINet一樣選擇使用多個(gè)Non-bottleneck-1D結(jié)構(gòu)來(lái)提高模型精度，但其為一種端到端的編碼器—解碼器語(yǔ)義分割結(jié)構(gòu)；RefineNet同REVINet一樣使用了參數(shù)固定的線性模型進(jìn)行特征融合，但參數(shù)值不同；U-Net同REVINet一樣采用了多尺度特征融合技術(shù)，但其為一種U型網(wǎng)絡(luò)結(jié)構(gòu)。

2.5 評(píng)價(jià)指標(biāo)

用準(zhǔn)確率（Accuracy）、查準(zhǔn)率（Precision）、召回率（Recall）和 F1分?jǐn)?shù)來(lái)評(píng)估結(jié)果的分類(lèi)精度[23]，反映的是研究區(qū)各類(lèi)地物的位置精度指標(biāo)。用面積精度（Area accuracy）評(píng)估研究區(qū)內(nèi)作物面積提取結(jié)果的精度，計(jì)算公式見(jiàn)文獻(xiàn)[24]。

3 結(jié)果與分析

3.1 REDS降尺度方法與插值法試驗(yàn)結(jié)果

圖5給出了分別使用REDS模型和插值法對(duì)紅邊降尺度的結(jié)果。通過(guò)對(duì)比圖5可以直觀地看出，使用插值法處理后的圖像輪廓和紋理細(xì)節(jié)都較為模糊，從而在一定程度上影響提取結(jié)果的精度，而使用REDS方法得到的結(jié)果結(jié)構(gòu)更為清晰。

圖5 REDS降尺度方法與插值法的對(duì)比試驗(yàn)結(jié)果

3.2 不同方案的對(duì)比分析

圖6給出了對(duì)比模型利用不同方案生成的結(jié)果。從圖6c中可以看出，REVINet的所有結(jié)果均比較理想，U-Net的結(jié)果中漏識(shí)現(xiàn)象較多，ERFNet和RefineNet的結(jié)果比較接近，但精度與REVINet有一定差距。從圖6d中可以看出，REVINet的結(jié)果中冬小麥區(qū)域的輪廓邊緣更為平滑且錯(cuò)分情況較少，U-Net的結(jié)果中錯(cuò)分現(xiàn)象較多，ERFNet和RefineNet的結(jié)果比較接近，但在不同類(lèi)別的邊界區(qū)域識(shí)別錯(cuò)誤增加。從圖6e中可以看出，REVINet提取的冬小麥結(jié)果較為理想，U-Net的結(jié)果中粘連地塊邊緣提取不清晰，ERFNet和RefineNet的結(jié)果中對(duì)小尺度圖斑的提取有所改善，但仍存在漏分的情況。

圖6 3個(gè)方案的對(duì)比試驗(yàn)結(jié)果

3.3 REVINet模型精度驗(yàn)證

表2給出了對(duì)比模型的評(píng)價(jià)指標(biāo)。從表2可以看出，在3個(gè)方案中，REVINet的各項(xiàng)指標(biāo)均達(dá)到了最高，優(yōu)于對(duì)比模型，同時(shí)方案2對(duì)應(yīng)的各項(xiàng)指標(biāo)均差于方案1，方案3對(duì)應(yīng)的各項(xiàng)指標(biāo)均差于方案1和方案2。

表2 3個(gè)方案的試驗(yàn)結(jié)果精度評(píng)價(jià)

圖7給出了使用本文方法提取的中國(guó)冬小麥主產(chǎn)省在2022年3—4月內(nèi)的冬小麥空間分布情況。從圖7可以看出，中國(guó)冬小麥主要分布在長(zhǎng)城以南地區(qū)，與2021年國(guó)家統(tǒng)計(jì)部門(mén)公布的面積值進(jìn)行對(duì)比[25]，計(jì)算出面積精度（表3），可以看出本文方法所提取結(jié)果的面積精度相對(duì)較高，符合度較好，從宏觀的角度驗(yàn)證了REVINet模型的精度和有效性。

圖7 研究區(qū)的冬小麥空間分布

表3 研究區(qū)冬小麥的種植面積

4 結(jié) 論

本文以中國(guó)冬小麥主產(chǎn)省為研究區(qū)，研究的時(shí)間尺度為2022年3—4月。針對(duì)如何利用Sentinel-2A遙感影像提取高精度的冬小麥空間分布開(kāi)展研究，提出了一種基于生成式對(duì)抗網(wǎng)絡(luò)的降尺度方法和基于卷積神經(jīng)網(wǎng)絡(luò)的逐像素分割方法，重點(diǎn)解決了數(shù)據(jù)降尺度問(wèn)題和提取精度問(wèn)題。研究結(jié)果表明，本文提出的方法在召回率、查準(zhǔn)率、準(zhǔn)確率和F1分?jǐn)?shù)分別達(dá)到了92.15%、93.74%、93.09%、92.94%，均優(yōu)于對(duì)比方法，所提取的各主產(chǎn)省的冬小麥面積的精度多數(shù)均為90%以上，與國(guó)家統(tǒng)計(jì)部門(mén)公布的數(shù)據(jù)相符。

在下一步的研究中，將考慮加入非監(jiān)督訓(xùn)練方法，降低模型對(duì)標(biāo)記工作的要求，以便將模型應(yīng)用于生產(chǎn)實(shí)踐。

[1] Belgiu M, Csillik O. Sentinel-2 cropland mapping using pixel-based and object-based time-weighted dynamic time warping analysis[J]. Remote Sensing of Environment, 2018, 204: 509-523.

[2] 孫敏軒，劉明，孫強(qiáng)強(qiáng)，等. 利用光譜混合分解模型分析GF-6新增波段對(duì)土地利用/覆被的響應(yīng)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(3)：244-253.

Sun Minxuan, Liu Ming, Sun Qiangqiang, et al. Response of new bands in GF-6 to land use/cover based on linear spectral mixture analysis model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(3): 244-253. (in Chinese with English abstract)

[3] 張東彥，楊玉瑩，黃林生，等. 結(jié)合Sentinel-2影像和特征優(yōu)選模型提取大豆種植區(qū)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(9)：110-119.

Zhang Dongyan, Yang Yuying, Huang Linsheng, et al. Extraction of soybean planting areas combining Sentinel-2 images and optimized feature model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(9): 110-119. (in Chinese with English abstract)

[4] 張曉陽(yáng)，李廣澤，彭暢，等. 基于深度卷積網(wǎng)絡(luò)的紅外遙感圖像超分辨率重建[J]. 黑龍江大學(xué)自然科學(xué)學(xué)報(bào)，2018，35(4)：473-477.

Zhang Xiaoyang, Li Guangze, Peng Chang, et al. Super-resolution reconstruction of infrared remote sensing image based on deep convolution network[J]. Journal of Natural Science of Heilongjiang University, 2018, 35(4): 473-477. (in Chinese with English abstract)

[5] 姚鈺桐，譚荃戈，姬廣凱. 基于SRGAN網(wǎng)絡(luò)的低分辨率圖像重建方法[J]. 電子技術(shù)與軟件工程，2022(2)：165-168.

Yao Yutong, Tan Quange, Ji Guangkai. Low resolution image reconstruction method based on SRGAN network[J]. Electronic Technology & Software Engineering, 2022(2): 165-168. (in Chinese with English abstract)

[6] Shao Z, Cai J, Fu P, et al. Deep learning-based fusion of Landsat-8 and Sentinel-2 images for a harmonized surface reflectance product[J]. Remote Sensing of Environment, 2019, 235: 111425.

[7] 楊云，張海宇，朱宇，等. 類(lèi)別信息生成式對(duì)抗網(wǎng)絡(luò)的單圖超分辨重建[J]. 中國(guó)圖象圖形學(xué)報(bào)，2018，23(12)：1777-1788.

Yang Yun, Zhang Haiyu, Zhu Yu, et al. Class-information generative adversarial network for single image super-resolution[J]. Journal of Image and Graphics, 2018, 23(12): 1777-1788. (in Chinese with English abstract)

[8] 韓巧玲，周希博，宋潤(rùn)澤，等. 基于序列信息的土壤CT圖像超分辨率重建[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(17)：90-96.

Han Qiaoling, Zhou Xibo, Song Runze, et al. Super-resolution reconstruction of soil CT images using sequence information[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(17): 90-96. (in Chinese with English abstract)

[9] 孫亞楠，李仙岳，史海濱，等. 基于特征優(yōu)選決策樹(shù)模型的河套灌區(qū)土地利用分類(lèi)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(13)：242-251.

Sun Yanan, Li Xianyue, Shi Haibin, et al. Classification of land use in Hetao Irrigation District of Inner Mongolia using feature optimal decision trees[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(13): 242-251. (in Chinese with English abstract)

[10] 趙紅偉，陳仲新，姜浩，等. 基于Sentinel-1A影像和一維CNN的中國(guó)南方生長(zhǎng)季早期作物種類(lèi)識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(3)：169-177.

Zhao Hongwei, Chen Zhongxin, Jiang Hao, et al. Early growing stage crop species identification in southern China based on sentinel-1A time series imagery and one-dimensional CNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(3): 169-177. (in Chinese with English abstract)

[11] Wu X, Zuo W, Lin L, et al. F-SVM: Combination of feature transformation and SVM learning via convex relaxation[J]. IEEE Transactions on Neural Networks and Learning Systems, 2018, 29(11): 5185-5199.

[12] 解毅，張永清，荀蘭，等. 基于多源遙感數(shù)據(jù)融合和LSTM算法的作物分類(lèi)研究[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(15)：129-137.

Xie Yi, Zhang Yongqing, Xun Lan, et al. Crop classification based on multi-source remote sensing data fusion and LSTM algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(15): 129-137. (in Chinese with English abstract)

[13] Zhang C, Sargent I, Pan X, et al. Joint deep learning for land cover and land use classification[J]. Remote Sensing of Environment, 2019, 221: 173-187.

[14] Zhang C, Han Y, Li F, et al. A New CNN-Bayesian Model for Extracting Improved Winter Wheat Spatial Distribution from GF-2 imagery[J]. Remote Sensing, 2019, 11(6): 619.

[15] 王匯涵，張澤，康孝巖，等. 基于Sentinel-2A的棉花種植面積提取及產(chǎn)量預(yù)測(cè)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38(9)：205-214.

Wang Huihan, Zhang Ze, Kang Xiaoyan, et al. Cotton planting area extraction and yield prediction based on Sentinel-2A[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(9): 205-214. (in Chinese with English abstract)

[16] 李方杰，任建強(qiáng)，吳尚蓉，等. NDVI時(shí)序相似性對(duì)冬小麥種植面積總量控制的制圖精度影響[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(9)：127-139.

Li Fangjie, Ren Jianqiang, Wu Shangrong, et al. Effects of NDVI time series similarity on the mapping accuracy controlled by the total planting area of winter wheat[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(9): 127-139. (in Chinese with English abstract)

[17] 孔愛(ài)玲，張承明，李峰，等. 基于知識(shí)引導(dǎo)的遙感影像融合方法[J]. 自然資源遙感，2022，34(2)：47-55.

Kong Ailing, Zhang Chengming, Li Feng, et al. Knowledge-based remote sensing image fusion method[J]. Remote Sensing for Natural Resources, 2022, 34(2): 47-55. (in Chinese with English abstract)

[18] 張悅琦，李榮平，穆西晗，等. 基于多時(shí)相GF-6遙感影像的水稻種植面積提取[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(17)：189-196.

Zhang Yueqi, Li Rongping, Mu Xihan, et al. Extraction of paddy rice planting areas based on multi-temporal GF-6 remote sensing images[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(17): 189-196. (in Chinese with English abstract)

[19] Jiang X, Fang S, Huang X, et al. Rice mapping and growth monitoring based on time series GF-6 images and red-edge bands[J]. Remote Sensing, 2021, 13(4): 579.

[20] 譚鐳，孫懷江. SKASNet：用于語(yǔ)義分割的輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)[J]. 計(jì)算機(jī)工程，2020，46(9)：261-267.

Tan Lei, Sun Huaijiang. SKASNet: Lightweight convolutional neural network for semantic segmentation[J]. Computer Engineering, 2020, 46(9): 261-267. (in Chinese with English abstract)

[21] 黃建文，李增元，陳爾學(xué)，等. 高分六號(hào)寬幅多光譜數(shù)據(jù)人工林類(lèi)型分類(lèi)[J]. 遙感學(xué)報(bào)，2021，25(2)：539-548.

Huang Jianwen, Li Zengyuan, Chen Erxue, et al. Classification of plantation types based on WFV multispectral imagery of the GF-6 satellite[J]. National Remote Sensing Bulletin, 2021, 25(2): 539-548. (in Chinese with English abstract)

[22] 劉穎，朱麗，林慶帆，等. 圖像超分辨率技術(shù)的回顧與展望[J]. 計(jì)算機(jī)科學(xué)與探索，2020，14(2)：181-199.

Liu Ying, Zhu Li, Lin Qingfan, et al. Review and prospect of image super-resolution technology[J]. Journal of Frontiers of Computer Science and Technology, 2020, 14(2): 181-199. (in Chinese with English abstract)

[23] 湯涌，項(xiàng)錚，蔣騰平. 基于三維激光點(diǎn)云的復(fù)雜道路場(chǎng)景桿狀交通設(shè)施語(yǔ)義分類(lèi)[J]. 熱帶地理，2020，40(5)：893-902.

Tang Yong, Xiang Zheng, Jiang Tengping. Semantic classification of Pole-Like traffic facilities in complex road scenes based on LiDAR point cloud[J]. Tropical Geography, 2020, 40(5): 893-902. (in Chinese with English abstract)

[24] 錢(qián)麗沙，姜浩，陳水森，等. 基于時(shí)空濾波Sentinel-1時(shí)序數(shù)據(jù)的田塊尺度嶺南作物分布提取[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38(5)：158-166.

Qian Lisha, Jiang Hao, Chen Shuisen, et al. Extracting field-scale crop distribution in Lingnan using spatiotemporal filtering of Sentinel-1 time-series data[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(5): 158-166. (in Chinese with English abstract)

[25] 牛乾坤，劉瀏，黃冠華，等. 基于GEE和機(jī)器學(xué)習(xí)的河套灌區(qū)復(fù)雜種植結(jié)構(gòu)識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38(6)：165-174.

Niu Qiankun, Liu Liu, Huang Guanhua, et al. Extraction of complex crop structure in the Hetao Irrigation District of Inner Mongolia using GEE and machine learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(6): 165-174. (in Chinese with English abstract)

Extraction method for the spatial distribution of winter wheat using multi-scale features

Chen Fangfang1, Song Zirui1, Zhang Jinghan1, Wang Mengnan1, Wu Menxin2, Zhang Chengming1,3※, Li Feng4, Liu Pingzeng1,5,6, Yang Na7

(1.,,271018,; 2.,100081,; 3.,271018,; 4.,250031,; 5.,271018,; 6.,,271018,; 7..,,100093,)

An accurate extraction of the crop spatial distribution is of great significance for the decision-making on management measures in modern agriculture. Fortunately, the remote sensing images can be widely used as the important data sources for the spatial distribution of crops at present. It is a high demand to extract the high-quality features from the spatial distribution of crops using the remote sensing images. In this study, the Sentinel-2A images were selected to extract the high-precision spatial distribution of winter wheat, in order to avoid the data scale reduction and feature fusion. Firstly, the red edge resource was utilized to classify the important features of winter wheat. The visible light and red edge bands were also combined to effectively reduce the misclassification of pixels for the high accuracy. A downscale model Red Edge Down Scale (REDS) was then established to balance the spatial scale of the data in the Sentinel-2A images, due to the different band resolution between the red edge (20m) and the visible light (10m). The generative countermeasure network was constructed using the three red edge bands of B5, B6 and B7. More importantly, the spatial resolution of B11 shortwave infrared band was reduced from 20 to 10 m, in order to obtain the better consistence in the spatial resolution of visible light and red edge band. The edge blur of image was also prevented from the interpolation (nearest neighbor interpolation). Secondly, the inputs of REDS consisted of the low- and high-resolution channel, correspondingly to the spectral and texture information, respectively. The spatial structure information was then input from the high- into the low-resolution channel. As such, the improved model was achieved in the image data from the high-resolution red edge and short-wave infrared (SWIR) channel. Secondly, the original data was extracted, and then combined into the basic input data, including the three red edge bands after scaling down, the visible light band with a resolution of 10m, and three remote-sensing index products, namely Enhanced Vegetation Index (EVI), Normalized Difference Vegetation Index (NDVI), and Normalized Difference Red-Edge1 (NDRE1). Thirdly, the semantic feature extraction model was constructed as the Red Edge and Vegetation Index Feature Network (REVINet) using convolutional neural network. The coding and decoding units were constructed in the REVINet model using residual network. The linear model was used to fuse the multi-scale features for the output by the decoding units. SoftMax function was used as a classifier for the pixel-by-pixel classification. Finally, the segmentation, and the spatial distribution of winter wheat were generated to verify the REVINet model, compared with the ERFNet, U-Net, and RefineNet models. The experimental results show that the smoother contour edge was extracted from the planting area of winter wheat, particularly with the less misclassification. Meanwhile, the recall (92.15%), precision (93.74%), accuracy (93.09%), and F1 score (92.94%) were better than the rest models, indicating the ideal performance. The spatial distribution of the whole research area demonstrated that the winter wheat in China was mainly distributed in the south of the Great Wall in 2022. The relatively high accuracy of extracted areas was achieved with the better coincidence degree, compared with the standard released by the National Statistical Department in 2021. Therefore, the data organization and feature extraction can be expected to serve as the spatial distribution of winter wheat using the Sentinel-2A. The finding can also provide the technical reference for the Sentinel-2A data in the agricultural field.

convolutional neural network; downscaling; Sentinel-2A; spatial distribution of winter wheat; EVI; NDVI; NDRE1; red edge band

10.11975/j.issn.1002-6819.2022.24.029

TP751

A

1002-6819(2022)-24-0268-07

陳芳芳，宋姿睿，張景涵，等. 融合多尺度特征的冬小麥空間分布提取方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38(24)：268-274.doi：10.11975/j.issn.1002-6819.2022.24.029 http://www.tcsae.org

Chen Fangfang, Song Zirui, Zhang Jinghan, et al. Extraction method for the spatial distribution of winter wheat using multi-scale features[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(24): 268-274. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.24.029 http://www.tcsae.org

2022-09-27

2022-12-10

山東省自然科學(xué)基金項(xiàng)目（ZR2021MD097，ZR2020MF130）；中國(guó)氣象局旱區(qū)特色農(nóng)業(yè)氣象災(zāi)害監(jiān)測(cè)預(yù)警與風(fēng)險(xiǎn)管理重點(diǎn)實(shí)驗(yàn)室開(kāi)放基金項(xiàng)目（CAMF-202001）；國(guó)家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目（2018YFC1506500）；風(fēng)云衛(wèi)星應(yīng)用先行計(jì)劃項(xiàng)目（FY-APP-2021.0305）

陳芳芳，研究方向?yàn)檫b感信息提取。Email：2020110664@sdau.edu.cn

張承明，博士，教授，研究方向?yàn)檫b感信息提取。Email：chming@sdau.edu.cn