基于卷積神經網絡的中國北方冬小麥遙感估產

周 亮，慕號偉，馬海姣，陳高星

基于卷積神經網絡的中國北方冬小麥遙感估產

周 亮1,2,3，慕號偉1,2,3，馬海姣4，陳高星5

（1. 蘭州交通大學測繪與地理信息學院，蘭州 730070； 2. 地理國情監測技術應用國家地方聯合工程研究中心，蘭州 730070；3. 甘肅省地理國情監測工程實驗室，蘭州 730070； 4. 西北農林科技大學水利與建筑工程學院，楊凌 712100； 5. 北京地空數馳科技有限公司，北京 100871）

針對傳統的農作物估產方法過度依賴人工經驗，以及實地采樣成本高等問題。該研究使用MODIS數據構建了基于卷積神經網絡（convolutional neural network，CNN）的冬小麥估產模型。對2006－2016年中國北方冬小麥核心區的60個地級市進行模型訓練，魯棒性檢驗以及估產誤差空間特征分析。結果表明：1）估產模型在訓練集和驗證集的均方根誤差（root mean square error, RMSE）分別為183.82 kg/hm2、689.72 kg/hm2，決定系數（2）分別為0.98、0.71。2）以同樣的神經網絡結構對2006－2016年估產樣本分別作為驗證集，訓練11個獨立模型的RMSE平均值是772.03 kg/hm2，證明算法具有較高的魯棒性。3）2007、2012和2016年不同省份的估產結果表明，模型對北方冬小麥區的平原區估產精度較高，尤其是河北和山東2省（RMSE為500 kg/hm2）。該文構建的估產模型可以實現冬小麥單產的復雜擬合，可以應用于較大尺度（范圍）冬小麥產量預報。

作物；產量；遙感；作物估產；卷積神經網絡；深度學習；冬小麥

0 引 言

大范圍可靠的農情信息對糧食市場及相關政策的制定至關重要，是保障區域及國家糧食安全的重要依據，特別是產量信息的快速、有效獲取可以降低市場風險并提高效率[1]。其中遙感技術具有覆蓋范圍廣、重訪周期短，獲取成本相對低等優勢，在作物長勢監測、農業氣象以及產量估算中扮演著重要的角色，且對大面積露天農業生產的調查、評價、監測和管理具有獨特的作用[2]。隨著人工智能與大數據技術的發展，遙感大數據為農業應用提供了智能化和信息化的技術途徑，將推動農業遙感估產的發展[3]。文獻分析發現目前遙感估產中最為有效的方法有2種：一是利用數據同化技術把遙感反演參數信息融入到作物機理過程模型之中，實現大面積作物生長狀態及產量模擬的目的[4-5]，如基于WOFOST[6]、Oryza2000[7]、WheatSM[8]、ChinaAgroys[9]4個作物模型所構建的中國作物生長模擬監測系統（CGMS-China），CGMS-China對冬小麥各主產省的平均預報相對誤差為7%[10]。二是基于統計模型方法的遙感估產，其統計模型方法包括線性模型方法和非線性模型方法。線性模型方法在省級尺度[11]，縣級尺度[12-13]，村級以及地塊尺度[14-15]下都有良好的應用。但是作物產量形成的機理通常表現為非線性[16]，因此非線性模型方法更受研究者的關注，如支持向量回歸（support vector regression，SVR）[17]和神經網絡法（neural network，NN）[18-24]等等。然而，支持向量回歸這種傳統統計學習方法并不適合大規模數據處理，當前基于神經網絡法的作物估產得到了快速發展。Kaul等[19-20]結合氣候、氣象和土壤等數據用人工神經網絡進行作物估產，在不同區域中人工神經網絡相比于多元線性回歸模型都有了優越的表現。Kuwata等[21]結合衛星，氣候和其他環境數據用多層受限玻爾茲曼機進行玉米估產，相比于SVR算法更有優勢。You等[22-23]結合MODIS數據用多種深度學習算法進行大豆估產，Wang等[24]在You的研究基礎上使用深度遷移學習對巴西的大豆進行估產，在解決遙感應用的實際需求中，發現深度學習在遙感數據分析中具有極大的應用潛力[25]。從原始像素的底層特征抽象出高級語義信息的深度學習與遙感數據結合將會是解決農作物估產的有效手段。

冬小麥是中國重要的糧食作物，主要分布于暖溫帶的北方冬小麥區。本文將其作為研究區域，選取研究區2006－2016年各地級市冬小麥生長季中的時間序列遙感影像作為數據源。與之前研究不同的是，本文以卷積神經網絡代替以往常用的分區域回歸擬合作為估產方法，對農作物估產展開研究。分區域回歸擬合的優勢在于簡單靈活，但這種經驗分區和簡單擬合與冬小麥單產建立的關系更易受到自然因素變化的影響。而卷積神經網絡可以從遙感信息里表達的作物生長環境中學習到與冬小麥單產之間的復雜關系，這種關系包含了作物的生長機理，能可靠應用于冬小麥單產估算中。同時卷積神經網絡具備的學習性在數據累積的情況下可以成長為高精度的冬小麥估產模型，對于國家級冬小麥產量預報具有良好的應用前景。試驗為表達冬小麥的生長環境與狀態，選取6種不同的MODIS產品，通過直方圖降維和數據歸一化方法進行特征工程，并與卷積神經網絡相關聯，旨在探索一種在大范圍中普適性強的高精度遙感估產方法和技術途徑。

1 研究區與數據

1.1 研究區

研究區位于北方冬小麥區（31°38－42°62N，105°48－122°71E），主要分布在秦嶺、淮河以北，長城以南，包括河南、河北、山東、陜西、山西5省（圖1）。研究區大部分在秦嶺—淮河線以北（除陜西省安康市、商洛市、漢中市和河南省信陽市），冬小麥的生育期不同，北方地區平均出苗期在10月左右，部分地區在9月中旬，而成熟期在6月左右[26]，因此需要擴大MODIS數據的時間范圍，以包含不同地區的冬小麥生育期。2016年整個研究區的小麥產量是7.96×107t，約占全國小麥產量的62%，是中國重要的小麥產地。研究區小麥種植以冬小麥為主，因而也是中國重要的冬小麥基地。試驗中考慮統計數據不連續和高程受限的情況下篩除了河北省的承德市和張家口市，山西省的大同市、朔州市和陽泉市以及陜西省的安康市和榆林市，保留了5個省60個地級市作為估產區域。

圖1 研究區數據選擇及高程特征

1.2 數據來源

本文采用的MODIS數據具有高時間分辨率，可以獲取足夠監測作物產量的多時相影像，來源于LAADS DAAC（https://lsadsweb.modaps.eosdis.nasa.gov/）。試驗選擇MODIS數據中不同產品的多個波段作為估產指標（表1），MOD09A1的7個不同波長的地表反射率數據可以反映土壤濕度及作物生長環境。MYD11A2的白天和夜間地表溫度與冠層溫度密切相關，可以進行作物產量估算[27]。歸一化植被指數（NDVI）和增強型植被指數（EVI）均能很好的預測冬小麥產量[28]，其中NDVI與冬小麥產量具有極高的相關性[29]。MOD15A2H的光合有效輻射（FPAR）與作物產量有更直接的關系，是大量作物生長模型的基礎[30]。試驗中選擇MCD12Q1數據產品中植物功能型方案的谷物掩模，谷物掩模中包含了冬小麥的信息。研究區各地級市冬小麥單產數據來源于2007—2017年河南，山東，山西和陜西的統計年鑒以及河北的農村統計年鑒，同時還有研究區的高程和水系數據，以及地級市的矢量邊界。

1.3 數據預處理

研究區的冬小麥在上一年的9月播種，下一年的6月成熟。因此，根據冬小麥的生育期確定構建卷積神經網絡樣本的時間范圍是一年中的第273天到下一年中的第185天，年份上選擇了2006－2016年的影像數據，根據研究區范圍選擇了MODIS數據的行列號為h26v04，h26v05，h27v04，h27v05。將MYD11A2影像重采樣為500 m的空間分辨率，其中MOD15A2H影像在2016年第49天缺失，試驗中通過對第41天和第57天的影像進行均值補充，同時將MOD13A1，MYD13A1影像在時間序列上進行融合以保證時序的完整性。MODIS發布產品為HDF格式，投影類型為正弦曲線投影（等面積偽圓柱投影），試驗中采用Shell與GDAL進行批量處理，將MODIS數據的投影轉換為基于WGS-84橢球體的UTM投影，同時對多張類型的影像進行了波段提取，拼接，裁剪后融合為21 600張包含12個波段的影像。

表1 遙感數據類別

2 研究方法

2.1 估產樣本構建

2.1.1 直方圖降維與歸一化

直方圖降維的前提是假設冬小麥單產和影像像素的位置無關，僅與不同像素值的數量相關。因而將遙感影像映射到像素計數的直方圖中信息損失較少。為了使得降維特征更加明顯，需要確定直方圖降維的范圍。以信陽市為例，將其2010年冬小麥生長季中36張影像在時間序列上進行直方圖統計，通過可視化每個波段在時間序列上的變化（圖2），從而確定直方圖降維的范圍（表1）。

圖2 各個波段隨著時間序列的直方圖變化

每個影像在確定直方圖降維范圍后，劃分36個區間逐個離散化統計像素個數用來生成像素直方圖，同時對生成的像素直方圖進行式1歸一化處理。

2.1.2 時間序列融合

以2010年的河南省信陽市為例示意卷積神經網絡樣本的構建過程（圖3），對生長季中36張包含12個波段的影像進行直方圖提取，使得每個波段的影像生成長度為36的向量，同時時間序列上進行融合形成36×36的矩陣，最終在288 d的生長季中由遙感影像生成36×36×12的矩陣作為卷積神經網絡的輸入層。以相同時間相應地級市的冬小麥產量數據作為輸出層，構造一個完整的卷積神經網絡樣本。每個地級市每年構建一個樣本，試驗中2006－2016年60個地級市構建的樣本形成卷積神經網絡的估產樣本庫，共有660個樣本，其中600個作為訓練集，60個作為驗證集。

圖3 卷積神經網絡樣本構建過程

2.2 冬小麥單產估算模型結構

對于深度學習模型，其輸入是與輸出相對應的樣本數據，后續則是堆疊在輸入層和輸出層之間的眾多操作層。研究所使用的卷積神經網絡借鑒了You等提出的網絡結構[22]，結合樣本的特點將卷積神經網絡進行改進（圖4），采用小卷積核的多層疊加，減少了參數個數，加深網絡深度進而增大了網絡容量和復雜度，對作物生長的復雜過程進行擬合。本文構建的神經網絡主要由輸入層，7個卷積層，7個激活層，7個批歸一化層，3個Dropout層，2個全連接層以及輸出層組成。相比于You等[22]的網絡結構，考慮到批歸一化算法本身對于模型泛化能力的提升，而過多的Dropout層反而降低模型的預測能力。當模型狀態由訓練到驗證時，Dropout會使具體神經元的方差產生偏移[31]，因而在批歸一化層之后采用Dropout層，加入2參數正則化共同來提升模型的泛化能力。

圖4 卷積神經網絡結構

2.2.1 網絡結構設計

本文的卷積神經網絡輸入層為36×36×12的矩陣，卷積層C1～C7的卷積核個數依次是64、64、128、128、256、256、256，卷積核大小都是3×3 dpi，滑動步長分別為2、1、2、2、2、1、2，每個卷積層進行1個零填充。同時，在每一個卷積層上進行批歸一化和Relu函數激活操作，并在全連接層加入Dropout層。

2.2.22參數正則化

通過向目標函數添加一個參數范數懲罰?()，用來限制模型的學習能力。將正則化后的目標函數記為

2.2.3 損失函數

因而個樣本的2損失函數定義如下

回歸問題的2種損失函數1和2在回歸精度上相差無幾，不過在一些情況下2損失函數可能會略優于1[32]，同時收斂速度方面2損失函數也略快于1損失函數，因此本文采用2損失函數。

2.3 估產精度評價指標

本文采用以下4個指標評價模型估產效果，即決定系數2，皮爾遜積矩相關系數Pearson’s，均方根誤差RMSE，平均相對誤差MRE，具體公式如式（6）~式（9）所示。

3 結果與分析

3.1 冬小麥估產模型訓練以及單產預測

為了實現冬小麥的單產預測采用本文設計的神經網絡結構開始模型訓練，其中2006－2015年600個樣本為訓練集，2016年60個樣本為驗證集。將訓練集和驗證集分為多個批次，每個批次隨機選擇36個訓練樣本，網絡訓練1次更新1次權重，總共訓練40 000次。通過Adam算法進行梯度下降，將初始學習率設置為0.001，分階段逐次減少為原來的10倍，第1個階段是當訓練3 500次時，第2個階段是當訓練達到20 000次時，第3個階段是當訓練達到30 000次時。

模型訓練20 000步時逐步收斂（圖5a），直到完成訓練后保存模型并對訓練集和驗證集進行產量預測（圖5b）。訓練集和驗證集的RMSE分別是183.82 kg/hm2、689.72 kg/hm2，MRE分別是2.95%、10.53%，Pearson's分別是0.98、0.71。模型對2016年60個地級市的冬小麥單產進行了較為準確的預測，卷積神經網絡模型的估產誤差在合理范圍內，證明了遙感數據通過直方圖降維和歸一化方法進行特征工程的信息損失較少，和卷積神經網絡結合可以有效擬合作物生長的復雜過程。而在網絡結構中加入了Dropout層、批歸一化層以及2參數正則化方法下出現訓練集的預測精度相比驗證集高的過擬合現象，表明模型的訓練樣本較少，增加樣本可以提升估產精度。

圖5 模型訓練過程及評價

將卷積神經網絡模型的預測產量與統計產量進行比較（圖6），誤差較大的區域主要分布在陜西省，山西省和河南省的一些地級市。陜西省的渭南市和西安市屬于關中平原地區，模型對于關中平原地區普遍高估，這種誤差的產生原因可能是模型輸入中沒有敏感表達區域異質性的參數所造成。山西省的呂梁市和太原市冬小麥種植面積較少且沒有準確的冬小麥掩模，在直方圖降維過程中容易出現不穩定的狀態給模型預測帶來誤差。河南省的漯河市和焦作市屬于高估，而信陽市屬于低估，可能是樣本沒有在省域尺度下進行區分所產生的。例如陜西省的糧食單產為抽樣調查數，因而不同省份統計數據構建的樣本給模型預測帶來了一些困難。山東省和河北省的估產誤差較低，RMSE基本穩定在500 kg/hm2以內，模型在這些區域表現優秀。以山東省為例，萊蕪市的統計產量是5 227 kg/hm2相比于全省最低，模型的預測產量為5 014.96 kg/hm2，德州市的統計產量為7 130 kg/hm2相比于全省最高，而模型的預測產量是7 447.69 kg/hm2，上述結果表明卷積神經網絡對于高產和低產樣本都能夠準確的擬合，相比線性模型更具優勢。總而言之，卷積神經網絡模型在研究區的估產精度較高，可以實現對冬小麥的單產預測。

圖6 模型預測產量與統計產量差異

3.2 估產算法魯棒性檢驗

為了對估產算法魯棒性進行檢驗，將2006－2016年估產樣本逐年作為驗證集，對應其余年份作為訓練集，分別訓練11個模型（表2）。結果表明2006—2016年11個模型RMSE的平均值是772.03 kg/hm2，MRE在10%左右，Pearson's基本大于0.8，2在0.58與0.77之間，預測數據的離散程度較為一致，表明基于卷積神經網絡的估產算法魯棒性較好，在不同訓練集和驗證集下都有一個相對一致的誤差水平，在未來冬小麥單產預測中比較可靠。數據分析發現逐年訓練的模型中2007年的誤差較大，RMSE是920.45 kg/hm2，MRE是18.82%；2012模型效果最好，RMSE是632.08 kg/hm2，MRE是8.42%。2008、2012、2014和2016年模型的預測精度較高，RMSE小于700 kg/hm2，MRE小于12%；而2007、2011、2013和2015年的模型效果較差，RMSE基本都是在900 kg/hm2左右，MRE在15%左右。模型對于偶數年和奇數年的樣本預測產生了較為明顯的差異，同時MRE隨著時間變化有逐漸下降的趨勢，雖然模型本身沒有時間相關性，但是統計數據自身的時間關聯給模型結果帶來了這種特點，表明算法可以逼近任何復雜函數，直接學得從遙感數據輸入到統計數據輸出的映射，這種“端到端”的關系中包含著作物生長過程，但與此同時對訓練數據的依賴程度較高。

試驗對2007年，2012年以及2016年中各個地級市的單產精度展開分析（圖7）。2007年模型的預測單產大都高于統計單產，主要是因為所有省的冬小麥的單產數據呈現逐年遞增的趨勢，其中陜西省表現尤為明顯，例如商洛市2007和2008年的統計單產分別是1 365、2 280 kg/hm2，因而訓練數據中大多是高產樣本，低產樣本不足導致數據不均衡給預測帶來極大的困難。同時模型的輸入參數中主要包含地表反射率、地表溫度以及表達作物生長狀態的植被指數，并沒有考慮到農業生產方式等提升所帶來的增產，可以考慮未來研究中給模型加入人為因素作為變量。本文構建的卷積神經網絡結構與遙感數據相結合的估產算法在不同驗證集下有著基本一致的誤差水平，可以肯定卷積神經網絡在國家級冬小麥產量預報中的應用價值。更進一步的研究發現3個模型的誤差有一些共同的空間分布，其省域特征表現明顯，因而對冬小麥的單產誤差分省展開研究。

表2 逐年訓練模型的精度評價

圖7 2007、2012及2016年的模型精度及誤差分布

3.3 冬小麥估產誤差的空間特性

通過對誤差分布的區域研究發現在華北平原大多數地區的誤差都比較低，而誤差主要分布在關中平原一帶。考慮到不同省份對于統計數據的收集有所差別，因此對2007、2012以及2016年不同省域的單產精度展開分析（表3）。模型在河北省和山東省的冬小麥估產誤差比較小，其RMSE基本都在500 kg/hm2左右，但是山東省在2007年的2只有0.2，這主要是因為菏澤市的單產預測出現離群值，其統計單產和預測單產分別是5 462、7 142 kg/hm2，而山東省其余16個地市中除萊蕪市、青島市、德州市和東營市的誤差分別是861、738、647和615 kg/hm2外，其余地市的誤差都在350 kg/hm2以內。河南省的單產誤差RMSE和MRE分別穩定在800 kg/hm2和10%左右，各個地級市的誤差都維持在較低水平。山西省的運城市和太原市出現離群值，2007年運城市統計單產和預測單產分別是2 374、4 429 kg/hm2，2012年太原市的統計單產和預測單產分別是5 754、3 943 kg/hm2，誤差主要分布在山西北部區域，可能是因為海拔高度和掩模數據不精確造成的不穩定因素。而對于陜西省來講，2007年的誤差最大，所有的預測產量都大于統計產量，表現尤為明顯的是商洛市，其統計產量和預測產量分別是1 365、4 439 kg/hm2，這是由于2007年厄爾尼諾現象以及地理分布在北亞熱帶和暖溫帶交界區域，水平方向上具有2個氣候帶過渡性特征，地形復雜，受到極端天氣影響劇烈[26]。整個算法對于遙感數據是統一獲取處理，因此影像產生的誤差對于每個樣本是一致的，而這些誤差較大的離群值產生的原因是不同省份的統計數據收集和檢驗方式不一致，當然不排除遙感數據處理不當的可能性。對于卷積神經網絡估產算法的提升，可以將模型對不同省份分開訓練，但會存在樣本不足的情況，因而在縣級、鄉鎮級以及村級等小尺度下樣本充足且不存在數據分省統計的誤差，估產精度會更高。

表3 2007、2012及2016年模型分省精度評價

4 討 論

試驗中通過直方圖的方式對遙感影像進行降維，因此在不同的區域尺度下本文的算法都有所適用，但不適合實地采樣點的單產估算。同時深度學習算法是“端到端”的，不適用于作物生長過程的描述與機理表達，只能應用于訓練數據所包含的區域。算法對于極端天氣等突發事件的適應性不好，但對于氣候的年際波動適應性較好，且可以通過輸入數據敏感的表達區域異質性。

深度學習算法建立于大樣本之上，因而對提高算法精度可從樣本的角度出發。一是直接增加樣本量，在同一范圍更小尺度下隨著樣本數量的增加精度也會隨之提高。二是基于深度遷移學習將不同尺度或者區域的模型結合使用，也就相當于擴大樣本數量。相較于傳統作物估產方法都是小模型，對大樣本數據的擬合能力不強，而且需要人工干預進行分區，不能客觀表達試驗結果。因此大樣本成為深度學習類算法的主要特點，但對于小樣本的作物估產，傳統算法則更勝一籌。未來隨著數據的累積，相信深度學習算法的優勢會逐漸凸顯。

本文對北方冬小麥區的估產方法是一種新的探索與嘗試，模型在關中平原地區的估產出現離群值，可能是輸入層中沒有參數代表區域的空間異質性，未來研究可以嘗試在模型中加入坡度、蒸散發、降雨等地理與氣象數據，提升模型在不同地域下估產的場景應用。另外，本研究使用的MCD12Q1的谷物掩模數據包含其他作物，數據對估產結果存在一定程度擾動和誤差，因此更加精確的作物覆蓋數據可以提高估產精度。

5 結 論

根據冬小麥的生長環境，從MODIS數據中選擇12個估產指標，通過特征工程和卷積神經網絡建立基于統計數據的估產模型，進一步提高大范圍冬小麥單產估算效率。同時應用本文構建的神經網絡結構對2006－2016年逐年樣本進行訓練預測，對算法應用于國家級冬小麥產量預報的可行性進行研究。主要結論如下：

1）卷積神經網絡模型可以從遙感影像中有效地學習與冬小麥產量相關的特征，解決了傳統統計模型對復雜關系擬合的制約，不依賴實地樣本采集，在模型訓練完成后對未來冬小麥產量預測可以做到實時高效。

2）基于卷積神經網絡的遙感估產算法魯棒性較好，精度較高。而且當模型出現較大偏差時，不會對算法性能產生負面的影響，在不同的數據集中有著較為一致的結果，對于國家級冬小麥產量預報具有良好的應用前景。

3）本文所采用的直方圖降維是遙感應用結合深度學習算法的不同思路，這個方法可以在不同尺度以及不同作物中進行作物估產，解決行政尺度對于算法的限制。在大范圍小尺度中隨著樣本量的增加算法精度會逐漸提升，可對未來基于卷積神經網絡的農作物估產研究提供科學參考。

[1] 吳炳方，蒙繼華，李強子. 國外農情遙感監測系統現狀與啟示[J]. 地球科學進展，2010，25(10)：1003－1012.

Wu Bingfang, Meng Jihua, Li Qiangzi. Review of overseas crop monitoring system with remote sensing [J]. Advances in Earth Science, 2010, 25(10): 1003－1012. (in Chinese with English abstract)

[2] 史舟，梁宗正，楊媛媛，等. 農業遙感研究現狀與展望[J]. 農業機械學報，2015，46(2)：247－260.

Shi Zhou, Liang Zongzheng, Yang Yuanyuan, et al. Status and prospect of agricultural remote sensing[J]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(2): 247－260. (in Chinese with English abstract)

[3] 陳仲新，任建強，唐華俊，等. 農業遙感研究應用進展與展望[J]. 遙感學報，2016，20(5)：748－767.

Chen Zhongxin, Ren Jianqiang, Tang Huajun, et al. Progress and perspectives on agricultural remote sensing research and applications in China[J]. Journal of Remote Sensing, 2016, 20(5): 748－767. (in Chinese with English abstract)

[4] 黃健熙，黃海，馬鴻元，等. 遙感與作物生長模型數據同化應用綜述[J]. 農業工程學報，2018，34(21)：144－156.

Huang Jianxi, Huang Hai, Ma Hongyuan, et al. Review on data assimilation of remote sensing and crop growth models[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(21): 144－156. (in Chinese with English abstract)

[5] 吳蕾，柏軍華，肖青，等. 作物生長模型與定量遙感參數結合研究進展與展望[J]. 農業工程學報，2017，33(9)：155－166.

Wu Lei, Bai Junhua, Xiao Qing, et al. Research progress and prospect on combining crop growth models with parameters derived from quantitative remote sensing[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(9): 155－166. (in Chinese with English abstract)

[6] Van Diepen C A, Wolf J, Van Keulen H, et al. WOFOST: A simulation model of crop production[J]. Soil Use and Management, 1989, 5(1): 16－24.

[7] Bouman B A M, Kropff M J, Tuong T P, et al. ORYZA2000: Modeling Lowland Rice[M]. Los Ba?os: International Rice Research Institute, 2003.

[8] 馮利平，高亮之，金之慶，等. 小麥發育期動態模擬模型的研究[J]. 作物學報，1997，23(4)：418－424.

Feng Liping, Gao Liangzhi, Jin Zhiqing, et al. Studies on the simulation model for wheat phenology[J]. Acta Agronomica Sinica, 1997, 23(4): 418－424. (in Chinese with English abstract)

[9] Wang J, Yu Q, Lee X. Simulation of crop growth and energy and carbon dioxide fluxes at different time steps from hourly to daily[J]. Hydrological Processes, 2007, 21(18): 2474－2492.

[10] 侯英雨，何亮，靳寧，等. 中國作物生長模擬監測系統構建及應用[J]. 農業工程學報，2018，34(21)：165－175.

Hou Yingyu, He Liang, Jin Ning, et al. Establishment and application of crop growth simulating and monitoring system in China[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(21): 165－175. (in Chinese with English abstract)

[11] 顧曉鶴，何馨，郭偉，等. 基于MODIS與TM時序插補的省域尺度玉米遙感估產[J]. 農業工程學報，2010，26(增刊2)：53－58.

Gu Xiaohe, He Xin, Guo Wei, et al. Maize yield estimation at province scale by interpolation of TM and MODIS time-series images[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2010, 26(Supp.2): 53－58. (in Chinese with English abstract)

[12] 任建強，陳仲新，周清波，等. MODIS植被指數的美國玉米單產遙感估測[J]. 遙感學報，2015，19(4)：568－577.

Ren Jianqiang, Chen Zhongxin, Zhou Qingbo, et al. MODIS vegetation index data used for estimating corn yield in USA[J]. Journal of Remote Sensing, 2015, 19(4): 568－577. (in Chinese with English abstract)

[13] Becker-Reshef I, Vermote E, Lindeman M, et al. A generalized regression-based model for forecasting winter wheat yields in Kansas and Ukraine using MODIS data[J]. Remote Sensing of Environment, 2010, 114(6): 1312－1323.

[14] Lambert M J, Traoré P C S, Blaes X, et al. Estimating smallholder crops production at village level from Sentinel-2 time series in Mali's cotton belt[J]. Remote Sensing of Environment, 2018, 216: 647－657.

[15] 陳聯裙，朱再春，張錦水，等. 冬小麥遙感估產回歸尺度分析[J]. 農業工程學報，2010，26(增刊1)：169－175.

Chen Lianqun, Zhu Zaichun, Zhang Jinshui, et al. Regression scale analysis of winter wheat yield estimation by remote sensing[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2010, 26(Supp.1): 169－175. (in Chinese with English abstract)

[16] 朱再春，陳聯裙，張錦水，等. 基于信息擴散和關鍵期遙感數據的冬小麥估產模型[J]. 農業工程學報，2011，27(2)：187－193.

Zhu Zaichun, Chen Lianqun, Zhang Jinshui, et al. Winter wheat yield estimation model based on information diffusion and remote sensing data at major growth stages[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2011, 27(2): 187－193. (in Chinese with English abstract)

[17] 黎銳，李存軍，徐新剛，等. 基于支持向量回歸（SVR）和多時相遙感數據的冬小麥估產[J]. 農業工程學報，2009，25(7)：114－117.

Li Rui, Li Cunjun, Xu Xingang, et al. Winter wheat yield estimation based on support vector machine regression and multi-temporal remote sensing data[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2009, 25(7): 114－117. (in Chinese with English abstract)

[18] Bottou L, Cun Y L. Large scale online learning[C]//Advances in neural information processing systems. 2004: 217－224.

[19] Kaul M, Hill R L, Walthall C. Artificial neural networks for corn and soybean yield prediction[J]. Agricultural Systems, 2005, 85(1): 1－18.

[20] Ji B, Sun Y, Yang S, et al. Artificial neural networks for rice yield prediction in mountainous regions[J]. The Journal of Agricultural Science, 2007, 145(3): 249－261.

[21] Kuwata K, Shibasaki R. Estimating crop yields with deep learning and remotely sensed data[C] //Geoscience and Remote Sensing Symposium (IGARSS), 2015 IEEE International. IEEE, 2015: 858－861.

[22] You J, Li X, Low M, et al. Deep gaussian process for crop yield prediction based on remote sensing data[C] //AAAI. 2017: 4559－4566.

[23] Sabini M, Rusak G, Ross B. Understanding satellite-imagery- based crop yield predictions[R]. Technical Report. Stanford University, 2017.

[24] Wang A X, Tran C, Desai N, et al. Deep transfer learning for crop yield prediction with remote sensing data[C]// Proceedings of the 1st ACM SIGCAS Conference on Computing and Sustainable Societies. ACM, 2018: 50.

[25] Zhang L, Zhang L, Du B. Deep learning for remote sensing data: A technical tutorial on the state of the art[J]. IEEE Geoscience and Remote Sensing Magazine, 2016, 4(2): 22－40.

[26] 高輝明，張正斌，徐萍，等. 2001－2009 年中國北部冬小麥生育期和產量變化[J]. 中國農業科學，2013，46(11)：2201－2210.

Gao Huiming, Zhang Zhengbin, Xu Ping, et al. Changes of winter wheat growth period and yield in northern China from 2001－2009[J]. Scientia Agricultura Sinica, 2013, 46(11): 2201－2210. (in Chinese with English abstract)

[27] Idso S B, Jackson R D, Reginato R J. Remote-sensing of crop yields[J]. Science, 1977, 196(4285): 19－25.

[28] Kouadio L, Newlands N K, Davidson A, et al. Assessing the performance of MODIS NDVI and EVI for seasonal crop yield forecasting at the ecodistrict scale[J]. Remote Sensing, 2014, 6(10): 10193－10214.

[29] Skakun S, Franch B, Vermote E, et al. Winter wheat yield assessment using Landsat 8 and Sentinel-2 data[C] //IGARSS 2018－2018 IEEE International Geoscience and Remote Sensing Symposium. IEEE, 2018: 5964－5967.

[30] 吳炳方，曾源，黃進良．遙感提取植物生理參數LAI/FPAR的研究進展與應用[J]. 地球科學進展，2004，19(4)：585－590.

Wu Bingfang, Zeng Yuan, Huang Jinliang. Overview of LAI/FPAR retrieval from remotely sensed data[J]. Advances in Earth Science, 2004, 19(4): 585－590. (in Chinese with English abstract)

[31] Ioffe S, Szegedy C. Batch normalization: Accelerating deep network training by reducing internal covariate shift[C]// ICML'15 Proceedings of the 32nd International Conference on International Conference on Machine Learning, 2015, 37: 448－456.

[32] Zhang C L, Zhang H, Wei X S, et al. Deep bimodal regression for apparent personality analysis[C]//European Conference on Computer Vision. Cham: Springer, 2016: 311－324.

Remote sensing estimation on yield of winter wheat in North China based on convolutional neural network

Zhou Liang1,2,3, Mu Haowei1,2,3, Ma Haijiao4, Chen Gaoxing5

(1.,730070,; 2.,730070,; 3.,730070,; 4.712100; 5.,100871,)

Accurate and timely winter wheat yield estimation has significant effect to grain markets and policy. Most crop estimation methods can be divided into two categories, one is based on the crop model and the other is the statistical learning method. For statistical learning methods with recent advances in deep learning, convolutional neural network (CNN) have become state-of-the-art algorithms. can extract the depth-dependent features of crop growth. However, the pivotal challenge is to combine remote sensing images with CNN. In this paper, we employ the method of histogram dimensionality reduction and time series fusion to generate the input layer. The experiment firstly performed projection transformation, splicing, mask, fusion, and clipping for 6 different MODIS images in the research area from 2006 to 2016, and then generated 21 600 fusion images of 12 bands (surface reflectance data of 7 different wavelengths in MOD09A1, surface temperature of day and night in MYD11A2, NDVI and EVI in MOD13A1, and FPAR in MOD15A2H). Then, the sensitivity range of winter wheat growth in each band is divided into 36 sections, and the histogram statistics are used to reduce the dimension to generate a vector of length 36, so the remote sensing image generates a matrix of 36×36×12 in the 228-day growing season. The corresponding time and regional statistics are applied as the output layer to construct a complete sample. The yield estimation sample database of 12 indices in the winter wheat region of north China (60 prefecture-level cities) from 2006 to 2016 was constructed, and the training set and verification set were divided into 10:1 for the training and evaluation of yield estimation model. Finally, the neural network structure is designed according to the sample, which consists of the input layer, 7 convolution layers (c1-c7), 7 activation layers, 7 batch normalization layers, 3 dropout layers, 2 full connection layers, and output layer. The number of c1-c7 convolution kernels is 64, 64, 128, 128, 256, 256, 256, the convolution kernel size is 3×3 dpi, and the sliding step length is 2, 1, 2, 2, 2, 1 and 2 respectively, 1 zero paddings per convolutional layer. At the same time, batch normalization and Relu function activation are performed on each convolutional layer, and the Dropout layer is used in the fully connected layer. The results show that: 1) The root-mean-square error (RMSE) and coefficient of determination (2) of the convolutional neural network model on the training set are 183.82 kg/hm2and 0.98 respectively. In the validation set, RMSE and2are 689.72 kg/hm2and 0.71. 2) With the same neural network structure, the average RMSE of the estimated samples from 2006 to 2016 trained as validation sets for 11 models was 772.03 kg/hm2. The error of the yield estimation model was the largest in 2007 and the smallest in 2012, and the RMSE was 920.45 kg/hm2and 632.08 kg/hm2respectively. Crop estimation algorithm based on CNN has high robustness and precision; 3) The accuracy analysis of prediction yield at the municipal level of different provinces in three temporal points of 2007, 2012 and 2016 indicates that the model has higher accuracy in most areas of the northern winter wheat region, especially, RMSE of Hebei and Shandong provinces is approximately 500 kg/hm2. The result shows that CNN is well applied to the estimation of winter wheat production. This is a great thought of remote sensing combined with the deep learning algorithm. This method can be used to estimate yield by remote sensing in different scales and regions. Compared with the traditional method, this “start-to-end” learning method has the advantage of synergy and can obtain the optimal estimation model relative to the whole area. Meanwhile, As data accumulates, the estimation accuracy will be continuously improved, and it has a good application prospect in the national agricultural production forecast.

crops; yield; remote sensing; crop yield estimation; convolutional neural network; deep learning; winter wheat

10.11975/j.issn.1002-6819.2019.15.016

S127

A

1002-6819(2019)-15-0119-10

2019-03-18

2019-06-11

國家自然科學基金項目（41701173，41961027）；中國博士后科學基金項目（2016M600121）；甘肅省飛天學者特聘計劃；蘭州交通大學優秀平臺支持（201806）

周 亮，博士，副教授，研究方向為區域可持續發展。Email：zhougeo@126.com

周 亮，慕號偉，馬海姣，陳高星. 基于卷積神經網絡的中國北方冬小麥遙感估產[J]. 農業工程學報，2019，35(15)：119－128. doi：10.11975/j.issn.1002-6819.2019.15.016 http://www.tcsae.org

Zhou Liang, Mu Haowei, Ma Haijiao, Chen Gaoxing. Remote sensing estimation on yield of winter wheat in North China based on convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(15): 119－128. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2019.15.016 http://www.tcsae.org