基于深度遷移學習的釀酒葡萄種植信息提取

宋曉倩 張學藝 張春梅 李萬春

摘要：為利用遙感手段快速、精準提取寧夏賀蘭山東麓釀酒葡萄種植信息，提出了一種基于深度遷移學習的釀酒葡萄種植信息提取方法。該方法以全卷積神經網絡（Fully convolutional networks，FCN）為基礎，利用高分二號衛星遙感資料，以地面采集樣本數據進行網絡模型訓練，利用遷移學習方法將訓練好的網絡模型遷移到FCN網絡模型中，對其進行初始化，避免過擬合問題的發生，其網絡訓練驗證集準確率高達88.16%，較傳統的基于深度學習方法準確率提高7.17個百分點。結果表明，基于深度遷移學習的賀蘭山東麓釀酒葡萄種植信息提取檢測準確率可達91.93%，檢測召回率達到91.15%。

關鍵詞：釀酒葡萄;信息提取;高分數據;深度學習;遷移學習

中圖分類號：S127文獻標識碼：A文章編號：1000-4440（2020）03-0689-05

Extraction of wine grape planting information based on deep transfer learning

SONG Xiao-qian1，ZHANG Xue-yi2，ZHANG Chun-mei1，LI Wan-chun2

（1.School of Computer Science and Engineering， North Minzu University， Yinchuan 750021， China;2.Key Laboratory of Characteristic Agrometeorological Disaster Monitoring and Early Warning and Risk Management in Arid Regions， CMA/Key Laboratory for Meteorological Disaster Prevention and Reduction of Ningxia， Yinchuan 750002， China）

Abstract：In order to extract the wine grape planting information of the eastern foot of Helan mountain by using remote sensing， a method based on deep transfer learning was proposed. On the basis of fully convolutional network（FCN）， this method used the GF-2 remote sensing data to collect the sample data for the information extraction training. The trained network model was transferred to the FCN model by using the transfer learnin method. It was initialized in the network model to avoid over-fitting problem. The accuracy rate of its network training validation set was as high as 88.16%， which was 7.17 percentage points higher than that of traditional deep learning methods. The results showed that the accuracy rate of wine grape planting information extraction based on deep transfer learning at the eastern foot of Helan Mountain could reach 91.93%， and the recall rate reached 91.15%.

Key words：wine grapes;information extraction;high resolution data;deep learning;transfer learning

近年來，在寧夏回族自治區黨委、政府的重視下，賀蘭山東麓釀酒葡萄被確定為自治區農業六大區域性優勢產業之一[1]。隨著釀酒葡萄產業的快速發展，其種植面積也在日益擴大[2]。如何快速、準確地提取釀酒葡萄種植面積是當前迫切需要解決的問題。利用遙感手段提取作物種植信息是一種節省人力、物力，并且人為干預少，效果好的技術[3-5]。目前較多學者利用深度神經網絡在自然場景圖像識別中取得優異成果[6]。張善文等[7]利用卷積神經網絡對黃瓜病害進行識別，并建立了訓練葉片識別數據庫，與普通的特征提取識別病害方法相比較性能較高。孫云云等[8]在小樣本情況下利用卷積神經網絡進行病害圖像識別，先利用7種不同模式分別對樣本進行預處理，然后用AlexNet的經典網絡對預處理后的樣本進行訓練。有的學者[9]利用深度神經網絡來進行遙感圖像識別，結合面向對象和深度特征，將深度學習運用到高分樹種的分類中，與普通的支持向量機及隨機森林分類方法對比，分類精度有所提高。黃云等[10]運用Sentinel-2數據基于FCN網絡改進的SegNet網絡對花生種植區域進行分類。Kussul等[11]利用深度學習對2種不同的遙感數據進行多種作物的分類，準確率較高。宮浩等[12]提出基于卷積神經網絡的遙感圖像分類方法，利用6層卷積神經網絡對農田進行分類識別，精度高，耗時短。但基于深度神經網絡的算法，必須有大量訓練樣本的支撐，單憑借少量的標注樣本進行深度神經網絡訓練，容易產生過擬合的現象。

為改善深度神經網絡訓練過程中較易出現的過擬合現象，本研究提出一種基于深度遷移學習的釀酒葡萄種植信息提取方法。

1材料與方法

1.1研究區

寧夏賀蘭山東麓釀酒葡萄產區位于寧夏回族自治區銀川、吳忠、石嘴山三市，東經105°～106°E，北緯37°～39°N，地處世界釀酒葡萄種植的“黃金地帶”，是全國三大釀酒葡萄原產地域保護區之一[13-15]，也是中國釀酒葡萄最佳種植區。賀蘭山東麓屬典型大陸性氣候，系沖積扇三級階梯，交通多有不便，生態脆弱，決定了在該區域發展釀酒葡萄產業必須適度規劃、有限發展，所以快速、精準地掌握釀酒葡萄的種植分布及面積等情況成為政府決策部門的當務之急。

1.2數據來源

1.2.1衛星資料數據研究數據來源于高分二號（GF-2）衛星遙感資料。GF-2衛星是中國自主研制的首顆空間分辨率優于1 m的民用光學遙感衛星，搭載有2臺高分辨率1 m全色、4 m多光譜相機，具有亞米級空間分辨率、高定位精度和快速姿態機動能力等特點[16-17]。獲取2015-2018年釀酒葡萄分類最佳時相段內數據質量較好的賀蘭山東麓葡萄種植區國產高分辨率衛星GF-2號PMS的L1A級數據共8景，經過正射校正、圖像融合等預處理后，使其最高分辨率達到0.8 m，進行基于深度遷移學習的葡萄種植區分類數據集構建。遙感數據從中國資源衛星應用中心下載。

1.2.2數據集的組成用于訓練初始網絡的源領域數據集為2個遙感影像數據集（WHU-RS19數據集、UCMerced LandUse數據集）和大型圖像數據集（ImageNet數據集）。

1.2.3地理信息數據經度、緯度數據及其他地理信息數據均來源于寧夏回族自治區氣象局。

1.2.4氣象數據在確定釀酒葡萄分類最佳時相段時，由于選取的釀酒葡萄GPS定點為銀川市、吳忠市、青銅峽市、石嘴山市、賀蘭縣、永寧縣，葡萄的生長發育需要≥10 ℃積溫，所以選擇2015-2018年以上6個地區≥10 ℃的積溫數據，由寧夏回族自治區氣象局提供數據及統計結果。

1.2.5輔助數據由寧夏回族自治區氣象局提供寧夏主要作物調查數據，包括作物種植物候歷、作物發育期、作物GPS定點采樣點，其中采樣點包括水稻30個、玉米50個、小麥30個、葡萄35個。

1.3圖像分類方法

遷移學習方法是利用數據、任務或模型之間的相似性，將源領域中已學到的內容遷移到目標領域學習任務中，以此達到完善新工作的效果[18]。首先在2個遙感影像數據集（WHU-RS 19數據集、UCMerced LandUse數據集）與一個大型圖像數據集（ImageNet數據集）上訓練初始網絡，也就是所謂的源領域學習任務。將訓練好的初始網絡進行卷積層保留，將保留的模型參數導入新網絡模型中，對建立的賀蘭山東麓葡萄種植區高分辨率遙感圖像分類數據集進行分類。最終利用得出的分類準確率對目標領域學習任務的成果進行評價。圖1是基于深度遷移學習的賀蘭山東麓釀酒葡萄種植區提取的基本框架。

1.3.1數據集的構建將方法1.2中預處理后的GF-2號影像數據先運用遙感處理軟件ENVI5.3進行葡萄種植區裁剪，將裁剪結果導入ARCGIS中輸出柵格數據，利用深度學習樣本制作工具labelme，結合Google earth軟件進行葡萄種植區樣本標注，并對其中6景原圖像及生成的樣本圖像進行對應裁剪，生成大小為224×224的圖像。為解決遙感數據采集成本高、樣本少的矛盾，采用數據增強（Data augmentation）方法解決這一問題[19]。將處理好的葡萄種植區原始影像與標簽圖像進行合適的旋轉、鏡像、模糊以及亮度變換，增大數據集的大小，增強網絡的學習能力。裁剪后的影像進行上述圖像處理后，樣本擴充到2 000張。這樣訓練數據集便構建完成，其數據集部分構成如圖2和圖3所示。

1.3.2分類算法框架的搭建基于FCN的葡萄種植區分類算法詳細框架如圖4所示。選取VGG16網絡模型的前13層作為全卷積神經網絡特征提取部分，后面加入反卷積層對輸入圖像進行上采樣。對于前面采用的VGG16網絡模型的前13層，加入遷移網絡，采用Adam算法進行優化，保存分別在大型源數據集上訓練好的模型，然后將訓練好的模型分別遷移到構建的葡萄種植區遙感分類數據集上，并在新的訓練任務中不斷調整這些參數。

和檢測召回率的計算，評價精度。

檢測準確率是被正確預測的像素面積與所有像素面積之比[20]，其計算公式為：

檢測準確率=（TA+TB）/（A+B）（1）

檢測召回率是被正確預測為葡萄種植區的像素面積與實際葡萄種植區像素面積之比，其計算公式為：

檢測召回率=TA/A（2）

式中，TA為正確檢測的葡萄種植區像素面積，TB為正確檢測的背景像素面積，A為實際葡萄種植區像素面積，B為實際背景像素面積。

2結果與分析

2.1分類網絡模型的訓練

試驗環境參數設置：操作系統版本為Ubuntu18.1，CPU型號為Intel（R） Core（TM）i7-4790，GPU型號為GeForce GTX 1080，深度學習框架為Tensorflow 1.3.0。

首先利用大型源數據集遙感圖像數據集WHU-RS19數據集、UCMerced LandUse數據集和普通圖像數據集ImageNet數據集對初始網絡進行預訓練，利用本研究構建的葡萄種植區遙感分類數據集進行微調，找出對數據集分類效果最好的源領域數據集。添加一組利用方法1.3.1構建的釀酒葡萄種植區遙感分類數據集直接對初始網絡模進行訓練，來驗證模型遷移學習的有效性。經過多次試驗，選擇最佳試驗結果的試驗參數：學習率為0.000 05，batchsize為1，迭代次數為100。

每次訓練網絡時自動保存當前最優模型。訓練結果為：當不采用遷移學習對葡萄種植區遙感分類數據集進行訓練時訓練集準確率為96.42%，但在驗證集上丟失率在后半段訓練過程中增加，明顯出現過擬合的現象。當分別以ImageNet數據集、WHU-RS19數據集、 UCMerced LandUse數據集為源領域數據集進行遷移學習時，訓練集的準確率分別為96.27%、79.90%、78.72%。

當不采用遷移學習而直接使用本研究構建的釀酒葡萄種植區遙感分類數據集來訓練初始網絡模型時，驗證集準確率為80.99%。當源領域數據集選擇ImageNet時，先利用此數據集對初始網絡模型預訓練，將訓練好的網絡模型遷移至分類網絡中，使用賀蘭山東麓葡萄種植區分類數據集進行參數微調，最終達到的訓練準確率最高為96.27%。而驗證集準確率高達88.16%，對比沒有遷移時80.99%的準確率，效果較好。可見，遷移學習不但能提高分類的準確率，并且還能抑制過擬合現象。

當分別利用遙感影像數據集WHU-RS19數據集、UCMerced LandUse數據集訓練初始網絡并遷移到新的分類任務中時準確率不升反降，分別為79.90%、78.72%。由于這2個遙感數據集沒有與ImageNet數據集一樣的大型數據量支持，使得網絡的微調沒有更深層的特征支撐，進而導致訓練后的準確率大幅降低，這是負遷移現象。這表明在遷移學習中，只有源領域數據集大到一定范圍，才會對目標領域的學習任務有改進作用。

2.2圖像分類結果及驗證

訓練好網絡后對整幅原始圖像進行預測，原始圖像與人工目視解譯得到的標簽數據以及網絡預測的標簽數據見圖5～圖7。

利用GF-2號0.8 m分辨率的優勢，結合Google earth軟件與實際考察GPS定點，對圖5進行釀酒葡萄種植區的人工目視解譯，得到圖6中紅色標注出的釀酒葡萄種植區，黑色為背景區，將其作為參考真實數據。圖7中紅色區域為網絡預測的釀酒葡萄種植區，黑色為背景區。將圖7與圖6進行對比，發現圖7中釀酒葡萄種植區整體預測效果較好，但存在拼接痕跡，且有幾處錯分、漏分，對實際釀酒葡萄種植區間小道路預測不明顯。對測試結果進行檢測準確率和檢測召回率計算，結果顯示基于深度遷移學習得出的葡萄種植區提取檢測準確率為91.93%，檢測召回率為91.15%。

3討論

本研究將深度學習中的FCN網絡與遷移學習結合，快速、高精度地實現了賀蘭山東麓釀酒葡萄種植區的遙感影像解譯，對賀蘭山東麓釀酒葡萄種植區進行了提取。利用遷移學習，避免了過擬合的發生。不同源數據集的遷移學習與非遷移學習的對比試驗結果表明：當不進行遷移學習時，驗證集準確率為80.99%;選擇規模足夠大的ImageNet數據集，可有效提升驗證集準確率（88.16%）;當源數據集數量過少時，出現負遷移現象。

利用ImageNet數據集作為源數據集訓練好的網絡模型對遙感影像進行預測，整體預測效果較好，檢測準確率達到91.93%，檢測召回率達到91.15%。

由于本研究以224×224的尺寸按照從左往右、從上到下的順序滑動預測圖像，然后進行拼接，這導致預測數據有拼接痕跡，對檢測的準確率有一定影響。對于該問題，后續可采用縮小滑動步長或采用其他解決邊緣問題的方法進行研究。本研究采用數據增強的方法解決樣本采集成本高與樣本少的矛盾，后續可研究采用學習生成對抗網絡（GAN），以提升檢測準確率與檢測召回率。

參考文獻：

[1]張敏敏，代紅軍. 2015年賀蘭山東麓產區赤霞珠葡萄成熟期品質的監測[J] . 農業科學研究，2016，37（2）：29-33

[2]宋新欣. 寧夏賀蘭山東麓葡萄產業品牌建設探討[J]. 商業經濟研究，2016（16）：216-217.

[3]李衛國. 作物旱澇災情遙感監測進展與思考[J] . 江蘇農業學報，2013，29（6）：1503-1506.

[4]王慶林，李衛國，王榮富. 基于不同時相遙感的冬小麥種植而積的提取[J]. 江蘇農業學報，2014，30（6）：1286-1291.

[5]徐新剛，李強子，周萬村，等. 應用高分辨率遙感影像提取作物種植面積[J]. 遙感技術與應用，2008，23（1）：17-23.

[6]曲景影，孫顯，高鑫. 基于CNN模型的高分辨率遙感圖像目標識別[J]. 國外電子測量技術，2016，35（8）：45-50.

[7]張善文，謝澤奇，張晴晴. 卷積神經網絡在黃瓜葉部病害識別中的應用[J]. 江蘇農業學報，2018，34（1）：56-61.

[8]孫云云，江朝暉，董偉，等. 基于卷積神經網絡和小樣本的茶樹病害圖像識別[J]. 江蘇農業學報，2019，35（1）：48-55.

[9]滕文秀，王妮，施慧慧，等. 結合面向對象和深度特征的高分影像樹種分類[J]. 測繪通報，2019，505（4）：38-42.

[10]黃云，唐林波，李振，等. 采用深度學習的遙感圖像花生種植區域分類技術研究[J]. 信號處理，2019（4）：617-622.

[11]KUSSUL N， LAVRENIUK M， SKAKUN S， et al. Deep learning classification of land cover and crop types using remote sensing data[J]. IEEE Geoscience & Remote Sensing Letters， 2017， 99：1-5.

[12]宮浩，張秀再，胡敬鋒，等. 一種基于深度學習的遙感圖像分類及農田識別方法[J]. 現代電子技術，2019，42（8）：179-182.

[13]張學藝，李劍萍，秦其明，等. 幾種干旱監測模型在寧夏的對比應用[J]. 農業工程學報，2009，25（8）：18-23.

[14]潘佳穎. 賀蘭山東麓葡萄基地兩種類型土壤重金屬分布特征與評價[D].銀川：寧夏大學，2017.

[15]王競，李磊，王銳，等. 不同生育期水分虧缺對釀酒葡萄光和特性、產量及品質的影響[J]. 江蘇農業科學，2017，46（22）：149-152.

[16]劉川，齊修東，藏文乾，等. 基于IHS變換的Gram-Schmidt改進融合算法研究[J]. 測繪工程，2018，27（11）：9-14.

[17]姚新春，張亞亞. 基于EasyOrtho的高分二號衛星批量數據自動處理試驗[J]. 北京測繪，2016（6）：9-12.

[18]陳雨強. 圖像與文本數據間的異構遷移學習[D]. 上海：上海交通大學，2012.

[19]張日升，朱桂斌，張燕琴. 基于卷積神經網絡的衛星遙感圖像區域識別[J]. 信息技術，2017（11）：91-94.

[20]付輝敬，田錚. 遙感圖像分割中的信息割算法[J]. 中國圖象圖形學報，2011，16（1）：135-140.

（責任編輯：張震林）