深度信任支持向量回歸的耕地面積預測方法

王　洪,　劉偉銘

(1.福建工程學院 交通運輸學院 福建 福州 350108；2.華南理工大學 土木與交通學院 廣東 廣州 510640)

?

深度信任支持向量回歸的耕地面積預測方法

王洪1,劉偉銘2

(1.福建工程學院 交通運輸學院 福建 福州 350108；2.華南理工大學 土木與交通學院 廣東 廣州 510640)

摘要：針對目前淺層機器學習預測方法所需學習和訓練的樣本過大及擬合復雜數據能力弱等不足，提出一種基于深度學習思想的深度信任支持向量回歸(support vector regression,SVR)的耕地面積預測方法.首先，搭建由1層高斯分布函數顯層節點的RBM、多層隱層RBM和1層支持向量回歸機構成的深度信任支持向量回歸預測模型；其次，選取較為合適和易得的訓練數據，通過樣本訓練和測試確定預測模型的具體結構參數；最后，通過實驗將深度信任支持向量回歸耕地面積預測方法與其他典型的耕地面積預測算法相比較.結果表明，提出的耕地面積預測方法可行、有效，在相同的數據和平臺下，其預測精度高于其他具有代表性的耕地面積預測算法.

關鍵詞：深度信任網絡； 支持向量回歸； 耕地面積預測； 深度學習

0引言

隨著我國國民經濟和城市化、城鎮化發展進程的不斷加快，人地矛盾日益凸顯.耕地面積的有效保護關系食品供應及食品安全等諸多問題，而如何科學、準確、有效地預測未來年耕地保有量，則是保護耕地面積合理化的基礎和保障，具有十分重要的現實意義.

目前，常見的耕地預測模型及算法大致可分為傳統回歸模型及因素分析模型兩大類[1—2].由于我國土地影響因素的復雜性和多變性，傳統的線性回歸及因素分析方法很難適應因素的突變，往往預測精度較低.為了實現高精度的預測，越來越多的專家學者對具備自學習功能的智能預測算法產生興趣[1—3].

近年來，利用機器學習思想解決耕地面積預測中多因素變化帶來的難題是該領域的一個熱點研究方向，較為常見的是支持向量回歸(support vector regression,SVR)及其改進算法[1,4—5].該方法屬于機器學習中淺層學習算法，極大地推動了耕地面積測量及預測領域的發展.然而，該類方法存在所需學習及訓練的樣本大、對訓練樣本的精度要求高、擬合復雜數據能力較弱、過分依賴核函數及其參數的選取等不足.

考慮深度學習的機器學習預測算法有比淺層學習算法更為優越的“小樣本”數據處理能力[6].本文擬利用深度學習的思想搭建耕地面積預測模型，提出一種基于深度信任SVR的耕地面積預測方法.

1深度信任SVR算法

未來年耕地面積預測過程中，由于影響因素較多，故非線性運算計算量大，考慮到深度學習的非線性擬合能力較淺層機器學習算法強，本文利用深度學習的思想構建基于深度信任網絡的SVR模型.

1.1深度信任網絡模型的搭建與實現

本文搭建的深度信任網絡由1層高斯分布函數顯層節點的RBM、多層隱層RBM和1層SVR模型構成.模型預訓練過程中，輸入層的數據聯合分布及顯隱層條件分布的計算方式為：

(1)

中間層為傳統的RBM信息轉換，即(顯層)伯努利-(隱層)伯努利RBM數據轉換，其能量函數定義為：

(2)

式中:θ為給定模型參數，ωij表示顯層節點vi和隱層節點hj之間的關聯權值，bi為顯層節點偏移量，αj為隱層節點偏移量，I為顯層結構的結點數，J表示隱層結構的結點數.

RBM顯層和隱層節點對應的條件概率定義為：

(3)

(4)

Δωij=Edata(vihj)-Emodel(vihj),

(5)

式中:Edata(vihj)為訓練數據集的期望，Emodel(vihj)為模型中定義的期望.

1.2SVR模型

SVR算法通過對支持向量的核函數變換提取有效信息得出決策結果.圖1為SVR的模型示意圖.

設{(xi,yi),i=1,2,…,n}為預測參考數據樣本集.樣本集中共有n個樣本數據.其中，x為輸入向量，且xi∈Rd；yi為決策結果，yi∈R.SVR的函數表達式為：

f(x)=ω·φ(x)+b,

(6)

式中:ω表示不同因素所取的權值，φ(x)表示映射函數.考慮到映射數據有可能依然存在高維空間線性不可分性，而該部分數據的高維模糊可分對實際預測影響較小，引入松弛變量來控制模糊分類的尺度.SVR的優化可表示為：

(7)

式中:ξ、ξ*均為松弛變量.該函數的優化問題，可以通過Lagrange函數進行求解：

(8)

由式(8)求解式(6)，則SVR預測模型為：

(9)

式中：K(xi,x)為SVR核函數，可根據實際需求選取精度合適的核函數.

1.3深度信任SVR模型搭建

本文搭建的深度信任SVR模型不同于傳統的SVR淺層模型.該模型由1層帶高斯分布顯層節點的RBM、多層隱層RBM和1層SVR機構成的深度學習模型(模型示意圖如圖2所示).其中，數據輸入層為帶高斯節點的RBM，該輸入模型將影響耕地面積因素的相關類高斯分布信息轉化為深度信任網絡易于識別和處理的伯努利分布數據.數據經過轉化后，經過多層隱層RBM完成數據轉換和關鍵信息提取，最后將經過多層神經網絡優化后的關鍵數據輸入SVR模型，擬合歷史數據完成為來年耕地面積信息預測的目的.

圖2　深度信任SVR模型示意圖Fig.2　Schematic diagram of deep belief support vector regression

2基于深度信任SVR的耕地面積預測

利用本文提出的深度信任SVR模型構建耕地面積預測系統.充分考慮影響土地變化的關鍵因素及數據的可獲取性選取訓練樣本，使用訓練樣本集訓練深度信任網絡，選取模型精確運行所需的關鍵參數，根據關鍵參數及相關測試集數據運行預測系統得出相關預測數據.

2.1影響耕地面積的因素選取

耕地面積的變化受城鄉人口、經濟發展、產業結構、農業生產技術以及相關政策等諸多因素的影響.本文結合實際，考慮相關因素的重要性、數據的可得性，利用文獻[1]提出的關聯分析法選取綜合影響因子最高的若干因素作為預測耕地面積變化的影響因素.這些影響因素有：城鄉總人口數、人均GDP、產業結構比、糧食總生產量、農業生產機械化程度、土地管理政策等.考慮某些數據直接量化較為困難，本文對農業生產機械化程度和土地管理政策等不易量化的數據進行歸一化處理，即通過數據影響因素與耕地變化的關聯度與最大耕地面積影響狀態的比值作為該數據的量化值.

2.2深度信任SVR的耕地面積預測實現步驟

深度信任SVR的耕地面積預測系統的具體實現步驟如下.

步驟1：初始化.

1) 獲取目標城市過去連續若干年的耕地面積數據和相關影響因素數據，對影響因素數據進行歸一化處理作為輸入數據集，輸出數據集為與之對應的耕地面積.

2) 初始化深度信任網絡中RBM顯、隱層單元個數，以及SVR機的相關參數.

3) 利用影響因子關聯度初始化樣本權值.

步驟2：訓練預測模型.

1) 選擇深度信任網絡所含隱層結構的層數.

2) 利用式(1)、(2)輸入影響因素歸一化數據，將輸入數據分布形式進行訓練及轉化.

3) 利用式(3)、(4)對訓練數據信息進一步在隱層結構逐層提取并等效轉換.

4) 利用式(5)更新權值.

5) 驗證預測精度，根據測試集數據判斷預測精度是否達到所需要求.

6) 根據驗證結果，調整深度信任網絡層數及SVR機核函數參數等，直至輸出結果精度達到要求.

7) 輸出最終預測結果.

3實驗結果與分析

為了檢測基于深度信任SVR的耕地面積預測算法的預測性能進行實驗.搭建耕地面積預測系統并選取影響耕地面積的相關指標數據作為訓練及測試樣本集進行訓練及測試，確定預測系統的結構.在同一平臺下，將深度信任SVR算法和其他經典的耕地面積預測算法相比較，驗證算法的可行性.

3.1訓練及測試樣本集的選取

根據統計年鑒數據選取福建省某地級市2001—2014年間的城鄉總人口數、人均GDP、產業結構比(二產業/三產業的比值)、糧食總生產量等統計數據，并參考相關農業生產機械化程度和土地管理政策并對其歸一化量化處理(即取這兩種數據影響因素與耕地變化的關聯度與最大耕地面積影響狀態的比值作為該數據的量化值)，將其作為本文提出的深度信任SVR模型的訓練及測試樣本.其中2001—2007年的數據用來作為預測模型的訓練樣本，2008—2014年的數據用來作為預測模型的測試樣本.

3.2耕地面積預測系統搭建

本文搭建的耕地面積預測系統模型訓練生成部分采用離線訓練的方式，通過事先對模型及訓練數據進行訓練擬合生成相關模型參數.預測的過程系統在線完成，即利用離線訓練成熟的模型進行在線預測，大大提高系統的實時性和穩定性.本實驗搭建的耕地面積預測系統框架示意圖如圖3所示.

圖3　耕地面積預測系統框架示意圖Fig.3　Schematic diagram of cultivated land area prediction system

3.3深度信任SVR的結構層數的選取

深度學習預測算法的計算精度會受到算法結構的影響，其中深度學習的層數選取對預測精度影響較大，本文通過實驗對比選擇較為合適的預測算法結構.考慮到深度學習算法顯、隱層層數過少會影響數據的轉化，過多又會增加運算量及產生過擬合現象[7—9].故本文在3～6層之間選擇預測精度最高的深度信任SVR預測結構，各層神經節點初始數分別設為45、60、80、120、90、70.訓練數據參考城市統計年鑒及其他相關資料，整理部分相關原始數據見表1.

表1　原始數據

不同層數結構的深度信任SVR耕地面積預測結果與實際真實數據的比較如圖4所示.可以看出，5層結構的深度信任SVR預測模型的預測結果精度最高，可以選擇搭建5層結構的深度信任SVR預測模型作為實驗對比模型.

3.4與其他耕地面積預測算法精度比較

將提出的深度信任SVR的耕地面積預測方法與文獻[10—11]提出的核函數SVR耕地面積預測模型、灰色-馬爾科夫耕地面積模型相比較，驗證深度信任SVR的耕地面積預測方法的有效性.

實驗中設定深度信任SVR的層數為5層，SVR的核函數選擇徑向基核函數.本文提出的深度信任SVR的耕地面積預測方法與其他較為經典的耕地面積預測算法的預測結果比較如圖5所示.由預測結果和真實數值的比較可以看出，本文提出的耕地面積預測算法所得出的結果更加接近真實值，預測結果要優于其他兩種經典預測算法.

圖4　不同層數的深度信任SVR的耕地面積預測結果與實際真實數據比較Fig.4　Comparison chart of predicted and actual values from different layers deep belief SVR

圖5　本文算法與經典面積預測算法預測結果比較Fig.5　Comparison chart of proposed algorithm and classic area prediction algorithm

4結論

為了實現小樣本數據條件下的精確預測，本文提出一種基于深度信任SVR的耕地面積預測方法.通過構建多層具有顯、隱層結構的深度信任神經網絡模型提取學習數據的關鍵信息并輸入SVR模型實現耕地面積預測.實驗結果表明，本文提出的耕地面積預測方法在相同的數據和平臺下，其預測精度優于其他預測算法.

參考文獻：

[1]王霞,王占岐,金貴,等. 基于核函數支持向量回歸機的耕地面積預測[J]. 農業工程學報, 2014, 30(4):204—211.

[2]趙艷玲,何廳廳,劉亞萍,等. 基于FSA-LSSVR模型的安徽省耕地變化預測[J]. 水土保持研究, 2014, 21(3):136—140.

[3]QUAN B, ROMKENS M J M, BINGNER R L. Changes in spatiotemporal land use patterns in selected hydrogeomorphic areas of China and the USA[J]. Int J Geosci，2013，4(3): 537—548.

[4]靳江偉,董春芳,馮國紅. 基于灰色關聯支持向量機的混凝土抗壓強度預測[J]. 鄭州大學學報(理學版), 2015, 47 (3):59—63.

[5]楊梅,李廣. 小麥產量預測模型的仿真研究[J]. 計算機仿真, 2013, 30(10):382—385.

[6]張艷萍,史巖巖,王珊珊. 支持向量機初始化常模算法在MIMO系統中的應用[J]. 河南科技大學學報(自然科學版), 2014,35(2):33—37.

[7]SARIKAYA R, HINTON G E, DEORAS A. Application of deep belief networks for natural language understanding[J]. IEEE T Audi Speech Lang Proc, 2014, 22(4): 778 —784.

[8]HJELM R D，CALHOUN V D. Restricted Boltzmann machines for neuroimaging: an application in identifying intrinsic networks[J]. Neuroimage, 2014, 96(7): 245—260.

[9]王杰,賈育衡. 一種基于AdaBoost的極限學習機分類方法[J]. 鄭州大學學報(理學版), 2014, 46(2):55—58.

[10]SUNG E. Cultivated land prediction using different kernel based support vector regression[J]. J Converg Inform Technol, 2015，10(3)：85—95.

[11]雷師,全斌,歐陽鴻,等. 基于Markov模型的長沙市和泉州市土地利用變化預測及對比研究[J]. 水土保持研究, 2013, 20(6):224—229.

(責任編輯：王浩毅)

Cultivated Land Acreage Prediction Based on Deep Belief Support Vector Regression Algorithm

WANG Hong1, LIU Weiming2

(1.SchoolofTransportation,FujianUniversityofTechnology,Fuzhou350108,China;2.SchoolofCivilEngineeringandTransportation,SouthChinaUniversityofTechnology,

Guangzhou510640,China)

Abstract:The problems of machine learning in shallow for prediction were concerned because the learning and training samples was too large and complex function fitting ability was weak. A cultivated land acreage prediction based on deep belief support vector regression algorithm was proposed. Firstly, an deep belief support vector regression model was constructed by a RBM with Gaussian distribution function layer nodes, amiddle layer RBM and a support vector regression. Secondly, suitable and accessible training data was used to get the parameters of the prediction model. Finally, comparsion between the deep belief support vector regression land acreage prediction and other typical farmland prediction algorithm were conducted. Results showed that the propose method was workable and effective, which perform better than the typical farmland prediction algorithm with the same data and condition.

Key words:deep belief network; support vector regression; cultivated land forecasting; deep learning

收稿日期:2015-10-25

基金項目:國家自然科學基金資助項目(51278072)；福建省自然科學基金資助項目(2015J05118)；福建省中青年教師教育科研項目(JA15355).

作者簡介:王洪(1978—),男, 黑龍江綏化人,碩士,主要從事工程測量、智慧城市及土地資源管理研究，E-mail: wang_qun1983@163.com.

中圖分類號：TP391.41

文獻標志碼：A

文章編號：1671-6841(2016)01-0121-06

DOI:10.3969/j.issn.1671-6841.201510030

引用本文：王洪，劉偉銘.深度信任支持向量回歸的耕地面積預測方法[J]．鄭州大學學報(理學版)，2016，48(1)：121—126．