基于平行學(xué)習(xí)的農(nóng)業(yè)大數(shù)據(jù)異常預(yù)測系統(tǒng)的設(shè)計

吳文平 潘正高 盧 彪

（宿州學(xué)院信息工程學(xué)院 安徽宿州 234000）

農(nóng)業(yè)發(fā)展方向由粗放式向精細(xì)式發(fā)展可以有效提高農(nóng)作物的產(chǎn)量輸出，當(dāng)然其中不乏信息化的發(fā)展，其中積累了大量有價值的數(shù)據(jù)可以幫我們對農(nóng)作物的生產(chǎn)情況進(jìn)行分析和預(yù)測，農(nóng)作物的output將會大幅度提高[1]。海量數(shù)據(jù)中由于農(nóng)業(yè)生產(chǎn)成本和地域環(huán)境的影響，其中也不乏大量劣質(zhì)數(shù)據(jù)，如何提高數(shù)據(jù)的可用性和挖掘劣質(zhì)數(shù)據(jù)的潛在價值是亟需解決的問題。在大數(shù)據(jù)的處理中，機器學(xué)習(xí)有著一席之地，而平行學(xué)習(xí)又集合了多種機器學(xué)習(xí)框架的優(yōu)勢，利用軟件定義的人工系統(tǒng)從已獲得的數(shù)據(jù)中提取有效數(shù)據(jù)來進(jìn)行預(yù)測學(xué)習(xí)和指示學(xué)習(xí)。

一、平行學(xué)習(xí)概述

近幾年許多專家學(xué)者試圖將王飛躍2004年提出的平行系統(tǒng)的思想擴(kuò)展到機器學(xué)習(xí)領(lǐng)域去解決一些傳統(tǒng)機器學(xué)習(xí)所棘手的問題。李力，林懿倫等人在2017年提出平行學(xué)習(xí)理論框架[2]。放眼現(xiàn)在已有的一些機器學(xué)習(xí)理論框架：Supervised learning，Onlinemachinelearning，Reinforcementlearning等。對于數(shù)據(jù)的獲取和行為的選擇之間的聯(lián)系可用式（1）的數(shù)學(xué)模型來描述：

對于常用的Supervised learning，上述模型可被簡化為：如果所有數(shù)據(jù)是現(xiàn)有的而且歸類正確，可以建立一個分類函數(shù)映射來對分類誤差最小化[3]，則上述模型可寫為式（2）：

對應(yīng)于 Supervised learning，Online machine learning對于數(shù)據(jù)的獲取是循序漸進(jìn)的，每次根據(jù)已有的數(shù)據(jù)產(chǎn)生一個預(yù)測行為f(xi)，上述模型可被寫為式（3）：

Reinforcement learning與Online machine learning相比，對于數(shù)據(jù)的獲取仍然是逐步的[4]，但是Online machine learnin是被動地獲取，而Reinforcement learning則是主動地獲取。目標(biāo)函數(shù)為式（4）：

但是上述幾種機器學(xué)習(xí)框架對數(shù)據(jù)模型進(jìn)行更新的前提是和周圍環(huán)境進(jìn)行大量的交互反饋，如果實際過程中系統(tǒng)比較復(fù)雜，數(shù)據(jù)規(guī)模比較大而且狀態(tài)維數(shù)較高[5]，這幾種機器學(xué)習(xí)框架處理起來就會比較困難。而平行學(xué)習(xí)可分為兩個階段：數(shù)據(jù)處理以及互動學(xué)習(xí)。理論框架圖如下圖1所示。

圖1 平行學(xué)習(xí)理論框架圖

其中，虛線以上是由軟件定義的人工系統(tǒng)來進(jìn)行大數(shù)據(jù)預(yù)處理，虛線以下是根據(jù)計算實驗的預(yù)測學(xué)習(xí)以及集成學(xué)習(xí)，細(xì)箭頭表示新數(shù)據(jù)的生成和學(xué)習(xí)，粗箭頭表示行為和數(shù)據(jù)之間的互動和反饋[6]。

二、系統(tǒng)設(shè)計

（一）需求分析。眾所周知，農(nóng)作物的種植區(qū)域較為廣泛，而且各個地區(qū)的政策和科技水平不一致，導(dǎo)致采集的數(shù)據(jù)地域差異性很大。鑒于此，農(nóng)業(yè)大數(shù)據(jù)異常預(yù)測系統(tǒng)的需求如下：

首先，應(yīng)該建立統(tǒng)一的大數(shù)據(jù)存儲平臺，從而對數(shù)據(jù)進(jìn)行實時采集并且存儲[7]。

其次，基于平行學(xué)習(xí)框架原理建立高效的數(shù)據(jù)處理分析平臺，建立實時性和周期性兩個維度來對農(nóng)作物的生長情況進(jìn)行分析和預(yù)測，找出其中的劣質(zhì)數(shù)據(jù)，并對劣質(zhì)數(shù)據(jù)進(jìn)行分類，通過平行學(xué)習(xí)相關(guān)算法對劣質(zhì)數(shù)據(jù)建立模型，通過預(yù)測模型來對已知數(shù)據(jù)進(jìn)行預(yù)測，從而產(chǎn)生預(yù)警的效果。

最后，應(yīng)該保證數(shù)據(jù)的安全性，保證數(shù)據(jù)不被惡意攻擊者所破壞而對農(nóng)業(yè)生產(chǎn)和異常預(yù)測造成影響。

（二）系統(tǒng)架構(gòu)設(shè)計。根據(jù)上述需求分析，整體框架如下圖2所示。首先系統(tǒng)通過服務(wù)器端接收到數(shù)據(jù)以后，其中一部分?jǐn)?shù)據(jù)是實時數(shù)據(jù)，將會通過平臺進(jìn)行實時展示，而批量數(shù)據(jù)會通過相應(yīng)處理，當(dāng)平臺接口接收到傳送給它的數(shù)據(jù)以后，會把數(shù)據(jù)放到內(nèi)存進(jìn)行數(shù)據(jù)分析和處理，得到的結(jié)果會存儲到平臺中去。

在平臺中的批量數(shù)據(jù)會對其進(jìn)行平行學(xué)習(xí)算法處理，從而推測出異常預(yù)測模型，當(dāng)有新的實時數(shù)據(jù)到來時，會利用先驗的異常預(yù)測模型對其進(jìn)行判定，如果發(fā)生數(shù)據(jù)異常，會將異常數(shù)據(jù)記錄入異常數(shù)據(jù)庫，并發(fā)出警告。另外，預(yù)測模型會周期性地根據(jù)異常數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行更新修正，從而提高預(yù)測的精度，提高數(shù)據(jù)的可用性[8]。

圖2 農(nóng)業(yè)大數(shù)據(jù)異常預(yù)測系統(tǒng)的框架

三、結(jié)語

民以食為天，農(nóng)業(yè)是人類社會發(fā)展的基礎(chǔ)，人類文明發(fā)展至今，離不開農(nóng)業(yè)的發(fā)展，從粗放式耕種到如今日漸普及的精細(xì)耕作，大數(shù)據(jù)以及機器學(xué)習(xí)在其中有著重要的地位。本文以機器學(xué)習(xí)的一種新型框架——平行學(xué)習(xí)為基礎(chǔ)，將其與農(nóng)業(yè)大數(shù)據(jù)平臺相結(jié)合，對海量的農(nóng)業(yè)數(shù)據(jù)中的異常數(shù)據(jù)進(jìn)行預(yù)測，建立預(yù)測模型，并利用批量的實時數(shù)據(jù)對預(yù)測模型進(jìn)行更新修正，從而提高數(shù)據(jù)的可用性，相信在國家農(nóng)業(yè)相關(guān)部門的推動下以及相關(guān)關(guān)鍵技術(shù)的更新，大數(shù)據(jù)和機器學(xué)習(xí)在農(nóng)業(yè)生產(chǎn)領(lǐng)域有著越來越重要的地位。

參考文獻(xiàn)：

[1]鄭南寧.人工智能面臨的挑戰(zhàn)[J].自動化學(xué)報,2016,42(5):641-642.

[2]李力，林懿倫等.平行學(xué)習(xí)-機器學(xué)習(xí)的一個新型理論框架[J].自動化學(xué)報,2017,43(1).

[3]RakhlinA,SridharanK.Statisticallearningandsequential prediction[EB/OL],available:http://wwwstat.wharton.upenn.edu=rakhlin/courses/stat928/stat928notes.pdf,January1,2017

[4]王坤峰,茍超,王飛躍.平行視覺:基于ACP的智能視覺計算方法[J].自動化學(xué)報,2016,42(10):1490-1500.

[5]田淵棟.阿法狗圍棋系統(tǒng)的簡要分析[J].自動化學(xué)報,2016,42(5):671-675.

[6].Silver D,Huang A,Maddison C J,.Mastering the game of Gowithdeepneuralnetworksandtreesearch[J].Nature,2016,529(7587):484-489.

[7]王飛躍.軟件定義的系統(tǒng)與知識自動化:從牛頓到默頓的平行升華[J].自動化學(xué)報,2015,41(1):1-8.

[8]駱秀秀.基于大數(shù)據(jù)的農(nóng)作物生長環(huán)境數(shù)據(jù)存儲與生長狀況預(yù)警平臺的研究[D].山西農(nóng)業(yè)大學(xué)，2016.