基于大數(shù)據(jù)技術(shù)的農(nóng)業(yè)物聯(lián)網(wǎng)應(yīng)用系統(tǒng)

楊亞飛+湯軍+宋樹(shù)華+李功權(quán)

摘要：目前，農(nóng)業(yè)生產(chǎn)已經(jīng)越來(lái)越趨于精細(xì)化和智能化，該文介紹了基于可橫向擴(kuò)展的列式數(shù)據(jù)庫(kù)HBase以及并行計(jì)算框架MapReduce等大數(shù)據(jù)技術(shù)的農(nóng)業(yè)物聯(lián)網(wǎng)的應(yīng)用系統(tǒng)。農(nóng)業(yè)物聯(lián)網(wǎng)涉及對(duì)農(nóng)業(yè)生產(chǎn)環(huán)境數(shù)據(jù)的實(shí)時(shí)采集、農(nóng)作物的實(shí)時(shí)監(jiān)控、農(nóng)作物的生長(zhǎng)狀況判斷以及改善農(nóng)物的生長(zhǎng)環(huán)境等方面。一個(gè)完整的物聯(lián)網(wǎng)系統(tǒng)應(yīng)該涉及農(nóng)作物生長(zhǎng)的各個(gè)方面，系統(tǒng)基于采集的數(shù)據(jù)擬合環(huán)境變化曲線（ECC），然后，再結(jié)合作物的生長(zhǎng)狀況學(xué)習(xí)出農(nóng)作物的最佳生長(zhǎng)環(huán)境（CBGE）曲線，最后，再依據(jù)農(nóng)作物的生長(zhǎng)周期構(gòu)造農(nóng)作物生長(zhǎng)模型（CGM）。在此基礎(chǔ)上就可以實(shí)現(xiàn)農(nóng)作物的精細(xì)化耕作，實(shí)現(xiàn)遠(yuǎn)程控制環(huán)境變化進(jìn)而達(dá)到智能耕作的目的。

關(guān)鍵詞：物聯(lián)網(wǎng)；數(shù)據(jù)采集；并行計(jì)算；列式存儲(chǔ)；大數(shù)據(jù)技術(shù)

中圖分類(lèi)號(hào)：TP393 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2017）34-0232-03

Abstract： At present， agricultural production has become more and more sophisticated and intelligent.This article introduce the Based on big data technology that including column database HBase and MapReduce computing framework etc to realize the agriculture IOT application system. Agricultural IOT involves real-time collection of agricultural production environment data， real-time monitoring of crops， growth status judgment of crops and improvement of the growth environment of agricultural products.A complete IOT system should involve all aspects of crop growth，the system is Based on the collected data to fit the environmental change curve.Combining the growth status of crops， we can learn the best growth environment of crops（CBGE），finally， the crop growth model（CGM） is constructed according to the growth cycle of the crop.On this basis， fine farming of crops can be realized， remote control of environmental changes can be realized， and then the purpose of intelligent tillage can be achieved.

Key words： Internet of Things； data collection； parallel computing； column Store； big data technology

物聯(lián)網(wǎng)可以理解成物與物相連的互聯(lián)網(wǎng)，它利用互聯(lián)網(wǎng)技術(shù)把物和人聯(lián)系在一起，使人與物、物與物相關(guān)聯(lián)在一起[1-2][4-5]。目前，物聯(lián)網(wǎng)已經(jīng)滲透到了各行各業(yè)，智能家具、智慧醫(yī)療等都映射出了物聯(lián)網(wǎng)的影子。農(nóng)業(yè)物聯(lián)網(wǎng)則是指把農(nóng)業(yè)生態(tài)系統(tǒng)中的動(dòng)植物個(gè)體、環(huán)境因素、生產(chǎn)資料等聯(lián)結(jié)在一起，實(shí)現(xiàn)對(duì)農(nóng)業(yè)對(duì)象和過(guò)程智能化識(shí)別、定位、跟蹤、監(jiān)控和管理的一種網(wǎng)絡(luò)[1][5]。國(guó)外的農(nóng)業(yè)物聯(lián)網(wǎng)主要應(yīng)用于農(nóng)業(yè)資源、環(huán)境、生產(chǎn)過(guò)程、農(nóng)產(chǎn)品安全等領(lǐng)域的管理[3]。而我國(guó)農(nóng)業(yè)物聯(lián)網(wǎng)則主要應(yīng)用于大田種植、設(shè)施園藝、畜禽養(yǎng)殖、水產(chǎn)養(yǎng)殖、農(nóng)產(chǎn)品物流等領(lǐng)域[3][5]。目前，農(nóng)業(yè)物聯(lián)網(wǎng)也存在著不同系統(tǒng)的應(yīng)用，但是這些系統(tǒng)往往存在數(shù)據(jù)存儲(chǔ)擴(kuò)展困難等問(wèn)題[2][5][6-7]，為了應(yīng)對(duì)數(shù)據(jù)不斷增長(zhǎng)的物聯(lián)網(wǎng)應(yīng)用，有必要拓展數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)。另外，相對(duì)于傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)而言，列式數(shù)據(jù)庫(kù)更適合做分析。

系統(tǒng)基于可橫向擴(kuò)展的列式數(shù)據(jù)庫(kù)和大數(shù)據(jù)計(jì)算框架來(lái)進(jìn)行設(shè)計(jì)實(shí)現(xiàn)的?；诖髷?shù)據(jù)技術(shù)實(shí)現(xiàn)物聯(lián)網(wǎng)的功能，不僅可以為我們提供幾乎沒(méi)有限制的數(shù)據(jù)存儲(chǔ)功能優(yōu)勢(shì)，還可以對(duì)海量的農(nóng)作物生長(zhǎng)環(huán)境數(shù)據(jù)進(jìn)行快速的分析，無(wú)論是分析它的生長(zhǎng)模型還是對(duì)農(nóng)作物做其他的研究都離不開(kāi)大量的數(shù)據(jù)基礎(chǔ)，而大量數(shù)據(jù)的分析必然造成時(shí)間上的大量消耗，并行計(jì)算為我們提供了解決方案，它的計(jì)算效率勝過(guò)傳統(tǒng)方案的百倍千倍，所以利用大數(shù)據(jù)技術(shù)實(shí)現(xiàn)農(nóng)業(yè)物聯(lián)網(wǎng)有著重要的意義。

1 建立列式數(shù)據(jù)庫(kù)

Hadoop是目前使用最廣泛的大數(shù)據(jù)技術(shù)，它允許開(kāi)發(fā)人員使用簡(jiǎn)單的編程模型通過(guò)計(jì)算機(jī)集群進(jìn)行大數(shù)據(jù)的分布式處理的計(jì)算框架。它可以將服務(wù)器從單臺(tái)擴(kuò)展到上千臺(tái)，每臺(tái)服務(wù)器都可以提供本地的計(jì)算和存儲(chǔ)資源[8]。

相對(duì)于傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)列式數(shù)據(jù)庫(kù)的讀取效率明顯要更高，它不再需要像關(guān)系數(shù)據(jù)庫(kù)一樣為讀取某個(gè)字段的值而掃描整個(gè)表結(jié)構(gòu)的數(shù)據(jù)，如果我們需要讀取某列的數(shù)據(jù)只需要讀取此列的數(shù)據(jù)就可以了。另外，在擴(kuò)展方面它也可以很簡(jiǎn)單只要在Hadoop集群中添加計(jì)算機(jī)節(jié)點(diǎn)然后再添加相應(yīng)的服務(wù)就可以有效的擴(kuò)展它的存儲(chǔ)容量，這使得它獲得幾乎無(wú)限容量的存儲(chǔ)能力[8-10]。

系統(tǒng)采集的數(shù)據(jù)主要來(lái)自傳感器，我們會(huì)將傳感器上傳送的數(shù)據(jù)轉(zhuǎn)換成可識(shí)別的信息存儲(chǔ)到HBase數(shù)據(jù)庫(kù)中。endprint

1.1 數(shù)據(jù)庫(kù)詳細(xì)內(nèi)容

HBase是列式數(shù)據(jù)庫(kù)，所以與傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)的設(shè)計(jì)模式不同，我們將按照列式數(shù)據(jù)庫(kù)的設(shè)計(jì)方法來(lái)進(jìn)行數(shù)據(jù)庫(kù)設(shè)計(jì)。目前，列式數(shù)據(jù)庫(kù)的設(shè)計(jì)還沒(méi)有固定的模式，系統(tǒng)將根據(jù)實(shí)際需求對(duì)數(shù)據(jù)庫(kù)的列族、列、行健進(jìn)行一定的設(shè)計(jì)。

（1） 列族，實(shí)際種植環(huán)境信息（如溫濕度）并不能以一個(gè)傳感器的數(shù)據(jù)來(lái)決定，根據(jù)采集區(qū)域范圍大小需要多個(gè)傳感器的數(shù)據(jù)共同來(lái)決定，所以列族名將由地區(qū)、地塊和農(nóng)作物本身共同來(lái)決定的。編碼如下：

地區(qū)采用實(shí)際的地名作為編碼的一部分，實(shí)際上都會(huì)采用區(qū)域編號(hào)來(lái)代替，例如，對(duì)于大棚實(shí)驗(yàn)田就會(huì)分為A區(qū)、B區(qū)等?？紤]到傳感器覆蓋區(qū)域的數(shù)量，我們將一定數(shù)量的傳感器所覆蓋的區(qū)域當(dāng)做一個(gè)地塊，對(duì)于大棚來(lái)說(shuō)，一個(gè)大棚就可以當(dāng)成一個(gè)地塊。最后是農(nóng)作物的品種標(biāo)記，用來(lái)標(biāo)識(shí)采集地塊類(lèi)的農(nóng)作物，一般將同一種農(nóng)作物放在同一個(gè)地塊中，這樣采集的數(shù)據(jù)參考意義更大。

（2） 列，列將由傳感器的標(biāo)識(shí)來(lái)決定?？紤]到同一個(gè)地塊將采集多種數(shù)據(jù)，而每一種數(shù)據(jù)將在地塊的不同位置采集多次。我們將同一個(gè)地塊中的所有同類(lèi)型傳感器的數(shù)據(jù)都放在同一個(gè)列族當(dāng)中，這有利于后期的數(shù)據(jù)挖掘和統(tǒng)計(jì)分析。例如，一個(gè)大棚（將一個(gè)大棚當(dāng)做一個(gè)地塊）中包含上下各6個(gè)溫度傳感器，則一個(gè)地塊中同一時(shí)間可以獲得12個(gè)溫度類(lèi)型的數(shù)據(jù)，這些數(shù)據(jù)都會(huì)被放到一個(gè)列族中存儲(chǔ)起來(lái)。

（3） 行健，環(huán)境數(shù)據(jù)的采集是連續(xù)的，如果不間斷的采集，即使一天的數(shù)據(jù)量也是可觀的。當(dāng)然，這是沒(méi)有必要的，所以系統(tǒng)將定時(shí)的對(duì)環(huán)境數(shù)據(jù)進(jìn)行篩選存儲(chǔ)。系統(tǒng)實(shí)時(shí)的接受傳感器傳輸?shù)沫h(huán)境數(shù)據(jù)信息并將這些數(shù)據(jù)緩存到系統(tǒng)的內(nèi)存中，當(dāng)數(shù)據(jù)達(dá)到一定的數(shù)據(jù)量時(shí)（如64M）系統(tǒng)將激活數(shù)據(jù)分析方法對(duì)內(nèi)存中的數(shù)據(jù)進(jìn)行篩選，系統(tǒng)將篩選出發(fā)生變化的時(shí)刻數(shù)據(jù)，當(dāng)然，采集的數(shù)據(jù)可能隨時(shí)都在發(fā)生微小變化，系統(tǒng)將設(shè)計(jì)數(shù)據(jù)變化的差值（如變化程度不大于1攝氏度就不算發(fā)生變化）來(lái)控制數(shù)據(jù)的采集數(shù)量。

另外行健影響這HBase數(shù)據(jù)庫(kù)的執(zhí)行效率，一般都將行健的命名盡量的取短一點(diǎn)的值，本次將以精確到秒的時(shí)間來(lái)作為行健。

1.2 數(shù)據(jù)采集入庫(kù)

傳感器采集的數(shù)據(jù)是主要影響農(nóng)作物生長(zhǎng)的環(huán)境信息數(shù)據(jù)，諸如土壤溫濕度、空氣溫濕度、光照強(qiáng)度等農(nóng)作物生長(zhǎng)環(huán)境參數(shù)。傳統(tǒng)的種植方式，無(wú)法對(duì)這些生長(zhǎng)環(huán)境參數(shù)進(jìn)行實(shí)時(shí)監(jiān)測(cè)與定量、定性分析。物聯(lián)網(wǎng)改變了農(nóng)業(yè)生產(chǎn)的模式，我們將各類(lèi)環(huán)境數(shù)據(jù)采集并存儲(chǔ)到HBase中（如圖1），這些數(shù)據(jù)將是構(gòu)建農(nóng)作物生長(zhǎng)模型或分析農(nóng)作物的重要數(shù)據(jù)支撐。

2 農(nóng)業(yè)物聯(lián)網(wǎng)系統(tǒng)功能介紹

農(nóng)業(yè)的發(fā)展越來(lái)越偏向機(jī)械化和智能化，為了構(gòu)建智能化的農(nóng)業(yè)生產(chǎn)模式，農(nóng)業(yè)物聯(lián)網(wǎng)系統(tǒng)還需要提供必要的智能化生產(chǎn)功能應(yīng)用。根據(jù)現(xiàn)有的需求和前人的研究系統(tǒng)暫時(shí)確定了五項(xiàng)功能模塊[11-13]。這五項(xiàng)功能將農(nóng)作物生長(zhǎng)環(huán)境、生長(zhǎng)狀況、生長(zhǎng)模型等直觀的提供給使用者，使用者可以根據(jù)這些信息去培養(yǎng)、管理自己的農(nóng)產(chǎn)品。

農(nóng)業(yè)物聯(lián)網(wǎng)應(yīng)用系統(tǒng)主要由數(shù)據(jù)采集、數(shù)據(jù)可視化、實(shí)時(shí)監(jiān)控和統(tǒng)計(jì)分析等模塊組成。數(shù)據(jù)采集功能主要是將傳感器信號(hào)轉(zhuǎn)換成可識(shí)別的文字或數(shù)字信息；數(shù)據(jù)可視化功能主要是將數(shù)據(jù)以生動(dòng)的形式展示出來(lái)供使用者查看瀏覽；實(shí)時(shí)監(jiān)控則是實(shí)時(shí)的傳遞地塊農(nóng)作物的視頻信息，可以實(shí)時(shí)的查看農(nóng)作物的生長(zhǎng)狀況。

2.1 環(huán)境信息實(shí)時(shí)監(jiān)測(cè)

將實(shí)時(shí)采集的環(huán)境信息較為美觀的展示出來(lái)，可以為使用者帶來(lái)較好的感官體驗(yàn)。最重要的也是實(shí)時(shí)的監(jiān)測(cè)農(nóng)作物生長(zhǎng)環(huán)境的變化，在必要的時(shí)候可以根據(jù)這些數(shù)據(jù)信息的反饋?zhàn)鋈斯さ母深A(yù)，比如缺水就可以通過(guò)系統(tǒng)控制設(shè)備噴水實(shí)現(xiàn)為農(nóng)作物添加水分（如圖2所示）。

2.2 地塊標(biāo)注和實(shí)時(shí)監(jiān)控

將不同的地塊在地圖上以矢量圖來(lái)標(biāo)注出來(lái)，這樣可以直觀地了解我們地塊的區(qū)域范圍。在地塊周?chē)惭b監(jiān)控?cái)z像頭，攝像頭實(shí)時(shí)捕獲地塊內(nèi)的畫(huà)面。使用者可以遠(yuǎn)程訪問(wèn)來(lái)觀看地塊的實(shí)時(shí)畫(huà)面。既可以幫助生產(chǎn)管理者遠(yuǎn)程了解作物的生長(zhǎng)狀況，也可以幫助農(nóng)業(yè)專(zhuān)家通過(guò)遠(yuǎn)程監(jiān)控畫(huà)面了解作物的健康狀況，解決種植中的病害難題（如圖3所示）。

2.3 環(huán)境變化趨勢(shì)分析

將不同的環(huán)境信息數(shù)據(jù)根據(jù)時(shí)間的變化擬合出它的變化趨勢(shì)曲線（ECC），這樣可以方便我能觀察它的變化趨勢(shì)以及合理的預(yù)測(cè)將來(lái)短時(shí)間內(nèi)的變化。根據(jù)作物的生長(zhǎng)情況擬合出最適合農(nóng)作物的生長(zhǎng)環(huán)境（CBGE）曲線（如下圖4所示）。擬合環(huán)境變化趨勢(shì)圖之前需要對(duì)數(shù)據(jù)做一些必要的處理，因?yàn)镠Base自身并沒(méi)有自帶的挖掘函數(shù)，此時(shí)MapReduce計(jì)算框架就起到了作用，我們利用MapReduce計(jì)算框架去處理分析HBase中的數(shù)據(jù)，再可視化到實(shí)際的圖表中，此處我們用到了數(shù)據(jù)驅(qū)動(dòng)的echarts作為大數(shù)據(jù)量的可視化圖表。

2.4 構(gòu)造生長(zhǎng)模型

根據(jù)農(nóng)作物的生長(zhǎng)環(huán)境和自身的生長(zhǎng)狀況構(gòu)造農(nóng)作物生長(zhǎng)模型（CGM）[14-17]，此模型可以根據(jù)農(nóng)作物的生長(zhǎng)環(huán)境大致判斷農(nóng)作物的生長(zhǎng)周期，可以為農(nóng)作物的播種、施肥、收獲做系統(tǒng)性的建議（如下圖5所示）。

2.5 聯(lián)網(wǎng)設(shè)備控制

系統(tǒng)具有每天多個(gè)時(shí)間段的獨(dú)立目標(biāo)溫度、目標(biāo)濕度、目標(biāo)風(fēng)速、目標(biāo)風(fēng)向設(shè)定，可以人為控制各個(gè)設(shè)備的開(kāi)啟與關(guān)閉，對(duì)于大棚內(nèi)的精細(xì)化種植作業(yè)來(lái)說(shuō)可以做到為環(huán)境參數(shù)作實(shí)時(shí)的改變和控制，對(duì)于野外來(lái)說(shuō)則可以控制施肥灑水等設(shè)備（如下圖6所示）。

3 總結(jié)

本文闡述了基于大數(shù)據(jù)技術(shù)設(shè)計(jì)實(shí)現(xiàn)了農(nóng)業(yè)物聯(lián)網(wǎng)應(yīng)用系統(tǒng)，系統(tǒng)基于可橫向擴(kuò)展的列式數(shù)據(jù)庫(kù)以及能夠在海量數(shù)據(jù)中進(jìn)行并行計(jì)算的計(jì)算框架實(shí)現(xiàn)了采集農(nóng)業(yè)生產(chǎn)環(huán)境數(shù)據(jù)和構(gòu)造農(nóng)作物生長(zhǎng)模型以及其他功能。

系統(tǒng)根據(jù)采集的數(shù)據(jù)對(duì)農(nóng)作物的最佳生長(zhǎng)環(huán)境進(jìn)行擬合，并在此基礎(chǔ)上構(gòu)建農(nóng)作物生長(zhǎng)模型?？梢愿鶕?jù)農(nóng)作物的生長(zhǎng)環(huán)境大致判斷農(nóng)作物的生長(zhǎng)周期，可以為農(nóng)作物的播種、施肥、收獲做系統(tǒng)性的建議。系統(tǒng)結(jié)合大數(shù)據(jù)技術(shù)實(shí)現(xiàn)了對(duì)農(nóng)業(yè)生產(chǎn)模式做了極大的改變，當(dāng)然，目前廣泛推廣還是比較困難，但是，農(nóng)業(yè)生產(chǎn)的智能化必然會(huì)是發(fā)展的大趨勢(shì)。endprint

參考文獻(xiàn)：

[1] 趙璐，楊印生.農(nóng)業(yè)物聯(lián)網(wǎng)技術(shù)與農(nóng)業(yè)機(jī)械化發(fā)展[J].農(nóng)機(jī)化研究，2011，08：226-229.

[2] 蘇美文.物聯(lián)網(wǎng)產(chǎn)業(yè)發(fā)展的理論分析與對(duì)策研究[D].吉林大學(xué)，2015.

[3] 王家農(nóng).農(nóng)業(yè)物聯(lián)網(wǎng)技術(shù)應(yīng)用現(xiàn)狀和發(fā)展趨勢(shì)研究[J].農(nóng)業(yè)網(wǎng)絡(luò)信息，2015，09：18-22.

[4] 熊本海，楊振剛，楊亮，潘曉花.中國(guó)畜牧業(yè)物聯(lián)網(wǎng)技術(shù)應(yīng)用研究進(jìn)展[J].農(nóng)業(yè)工程學(xué)報(bào)，2015，S1：237-246.

[5] 葛文杰，趙春江.農(nóng)業(yè)物聯(lián)網(wǎng)研究與應(yīng)用現(xiàn)狀及發(fā)展對(duì)策研究[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2014，07：222-230+277.

[6] 寧煥生，徐群玉.全球物聯(lián)網(wǎng)發(fā)展及中國(guó)物聯(lián)網(wǎng)建設(shè)若干思考[J].電子學(xué)報(bào)，2010，38（11）：2590-2599. [2017-09-01].

[7] 許世衛(wèi). 我國(guó)農(nóng)業(yè)物聯(lián)網(wǎng)發(fā)展現(xiàn)狀及對(duì)策[J]. 中國(guó)科學(xué)院院刊，2013，28（06）：686-692.

[8] Apache.Hadoop官網(wǎng)[EB/OL].http：//hadoop.apache.org/

[9] 景晗，鄭建生，陳鯉文，許朝威. 基于MapReduce和HBase的海量網(wǎng)絡(luò)數(shù)據(jù)處理[J]. 科學(xué)技術(shù)與工程，2015，15（34）：182-191.

[10] 馮曉普. HBase存儲(chǔ)的研究與應(yīng)用[D].北京郵電大學(xué)，2014.

[11] 陳一飛.農(nóng)業(yè)復(fù)雜大系統(tǒng)的智能控制與農(nóng)業(yè)物聯(lián)網(wǎng)關(guān)系探討[J].農(nóng)業(yè)網(wǎng)絡(luò)信息，2012，（02）：8-12.

[12] 文燕.基于Hadoop農(nóng)業(yè)大數(shù)據(jù)管理平臺(tái)的設(shè)計(jì)[J]. 計(jì)算機(jī)系統(tǒng)應(yīng)用，2017，26（05）：74-79.

[13] 李瑾，郭美榮，高亮亮.農(nóng)業(yè)物聯(lián)網(wǎng)技術(shù)應(yīng)用及創(chuàng)新發(fā)展策略[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31（S2）：200-209.

[14] 陳新月，趙建濤，張靜.國(guó)外作物生長(zhǎng)模型研究[J].吉林農(nóng)業(yè)，2015，（17）：115-116.

[15] 趙青松，陳林，孫波，朱艷，姜海燕. 基于Hadoop的云環(huán)境下作物生長(zhǎng)模型算法的實(shí)現(xiàn)與測(cè)試[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2013，29（08）：179-186.

[16] 張紅衛(wèi)，陳懷亮，周官輝，葛紅梅.農(nóng)作物生長(zhǎng)動(dòng)態(tài)監(jiān)測(cè)技術(shù)綜述[A]. 中國(guó)氣象學(xué)會(huì).第27屆中國(guó)氣象學(xué)會(huì)年會(huì)現(xiàn)代農(nóng)業(yè)氣象防災(zāi)減災(zāi)與糧食安全分會(huì)場(chǎng)論文集[C].中國(guó)氣象學(xué)會(huì)：，2010：9.

[17] 王偉，黃義德，黃文江，李存軍，王嫻. 作物生長(zhǎng)模型的適用性評(píng)價(jià)及冬小麥產(chǎn)量預(yù)測(cè)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2010，26（03）：233-237.endprint