1種農業物聯網大數據平臺架構

周湘超 陳義明 朱幸輝

摘要隨著計算機和物聯網技術的發展，農業信息化的程度不斷提高，智慧農業的發展成為歷史的必然。針對當前農業物聯網功能單一和數據收集、利用不充分的現狀，分析了在當前農業物聯網，特別是發展大規模智慧農業的物聯網基礎上農業大數據收集、存儲和分析利用的潛力，提出了1種切實可行的農業物聯網大數據軟件平臺架構，解決了農業物聯網大數據收集、存儲、分析和展示的問題，對農業物聯網數據的收集、存儲和深度利用具有借鑒價值。

關鍵詞智慧農業;物聯網;大數據;農業信息化

中圖分類號S126文獻標識碼A

文章編號0517-6611（2019）02-0241-05

doi：10.3969/j.issn.0517-6611.2019.02.071

2017年，中央一號文件繼續關注三農問題，著重強調不斷以科技改革和創新，在數據的基礎上推動傳統農業向智慧農業轉變，這也意味著以農業物聯網和農業大數據為中心的智慧農業時代已經到來[1]。因此，如何深入推進農業物聯網和農業大數據的結合，挖掘農業數據新價值，推動新型農業發展已成為當前新型農業研究的熱點。但由于傳統農業的限制，目前農業物聯網和數據的分析利用還存在多方面的問題。鑒于此，筆者針對當前農業物聯網功能單一和數據收集、利用不充分的現狀，分析了在當前農業物聯網，特別是發展大規模智慧農業的物聯網基礎上農業大數據收集、存儲和分析利用的潛力，提出了1種切實可行的農業物聯網大數據軟件平臺架構，解決了農業物聯網大數據收集、存儲、分析和展示的問題，對農業物聯網數據的收集、存儲和深度利用具有借鑒價值。

1目前農業物聯網存在的問題

1.1規模小，結構單一，智能化程度低

研究表明，目前我國農業物聯網的應用規模普遍較小，如小型溫室和小型養殖場。不僅如此，當前農業物聯網平臺均以單一功能的方式發展，如溫室大棚溫濕度控制系統、小型智能灌溉系統、智能監測檢測系統等。這些系統雖然部署了大量的傳感器，但系統內傳感器類型單一。受農業發展現狀的限制，當前農業大都還采取未成規模、未成體系的生產方式。從智能程度來講，當前農業物聯網的智能化水平僅限于簡單的調控，如根據當前環境控制溫濕度、光照強度等[2-3]。

1.2農業物聯網數據利用程度低

農業物聯網數據是一種典型的時間序列化數據，其數據的價值密度十分低，發現某個因素的發展趨勢或者幾個因素之間的相關關系需要從傳感器收集很長一段時間的數據。目前，大部分農業物聯網平臺僅僅收集很小規模的數據，并簡單地將數據應用到一般控制系統，實現簡單的調控功能。

1.3數據管理不完善

目前，物聯網技術與農業生產結合越來越緊密，通過物聯網收集的農業數據越來越多。但各種傳感器的差異性導致數據種類繁多且結構復雜，這加大了農業數據的存儲和開發利用的難度[4-5]。多年來，由于缺乏對農業數據的統一管理意識，各種農業數據自成體系，呈孤島式發展。

總之，受目前農業生產組織形式的限制，當前的農業物聯網普遍規模小、功能單一、數據收集量小且分析利用程度地低，顯然無法適應集約化、精細化、規?；椭悄芑F代農業發展的要求。

2智慧農業、農業物聯網、農業大數據的相關技術

2.1智慧農業

發展智慧農業是推進現代化農業、實現智慧經濟的重要途徑。在傳統農業的基礎上，充分發揮物聯網和信息化技術，促使傳統農業向智能化方向轉型，便于控制和管理[6-7]。例如，農業信息化、農業電商、農產品溯源、智能預警等都是智慧農業的具體表現形式[8]。

一般而言，智慧農業包含大量數據采集、計算、分析以及存儲。例如大型農場的各類溫濕度等傳感器數據需要實時監控、智能分析和預警;食品安全中實現農產品溯源，從農業生產到顧客消費中各個環節的監控、管理與全透明展現。

2.2物聯網

物聯網（Internet of Thing）是用特定的協議將感知設備連接在一起，將各種信息傳感設備接入互聯網，并組成信息交換和傳遞的巨型網絡系統。一般來說，物聯網技術是在互聯網的基礎上進行了一定的擴展和延伸[9-10]，主要由4層體系結構組成，即感知層、傳輸層、處理層、應用層[11]。

2.2.1感知層。感知層即物聯網系統中的神經末梢，主要負責數據的收集和獲取。感知層由用于各類數據采集和識別的感知終端構成，如各類型的傳感器、攝像頭等設備。

2.2.2傳輸層。傳送層即物聯網系統中的神經系統，主要負責數據信息傳遞。傳輸層利用互聯網、通信網絡等設備及時有效地實現遠程傳送。

2.2.3處理層。處理層即物聯網系統中的神經中樞，主要負責數據存儲、處理和控制等操作。

2.2.4應用層。應用層即物聯網系統中的大腦和感知，主要負責數據的處理、挖掘和決策等，利用各種信息化技術和方案，滿足業務需求，實現智能化。

2.3大數據

隨著人類社會的進步和科學技術的發展，互聯網世界迎來了大數據時代[12]。大數據具有容量大、種類多、產生速度快和價值密度低等特點，需要海量的存儲和強大的分析計算能力[13-14]。為了構建滿足存儲和計算需求、廉價且伸縮性和容錯性都滿足需求的大數據平臺，谷歌公司提出了大數據平臺的三大核心技術：

（1）Hadoop分布式文件系統。Hadoop Distributed File System，簡稱HDFS，是一種以通用存儲介質為基礎的虛擬文件系統[15]。其特點為

容錯性高、存儲與處理數據量大、存儲和部署介質廉價、數據訪問吞吐量高。

（2）Bigtable。Bigtable是一種支持大規模數據量存儲的非關系型分布式存儲系統，支持PB級數據存儲，具有適用性廣、可用性高、拓展性強、數據量大、性能優等特點[16]。其典型代表有HBase。

（3）MapReduce。MapReduce是一種分布式并行計算引擎，其并行計算達到TB級。MapReduce首先將計算任務進行劃分并分布到各個結點，并行計算完成后，匯總各結點上的結果作為整個計算任務的結果。由于MapReduce在計算過程中需要大量的磁盤輸入輸出，因此其計算性能受到影響，目前正被Spark取代。Spark是一種基于內存的開源大數據計算引擎，不僅具有Hadoop MapReduce的所有優點，還在運行性能上大大優于前者。此外，Spark擁有豐富的機器學習庫，可以完美結合機器學習和數據挖掘[17]。

在大數據核心平臺之上有一些處理大數據的專門模塊，如流處理模塊Kafka、機器學習和數據挖掘模塊MLlib和搜索引擎模塊ElasticSearch等，形成整個大數據存儲和計算的生態環境。

3農業物聯網中的大數據收集和利用的必要性

當前的農業物聯網規模小、功能單一、數據利用率低，似乎沒有大數據的用武之地。然而，當前農業物聯網潛力的深入挖掘以及未來大規模智慧農業都需要農業大數據。

3.1數據智能分析和決策需要大數據

每個傳感器收集的是典型的時間序列數據，是影響農業生產的一種因素。對這些數據所做的智能分析，包括單因素變量的時間變化規律和多因素變量的相關分析，都需要大數據的支持。即使是功能單一且規模小的物聯網平臺，為數據分析和智能決策所收集的數據也是海量的。

對于文本類型的消息數據，假定農場中有個傳感器設備，收集周期為T，信息的長度為L，那么該農場的數據量volume計算公式為：

volumn=N×T×L

由上述公式可知，若每個傳感器以每秒收集1次數據的頻率收集數據，消息的長度為96 B（這是一個古典的保守估計消息長度），則單個傳感器每年的數據收集量大致為3.03 GB。

對于視頻流數據，假定1個視頻采集器以100幀/s的幀率、300像素×400像素的RGB格式采集數據，則它每天收集的數據量大致為3.11 TB數據。

3.2現代智慧農業需要大數據

目前，由于科學的不斷進步和互聯網技術的不斷發展，傳統的手工勞作生產方式已逐漸被以物聯網、云計算和大數據等技術為中心的現代化生產方式替換，生產模式也逐漸由粗放型向集約型和智能型方向轉變[18-19]。未來的農業物聯網將是目前單一物聯網的集成，貫穿于生產、管理和市場等整個農業全產業鏈，為智慧農業提供了海量數據（圖1）。

農業物聯網大數據能夠為智慧農業帶來如下好處：

①精準生產。

近年來，由于現階段農業生產現狀的限制和供求信息的不對稱，先后出現多起農產品滯銷和脫銷現象。一方面不斷涌現諸如“蒜你狠”“姜你軍”等網絡熱詞;另一方面出現農戶的農產品被賤賣或爛在地里的“賤菜傷農”事件。因此，為了實現合理的“供需平衡”，需要不斷匯總農業數據，打通和建立消費者和農戶之間的信息通道。例如通過大數據采集和分析某地某農產品的供需情況，形成消費者和農戶之間的供需報告，結合供銷市場進行分析，便能夠及時有效地規劃農業生產，促進供銷市場的平衡。

②自動化生產。隨著物聯網技術的發展，農業生產過程中物理傳感器的應用越來越廣泛。通過傳感器不斷采集作物成長過程中各項指標的實時數據，如溫度、濕度、光照強度等，并結合歷史數據進行分析。不斷提高農業生產效率、作物生產質量以及農業監控能力，如用濕度傳感器不斷收集某大棚中土壤濕度情況，就可以智能控制土壤濕度，確保作物正常生產;通過不斷收集某農場中的氣候數據，并結合歷史氣候數據進行科學合理的氣象預測，從而有效規避由于氣象變化帶來的災害，提高農業生產。

③供應鏈追蹤。隨著人們生活水平的提高，食品安全問題逐漸被關注。據統計，在發達國家，每年患上食源性疾病的人口占國家總人口的1/3以上，這也就意味著公共衛生問題日益嚴重[20]。如何對農產品從生產、加工、儲運到銷售，實現農產品供應鏈全方位的監控、追蹤與管理變得尤為重要。通過物聯網和大數據等技術追蹤到農產品從田園到餐桌的每個環節，實現基于RFID農產品溯源，構建安全健康農產品供應鏈。

④智慧化農業。不斷推進物聯網和大數據技術在農林牧漁等產業農業生產中的應用，不斷采集、匯聚和分析各個本體感知數據，不斷完善農業智能檢測、分析、調度與管理能力，優化農業生產產業結構，提升農業生產效率，從而實現農業生產、加工、儲運、銷售的一體化。

4農業物聯網大數據平臺框架的構建

4.1應用場景

該架構設計主要針對具有一定規模的農場，實現智慧農業的相關場景，而對于小型農業自動化以及信息化不做闡述。例如大規模農場中實時智能監控管理;智能分析、決策和預警;以及農產品溯源等實際場景。

如在大型農場中，需要實現農場的自動化管理，包含對農作物生產中的溫度、濕度、病蟲害等已經加工生產銷售等一系列流程進行管理、監控及決策。需要在農場中設置大量的傳感器等信息采集設備，如溫濕度傳感器、光線強度傳感器、電子監控設備等。通過這些設備實時采集數據，并上傳到云端，提供云端服務的決策支持。由于智慧農場一般占用面積較大，且需要全方位、實時監控整個農場數據，如溫度，濕度、光照強度以及實時畫面等信息，所以需要一整套高效架構，以支持智慧農場數據的采集、存儲和分析。

4.2物聯網架構

為了支持智慧農場數據的高效采集，設計物聯網架構如圖2所示。該架構主要分為物理層、云服務層，數據服務層三大模塊。通過各個層次的緊密配合，實現智慧農業數據的高效收集、存儲和利用。

4.2.1物理層。

4.2.1.1傳感器。信息收集設備，可以將物理信息轉換成數字信息，如溫度傳感器、濕度傳感器、光照強度傳感器等。

4.2.1.2傳感器面板。主要負責數據的傳輸，一般由微型控制器實現，如Arduino2;通常情況下，1個傳感器面板鏈接多個信息采集設備。

4.2.1.3網絡橋。網絡橋負責連接多個傳感器面板，不同的傳感器面板通過物理連接的方式（如USB）或者通過無線協議（如Zigbee3）與網絡橋連接在一起。網絡橋通過網絡協議與互聯網相連，收集到傳感器數據后以一定的格式和方式組裝數據，并輸送到目的地或云端。

47卷2期周湘超等1種農業物聯網大數據平臺架構

4.2.2云服務層。

4.2.2.1中間件。中間件是物聯網云服務層的核心部分，主要負責物理層采集數據的收集與存儲，以及整個系統中參數的配置與存儲。該架構中通過設計多種類型API的方式，通過網絡API與底層網絡橋實現數據交換，包含物聯網數據的收集和確認、平臺配置數據和路由數據的相關傳送。通過配置API實現管理員動態管理和配置整個物聯網平臺。通過數據API與數據需求方實現交互。由圖3可知，當中間件在接收到文件后，需要由收集器對收集到的數據進行認證校驗，并將數據按照預定的規則拆分打包，再推送到消息隊列中，等待消息處理模塊的處理消費，再按照一定的存儲規則實現數據的存儲。

4.2.2.2網絡API。網絡API是一種信息交互接口，主要連接著中間件和網絡橋，實現兩者之間序列化數據和配置數據的傳遞與交互。為了兼容多種數據類型、解決數據的異構性，必須設計一個統一機制標準化數據。針對數據的特征，擬采用通用的數據格式JSON格式來實現數據的編碼，并且規定數據中必須包含多個特征值：

id（傳感器的唯一標識符）、timestamp（時間戳，也就是數據收集時間）、target（目的地，數據傳送的目的地）、value（數據的測量值）、type（數據類型）、數據存儲（數據存儲即持久化所收集的序列化數據）。其存儲介質包含傳統的數據庫（如MYSQL），也包含分布式文件存儲（如HDFS、MongDB等）。

4.2.3架構優越性。

該軟件架構高效兼容多種數據結構，通過采用多種類型的信息采集設備，如傳感器、實時圖像采集設備可以采集多種多樣的實時數據。并通過統一的存儲格式以及傳輸協議實現不同數據類型的兼容，對于傳感器的異構性也有較強的兼容能力。不僅如此，通過互聯網和網絡設備、系統管理員自我配置模塊，使平臺具有良好的可拓展性，對以存儲為目的的垂直擴展和以處理為目的的水平擴展都可以通過修改配置參數和修改物理線路的方式實現擴展。另外，為了充分發揮和挖掘數據的價值，該架構通過接口的方式，向用戶和三方應用提供數據服務。

4.3大數據框架

鑒于存儲大量的時間序列化數據，傳統的數據存儲系統已經無法滿足，因而設計基于分布式存儲系統。其大數據系統架構如圖4所示。

該大數據平臺主要包含數據接入、數據存儲、數據計算以及數據檢索與展現多個部分。

4.3.1數據接入。Kafka和Flume是可靠性和可用性的分布式數據收集組件。該系統架構中，引入Kafka和Flume組件，實現對實時數據高效接入，如對實時視頻流數據的接收，傳感器系列化數據的接收都有良好的可操作性。

4.3.2

數據存儲。該架構中主要引入分布式存儲系統HDFS實現數據的存儲。系統借助于HDFS的多格式支持和良好的壓縮率，實現多種格式數據的大量存儲。

4.3.3數據計算。基于內存的分布式計算引擎—Spark，可以通過SparkStreaming完美收集與處理流式數據。針對智慧農業中大量的預測系統和病蟲害分析系統可以借助于Spark生態中的MLlib進行訓練與分析，得出準確率較高的預測模型。

4.3.4數據檢索。該架構借助于檢索性能十分強大的ElasticSearch，實現高效準確的在大量數據中檢索所需要的數據信息。

該大數據處理架構的建立不僅支持大量的異構性數據的存儲，還對實時數據的接收、分析與處理有著良好的兼容性。針對多種數據類型，如文本數據和圖片視頻等數據也有著較好的兼容性。且基于分布式文件系統，其存儲量大、穩定性強、可拓展性好。另外，該系統架構通過Spark計算引擎，利用機器學習組件和圖算法等實現多種復雜的模型訓練和構建，以支持智能化管理、決策以及應用。通過分布式搜索引擎ElasticSearch實現數據的高效檢索與查詢。

5總結和展望

隨著科學技術的不斷進步和人們生活水平的不斷提高，傳統農業向智慧農業轉型的步伐不斷加大。在農業生產中，科技化含量不斷的提高;現代農業模式逐漸朝著農業生產智能化、農業服務精細化、農業管理簡約化的方向發展。農業生產數據的收集、分析和處理也成為現代化農業生產的必然。在未來的農業生產和人們的生活中，有大量的農業數據不斷地從農場中產生，通過收集、存儲和利用這些農業數據不斷推出新型農業生產模型，從而指導農業生產，提升農業生產質量與品質。

該系統架構通過深入分析當前農業生產現狀，把握當前農業和科技發展方向，以提升農業生產質量和農業管理水平為目的，以農業數據為中心，以提升人們生活水平和推動智慧農業發展為原則，提出適合當前發展趨勢的農業物聯網大數據平臺架構。該系統架構不僅對農業數據的采集、組裝以及傳輸細節進行詳細描述，而且還對農業數據存儲、分析和管理提出了詳細的解決方案。結合智慧農業中相關應用場景與農業物聯網數據的特性，針對一般性的農業描述數據、圖片數據和視頻流式數據進行深入探討與分析，從而論證系統架構的可行性和必要性。該系統架構的設計不僅滿足一般性的農業生產，而且對于大型智慧農業的生產模式具有一定的指導意義。

參考文獻

[1] 張璠，滕桂法，周桂紅.農業院校大數據專業課程體系建設研究[J].河北農業大學學報（農林教育版），2017，19（2）：23-26.

[2] 葛文杰，趙春江.農業物聯網研究與應用現狀及發展對策研究[J].農業機械學報，2014，45（7）：222-230.

[3] 葉宏寶，徐志福，石曉燕，等.設施農業環境智能監控管理平臺設計與實現[J].浙江農業學報，2014，26（2）：467-472.

[4] STROHBACH M，ZIEKOW H，GAZIS V，et al.Towards a big data analytics framework for IoT and smart city applications[M]//XHAFA F，BAROLLI L，BAROLLI A，et al.Modeling and processing for next-generation big-data technologies.New York：Springer International Publishing，2015：257-282.

[5] 陳棟，吳保國，陳天恩，等.分布式多源農林物聯網感知數據共享平臺研發[J].農業工程學報，2017，33（S1）：300-307.

[6] 李國英.產業互聯網模式下現代農業產業發展路徑[J].現代經濟探討，2015（7）：77-82.

[7] 楊大蓉.中國智慧農業產業發展策略[J].江蘇農業科學，2014，42（4）：1-2.

[8] 方曉航.物聯網技術在農業信息化中的應用研究[D].長沙：湖南農業大學，2014.

[9] KANG Y S，PARK I H，RHEE J，et al.MongoDB-based repository design for IoT-generated RFID/sensor big data[J].IEEE Sensors Journal，2015，16（2）：485-497.

[10] BREUR T.Big data and the internet of things[J].Journal of marketing analytics，2015，3（1）：1-4.

[11] 徐海斌，王鴻翔，楊曉琳，等.現代農業中物聯網應用現狀與展望[J].江蘇農業科學，2013，41（5）：398-400.

[12] 孟小峰，李勇，祝建華.社會計算：大數據時代的機遇與挑戰[J].計算機研究與發展，2013，50（12）：2483-2491.

[13] 張引，陳敏，廖小飛.大數據應用的現狀與展望[J].計算機研究與發展，2013，50（S2）：216-233.

[14] ANAGNOSTOPOULOS I，ZEADALLY S，EXPOSITO E.Handling big data：Research challenges and future directions[J].The journal of supercomputing，2016，72（4）：1494-1516.

[15] 鄒振宇，鄭烇，王嵩，等.基于HDFS的云存儲系統小文件優化方案[J].計算機工程，2016，42（3）：34-40，46.

[16] 史曉麗.Bigtable分布式存儲系統的研究[D].西安：西安電子科技大學，2014.

[17] 趙玲玲，劉杰，王偉.基于Spark的流程化機器學習分析方法[J].計算機系統應用，2016，25（12）：162-168.

[18] 楊靜.大數據如何顛覆傳統農業[J].農家書屋，2016（4）：18-19.

[19] 田宏武，鄭文剛，李寒.大田農業節水物聯網技術應用現狀與發展趨勢[J].農業工程學報，2016，32（21）：1-12.

[20] 徐粒子，金少華，陳志飛，等.安徽省2007～2010年食物中毒現況分析[J].安徽預防醫學雜志，2012，18（1）：59-60，64.