基于大數(shù)據(jù)的農(nóng)產(chǎn)品信息服務(wù)云平臺設(shè)計(jì)

向模軍 鄒承俊 張霞

摘? 要：針對現(xiàn)有農(nóng)產(chǎn)品信息服務(wù)存在的數(shù)據(jù)質(zhì)量低、整合難、流通差等問題和大數(shù)據(jù)時代的工作要求，依托物聯(lián)網(wǎng)、大數(shù)據(jù)、云計(jì)算等技術(shù)，設(shè)計(jì)一種基于大數(shù)據(jù)的農(nóng)產(chǎn)品信息服務(wù)云平臺。數(shù)據(jù)獲取層主要利用物聯(lián)網(wǎng)感知采集數(shù)據(jù)，在大數(shù)據(jù)中心完成數(shù)據(jù)轉(zhuǎn)換、處理、分析，通過應(yīng)用層可視化展示實(shí)現(xiàn)“4A”應(yīng)用。平臺進(jìn)行云化管理，為不同參與主體提供按需服務(wù)，將大數(shù)據(jù)技術(shù)應(yīng)用于農(nóng)產(chǎn)品信息服務(wù)領(lǐng)域，實(shí)現(xiàn)農(nóng)產(chǎn)品大數(shù)據(jù)的實(shí)時共享，有利于農(nóng)產(chǎn)品數(shù)據(jù)資源的有效充分利用。

關(guān)鍵詞：大數(shù)據(jù);云計(jì)算;農(nóng)產(chǎn)品;平臺設(shè)計(jì)

中圖分類號：TP319? ? ?文獻(xiàn)標(biāo)識碼：A

文章編號：2096-1472（2021）-04-60-03

Abstract： Existing agricultural products information services， with problems of poor data quality， difficulty in integration， and slow circulation， cannot meet the demands of the big data era. This paper proposes to design a big data-based cloud platform for agricultural products information service， using technologies such as Internet of Things， big data and cloud computing. On the proposed service cloud platform， Internet of Things is mainly used to sense and collect data on data acquisition layer， and data conversion， processing， and analysis are completed in big data center. "4A" applications are realized through visualization display on application layer. The platform， which is managed by cloud， provides on-demand services for different participants， applies big data technology to the field of agricultural products information services， and realizes the real-time sharing of agricultural products big data. The platform facilitates full and effective use of agricultural products data resources.

Keywords： big data; cloud computing; agricultural products; platform design

1? ?引言（Introduction）

我國是名副其實(shí)的農(nóng)產(chǎn)品大國，農(nóng)產(chǎn)品相關(guān)數(shù)據(jù)量井噴式地增長，使得原有的農(nóng)產(chǎn)品數(shù)據(jù)處理模式已經(jīng)不能適應(yīng)大數(shù)據(jù)時代農(nóng)產(chǎn)品信息服務(wù)工作的需要。因此，急需加快推進(jìn)農(nóng)產(chǎn)品信息化，利用以物聯(lián)網(wǎng)、大數(shù)據(jù)、云計(jì)算、人工智能、5G網(wǎng)絡(luò)、區(qū)塊鏈為代表的現(xiàn)代信息技術(shù)，構(gòu)建農(nóng)產(chǎn)品信息服務(wù)平臺，讓農(nóng)產(chǎn)品在邁向現(xiàn)代化的進(jìn)程中插上信息化的翅膀。

2? 目前農(nóng)產(chǎn)品信息服務(wù)中存在的問題（Problems in information service of agricultural products）

在我國農(nóng)產(chǎn)品信息服務(wù)領(lǐng)域，農(nóng)產(chǎn)品信息不對稱，“賣難”和“買難”現(xiàn)象尷尬并存，農(nóng)產(chǎn)品生產(chǎn)不均衡，整體規(guī)模龐大與個體規(guī)模分散現(xiàn)象長期存在，加上城鄉(xiāng)數(shù)字鴻溝，致使同國外發(fā)達(dá)國家相比有很大差距，主要表現(xiàn)在：

（1）農(nóng)產(chǎn)品信息資源質(zhì)量較低。一方面農(nóng)民文化水平相對不高，沒有能力也不愛學(xué)習(xí)農(nóng)業(yè)信息技術(shù)，拉低了農(nóng)產(chǎn)品信息資源采集質(zhì)量;另一方面，偏遠(yuǎn)山區(qū)農(nóng)村信息化基礎(chǔ)薄弱，沒有信息化系統(tǒng)和信息化設(shè)備，結(jié)合本地情況開發(fā)利用的信息資源極為匱乏。

（2）農(nóng)產(chǎn)品信息未能有效整合。農(nóng)產(chǎn)品涉及的環(huán)節(jié)眾多，農(nóng)產(chǎn)品全產(chǎn)業(yè)鏈較長，融合了地域性、季節(jié)性、多樣性、周期性等自身特征后產(chǎn)生的來源廣泛、類型多樣、結(jié)構(gòu)復(fù)雜的農(nóng)產(chǎn)品信息，還未出現(xiàn)有效的整合方案，現(xiàn)有的農(nóng)產(chǎn)品信息比較分散，大數(shù)據(jù)的優(yōu)勢有望從技術(shù)上改變這一問題。

（3）農(nóng)產(chǎn)品市場信息流通不暢。農(nóng)產(chǎn)品信息接收方式落后、單向、滯后，尤其在農(nóng)產(chǎn)品市場價格及供求波動方面，在缺乏信息或信息被扭曲的條件下，廣大農(nóng)戶一哄而上、一哄而下，不管不顧盲目生產(chǎn)，難以做到對突發(fā)事件及時發(fā)現(xiàn)苗頭并提前應(yīng)對。

產(chǎn)前缺乏市場信息引導(dǎo)，產(chǎn)中缺乏生產(chǎn)技術(shù)指導(dǎo)，產(chǎn)后缺乏銷售信息和渠道。針對這些問題，國務(wù)院印發(fā)《促進(jìn)大數(shù)據(jù)發(fā)展行動綱要》（國發(fā)〔2015〕50號）明確提出：發(fā)展大數(shù)據(jù)在農(nóng)業(yè)等行業(yè)領(lǐng)域應(yīng)用，構(gòu)建農(nóng)業(yè)信息綜合服務(wù)平臺，實(shí)現(xiàn)數(shù)據(jù)自動化采集、網(wǎng)絡(luò)化傳輸、標(biāo)準(zhǔn)化處理和可視化運(yùn)用[1]。農(nóng)業(yè)農(nóng)村部發(fā)布《農(nóng)業(yè)部關(guān)于推進(jìn)農(nóng)業(yè)農(nóng)村大數(shù)據(jù)發(fā)展的實(shí)施意見》（農(nóng)市發(fā)〔2015〕6號）指出：鼓勵開展大數(shù)據(jù)時代農(nóng)業(yè)信息服務(wù)平臺建設(shè)，更好地做好農(nóng)業(yè)信息服務(wù)工作，實(shí)現(xiàn)農(nóng)業(yè)生產(chǎn)智能化、經(jīng)營網(wǎng)絡(luò)化、管理高效化、服務(wù)便捷化[2]。

3? 農(nóng)產(chǎn)品信息服務(wù)平臺功能設(shè)計(jì)（Function design of agricultural product information service platform）

農(nóng)產(chǎn)品信息化包括農(nóng)產(chǎn)品種植（養(yǎng)殖）、生長、收獲、加工、包裝、存儲、運(yùn)輸、分銷、銷售全流程的信息化[3]，根據(jù)對涉及農(nóng)產(chǎn)品生產(chǎn)、加工、銷售等參與主體的調(diào)研情況，結(jié)合提供農(nóng)產(chǎn)品信息共享和服務(wù)這一主要目標(biāo)，將平臺劃分為六大系統(tǒng)模塊。

（1）用戶管理。由于農(nóng)產(chǎn)品參與主體眾多，用戶群體多樣，本平臺將用戶類型分為政府監(jiān)管人員、農(nóng)產(chǎn)品企業(yè)、農(nóng)業(yè)科研機(jī)構(gòu)、農(nóng)戶以及消費(fèi)者五種類型，通過基于角色的訪問控制RBAC（Role-Based Access Control）權(quán)限管理模型，構(gòu)造“用戶-角色-權(quán)限”授權(quán)模型，確保不同用戶類型擁有適當(dāng)?shù)臋?quán)限，對應(yīng)訪問平臺上不同的功能模塊。

（2）農(nóng)產(chǎn)品生產(chǎn)管控。基于農(nóng)業(yè)物聯(lián)網(wǎng)技術(shù)，利用傳感器等設(shè)備實(shí)時監(jiān)測農(nóng)產(chǎn)品生產(chǎn)信息，如土壤濕潤度等，同時利用智慧農(nóng)業(yè)大棚等設(shè)施實(shí)現(xiàn)遠(yuǎn)程自動化控制，如智能灌溉等，以此幫助農(nóng)戶和企業(yè)構(gòu)建一套農(nóng)產(chǎn)品生產(chǎn)管控解決方案，期間積累的過程數(shù)據(jù)服務(wù)于科研機(jī)構(gòu)用于農(nóng)業(yè)的相關(guān)研究[4-5]。

（3）農(nóng)產(chǎn)品安全溯源。溯源是農(nóng)產(chǎn)品質(zhì)量安全的重要保證手段，基于區(qū)塊鏈技術(shù)解決農(nóng)產(chǎn)品質(zhì)量控制與可信追溯的問題，融合政府監(jiān)管、消費(fèi)服務(wù)等功能，與農(nóng)業(yè)生產(chǎn)管控等模塊相連構(gòu)建農(nóng)產(chǎn)品質(zhì)量安全溯源系統(tǒng)，實(shí)現(xiàn)農(nóng)產(chǎn)品從“種子”到“餐桌”的全生命周期管理[6-7]，農(nóng)產(chǎn)品各方參與主體共同建立健全農(nóng)產(chǎn)品追溯體系，共同確保人民群眾“舌尖上的安全”。

（4）農(nóng)產(chǎn)品電商。借助農(nóng)產(chǎn)品大數(shù)據(jù)實(shí)現(xiàn)精準(zhǔn)在線交易，基于互聯(lián)網(wǎng)開放的網(wǎng)絡(luò)環(huán)境，實(shí)現(xiàn)C2B模式，即農(nóng)戶根據(jù)用戶的訂單需求定制化生產(chǎn)農(nóng)產(chǎn)品;B2C模式，即商家通過平臺賣農(nóng)產(chǎn)品給消費(fèi)者;B2B模式，即商家集中采購，分發(fā)配送給中小經(jīng)銷商;F2C模式，即農(nóng)戶通過網(wǎng)上平臺直接賣給消費(fèi)者;O2O模式，即消費(fèi)者線上買單，線下自提農(nóng)產(chǎn)品。

（5）農(nóng)技智能問答。基于5G（5th-Generation，第五代移動通信技術(shù)）+AI（Artificial Intelligence，人工智能），構(gòu)建懂業(yè)務(wù)、知用戶的農(nóng)業(yè)技術(shù)服務(wù)機(jī)器人系統(tǒng)，為農(nóng)戶、企業(yè)等農(nóng)產(chǎn)品參與主體提供專業(yè)的技術(shù)信息服務(wù)。通過機(jī)器人智能問答，輔以農(nóng)業(yè)專家在線指導(dǎo)，借助手機(jī)、iPad等移動終端，使多方不受時空限制開展互動，進(jìn)行農(nóng)技科普。

（6）綜合信息服務(wù)。基于B/S結(jié)構(gòu)（Browser/Server，瀏覽器/服務(wù)器模式）建設(shè)農(nóng)產(chǎn)品信息網(wǎng)站，用于對農(nóng)產(chǎn)品信息的發(fā)布、瀏覽、查詢和訂閱等，內(nèi)容可以包括相關(guān)政策法規(guī)、農(nóng)業(yè)新聞資訊、農(nóng)產(chǎn)品市場信息等，力爭實(shí)現(xiàn)農(nóng)產(chǎn)品信息的及時、暢通。

4? 構(gòu)建農(nóng)產(chǎn)品大數(shù)據(jù)應(yīng)用架構(gòu)（Building big data application architecture for agricultural products）

隨著農(nóng)業(yè)物聯(lián)網(wǎng)的風(fēng)生水起和農(nóng)業(yè)信息化的不斷深入，諸如農(nóng)產(chǎn)品信息服務(wù)平臺等智慧農(nóng)業(yè)系統(tǒng)不斷投建，農(nóng)業(yè)大數(shù)據(jù)時代也應(yīng)運(yùn)而來。如何有效利用農(nóng)業(yè)大數(shù)據(jù)服務(wù)農(nóng)業(yè)現(xiàn)代化是當(dāng)下熱點(diǎn)[3，8]。圖1展示了一種農(nóng)產(chǎn)品大數(shù)據(jù)應(yīng)用架構(gòu)，圖2是其網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。在這種設(shè)計(jì)中，將農(nóng)產(chǎn)品大數(shù)據(jù)應(yīng)用簡單分為三層，即數(shù)據(jù)獲取層（物聯(lián)網(wǎng)感知層）、大數(shù)據(jù)處理中心（業(yè)務(wù)平臺層）和數(shù)據(jù)應(yīng)用層（應(yīng)用展示層）。

在數(shù)據(jù)獲取層，利用多種方式采集數(shù)據(jù)。可以手動錄入數(shù)據(jù)，如各參與主體的原始數(shù)據(jù)批量導(dǎo)入;可以與其他農(nóng)業(yè)系統(tǒng)對接采集數(shù)據(jù);可以利用手機(jī)、iPad等移動終端拍照、掃碼等采集數(shù)據(jù)，利用基于位置的服務(wù)LBS（Location Based Services）來獲取設(shè)備/人員的所在位置;甚至可以使用無人機(jī)或人造衛(wèi)星等采集農(nóng)產(chǎn)品信息。從網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)來看，更多的是通過物聯(lián)網(wǎng)的感知來采集數(shù)據(jù)，通過LoRa（Long Range Radio，遠(yuǎn)距離無線電）、ZigBee、Wi-Fi等技術(shù)采集農(nóng)產(chǎn)品環(huán)境數(shù)據(jù)，如空氣的光照度、土壤的濕潤度、水質(zhì)的PH值。

數(shù)據(jù)采集的方式越來越多，數(shù)據(jù)類型也越來越多樣化，各種結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)不斷產(chǎn)生，這些數(shù)據(jù)通過無線傳感器網(wǎng)絡(luò)（Wireless Sensor Networks，WSN）、局域網(wǎng)（Local Area Network，LAN）或5G網(wǎng)絡(luò)傳輸?shù)酱髷?shù)據(jù)中心。在大數(shù)據(jù)中心數(shù)據(jù)處理中，首先要利用“ETL（Extract-Transform-Load）”技術(shù)，結(jié)合利用網(wǎng)絡(luò)爬蟲爬取來自互聯(lián)網(wǎng)的農(nóng)產(chǎn)品數(shù)據(jù)，將這些數(shù)據(jù)經(jīng)過抽取、清洗、轉(zhuǎn)換之后加載到數(shù)據(jù)倉庫。利用開源工具Sqoop，實(shí)現(xiàn)Hadoop（HDFS）與傳統(tǒng)的關(guān)系型數(shù)據(jù)庫（MySQL等）之間進(jìn)行數(shù)據(jù)的傳遞，將分散、零亂、標(biāo)準(zhǔn)不統(tǒng)一的數(shù)據(jù)整合到一起。本設(shè)計(jì)中，非結(jié)構(gòu)化數(shù)據(jù)還是采用NoSQL數(shù)據(jù)庫的HBase數(shù)據(jù)庫分布式存儲，全文檢索等搜索引擎采用Solr搜索應(yīng)用服務(wù)器，統(tǒng)一的資源管理和調(diào)度采用YARN資源管理器，大數(shù)據(jù)集群計(jì)算環(huán)境采用專為大規(guī)模數(shù)據(jù)處理而設(shè)計(jì)的Spark計(jì)算引擎，查詢、分析等采用基于SQL（Structured Query Language）的查詢計(jì)算工具Impala[4，9-10]。

這些農(nóng)產(chǎn)品數(shù)據(jù)經(jīng)過大數(shù)據(jù)中心處理后，針對本信息服務(wù)平臺六大功能模塊開展大數(shù)據(jù)分析、數(shù)據(jù)挖掘，完成大數(shù)據(jù)可視化，實(shí)現(xiàn)平臺的“4A”應(yīng)用：任何設(shè)備（Any Device）、任何時間（Any Time）、任何地點(diǎn)（Any Where）、任何人（Any One），讓包括本平臺五種用戶類型的所有人，可以打破時空局限，隨時隨地訪問農(nóng)產(chǎn)品信息服務(wù)平臺。

5? 農(nóng)產(chǎn)品信息服務(wù)云平臺設(shè)計(jì)（Design of cloud platform for agricultural products information service）

為了以低成本的方式提供規(guī)模可伸縮的高可用的農(nóng)產(chǎn)品信息服務(wù)，省去購買軟、硬件以及建立現(xiàn)場大數(shù)據(jù)中心的費(fèi)用，本設(shè)計(jì)引入云計(jì)算技術(shù)來構(gòu)建農(nóng)產(chǎn)品信息服務(wù)平臺。

“云計(jì)算”在其概念提出的10多年間，取得了飛速的發(fā)展與翻天覆地的變化，包含SaaS（Software-as-a-Service，軟件即服務(wù)）、PaaS（Platform-as-a-Service，平臺即服務(wù)）和IaaS（Infrastructure-as-a-Service，基礎(chǔ)設(shè)施即服務(wù)）。

如圖3所示設(shè)計(jì)的農(nóng)產(chǎn)品服務(wù)云平臺架構(gòu)[5，7]，將各類資源利用虛擬化技術(shù)進(jìn)行高效統(tǒng)一的整合，應(yīng)用先進(jìn)的大數(shù)據(jù)處理、分析技術(shù)對其進(jìn)行云化管理，以滿足不同參與群體的需求。

農(nóng)產(chǎn)品數(shù)據(jù)存儲層（IaaS層）：將計(jì)算資源，包括服務(wù)器、存儲、網(wǎng)絡(luò)和農(nóng)產(chǎn)品數(shù)據(jù)等，利用VMware虛擬化技術(shù)提供可擴(kuò)展的彈性的云服務(wù)給用戶，用戶按需購買資源，而不必購買全部硬件。

農(nóng)產(chǎn)品數(shù)據(jù)處理層（PaaS層）：將平臺運(yùn)行環(huán)境等構(gòu)建成統(tǒng)一的自動化協(xié)調(diào)的分布式運(yùn)行環(huán)境，以服務(wù)的形式或以API、SDK的形式提供給用戶，簡化應(yīng)用的部署、運(yùn)行等。

農(nóng)產(chǎn)品數(shù)據(jù)交互層（SaaS層）：面向終端客戶，提供一站式的解決方案，以本設(shè)計(jì)的農(nóng)戶為例，可以利用農(nóng)技智能問答系統(tǒng)獲取專業(yè)知識，可以利用農(nóng)產(chǎn)品電商平臺進(jìn)行在線交易等。

集中管理平臺：有效管理整個服務(wù)平臺，確保整個服務(wù)平臺安全穩(wěn)定。

6? ?結(jié)論（Conclusion）

針對當(dāng)下農(nóng)產(chǎn)品信息服務(wù)中存在的問題，以及農(nóng)產(chǎn)品數(shù)據(jù)格式多樣、物理分散等特征，設(shè)計(jì)了一種基于大數(shù)據(jù)的農(nóng)產(chǎn)品信息服務(wù)云平臺，以期打破不同農(nóng)業(yè)數(shù)據(jù)庫的“數(shù)據(jù)孤島”，突破不同農(nóng)業(yè)應(yīng)用系統(tǒng)的“服務(wù)孤島”，實(shí)現(xiàn)農(nóng)產(chǎn)品大數(shù)據(jù)的有效共享和運(yùn)用。

參考文獻(xiàn)（References）

[1] 國務(wù)院.促進(jìn)大數(shù)據(jù)發(fā)展行動綱要（國發(fā)〔2015〕50號）[Z].2015-08-31.

[2] 農(nóng)業(yè)農(nóng)村部.農(nóng)業(yè)部關(guān)于推進(jìn)農(nóng)業(yè)農(nóng)村大數(shù)據(jù)發(fā)展的實(shí)施意見（農(nóng)市發(fā)〔2015〕6號）[Z].2015-12-29.

[3] 呂婧.農(nóng)業(yè)大數(shù)據(jù)信息服務(wù)平臺設(shè)計(jì)與實(shí)現(xiàn)[D].蘭州：蘭州大學(xué)，2019.

[4] SONG S H， ZHANG Z. Database resources in big data center： Submission， archiving， and integration of big data in plant science[J]. Molecular Plant， 2019， 12（3）：279-281.

[5] 沈超.基于云計(jì)算的農(nóng)產(chǎn)品信息服務(wù)平臺構(gòu)建策略研究[D].杭州：浙江工業(yè)大學(xué)，2017.

[6] 李秀峰，陳守合，郭雷風(fēng).大數(shù)據(jù)時代農(nóng)業(yè)信息服務(wù)的技術(shù)創(chuàng)新[J].中國農(nóng)業(yè)科技導(dǎo)報，2014，16（4）：10-15.

[7] 李朝鋒.大數(shù)據(jù)時代基于云計(jì)算技術(shù)構(gòu)建農(nóng)業(yè)信息服務(wù)平臺研究[J].河南科技，2017（5）：19-21.

[8] SHANG H Y， LIU Y， ZHENG A， et al. Research on technical architecture and application of big data cloud platform for electric power measurement[J]. Journal of Physics： Conference Series， 2019， 1213（4）：1-6.

[9] 李錦華.基于大數(shù)據(jù)分析的海量信息軟件系統(tǒng)設(shè)計(jì)與開發(fā)[J].軟件工程，2017，20（11）：54-56.

[10] 姚艷敏，白玉琪.農(nóng)業(yè)大數(shù)據(jù)標(biāo)準(zhǔn)體系框架研究[J].農(nóng)業(yè)大數(shù)據(jù)學(xué)報，2019，1（4）：76-85.

作者簡介：

向模軍（1974-），男，碩士，副教授.研究領(lǐng)域：農(nóng)業(yè)信息化.

鄒承俊（1963-），男，碩士，教授.研究領(lǐng)域：農(nóng)業(yè)物聯(lián)網(wǎng).

張? ? 霞（1981-），女，碩士，副教授.研究領(lǐng)域：軟件工程.