基于云端的農業病蟲草害大數據圖文數據庫的設計與實現

朱靜波 張立平 董偉 李閏枚 方鈺 孔娟娟

摘要針對病蟲草害大數據的存儲分散和展示無系統化的問題，提出采用Spark核心技術搭建大規模集群，將HDFS（Hadoop distributed file system）分布式文件存儲系統、MongoDB數據庫和MySQL數據庫相結合，集病蟲草害信息管理、信息查詢、用戶管理和數據庫維護等功能于一體，實時更新、展示、存儲和管理海量多源異構病蟲草害數據，構建基于云端的農業病蟲草害大數據圖文數據庫信息服務平臺，在提高農業病蟲草害的數字化管理、信息共享等方面具有極其重要的意義。

關鍵詞病蟲草害；Spark框架；大數據；圖文數據庫

中圖分類號S126文獻標識碼A文章編號0517-6611（2017）16-0206-04

Design and Implementation of Big Data Graphic Database for Agricultural Diseases， Pests and Weeds Based on Cloud Calculation

ZHU Jingbo，ZHANG Liping，DONG Wei* et al

（Institute of Agricuhural Economy and Information，Anhui Academy of Agricultural Sciences，Hefei， Anhui 230031）

AbstractAiming at the problem of big data storage dispersion and display without systematization of diseases，pests and weeds， Spark core technology was used to build largescale clusters， HDFS distributed file system， MongoDB database were combined with MySQL database to construct big data graphic database system of agricultural diseases，pests and weeds based on cloud technology. The system implemented the functions of information management， information query， user management and database maintenance. The database system had strong compatibility， clear classifications， friendly interface and provide realtime updates， massive data storage and management for heterogeneous multisource data display and pest and. Also， integrated information service platform was established for the diseases， pests and weeds information， and it was of very important significance for strengthening the digital management， information sharing etc..

Key wordsDiseases， pests and weeds；Spark framework；Big data；Graphic database

農業病蟲草害是我國主要農業災害之一，具有范圍廣、種類多、發生情況復雜等特點，每年都會產生大量的病蟲草害數據信息[1-2]。隨著我國農業信息化、產業化發展進程的推進，對這些數據信息進行實時采集、傳輸、管理和分析挖掘處理已經成為促進農業病蟲草害防治的一個重要抓手。雖然病蟲草害大數據研究的重要性日益凸顯，但目前大部分研究都針對專業的數據挖掘和分析，而基層農技員、種植大戶、農民等主要使用者反而較難接受其數據展示含義[3]。

目前，我國關于農業病蟲草害大數據展示的研究較少，主要集中在對農業大數據的采集、分析與處理[4]。陶佰睿等[5]于2016年提出農業大數據云端系統，該系統以Hadoop集群分布式存儲為基礎，融合MySQL數據庫，旨在能夠實時監測農作物的生長過程，從而提高生產率；柴進[6]選取中國農業科學院提供的農業數據為研究對象，設計出基于Hadoop平臺的農業數據挖掘系統。此外，針對病蟲草害數據量少的分析展示系統也無法滿足現有信息需求，多數為部分單一品種數據庫的構建，無法滿足用戶對病蟲草害的認知需求。王長委等[7]針對GIS（Geographic information system）在病蟲害數據管理方面的優缺點，通過Geodatabase構建了廣東省農作物病蟲害空間數據庫；余一鳴[8]通過多角度整理和分析上海地區的蔬菜病蟲害基礎圖文資料，搭建了上海蔬菜病蟲害知識普及和防治技術咨詢的服務平臺。

針對現有病蟲草害數據的大規模、繁結構、多形式和防治技術繁多等突出的大數據特點，筆者在深入分析作物種類的基礎上，提出采用Spark核心技術搭建大規模集群，使用HDFS分布式文件系統、MongoDB數據庫和MySQL數據庫相結合，搭建基于云端的農業病蟲草害大數據圖文數據庫系統，旨在實時更新、展示多源異構病蟲草害數據和對相關的海量數據進行儲存和處理。

1相關概念及關鍵技術

1.1農業病蟲草害大數據的特點

隨著互聯網及物聯網的發展，我國病蟲草害各類數據資源越來越多，逐步呈現出數量巨大、結構復雜、形式多樣和防治技術繁多等明顯的大數據特征，使得人們無法快速獲取、查閱和儲存相關病蟲草害信息。

①病蟲草害發生期間產生龐大數據量。現代化農業對病蟲草害的監測現已趨于成熟，各類傳感器分布在農業種植區域實時監測農業病蟲草害發生前中后期所體現的病征，以至產生的數據量達到PB（petabyte）單位級[9]。

②病蟲草害數據種類繁多。我國種植作物的種類已超過千種，不同作物不同生長時期發生的病蟲草害都有可能存在不同，這使得病蟲草害的種類繁多。

③病蟲草害數據類型多樣。數據來源于遙感傳感，視頻、圖片多媒體，表格、文本，特征表現為多源異構。

④病蟲草害數據存儲。需要結合分布式存儲、云計算，實現低成本、低功耗、高可靠的目標。

1.2基于云端的農業病蟲草害大數據關鍵技術

病蟲草害大數據的發展對傳統的數據存儲、分類處理、分析展示技術體系提出巨大挑戰，必須要在采集數據、標準設置、分析處理、系統展現等方面進行全新的技術升級。針對數據存儲，在多個商用機器上運用Spark搭建大規模集群，并使用HDFS分布式文件系統、MongoDB數據庫；針對數據展示，依據作物基本情況將病蟲草害進行分類，分類別展示作物病蟲草害數據[10]。

目前，傳統關系型數據庫應用較為成熟的有Oracle、MySQL數據庫，然而已有的病蟲草害數據庫對分布式處理不能提供較為良好的支持，對多用戶的高并發訪問和計算有所欠缺，共享性和擴展性不強。因此，將多源異構數據存儲在高性能數據庫MongoDB上，放置于Spark云端，發揮其擴展性快速、靈活處理相關數據，從而構建基于云端的農業病蟲草害大數據圖文數據庫系統以供用戶使用。系統結構如圖1所示。

2病蟲草害大數據獲取與分類

2.1病蟲草害大數據的獲取

多源性、異構性是病蟲草害大數據的主要特征，是數據獲取的難題之一。針對該特性，選取病蟲草害大數據的結構化數據和部分非結構化數據進行存儲和展示。結構化數據是經過專業化、系統化處理后的數據，可通過建立索引存儲在數據庫中，例如現有專業病蟲草害數據庫、農業信息網站等。

病蟲草害大數據的收集主要通過以下2個方式：

①高校和相關農業科研單位。

安徽省農業科學院農業經濟與信息研究所已在病蟲草害信息資源采集與整理領域開展了近20年的工作，采集各類具有自主知識產權的病蟲草害圖像50余萬幅，整理文字逾1 000萬字，出版病蟲害科普讀物近百冊，且與多家科研院所保持長期合作關系，聯合開展相關的數據收集與整理。數據獲取方式主要包括科研調查、實地采集、試驗監測、專家咨詢等。這些數據是該數據庫的主要數據源，通過對獲取的數據進行結構化整理、分析、審核，最后按照分類模式存儲數據，從而實現了數據的共享、可視化和應用分析。

②農業信息網站和相關數據庫。

在信息化快速發展的社會，農業信息網站和相關數據庫為數據獲取奠定了基礎。例如，中國農業信息網以及各地的農業信息網，提供豐富而又全面的農業信息資訊和具有當地特色的病蟲草害圖文數據；其他涉農數據庫，如農業科技信息數據庫、農業科技期刊全文數據等，也均可提供豐富的數據。此外，一些綜合性數據庫也提供了大量的病蟲草害數據，如中國知網、萬方數據、維普等，只要鍵入病蟲草害關鍵詞，就可以獲取相關論文、成果、專利等數據信息。

2.2病蟲草害大數據的分類

我國是農業大國，農作物種類繁多，根據用戶使用習慣，病蟲害數據的分類沿襲了農作物的分類，分為農作物病蟲害、蔬菜病蟲害和果樹病蟲害。其中，農作物主要包括禾谷類作物、薯類作物、綠肥作物、豆類作物、經濟作物、熱帶亞熱帶作物等；蔬菜包括白菜類、甘藍類、綠葉菜類、茄果類、豆莢類、瓜類和多年生菜類等；果樹則主要包括仁果類、核果類、漿果類、堅果類、雜果類、柑桔類和熱帶及亞熱帶果類。每個二級分類下又對應著不同的產品，如禾谷類主要包括水稻、小麥、大麥、玉米、高粱、粟等。鑒于雜草的防治方法與其生物學分類地位相關性較高，筆者設計的圖文數據庫對雜草的分類也按生物學分類進行劃分，主要包括孢子植物、單子葉植物和雙子葉植物。

3數據存儲層及數據庫設計

3.1數據存儲層架構和部署

主要使用MySQL數據庫存儲無需改變的數據，采用Spark框架構建分布式存儲管理平臺，對實時傳感數據進行存儲管理，實現數據存儲的高可靠性、高擴展性。隨著農業作物種類的增長，農業病蟲草害數據量呈爆炸式上升，現有的數據庫系統已無法滿足海量數據的存儲與計算要求，因此筆者設計了實現基于Spark云計算平臺的病蟲草害圖文數據庫，實現海量數據的高效安全的存儲和精確的分類信息展示。

Apache Spark 是近年來發展較快的分布式并行數據處理框架，是專為大規模數據處理而設計的快速通用的計算引擎。Spark是一種與 Hadoop 相似的開源集群計算環境，但Spark使用內存緩存機制，它不僅能夠提供交互式查詢外，而且優化了迭代算法的性能，提高計算效率。此外，Spark還增加了流數據處理、圖數據處理等更為高級的數據處理能力，可用于構建大型、低延遲的數據分析應用程序，其生態系統如圖2所示。

在搭建服務器的集群環境時，設置2臺服務器分別作為主節點和備用主節點，每臺服務器上安裝Spark；另設3臺服務器作為子節點，配置為4 GB內存、1 T硬盤。系統部署模型如圖3所示。

3.2數據庫內容設計

針對現有農業病蟲草害特性與防治的研究，農業病蟲草害圖文數據庫對其進一步分析處理，主要包含基本描述數據、為害癥狀數據、發生因素數據、病原物數據、侵染循環數據、防治方法數據和圖冊數據等信息。其中，基本描述數據是指描述不同作物病蟲草害的基本屬性信息，包括病蟲草害的中文名稱、學名、異名和簡要介紹等；為害癥狀數據是描述病蟲草害的種類和其對應癥狀信息，包括病蟲草害的種類、葉片病斑描述、植物損害等；發生因素數據是指描述病蟲草害發生密切相關的生物學特征，包括發生期、溫度、濕度以及其他相關天氣因素；病原物數據是指致使發病的病原物的基本生理信息，包括病原物名稱、屬類、性狀、生長環境和周期等；侵染循環數據則是描述病蟲草害侵入植物的過程，主要包括初侵染、侵入和傳播；防治方法數據主要描述針對病征所采取的防治方法，包括基本防治、種子預處理、藥劑治理和生物治理；圖冊數據則是展示病害、害蟲和雜草的外觀形態等。

安徽農業科學2017年

3.3數據庫結構設計

為了持久化存儲病蟲草害數據，選用基于分布式文件存儲的、可為WEB應用提供可擴展的高性能數據存儲，可存儲復雜數據類型的MongoDB數據庫，并將其與MySQL數據庫相結合，為數據存儲提供技術支撐。

數據庫包含類別信息、類型信息、標簽信息、病蟲草害信息和圖片信息5張數據表以及1個病蟲草害圖庫。除病害外，同一種作物上可以發生多種害蟲和雜草，同一種害蟲和雜草也可以發生在多種作物上，所以害蟲和雜草與作物的聯系皆是一對多的關系。通過以上對病蟲害草相關內容的深入研究與分析，在MongoDB中存儲時，病蟲草害信息以描述其基本信息，其存儲邏輯如表1所示。圖片信息表則存儲病蟲草害病征圖片的名稱，通過與圖庫中的圖片構建索引進行查找，其存儲邏輯如表2所示。病蟲草害圖庫中對應圖片信息表存儲各個病蟲草害的病征圖片，使用時將圖片轉換成圖片流從本地上傳至HDFS，從而被Web系統所利用。

4系統設計與實現

4.1系統設計

基于云端的農業病蟲草害大數據圖文數據庫系統分為前臺系統和后臺系統：前臺系統主要提供基本描述、為害癥狀、發生因素、病原物、侵染循環、防治方法、圖冊等七大模塊，充分展示服務器端存儲的病蟲草害數據庫；后臺系統則主要提供系統管理、病蟲害管理和類別管理3個模塊，從而實現客戶端對服務器端數據的添加與更新。系統總體設計如圖4所示。

4.2系統應用

農業病蟲草害圖文數據庫系統目前已經正式投入使用。圖5為數據庫中水稻病害稻瘟病的圖文界面，用戶可查看稻瘟病英文名、異名、簡介、為害癥狀、發生因素、病原物、侵染循環、防治方法和相關病征圖片等。

農業病蟲草害圖文數據庫后臺系統則分為系統管理和業務操作，其中系統管理主要提供管理員信息的設置；業務操作則主要包括病蟲害管理和類別管理，病蟲害管理頁面可實現病蟲草害信息的添加和已有信息的更改，類別管理頁面可實現農業種類的添加與編輯。后臺管理系統提供了豐富的數據管理功能，能夠實現對病蟲草害大數據的快速更新與展示。后臺管理界面如圖6所示。

5結語

筆者在深入研究農業病蟲草害大數據的基礎上，對各種類病蟲害相關信息進行了總結，結合數據庫系統功能與結構的研究，采用Spark核心技術搭建分布式集群，利用HDFS分布式文件系統、MongoDB和MySQL，設計實現基于云端的農業病蟲草害大數據圖文數據庫系統，實現海量病蟲草害數據的實時獲取、更新以及高效的存儲管理。筆者采用多級分類的形式，解決單一品種數據庫無法滿足現有對病蟲草害認知需求的問題。該系統在應用與推廣后，驗證了其可行性，并具有以下優點：界面清晰、操作便捷；采用HTML5自適應技

術，兼容互聯網各類平臺，擴展性好；農業種類分類詳細，即

使是

普通農戶依然可以快捷獲取病蟲草害相關信息。此外，該數據庫系統的設計與實現，為病蟲草害信息建立了集成的信息服務平臺，在規范農業病蟲草害的數字化管理、促進信息共享、為農業病蟲草害研究和防治提供理論支撐等方面發揮了積極的作用。

參考文獻

[1] 籍延寶.農業主要病蟲害監測預警系統通用平臺的開發及初步應用[D].北京：中國農業大學，2014.

[2] 楊懷文.我國農業病蟲害生物防治應用研究進展[J].科技導報，2007（7）：56-60.

[3] 謝潤梅.農業大數據的獲取與利用[J].安徽農業科學，2015，43（30）：383-385.

[4] 華雪琦，孫明喆，趙慧彤，等.農業物聯網數據共享系統設計與研發[J].農業技術與裝備，2016（1）：41-43，46.

[5] 陶佰睿，李春輝，苗鳳娟，等.基于云端的農業大數據采集與管理系統淺析[J].工業和信息化教育，2016（9）：81-89.

[6] 柴進.基于Hadoop的農業數據挖掘系統的研究與實現[D].北京：北京工業大學，2015.

[7] 王長委，胡月明，張俊平.面向對象的病蟲害數據庫研究與建立[C]//中國地理信息系統協會第四次會員代表大會暨第十一屆年會論文集.北京：中國地理信息系統協會，2007：703-710.

[8] 余一鳴.上海蔬菜病蟲害及其防治技術咨詢服務平臺的構建與應用[D].上海：上海師范大學，2015.

[9] 倪冬平.面向農作物病蟲草害數據的XML轉換和檢索方法研究與應用[D].合肥：安徽農業大學，2012.

[10] 郝進義.數據庫設計規范及設計技巧研究[J].計算機光盤軟件與應用，2012（12）：176-177.