農業信息化資源管理現狀及大數據在其中的應用

董定超 張慧堅

[摘 要] 農業信息化資源管理是為了服務農業，提高農業信息資源利用價值而采取的一系列措施。農業資源管理在數十年的發展中取得了豐碩成果。本文簡述了農業信息化資源管理的發展現狀，分析了農業信息化管理特點，總結了目前存在的問題，并提出了基于大數據的農業信息化資源管理方法和對策，為農業信息化資源管理提供了新的途徑。

[關鍵詞] 大數據；農業信息化；資源；信息技術

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2014 . 21. 058

[中圖分類號] F302.4 [文獻標識碼] A [文章編號] 1673 - 0194（2014）21- 0077- 03

0 前 言

農業信息化資源是指通過科技、政策與經濟等多種手段對農業資源、農業生產、農產品流通服務與監管過程中獲得的規劃、測量、控制、協調、服務等一系列數據集合。海量農業信息化資源因來源的多樣以及數據格式的復雜，分布較分散。目前大多數農業資源管理仍然采用傳統的分布式數據庫架構存儲和管理農業數據 [1-2]。

大數據是新一代信息技術的集中反映，是一個應用驅動性很強的技術服務領域，無法用現有的軟件工具提取、存儲、搜索、共享、分析和處理海量的、復雜的數據集合[3]。由于各類傳感器日益普及，通訊技術的飛躍以及網絡基礎設施的高速發展，越來越多的領域如金融、電商、廣告、醫療、生物、物流等開始有意識地收集和積累大量數據，并從中挖掘以前不曾也不可能觸及的價值。過去兩年所產生的數據量為有史以來所有數據量的90%[4]，其中2013年中國產生的數據總量超過0.8ZB（相當于8億TB），是2012年所產生的數據量的2倍，相當于2009年全球的數據總量。大數據已深入到各個行業，被譽為信息技術的又一次浪潮，為技術進步和行業發展帶來全新方向。

農業信息化資源數據的增長速度越來越快，數據結構越發復雜，數據量不斷增大，數據分析應用越來越困難。進入大數據時代，研究思維的發散使農業工作者將大數據技術引入農業，以解決農業數據的多樣、復雜和冗余，擺脫農業信息化資源數據的應用依賴，使數據搜索、比較、聚類和分析簡單有效。本文對農業信息資源管理的發展現狀進行概述，并結合大數據的特點，指出其在農業信息資源管理中的應用前景，為農業信息資源化管理提供參考。

1 農業信息化數據管理發展歷程

改革開放30年來，中國進行了多次農業資源調查和區劃，完成了大量基礎性工作，積累了大量的土地資源、水資源、氣候資源、生物資源、農村能源、海岸帶資源、生態環境、社會和農村經濟等方面的圖件、數據和文字報告等資料[5]。20世紀80年代，信息技術的崛起使信息化手段開始向農業滲透，計算機、數據庫和3S技術開始運用于農業，土地、水域、氣象等數據的采集和管理，海量數據通過信息技術手段獲得，與傳統調查、測量數據結合，成為農業生產中數據分析應用的重要來源，農業已成為信息技術的重要應用領域。

2 目前農業信息化資源數據類型及管理手段

2.1 農業信息化資源數據類型

（1）統計數據。統計數據是農業發展的基本，也是對農業實際情況的反映，包括農業基礎記錄數據、農業社會經濟統計數據、農產品產量數據、氣象觀測數據等[6]。其中農業社會經濟統計數據包括農業人口、農村勞動力、農業各項生產產值；農業基礎技術數據包括有效灌溉面積、農業機械擁有量、肥料使用量，以及各種農作物播種面積、產量等相關數據。農業統計數據能夠全面掌握農業發展情況，是農業發展情況的重要保證，是農業建設的重點依據，也是農業評估及政策制定的基礎數據[7]。

（2）空間數據。空間數據是通過空間分布特征，用一種點、線、面及空間實體管理來展現資源位置、形狀和大小的數據形式，具有定位、定性和時空管理等特性。農業信息化資源空間數據信息化研究始于3S技術的出現，其目的是通過地理信息系統（GIS）、遙感（RS）和空間定位系統（GPS）等技術手段將農業專題地圖數據進行系統化管理[8-9]。

空間數據在區域農業資源展現方面有著無法替代的優勢，多元信息的展示是空間數據的獨有特點，區域農業資源規劃、農業施肥管理、農作物適宜性評價、農業環境保護、農產品流通、農業病蟲害防治因空間數據的引入，使得農業生產和農業決策得到了更準確和直觀的數據支撐[10-14]。

（3）多媒體數據。多媒體數據是農業信息化資源管理近幾年發展的新形式，主要體現形式是通過圖像、音頻、視頻和動畫等數據格式，將農業基礎數據管理、農業生產、農產品流通等過程和方式以及復雜和專業的理論形象化展現，把農業科技成果和先進技術用通俗易懂的形式向管理方和農民展示[15]。多媒體圖、文、聲、像并茂的優點，在水稻栽培專家系統、棉花施肥專家系統、玉米栽培專家系統、飼料配方專家系統等均有應用[16]。

2.2 農業信息化資源的管理模式

（1）數據庫管理信息系統在農業信息化資源管理中的應用。數據庫管理信息系統在農業中已有較成熟的應用。國家級農業資源數據庫自20世紀80年代初開始建立，經過30多年的發展，技術成熟，數據量已有相當規模，包括國家農業科學數據共享中心、中國農技網第三方農業技術平臺、中國農作物種子資源數據庫和中國西南藥用植物資源數據庫等。與此同時，各省份也十分重視農業資源數據管理，構建了包括北京農業資源數據庫、江蘇省農業資源數據庫、寧夏農業數據庫、德州市農業氣象數據庫和簡陽市農業資源數據庫等省市和地方數據庫。農業資源數據庫的建立，是新時期農業區劃、農業資源管理的重要成果，收集了技術、信息、交易的基礎信息，打造了農業戰略體系，實現了農業信息化，并使農業信息成功服務于工業和服務業。

（2）3S技術結合數據庫管理系統在農業信息化資源管理中的應用。農業資源內容繁雜，除類型和數據量的差異外，還涉及空間和展現形式差異。GIS技術可將空間數據和屬性數據緊密關聯，以數據的一致性體現資源的整體性，能構建完整有序的數據體系，并可將數據以圖件的形式直觀展現。GIS與農業的結合，誕生了“精準農業”，延伸了農業資源信息管理、區域農業規劃、農作物估產、農業可持續發展、農業環境監測和農業生產潛力研究等諸多方面。RS技術的出現，使人類可在不接觸的情況下獲得作物生長、農業生態環境在地表的分布信息，是獲得作物養分數據、土地利用現狀數據和土壤數據的重要手段。RS的數據成果，是GIS決策和展現的基礎之一。GPS配合GIS和RS，可在大比例尺數據基礎上，將具體位置數據點精確測量，構成了精準農業中的重要一環。

3S技術是信息技術發展的產物，但是3S技術與數據庫技術和網絡技術的結合，進一步提升了農業資源管理的信息化水平。經過十多年的發展，WebGIS、空間數據庫技術成為農業資源管理的主要信息手段，全國涌現了一大批先進的農業信息化資源管理系統。浙江省基于WebGIS 的農業資源信息系統就是一個整合了網絡系統、農業資源信息數據庫和GIS 系統，面向Internet/Intranet，以數據庫系統為支撐的農業資源管理系統[17]；江蘇省農業資源地理信息系統的構建，采用了空間數據庫和網頁實時性技術開發，對該省農業資源數據進行了系統管理[18]；新疆耕地資源數據庫的構建基于WebGIS和空間數據庫技術，構建了基于B/S模式的三層應用體系，實現了信息化手段對農業耕地資源的管理[19]；海南省橡膠資源信息系統以WebGIS體系結構和空間數據模型為技術基礎，構建了具有開放性、可共享性和實效性的農業資源管理系統[20]。

3 目前農業資源管理存在的問題

3.1 農業資源管理層級脫節

“十一五”以來，農業資源管理取得了巨大成就，以省為單位的農業資源管理與信息服務平臺迅速發展，農業資源得到了全面和詳盡的獲取與保存，但直接可用于農業生產的資源管理應用較少，盡管在2000年后出現了以縣為單位的縣域農業資源管理系統，但自上而下的銜接不夠，農業資源數據難以充分發揮作用。

3.2 部門和區域各自為政，資源融合力度差

農業資源數據因調查和獲取手段差異，相關數據如地域、水文、氣象和作物產量數據涉及農業、國土、水資源和氣象等多個部門，數據格式、門類、語義不一致，區域和部門間重復收集管理，各類資源管理系統傳輸不暢、融合性低，限制了數據流通、共享和有效利用。

3.3 資源數據重復，信息重疊，類別不全

因政策的出臺以及采集手段的演進，農業資源數據因技術不同、采集方法差異存在重復和重疊，數據難以按照標準統一整合。另外不同省份、不同部門信息化建設水平的差異，導致農業資源數據門類不全、數據分散，集成化程度較低。

4 大數據在農業信息化數據管理中的應用前景

4.1 大數據在農業信息化資源管理的應用基礎

農業信息化資源經過多年的發展，積累了分布式管理的海量數據，而且由于農業信息化資源的諸多類型，存在大量非結構化數據。隨著農業科技發展，物聯網、云計算等新型信息手段的應用，非結構化數據增長勢頭迅猛，農業信息化資源已成為名副其實的大數據，如何將數據做好統計并充分利用發揮其價值是大數據技術在農業信息化資源管理的重要任務[21-22]。

4.2 面向農業信息化資源廣度，發揮大數據分布與集成功能

以現有數據為基礎，構建分布式數據部署應用，以區域和部門數據為核心，借助大數據分布式數據管理引擎和分布式文件系統（DFS）[23]優化效能，突破分布式非關系型數據管理與處理技術，融合農業信息化資源異構數據，通過數據組織技術建立大數據索引模型，打破農業資源分散、片面的應用局限，實現區域和部門間農業資源移動、備份和復制，優化存儲和計算效能，整合國土、環境、水文等基礎數據，涵蓋種植業、林業、畜牧水產養殖業和農產品加工業等行業數據，從數據的廣度和專業性出發，利用大數據挖掘和關聯技術，構建非專業領域的數據應用，構建農業信息化資源本應有的關聯[24]。

4.3 面向農業產業鏈深度，發揮大數據挖掘與分析功能

將農業產業各個環節通過大數據關聯，針對行業需求開展大數據的垂直應用，將生產、加工、物流、營銷和回溯用大數據進行特異群組挖掘，突破對象型數據連接和融合，僅從數據本身進行NoSQL應用以及以語義為基礎的大數據挖掘和分析[25-26]，將農業資源以序列模式發現和管理，面向空間數據、統計數據、時態數據進行決策支持，以松耦合方式管理和運用。目前絕大多數農業管理都將農業產業鏈分割，此舉便于管理，但是卻丟失了農業資源內在的關聯，如農業生產、農產品存儲和流通、農機由不同部門管理和調配。借助大數據，在不移動和拷貝各部門數據的情況下，通過大數據引擎將數據以分布式文件系統的形式耦合，具體應用時則通過映射和過濾將目標數據提取分析，得到最合適的數據集，而大數據對龐大的數據的處理和建模能力，則可將農業資源進行研究、分析和判斷，建立信息系統，決策將更加科學化[27]。

4.4 面向農業和行業外部數據，構建“大數據驅動農業”模式

農業資源數據的收集和應用，不僅僅涉及農業單個行業，還包括社會、經濟和服務等各個行業[28]。單純從農業考慮農業，必然會發生農業生產的偏差。通過大數據驅動，以農業信息化資源為核心，將其他行業數據以序列和并列模式與其關聯，運用大數據底層技術對關聯進行分層和模擬，打造農業信息化資源各類針對性解決方案，把管理建立在數據分析的基礎上，做到對農業的科學管理，從而更加合理地制定政策和措施，有效監管和扶持[29-31]。

通過整合農業信息化資源內部和外部數據，農業與行業外數據，建立數據模型，針對農業各項應用實施，形成惠及農業、農民和農村的數據共享互通，形成大數據網絡支撐，是大數據在農業應用的終極目標。

主要參考文獻

[1]陳印軍，盧布，楊瑞珍，等.農業資源管理研究發展趨勢與未來展望[J].中國農業資源與區劃， 2007， 28（6）： 21-25

[2]鐘求喜，朱昕.分布式數據檢索系統的設計與實現[J].湖南大學學報：自然科學版， 2010， 37（1）： 86-88.

[3]李清泉，李德仁.大數據GIS[J].武漢大學學報：信息科學版，2014，6（39）：641-644.

[4]Ahalt S C. Why Data Science[J]. Communications of the CCF， 2013， 9（12）：11-15.

[5]曹爾辰，王秀山.我國省級農業資源信息管理的現狀和發展設想[J].中國農業資源與區劃，2001（29）：37-39.

[6]段建軍，王彥國，王曉風，等.1957-2006年塔里木河流域氣候變化和人類活動對水資源和生態環境的影響[J].冰川凍土，2009，31（5）：781-791.

[7]孫鴻烈.青藏高原科學考察研究的回顧與展望[J].資源科學，2000，22（3）：6-8.

[8]畢碩本，王橋，徐秀華.地理信息系統：軟件工程的原理與方法[M].北京：科學出版社，2003.

[9]王家耀.地圖學與地理信息工程研究[M].北京：科學出版社，2005.

[10]呂曉男，孟賜福，麻萬諸.重金屬與土壤環境質量及食物安全問題研究[J].中國生態農業學報，2007，15（2）：198-200.

[11]王少青.空間數據庫技術在海南橡膠園管理的應用[D].重慶：西南大學，2009.

[12]王彥集，張瑞瑞，陳立平，等.農田環境信息遠程采集和Web發布系統的實現[J].農業工程學報，2008，24（z2）：279-282.

[13]李衛江，吳永新，茅國芳.基于WebGIS與模型的農業經濟監測與評價系統的建立[J].農業工程學報，2010，26（5）：213-219.

[14]潘喻春，趙春江.地理信息技術在精準農業中的應用[J].農業工程學報，2003，19（4）：1- 6.

[15]梅安新，彭望祿，秦其明，等.遙感導論[M].北京：高等教育出版社，2001：261-286.

[16]王博，羅微，張培松.信息技術在農業資源管理中應用的現狀與展望[J].農業網絡信息，2009（9）：5-9.

[17]祝利莉，鄭可鋒，胡為群，等.基于WebGIS的省域尺度農業資源信息系統的設計與開發[J].浙江農業學報，2006，18（4）：221-225.

[18]胡雪瓊.江蘇省農業資源地理信息系統的組建與開發[D].南京：南京氣象學院，2004.

[19]鄒鵬.基于WebGIS的新疆耕地資源數據庫的建設及其應用研究[D].烏魯木齊：新疆農業大學，2012.

[20]侍慧宇.基于WebGIS的海南橡膠資源信息系統研究[D].重慶：西南大學，2009.

[21]李志剛.大數據：大價值、大機遇、大變革[M].北京：電子工業出版社，2012.

[22]Clifford Lynch. Big data： How Do Your Data Grow？ [J]. Nature， 2008， 455（7209） ：28 -29.

[23]DataStax Corporation. Big Data： Beyond the Hype，Why Big Data Matters to You[R]. White paper， 2012.

[24]王忠.美國推動大數據技術發展的戰略價值及啟示[J].中國發展觀察，2012（6） ： 44-45.

[25]Franks， Bill， Taming. The Big Data Tidal Wave[M].New York，NY：John Wiley&Sons， 2012.

[26]H V Alexandres. Jagadish，Challenges and Opportunities with Big Data [J].Proceedings of the VLDB Endowment， 2012， 5 （12）：2032-2033.

[27]孟小峰，慈祥. 大數據管理、概念、技術與挑戰[J].計算機研究與發展， 2013， 50（1）：146-169.

[28]李樹奎，李同昇，周杜輝.區域社會經濟與農業技術擴散環境協調發展研究——以西北地區為例[J].地域研究與開發，2011（30）：43-46

[29]黃伯仲， 沈漢威， 克里斯托弗·約翰遜，等. 超大規模數據可視分析十大挑戰[J]. 中國計算機學會通訊，2012，8（9）：38-43.

[30]Burstein F，Holsapple C W. Handbook of Decision Support System [M]. Berlin： Springer，2008.

[31]Konstantin Shvachko， Hairong Kuang， Sanjay Radia， Robert Chansler. The Hadoop Distributed File System[C]//Mass Storage Systems and Technologies （MSST）， 2010 IEEE 26th Symposium， 2010：1-10.