徐燕飛
【摘? ?要】 特色農業在發展過程中會產生大量有價值的數據信息,通過利用大數據技術,對其進行有效分析和應用,可以實現特色農業發展的科學化、現代化、精準化、可追溯化等。分析了云浮地區特色農業大數據應用價值、現狀及問題,提出了云浮特色農業大數據應用平臺的建設目標、原則要求、整體架構和技術架構,并介紹了其主要功能,以增強云浮特色農業發展的競爭力。
【關鍵詞】 大數據;特色農業;應用平臺;架構;應用領域
[Abstract] Characteristic agriculture will produce a large amount of valuable data information in the process of development. By using big data technology and analyzing and applying it effectively, we can realize the scientificalization, modernization, precision and traceability of characteristic agriculture development. This paper analyses the application value, current situation and problems of the characteristic agricultural big data application platform in Yunfu area, puts forward the construction objectives, principles, requirements, overall structure and technical framework of the application platform, and introduces its main functions in order to enhance the competitiveness of the development of Yunfu characteristic agriculture.
[Keywords] data; characteristic agriculture; application platform; framework; application area
1? 農業大數據概述及其應用價值
1.1? 概述
農業大數據是指在農業及其相關領域所產生出來的各種不同類型的數據信息的集合,包括大數據的理念、技術和應用方法等,具體涉及到環境數據(氣候、土壤、濕度、溫度等)資源數據(種子、化肥、農資等)、生產經營數據(種植、施肥、災害防治等)、管理數據(倉儲、加工、物流配送等)、市場數據(供給、需求、運輸、銷售、消費、售后服務等)等內容,貫穿于整個農業種植、生產、管理、物流、銷售及消費等全供應鏈過程中,各個環節都會產生海量的數據信息。同時,還涉及到與農業發展相關的其他行業或領域的數據,只有對這些數據進行采集、加工、分析、整合、共享和應用,才能發揮其獨特價值,促進特色農業向科學化、現代化、精準化、可追溯化方向發展。
1.2? 應用價值
特色農業的發展離不開大數據技術的支持,通過構建農業大數據應用平臺,對大數據進行采集、存儲、分析、處理與應用等,可以推動農業產量和利潤率的提高。其應用價值表現為:(1)可以整合農業大數據資源。農業數據跨期長、數量多、種類齊、結構復雜、關聯性強等,通過大數據應用平臺,實現農業大數據的標準化、規范化等,解決數據孤島,實現數據的整合、共享、應用與服務。(2)通過對農業大數據資源的采集、獲取等,可以保障數據信息渠道的暢通,完善數據監測和統計、分析和預測、信息預警和發布等,實現特色農業全供應鏈的數據應用和服務,實現特色農業發展的科學化、智能化、精準化、預警化、可追溯化以及數據共享服務等,為政府相關部門提供科學化的決策依據,為農業經營者提供個性化、深度化的信息服務,實現特色農業增產增值。
2? ?大數據在云浮特色農業發展中的應用現狀及其問題
隨著云浮地區以云計算與大數據、先進裝備制造、生物醫藥、康養旅游、特色農業的融合發展,大數據、云計算、物聯網等信息處理與采集技術在特色農業上的應用日益增多,為農業大數據的產生提供了科學依據和必要手段。然而,云浮特色農業大數據的決策和應用還處于初始階段,大數據條件和應用平臺建設還存在著一些問題,有待進一步完善和提高,以促進特色農業大數據的采集、整合、共享及應用,并以此實現特色農業增產和增值,實現特色農業轉型升級和可持續發展,進而提高云浮特色農業發展的競爭力。
2.1? 基本現狀
近幾年,隨著云浮“四新一特”產業的發展,一二三產業逐步融合發展,產生了一批較為先進的特色農業企業,如廣東溫氏食品集團股份有限公司等,在農業信息化建設方面的投入也日益加大,如“溫氏智能養殖”手機APP,可采集氣溫、濕度、日照等基本數據,實現遠程在線管理;積累了初始的的農作物病蟲害數據,并利用大數據分析軟件進行關聯度分析,建立了氣候數據與大米病害蟲之間的監測和預警模型;建立了部分信息系統、決策支持數據平臺,如農業生產信息、氣候數據、田間耕作信息等;建立了初步的信息服務平臺,如數據采集、監測、分析、預測等幾個模塊和功能。
2.2? 主要問題
特色農業大數據的基礎數據采集不夠充分、數據離散缺失、數據結構不夠完善、數據的精準化、標準化和規范化水平較低、自動化和智能化采集功能薄弱、時效性低、數據共享不暢等,導致大數據的采集和利用效率較低,采集成本較高等問題[1],難以充分發揮農業大數據的價值。
3? 特色農業大數據應用平臺建設目標、設計原則及架構
3.1? 建設目標
利用云計算、大數據、遙感等先進技術,設計并構建特色農業大數據應用平臺,并采集、積累覆蓋氣候、價格、市場等各類型數據,并通過數據交叉驗證、標準化等處理,逐步形成以大數據平臺為載體、以大數據挖掘分析為關鍵、以大數據應用為導向、以大數據安全為保障的整體架構,實現特色農業大數據從簡單粗放、低效、分散、高成本向集約化、高效、共享、低成本轉變[2];堅持問題和需求導向,為數據使用者提供深度化和個性化定制服務,充分發揮大數據在特色農業的生產決策、加工、經營管理、市場與服務領域全過程、大范圍應用,有效促進特色農業發展。
3.2? 原則要求
(1)保證數據多源匯集與兼容,要將農業相關數據,如往期數據與現實數據、同構化數據與異構化數據等,利用大數據技術進行匯集和兼容,有效消除數據壁壘和孤島,發揮各類型數據的價值;[3](2)實現數據的標準化、規范化及統一化管理。大數據平臺應該建立統一化的數據標準和規范,既便于數據的應用,又減少因分散建立和運維數據的成本;(3)充分保障數據隱私和安全。數據隱私和安全是數據提供者最為敏感和關注的核心問題,大數據應用平臺要設置多級隱私保護權限來保護用戶的數據隱私,對于要共享的數據,要進行甄別和審核;(4)實現個性化應用與開放易用。數據使用者可以根據自身的實際需求和分析能力獲得個性化數據支持和服務,要根據用戶特點,開發復雜數據分析、應用的工具和方法,以便使用者可以方便、快捷地應用數據,有效滿足不同數據使用者需求;(5)建機立制、整合資源、提供保障。組建云浮市特色農業大數據應用平臺建設領導機構,加強分工協作,明確權責,加強人才引進和培訓,提供政策優惠,鼓勵和引導電信企業、IT企業、社會資本和農業經營主體等參與投資建設,建立監督、考核和獎懲機制,從各方面保障平臺建設的順利實施。
3.3? 架構分析
3.3.1整體架構? 特色農業大數據應用平臺的設計,既要能滿足大規模數據的批量處理功能,還要滿足對小規模數據的實時響應功能,這樣才有應用價值。其整體架構如下:
基礎設備層:是大數據應用平臺的載體,包括輸入、存儲、處理、網絡及輸出設備等,以保證大數據應用平臺的數據采集、存儲、整理、挖掘及應用的有效運行。可以利用虛擬化技術對各類設備進行虛擬化,形成統一的虛擬化資源池,并提供統一的資源服務和支持【2】。
數據采集層:針對多種類型的數據,開放數據接口,可以連接多種數據讀取設備,方便讀取數據;利用RFID、GPS、二維碼、傳感器、遙感等設備及技術,直接實時采集種植面積濕度、溫度、農產品價格等信息。利用大數據和云計算相關技術,對農業基礎數據資源進行采集、分析、存儲等,如通過價格數據來進行農產品價格的預警和預測,為調整農產品結構提供參考和依據等。
數據處理層:通過對多源的異構化數據進行標準化、規范化處理和交叉驗證,以提高數據的可信度及可靠性,設置數據使用和管理權限,以保障共享數據的安全[4]。可以利用云計算技術及其強大的服務能力,設計統一的數據服務平臺,提供農業大數據的統計匯總、分析挖掘及數據管理、應用和監測功能等。
數據應用層:提供不同類型、層次的數據支持和服務,設計數據開放接口,支持電腦及手機終端等,滿足個性化和深度化的數據定制要求,提供便捷的、易用的、直觀的、可視化的服務,如數據采集、分析、共享以及管理服務等[4]。
3.3.2平臺技術架構? 應用平臺要由數據采集、存儲、處理、分析、挖掘及應用等環節組成,既要能為政府相關部門、科研院所、相關企業或個人提供必要的參考依據,也要能提供農業數據共享、服務功能,為農業數據的利用和平臺的應用提供技術上的可行性。具體分析如下:
數據采集環節。特色農業的發展受自然環境、氣候、地理地勢等因素的影響和制約, 因此,農業大數據的采集、獲取必然要采集如地理、氣候、土壤等自然與環境方面的相關數據,農業大數據采集內容還包括市場價格、生產、技術、政策等數據,涉及的范圍非常廣泛且復雜,要收集到完善的數據存在很大困難。主要有以下幾種采集方式:通過物聯網方式采集,如利用智能識別、遠程遙感、傳感器、定位、電子標簽、移動掃描、實時視頻等技術方法,采集農業種植、生產加工、流通配送、銷售等過程和環節中所產生的各類數據信息,并轉換成標準化數據加予利用;還可以利用互聯網web技術,獲取農業種植的氣候、土壤、溫度等及農產品生產、加工、配送、銷售、消費、市場等綜合信息并實現數據共享;通過以上幾種方式無法獲取或需要及時更新的數據信息,還可以采用人工采集方式進行,同時,還要改進和完善的數據源開放接口,以便為數據的輸入、輸出和共享提供方便。
數據預處理環節。數據預處理環節主要有數據清洗、融合、規約等處理方法。數據清洗主要是針對農業發展過程中數據信息種類多、數據來源廣、數據關聯性強等問題,通過數據甄別、篩查、選擇、剔除、均值等方法,整理并優化數據結構和標準,提供開放式處理接口,為提高數據質量,進行精確分析,數據高效利用等提供基礎和便利;數據融合主要是針對非結構化和非標準化的數據進行標準化處理和交叉驗證,對已處理好的數據進行入庫,根據特色農業大數據的應用要求,利用融合技術對數據進行處理,實現特色農業生產過程中多種數據類型的融合;數據規約主要是根據數據采集、存儲要求、精度要求及計算成本等,同時結合特色農業的基本特性,從數據集中篩選出有代表性的樣本子集,進行統計分析;利用數據編碼或轉換技術,剔除不相關或價值不大的數據。
數據存儲環節。大數據存儲主要采用分布式存儲系統,主要有分布式文件管理系統及關系型數據庫、NoSQL 高并發數據庫和內存數據庫,以保證大數據的存儲、備份、轉換及安全管理,[5]以實現數據的安全性、穩定性和可靠性,保障各個主體之間的利益。
數據分析挖掘環節。采用分布式計算混合型處理架構,包括內存計算、批處理、圖計算、交互式分析處理、流處理等引擎。大數據的分析挖掘方法主要有:數理統計分析法、回歸分析法、關聯分析法、聚類分析法、神經網絡分析法、數學建模法等,以實現大數據的準確預測與評價[5],并據此決策,提高特色農業大數據分析和應用能力。
數據可視化環節。主要是對農業大數據進行二維可視化,從而實現大數據檢索、分析結果的直觀、形象展示。可以通過生成趨勢分析圖、實時視頻等方法,發現問題,揭示規律,提供預測服務等,為特色農業發展提供數據條件。
數據應用環節。終端應用主要是實現大數據便捷、直觀展示和預測預警發布。展示特色農業的變化趨勢,并揭示其基本規律,為特色農業發展提供諸如種植面積、農產品產量、市場價格走勢的預測,以及自然災害、病蟲害的預警發布,提供環境質量評價及農業數據的動態變化查詢與監測服務,【5】并實現數據的及時、準確、高效的共享服務,為政府相關部門和農業經營者等提供有效指導。農業大數據應用平臺要能夠提供多種終端的應用服務,如支持電腦、手機等方式的即時瀏覽應用,提供直觀、可靠的可視化演示和數據信息服務。
4? 特色農業大數據應用的主要領域
特色農業大數據應用要以促進云浮地區特色農業向科學化、智能化、精準化、在線化、可追溯化為導向,以加強硬件條件和軟件條件建設為載體,并將其應用貫穿于整個農業種植、生產、管理、物流、銷售及消費等全供應鏈過程及相關領域中。1、組建特色農業大數據應用與推廣中心,完善演示沙盤、多媒體投影、農業機器人等設施設備;2、建立特色農業信息化服務平臺,為相關方提供標準、便捷、精準的數據信息服務;3、建立即時錄入、即時查詢的特色農產品信息可追溯化系統,以實現特色農業生產、加工、流通、質量管理的可追溯化,為經營者和消費者提供客觀、真實、可信及可視化的特色農產品信息服務;4、建立特色農業物聯網及可視化地圖,為特色農業生產經營、流通、信息服務等提供技術支持;5、完善特色農產品的行情監測、預警系統、農業氣象及災害診療系統、農業資源信息化管理系統等,以準確、實時、海量數據的采集、存儲為基礎,對農業大數據進行整理、分析、加工及應用與推廣,逐步建立云浮地區特色農業“線上+線下”相互融合發展的運行管理體系,以促進云浮地區特色農業發展。
5? 結語
特色農業在發展過程中會產生大量有價值的數據信息,通過利用大數據技術,對其進行有效分析和應用,可以實現特色農業發展的科學化、現代化、精準化、可追溯化等。根據云浮特色農業大數據應用的現狀及問題,提出了進一步構建和完善云浮特色農業大數據應用平臺的目標、原則要求、整體架構和技術架構,并分析了架構的主要組成部分,在實際應用和操作過程中,還需根據特色農業和不同用戶的需求進行細化,才能廣泛地匯集覆蓋農業生產環境、種植、加工、倉儲、流通、銷售等供應鏈和各個環節的數據信息,并對多源數據進行標準化處理、分析挖掘、整合、共享及有效應用,為政府決策、科學研究、農業企業管理、個性化農業生產決策等提供科學依據和有效指導,進而增強特色農業發展的競爭力。
參考文獻:
[1] 花登峰.全國農機推廣信息化建設培訓班召開[J].農機科技推廣.2016(9)18-19.
[2] 趙新冬,王 勤,戴 威.電力行業存儲平臺集中管理設計[N].中國信息化周報.2014.10.(008).
[3] 侯 娟.基于云計算的區域調控技術支撐體系建設研究[J].?華北電力大學(北京)碩士論文.2016.
[4] 李 瑾,顧戈琦.基于“互聯網+”的農業大數據平臺構建[J].湖北農業科學.2017(5)1947-1952.
[5] 秦小立,葉 露,李玉萍,劉燕群,梁偉紅.熱帶農業大數據應用平臺設計[J].熱帶農業科學.2018(1)130-136