大數據背景下數字鄉村基礎數據資源體系構建

□王書夢

隨著智慧農業、農村電商、電子政務的發展，農業農村大數據呈現出爆發式增長，大數據技術服務于農村農業領域成為未來發展的趨勢。黨的十九大報告提出實施鄉村振興戰略，在規劃中提出“數字鄉村戰略”，2019 年國家印發了《數字鄉村發展戰略綱要》，2022 年印發了《數字鄉村發展行動計劃》。數字鄉村建設是我國歷經幾十年的農業農村信息化后進入的新時期。數字鄉村發展行動計劃里就數字建設基礎設施、智慧農業、公共服務、鄉村文化、智慧鄉村等方面做了相關部署。

數字鄉村建設是推動農業農村信息化發展的重要舉措，是智慧城市向智慧鄉村的縱向拓展，是“互聯網+農業”等信息技術向農村農業各大領域的應用和融合。數字鄉村的基礎是數據，建設數字鄉村各領域應用的基礎數據資源，對數字鄉村全面發展具有重要意義。

數字鄉村基礎數據資源發展現狀

從鄉村信息化的角度來理解數字鄉村的概念，以農民、政務管理人員、企業人員、土地經營管理人員等多角度調查目前鄉村信息化的現狀，發現數字鄉村基礎數據資源體系存在的問題。從調查的結果來看，農村政務信息化存在職能處室繁多，各部門間信息不互通，缺少統一的業務處理平臺，數據資源無法共享，同一類信息在多處存儲，造成數據資源冗余；缺少大數據處理平臺，辦事效率低，農民辦事難，一件事跑好多部門；缺少黨務、村務等信息發布平臺，農民獲取信息難，很多事無人監管。農村電商迅速興起，同時顯現出大多數農民、農企缺乏專業的電商知識和管理平臺，經營較混亂，產品質量安全無法追溯；農產品的銷售渠道比較單一，農民對產品的市場需求預測能力不足，導致農產品出現滯銷、價格低等狀況。農業生產智能化水平不高，對土質、水分、養分的監測不到位，缺乏科學的、智能化的種植手段；對于某些農作物，農民缺乏相應的技術指導和學習平臺。

數字鄉村基礎數據資源應用體系

大數據背景下構建數字鄉村基礎數據資源應面向實際應用需求，圍繞著組織的核心目標，統一規劃指標體系，有計劃地進行數據的采集、整合、加工、應用、共享、服務及推送。基礎數據資源體系建設的首要任務是明確數字鄉村數據資源的具體應用場景。

針對農村目前的數字應用現狀以及數字鄉村發展相關指導計劃，可將數字鄉村數據資源的應用場景以信息平臺表示分為以下幾種。鄉村綜合辦事信息平臺：政府政務信息服務、社區黨建、交流論壇、微信公眾號、公共設施管理等服務；農產品大數據分析平臺：糧食、棉花、菜、茶、油、果等農產品信息采集、存儲、共享，農產品產供銷一體化管理；農業資源與環境監測平臺：農業自然資源管理、農用設施管理、生態環境監測等；鄉村惠民公共服務平臺：“互聯網+”教育、醫療、就業等服務；鄉村文旅宣傳平臺：網上農貿市場、數字農家樂、特色旅游、特色經濟和招商引資等服務。

六大平臺數據共享、數據互通，不同平臺的同類數據要保持數據格式一致，按統一的數據采集、存儲標準匯集為用戶提供服務。大數據技術蓬勃發展，已應用于各行各業，鄉村大數據資源的不斷增長預示著數字鄉村信息服務各大平臺要充分規劃設計，以保證能夠提供服務。

如圖1 所示，數字鄉村信息服務平臺主要提供資源目錄、搜索引擎、訂閱/發布、數據共享、數據交換、大數據服務。鄉村數據資源目錄提供的數據應從鄉村各類用戶的角度出發，按照農村農業領域的業務標準以及國家電子政務相關標準組織編制。搜索引擎提供關鍵字搜索及農村農業專業術語搜索，便于高效地檢索數據。訂閱/發布提供用戶訂閱信息，發布農業農村相關領域咨詢及重要公告，并及時通知相關人員查看。數據共享、交換服務主要面向各種應用系統和政府相關業務部門，遵循數據共享、交換標準，通過網頁下載、數據庫訪問等方式提供服務。大數據服務主要提供農業信息、農產品信息、農村電商產生數據信息等各類數據的分析和挖掘，包括數據采集、數據清洗、數據建模與分析、數據可視化等服務。

圖1 數字鄉村信息服務平臺應用體系

數字鄉村基礎數據資源體系

鄉村數據資源體系建設，應根據數據資源體系建設的基本流程，遵循農村農業各領域信息化發展的原則和建設標準，統一規劃、設計、管理，同時充分借鑒企業及其他領域的先進技術和經驗，對農業農村數據資源提下進行架構設計。為保證技術方案和體系架構貼合實際并能有效落實，能夠長時間服務于農業、農村、農民，要充分對農業農村領域進行調研，設計出可根據需求進行實時擴展的數據資源服務體系。根據基本內容和建設流程，完成了鄉村基礎數據資源體系總體架構，主要內容包括：標準體系、安全體系、服務體系、應用體系、加工處理體系、數據存儲體系、數據采集體系、基礎設施、管理體系、質量保障體系，如圖2 所示。

圖2 數字鄉村基礎數據資源體系總體架構

第一，鄉村基礎數據資源采集。數據資源的采集決定了數據潛在的價值及意義，可以通過多種途徑和方法進行數據的采集。目前基于大數據技術的數據采集方式主要有以下幾種：一是通過數據庫采集農業農村各業務系統信息，部署像Redis、MongoDB 和HBase 等NoSQL數據庫，各大數據庫之間相互配合完成海量數據的采集。二是通過查看系統日志進行采集，對業務系統日常產生的大量日志數據進行分析。三是利用網絡爬蟲技術和分布式的網頁數據采集技術進行網頁、論壇、交易平臺等數據采集，如抓取農產品交易電商平臺的評論、瀏覽量等數據。四是通過傳感器、攝像頭、監測儀等智能終端來獲取各類信號、圖片、錄像等數據，如農業自然環境監測、農業物聯網、農業遙感等。

第二，鄉村基礎數據資源存儲。調查顯示，目前農業農村常用業務平臺信息存儲多采用結構化的數據存儲方式，利用關系型數據庫軟件存儲。大數據時代為滿足海量多樣化的信息存儲，應考慮滿足大數據分析與挖掘的數據存儲方式來存儲農業遙感、農業物聯網等視頻、音頻、圖片等多樣化的數據。對于鄉村相關領域業務系統來說，像政務文件、政策規定等PDF、WORD 等非結構數據可以用大數據平臺的HDFS 存儲；像網絡輿情、業務日志等半結構數據可以采用 HBASE 存儲；像溫度自動監測、土壤自動監測、濕度自動監測等小時、分鐘級數據提供時序數據庫實現海量數據存儲。

第三，鄉村基礎數據資源加工。數字鄉村建設涉及的業務領域眾多、數據復雜多樣，直接采集獲取的數據往往不能直接用于數據分析，所以需要對獲取的數據進行數據清洗、數據集成、數據變換等數據資源預處理。例如農村飲用水質量監測、環境質量監測點等相關聯的數據，在不違背數據唯一性和關聯性的基礎上完成水資源專題數據集成。

數字鄉村數據資源體系不僅能夠整合現有信息系統的數據資源，還能夠規范新建信息系統的數據格式和數據標準，從而提升數據的質量，為大數據分析和挖掘提供規范的數據資源。