農業信息資源共享交互平臺需求分析

摘 要：信息化時代，農業數據繁多，覆蓋面廣泛，信息資源共享整合建設尤為重要。本文從業務流程、功能需求、性能需求3方面對農業信息資源共享交互平臺的需求進行詳細分析。

關鍵詞：農業信息化;農業大數據;數據治理

中圖分類號：S-3 文獻標識碼：A DOI：10.19754/j.nyyjs.20201015012

為深入貫徹落實國務院、江蘇省、常州市關于促進政務信息資源共享整合建設的要求，按照常州市2019年政府電子政務工作要點的要求，從深入推進“一網通辦”、“智慧城市”、“數據共享”、“平臺優化”和“智造產業”5大行動出發的指示精神，常州市將推進農業信息資源共享交互平臺項目建設，以進一步規范全市政務信息資源管理工作，將信息資源共享在深化改革、轉變職能及創新管理等方面全面滲透和應用，從而提升政務服務水平及行政效能。

本文結合常州市農業信息化當前的實際情況，介紹了一種農業信息資源共享交互平臺，并對該平臺的業務流程、功能和性能需求進行分析。

1 業務流程分析

1.1 數據交換共享流程

目前，常州市涉農數據資源交換共享方式主要是人工報送的Excel、Word等格式數據文件，沒有明確的流程。通過建設常州市農業信息資源共享交互平臺農業數據共享交換系統，可對全市涉農數據資源的共享交換進行規劃，建立標準規范，優化共享流程。本項目涉及2類數據交換共享，包括市局內部現有信息系統之間的數據共享交換以及市局與外部相關單位之間的數據共享交換。數據共享交換流程涉及數據資源訂閱方、數據資源管理方、數據資源提供方3類用戶角色，具體流程如圖1所示。

1.2 數據治理流程

通過數據交換共享方式匯聚的數據資源，需要經過數據治理，經過數據抽取、驗證、清洗、集成、聚集、裝載，將數據源轉化為數據倉庫需要的格式。數據加工處理工作由數據服務平臺自動完成，同時由用戶進行人為監控。數據治理流程如圖2所示。

1.2.1 數據抽取

從數據源抽取涉農數據資源。數據源可以是通過業務平臺數據匯聚形成的數據資源庫，也可以是通過數據交換共享平臺獲取的涉農數據資源（市局內部和外部數據）。數據抽取包括增量抽取、增量加載及批量裝載，可依據時間戳自動判斷抽取增量數據。

1.2.2 數據清洗

通常情況抽取的數據資源中包含冗余數據、垃圾數據。數據在邏輯上沖突和數據定義沖突等問題十分常見，因此需要對數據資源進行清洗，發現殘缺數據、錯誤數據、重復數據，在信息資源庫進行數據補錄、關聯、去除，導入到數據倉庫中。

1.2.3 數據轉換

清洗之后的涉農數據資源需要轉換為數據倉庫的格式。

1.2.4數據裝載

經過格式轉換的涉農數據資源需要裝載到數據倉庫，為數據建模和主題分析做準備。

1.3 數據分析應用流程

數據分析應用不僅能夠對經過加工處理后的涉農數據資源進行挖掘分析，還可以對信息資源目錄、元數據、主數據進行管理。現以信息資源目錄管理和數據分析應用流程為例進行闡述。

1.3.1 信息資源目錄管理

經過梳理之后的涉農信息資源目錄可為數據資源相關單位提供信息資源目錄使用、查詢等服務。數據資源相關單位可根據自身業務發展變化情況，利用需要更新信息資源目錄，由數據資源管理方審核確認后發布，不斷完善并形成可持續發展的全市涉農信息資源目錄體系（圖3）。

1.3.2 主題分析應用

主題分析應用以采集數據和共享交換數據為基礎，通過匯聚存儲于數據緩沖區，經過數據的ETL處理過程，包括數據抽取、驗證、清洗、轉換、裝載等，按照面向主題的方式存入數據中心（ODS），提供常規的數據查詢統計分析。給予數據中心，經過ETL處理可建立面向農業、種植信息、畜牧養殖信息、測土配方施肥與土壤墑情、土地流轉信息、農作物種類產量等不同（可進一步細分）的主題數據庫，建立多維數據分析模型，為主題分析提供支持。在此基礎上，通過理論（業務）模型的建立，包括播種態勢模型、產量預測模型、農產品質量安全模型等，提供預測預警與決策指導等服務。主題分析應用流程如圖4所示。

2 功能需求分析

2.1 數據交換共享

業務數據資源的采集，在本次項目建設中，數據交換共享是最重要的采集方式。通過平臺的建設，可梳理出農口的統一數據共享交換標準和接口規范，并建立為平臺與外部系統之間的數據共享提供指南和標準，市局與外部單位之間通過建立數據交換共享機制實現涉農數據資源的共享匯聚利用。

2.2 數據加工處理

由于涉農數據資源一部分來自數據報送人員在線直報和自動采集，另一部分來源于市局現有信息系統和外部單位信息系統，數據格式、數據結構、數據類別、數據標識等經常不一致，因此需要進一步對源頭數據進行加工處理。

2.3 數據分析應用

建設數據共享交換系統將涉農數據匯聚之后，最為核心的工作是對數據進行挖掘分析應用。通過大數據分析手段挖掘掩藏在涉農數據資源表面的業務特點、規律，實現對農業農村工作的決策支持，提供數據監測、分析、預警、預測等服務。

2.4 數據展現

通過一系列數據可視化展示方式將基礎數據資源和分析數據資源直觀地呈現給各級領導和各級工作人員，并定期提供數據分析報告全景展示常州市現代農業發展趨勢和狀況，滿足用數據說話、用數據管理和用數據決策的工作需要。

通過建設專題決策支撐系統，實現對全市農產品質量安全等專題數據的綜合展示和相關工作的統一指揮調度。

3 性能需求分析

3.1 訪問速度方面

頁面打開速度小于3s，簡單類查詢速度小于3s，復雜類查詢分析速度小于8s。

3.2 穩定性方面

在利用本平臺正常工作中，不應出現妨礙工作順利進行的系統錯誤或意外中止的情況。

3.3 資源利用方面

在進行海量數據的查詢、統計、分析的過程中，允許CPU和內存的占用率提升及網絡帶寬占有量的加大，但在操作結束后，應該及時釋放所占用的資源，以保證工作人員利用電腦順利進行其它工作。

3.4 系統處理能力方面

系統的用戶較多，所以對系統的并發處理能力要求較高;支持數據采集應用并發數100，最長響應時間3s。

3.5 使用靈活性方面

當系統與其它軟件的接口發生變化，用戶的操作方式、運行環境、對信息獲取方式以及對期望獲取的信息結果發生變化時，軟件系統要做到易于調整，擁有高度的靈活性。

4 信息量分析和預測

4.1 農業數據量分析與預測

本項目農業信息資源交互平臺建設的信息資源數據，包括了市縣農業農村局現有數據（如農產品質量監管、農產品質量追溯、動監所執法、三農項目管理等）、部省相關數據（如三品一標、農業投入品等）、政府部門相關數據（如氣象、環境、工商、防汛等）、機構改革后農辦發改財政部門相關數據、其它下一步收集的數據（如休閑觀光客源、土壤質地、森林植被等），總計占用存儲空間約20TB（其中，關系型數據約5TB，非結構化數據約15TB）。

4.2 查詢頻度分析

查詢頻度與支持的系統數量、用戶數量、系統建設情況有關。建設初期，由于訪問系統的用戶數和基于平臺建設的系統少，查詢用戶少，訪問頻度較低。但隨著信息系統建設的不斷發展，信息內容的不斷豐富和支持的應用系統增加，用戶數也會不斷攀升，系統訪問頻度將急劇增加。

以常州市農業農村局農產品質量安全監管平臺為例，目前用戶數近1000人。平時有200個用戶在線使用平臺，通常用戶并發數50個左右，高峰時并發用戶數100個左右。

4.3 數據流量分析與預測

本系統在B/S訪問時，由于業務的要求需要傳輸視頻圖像或文件，每個訪問點的傳輸速率至少保證5Mbps。

參考文獻

[1] 王文生，郭雷風.農業大數據及其應用展望[J].江蘇農業科學，2015，43（09）：1-5.

[2]孟祥寶，謝秋波，劉海峰，等.農業大數據應用體系架構和平臺建設[J].廣東農業科學，2014，41（14）：173-178.

[3]溫孚江.農業大數據研究的戰略意義與協同機制[J].高等農業教育，2013（11）：3-6.

[4]亓開元，趙卓峰，房俊，等.針對高速數據流的大規模數據實時處理方法[J].計算機學報，2012，35（03）：477-490.

[5]方艾，徐雄，梁冰，等.主流大數據處理開源架構的分析及對比評測[J].電信科學，2015，31（07）：152-157.

[6]李貞強，陳康，武永衛，等.大數據處理模式——系統結構，方法以及發展趨勢[J].小型微型計算機系統，2015，36（04）：641-647.

（責任編輯 周康）

收稿日期：2020-09-16

作者簡介：薛彩霞（1991-），女，教師。研究方向：農業大數據。