基于分布式的農業氣象大數據平臺設計與實現

朱亮 鐘艷雯 賀煒 羅林艷 歐陽計躍

摘要：介紹了湖南省農業氣象大數據平臺利用分布式存儲與計算架構大數據體系構建，包括數據收集系統、多源數據管理系統、多源數據應用系統和制定數據管理規范。平臺了實現對農業氣象數據的收集、存儲和應用，便于下一步綜合運用大數據、云計算、智能化等技術實現氣象數據與跨學科、跨行業相關聯數據進行深度融合，為“三農”服務、氣象防災減災提供數據支撐。

關鍵詞：農業氣象;大數據;分布式

中圖分類號：S16? ? ? ? ?文獻標識碼：A

文章編號：0439-8114（2019）06-0128-03

DOI：10.14088/j.cnki.issn0439-8114.2019.06.029? ? ? ? ? ?開放科學（資源服務）標識碼（OSID）：

Abstract： This paper introduces the construction of Hunan Agrometeorological Big Data Platform using distributed storage and computing architecture， including data collection system， multi-source data management system， multi-source data application system and data management specification. The platform realizes the collection， storage and application of agricultural meteorological data， and facilitates the comprehensive use of big data， cloud computing， intelligent technology and other technologies to realize the deep integration of meteorological data and interdisciplinary and cross-industry related data for the “three rural” services. Data support for meteorological disaster prevention and mitigation.

Key words： agrometeorology; big data; distributed

隨著經濟發展、社會進步、科技創新不斷深入，農業、水文、林業、國土、環境、交通、軍隊等各行業業務流程與氣象數據呈現出越來越密切的關系，氣象防災減災的效果特別明顯。湖南省是農業大省，位于長江中游南岸、南嶺以北，山地、丘陵、平原兼俱，處亞熱帶季風氣候區，氣象災害發生十分頻繁，是全國發生最多的省份之一，常年遭受干旱、暴雨、高溫、低溫、冰凍、熱帶氣旋（臺風）、雷電、冰雹、霜凍、寒潮等災害性天氣及山洪地質、森林火災等次生災害的影響。目前，湖北省各地農田小氣候站因廠家不一致，數據格式不統一，極大地影響了農田小氣候數據的應用。隨著氣象觀測的技術不斷提升，區域站數據傳輸頻次由1 h上升至5 min，然而如此高密度的觀測數據在農業氣象應用中并沒有得到體現;與此同時，農業氣象服務資料來源涉及中國氣象局下發、省內各氣象業務單位制作共享及水文國土等其他行業共享。湖南省缺少統一的平臺面向農戶、農業氣象企業提供對這些農氣象預警資料、產品進行展示、應用和共享。

同時，隨著云計算和大數據技術不斷推進，社會各行業也逐步將行業內部數據進行廣泛共享。2018年中國農民豐收節等的設立，中央對“三農”工作的越來越重視，2016、2017 年全國氣象局長會議更是明確要求“發展基于‘互聯網+的智慧農業氣象服務”，為促進氣象信息化發展，實現對氣象服務指導產品、為農氣象服務產品的集約化、共享，為發展“智慧氣象”奠定基礎，因此建立農業氣象大數據平臺。

1? 平臺主要功能

系統總體框架包括數據收集系統、多源數據管理系統、多源數據應用系統和數據管理規范（圖1）。

1.1? 數據收集系統

數據收集系統利用大數據收集等技術，實現從數據服務器、數據庫、數據采集器、手機等多設備上收集到文本、結構化數據、數據流、文檔圖片視頻等多樣數據，依托地面寬帶網絡、專線鏈路、移動網絡，實現從數據源收集農業氣象等數據并進行數據預處理及數據加工處理（圖2）。可通過接口將獲得的各業務系統數據、外部數據經過預處理后導入數據平臺，支持多種數據收集方式。收集方式包括但不限于網上數據填報、批量數據導入、實時數據采集、網上爬蟲方式、主動數據抽取等，同時實現數據交換信息監控。

1.2? 多源數據管理系統

農業氣象數據庫存儲數據包括數據入庫、存儲和管理，主要有站點數據、格點數據、文檔數據、圖片數據和視頻數據五類。多源數據管理系統依托分布式數據管理、大數據等技術，建立高效、安全、穩定的數據存儲系統;系統具有數據導入、追加、更新、數據的備份和恢復、數據清理維護等功能。

1.3? 多源數據應用系統

多源數據應用系統農業氣象大數據庫為基礎，架構考慮了上層應用的復雜多變，提供豐富的應用服務和數據共享接口[1]，采用統一訪問接口（API訪問、Web Service等）、文件目錄共享服務提供統一、分級數據檢索接口和服務，滿足用戶對農業氣象數據資料檢索訪問的各種需求。

1.4? 數據管理規范

“標準先行”已成為當前各行業數據應用的共識，有了標準數據才能共享，才能支撐大數據平臺應用的開展[2]。根據現有《全國智慧農業氣象服務平臺綜合數據存儲規范》[3]相關標準規范，制定數據交換標準和應用接口標準。

2? 主要技術實現

Hadoop架構是一種分布式開源計算平臺，因為具有水平擴容的特性， 使得經濟存儲海量數據成為可能。Hadoop由Apache公司為實現Google的MapReduce編程模型的一個云計算開源平臺，Hadoop平臺包括最底部的文件系統（HDFS）、數據庫（HBase）、數據處理（MapReduce）等功能模塊，某種程度上可以說Hadoop已經成為大數據處理工具事實上的標準[4-6]。Spark是基于內存的迭代計算框架，其核心是彈性分布式數據集，可以快速在內存中對數據集進行多次迭代，以支持復雜的數據挖掘算法和圖形計算算法。湖南省農業氣象大數據平臺要保證1 TB以上大數據量分析探查的高效靈活的響應，支持列式存儲，內存計算等提高查詢速度的技術。由于自動站數據量非常大，平臺在軟硬件上采取的策略是，一方面在硬件上采用高性能服務器組成服務器集群;另一方面采用Hadoop大數據分析技術，利用HBase數據庫、Kafka數據接收、Tachyon內存管理、Spark統計分析等組件，解決自動站查詢統計慢的問題。

2.1? 硬件環境

系統底層硬件資源采用通用X86服務器部署，利用分布式存儲與計算架構大數據體系構建，并根據需求進行一定封裝和訂制開發;處理后的數據根據上層應用需要向各系統提供數據訂制服務和數據共享服務[7]。按照《氣象信息化基礎設施資源池建設指南》的技術指標進行購置和搭建，納入到信息化基礎設施資源池進行統一管理，共計采用5臺服務器。同時采用內部交換與外部訪問獨立的方式，內部數據交換采用堆疊的兩個萬兆交換機，外部數據交換采用堆疊的兩個千兆交換機（圖3）。

2.2? 軟件環境

5臺服務器操作系統為Linux同一版本的操作系統，CentOS Linux release 7.3.1611（Core），64位。管理節點2臺，通訊節點3臺，其中，2臺管理節點同時作為通訊節點，數據節點5臺，管理節點、通訊節點同時作為數據節點。程序設計語言：Windows平臺配置Java程序設計語言。數據庫系統使用Hbase記錄存儲收發日志信息、氣象數據等（圖4）。

2.3? 軟件展示與應用

農業氣象大數據平臺完成了農氣月報、農氣旬報、農田小氣候資料，農氣站作物觀測，土壤水分、水文資料及日照、輻射、省內與周邊六省國家站區域站資料以及種植大戶信息錄入，其中農氣站作物觀測起始時間自1981年，自動站累計16 935站，頻次達分鐘級。尤其是會商視頻點播、自動站分鐘降水實況與統計等功能移植整合，整合了會商視頻點播，中小尺度系統等功能單一、小而散的業務系統（圖5）。平臺實現對氣象服務指導產品、為農氣象服務產品的集約化、共享，為發展“智慧氣象”奠定基礎，增強農業氣象服務的主動性、及時性、針對性，加強“三農”服務、氣象防災減災，加快發展智慧氣象，提高服務質量和效益。

2.4? 統一接口訪問

針對農氣月報、天氣預報等文件類產品提供文件下載目錄，對日照、水文等數據采用接口訪問方式進行訪問，滿足對各級用戶對數據訪問需求（圖6）。

3? 小結

大數據的研究應用已逐步成為一項數據工程，研究跨領域的農業氣象大數據平臺需要支撐大數據采集、存儲、管理和分析處理等活動。目前提出的主要用來實現農業氣象大數據平臺的基礎應用研究，未來前景可觀。總體得出以下結論：

1）農業氣象大數據平臺通過分布式技術實現了多源數據的收集、存儲及應用，增強農業氣象服務的主動性、及時性、針對性，加強“三農”服務、氣象防災減災，提高服務質量和效益。

2）平臺整合了中小尺度系統等功能單一、小而散的業務系統，符合集約化發展理念。

3）采用統一訪問接口（API訪問、Web Service等）、文件目錄共享服務提供統一、分級的數據檢索接口和服務，滿足用戶對農業氣象數據資料檢索訪問的各種需求。

參考文獻：

[1] 彭? 慶.基于大數據技術的數據共享平臺方案研究[J].電信技術，2014（10）：22-23.

[2] 宮夏屹，李伯虎，柴旭東，等.大數據平臺技術綜述[J].系統仿真學報，2014，26（3）：489-496.

[3] 中國氣象局減災司關于印發《全國智慧農業氣象服務平臺數據存儲規范（試行）》的通知[EB/OL].http：//www.cma.gov.cn/root7/auto13139/201612/t20161213_349710.html.

[4] 張? 潔，薛勝軍.云計算環境下氣象大數據服務的應用[J].安徽農業科學，2016，44（5）：298-301.

[5] 宋? 杰，孫宗哲，毛克明，等.MapReduce大數據處理平臺與算法研究進展[J].軟件學報，2017，28（3）：514-543.

[6] 孟小峰，慈? 祥.大數據管理：概念技術與挑戰[J].計算機研究與發展，2013，50（1）：146-169.

[7] 陳? 娜，徐歆壹，宋紅兵，等.基于Hadoop的電信BSS大數據平臺建設研究[J].電信科學，2013（3）：36-40.