面向服務的氣象大數據

王　壘

(陜西省氣象信息中心，西安　710014)

?

面向服務的氣象大數據

王壘

(陜西省氣象信息中心，西安710014)

摘要：依據國家大數據發展戰略和大數據特性，對氣象大數據特征、面臨問題和技術創新進行闡述，深入分析氣象大數據服務方式和跨領域服務的發展方向。提出以標準先行為前提，集約整合為手段，通過數據層、邏輯層和界面層的整合來搭建面向服務的氣象大數據環境，借助大數據發展機遇加快推動氣象大數據發展步伐。

關鍵詞：氣象大數據；數據服務；數據整合

近年來，信息化浪潮席卷全球，尤其以互聯網為核心標準的信息技術和產品正在深刻影響社會發展。數據與物質、能源一樣都是最寶貴的生產要素，是戰略性資源。國務院關于印發促進大數據發展行動綱要的通知國發〔2015〕50號)明確提出:“2018年底前建成國家政府數據統一開放平臺，率先在信用、交通、醫療、衛生、就業、社保、地理、文化、教育、科技、資源、農業、環境、安監、金融、質量、統計、氣象、海洋、企業登記監管等重要領域實現公共數據資源合理適度向社會開放，帶動社會公眾開展大數據增值性、公益性開發和創新應用，充分釋放數據紅利，激發大眾創業、萬眾創新活力。”大數據技術是對海量數據的高效存儲和處理。目前氣象數據增量達1 PB/年左右，數據類型復雜，呈現出大數據的特性。氣象信息化的發展為氣象領域大數據奠定的基礎。

1氣象大數據

1.1大數據

何謂大數據，目前業界還沒有公認的說法。就其定義而言，大數據是一個較為抽象的概念。廣義上講，大數據包括大數據技術、大數據工程、大數據科學和大數據應用等相關領域。對大數據進行廣義分類是為了適應信息經濟時代發展需要而產生的科學技術發展的趨勢[1]。

大數據是以TB為基本計量單位，以年增長量至少翻番的互聯網動態三維數據，三維數據包括個人、社會和物質世界數據。

大數據階段是經歷數據、信息、知識迭代過程演化而來，同時大數據在處理能力和手段上較原始分析處理方法有質的飛躍。由于大數據所屬領域不同，其查詢及處理需求的分類不同。例如，互聯網行業按照其業務需求，可以將大數據處理技術分為在線、近線以及離線。其中，在線模式數據的處理時間一般限定在ms甚至是μs范圍內，而離線模式數據的處理時間可延長至以d為單位，近線模式的數據處理時間則界于二者之間；而按照處理需求劃分，大數據的處理需求有可面向于海量數據的分布式處理、非結構化數據處理以及實時數據處理。

目前大數據發展呈現數據從多聚類、少融合，向聚類與融合并重發展，發展趨勢可歸納為：大數據即服務，為某一環節或某一問題提供解決方案；不求所有，但求所用—參與跨行業的數據交易；精準甄別，特征畫像—改進業務決策模式，提升競爭力；打通信息閉環，建立與客戶的產業互動；構建大數據專業化機構，細分行業市場，形成良性生態；做好大數據使行業市場更加細分和碎片化的應對；參與智慧城市建設，提升行業大數據與政府大數據的社會供給融合。

1.2氣象大數據

氣象部門的信息化建設在我國起步較早，發展也很迅速，經多年努力取得不少成績。目前氣象部門每年新增數據量達到1 PB，傳統的數據存儲和處理方法越來越吃力，氣象大數據局面日益形成。如何運用大數據分析方法對氣象數據進行處理是一個急需解決的問題。

氣象大數據主要分為氣象領域大數據和氣象互聯網大數據。氣象領域大數據包括氣象觀測數據(部門內外)、業務派生數據和中間產品數據、職能部門管理數據(財務、人事、項目……)和各類業務系統的狀態數據和日志數據等。氣象大數據采集不僅包括傳統的氣象數據，還包括其他可能用到的數據[2]。氣象互聯網大數據包括移動終端搭載的氣象要素傳感設備的探測數據、用戶隨手拍攝上傳的天氣狀態照片、搜索引擎對氣象相關敏感詞的統計分析數據和其他所有可供氣象部門應用的互聯網數據。兩者具體差別如表1所示。

表1　氣象大數據對比

(2)面臨問題

氣象大數據發展面臨問題：一是部門內數據分散、信息孤島嚴重；二是與氣象有關的數據收集缺乏全面性和系統性；三是大數據應用能力嚴重缺乏，沒有大數據處理、分析、挖掘、可視化等方面的技術儲備和人才儲備；四是數據開放共享、安全保障、資產保護等方面頂層設計的缺失。

氣象大數據建設面臨問題：一是數據整合難，數據質量較差，數據標準不統一；二是平臺整合難，平臺條件不一、標準不同；三是技術綜合難，技術特點不一，技術標準不同；四是需求適應難，需求變化多樣，需求標準不一。

(3)特點及技術創新

大數據應該具備5V特征，即數據規模大(Volume)、數據種類多(Variety)、處理速度快(Velocity)、數據價值密度低(Value)、數據真實性(Veracity)。氣象數據基本具備大數據特征，同時氣象數據可以作為一個重要的維度，參與各類大數據產品的發放和服務。氣象數據時空內容豐富，依靠深度的數據挖掘和機器學習，將氣象數據的價值滲透到其他行業的數據分析中，可以實現具有氣象特色的大數據價值最大化。

整堂課教師沒有講解，全程以提問、追問、鼓勵貫穿教學過程，通過學生的實際操作及交流討論，完成教學目標，在教學中促進學生完成自我教育的五個環節。即便是同樣的教學內容，教師可以從各自的需求出發，從不同的角度、不同的層次以各種方式給學生設置問題。教無定法，貴在得法。教師設置問題時要注意設置的問題能否有效促進學生的自我教育，即激發學生的自我認識，驅動學生獨立思考，激發學生的創新思維。

大數據也在挑戰著技術創新，尤其是大量與業務邏輯和技術無關的數據處理技術，主要表現在以下4個方面：信息展現技術，GIS地圖、軌跡圖、熱力圖、輻射圖和標簽云圖等；分析算法，社會網絡、自然語言處理、時序分析和邏輯回歸等；處理架構，Hadoop分布式計算平臺、SQL-on-Hadoop、Spark和STREAM實時計算等；數據獲取，網頁埋點、網絡爬蟲、分布式數據存儲和傳感器技術等。這些技術也是氣象大數據發展過程中需要解決和掌握的。

2氣象大數據服務方式和方向

2.1服務方式

(1)部門內部數據服務部門內部數據服務主要以基礎數據和數據產品的方式提供，這些數據主要來源氣象業務和氣象領域內相關平臺。氣象業務包括觀測業務，涵蓋地面、高空、輻射、雷達、衛星和環境等實況觀測數據；天氣業務，涵蓋主觀預報、數值預報等預報相關產品；氣候業務，涵蓋氣候預測、氣候變化、氣候模式等氣候相關產品；衛星業務，涵蓋靜止衛星、極軌衛星以及空間天氣相關產品；服務業務，涵蓋高空、海洋、輻射等14大類基礎數據及數據產品服務。氣象業務數據也包括數據歸檔及數據備份恢復系統、產品實時模式與手工模式展示、規范化和標準化產品生成處理流程、評估與報警機制、信息全流程監控和服務產品發布平臺等生產的數據產品和日志數據。

(2)行業數據服務行業數據服務主要是面向數據服務接口的軟件開發及應用，氣象部門非公開接口是其他行業基于氣象因素提供公共服務的重要資源，針對非公開接口，仍處于通過氣象部門的業務推廣，雙方設立項目的形式開展。由于氣象部分的業務推廣和合作的技術瓶頸，很多數據合作僅局限于數據推送層面。由于對行業之間數據服務的限制，因此對氣象數據價值的深層挖掘和增值服務開發還很欠缺。

2.2服務方向

在國家重大方針政策的引導下，加大氣象數據資源與行業數據資源、生態數據資源和社會經濟數據資源的關聯分析和融合利用，完善對經濟的動態監測、開放共享、吸引眾智、敏捷響應社會需求，用氣象大數據手段洞察民生氣象需求，優化配置氣象服務資源，提升公共服務水平，提高民生氣象服務的在線化、便捷化、均等化水平，為人民生活提供無微不至的個性化氣象服務，為社會生產提供專業化的氣象服務。

(1)防災減災領域通過挖掘氣象大數據發現災害產生的各種氣象因素，及時完善各類氣象災害臨界指標、借助氣象大數據分析提高氣象災害預警預報的精準度和時效性，做到完善災害防御體系、提高災害預防能力和提升應急救災能力。

(2)旅游領域定制天氣氣候景觀和專項旅游產品，在經過數據深度挖掘、分析、繼續加工，形成全國范圍、圍繞某一氣象要素的動態產品地圖，結合旅游數據進行深度分析，提供吃、穿、住、行的綜合服務，根據游客熱力分布、團隊位置定位、景區關注度等旅游數據進行分析，對游客聚集多的景區或路線進行優先發布預警。

(3)交通領域通過加強對交通高影響天氣的監測和預警，為高速公路、鐵路、航運、航空等部門制作針對性的專業氣象交通服務產品，進一步結合交通視頻等數據，為公眾推薦最佳路線選擇，提升公共交通氣象服務能力。

(4)農業領域開展基于氣象大數據的農業天氣預報，精準地服務于各地農業生產，通過氣象大數據實現產量預報、氣候品質評價和營銷決策等。

3面向服務的氣象大數據環境

面向服務的氣象大數據環境首要解決基礎標準問題，即氣象大數據基礎性數據資源標準規范、基礎設施資源池標準規范、氣象模型和算法通用標準規范和氣象數據服務的通用標準規范。同時采用集約整合的思想來構建開源、開發、構件和接口的氣象大數據環境。

3.1設計思路

氣象大數據環境搭建以氣象數據整合展開，包括：數據層整合、邏輯層整合和界面層整合。數據層的整合分為：數據庫的整合、文件數據的整合、實時數據的整合、硬件和系統信息的整合。邏輯層的整合分為：接口式整合(被整合系統提供服務接口)、入侵式整合(被整合系統沒提供接口)。界面層的整合分為：對于B/S和C/S展示系統整合。氣象大數據環境實現路徑如圖1所示。

圖1　氣象大數據環境實現路徑

3.2實施方案

數據層的整合是對數據源的整合，數據底層整合，靈活性高，但整合難度較大。針對數據源的整合其前提是被集成整合的數據源必須開放訪問且公開數據結構，即對于關系型數據庫必須公開表結構，表間關系，編碼的含義等；對于非結構化數據必須公開數據存儲類型和讀取方法；對于文本數據必須公開文本存儲結構，字段意義，數據格式等；對于實時數據必須公開數據流量大小，數據解密方式，數據傳輸頻率等信息。整合方式是運用多數據源適配技術，在運行監控系統中建立原始數據整合邏輯，該邏輯可適配各種數據源類型，對不同的數據格式進行適配處理。數據層整合邏輯圖2所示。

圖2　數據整合邏輯圖

邏輯層的整合是數據業務加工的整合，主要是業務邏輯的整合，關鍵點是協議轉換和服務裝配。整合前提是整合的業務系統提供用于監控的接口或服務，或可通過二次開發具備提供接口或服務的能力。業務邏輯整合有3方面：①業務邏輯層的整合建立在企業服務總線(ESB)和服務裝配的基礎上；②通過協議轉換同各業務系統交互；③ESB提供的服務，按照業務需求裝配編排，可適應未來業務系統的變更、整合和擴展。通過邏輯層整合達到化繁為簡作用。

界面層的整合是數據展示的整合。關鍵點包含界面構件、界面構件庫、界面可視化裝配環境的建立。整合前提是整合業務系統無相應的服務接口可以使用，且無法為其他業務系統提供數據支持。這樣可以安全、穩定的集成現有系統，保留原有監控軟件資產。界面層整合包括4種方式：①建立界面構件，界面構件可嵌入C/S客戶端、網頁、圖表、數據列表等；②建立界面構件庫，構件庫按照基礎構件、容器構件、業務構件進行搭建管理；③監控點的增加就是界面構件的添加，可為未來的監控業務擴展帶來便利；④界面可視化裝配環境提供通過拖拽方式進行監控界面的按需定制組裝，做到一屏展示多個監控點。界面層整合示意如圖3所示。

圖3　界面層整合示意圖

4結語

實施氣象大數據，是適應大數據發展趨勢，也是落實國家大數據戰略，對促進氣象與經濟社會融合、強化氣象行政事中事后監管、促進氣象預報準確率的提高都具有十分重要意義。氣象大數據是實現氣象信息化的核心關鍵，因此在氣象部門應該推進氣象大數據戰略，加強氣象大數據應用能力、安全保障體系、人才隊伍建設，構建健康可持續發展的氣象大數據生態系統，推動氣象與經濟社會的融合，提升氣象在國民經濟中地位和作用。由于氣象部門以大數據技術為核心的信息化才剛起步，對于氣象大數據的理解、應用和探索還在進行中，因此在氣象大數據發展脈絡把握，如何將大數據技術與氣象業務相結合，如何開拓新的數據服務模式和數據服務創新機制等方面還有許多承待解決的問題。

參考文獻：

[1]深圳國泰安教育技術股份有限公司大數據事業部群,中科院深圳先進技術研究院—國泰安金融大數據研究中心.大數據導論—關鍵技術與行業應用最佳實踐[M].北京：清華大學出版社，2015：2-3.

[2]李社宏.大數據時代氣象數據分析應用的新趨勢[J]. 陜西氣象，2014(2)：41-44.

文章編號：1006-4354(2016)04-0036-04

收稿日期：2015-02-26

作者簡介：王壘(1980—)，男，陜西藍田人，漢族，碩士，工程師，從事信息化和大數據方面工作。

基金項目：陜西省氣象局科技創新基金計劃項目(2015M-55)

中圖分類號：P413

文獻標識碼：B

王壘.面向服務的氣象大數據[J].陜西氣象，2016(4)：36-39.