多渠道氣象服務數據在線平臺的設計

胡娟 李游 張立杰 張凱 鄭慧

（作者單位：深圳市氣象局）

采用移動互聯網、云計算、大數據技術，通過對氣象服務大數據挖掘，對“深圳天氣”品牌多渠道氣象海量數據進行挖掘及服務產品實時監測與分析，實現數據驅動再生，提出了“深圳天氣”服務品牌在線監控與服務數據抓取的技術指標，并初步設計實現了多渠道氣象服務在線管理平臺。

傳統的氣象服務方式是主動為用戶提供氣象信息服務，其缺點是服務方式單一，缺乏多方的參與。隨著移動互聯網、云計算、大數據技術的出現，深圳市氣象局以“深圳天氣”為品牌陸續推出了微網頁、微博、智能手機客戶端、微信公眾服務平臺、深圳臺風網、數據開放與共享平臺等一系列渠道服務，充分滿足深圳市民對氣象服務的多樣性、個性化的需求，為實施科技氣象戰略，推進精細化、科學化管理，提高氣象公眾服務的品質和水平起到了一定的作用。開展多渠道氣象服務數據在線管理平臺建設，利用信息技術整合以“深圳天氣”為品牌的公眾服務多渠道數據，實現各“孤立”系統的服務數據共享，對各渠道數據進行統計分析，可以為提升“智慧氣象”服務水平提供決策參考。

1 多渠道氣象服務管理需求分析

1.1 多渠道氣象服務數據在線管理應用場景分析

多渠道氣象服務在線管理平臺以公有云存儲為基礎，以云計算為處理核心，建立統一規范化數據格式，形成以海量數據業務支撐的大數據平臺，逐步形成氣象信息服務“云+端”的運行模式，并在實時處理領域實現秒級突破。對微博、微信公眾號（訂閱號）、智能手機客戶端、WEB網站數據進行統計，可以實現對“深圳天氣”各個渠道業務數據實時查看與統計，方便決策者和氣象服務人員快速做出響應，以適應移動互聯網服務對時效性的要求，而傳統監控基本都是對年、月、周、日的頻次進行統計，已經不能滿足個性化的服務需要，現今需要實現24 h在線實時監控以及管理當前實時變化的統計數據，最終實現7×24的用戶實時行為監測和秒級分析。建立各渠道接入站點的運營監控流量指標如UV（訪客數，在同一天相同的客戶端只被統計一次）、PV(頁面瀏覽量或點擊量，刷新一次統計一次)、IP（獨立IP，同一天內相同IP統計一次）、新舊訪客數等，同時，為提供更好的服務質量，建立服務質量指標體系，如用戶訪問停留時間、訪問次數、訪問深度、跳出頻次等，對此進行立體式匯總與分析，如平均停留時間、平均加載時間、跳出率等以方便進行全局分析，提升產品的質量與體驗度，增強用戶的使用粘度。加入一定的用戶的行為分析、網站訪客背景分析、鼠標點擊行為等高智能的分析功能，為智慧氣象服務提供決策數據支撐。

1.2 數據處理及信息流機制相關分析

通過對氣象大數據平臺的引入，標準化數據處理格式，統一數據接入，打通氣象業務系統與服務渠道之間的數據交換及數據格式的轉換，建立一體式氣象業務服務總線，對業務數據進行多渠道、多維度、精細化分析，挖掘出有價值的業務數據信息，以應對移動互聯網下的“智慧氣象”的需求。多渠道氣象服務數據在線管理平臺支持多種風格的數據展現方式，使用當前流行的線性、柱形、餅狀分析圖，對不同時段、不同服務渠道及服務訪問量分類展示，引入創新風格的熱力圖，更加視覺化的展示多渠道氣象服務頁面不同位置訪問的密度，增強氣象產品服務特色體驗，并能實時反映出公眾感興趣的氣象產品，采用大數據屏幕方式展現氣象重要業務及實時數據，既符合現代流行的大數據展現方式，同時也方便氣象服務產品的服務監督。

2 多渠道氣象服務數據在線管理平臺設計

2.1 平臺基本功能

多渠道氣象服務數據在線管理平臺以深圳氣象大數據平臺為依托，以氣象大數據分析為導向，利用大數據分析工具，通過獲取微博、微信公眾號（訂閱號）、智能手機客戶端、WEB網站等渠道獲得實時的氣象數據及服務數據。平臺應具備幾個功能點：1）多渠道、多維度分析展現氣象產品服務訪問指數，并按移動互聯網主流的圖表進行展示；2）根據用戶的特點分析出公眾感興趣的氣象服務產品，以公眾為導向，智能推送其感興趣的氣象服務產品，開展基于位置服務精細化智能氣象服務；3）重要業務數據及實時數據以大數據服務監督展示，數據展現方式以通俗、易懂、易用為主，具有一定的科技性；4）智能移動終端可訪問平臺開放的氣象服務后臺；5）結合智能決策庫，智能的提供氣象服務產品，對用戶提出與氣象相關的問題做出科學合理回復；6）對各個氣象服務渠道按日、周、月進行用戶訪問行為分析，總結氣象服務的情況，自動生成日、周、月報；7）制定機器學習規則，分析出歷史氣候和當前的氣候變化，提供科學性分析與總結。

2.2 平臺體系結構

多渠道氣象服務數據在線管理平臺總體設計框架（圖1）在層次上可劃分為基礎層、應用支撐層、數據層、應用層和用戶層。

圖1 多渠道氣象服務數據在線管理平臺結構圖

基礎層：基礎層即平臺所需的基礎設施，主要包含主機、存儲、操作系統、網絡資源、容器云等基礎資源。

應用支撐層：應用支撐層即平臺運行所需的支撐組件，主要包含應用中間件、數據庫中間件、數據共享交換組件、數據存儲組件等。

數據層：數據層即平臺運行所需的基礎數據資源，主要包含公共服務渠道數據、產品服務數據、智能監控數據、效能監察數據、考核展示數據等系統所需的數據。

應用層：應用層即平臺建設實際展示和應用的系統，主要包含數據交換接入系統、氣象公眾服務渠道在線管理系統、氣象產品服務在線管理系統、公眾服務智能監控系統和公眾服務效能檢查系統等。

用戶層：用戶層即系統具體涉及的用戶，主要包含系統管理人員、相關領導、工作人員等。

2.3 系統整體架構及技術選型

基于微服務的設計思路，將業務系統按功能拆分成多個獨立的服務，如用戶統一授權及管理服務、氣象核心產品服務、后臺管理服務、海量數據分析與檢索服務，分布式調度服務，分布式文件存儲服務等等。這些獨立的服務運行在Docker容器中，各個服務之間通過消息中間件（例如KafKa）或RPC通信，服務治理使用Zookeeper。

圖2 多渠道氣象服務數據在線管理平臺微服務架構

使用這種架構（圖2）主要基于以下幾點考慮：1）系統之間的耦合度（包括服務層與表現層）大大降低，各個服務可以獨立開發、獨立部署、獨立測試，服務與服務之間邊界明確；2）系統利于橫向和縱向擴展；3）系統中流量分散，可承載更高的負載；4）服務的復用性更高，各個系統可以共享服務。

2.4 實現海量數據處理及存儲

首次應用氣象大數據技術進行設計以適應未來氣象業務的高速發展，使用分布式數據庫HBase對海量數據存儲，可以提高數據的并發訪問量，傳統的關系型數據庫提供讀寫分離的方式，但是帶來數據延時；對于越來越多的海量數據，傳統數據庫采用的是分庫分表，實現起來比較復雜，后期需要不斷進行數據遷移維護；高可用和伸縮性方面，傳統數據庫采用的是主備、主從、多主的解決方案，增加節點和宕機需要進行數據遷移。對于上述問題，分布式數據庫HBase有一套完善的解決方案，適用于高并發海量數據存取的需求。使用分布式計算對業務數據進行分析計算，使用ElasticSearch搜索引擎對海量數據進行檢索，并以圖表形式展現出來。

2.5 實現多種并行展示方式

通過互聯網等信息傳播途徑，當用戶通過瀏覽器瀏覽網站或網頁時，與后臺的WEB服務器和氣象信息數據庫服務器不斷進行通信，根據不同的用戶的不同需求，系統提供以文本、地理信息圖像、三維動畫、智能手機客戶端等多種方式將所需信息展現出來，滿足不同用戶的個性化需求。

· 提供全新的氣象服務模式，通過人機互動，以用戶需求、用戶習慣為向導為公眾提供個性化氣象服務；

· 為用戶提供實時的氣象信息服務，提供多維度多渠道數據分析；

· 提供更精確的氣象數據，讓數據更及時，更精確，適應氣象日益增長的氣象業務管理需求；

· 提供多渠道的服務方式，用戶可通過智能手機客戶端和互聯網絡等多種方式獲得精細化的氣象信息服務；

· 通過機器學習，記錄用戶操作行為習慣而提供其關注的服務內容及數據，逐步形成氣象的專家系統，提供更加智能的氣象服務；

· 建全電子考評機制，提供科學化的考評方案；

· 在應對重特大應急事件時，更好、更及時、更精準地為公眾提供及時、準確的信息服務，同時為領導提供科學的公眾氣象決策支持服務。

2.6 平臺涉及的關鍵技術

多渠道氣象數據在線管理平臺的建設涉及到海量數據與產品，管理的用戶數據是千萬量級，不同的渠道技術架構完全迥異，因此建立多渠道氣象數據在線管理平臺需要突破以下關鍵技術：1）基于網絡技術開發專用網絡爬蟲，在不影響渠道服務性能的情況下采集用戶信息及服務信息，無需修改渠道源代碼，為用戶行為分析奠定數據基礎；2）利用AI技術開發客戶行為分析模型，為智能推送服務提供基礎支持；3）基于并行計算技術，實現多源數據采集與同步推送，實現海量數據再分析與展示；4）基于可視化技術和消息樹技術解決前臺展示難題，實現系統不間斷運行與監控，并提升用戶體驗。

3 展望

通過多渠道氣象數據在線管理平臺的建設，將有助于提高公眾獲得信息資源的能力，提供個性化，多樣化的氣象信息的服務，及時滿足公眾的氣象信息的需求，對于當今“智慧城市”的建設，乃至“數字政府”的建設起到里程碑的作用。目前，深圳市已實現突發事件預警信息的13種發布渠道的一鍵式發布，預警信息1 min之內可服務于公眾。實現手機預警短信面向公眾最小以街道為單元的分區精準靶向發布，全網短信發布從原來的8～9 h 提升至2～3 h完成，覆蓋來深漫游用戶。實現重大天氣電視電臺整點播報，平安大廈、京基100等高樓外墻視頻播放臺風預警信號，將臺風預警信息推送至全體市民的機頂盒開機頁面。

目前多渠道氣象數據在線管理平臺還存在很多不足，這些不足和改進的思路主要表現在以下幾個方面：1）缺乏完備的數據流監管與告警，以雷達圖為例，作為一份公共產品被各渠道引用，產品一旦在某個環節出現問題，由于加工與傳輸的鏈條較長，人工快速定位與排除故障周期太長，很容易降低用戶體驗，因此需要在平臺對各產品從原始數據獲取、產品加工、產品傳輸、前臺調用等各環節進行狀態監管并及時告警，迅速給出故障定位；2）基于大數據的客戶畫像還停留在原始階段，各渠道的用戶行為數據沒有集中存儲，客戶畫像的特征向量沒有經過全面的客觀評估與檢驗，下一步需要進一步統合用戶行為數據，建立統一的客戶行為機器學習模型，在實踐中加以改進；3）平臺還需要在評選用戶最喜歡的產品與服務上下功夫，按照客戶類型、時間段、地點等分類動態評選客戶最喜歡的產品排名，為管理者優化各渠道的產品和服務提供決策依據。

深入閱讀

賀佳佳, 吳蔚, 孫石陽, 2010. 深圳大運會公共氣象服務建設芻議.廣東氣象, 32(3): 49-51.

張承福, 1994. 人工神經網絡在天氣預報中的應用研究. 氣象,20(6): 43-47.

章國才, 2006. 防御和減輕氣象災害. 氣象, 3(3): 3-5.