大數據信息可視化實時推送系統設計研究

黃思蓓，賈寶林

(上海工業自動化儀表研究院有限公司，上海 200233)

0 引言

隨著計算機、互聯網等計算機技術的飛速發展，用戶數據以量級增長的方式被存儲和記錄，形成了信息擁擠的局面。大數據的三個主要特征就是海量化、多樣化、快速化[1]。海量級數據中包含的規律和趨勢是當今各行各業的專業人士面對的機遇和挑戰。數據可視化無疑是有效的途徑[2]。

大數據可視化概念的出現，挖掘出復雜數據所蘊含的關聯、模式[3]，幫助用戶以結構化的方式利用海量數據。在大數據時代，可視化的實時性數據需求是發展方向之一。

1 系統設計分析

傳統的數據信息展示系統在處理大數據時，存在時效性低、處理數據量級不高的問題，需要用戶不斷主動刷新，難以在第一時間捕捉感知信息變化。在此背景下，基于大數據和實時推送[4]相關技術的發展而產生的大數據信息可視化實時推送系統是更優的解決方案。

大數據的主要處理過程包括但不限于采集、分析和展示數據；大數據信息可視化實時推送系統的關鍵在于展示數據。展示數據的主要過程是數據的實時、可視化呈現，將數據分析結果以易讀、歸類、聚類、圖形等形式輸出，幫助用戶清晰、有效地獲取信息的分類和分析。可視化數據的展示有推式和拉式，在一定量級的前提下，對即時性有較高要求，呈現數據隨時間的趨勢變化，并能實現用戶交互[5]，幫助用戶實時查詢信息狀態。

數據推式和拉式這兩種實現方式的目標一致，都是為了向用戶展示最新的信息。其基礎思想是將用戶從瀏覽器獲取查詢信息的主動行為，改為由服務器主動發送信息。服務器向用戶瀏覽器批量發送數據，并在發送完成后仍然保持與瀏覽器的連接通道。隨后，服務器可以繼續發送批量數據，達到實時更新信息的目的。這種數據傳送方式的效率比通常的客戶端主動查詢方式更高。這是因為后續數據的傳輸無需再建立新的連接通道。無論是否有數據傳輸始終保持連接，服務器可以在任意時間發送大批量數據，并控制信息更新的時刻和頻率，從而實現信息推送的實時性要求。

本文提出一種關于大數據信息可視化實時推送系統的設計和開發流程，便于相關開發和設計人員對大數據信息可視化實時推送系統進行設計和開發。

2 系統設計過程

本文提出一種將實時技術貫穿于系統整個過程的設計方法。該方法包括功能需求分析、數據結構分析和架構設計三個部分。每個部分都從實時性出發與考慮，滿足用戶期望的實時信息展示需求。

2.1 功能需求分析

大數據信息可視化界面是用戶與大數據系統交互的窗口[6]。用戶通過信息推送獲取更新的數據信息。只有對大數據包含的海量數據進行分析聚類后，才能得到有價值的信息。為了讓用戶實時獲取更新的信息，在系統設計過程中需要重點設計推送的實時流程，防止數據重疊與信息滯后。

大數據信息可視化實時推送系統所展示的是實時信息，在設計前需要對推送的信息進行分類。針對不同類型推送的頻率和方式有所差異。一般來說，推送信息有三種類型，分別是直觀的實時數據信息、分析處理后的聚類信息以及普通數據，例如系統用戶信息。普通數據沒有即時性要求，查詢隨機，查詢頻率也比較低。

數據分類如表1所示。

表1 數據分類表

實時數據信息是不需要作進一步處理的原始統計數據，例如數據報表等。分析處理后的聚類信息是為滿足大數據可視化要求，對原始統計數據進行多維度的聚類分析，形成有特征性的分組分類的統計數據。在對推送信息進行分類和確認后，需要具體分析不同的目標需求。差異的需求指標項包括數據準確性、用戶關注點和相關操作行為、推送頻率和更新時機、滯后時差的容忍度等。相關的指標項在需求調研過程中需要使用定量和定性相結合的思考方式和設計方案。

2.2 數據結構分析

大數據可視化的數據量過于龐大，且每秒數據流量也非常巨大，不可能將每一條數據作為觸發實時信息聚類的契機。因此，需要進行定量操作，在數據流的角度上分析數據。同時，設計既要確保用戶感受到實時性、不丟失重要的信息觀測時間點，又要在發揮機器性能約束前提下最大限度地進行實時數據計算。在進行分析數據時，可以采用以下步驟。①具體化數據指標：將用戶提出的需求細化，具體到每一個數據指標。②選擇組合指標：選擇符合需求描述的數據指標組合。③合并數據指標：對數據指標統一格式和精度，化繁為簡。檢查分析每個反映用戶需求的待展示的圖表，將同一圖表內不同數據指標歸類，以最少推送更新盡可能多的圖表項為目標，規劃推送數據接口內的數據指標組合，力爭一次數據推送可以同時更新多維信息。

2.3 架構設計

在經過數據分析后，界面上需要展示的數據信息已基本確定。接下來的功能設計階段主要考慮數據推送速度、信息聚類計算速度、數據防丟失這三個方面。因此，在進行架構設計時需要強調以數據流為中心，遵循數據一致性、準確性、實時性等原則。系統結構如圖1所示。

圖1 系統結構圖

由圖1可知，外部數據接入后，首先進入數據采集集群進行轉換和清洗，然后流入計算服務集群進行計算，最后存儲在分布式集群。三個集群間使用Kafka通道進行數據定向流通?？梢暬到y得到監控信號后，主動將計算結果數據推送到Web端，使用戶可以觀察到數據變化。

以上系統結構中的整體數據流處理如圖2所示。

圖2 數據流處理示意圖

數據流設計如圖3所示。

圖3 數據流設計示意圖

在進行架構設計時，重點設計以下五個步驟。

①模塊設計。根據具體業務需求設計后，需要考慮不同業務的不同數據處理率要求。對此，可以在系統內以處理速率為基準劃分若干的模塊，將相同的數據處理率的業務調配整合到同一模塊。這樣，模塊內所有業務可使用統一速率的讀寫線程進行數據操作。

②存儲設計。在存儲之前，先應剔除冗余的數據，再應用數據預處理工具(數據清洗、數據轉化、數據集成)自動、高速地實現海量數據的過濾和整理[7]。存儲組件可選用傳統的關系型數據庫或者NOSQL數據庫。對于只進行直接查詢的實時數據，沒有過多的存儲表字段設計要求。對于需要復雜運算的聚類數據，可將計算結果所有需要推送展示的字段放入一個寬表中，避免多個數據表直接出現層級，去除字段間的關聯關系，使字段平坦、查詢語句直接，以減少復雜查詢帶來的時間延遲。

③線程設計。由于可視化實時推送系統對時間高度敏感，在進行設計時可考慮將數據的讀和寫分成不同的線程處理。讀寫線程可進一步細分為高速讀、低速讀、高速寫和低速寫四種類型。各類型線程處理數據選擇如表2所示。

表2 線程處理數據選擇表

④信息推送。對于可視化界面需要進行趨勢分析的圖表，其快速變化的動態效果需要考慮前端不斷查詢請求對后端服務器的負載要求。因此，在前后端信息溝通方式上，首選后端服務器推送模型。前端服務器訂閱相關信息主題后，等待來自服務器的消息推送。一次消息可攜帶多維度數據。一次推送可更新若干圖表。這樣可以實現在界面組件觀測到多種趨勢同時改變的良好可視化效果。同時，設計需要避免同一數據分析結果被多次作為新信息推送到前端，導致占用服務器資源和網絡資源。這也會加大前端因為無效刷新帶來的負載。

⑤時間調度。在實際環境中，每秒處理的數據可達千萬級。如果每次收到新數據都進行可視化推送，將導致可視化組件變化頻率高于人眼可接受的程度，也就是每秒變化一千次和每秒變化一百次的視覺效果是等同的。同時，如果前端可視化組件以高速變化，在人視覺上則表現為“抖動”的現象。解決這個問題可以從兩方面入手：一是可視化使用折線圖或散點圖等反映高速變化趨勢的組件；二是考慮在服務端架設緩存層以控制信息推送的頻率，可選用Redis組件等作為高速緩存作定時、定量推送。具體推送頻率需要在實際布署測試后不斷調整。

2.4 布署測試

系統設計與開發編碼完成后，可視化實時推送系統需要進行布署測試，驗證設計的合理性，并進行調試修改。其目標是取得最佳的用戶體驗。布署測試主要包括功能測試、實地測試和可行性測試三個部分。

功能測試是為了保證用戶所提的每個需求都在系統中得到實現且無遺漏，在設計過程中得到充分的展示。因此，需要重點關注數據流是否順暢、推送頻率是否合適、數據實時性是否滿足系統需求。

實地測試是因為開發過程中使用的軟硬件設備與實際上線運行使用的軟硬件設備可能不同，為確保用戶現場使用的具體效果而進行的測試，包括動態效果、色差是否正常等。

可行性測試主要檢驗設計的可視化界面是否能夠完全解釋信息含義、組件選擇是否能合適體現數據可視化需求、是否與客戶需求相匹配、是否達到了所見即所得的可視化效果。

3 設計實例

本文以某地區單位大數據系統可視化實時推送系統設計為例。系統采用大屏界面，展示全國范圍內精確到市縣行政區域乃至機關單位的實時數據。其特殊之處在于，實時數據需要與歷史數據進一步分析處理后獲取聚類信息，原始數據和聚類數據同步實時可視化展示[8-9]。用戶對聚類信息所關注的重點是數據的統計和挖掘，通過顯示界面直觀地展示地區分布情況和變化趨勢，且聚類信息具有數量級大、時間范圍廣、統計維度多等特點。根據用戶的需求，系統設計要求在可靠性、易用性、實時性、準確性四個方面重點把控。在得到用戶的需求和系統設計要求后，則進行需求和數據分析。在警告分析需求維度、選擇數據、合并維度和選擇表現后，確定使用地圖標注數據對應的發生地域。每獲取一條新的原始數據都全面重新計算累計數值和趨勢分析，并立即綜合更新數據聚類分析后的柱狀圖、餅圖、折線圖等圖表。聚類展示和原始展示數據時間滯后在1 s內。

本文結合數據推送的指導思想得到設計架構方案。開發測試布署調試結合用戶需求進行相關修改。用戶試用后，反復多次優化信息聚類計算方法，調整數據推送頻率。

4 結論

在互聯網飛速發展的時代，大數據將持續改變和影響人們生活的方方面面。大數據信息可視化實時推送系統將取代傳統的用戶主動式查詢信息系統。

本文提出了大數據信息可視化實時推送系統設計方法，并通過設計實例進行了相關的論述。該設計方法一定程度上能夠為設計架構人員在實時推送系統設計時提供設計流程的指導，是一種可參考的設計規范和方案。