流式大數據實時處理技術、平臺及應用研究

余謙

摘? 要：流式大數據實時處理技術的應用能夠實現對客戶的實時反饋，所以相比于批量大數據受到了更多的關注與研究。基于此，本文設計了一種基于流式大數據實時處理技術的平臺系統，對流式大數據實時處理技術進行了解析，對該平臺系統的設計、優勢以及性能測試進行了說明，分析了基于流式大數據實時處理技術平臺系統的應用。

關鍵詞：流式大數據;實時處理;平臺設計

中圖分類號：TP311.13? ? ? 文獻標識碼：A 文章編號：2096-4706（2019）01-0086-03

Streaming Big Data Real-time Processing Technology，Platform and

Application Research

YU Qian

（Wuhan Polytechnic University，School of Mathematics and Computer Science，Wuhan? 430023，China）

Abstract：The application of streaming big data real-time processing technology can realize real-time feedback to customers，so it has received more attention and research compared with large batch data. Based on this，this paper designs a platform system based on streaming big data real-time processing technology，analyzes the real-time processing technology of streaming big data，explains the design，advantages and performance testing of the platform system，the application of real-time processing technology platform system based on streaming large data is analyzed.

Keywords：streaming big data;real-time processing;platform design

0? 引? 言

現階段，隨著互聯網技術的發展和普及性使用，社會產生的數據量顯著提升，這使得人們對于大數據技術的關注與引入程度顯著提升。對于大數據技術來說，通過引入大數據技術，就能夠實現多個行業的技術進步、促進經濟效益的顯著增長。依照數據處理的時效性，能夠將基于大數據技術的數據處理系統分成流式大數據（實時大數據）處理以及批量大數據（歷史大數據）處理兩種。其中，流式大數據實時處理技術的應用能夠實現對客戶的實時反饋，所以受到了更多的關注與研究。本文對流式大數實時處理技術及其平臺進行分析，對該平臺的應用進行研究，為相關工作人員提供參考。

1? 流式大數據實時處理技術的解析

1.1? 流式大數據實時處理技術的分析

結合現階段大數據技術的發展以及使用情況來看，能夠依據數據處理的時效性，將基于大數據技術的處理系統分為兩種：批量大數據處理系統以及流式大數據處理系統。其中，在批量大數據處理系統中，主要以Hadoop為代表。該系統在對批量大數據進行處理時，會首先將相應的數據信息匯總成批，接著會對這些匯總后的數據信息展開批量的預處理，最終會將處理后的數據傳輸并保存至分析數據倉庫之中，完成高性能的實時查詢服務提供。可以說，批量大數據處理系統能夠實現對完整大數據的快速查詢，但是其并不能實現對于最新數據信息的查詢，也存在著數據遲滯相對較高的問題。

對于流式大數據處理系統來說，在批量大數據處理系統中無法解決的問題在流式大數據中能夠得到有效的處理。相比于批量大數據處理系統來說，流式大數據處理系統能夠有效的實現對即時性數據的處理與反饋。現階段，基于流式大數據實時處理技術的系統主要有Flink、Storm、Spark Streaming等，這些數據處理系統都能夠實現對于實施數據的有效處理以及第一時間的反饋[1]。

1.2? 建立基于流式大數據實時處理技術系統的技術難點分析

對于基于流式大數據實時處理技術的系統來說，由于已經在系統中設置了針對最新實時數據信息的高效預處理模型，所以其數據遲滯相對較低。但是，由于受到內存容量的限制，基于流式大數據實時處理技術的系統在實際的運行中，會對部分歷史數據信息進行舍棄。在這樣的情況下，基于流式大數據實時處理技術的系統就無法實現對完整大數據集的分析與查詢。所以，必須要開發出自主可控、高效、迅速的流失大數據實時處理技術及相關平臺。在進行這一平臺的開發時，要對以下幾項技術難點進行重點的解決：

（1）對于相對復雜的指標展開增量計算。對于計數、平均、求和等指標來說，通過查詢結果的合并就能夠提供。但是，對于一些相對復雜的指標來說，通過查詢結果的合并并不能完成計算，例如標準差、方差、熵等復雜指標。同時，若是在實際的查詢中，涉及到了長周期時間窗口或是熱點數據維度這些復雜指標時，就會進行多次的計算，這顯著增加了計算的開銷;

（2）分布式內存的并行計算。若是在實際的計算中，使用粗放的調度策略，會導致系統內存的大量浪費。基于這樣的情況，必須要開發出能夠對進度進行實時感知的融合存儲策略，優化基于流式大數據實時處理技術系統平臺的內存使用效率;

（3）高擴展性的內存計算。雖然內存機制能夠提升系統平臺對于數據分析以及數據處理的能力，但是由于其十分容易揮發，所以必須要使用多副本的方式，提升內存可靠程度。在這樣的情況下，確保不同副本的一致性成為了重點的問題。同時，在確保集群服務不間斷的情況下，實現重新平衡也是一項需要解決的重要問題。

針對上述的應用要求以及技術難點，筆者開發出了一種基于流式大數據實時處理技術的平臺系統，攻破了上述的技術難點。在該平臺中，實現了動態數據的快速處理，并能夠支持基數、平均、求和、標準差、方差、最大值、最小值、（連續）遞增與遞減、采集、過濾等的基于分布式統計的統計計算模型，能夠完成對于上下文、復雜時間等實時處理模型的高效管理。

2? 基于流式大數據實時處理技術的平臺設計分析

2.1? 基于流式大數據實時處理技術的平臺系統設計

在筆者設計的基于流式大數據實時處理技術的平臺系統中，其主要的系統框架結構中包括：實時數據消息隊列、分析處理模型集、數據裝載、模型裝載、流式計算引擎、引擎監控管理、結果儲存層、數據抽取模塊、分布式存儲、外部應用系統、歷史數據等。其中，數據裝載、模型裝載、流式計算引擎、引擎監控管理、結果儲存層、數據抽取模塊構成了流式大數據實時處理平臺，主要承擔著對流式大數據的實時處理與保存。對于該基于流式大數據實時處理技術的平臺系統來說，有著較好的適應性以及靈活性。

在該基于流式大數據實時處理技術的平臺系統中，數據抽取模塊主要承擔著對歷史數據進行批量抽取的任務;對模型裝載模塊來說，主要承擔著將存在于分析處理模型集中的腳本以及計算模型傳輸到平臺中的任務[2]。一旦基于流式大數據實時處理技術的平臺系統接收到來自業務系統發出的實時數據查詢請求時，該平臺系統能夠依照完整大數據集中分析處理模型的計算指標，對其進行判斷，并將最終的判斷結果第一時間反饋至業務系統。

2.2? 基于流式大數據實時處理技術的平臺系統的性能測試

在完成該基于流式大數據實時處理技術平臺系統的設計后，筆者對其進行了性能的測試。將該平臺系統放置在8臺服務器的環境中，讓其同時對16個數據指標展開計算。其中，服務器的配置為256GB內存以及24核的CPU;計算的16個統計指標跨越四個維度，分別為計數、平衡、求和、最大值、最小值、標準差、去重、過濾、排序以及復雜事件處理等。性能測試的結果顯示，該基于流式大數據實時處理技術的平臺系統單節點的寫入在43000TPS以上，而對八節點的讀取在100萬TPS以上，平均的時延在1-2秒之內，可以說，該基于流式大數據實時處理技術的平臺系統有著較為良好的性能。

2.3? 基于流式大數據實時處理技術的平臺系統的優勢分析

對于該基于流式大數據實時處理技術的平臺系統來說，其有效的融合了批量大數據處理以及流式大數據處理，解決了兩種大數據融合時的技術難題。同時，還完成對于流式大數據處理系統平臺構建中面對的作業編排效率問題以及流處理作業的靈活變更問題的突破。

在該基于流式大數據實時處理技術的平臺系統中，引入了多種創新技術，提升了流處理平臺數據處理能力的可用性、可靠性以及可擴展性，更好的滿足了實際的業務需要。同時，在該基于流式大數據實時處理技術的平臺系統中，引入了Paxos一致性協議，對內存存儲計算中的多副本一致性進行了控制與實現，提供了一致的、透明的解決方案。通過引入智能分區技術、一致性散列技術，實現了將散列值轉化為散列塊。另外，通過計算作業動態運行加載技術的使用，有效避免了計算作業手工功能部署打包問題的產生。

3? 基于流式大數據實時處理技術平臺系統應用的探究

該基于流式大數據實時處理技術的平臺系統在交通、金融、電信、公安等行業都有著廣泛的應用前景[3]。筆者在實際的應用實踐中發現，在展開某業務的數據統計中，需要對過去三個月的數據信息進行統計，使用傳統的數據處理平臺展開處理，則需要在該業務上線三個月后才能完成。在這樣的數據處理方式下，業務的展開以及相應數據處理平臺的使用都受到了限制。但是，由于該基于流式大數據實時處理技術的平臺系統結合了流媒體播放器的錄制與重放功能的實現過程，當原始的數據信息進入該平臺后，會依照順序寫的方式對原始數據進行持久化處理，當需要進行上線的新作業時，就可以第一時間的進行原始數據信息的重發，能夠實現快速的計算作業。這種計算作業的速度在分鐘級，甚至能夠達到秒級。

該基于流式大數據實時處理技術的平臺系統在實際的運行中，有著數據處理時間快、準確率高的效果。筆者在對其進行性能測試中發現，相比于其他的大數據處理平臺系統，這種基于流式大數據實時處理技術的平臺系統有著更加優質的性能。該基于流式大數據實時處理技術的平臺系統的平均響應時間小于6ms，并發數大于5000筆/s，而這些性能的實現僅僅需要四臺服務器就能夠完成。在實際的性能測試中，筆者設定了計算邏輯大于50條、涉及統計指標超過30個的測試情境。在這一測試情境下，普通的大數據處理平臺的計算時間普遍在24小時及以上，而該基于流式大數據實時處理技術的平臺系統則在三個小時內就完成了全部的計算，且計算的正確率達到100%。通過該性能測試能夠看出，基于流式大數據實時處理技術的平臺系統有著較好的可靠性以及數據分析能力，有著較高的實用價值。

4? 結? 論

隨著實時數據量的不斷增加，對其進行多維度的、快速的、可靠的處理分析更加重要，難度也更大。通過應用智能分區技術、一致性散列技術、Paxos一致性協議、計算作業動態運行加載技術等技術，完成批量大數據處理以及流式大數據處理的技術融合，構建起了基于流式大數據實時處理技術的平臺系統。利用這種基于流式大數據實時處理技術的平臺系統，實現了大量實時數據的快速、準確分析，提升了流處理平臺數據處理能力的可用性、可靠性以及可擴展性，更好的滿足了實際的業務需要。

參考文獻：

[1] 陳純.流式大數據實時處理技術、平臺及應用 [J].大數據，2017，3（4）：1-8.

[2] 樊明璐.流式大數據處理平臺中資源動態調度技術研究 [D].北京：北京工業大學，2016.

[3] 朱奕健，張正卿.基于通信運營商數據的大數據實時流處理系統 [J].中國新通信，2016，18（3）：100-103.

[4] 劉凱，于龍.云計算環境下關聯性大數據實時流式可控聚類算法的優勢分析 [J].通訊世界，2018（7）：21-22.

[5] 曹旭峰.流式大數據仿真生成及系統性能測試方法的研究 [D].南京：南京航空航天大學，2017.