基于移動互聯網大數據的異構實時計算框架分析

摘? 要：移動互聯網的快速發展，讓人人都成為消息的傳播者，對于扁平化架構的網絡，監控工作需要運營商付出大量成本支出，為滿足互聯網大數據的需要，還需要進一步研究。因此，本文基于大數據處理技術及安全機制，分析了大數據計算現狀，并對異構實時計算框架進行了重點研究和分析。

關鍵詞：移動互聯網;大數據處理技術;異構實時計算

中圖分類號：TN929.5;TP393.01? ? ? 文獻標識碼：A 文章編號：2096-4706（2019）15-0183-03

Analysis of Heterogeneous Real-time Computing Framework Based on

Big Data of Mobile Internet

FU Xuelei

（Guangdong Preschool Normal College in Maoming，Maoming? 525200，China）

Abstract：The rapid development of mobile internet makes people become the disseminators of news. For the network of flat architecture，the monitoring work requires operators to pay a lot of cost. In order to meet the needs of big data on the internet，further research is needed. Based on this，this paper analyzes the current situation of big data computing based on big data processing technology and security mechanism，and focuses on the analysis of heterogeneous real-time computing framework.

Keywords：mobile internet;big data processing technology;heterogeneous real-time computing

0? 引? 言

我國即將步入5G時代，移動互聯網將步入新時期，如今LTE網絡數據占據70%以上的移動互聯網，局部區域呈現出用戶密度高、流量大的特征，移動運營商需要及時掌握社會熱點，才能為客戶提供個性化服務?；ヂ摼W使用OTT產品實現跨界融合和網絡運營商競爭，讓傳統運營商受到極大威脅，運營商在用戶體驗基礎上，盡量減少成本，以應對市場競爭，滿足企業發展需求。因此，研究異構實時計算對于運營商具有重要意義。

1? 大數據處理技術及安全機制

1.1? 主流處理技術

在大數據技術的快速發展下，具體處理技術越來越多，從目前應用較為廣泛的處理技術來看，主要包括：

（1）Hadoop離線批處理技術。Hadoop本身屬于Apache的一個分布式框架，能夠在簡單硬件設備集群上運行應用程序，并提供穩定接口，具有較好的可靠性和易擴展性。在Hadoop 2.X版本中引入的YARN資源管理模塊，與HDFS模塊、MapReduce模塊共同構成其三大核心模塊，支持海量數據存儲、云系統資源分配和海量數據分析計算等功能。

（2）Storm架構處理技術。此技術主要在分布式實時數據流處理方面具有明顯優勢，適用場景包括機器學習、實時分析、持續計算等，具有較強的容錯性，可保證數據處理的全面性，而且數據處理速度非?？欤抗濣c每秒可處理數百萬條信息數據。而且Storm架構本身部署方便，支持多種語言的程序開發。

（3）Spark架構處理技術。Spark本身是一個大規模數據處理引擎，采用內存運算技術，能夠節省運算過程中的數據存儲時間。而且Spark是開源框架，支持迭代開發，已經形成獨立生態系統，應用較為廣泛?？梢詫park作為基礎，兼容Hadoop部分組件，支持數據庫查詢工具等的使用，貼近于用戶使用習慣。

1.2? 不同處理技術優缺點

上述幾種技術都是目前主流的大數據處理技術，且三種技術各有各的優缺點。其中，Hadoop使用時間較早，經過多次的版本升級，目前功能性能較為完善，主要擅長海量數據存儲和分析工作，適用于對實時響應要求不高的場景。Storm架構處理技術則與Hadoop不同，主要擅長實時流式分析處理，在處理無界數據流方面有顯著優勢，適合在對實時響應要求較高的場景使用。Spark框架處理技術與Hadoop相似，也屬于批量處理方法，其特點是計算性能強，適用于交互查詢、迭代計算等大數據應用場景。通過對大數據處理技術進行合理選擇，可以最大化的發揮其應用優勢。

1.3? 大數據處理技術的安全機制

無論選擇何種大數據處理技術，都需要對其數據安全性提供保障。上述介紹的幾種大數據處理框架，在實際應用過程中通常以大規模集群方式部署，從而保障系統的大規模并行計算能力。但在該模式下，也需要注意框架內各層次堆棧集成、各節點之間、集群與客戶端之間的通信安全問題。以目前較為成熟的Hadoop離線批處理技術為例，在其早期研究中，安全問題就受到了高度重視，并已經取得重要成果。目前Hadoop大數據處理技術主要通過采用用戶認證、用戶授權、數據存儲加密、數據災備技術等，為數據安全性提供保障。通過采取先進的安全防護措施，可以在保證集群數據安全的同時，提高數據加解密速度，降低不必要的數據存儲消耗。對于Spark和Storm技術也是如此，需要不斷優化其安全保護機制，為大數據處理技術的推廣應用奠定基礎。

2? 大數據計算現狀

運營商建立了DPI一體規范，移動互聯網數據主要可以分成控制面和用戶面兩個種類的原始數據，包括多個接口。移動互聯網數據具有數量大、接口多的特征，傳統分析方法建立在單一接口基礎上，使用XDR方法儲存數據。利用該種方案不需要使用過于復雜的部署探針，響應速度相對快速，但是由于其解析速度相對較慢，且無法和其他接口建立關聯，沒有辦法提供整體性反饋，無法通過計算分析網絡單用戶、業務以及網元等指標。

為實現大規模收集數據，接入設備還需自動識別鏈路邏輯接口，才能實現設備接入。為保證通信網絡不會受到影響，要按照規定格式數據包對通信網絡實施封裝，解析設備可以輸出數據，設備負責解碼、合成、關聯以及回填用戶面原始數據和信令面原始數據，最后形成規范XDR，提供給服務器使用。數據庫難以應付多于10TB的數據，處理該量級數據會造成響應速度緩慢。需要通過建立異構實時計算框架對數據進行管控，該計算框架具備可調節、可擴展、大規模的優勢，可以滿足運營商管理要求，對平臺數據進行開放管理。

3? 異構實時計算框架分析

3.1? 總體框架

如今各信息系統已經實現了和3G、4G、LTE的結合，在高速索引、內存計算、高度容錯等先進技術的輔助下，系統從100MB升級為100PB。無論哪一個數量級都擁有最佳處理性能，在流量不斷增加的情況下，實現了動態化擴容，且具備自由伸縮的功能。系統整體架構為：XDR詳單→ Flume→Kafka→Spark Streaming/Storm→Kafka/Hbase/ Oracle→應用層。

3.2? 高速探針

高速探針在軟件和硬件結合的基礎上，讓數據包完整及時地被接收。系統使用匯聚交換機完整收集邏輯接口數據，實現收斂匯聚。借助于ATCA探針架構，板塊具備40Gbit/s線速能力，包含12千兆/萬兆光口，端口使用ASIC數據包對Buffer實時接收，通過雙重撿拾技術的應用有效規避丟包問題的出現，避免了阻塞問題。

系統通過多核網絡處理板處理機制，并利用分布式數據庫，實現了用戶面和信令面數據的完整解析、回填以及關聯，數據經過處理后可實時傳送給SDTP協議，以及流式服務器，形成實時數據運算。

為滿足計算準確性，通過以下手段實現：

（1）硬件ASIC統計端口接收包，分析比較輸入和輸出端儲存的數據包和流量。

（2）比較數據包分類以及表示。

（3）選擇標識處理機制對模塊進行辨識，未知包可以被回流模塊和儲存模塊分流，有效規避誤報問題，避免出現丟包的弊端。

（4）信令數據涵蓋了多重關聯，經過比較可以進行正確性的檢查。

（5）使用多種關聯參數進行業務統計XDR。

（6）IP使用五元組，在多關聯參數協助下完成處理，規避由于數據包無法準確辨識造成多種業務流。

（7）動態解析更新的協議碼和結構，避免系統重啟，造成數據包無法實現關聯。

3.3? 流式處理

首先借助SDTP接口方式完成XDR數據的實時接收，通過于Kafka工具的應用，在隊列中錄入并流數據，數據實現了實時入庫，不會出現數據延時問題。其次借助于ETL模型，如Storm框架，實現粗粒度級別的清洗、轉換數據同時也可以完成邏輯運算數據。在保證計算資源完全充足時，可以運算海量數據，并保證時延不超過5分鐘，完成運算可以滿足數據維度、時間力度以及跨接口運算的要求。最后對數據進行匯總，將計算接口在Kafka實時隊列中完成準確錄入。由于Kafka工具能夠給運算步驟提供高兼容度的接口，使其得到廣泛使用，在應用期間實現了完整對接。上層應用所花費的成本相對較少，開發效率也相對較快，對于大量數據生產起到較大幫助。

同時數據錄入進Oracle數據庫中，可以進行二次加工，從而完成復雜運算。由于系統的延展性強，能夠自動對接前臺部分系統。且邏輯運算平臺框架支持HBase儲存型數據庫的數據錄入，可以得到海量數據并實現高速高效查詢。數百億甚至萬億數據被記錄后，普通數據庫無法適應，只能使用HBase數據庫，且數據庫可以達到秒級。使用該種數據庫，可以實現快速查詢，且數據庫延展性較好，查詢結果更加準確。

3.4? 擁擠警報

移動互聯網中，很大一部分應用數據流建立在TCP協議上傳送。TCP協議可以認定為傳輸層協議。任何接收端收到數據包后，會向發送端發送消息。通過分析Acknowledge-ment，發送端能夠實現準確且及時的數據包確認工作，發送和接收端上數據包發生丟失事故時，發送端會重新傳輸數據包直到接收端確認接收的消息。高速探針可以實時檢測到用戶數據包，并將源端數據和關聯信息完成相互匹配。在傳遞數據包期間若出現丟失，探針將根據用戶TCP數據流，對于數據包丟失率展開準確快速計算。探針可以獲得數據流任何一個數據包傳輸路線，確定信號流。掌握這些信息，用戶TCP會話丟失率會被映射給用戶，在傳輸路徑上，丟失率是發送路徑上全部數據包丟失的累計。當用戶隨意移動時，傳輸通道不斷改變，丟失數據包和時間路徑相互對應。

網絡整體丟失率是全部路徑丟失率的累積，但是并沒有表明網元丟失的細節。探針使用斷層掃描技術，通過借助統計推論算法，能夠將傳輸路徑上出現的丟失率計算出來。使用該算法要先假設丟失率不是隨機發生的，是由各個網元累計而來，且假設傳輸路徑擁有同樣的網元，無線用戶會擁有相似丟失率，路徑之間存在重疊現象，形成巨大采樣集，讓全部樣本數據得到覆蓋。探針有兩種方法應對擁擠，第一種方法是假設擁擠網元丟包率更高，但是網元未過載，丟失率仍然較高，該定義也成立。網元丟失率會影響用戶體驗。網絡斷層掃描算法可以確定數據包丟失，該現象為擁擠警報。第二種方法是檢測對比一天負載量和一周負載量，該現象為趨勢警告。

4? 結? 論

綜上所述，本文研究了移動互聯網大數據異構實時計算框架，在軟件和硬件聯合應用的基礎上，輔助運營商使用有序統一方式采集、儲存數據，讓不同分析、搜索以及訪問需求得到完全滿足，在提升用戶體驗感的同時，讓故障檢修以及通道監控得以實現，使得互聯網運營成本得到有序控制，并提高運營穩定性。

參考文獻：

[1] 李洪乾.面向電力大數據的多數據流實時處理技術研究 [J].計算機產品與流通，2018（10）：63.

[2] 吳海建，呂軍.物聯網大數據處理中實時流計算系統的實踐 [J].電子技術與軟件工程，2018（17）：170.

[3] 陳德沖.基于事件驅動的智能大數據實時處理平臺的研究設計和基本實現 [D].北京：北京郵電大學，2016.

作者簡介：傅學磊（1979.10-），男，漢族，廣東高州人，講師，碩士，研究方向：計算機應用技術。