網絡大數據能力開放平臺的實踐

陳榮平 趙爽

?

網絡大數據能力開放平臺的實踐

陳榮平 趙爽

中國移動通信集團廣東有限公司網絡管理中心，廣東 廣州 510623

結合運營商大數據特點和業務場景，設計一種松耦合的系統架構，通過應用事前消息回填、統一DPI業務識別、Kafka消息分發和Storm流處理等大數據處理技術，對廣東移動海量數據進行處理，構建同步、異步API和數據自助服務模式實現網絡大數據能力開放，獲得快速、靈活、安全的數據響應。網絡大數據能力開放平臺已廣泛應用到應急保障、實時監控、用戶營銷等多場景中，是運營商大數據能力開放的成功實踐案例。

網絡大數據；Kafka分發；Storm流處理；API；能力開放

引言

4G網絡技術、智能終端、物聯網、互聯網、大數據等技術的共同推進，將人們快速地帶入移動大數據時代。據統計，2018年6月僅廣東移動用戶一天產生的信令已達500?T（相當于25萬部高清電影）。如何基于這些海量數據，靈活、有效地建立模型，提供快速且安全的數據輸出，為經營分析、客戶服務等提供支撐，是企業數據運營團隊面臨的挑戰。結合業界經驗和廣東移動信令的自身特點，廣東移動網管中心在網絡大數據能力開放架構方面進行了有效的探索和實踐。

1 網絡大數據能力開放平臺設計

1.1 架構設計

基于靈活性、快速部署升級等方面考慮，廣東移動數據運營團隊以松耦合架構構建網絡大數據能力開放平臺（以下簡稱能力開放平臺）。簡化示意圖見圖1。

圖1

系統分三個層次：采集解碼層、模型共享層、能力開放層。

（1）采集解碼層。負責采集各接口的原始信令，進行解碼和業務識別后生成XDR。

（2）模型共享層。負責存儲來自解碼層的XDR，并結合維表如小區資源維表、業務維表等，構建中間層模型寬表。建立中間層寬表的好處是對上層用戶而言，可直接運用中間模型快速得到結果，而不需要從底層海量XDR數據中撈取。

（3）能力開放層。能力開放平臺構建類“數據商店”的數據目錄。用戶可基于數據目錄提取數據，也可通過自助服務條件提取。

為應對外系統對網絡大數據進行深加工和展示需求，平臺對通用數據進行了API封裝。API能力管控模塊可完成接口注冊、申請、管控、調用統計等功能。通過API封裝模塊，遠端系統可輕松地調用網絡大數據能力，極大地節約成本。

1.2 關鍵技術和創新

1.2.1 采集解碼層

（1）事前關聯回填技術

傳統信令回填為事后關聯回填，將各接口話單分別輸出后，再通過用戶關鍵信息（IMSI、用戶號碼等）進行綜合話單關聯合成，具有時延大、消耗大、效率低、無法提供實時計算等缺點。平臺的解碼層采用事前多接口關聯技術。具體以片區為單位，根據各接口協議創建不同解碼集群，各解碼集群同時將解碼到的用戶關鍵屬性信息和由業務邏輯生成的話單推送至合成服務器集群，由其負責實時把多個接口數據進行合成回填關鍵字段，最終合成單個用戶業務的全面呼叫記錄。應用事前多接口關聯技術實現了運營商業內全球最大單系統實時處理2?000?Gbps信令關鍵字段回填率99.5%，話單輸出時延可達到秒級。

（2）統一DPI庫識別技術

在識別技術上，不僅保留IP五元組、HOST等傳統識別元素，且增加了UserAgent、ReferUri、Cookie等識別元素。業務側即便更改了傳統元素規則，只要其他識別元素未完全更改，業務識別就依然能夠生效。采用kNN算法和豐富的識別元素，對于采用動態IP地址、CDN域名的業務也能精準識別，因此可很好地保持識別時效性，提升識別覆蓋率。

在集成架構上，提出基于標準接口的輕耦合獨立封裝方式，實現識別和解碼功能的解耦合。在接口不變的情況下，只需調整識別模塊就可完成識別能力升級，不影響解碼的運作。由于使用標準接口，只要使用統一的嵌入式識別模塊，便可規范所有解碼層的識別結果，很好地解決異廠家間的識別差異問題。

1.2.2 模型共享層

（1）Kafka數據分發

Kafka 是一個基于發布訂閱的消息系統，適用于離線和在線消息消費，可由多個生產者和消費者共享主題。平臺的模型共享層使用了Kafka數據分發機制。信令XDR使用Kafka離線數據處理路徑為： XDR->Kafka->hdfs-MR，使用場景包括：各種小時、日粒度等指標統計等；使用Kafka實時數據處理路徑為XDR->Kafka->storm，使用場景如實時統計輸出客流人群等。

（2）Storm流計算框架

在同類的流式計算工具中，Storm性能出眾，能力開放平臺將Storm技術應用到用戶實時位置的處理上，具體流程是：共享層通過Kafka將MOSMS/ MTSMS/MOC/MTC/MM/HO/S1MME等7種XDR分發給Storm流處理結構，生成實時全量用戶位置快照，再以5分鐘為切片輸出，構成了所有位置類準實時和非實時應用的基礎。

HTTP Restful API接口封裝：根據數據量的大小以及用戶使用場景的不同，廣東移動運營團隊專門制定了Restful API實時響應接口和異步文件響應兩種接口的封裝和調用規范，以便將模型共享層寬表以最小化的數據集和能力提供給其他系統客戶。

1.2.3 能力開放層

（1）API管控框架：規劃了API接口管理者、發布者、可擴展的三種角色，提供了注冊授權、接口發布、接口訂閱、接口監控和審計等功能，并采用了一種基于Nginx中間代理服務器的安全容災和可擴展架構，提供接口運行的安全性和穩定性。

（2）數據目錄和自助服務：基于業務場景調研和數據理解，廣東移動數據運營團隊對能力開放平臺進行了頂層數據目錄設計，對場景進行了分類，并詳細解釋了分類下明細數據資產、模型的建立規則及輸出字段等等。這樣的設計使數據目錄具有無限拓展性，并可以根據字段條件性篩選，實現數據的自助服務。

1.3 安全性考慮

移動信令記錄了用戶位置、業務行為、終端等大量涉敏數據，因此能力開放平臺的安全性是系統設計的重中之重。系統安全加固主要體現在以下幾個方面。

1.3.1 系統接入安全性

作為重要的涉敏生產系統，首先部署在專用的生產用網管網內，并強制啟用了4A單點認證，杜絕了不同系統之間繞行登錄的可能性，因此保證了系統的接入安全性。

1.3.2 數據操作和獲取安全性

系統強制任何人員對于敏感數據的訪問和操作，均啟用了4A金庫審批模式。用戶在進行涉敏數據操作時，系統會自動發短信到金庫審批人員手機上，在獲得授權后，才可以進行下一步操作。涉敏用戶數據生成的文件均啟用加密模式，密鑰只對數據需求者可見。

1.3.3 數據傳輸安全性

對于能力開放平臺的最終數據輸出，僅支持專網生產系統之間的FTP對接和后續分析使用，杜絕了敏感數據暴露在互聯網上；另一種是采用API接口對接，提供了同步、異步API調用模式，最小化使用數據。在API能力管控模塊，對接口進行接入審計，同時可清晰地監控各個接口，并對異常調用接口產生告警。

2 網絡大數據能力開放平臺應用

應用最先進的大數據處理技術，通過數據商店和API接入兩種能力開放消費模式，用戶可獲取快速的數據響應。目前能力開放平臺月均提供API調用4?080萬次，平均數據響應在30?min以內。該平臺已成為網絡和市場線最廣泛使用的系統之一，以下是典型的應用場景。

2.1 臺風應急保障

廣東是臺風高發地區，每次臺風來臨之前，應氣象局要求，網絡大數據能力開放平臺會準時提供各地市的本地和漫入號碼給客服中心進行客戶提醒。

2.2 實時客流監控

近兩年來廣州春運指揮部現場，市交委“天眼”系統能夠以5?min間隔更新重點區域如廣州火車站、機場等重點區域的實時客流，通過對比平時該區域內聚集人數的歷史數據，春運指揮部工作人員可快速判斷當前聚集人群數是否異常，其后臺數據就是通過廣東移動的實時客流API封裝提供的。

2.3 校園迎新支撐

每年校園迎新是運營商搶占市場的重中之重。結合校園歷史常駐用戶和實時新增漫入用戶數據進行建模，網絡大數據能力開放平臺能夠精確地定位新生數據，并進行針對性的營銷活動，給予最大優惠政策爭取新客戶。

3 結束語

運營商的海量數據是一座巨大的寶藏，廣東移動能力開放平臺采用當前最先進的大數據處理技術進行數據建模和應用，提供了豐富多彩的數據種類和快速的數據響應，并通過自助服務和API接口極大地延伸應用范圍，提供了業界數據運營的一種可實踐的架構和運營模式。今后，能力開放平臺將在機器學習方面進一步探索，在安全的前提下發揮更大效益。

Practice of Open Platform for Network Big Data Capabilities

Chen Rongping Zhao Shuang

China Mobile Communications Corporation Guangdong Co., Ltd., Network Management Center, Guangdong Guangzhou 510623

Based on the characteristics of big data and business scenarios of operators, a loosely coupled system architecture is designed to apply massive data processing technology such as pre-message backfilling, unified DPI service identification, Kafka message distribution and Storm stream processing to deal with massive data of Guangdong Mobile, build synchronous, asynchronous API and data self-service mode to achieve network big data capabilities, and obtain fast, flexible and secure data response. The network big data capability open platform has been widely applied to multiple scenarios such as emergency support, real-time monitoring, and user marketing. It is a successful practice case for operators to open big data capabilities.

network big data; Kafka distribution; Storm stream processing; API; capability open

TP311.1

A

陳榮平，女，工程師，碩士畢業于北京郵電大學大學通信與信息系統專業，現就職于中國移動廣東公司網絡管理中心，主要研究方向為大數據挖掘、網絡能力開放。趙爽，女，工程師，碩士畢業于香港科技大學，現就職于中國移動廣東公司網絡管理中心，主要研究方向為大數據挖掘、網絡能力開放。