基于大數據的智慧區域運營平臺設計與實現

顧志峰（中國移動通信集團上海有限公司，上海 200060）

0 引言

近年來，國內電信行業市場競爭日益激烈。受到流量紅利快速釋放、同業及跨界競爭不斷加劇等經營環境和“提速降費”持續推進等政策性因素的影響，基礎電信業務“量收剪刀差”進一步擴大。國內電信運營商正處于轉型升級的關鍵時期，需要企業提升運營效率，實現高質量發展。

隨著大數據技術的不斷發展和企業大數據意識的不斷提升，如何利用大數據推動企業管理模式的創新與運營能力的升級已經成為每個企業都需要思考的問題［1］。國內外電信運營商嘗試利用大數據技術在市場營銷、客戶服務、經營決策和網絡優化等方面開展應用，并取得積極成效。大數據技術及應用已經成為電信運營商破解經營難題的有效手段之一。

針對公司現有生產經營系統在區域運營支撐等方面能力不足的問題，本文基于大數據技術設計并開發實現智慧區域運營平臺，通過數據賦能提升公司運營能力，發揮運營商大數據應用價值。

1 系統功能設計

1.1 總體設計思路

圍繞可視化運營、便捷化營銷、網格化支撐的建設目標，智慧區域運營平臺基于大數據技術對運營商的網絡域、業務域等海量數據進行實時處理和挖掘分析，將運營數據關聯匯總納入網格，利用GIS地圖以可視化方式，實時全面洞察全市各類區域的特征情況；通過構建豐富應用場景及模型，實現精準營銷、智慧選址、業網協同等網格化運營支撐能力，提升公司市場運營效率。

1.2 功能設計

1.2.1 區域洞察

基于GIS 地圖圈劃出全市各級行政區劃、公司組織以及重點場景的區域，提供區域內客戶、業務、網絡、資源等多維度的可視化洞察服務。在常規區域方面，支持市、區、街道/鎮等行政區劃，以及市公司、分公司、區域運營部、網格等組織機構；在場景區域方面，支持5G 基站、營業廳、高校、交通樞紐等重點關注區域。

a）客流統計：基于可視化圖表展示選定區域實時客流統計數據，并且按小時、日、月等顆粒度提供歷史客流統計數據查詢，以便業務人員實時、全面掌握區域客流情況。

b）區域畫像：基于可視化圖表展示選定區域人口特征，包括居住人口、工作人口、流動人口、客源地、年齡段、性別等維度；展示區域業務經營指標，包括2G/4G/5G 用戶數、ARPU、DOU、MOU、網齡、套餐等維度；展示區域客群偏好特征，包括終端、APP使用及興趣偏好等情況；展示區域內資源類別及數量，包括渠道網點、2G/4G/5G 基站、家寬小區等；展示區域內基站流量、話務量等網絡運行指標。

c）客流熱力圖：基于GIS 地圖以可視化方式將選定區域的不同網格渲染成不同的顏色表示客流的密集程度，以便業務人員直觀地掌握選定區域客流地理分布情況。

d）客群洞察：針對重點發展業務，基于GIS 地圖將目標客群以熱力圖方式展示在地圖上，方便業務人員直觀地掌握用戶地理分布情況。同時，可以通過區域畫像交互式圖表，點擊人口特征、業務指標等細分類別（如居住人口、DOU 大于8 GB），展示該細分類別客群的地理分布情況。

e）資源視圖：基于GIS 地圖以POI 打點或多邊形區域著色方式展示區域內渠道網點、2G/4G/5G 基站、家寬小區等資源的地理位置。

f）區域圈劃：除默認常規區域、場景區域外，為業務人員提供所見即所得的自定義圈劃區域功能，支持圓形、多邊形等形狀，實現快速、靈活支撐各類區域洞察需求。

1.2.2 精準營銷

根據營銷需求，選定區域或自定義圈劃區域，通過自助標簽或營銷模型篩選出目標客群后，利用系統自有短信、外呼等渠道觸點，或其他營銷系統部署執行營銷活動，實現營業廳引流、地推活動預熱以及其他各類場景的精準營銷。

1.2.3 智慧選址

面向渠道管理，可視化展示選定營業廳等渠道網點覆蓋區域范圍、周邊客流熱力分布、友商網點等相關情況，輸出周邊客流數量、人口特征、業務指標等量化數據，根據模型給出選址建議，為渠道網點優化與管理提供數據化、可視化支撐。

1.2.4 業網協同

從業務角度，建立弱覆蓋、異常核查、用戶感知差、高負荷擴容、高倒流優化等模型，基于GIS 地圖提供選定時段的質差小區清單，精準定位故障片區，并持續跟蹤指標改善情況，便于業務人員了解與業務發展相關的網絡運行信息，支撐區域流量發展。

1.2.5 區域及任務管理

通過可視化自助界面，業務人員能夠查看、管理自建區域、營銷任務等信息；具有系統權限的業務管理人員查看、管理全市各級組織的區域、營銷任務等信息，對業務人員自建區域、營銷任務等進行審批，分派工作任務等。

2 系統開發實現

智慧區域運營平臺基于Hadoop和Spark框架的大數據平臺開發。整個系統主要包括數據采集層、數據處理與分析層、數據服務層、應用層等，系統架構如圖1所示［2］。

2.1 數據采集層

數據采集層主要負責完成各類數據的接入。系統使用的數據源主要包括網絡DPI 等實時數據，經分系統的用戶信息表、渠道網點清單、家寬小區清單和網管系統的網絡性能報表、基站工參表等離線數據。系統采用Flume 日志采集工具從公司的統一聚合平臺消費實時數據，寫入Kafka 分布式消息隊列中，供上層應用進行實時流處理或離線批處理。離線數據量相對較少，通過FTP 接口機等方式接入，存儲到Hadoop的HDFS分布式文件系統。

2.2 數據處理與分析層

數據處理與分析層主要負責網格化處理、實時數據關聯匯總、離線數據挖掘分析。

在大數據處理前，網格化模塊預先采用Geohash算法對基站、渠道網點、家寬小區等的經緯度數據進行編碼。Geohash 算法首先根據經度［-180，180］、緯度［-90，90］的區間范圍，對經度和緯度分別不斷進行二分（左區間取0，右區間取1）轉換成二進制編碼，然后按照偶數位放經度、奇數位放緯度的規則（從第0位開始），將經度和緯度二進制編碼按位交替組合，最后根據Base32 編碼將組合后的二進制編碼轉換成字符串［3］。Geohash 把二維的經緯度坐標編碼成一維的字符串后，可以提升后續查詢效率。Geohash 編碼字符串越長，精度就越高，對應的網格范圍也越小。綜合考慮精度和效率，本系統Geohash 編碼字符串長度取7位，相應網格尺寸為153×153 m。Geohash 編碼示例如表1 所示。經過網格化，全市區域被劃分為數萬個網格，建立基站、渠道網點、家寬小區等與網格的關系，實現相關資源數據入格。

實時處理部分采用Spark Streaming 按設定時間間隔（5 min）對實時流數據進行處理，抽取網絡信令XDR中IMSI、TAC、CELL ID、TIME等關鍵數據字段，與預先寫入Redis 內存數據庫的用戶標簽（人口特征、位置、興趣偏好等）、業務指標、基站網格編碼等數據進行實時關聯，形成中間數據并寫入Kafka；其中根據用戶所處基站，實現了用戶相關數據入格。經過關聯處理后，Spark Streaming 讀取中間數據，按設定的窗口時間長度（2 h）和滑動間隔（5 min），基于網格進行數據匯總統計，并將結果數據存入MySQL 數據庫。實時數據處理流程如圖2所示。

離線處理部分由HDFS、Hive、Spark 等組成，對DPI、經分等數據進行離線處理與分析。通過位置模型為用戶打上居住地、工作地等位置類標簽，根據精準營銷、智慧選址、業網協同等應用需求，建立相關模型進行深度數據挖掘分析，其中用戶標簽數據寫入HBase數據庫。

2.3 數據服務層

圖2 實時數據處理流程

數據服務層主要負責提供數據查詢服務。根據系統前端的業務人員操作請求，網格數據查詢模塊按區域與網格關系從MySQL 數據庫中查詢數據，計算出選定區域的各類統計數據。營銷數據查詢模塊首先基于Solr 對HBase 表中涉及篩選的字段和RowKey 建立索引，然后通過Solr 快速查詢獲得符合篩選條件的RowKey，實時統計出目標客群人數，最后通過這些RowKey 在HBase 的全量用戶數據中查詢獲取目標客群數據［4］。

2.4 應用層

應用層主要負責提供數據可視化展示及應用功能服務。系統通過Web 門戶為業務人員以可視化交互方式提供區域洞察、精準營銷、智慧選址、業網協同、區域管理等應用功能。系統采用B/S 架構，基于前后端分離的模式進行Web 應用開發，前端采用Vue.js實現用戶UI 界面構建和數據展示，后端采用Spring Boot 框架實現業務邏輯和數據提供；前端通過AJAX向后端接口請求數據，數據以JSON 格式進行傳輸；此外，將客群、基站清單等數據按應用或接口要求生成文件。在數據可視化方面，為快速開發實現，GIS 部分采用百度地圖JavaScript API，實現地圖底圖繪制、熱力圖渲染、資源POI 打點以及區域自定義圈劃等功能［5］；圖表部分采用ECharts 開源可視化圖表庫，以折線圖、柱狀圖、餅圖等豐富形式，實現客流統計、區域畫像等洞察數據可視化，系統Web 界面如圖3 所示。營銷接口模塊根據接口規范打通短信網關、呼叫中心等系統，或調用其他營銷系統能力，通過FTP推送客群數據文件，執行精準營銷活動。

3 結束語

本文基于大數據技術研究開發智慧區域運營平臺，創新性實現面向區域運營的數據網格化、實時處理、實時查詢、數據可視化等關鍵技術，高效滿足洞察分析、精準營銷等應用需求。目前智慧區域運營平臺已完成開發并在公司推廣使用，面向各級運營人員提供多維度實時區域洞察，支撐營業廳引流賦能渠道業務發展、住宅小區位置營銷拓展家庭寬帶、智慧選址優化網點布局、業網協同助力流量提升等應用場景，達到了可視化運營、便捷化營銷、網格化支撐的系統建設目標，取得了良好的經濟效益。隨著系統功能迭代優化、應用場景不斷豐富，智慧區域運營平臺將在網格化運營、渠道轉型、5G 營銷等方面發揮更大的價值。