電信運營商大數據平臺建設方案與典型應用探討

中國電信股份有限公司阜陽分公司 高 陽

1.引言

所謂的大數據主要是指對海量數據的采集、計算、智能分析等，將數據向信息和知識進行轉變，從而拓展其價值。在大數據背景下，電信運營商的通訊渠道也將被拓寬，利用該通訊渠道的應用軟件數量逐漸增加，各維度數據量也呈現出爆炸式的增長。但是，由于受到以往傳統通訊管理模式的制約，使其在互聯網競爭過程中處于劣勢地位，因此，建立大數據平臺，充分發揮大數據價值顯得十分必要。

2.電信運營商大數據平臺的建設方案

2.1 建設流程

電信運營商大數據平臺建設的主要目的是將企業內外系統中各種類型的數據信息進行整合，進而實現對數據進行統一的采集、預處理、存儲、計算、管控和服務。（1）數據源，主要包括業務系統數據源、B/O/M三域支撐系統等內部數據源和政府數據等外部數據源。（2）數據采集，主要作用是對各種渠道采集而來的數據源，根據數據的特征，采用適當的方式進行抽取和收集。（3）預處理，在這一環節中，主要是對采集來的數據進行轉換和過濾，使其能夠被有效的整合，與大數據平臺中的數據做到規范和統一。（4）數據存儲和計算，目標對象為大數據平臺中的全部數據，以分布式的方式對其進行存儲、計算、挖掘、加工處理等，使其能夠與各類應用對數據服務的需求相適應。（5）數據服務，通過標準化的接口提供開放服務，主要包括資源開放、工具開放、數據開放等等，以此來滿足企業的內外部需求。（6）數據管控，管控的目標是大數據平臺中的全部數據，平臺將對其全生命周期進行管控，例如數據安全、元數據、數據質量等功能[1]。

2.2 數據分層結構

構建數據分層結構是為了提升電信運營商對于跨域數據模型的接受程度，使數據模型的使用效率得到有效的提升，做到不同粒度的數據都能夠在各種類型的應用中被靈活且高效的訪問。其中，數據粒度由細到粗在層次上的排列分別是，原始數據層→基礎數據層→融合信息層→信息子層。在原始數據層中，能夠對各種類型的數據源系統向大數據平臺進行轉存，但是這種保存只是暫時的，同時還能夠對源系統的數據質量進行驗證。在基礎數據層當中，首先對原始數據層中的數據信息進行轉換和清洗之后，使數據在命名、格式上變得更加標準和統一，能夠充分符合大數據平臺中的相關要求，有效避免由于源系統差異對數據質量產生的不良影響，然后根據事先劃分好的主題域對數據進行存儲，使數據訪問的周期變得更長，信息變得更加全面。在融合信息層當中，在上述兩個層次作用的基礎上，對基礎數據進行整合和計算，使其構成一個具有較強穩定性和可用性的中間數據層，使數據的使用效率得到極大的提升，例如業務辦理信息歸總、用戶清單整合等。在信息子層中，能夠為各種類型的應用提供直接的服務，針對基礎數據進行加工和計算之后，構成數據層，包括KPI報表、標簽庫等等[2]。

3.電信運營商大數據平臺的具體構建

對于不同的大數據技術來說，在應用的層次與場景配置方面也各不相同，在電信運營商中進行的平臺架構，與以往傳統的平臺架構之間存在一定的區別，其屬于一種集多種技術和應用于一身、通過混搭模式構建而成的大數據平臺，對于平臺中各項數據的構建如下所示。

3.1 數據采集層

在大數據平臺中，其數據采集層主要是對網絡管理支撐域、業務支撐域、管信支撐域以及互聯網數據進行統一的采集，以此來保障大數據平臺始終處于數據資產中心的位置，有效防止數據信息被重復采集、存儲等現象發生。在數據采集層中主要包括兩個部分，即互聯網數據采集和內部數據采集。其中，在互聯網數據采集中，通常是利用大數據平臺中的爬蟲服務器來完成的，該服務器被部署在平臺的內部，依靠URL對網頁進行下載和瀏覽，以此來采集到相應的數據信息。

在內部數據采集方面，通常是利用Flume采集方式，該方式具有較強的可靠性、可用性，能夠通過分布式對海量日志信息進行采集、傳輸和整合，并且數據的發送方和接收方都可以進行相應的設置。這里所指的數據發送方為實時日志、靜態日志等，數據的接收方為流計算、Hadoop等。對于離線應用場景來說，數據量較大且類型眾多，具有十分龐大的非結構化數據，因此采用HDFS的方式來存儲原始數據更為合適，具體的配置步驟為：源系統服務器靜態日志→硬盤→HDFS；對于在線實時應用場景或者準實時場景來說，通常情況下，對于原始數據的存儲不采用硬盤的方式，而是以源系統實時日志→內存→流計算隊列→流計算的方式來實現，如若實際需要通過硬盤進行數據存儲，則可以采用此種配置方式，即源系統實時日志→內存→流計算隊列→HDFS[3]。

3.2 數據處理層

大數據平臺中的數據處理層的主要目的是對電信運營商中的全部數據信息進行整合和管理，對所有的數據資產進行統一的預處理、存儲、計算，進而分析和挖掘出更多的大數據價值，使內外部對數據的應用能力以及數據的服務能力都能夠得到顯著的增強。首先，在預處理方面，數據信息的預處理只能在離線的狀態下進行，對于原始數據來說，需要在原始數據層中進行清洗與轉換，然后獲得基礎數據，由于原始數據的信息量十分龐大，在數據類型上也多中多樣，具有眾多非結構化的數據，并且在計算方式上較為簡單，因此對其進行預處理操作可以采用Spark的方式進行，并且在HDFS的基礎上將數據存儲到基礎數據層當中。同時，還能夠在實際需求的基礎上，將部分數據傳輸到HBase當中，在高并發的查詢場景中進行應用[4]。

對于基礎數據處理層來說，其主要作用在于對各跨域應用模型的使用，其中的大多數操作均為匯總計算，由于受龐大的基礎數據量影響，并且沒有多表復雜關聯情況，為了節省建設成本，主要采用Spark核心計算的方式，在HDFS的基礎上將融合數據層中的數據進行保存。在融合數據層中，在對數據挖掘類應用或者是文本分析、日志分析等非結構類的應用進行處理時，在融合數據方面主要采用的是Spark核心計算引擎；在對結構化數據、多表復雜關聯類應用進行處理時，可以先將融合數據導入到MPP當中進行處理。在信息子層中進行數據數據處理時，由于其能夠作為一種高度匯總數據，可以直接應用到各種類型的應用當中，需要獲得標準SQL支持，并且在統一性、實時性等方面的要求也十分嚴格，對此，可以采用傳統關系型數據庫、MPP等方式進行處理；在在線應用場景下，針對海量數據進行計算時，應對其進行實時或者準實時的分析，然后利用流計算等方式來滿足需求，使其獲得更加良好的效果。

3.3 數據服務與管控層

在數據讀物層中，主要作用是對大數據平臺中的資源、工具、數據等進行統一且集中的使用和調度，利用標準化的接口提升其對外服務的水平，通過多租戶的方式，滿足公司數據資產按需服務與共享的要求。在數據管控層中，電信運營商的主要目的是為了能夠實現平臺的智能運維以及全生命周期的數據處理，以此來提升對數據的處理和使用效率，促進電信運營的現代化、信息化發展。

4.電信運營商大數據平臺的典型應用

4.1 在精準營銷中的應用

現階段，最為典型的大數據應用是精準營銷，主要作用是能夠有效克服以往傳統營銷過程中，在目標客戶、營銷時機、營銷產品中存在的問題，并且在盡量減少對客戶進行打擾的基礎上，使營銷的成功率得到顯著的提升。在此背景下，電信運營商可以利用大數據來提升自身的服務水平，通過電子化的溝通渠道來實現對客戶的精準營銷。本文將以電信運營商電子渠道精準營銷為例，在大數據平臺的基礎上，對具體的營銷流程進行設計，如圖1所示[5]。

圖1 通過電子化渠道進行精準營銷流程圖

根據上述精準營銷的流程圖能夠看出，主要分為六個步驟：

標簽計算，在大數據平臺的基礎上，對基礎數據、融合數據進行充分的整合，按照不同的數據特點對標簽進行定義和分類，通過MPP、Spark等對數據進行匯總，對其中的關聯進行計算，最后獲得每個客戶在各個維度中的標簽數據值，并且將其存儲到傳統關系數據庫或者MPP當中。

換機模型識別，在換機方面首先需要對客戶群體進行定位，搜索和選擇曾經發生或換機行為的客戶，將其當做是訓練集，通過Spark的方式對該模型進行訓練，并且對其中相應的業務指標，如標簽屬性等進行識別，進而從中發現潛在的換機群體，并針對這一業務特征進行識別。上述操作的具體應用方式可以利用決策樹、邏輯回歸等方式來實現。

目標客戶的選擇，通過換機模型的識別，對潛在的換機客戶群體進行確定，在基礎數據與融合數據的基礎上，通過MPP或者Hadoop等對尚未換機客戶的換機概率進行計算，并且根據專業人員進行的主觀推斷，確立門限值，如若某個客戶的換機概率大于所設定的門限值，則代表著其將成為本次營銷中的目標客戶之一。

營銷客戶與產品推薦列表，在目標客戶信息以及存在以往換機行為的客戶信息基礎上，采用Spark的方式進行協同過濾運算，進而獲得營銷目標客戶與產品的推薦列表。

營銷時機配置，在利用大數據平臺進行實時精準營銷的過程中，營銷時機配置方面主要是：用戶登錄到網廳當中，并且搜索關鍵詞“4G手機”“手機”“華為”等字樣，這時網廳中的彈窗將會為客戶提供所搜索到的相應產品信息。

實時在線推薦，通過Flume以及Spark等方式便能夠通過大數據對用戶的實時上網行為進行獲取，然后通過Spark Atreaming對已經擁有此產品的用戶和產品列表進行篩選，對此方面數據進行重新的分析和計算，使產品能夠得到進一步推薦，并且提升其推薦的準確性。最后，通過電子銷售渠道中的營銷位，以彈窗的形式為客戶顯示產品的信息，最終完成整個電子渠道的精準營銷過程。

4.2 在數據采集中的應用

H電信省公司的IP城域覆蓋了全部地州，在2015年底，出口鏈路達到了3000G，其中省會城域網中的出口鏈路為1200G。目前，在IP城域網的出口部署了DPI系統，寬帶監控能力為280G，主要的作用為全協議分析、多終端私接監控等等，但是在應用過程中卻存在一些問題，主要包括覆蓋面積較小，城域網的覆蓋范圍僅為9%，對于單地市不具備較為全面良好的監控能力；功能短缺，目前尚未實現網站識別、終端識別、應用識別等功能[6]。

在建立大數據平臺的基礎上，可以采用以下幾種方案進行改造。第一種，全覆蓋部署，在城域網進行出口部署，出口鏈路達到3000G，以此來實現全覆蓋目標。第二種，在兩地州與省會之間進行輪詢部署，其中，地州輪詢，在適當的位置處部署163骨干機房，將采集設備部署其中，在容量配置方面，兩地州相加共計620G。省會輪詢，將采集設備部署到省會CR機房當中，在容量配置方面，兩縣區相加共計為680G。第三種，采用一個地州和一個區縣輪詢的方式，地州輪詢設備部署在163骨干機房，在容量配置方面為310G，省會輪詢設備部署在省會CR機房，在容量配置方面為340G，輪詢周期應超過一個月，以免由于過于頻繁對大數據系統中的數據質量和可用性產生損害。上述三種方案只是在覆蓋范圍、資金投入方面存在一定的區別，如若在資金較為充足的情況下，建議采用第一種方案進行改造；如若投資較為緊張，則可以選擇第三種方案進行輪詢部署。

在方案具體實施時，首先需要新建一個分組域DPI，將其劃分為采集部分和處理部分，主要針對3G、4G、AAA等數據信息進行采集，然后經過DPI的解析之后，將數據內容與大數據平臺和其他相關平臺共享。在大數據的基礎上對目前現有的七號信令監測系統進行改造，對手機信令進行采集，并且通過A口獲取到以下數據：采集區域內部手機主叫數據、關機被叫數據、手機短信數據、手機位置更新數據等。

5.結束語

綜上所述，隨著網絡信息技術的不斷發展，在大數據背景下，技術得到不斷的演進，應用也不斷的更新，電信運營商也緊隨時代發展的潮流，在自身實際需求的基礎上與大數據進行密切的聯系，使全維度數據優勢得到充分的發揮，在大數據背景下，實現自身的順利轉型，提升自身的運營效率和質量，為客戶帶來更加方便快捷的服務。

[1]袁濤,謝攀,趙清．基于大數據平臺的數據分發機制研究[J]．信息通信技術,2015,9(06)∶17-23．

[2]程燁．大數據背景下運營商IP城域網DPI系統部署方案探討[J]．電信網技術,2015，(09)∶32-37．

[3]趙晶．針對運營商的大數據建設方案研究[J]．電信工程技術與標準化,2015,28(03)∶17-21．

[4]張金剛,王昕,耿輝．電信運營商省級公司大數據平臺建設關鍵問題探討[J]．電信工程技術與標準化,2015,28(03)∶22-25．

[5]趙躍東,王雋峰,曾王平．電信運營商大數據應用系統建設方案研究[J]．中國新通信,2015,17(04)∶81-82．

[6]馮明麗,陳志彬．基于電信運營商的大數據解決方案分析[J]．通信與信息技術,2013(05)∶36-40．