電信行業企業級大數據平臺建設思路研究

靳志成 胡偉 卞雪梅

摘要：大數據作為新時代背景下推動社會生產要素整合的主要動力，本文從建設電信行業企業大數據平臺角度出發，介紹了大數據平臺建設思路、建設策略，并結合多個大數據平臺項目落地實踐中總結一套大數據平臺建設五步法，以期全面啟動企業數據化建設，并且讓這個過程不斷地持續運行，最終達到當前技術和方法所能支撐的企業全面數據化。

關鍵詞：大數據平臺;企業數據;平臺建設

一、引言

電信業歷經多年IT建設，已經具備大量數據和應用的成果與經驗。隨著企業級數據整合，海量數據處理和大數據應用建設等的需求不斷增加，傳統數據運營管理體系逐漸向大數據平臺運營體系演進[1]。

2015年之后，企業級大數據平臺時代到來。全面應用云化大數據處理技術，能夠實現三域數據融合統一存儲，同時處理的數據量級達80PB。構建企業級數據模型，以多租戶方式為各類業務提供數據能力和分析能力的支撐，并能提供若干AI應用，實現大數據與人工智能的結合。

運營商開展大數據業務優勢顯著，它有獨特的數據資產優勢，龐大的用戶資源優勢，深遠的品牌影響優勢，但是它也存在一些問題制約，比如數據安全及隱私保護的問題，大數據發展水平、技術研發能力落后于互聯網企業的問題。在大數據技術發展的新形勢下，企業開始對信息化管理工作提出了新的要求，各大企業的數據中心在建立并不斷完善，傳統運營商也面臨轉型。各電信運營商依托于自身優勢，借助于各大業務運營系統，收集海量數據，因地制宜，結合各省的數據流量以及業務拓展需求情況，構建相應級別的數據中心。但如何在傳統業務之外利用大數據等新型技術處理和利用這些數據信息，構建更為全面的企業級大數據平臺輔助諸如突發公共事件防控、優化業務運營策略等也是當下研究的主要任務。

二、電信行業企業級大數據平臺建設思路

大數據平臺作為海量數據的存儲、運算和展示的平臺，通過大規模并行處理（massively parallel processing，MPP）數據庫、分布式、云計算等大數據技術，從多維數據中快速獲取價值信息。大數據技術體系包含以下五方面：采集與預處理、存儲與管理、計算模式與系統、數據分析與可視化、隱私與安全。

大數據處理的第一步是制作高質量數據集，即通過數據源采集樣本數據進行預處理[2]和集成操作[3]，第二步是通過分布式、訪問接口和查詢語言等技術滿足數據處理的實時性和有效性，并對上層應用提供數據訪問服務;第三步是根據數據集的不同數據特征和多樣化的數據計算分析需求中建立抽象化的計算模型;第四步是針對大數據難以理解的多維分析結果，利用可視化、人工交互和數據起源等方式方便數據展示和用戶理解。

大數據平臺總體建設應以用戶需求為中心，以業務運營為導向，深度分析挖掘用戶的通信和互聯網行為，依據行為結果建設基礎平臺集成和數據模型，將行為結果轉化為營銷商機數據，通過多渠道協同，推進智慧在線運營，打造企業差異化競爭能力。大數據系統體系架構采用云化混搭架構建設開放、可靠、易維護的大數據平臺;以數據為基礎，需求為導向，通過持續的模型、業務研究，構建對內、對外應用，支撐大數據戰略的實現[4]。整個大數據平臺總體上可分為功能域和管理域，其中功能域可以分為5個層次，分別是采集層、數據存儲與處理層、服務目錄層、應用層、展現層。總體架構如圖1所示。

功能域的五個層次專注于數據從采集、處理到應用的整個生命周期，管理域則側重對于數據的管理，包括元數據管理、數據質量管理、數據安全管理、安全管理等。在大數據的整個應用過程中，數據安全是極為重要的，它涉及用戶個人信息以及隱私保護等問題，需要有一個強大不易被攻擊的平臺來管理、保護數據。

三、大數據平臺建設策略和建設路徑

建設企業級大數據平臺需要一定的前置條件。本文認為需要從以下三方面進行考慮。

一是行業特性，大數據平臺策略的產生是基于互聯網背景之下，雖由電商行業興起，但用戶群體面向ToBs，用于打造產業生態鏈、銜接上游供應商、下游代理商/經銷商業務，幫助企業前臺貼近用戶，提供更好、更人性化服務，提升用戶體驗、加快業務交互頻率，中臺和后臺提供管控協調和技術支撐。在當前階段，大數據平臺在金融、銀行、政府、能源等行業領域已經開始展開建設。

二是企業體量，大數據平臺模式建設對企業體量有較高的要求，通常為龍頭企業、行業翹楚，組織結構龐大而復雜，存在眾多有實力的子公司或下級單位，并且整體業務上多元化：多板塊、多業態。集團內部擁有較為充足的資金力量、能力較強的技術團隊，良好的信息化基礎設施建設，具備強大的能力去整合業務和上下游的業務和信息化系統。

三是技術實力，對于構建大數據平臺業務模式的企業來說，內部需要具備一定的技術實力，首先要對自身業務領域及業務流程模式具備較深的了解，之后對大數據平臺需要的技術/產品（開源的/非開源的）具備扎實的基礎，以便后續對大數據平臺成果維護的同時發現問題并進行改進，如果當前企業暫時不具備獨立構建或維護大數據平臺成果的能力，那么可以與一些技術實力強的廠商共同合作完成，在構建的過程中能夠迅速地學習對方的能力。

（一）大數據平臺建設路徑

本文在多個大數據平臺項目落地實踐中總結出的一套方法論，大數據平臺建設五步法。

一是數據資源的盤點與規劃，數據化的基礎是信息化或者信息化所產生的數據。這些數據本身具有數據化的含義，同時這些數據又會進入數據化框架體系，繼續通過計算產出更多的數據和更大的價值。所以說對企業數據資源的盤點是數據化建設的前提和基礎。一份完整、準確的數據資源是后續數據化建設的有力保障。同時，在進行數據資源的盤點與規劃是需要對現有數據資源盤點和統計;對企業可以擁有或者應該擁有的數據資源進行規劃;構建盤點體系并使用必要工具，保證盤點的成果能夠始終與真實情況相符。

二是數據應用規劃與設計，企業要基于現有的技術條件和方案，進行相對完整的數據應用規劃。首先應從業務線、業務層級到最細粒度的崗位，梳理數據需求;其次圍繞數據需求進行數據應用的整體規劃和設計，構建數據應用;最后對數據應用建立評估模型，評估的維度包括數據應用是否可以實現、數據應用的業務價值、數據應用的實現成本這三個主要方面。通過評定結果，我們可以確定數據應用的實現路徑。

三是數據資產建設，數據資產建設要依托數據中臺的核心產品完成。數據資產是企業數據化建設的關鍵基礎。所有的數據化建設最后都以數據資產為基礎，并且圍繞這個基礎展開。數據資產將是企業在全面數據化建設前期中投入最多、見效最慢的基礎層模塊。關于數據中臺的種種探討和爭議以及妥協的很大一部分原因是這個基礎建設龐大、復雜和投入高。數據資產建設的內容包括技術建設、數據倉庫模型構建、數據抽取和開發及任務監控與運維、質量校驗、應用支撐，相應具體內容入如表1所示。

四是數據應用的詳細設計與實現，數據應用的設計大體上都可以遵循傳統信息化應用設計的過程和理念，如瀑布模型、敏捷開發模型等。數據應用中的數據開發一般在數據庫或者數據倉庫中完成。數據應用的內容展示可以采用BI分析工具展現，如可視化大屏或定制化開發應用。數據應用還可以通過API接口服務提供數據成果，讓其他外部應用按需調用。在數據應用的開發過程中，應對數據源的內容與質量、數據開發與管理、數據結果驗證、數據運維、數據成果運營等方面予以關注。

五是數據化組織規劃，企業數據化是未來一個時期內具有企業戰略高度的事情，數據化需要一個具有同等戰略高度的組織負責推進。無論是從傳統的IT部門轉型還是由戰略部門或者類似部門介入都是很好的選擇。組織是保障數據中臺順利落地的一個核心，也是推動企業數據化進程的人員抓手。

（二）大數據中臺構建模式

在滿足上述五步之后，企業對于大中臺的構建通常分為三種模式，一種為全部外采，外包給實施團隊;一種為吸收開源融合業務，之后將成果開源;一種為自研、開源相結合，下面將具體闡述每種模式。

外部采購，忽略信息化團隊的能力，使用該種模式的企業通常擁有雄厚的資金，或是在行業特性、業務方面與外采的大中臺產品或技術框架有一定的相似度，業務內容具備較高的復用性，否則在獨有業務定制開發方面會產生更多成本。對于外采模式，通常不會購入成品中臺，而是購入開放的中間件平臺類產品，如ESB、Portal、IDM、MDM、BI等作為技術中臺、數據中臺提供能力支撐。

基于開源，該種模式企業通常具備信息化團隊，當然不排除一些企業注重時間成本而直接高薪聘請專業信息化團隊打造大中臺架構，對于底層技術，不需要花費過多時間去自研，使用開源框架及產品作為支撐即可，對于專有業務結合擴展開發，打造屬于自身業務發展的大中臺架構。部分企業基于這種模式，會將研究成果全部或部分開源出去，供其他類似行業使用借鑒。

自主研發，使用該種模式的企業同樣具備信息化團隊，在大中臺技術架構上，只部分采用外部吸收的技術，也避免將平臺后續的擴展與維護受限，在特有業務或主營業務方面的技術產品選擇自研，底層通用框架方面選擇當前開源的技術與產品為主，部分技術中臺、數據中臺中涉及產品選擇外采，并基于在外部技術團隊實施的過程中，吸收、學習產品使用的能力，后期維護擴展。

無論是微服務還是大中臺理念，都是基于中國市場特有業務，根據傳統架構模式演變而來，無論是構建成果還是發揮的作用都更加適應中國模式的發展，當前對大中臺的構建也應該遵循中國市場獨有的最佳實踐。

大中臺模式不僅對企業內部進行整體管控，還是商業模式的支撐手段及營銷渠道，構建時應當注重對中臺建設整體的管控能力，在具備充足人力、財力的情況下，也不必采用全部自建的模式，對于通用類軟件在滿足開發性前提下考慮外采，由原廠商提供技術支持，對主營業務建設則以自建為主，結合外采一些技術平臺類產品、整體解決方案來實現，著重衡量產品的開放性、敏捷性、擴展性、維護性，實施團隊的成熟度、專業性、知識傳遞性等，企業在建設過程中完成技能培訓、知識轉移，沉淀最佳實踐，后續獨立進行平臺搭建、擴展、改造、維護，最終實現中臺建設自主可控。

四、結束語

本文通過對電信行業數據進行分析，以當前主流大數據平臺建設模式，提出了大數據平臺建設五步法。在大數據平臺項目落地中，可以根據具體項目情況對其中的一個或者幾個部分的內容做重點的加強或者減弱，甚至可以只在其中一個方面做重點突破和攻關。

本文對數據中臺建設五步法總結的目的是相對地規范企業數據中臺建設的步驟和架構，五步法只是企業整體數據化建設的啟動。本文希望通過這五個標準的步驟，全面啟動企業數據化建設，并且讓這個過程不斷地持續運行，最終達到當前技術和方法所能支撐的企業全面數據化。

作者單位：靳志成? ? 胡偉? ? 國家計算機網絡與信息安全管理中心新疆分中心

卞雪梅? ? 新疆大學

參? 考? 文? 獻

[1]成欣， 喻朝新， 劉立. 通信領域大數據應用前景分析及模式場景探討[J]. 現代電信科技， 2016，46（1）：1-7.

[2] Li X， Dong X L， Lyons K， et al. Truth Finding on the Deep Web： Is the Problem Solved？[J]. Proceedings of the VLDB Endowment， 2015，6（2）：97-108.

[3] Arasu A， Chaudhuri S， Chen Z， et al. Experiences with using Data Cleaning Technology for Bing Services[J]. Bulletin of the Technical Committee on Data Engineering， 2012（2）.

[4]辛笛. 運營商大數據平臺建設方案研究[J]. 電信工程技術與標準化， 2018，31（4）：26-29.