基于電信大數(shù)據(jù)的即時(shí)環(huán)境應(yīng)用能力開放平臺(tái)

鄭　明　中國聯(lián)通研究院平臺(tái)與產(chǎn)品實(shí)驗(yàn)室研究員王　蓉　中國聯(lián)通研究院平臺(tái)與產(chǎn)品實(shí)驗(yàn)室產(chǎn)品開發(fā)實(shí)驗(yàn)室組長，高級(jí)工程師楊　瑞　中國聯(lián)通研究院平臺(tái)與產(chǎn)品實(shí)驗(yàn)室研究員

?

基于電信大數(shù)據(jù)的即時(shí)環(huán)境應(yīng)用能力開放平臺(tái)

鄭明中國聯(lián)通研究院平臺(tái)與產(chǎn)品實(shí)驗(yàn)室研究員
王蓉中國聯(lián)通研究院平臺(tái)與產(chǎn)品實(shí)驗(yàn)室產(chǎn)品開發(fā)實(shí)驗(yàn)室組長，高級(jí)工程師
楊瑞中國聯(lián)通研究院平臺(tái)與產(chǎn)品實(shí)驗(yàn)室研究員

摘要：提出一種基于電信大數(shù)據(jù)的即時(shí)環(huán)境應(yīng)用能力開放平臺(tái)，并研究平臺(tái)框架及實(shí)現(xiàn)機(jī)制。該平臺(tái)充分挖掘電信運(yùn)營商的數(shù)據(jù)價(jià)值，并為第三方應(yīng)用提供業(yè)務(wù)便利，有利于電信運(yùn)營商大數(shù)據(jù)生態(tài)環(huán)境的構(gòu)建。

關(guān)鍵詞：大數(shù)據(jù)；即時(shí)環(huán)境；開放平臺(tái)

1　引言

移動(dòng)互聯(lián)網(wǎng)時(shí)代各類應(yīng)用層出不窮，各細(xì)分市場競爭趨于同質(zhì)化。應(yīng)用若能在用戶需求產(chǎn)生或發(fā)生變化時(shí)，即時(shí)對(duì)用戶提供對(duì)應(yīng)的服務(wù)，將極大提升用戶體驗(yàn)，增強(qiáng)市場競爭力。電信運(yùn)營商擁有豐富、真實(shí)、準(zhǔn)確的用戶數(shù)據(jù)，包含實(shí)時(shí)信息如移動(dòng)用戶上網(wǎng)流量記錄，以及歷史信息如用戶基礎(chǔ)身份信息、用戶標(biāo)簽信息等。基于電信運(yùn)營商的大數(shù)據(jù)，分析用戶的即時(shí)狀態(tài)，并將相關(guān)分析結(jié)果開放給應(yīng)用開發(fā)者，將成為運(yùn)營商大數(shù)據(jù)開放的重要應(yīng)用形式，本文稱之為基于電信大數(shù)據(jù)的即時(shí)環(huán)境應(yīng)用能力開放平臺(tái)。

2　應(yīng)用場景

為更直觀地描述即時(shí)環(huán)境應(yīng)用能力開放平臺(tái)，本文先以一個(gè)特定的應(yīng)用場景為例進(jìn)行介紹。該應(yīng)用場景下，某個(gè)第三方應(yīng)用需要即時(shí)獲知進(jìn)入某地理區(qū)域內(nèi)的具備某特性的用戶信息，以便向這些用戶推送有針對(duì)性的業(yè)務(wù)營銷信息。如圖1所示，通過基于電信大數(shù)據(jù)的即時(shí)環(huán)境應(yīng)用能力開放平臺(tái)實(shí)現(xiàn)該需求的關(guān)鍵環(huán)節(jié)，具體如下：

（1）第三方應(yīng)用向開放平臺(tái)訂購服務(wù)，服務(wù)指明應(yīng)向其通知具備某類特征標(biāo)簽的用戶進(jìn)入某個(gè)區(qū)域內(nèi)的事件。

（2）開放平臺(tái)根據(jù)第三方應(yīng)用所訂購的服務(wù)，設(shè)置事件觸發(fā)器。

（3）符合預(yù)設(shè)條件的移動(dòng)用戶移動(dòng)到預(yù)設(shè)區(qū)域，并產(chǎn)生移動(dòng)上網(wǎng)流量。

（4）電信大數(shù)據(jù)平臺(tái)從實(shí)時(shí)采集的移動(dòng)用戶上網(wǎng)流量記錄中提取用戶位置信息，并根據(jù)用戶歷史上網(wǎng)記錄分析用戶特征，并通過標(biāo)簽形式進(jìn)行標(biāo)注。電信大數(shù)據(jù)平臺(tái)將所提取的用戶位置信息及標(biāo)簽信息實(shí)時(shí)寫入能力開放服務(wù)中。

（5）能力開放服務(wù)通過事件觸發(fā)器實(shí)時(shí)檢測用戶信息的寫入。

（6）當(dāng)能力開放服務(wù)檢測到符合觸發(fā)條件的寫入時(shí)，則向第三方應(yīng)用進(jìn)行通知，通知內(nèi)容包含該符合條件的用戶的手機(jī)號(hào)碼。

（7）第三方應(yīng)用向該用戶推送具有針對(duì)性的業(yè)務(wù)營銷信息。

圖1　即時(shí)環(huán)境應(yīng)用能力開放應(yīng)用場景示例

3　平臺(tái)框架

基于電信大數(shù)據(jù)的即時(shí)環(huán)境應(yīng)用能力開放平臺(tái)框架如圖2所示，框架中各部件描述如下：

（1）第三方應(yīng)用

即訂購服務(wù)的需求方，是訂購規(guī)則的制定者，數(shù)據(jù)處理結(jié)果的使用者。

（2）業(yè)務(wù)訂購系統(tǒng)

第三方應(yīng)用訂購的受理系統(tǒng)，根據(jù)客戶訂購內(nèi)容生成訂購規(guī)則。

（3）任務(wù)調(diào)度引擎

解析訂購規(guī)則，并根據(jù)規(guī)則向能力開放服務(wù)、電信大數(shù)據(jù)平臺(tái)分配數(shù)據(jù)處理任務(wù)，完成以上系統(tǒng)相關(guān)業(yè)務(wù)處理邏輯的自動(dòng)化配置。

（4）能力開放服務(wù)

能力開放平臺(tái)的核心部件，包括以下部件內(nèi)容：

●分布式內(nèi)存數(shù)據(jù)庫：存儲(chǔ)讀取、寫入頻率極高的熱點(diǎn)數(shù)據(jù)，是能力開放服務(wù)的核心數(shù)據(jù)存儲(chǔ)部件。

●嵌入式腳本：作為分布式內(nèi)存數(shù)據(jù)庫的擴(kuò)展腳本，實(shí)現(xiàn)腳本與內(nèi)存數(shù)據(jù)庫函數(shù)的雙向調(diào)用，以擴(kuò)展內(nèi)存數(shù)據(jù)庫功能。

圖2　即時(shí)環(huán)境應(yīng)用能力開放平臺(tái)框架

●接口服務(wù)：定義外部數(shù)據(jù)、分析結(jié)果數(shù)據(jù)的交換接口標(biāo)準(zhǔn)，提供開放接口服務(wù)，完成各類接口的封裝，并實(shí)現(xiàn)與其他部件交互的能力適配。具體包括以下接口內(nèi)容：

——數(shù)據(jù)批量導(dǎo)入接口：用于外部數(shù)據(jù)的批量導(dǎo)入。

——查詢接口：用于第三方應(yīng)用查詢分析結(jié)果。

——Pub/Sub：用于第三方應(yīng)用數(shù)據(jù)的實(shí)時(shí)輸入，以及分析結(jié)果的實(shí)時(shí)通知。

（5）電信大數(shù)據(jù)平臺(tái)

用戶數(shù)據(jù)基礎(chǔ)平臺(tái)，提供分布式的持久化存儲(chǔ)能力與流處理能力，包括HDFS/HBase、Spark、數(shù)據(jù)分析挖掘平臺(tái)等部件。

4　平臺(tái)數(shù)據(jù)需求

4.1用戶屬性數(shù)據(jù)

電信大數(shù)據(jù)平臺(tái)實(shí)時(shí)采集移動(dòng)用戶上網(wǎng)流量記錄并進(jìn)行挖掘分析，向能力開放服務(wù)提供各類用戶屬性數(shù)據(jù)，具體如下：

（1）用戶標(biāo)識(shí)

提供用戶的手機(jī)號(hào)碼，或其他經(jīng)過匿名處理的用戶標(biāo)識(shí)碼。

（2）用戶位置

可直接提供用戶的地理坐標(biāo)數(shù)據(jù)，或提供用戶接入移動(dòng)通信系統(tǒng)的地區(qū)區(qū)域碼（LACID）、小區(qū)識(shí)別碼（CELLID），以及系統(tǒng)全局范圍內(nèi)的以上編碼與基站地理坐標(biāo)數(shù)據(jù)的映射關(guān)系。

（3）用戶上下文

用戶上下文信息包括用戶終端、近期使用的應(yīng)用和近期搜索詞等數(shù)據(jù)。

（4）用戶畫像

用戶畫像可通過標(biāo)簽形式進(jìn)行描述，也可按其他自定義數(shù)據(jù)格式進(jìn)行描述。

此外，第三方應(yīng)用也可向開放平臺(tái)提供用戶屬性補(bǔ)充數(shù)據(jù)。

4.2目標(biāo)描述數(shù)據(jù)

第三方應(yīng)用向開放平臺(tái)提供訂購目標(biāo)的描述數(shù)據(jù)，以滿足其訂購業(yè)務(wù)的需求，具體如下：

（1）目標(biāo)用戶描述

提供對(duì)訂購目標(biāo)用戶群體的描述信息，包括對(duì)目標(biāo)用戶的屬性要求，如畫像要求、終端類別要求、近期搜索詞要求等；也可包括目標(biāo)用戶的用戶標(biāo)識(shí)集合，即要求開放平臺(tái)僅分析、處理該集合范圍內(nèi)的用戶數(shù)據(jù)。

（2）目標(biāo)區(qū)域描述

提供對(duì)訂購目標(biāo)區(qū)域的描述信息，即對(duì)訂閱區(qū)域的地理位置要求，如行政區(qū)域要求、地理坐標(biāo)要求，要求開放平臺(tái)僅分析、處理該目標(biāo)區(qū)域范圍內(nèi)的用戶數(shù)據(jù)。

（3）目標(biāo)時(shí)間描述

提供對(duì)訂購目標(biāo)時(shí)間的描述信息，要求開放平臺(tái)僅在該目標(biāo)時(shí)間范圍內(nèi)進(jìn)行用戶數(shù)據(jù)的分析。

5　業(yè)務(wù)處理流程

5.1業(yè)務(wù)訂購與任務(wù)分配

如圖3所示，業(yè)務(wù)訂購與任務(wù)分配是客戶完成即時(shí)環(huán)境應(yīng)用能力業(yè)務(wù)訂購，開放平臺(tái)完成訂購任務(wù)解析分配的流程，具體包括以下流程：

圖3　業(yè)務(wù)訂購與任務(wù)分配流程

（1）第三方應(yīng)用通過業(yè)務(wù)訂購系統(tǒng)訂購業(yè)務(wù)。

（2）業(yè)務(wù)訂購系統(tǒng)生成訂購規(guī)則描述文件，并提交任務(wù)調(diào)度引擎處理。

（3）任務(wù)調(diào)度引擎解析訂購規(guī)則：

●向電信大數(shù)據(jù)平臺(tái)傳入任務(wù)配置。

●向分布式內(nèi)存數(shù)據(jù)庫提交執(zhí)行任務(wù)所需的腳本文件。

5.2任務(wù)執(zhí)行

任務(wù)執(zhí)行是指能力開放服務(wù)、電信大數(shù)據(jù)平臺(tái)完成任務(wù)配置后，啟動(dòng)數(shù)據(jù)處理分析以及結(jié)果應(yīng)用。針對(duì)不同的業(yè)務(wù)場景，任務(wù)執(zhí)行可根據(jù)單體用戶數(shù)據(jù)的計(jì)算復(fù)雜性、單次分析數(shù)據(jù)量，分為流式任務(wù)執(zhí)行模式與批量任務(wù)執(zhí)行模式。

（1）流式任務(wù)執(zhí)行模式

流式任務(wù)執(zhí)行模式，由嵌入式腳本完成數(shù)據(jù)分析工作，并實(shí)時(shí)開放處理結(jié)果。適用于單體用戶數(shù)據(jù)的計(jì)算復(fù)雜性弱、單次分析數(shù)據(jù)量小的應(yīng)用場景。如圖4所示，流式任務(wù)執(zhí)行模式的處理流程具體如下：

●第三方應(yīng)用通過開放接口服務(wù)

輸入外部數(shù)據(jù)，開放接口服務(wù)根據(jù)外部數(shù)據(jù)的類別將數(shù)據(jù)存儲(chǔ)于大數(shù)據(jù)平臺(tái)或分布式內(nèi)存數(shù)據(jù)庫。例如，將限定目標(biāo)用戶范圍的數(shù)據(jù)存儲(chǔ)于電信大數(shù)據(jù)平臺(tái)，將用戶屬性的描述信息存儲(chǔ)于大數(shù)據(jù)平臺(tái)。

●大數(shù)據(jù)平臺(tái)將單體用戶或少量用戶的數(shù)據(jù)提交給內(nèi)存數(shù)據(jù)庫。

●內(nèi)存數(shù)據(jù)庫調(diào)用嵌入式腳本進(jìn)行數(shù)據(jù)分析，并保存用戶數(shù)據(jù)。

●內(nèi)存數(shù)據(jù)庫將分析結(jié)果提交給開放接口服務(wù)，并由開放服務(wù)接口將分析結(jié)果開放給第三方應(yīng)用。

●根據(jù)應(yīng)用場景的需求，將分析結(jié)果持久化保存于電信大數(shù)據(jù)平臺(tái)。

（2）批量任務(wù)執(zhí)行模式

批量任務(wù)執(zhí)行模式，由大數(shù)據(jù)平臺(tái)完成數(shù)據(jù)

分析工作并開放處理結(jié)果，分布式內(nèi)存數(shù)據(jù)庫僅

提供快速數(shù)據(jù)查找、寫入功能。適用于單體用戶數(shù)據(jù)的計(jì)算復(fù)雜性強(qiáng)、單次分析數(shù)據(jù)量大的應(yīng)用場景。如圖5所示，批量任務(wù)執(zhí)行模式的處理流程具體如下：

●第三方應(yīng)用通過開放接口服務(wù)輸入外部數(shù)據(jù)（與流式任務(wù)執(zhí)行模式的外部數(shù)據(jù)輸入要求一致）。

●電信大數(shù)據(jù)平臺(tái)批量提交用戶數(shù)據(jù)查詢請求。

圖4　流式任務(wù)執(zhí)行流程

圖5　批量任務(wù)執(zhí)行流程

●內(nèi)存數(shù)據(jù)庫將用戶數(shù)據(jù)批量返回給電信大數(shù)據(jù)平臺(tái)，電信大數(shù)據(jù)平臺(tái)進(jìn)行數(shù)據(jù)分析。

●電信大數(shù)據(jù)平臺(tái)將分析結(jié)果提交給開放接口服務(wù)，并由開放服務(wù)接口將分析結(jié)果開放給第三方應(yīng)用。

●將電信大數(shù)據(jù)平臺(tái)中最新的用戶數(shù)據(jù)寫入內(nèi)存數(shù)據(jù)庫中保存。

6　結(jié)束語

基于電信大數(shù)據(jù)的即時(shí)環(huán)境應(yīng)用能力開放充分挖掘了運(yùn)營商的數(shù)據(jù)價(jià)值，并為第三方應(yīng)用提供業(yè)務(wù)便利，不僅可以作為一種收費(fèi)業(yè)務(wù)模式實(shí)現(xiàn)大數(shù)據(jù)變現(xiàn)，更促進(jìn)了運(yùn)營商大數(shù)據(jù)生態(tài)環(huán)境的構(gòu)建。

參考文獻(xiàn)

［1］李政，李繼兵，丁偉.基于大數(shù)據(jù)的電信運(yùn)營商業(yè)務(wù)模式研究［J］.移動(dòng)通信，2013（05）.

［2］王珊，肖艷芹，劉大為，等.內(nèi)存數(shù)據(jù)庫關(guān)鍵技術(shù)研究［J］.計(jì)算機(jī)應(yīng)用，2007（10）.

［3］陳娜，張金娟，劉智瓊，等.基于Hadoop平臺(tái)的電信大數(shù)據(jù)入庫及查詢性能優(yōu)化研究［J］.移動(dòng)通信，2014（07）.

Openplatform with real-time environment application ability basedontelecommunication big data

ZHENGMing，WANGRong，YANGRui

Abstract:This paper presents an open platform of real- time environment application based on telecom big data，and researches on its framework and implementation mechanisms. This open platform fully extracts the value of mobile network operators’business data， and provides convenience for the third-party application. It is conducive to the ecosystem of telecom big data.

Keywords:big data； real-time environment； open platform

收稿日期：（2016-03-20）