運(yùn)營(yíng)商大數(shù)據(jù)技術(shù)應(yīng)用研究

蔡娟

摘要：伴隨著大數(shù)據(jù)時(shí)代的到來(lái)，數(shù)據(jù)已然成為企業(yè)乃至國(guó)家的戰(zhàn)略性資產(chǎn)。針對(duì)大數(shù)據(jù)技術(shù)開(kāi)展研究，既順應(yīng)了時(shí)代的潮流，也是各大運(yùn)營(yíng)商的社會(huì)責(zé)任。大數(shù)據(jù)在現(xiàn)實(shí)生活中的運(yùn)用，是運(yùn)營(yíng)商在發(fā)展業(yè)務(wù)、推廣市場(chǎng)的基礎(chǔ)，更能體現(xiàn)企業(yè)的綜合實(shí)力。如何將海量的數(shù)據(jù)進(jìn)行快速且有效的處理，是當(dāng)前運(yùn)營(yíng)商面臨的關(guān)鍵問(wèn)題。文章主要介紹了大數(shù)據(jù)技術(shù)的現(xiàn)狀，通過(guò)對(duì)大數(shù)據(jù)技術(shù)優(yōu)勢(shì)與不足的分析，為運(yùn)營(yíng)商在大數(shù)據(jù)技術(shù)方面的應(yīng)用提供參考建議。

關(guān)鍵詞：運(yùn)營(yíng)商；大數(shù)據(jù)技術(shù)；數(shù)據(jù)處理；網(wǎng)絡(luò)優(yōu)化

中圖分類(lèi)號(hào)：TP311.13? 文獻(xiàn)標(biāo)志碼：A

0 引言

隨著互聯(lián)網(wǎng)的快速發(fā)展，大數(shù)據(jù)已經(jīng)成為運(yùn)營(yíng)商發(fā)展新業(yè)務(wù)的一大挑戰(zhàn)。越來(lái)越多的行業(yè)逐漸被大數(shù)據(jù)滲透，如醫(yī)療行業(yè)的線上問(wèn)診、教育行業(yè)的線上課堂、旅游行業(yè)的云服務(wù)等，運(yùn)營(yíng)商可以利用大數(shù)據(jù)開(kāi)展研究分析。一般來(lái)說(shuō)，在傳統(tǒng)的數(shù)據(jù)軟件中，數(shù)據(jù)大小、復(fù)雜性往往無(wú)法計(jì)算，運(yùn)營(yíng)商用合理的成本，在可接受的時(shí)間內(nèi)處理數(shù)據(jù)集。伴隨著網(wǎng)絡(luò)快速發(fā)展，大數(shù)據(jù)技術(shù)在互聯(lián)網(wǎng)中應(yīng)運(yùn)而生。

1 大數(shù)據(jù)技術(shù)的優(yōu)勢(shì)與不足

1.1 大數(shù)據(jù)技術(shù)的優(yōu)勢(shì)特征

大數(shù)據(jù)技術(shù)在互聯(lián)網(wǎng)領(lǐng)域的廣泛使用，大大提高了企業(yè)的效率。移動(dòng)運(yùn)營(yíng)商在大數(shù)據(jù)技術(shù)應(yīng)用上的優(yōu)勢(shì)更加明顯，具體表現(xiàn)在以下方面：

（1）龐大的用戶(hù)數(shù)量。隨著通信技術(shù)的發(fā)展，消費(fèi)群體的需求也越來(lái)越大。截至目前，三大運(yùn)營(yíng)商的用戶(hù)使用網(wǎng)絡(luò)業(yè)務(wù)的數(shù)量已達(dá)13億戶(hù)。（2）大數(shù)據(jù)技術(shù)的時(shí)效性比傳統(tǒng)技術(shù)更易突顯。隨著5G時(shí)代的到來(lái)，人們的日常生活與移動(dòng)互聯(lián)網(wǎng)結(jié)合起來(lái)。運(yùn)營(yíng)商最先擁有用戶(hù)的行為數(shù)據(jù)，實(shí)時(shí)數(shù)據(jù)的更新保證了時(shí)效性。（3）大數(shù)據(jù)技術(shù)是運(yùn)營(yíng)商轉(zhuǎn)型的新機(jī)遇。為了應(yīng)對(duì)OTT競(jìng)爭(zhēng)，運(yùn)營(yíng)商需要向數(shù)字化服務(wù)提供商轉(zhuǎn)型。（4）提高了生產(chǎn)力。Syncsort在一項(xiàng)調(diào)查中發(fā)現(xiàn)，超過(guò)半數(shù)的受訪者在進(jìn)行數(shù)據(jù)分析工作的時(shí)候，往往會(huì)選擇運(yùn)用Hadoop或Spark等工具，以此來(lái)提高生產(chǎn)效率。分析師使用最新的大數(shù)據(jù)分析工具去分析數(shù)據(jù)，往往使得數(shù)據(jù)處理更加有效，從而提高個(gè)人的生產(chǎn)力。此外，這些分析所獲得的見(jiàn)解，往往會(huì)使組織能夠提高公司內(nèi)部的整體生產(chǎn)力，并最終提高公司的效率［1］。

1.2 運(yùn)營(yíng)商在大數(shù)據(jù)技術(shù)應(yīng)用方面所面臨的挑戰(zhàn)

（1）由于數(shù)據(jù)的來(lái)源廣而雜，聚集數(shù)據(jù)較為煩瑣。數(shù)據(jù)的形式多種多樣，但是系統(tǒng)只能支持單一的處理方式，不能處理各種類(lèi)型的數(shù)據(jù)，因此不能滿足互聯(lián)網(wǎng)的多樣化。（2）商業(yè)模式尚未成熟，用戶(hù)的基數(shù)過(guò)大，對(duì)這些數(shù)據(jù)的處理還存在一些難度。（3）投入與產(chǎn)出不相匹配。對(duì)大數(shù)據(jù)的熱烈吹捧，使大數(shù)據(jù)超過(guò)了它本身的商業(yè)價(jià)值。運(yùn)營(yíng)商在時(shí)間方面往往存在一定的形式主義，一些專(zhuān)題為了追求創(chuàng)新，往往忽視了投入產(chǎn)出之比的分析，結(jié)果耗費(fèi)大量人力物力的大數(shù)據(jù)項(xiàng)目的收入非常低。此外，由于對(duì)大數(shù)據(jù)技術(shù)的應(yīng)用和理解仍處于初級(jí)階段，運(yùn)營(yíng)商要將豐富的原始數(shù)據(jù)轉(zhuǎn)化為生產(chǎn)力還有很大的困難，在數(shù)據(jù)獲取和標(biāo)準(zhǔn)化方面將面臨巨大的工作量。（4）運(yùn)營(yíng)仍存在一些風(fēng)險(xiǎn)。用戶(hù)的隱私問(wèn)題關(guān)系到他們自身利益，預(yù)言家梅爾分析了6種常見(jiàn)的解決方案，如數(shù)據(jù)適度和增強(qiáng)的隱私保護(hù)，但由于各種原因，對(duì)于大數(shù)據(jù)概念的沖突等，尚未有令人滿意的方案。由此可見(jiàn)，運(yùn)營(yíng)商處理大數(shù)據(jù)的安全策略是非常重要的問(wèn)題［2］。

2 大數(shù)據(jù)處理技術(shù)

2.1 Hadoop技術(shù)

Hadoop技術(shù)是一種分布式系統(tǒng)基礎(chǔ)設(shè)施，主要處理大量數(shù)據(jù)的存儲(chǔ)和分析計(jì)算。Hadoop技術(shù)具有以下優(yōu)勢(shì)特征。（1）可靠性高：可維護(hù)多份數(shù)據(jù)。當(dāng)計(jì)算的元素或存儲(chǔ)出現(xiàn)錯(cuò)誤的時(shí)候，它不會(huì)把數(shù)據(jù)丟失。（2）高擴(kuò)展性：Hadoop技術(shù)在進(jìn)行數(shù)據(jù)處理的時(shí)候，會(huì)在集群間分發(fā)數(shù)據(jù)，它能夠?qū)?shù)據(jù)輕松地?cái)U(kuò)展到數(shù)千個(gè)節(jié)點(diǎn)。（3）效率：它會(huì)采用并行工作，當(dāng)采用并行工作的時(shí)候，數(shù)據(jù)任務(wù)的處理速度會(huì)有所增長(zhǎng)。（4）高容錯(cuò)性：當(dāng)任務(wù)失敗的時(shí)候，Hadoop可以將任務(wù)進(jìn)行重新分配。伴隨著技術(shù)的成熟，基于Hadoop技術(shù)，及時(shí)查詢(xún)數(shù)據(jù)處理技術(shù)也逐漸開(kāi)始發(fā)展。Hadoop主要適用于大規(guī)模的網(wǎng)絡(luò)數(shù)據(jù)采集、處理、存儲(chǔ)以及交換，支持PB級(jí)存儲(chǔ)容量。

2.2 MPP技術(shù)

MPP技術(shù)是指將任務(wù)并行的數(shù)據(jù)，進(jìn)行分散，將數(shù)據(jù)分別分散到多個(gè)服務(wù)器和節(jié)點(diǎn)上，在節(jié)點(diǎn)上進(jìn)行計(jì)算之后，將各個(gè)節(jié)點(diǎn)上的結(jié)果全部匯總到一起，最后得到一個(gè)最終結(jié)果。MPP技術(shù)適用于大數(shù)據(jù)處理，以及多維度數(shù)據(jù)的自助分析等。MPP技術(shù)適合結(jié)構(gòu)化數(shù)據(jù)深度的分析、數(shù)據(jù)的復(fù)雜查詢(xún)，它不需要進(jìn)行定制以及專(zhuān)門(mén)開(kāi)發(fā)。但是相比較Hadoop而言，MPP技術(shù)可以降低成本。MPP比較適用于海量數(shù)據(jù)的分析和存儲(chǔ)。通過(guò)數(shù)據(jù)壓縮等技術(shù)，最小化大數(shù)據(jù)場(chǎng)景的磁盤(pán)，以提高數(shù)據(jù)的查詢(xún)效率［3］。

2.3 流計(jì)算技術(shù)

對(duì)流數(shù)據(jù)進(jìn)行的實(shí)時(shí)計(jì)算，應(yīng)用于各種場(chǎng)景。淘寶等大型網(wǎng)站會(huì)實(shí)時(shí)產(chǎn)生大量的流媒體數(shù)據(jù)，包括搜索內(nèi)容、瀏覽記錄等數(shù)據(jù)。利用流計(jì)算技術(shù)進(jìn)行實(shí)時(shí)分析，可以比較容易了解網(wǎng)站的流量變化，甚至通過(guò)分析瀏覽軌跡，向用戶(hù)推薦個(gè)性化內(nèi)容。然而，流計(jì)算僅適用于處理一些連續(xù)到達(dá)的流數(shù)據(jù)，對(duì)數(shù)據(jù)處理的實(shí)時(shí)性要求很高。

綜上，當(dāng)前主要使用的大數(shù)據(jù)技術(shù)結(jié)構(gòu)如表1所示。

3 基于大數(shù)據(jù)技術(shù)運(yùn)營(yíng)商的應(yīng)用實(shí)踐

用戶(hù)在進(jìn)行網(wǎng)絡(luò)業(yè)務(wù)時(shí)，感知到的體驗(yàn)信息和運(yùn)營(yíng)商的實(shí)時(shí)運(yùn)營(yíng)信息都屬于大數(shù)據(jù)。運(yùn)營(yíng)商應(yīng)當(dāng)拿起大數(shù)據(jù)這個(gè)有力武器，讓企業(yè)的發(fā)展決策、市場(chǎng)拓展、技術(shù)提升、網(wǎng)絡(luò)建設(shè)都更加科學(xué)化，實(shí)現(xiàn)大數(shù)據(jù)對(duì)于自身發(fā)展的全面支撐。

3.1 移動(dòng)互聯(lián)網(wǎng)業(yè)務(wù)的感知評(píng)估方法

移動(dòng)互聯(lián)網(wǎng)服務(wù)是典型的“20/80效應(yīng)”，覆蓋了大多數(shù)用戶(hù)。研究表明，多數(shù)的流量是用戶(hù)在使用應(yīng)用程序的時(shí)候產(chǎn)生的，比如網(wǎng)絡(luò)瀏覽、視頻以及通信等。然而，雖然業(yè)務(wù)的類(lèi)型不同，但是它們都出現(xiàn)了較為明顯的拖尾效應(yīng)，前面多種方法可以覆蓋大多數(shù)情況。在此基礎(chǔ)上，運(yùn)營(yíng)商主要通過(guò)分析用戶(hù)在網(wǎng)絡(luò)瀏覽、視頻和通信過(guò)程中感知到的影響因素來(lái)分析移動(dòng)互聯(lián)網(wǎng)服務(wù)的整體情況。

3.1.1 網(wǎng)頁(yè)瀏覽類(lèi)

DNS（Domain Name System）延時(shí)：不易于被用戶(hù)感知到。

TCP（Transmission Control Protocol）延時(shí)：用戶(hù)往往不易感知到。

頁(yè)面訪問(wèn)的成功率：用戶(hù)在進(jìn)行頁(yè)面訪問(wèn)時(shí)，往往能夠比較容易感覺(jué)到，但是，用戶(hù)愿意等待頁(yè)面打開(kāi)的時(shí)間是有限的，當(dāng)網(wǎng)頁(yè)訪問(wèn)的等待時(shí)間太長(zhǎng)的時(shí)候，即便頁(yè)面能夠訪問(wèn)，在有效的時(shí)間以外的時(shí)候，用戶(hù)可能會(huì)提前將頁(yè)面進(jìn)行關(guān)閉。

首包延時(shí)：用戶(hù)可以在網(wǎng)頁(yè)的頁(yè)面上看到響應(yīng)，用戶(hù)很容易感知。

頁(yè)面打開(kāi)延時(shí)：從訪問(wèn)頁(yè)面開(kāi)始，一直到頁(yè)面打開(kāi)這段等待的時(shí)間，用戶(hù)往往最容易感知到。

3.1.2 視頻類(lèi)

播放延遲：用戶(hù)可以很容易地感覺(jué)到播放延遲，因?yàn)椴シ诺难舆t往往會(huì)與下載的速率和播放的軟件的緩沖區(qū)大小有關(guān)。而處于終端的客戶(hù)端在使用的過(guò)程中往往更容易檢測(cè)出來(lái)，這與下載的速率有很大的關(guān)系。

視頻卡頓：視頻卡頓與視頻下載的速率、播放視頻的軟件的緩沖大小以及節(jié)目源流速率有關(guān)。

下載速度：往往較為容易監(jiān)測(cè)，下載的速率在很大程度上能夠反映視頻播放的感知情況。

3.1.3 即時(shí)通信類(lèi)

消息發(fā)送和接收延遲：用戶(hù)很容易感知，但即時(shí)消息應(yīng)用程序的準(zhǔn)時(shí)性決定了用戶(hù)對(duì)消息發(fā)送和接受延遲不敏感。

消息上傳、下載速率：用戶(hù)不易感知到消息的上傳、下載速率。原因是屬于即時(shí)通信類(lèi)的應(yīng)用在使用過(guò)程中主要以小流量應(yīng)用為主，而在這種情況下，對(duì)于消息的上傳、下載速率不是非常敏感。

消息的發(fā)送、接收成功率：消息是否能夠成功發(fā)送或者接收，用戶(hù)會(huì)在第一時(shí)間內(nèi)感知到，這體現(xiàn)了用戶(hù)的核心訴求［4］。

3.2 移動(dòng)互聯(lián)網(wǎng)業(yè)務(wù)感知指標(biāo)采集以及建模分析

為了獲取網(wǎng)頁(yè)瀏覽類(lèi)、視頻類(lèi)以及即時(shí)通信類(lèi)的關(guān)鍵質(zhì)量指標(biāo)，在SGW側(cè)部署的深度包檢測(cè)與監(jiān)控系統(tǒng)中，捕捉用戶(hù)在使用互聯(lián)網(wǎng)業(yè)務(wù)時(shí)，所產(chǎn)生的數(shù)據(jù)的關(guān)鍵質(zhì)量指標(biāo)，及時(shí)地掌握用戶(hù)體驗(yàn)，建立用戶(hù)業(yè)務(wù)感知到的評(píng)估模型。同時(shí)，進(jìn)行數(shù)據(jù)的收集，獲取到用戶(hù)端到端的關(guān)鍵質(zhì)量指標(biāo)，通過(guò)對(duì)用戶(hù)的端到端關(guān)鍵質(zhì)量指標(biāo)進(jìn)行回歸分析，驗(yàn)證用戶(hù)業(yè)務(wù)感知的綜合評(píng)價(jià)模型，從而能夠獲得較為穩(wěn)定客觀的感知評(píng)價(jià)模型。

App測(cè)量點(diǎn)一般部署在用戶(hù)終端上，可以收集用戶(hù)真正感知到的關(guān)鍵質(zhì)量指標(biāo)，但由于數(shù)量有限，往往屬于樣本數(shù)量較少；網(wǎng)絡(luò)側(cè)經(jīng)常部署深度包檢測(cè)和監(jiān)控點(diǎn)，它們可以收集用戶(hù)使用所有服務(wù)時(shí)的關(guān)鍵質(zhì)量指標(biāo)，并將兩者結(jié)合起來(lái)構(gòu)建用戶(hù)業(yè)務(wù)感知的綜合評(píng)價(jià)模型。

3.3 移動(dòng)互聯(lián)網(wǎng)業(yè)務(wù)感知評(píng)估實(shí)施以及效果的有效性評(píng)估

根據(jù)全網(wǎng)服務(wù)感知到的綜合評(píng)價(jià)模型，可以隨時(shí)隨地地進(jìn)行計(jì)算和分析，掌握全網(wǎng)用戶(hù)的感知情況。針對(duì)部分用戶(hù)感知較差的區(qū)域和時(shí)段，運(yùn)用技術(shù)進(jìn)行端到端關(guān)聯(lián)和逐層分析，找出導(dǎo)致用戶(hù)在使用移動(dòng)互聯(lián)網(wǎng)業(yè)務(wù)時(shí)所感知不良的原因，從而有針對(duì)性地開(kāi)展移動(dòng)互聯(lián)網(wǎng)業(yè)務(wù)的整改工作。

根據(jù)移動(dòng)互聯(lián)網(wǎng)業(yè)務(wù)的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)和業(yè)務(wù)流程，對(duì)用戶(hù)使用移動(dòng)互聯(lián)網(wǎng)業(yè)務(wù)時(shí)的關(guān)鍵質(zhì)量指標(biāo)進(jìn)行映射，分步分解運(yùn)行于網(wǎng)絡(luò)設(shè)備指標(biāo)、無(wú)線網(wǎng)絡(luò)關(guān)鍵性能指標(biāo)、信令監(jiān)測(cè)計(jì)算，生成關(guān)鍵質(zhì)量指標(biāo)/關(guān)鍵性能指標(biāo)（KPI）和關(guān)鍵性能指標(biāo)（KPI）承載網(wǎng)絡(luò)，核心網(wǎng)絡(luò)管理關(guān)鍵性能指標(biāo)（KPI）和深度包檢查系統(tǒng)生成的計(jì)算/關(guān)鍵性能指的是關(guān)鍵質(zhì)量指標(biāo)標(biāo)準(zhǔn)［5］。

將用戶(hù)數(shù)據(jù)的關(guān)鍵質(zhì)量指標(biāo)映射到網(wǎng)絡(luò)運(yùn)營(yíng)指標(biāo)的關(guān)鍵性能指標(biāo)中去，以達(dá)到監(jiān)測(cè)和優(yōu)化移動(dòng)網(wǎng)絡(luò)業(yè)務(wù)的網(wǎng)絡(luò)運(yùn)營(yíng)指標(biāo)，從而提高互聯(lián)網(wǎng)服務(wù)意識(shí)。移動(dòng)互聯(lián)網(wǎng)商業(yè)的感知指標(biāo)在進(jìn)行應(yīng)用評(píng)估的時(shí)候，通常是從用戶(hù)感知到的指標(biāo)采樣、提取、建模到關(guān)鍵質(zhì)量指標(biāo)再到關(guān)鍵性能指標(biāo)的分析，利用大數(shù)據(jù)平臺(tái)中的數(shù)據(jù)，基于大數(shù)據(jù)平臺(tái)的大量數(shù)據(jù)進(jìn)行存儲(chǔ)和分析，從而證明大數(shù)據(jù)技術(shù)平臺(tái)對(duì)各種數(shù)據(jù)應(yīng)用的支撐能力。

4 結(jié)語(yǔ)

大數(shù)據(jù)技術(shù)進(jìn)行商業(yè)化是運(yùn)營(yíng)商開(kāi)發(fā)額外收入的新舉措，對(duì)運(yùn)營(yíng)商的戰(zhàn)略轉(zhuǎn)型起到了舉足輕重的作用。在大數(shù)據(jù)時(shí)代，運(yùn)營(yíng)商需要加快數(shù)據(jù)服務(wù)轉(zhuǎn)型，在遵守我國(guó)的法律法規(guī)的前提下，尋求商業(yè)模式創(chuàng)新和業(yè)務(wù)創(chuàng)新，提升客戶(hù)感知，推動(dòng)互聯(lián)網(wǎng)不斷向前發(fā)展。傳統(tǒng)的數(shù)據(jù)規(guī)劃以及服務(wù)優(yōu)化往往得不到解決，大數(shù)據(jù)技術(shù)的應(yīng)用為運(yùn)營(yíng)商提供了新的方式，通過(guò)信息服務(wù)的輸出來(lái)降低成本，能夠?yàn)檫\(yùn)營(yíng)商帶來(lái)利益。然而目前大數(shù)據(jù)技術(shù)還未達(dá)到成熟的水平，大數(shù)據(jù)技術(shù)的可靠性和規(guī)范性仍有待加強(qiáng)，以大數(shù)據(jù)為基礎(chǔ)進(jìn)行商業(yè)模式的發(fā)展還有待進(jìn)一步進(jìn)行探索。運(yùn)營(yíng)商利用大數(shù)據(jù)優(yōu)勢(shì)整合整個(gè)行業(yè)的移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)或者提供特供性質(zhì)的數(shù)據(jù)服務(wù)都是有待探究的新方向。

參考文獻(xiàn)

［1］廖鋒，成靜靜.大數(shù)據(jù)技術(shù)及在電信運(yùn)營(yíng)商IT支撐系統(tǒng)的應(yīng)用研究［J］.數(shù)據(jù)通信，2016（2）：32-35，42.

［2］劉力銘，孟昉.大數(shù)據(jù)背景下的移動(dòng)運(yùn)營(yíng)商內(nèi)容精細(xì)化推送技術(shù)應(yīng)用研究［J］.納稅，2017（35）：131-132，134.

［3］宋安平.運(yùn)營(yíng)商大數(shù)據(jù)分析應(yīng)用及技術(shù)展望［J］.通訊世界，2017（17）：82.

［4］覃文.運(yùn)營(yíng)商大數(shù)據(jù)對(duì)外跨業(yè)合作技術(shù)研究及應(yīng)用［J］.廣西通信技術(shù)，2015（3）：17-21.

［5］宮云平，向勇，嚴(yán)宇.運(yùn)營(yíng)商網(wǎng)絡(luò)運(yùn)營(yíng)大數(shù)據(jù)應(yīng)用實(shí)踐研究［J］.移動(dòng)通信，2016（4）：87-91.

（編輯 李春燕）

Research on application of big data technology for operators

Cai? Juan

（Guangzhou Vocational and Technical University of Science and Technology， Guangzhou 510005， China）

Abstract：? With the advent of the era of big data， data has become a strategic asset of enterprises and even countries. Research on big data technology is not only in line with the trend of the times， but also the social responsibility of major operators. The application of big data in real life is the basis for operators to promote the market when developing their business， and it can better reflect the comprehensive strength of the enterprise. How to process massive data quickly and efficiently is a key issue facing operators today. This paper mainly introduces the status quo of big data technology， and provides new reference and suggestions for operators in the application of big data technology by analyzing the advantages and disadvantages of big data technology.

Key words： operator; big data technology; data processing; network optimization