KPI與業務體驗相結合的移動寬帶客戶感知評價體系研究

李治國

（中國聯合網絡通信有限公司河南省分公司，河南 鄭州 450008）

KPI與業務體驗相結合的移動寬帶客戶感知評價體系研究

李治國

（中國聯合網絡通信有限公司河南省分公司，河南 鄭州 450008）

從寬帶移動互聯網時代承載的業務、用戶體驗入手，分別對基于語音的網絡質量評價體系、基于用戶業務體驗的評價體系進行分析。結合運營商快速定位網絡問題，確保用戶良好體驗的實際需要，論證了在分析和定位問題時，網絡質量指標和業務體驗指標均不可或缺的觀點。提出了構建基于KPI和業務體驗相結合的移動寬帶客戶感知綜合評價體系的建議并在實踐中進行應用。

移動寬帶 性能關鍵指標 關鍵質量指標 用戶體驗指標

1 引言

隨著寬帶無線接入技術和移動終端技術的飛速發展，手機上網已成為人們日常生活不可或缺的一部分。根據中國互聯網信息中心（CNNIC）第35次中國互聯網發展統計報告顯示：截止2014年年底，全國互聯網用戶達6.49億，其中手機網民用戶達到5.57億，占比高達85.8%，即時通信、旅游預訂、網購、支付等應用穩步提升，由此對運營商帶來了巨大的網絡壓力。

然而，移動互聯網用戶時常會出現在網絡信號滿格、數據業務鏈接顯示正常的情況下無法打開網頁、流媒體業務卡頓、下載文件停滯等現象，從而產生對網絡的抱怨和投訴。而運營商接到類似投訴后，從現有的網絡側指標和設備告警方面又未發現異常，從而對該類問題的處理或提前發現顯得束手無策。

所以，構建移動寬帶客戶感知的分析手段和評價體系對于運營商而言就顯得尤為重要和迫切了。

2 移動寬帶和用戶感知的定位

2.1 移動寬帶的概念

移動寬帶就是指寬帶移動互聯網，由于2G網絡PS業務的受限，移動寬帶僅指3G和4G的移動網絡，而用戶的體驗也主要針對3G/4G手機用戶在使用互聯網過程中的感受。

語音、網頁瀏覽、流媒體業務、郵件、文件訪問等五大類典型業務是業內普遍認為的移動寬帶業務。

2.2 移動網客戶感知的概念

用戶感知是用戶的實際體驗，通俗來講就是人們使用移動業務過程中的心理感受。常用的用于量化用戶體驗的指標有以下幾個：

（1）KQI（Key Quality Indicators）：移動網絡的關鍵質量指標。業內提出QoS（服務質量）的概念是對約定業務或應用服務的表征描述，如時延、帶寬、連續性、抖動等。而最為常見的就是針對使用業務或應用的業務質量作為評價體驗的一種和網絡指標對應的指標體系。KQI其實是一組可以被測量和監控的QoS參數，是一種通過網絡側進行量化的“KPI”。

（2）QoE（Quality of Experience）：指用戶對設備、網絡和系統、應用或業務的質量和性能（包括有效性和可用性等方面）的綜合主觀感受，是通過業務應用的舒適度進行定義的。QoE是用戶對QoS的主觀度量，是用戶對某種業務/應用的主觀感覺，如語音圖像的清晰度和連續性、收發文件的快慢等。

（3）CEI（Customer Experience Indicators）：實時測量用戶體驗以及定義用戶體驗的指標，是反映QoE級別的關鍵指標，著眼點是用戶，與用戶行為相關。KQI僅僅是業務層面的關鍵指標，是不同業務/應用的質量參數，針對CEI的分析是提升移動寬帶客戶實際感知和優質體驗的關鍵因素。

3 建立基于語音的網絡質量綜合評價體系

提升網絡質量是基于網絡側的運行質量指標進行分析，對異常問題進行判定和處理，從而達到提升網絡性能的目的。通常圍繞KPI、用戶投訴、DT、CQT等開展。

（1）KPI（Key Performance Indicators）即網絡性能關鍵指標，是運營商最關心的指標之一。運營商將關鍵指標當作評估標準，以是否達到標準作為評價工作質量的重要條件。運營商均制定了全網及小區級的KPI體系，對網絡指標反映的問題進行處理，確保了網絡的良好運行。

（2）用戶投訴：用戶投訴信息一直是運營商認為最貼近用戶實際感受的數據來源。建立基于用戶投訴的分析系統，對用戶網絡質量類的投訴進行地理化顯示和分析定位，根據問題類型區分為建設、維護、優化等類型，建立閉環管理流程。

（3）DT&CQT分析：通過路測設備、用戶感知系統等開展海量測試，模擬用戶的行為，發現現網中存在的問題并進行處理。

網絡質量綜合評價體系示意圖如圖1所示：

圖1 網絡質量綜合評價體系

運營商在語音時代已經建立了以KPI、DT、CQT及用戶投訴4個方面的綜合質量分析體系，實現網絡性能的提升。以上4個方面的指標都可以用KPI來體現，網絡質量評價體系是運營商長期積累的重要內容。對于網絡側的性能提升起到了十分重要的作用，可以說是評價網絡質量好壞的關鍵性標準。

隨著移動互聯網的到來，用戶在傳統語音需求的基礎之上，對于網頁瀏覽、流媒體業務、郵件、QQ、微信等業務性能的關注愈來愈多。目前運營商針對業務實際接入類體驗、流暢體驗缺少評價手段，雖然近年來引入了MR數據分析，但基于業務的分析能力依然受限。具體表現就是在狠抓KPI的情況下，對于用戶實際體驗方面獲取的信息十分有限，從而產生了運營商的網絡KPI指標十分好看，而用戶對于業務體驗方面的抱怨很多的非對稱現象。

4 構建基于移動網用戶業務體驗的評價體系

4.1 建立用戶體驗與KQI的對應關系

圍繞各種業務類型，建立用戶體驗與KQI的對應關系，針對不同的業務，用戶所關心的體驗內容是不同的，具體如表1所示：

表1 不同業務類型對應的KQI指標

4.2 構建移動網用戶業務體驗的評價體系

CEI是多個KQI指標組共同反映用戶感知的綜合評價指標。在眾多KQI指標中，經過研究和分析可知，時延、成功率和業務速率是用戶業務感知體驗的三大要素。

把除語音業務外的其他4種類型業務的時延、成功率、業務速率按照主觀感知設置為好、較好、一般、較差和差5個等級，分別賦予5～1分進行評判，同時設置各等級的KQI門限指標，對各業務進行評價。

端到端各維度評價標準如表2所示：

表2 端到端各維度評價標準

根據分析和抽樣，時延維度的權重A為35%、成功率維度的權重B為35%、業務速率維度的權重C為30%。根據不同時期各維度的重要性，可以微調各部分權重。

移動寬帶業務用戶體驗CEI得分=多用戶多業務的用戶體驗CEI得分均值=Ave∑（時延+成功率+業務速率） （2）

最高得5分，最差得1分，以4分作為評價良好體驗的閥值。

以流媒體業務為例，多用戶流媒體業務緩沖平均時延為3s，流媒體打開成功率為98%，視頻下載速率為1.5Mbps，那么針對流媒體業務的用戶體驗CEI得分如式（3）所示：

流媒體業務的用戶體驗CEI得分=4×35%+5×35%+ 4×30%=4.35分 （3）

由式（3）可知，整體該業務的體驗得分為4.35分，屬于較好水平。

通過CEI的評估可以單個評價某種典型業務的實際體驗，也可以實現對多業務的綜合評價，既可以對全網用戶進行評價，也可對重點客戶進行評價。

5 建立以網絡質量評價為基礎的用戶感知綜合評價體系

單純通過網絡質量評價體系不能體現用戶的實際感知，但完全基于用戶業務體驗評價體系是否就能解決所有的問題呢？

筆者認為，不能單純地從業務體驗指標入手，那樣會掩蓋網絡側的部分問題，一旦網絡質量性能指標惡化到一定程度，業務質量將無從談起。網絡質量是所有運營的基礎，無論移動網絡發展到何種地步，基于KPI的網絡質量都是不能忽視的。

所以，移動網用戶感知綜合評價體系必須建立在網絡質量評價和綜合業務評價的基礎之上。用戶感知綜合評價體系如圖2所示：

圖2 用戶感知綜合評價體系

5.1 選取粒度

重點客戶C：選取高ARPU用戶（最多到全網）。

重要場景S：選取業務量高的重要場景（最多到全網）。

重要時段T：選取各業務實際忙時（最多到全時段）。

5.2 KPI評價內容

圍繞網絡性能選取重要的指標作為評價內容，例如覆蓋率、質量分布、質差小區等，不同階段可以進行調整。KPI評價內容如表3所示。

5.3 客戶投訴評價內容

結合投訴，將投訴率、投訴數量或者用戶滿意度等納入評價內容，不同階段也可進行調整?？蛻敉对V評價內容如表4所示。

5.4 網絡綜合評價得分=30%×KPI+50%×KQI+ 20%用戶投訴

通過綜合評價網絡中的重要場景或對全網進行綜合評估，同樣可以按5分計算，設置成1～5級的網絡評價等級，用于衡量移動網絡在用戶體驗方面的優劣程度。

按照網絡綜合評價得分情況可以針對一個本地網或者一個網格進行評價排隊，對低于4分的網絡需進行重點關注和分析。

表3 KPI評價內容

表4 客戶投訴評價內容

6 用戶感知綜合評價體系的應用

建立基于用戶感知的綜合評價體系，不僅可以評價基于業務的用戶感知等級，更重要的是可以及時發現網絡的短板并進行處理。通過各維度的得分情況，開展針對性的分析，從而實現對移動網絡問題的精準定位。

用戶感知綜合評價體系應用的好壞，需要不斷地對評價內容的權重和門限進行優化調整，同時需要構建閉環的問題處理流程，強化問題的實際落地，提升響應能力。只有這樣才能真正地站在用戶感知的角度，不斷提升用戶的滿意度。

案例：在進行用戶感知綜合評價時發現某一區域綜合得分為3.9分。通過分析發現其他維度得分正常，而針對網頁的下載速率CEI得分為3.2分，從而導致該區域綜合得分低于4分。網優工程師將該區域的多用戶頁面下載速率進行匯總分析，發現該區域下的某基站5個扇區的下載速率較差，具體如圖3所示：

圖3 優化前異常指標示意圖

對該基站忙時段176個用戶1 217次低速率異常話單進行分析發現，RAN側原因的占比超過60%。針對該RAN進行統計，平均下載速率僅為286kbps。通過排查，“HSDPA IUB帶寬受限”導致的關聯次數能夠占到85%以上。最終將該基站IUB傳輸擴容，新增30M FE，解決IUB擁塞問題。該站點的5個小區的大頁面下載平均速率提升了45%，問題得到解決。實際效果如圖4所示：

圖4 優化前后對比示意圖

7 結束語

KPI是基礎，用戶投訴是對網絡滿意度的體現，KQI是用戶感知的表現。通過基于移動寬帶客戶感知的分析與研究，建立了移動寬帶客戶感知綜合評價模型，梳理了影響用戶實際體驗的CEI體系。結合基于網絡性能的評價體系，建立并完善了問題處理流程和考核評價體系，為持續提升客戶感知奠定了堅實的基礎。

下一步將利用海量的網絡及業務數據，通過大數據分析，支撐客戶維系、客戶流失分析等精細化運營，持續深化和鉆取用戶體驗的數據支撐能力，為市場發展和后向業務經營方面的探索提供手段。

[1] 中國互聯網信息中心（CNNIC）. 第35次中國互聯網發展統計報告[R]. 2015.

[2] ITU-T G.1011(G.RQAM). Reference guide to QoE assessment methodologies[S]. 2009.

[3] 華為技術有限公司. 中國聯通精品網方案匯報[R]. 2014.

[4] 中國聯合網絡通信集團有限公司. 中國聯通2013年移動網絡優化重點工作要求[R]. 2013.

[5] 中國聯合網絡通信集團有限公司. 中國聯通DC-HSDPA網絡優化指導意見[Z]. 2014.

[6] 中國聯通上海市分公司. 基于業務質量和大數據挖掘支撐存量經營[Z]. 2014.

[7] 中國聯合網絡通信集團有限公司. 2014年運維專業線考核指導意見[Z]. 2014.

[8] 華為技術有限公司. 河南聯通業務質量KQI體系建立及應用[R]. 2014.

[9] 中興通訊股份有限公司. 基于用戶感知的指標體系及建模評估[R]. 2014.

[10] 3GPP2 S.R0079-0. Support for End-to-End QoS[S]. 2004.★

Research on Perception Evaluation System of Mobile Broadband Customer Based on KPI and Business Experience

LI Zhi-guo
(China Unicom Network Communications Co., Ltd., Henan Branch, Zhengzhou 450008, China)

According to carried business and customer experience in mobile Internet era, both the network quality evaluation system based on voice and the evaluation system based on customer’s business experience were analyzed, respectively. Combined with quick network localization for operators to guarantee good customer experience, it was demonstrated that both network quality and business experience indicators are indispensable in analysis and localization. A comprehensive perception evaluation system of mobile broadband customers based on both KPI and business experience was put forward which was applied in practice.

mobile broadband key performance indicator key quality indicator customer experience indicator

10.3969/j.issn.1006-1010.2015.12.019

TN929.53

A

1006-1010(2015)12-0092-05

李治國. KPI與業務體驗相結合的移動寬帶客戶感知評價體系研究[J]. 移動通信, 2015,39(12): 92-96.

2015-04-03

責任編輯：劉妙 liumiao@mbcom.cn

李治國：工程師，碩士畢業于北京郵電大學，現任中國聯合網絡通信有限公司河南省分公司網絡優化中心副總經理，長期從事移動網絡優化規劃與性能研究工作。