基于用戶滿意度的移動終端評測研究

肖海浪，安崗

（中國聯(lián)通研究院，北京 100032）

基于用戶滿意度的移動終端評測研究

肖海浪，安崗

（中國聯(lián)通研究院，北京 100032）

在現(xiàn)有研究的基礎(chǔ)上提出了一種基于用戶滿意度的移動終端評測方法。以用戶群分類研究為基礎(chǔ)，分析影響不同類型用戶對移動終端滿意度的關(guān)鍵因素。設(shè)計移動終端滿意度評測模型，對新終端整體用戶滿意度及銷售情況進(jìn)行了預(yù)測。

用戶體驗 用戶滿意度 用戶群分類研究 評測模型

1 引言

隨著LTE牌照的發(fā)放，中國通信業(yè)開始進(jìn)入4G時代，移動互聯(lián)網(wǎng)及智能終端得到進(jìn)一步的發(fā)展。4G時代用戶體驗被提到一個全新的高度，用戶體驗的好壞直接影響到用戶對運營商服務(wù)的感知。為保證移動終端良好的用戶體驗，需要研究一種測試方案來全面測量與用戶實際使用感知最貼合的項目。

目前針對移動終端用戶體驗方面的研究還比較少，產(chǎn)業(yè)鏈各環(huán)節(jié)正在積極開展相關(guān)方面的工作，具體如表1所示。但相關(guān)研究基本都是基于通信相關(guān)內(nèi)容的微創(chuàng)新，不能適應(yīng)新的產(chǎn)業(yè)發(fā)展需求。

本文在現(xiàn)有研究的基礎(chǔ)上，提出了一種基于用戶滿意度的移動終端評測方法。滿意度反映的是用戶通過使用智能終端滿足個人需求后的愉悅感，是愉悅感和滿足感的數(shù)字化體現(xiàn)，是用戶體驗的最終呈現(xiàn)。相比其他主客觀指標(biāo)，滿意度具有更大的外延性，不僅包括用戶與終端交互過程中的感知質(zhì)量，還包括交互前的品牌感知和體驗預(yù)期以及交互后的價值質(zhì)量和售后服務(wù)。這是一個更綜合化的指標(biāo)，最能夠反映用戶對終端產(chǎn)品的喜愛和忠誠度。

表1 產(chǎn)業(yè)鏈各環(huán)節(jié)開展用戶體驗研究示意圖

2 移動終端用戶滿意度評測研究

移動終端用戶滿意度評測研究主要包括三大方面：（1）用戶群分類研究；（2）用戶滿意度測試內(nèi)容研究；（3）評測模型設(shè)計。

2.1 用戶群分類研究

用戶群分類研究是移動終端用戶滿意度評測研究的第一步。通過將移動終端用戶群細(xì)化分類，準(zhǔn)確地區(qū)分不同類別用戶對于終端產(chǎn)品的需求，能最大程度地反映移動終端實際使用情況。

用戶群分類研究的內(nèi)容主要包括用戶特征分析（如職業(yè)、性別、年齡、收入水平、學(xué)歷、地域等）、用戶終端使用行為分析（如使用時長、重點關(guān)注功能、使用場景等）、用戶對終端產(chǎn)品的需求及期望（如品牌、性價比、售后服務(wù)、期望功能等）。

研究的主要方法有問卷調(diào)查法、焦點小組法、訪談以及聚類分析法等。通過對不同類型的用戶進(jìn)行研究分析，建立符合其行為特征的用戶模型。

2.2 用戶滿意度測試內(nèi)容研究

用戶滿意度測試內(nèi)容的選取主要建立在用戶群分類研究的基礎(chǔ)上。針對不同類別的用戶，設(shè)計相應(yīng)的測試內(nèi)容，能獲得與移動終端用戶滿意度最貼合的原始數(shù)據(jù)，其測試結(jié)果才具有準(zhǔn)確性和權(quán)威性。不同類別的用戶對移動終端的需求及關(guān)注點不同，而其對于移動終端的滿意度正是基于其需求及關(guān)注點。以學(xué)生用戶模型為例，對其進(jìn)行分析研究，明確其用戶滿意度測試內(nèi)容：

（1）由于學(xué)生用戶平均每天使用手機(jī)時間較長，故終端耗電及續(xù)航能力是影響其滿意度的一個重要指標(biāo)。

（2）學(xué)生用戶主要以年輕人為主，喜歡追逐新鮮事物、關(guān)注的功能多，故移動終端應(yīng)用程序支持能力及兼容性也是影響其滿意度的關(guān)鍵因素。

（3）針對學(xué)生用戶重點關(guān)注功能進(jìn)行分析。為保證其良好的用戶體驗，可以提煉出影響其滿意度的關(guān)鍵因子，如應(yīng)用程序加載時間、呼叫成功率、通話質(zhì)量、短信收發(fā)成功率、上網(wǎng)速度、相機(jī)功能及相片效果、視頻播放效果、音樂播放效果、屏幕顯示效果、屏幕大小、游戲流暢度、操作響應(yīng)時延、系統(tǒng)穩(wěn)定性、系統(tǒng)UI友好性等。

（4）此外，學(xué)生用戶的可支出消費普遍不高，故性價比也是其關(guān)注的重點。另外，終端品牌及口碑、易用性、外觀以及售后服務(wù)都是影響其用戶滿意度的重要因素。

2.3 評測模型設(shè)計

評測模型設(shè)計是移動終端用戶滿意度評測研究中最關(guān)鍵的一步，也是最復(fù)雜的一個環(huán)節(jié)。確定用戶滿意度測試內(nèi)容后，需設(shè)計一種測試方法來對影響移動終端用戶滿意度的各關(guān)鍵因素進(jìn)行測試，并需對其測試結(jié)果進(jìn)行量化建模。由于終端評測數(shù)據(jù)中包含與用戶滿意度有關(guān)的信息，通過分析這些數(shù)據(jù)，建立終端評測數(shù)據(jù)與用戶滿意度之間的數(shù)學(xué)模型，用于對新終端用戶滿意度和銷售情況的預(yù)測，為改進(jìn)終端功能提供依據(jù)。此外，將終端用戶測試結(jié)果經(jīng)過標(biāo)準(zhǔn)化處理后，以可視化的方式展示出來，這樣可以使用戶對終端各方面性能的對比有直觀的了解。

（1）移動終端用戶滿意度測試方法設(shè)計

用戶問卷調(diào)查方式是用戶滿意度評測最常用的方法。通過設(shè)計面向多個終端單項功能的用戶測試調(diào)查方式，用戶接收到測試終端，按照測試要求，對多個終端中的某一項功能依次進(jìn)行測試。用戶根據(jù)自身測試情況，對這t款終端的同項功能的滿意程度進(jìn)行排序（1、2……t）。對所需要測試的功能重復(fù)以上工作，得到一系列多終端單項功能測試的數(shù)據(jù)。

如果測試用戶需要對終端的所有功能進(jìn)行測試，測試用戶的工作量將會非常龐大。為此只要求用戶對其中的幾項功能進(jìn)行測試，但不同用戶測試的功能的總和為需要測試的所有功能。

（2）單個項目滿意度評分建模

由于每個用戶只對全部測試功能中的一部分功能進(jìn)行測試，所以需要對用戶測試進(jìn)行一個數(shù)據(jù)歸并處理。采用概率統(tǒng)計的方法，對收集的終端評測數(shù)據(jù)進(jìn)行處理。對于面向多個終端單項功能的用戶測試調(diào)查數(shù)據(jù)，在所有測試終端中，兩兩終端進(jìn)行同一項功能優(yōu)劣的對比，勝出的統(tǒng)計數(shù)據(jù)加一，最后得出兩兩終端間勝出的概率。

例如，有A、B、C、D這4款終端，功能項為1、2、3、4。首先取其中一個功能項（如功能1），調(diào)查數(shù)據(jù)中有大量用戶對A、B、C、D此項功能的排序。在這些數(shù)據(jù)中統(tǒng)計出A＞B、A＞C、A＞D、B＞A、B＞C、B＞D、C＞A、C＞B、C＞D、D＞A、D＞B、D＞C（“＞”這里表示在用戶給出的順序中，前者排名靠前）的數(shù)據(jù)情況，并同時得到與之相對應(yīng)的概率。對此可得到此項功能終端間的優(yōu)勝概率矩陣：

在優(yōu)勝概率矩陣中，采用貪心算法，找尋概率最大的終端排序情況。例如A＞C＞B＞D，對應(yīng)的概率為PA、PB、PC、PD，對終端的其他功能重復(fù)以上操作，就可以得到A、B、C、D這4款終端在功能項1、2、3、4下的排序。

假設(shè)終端測試的用戶數(shù)量為m，要進(jìn)行測試的終端為n款，每個用戶測試的終端個數(shù)為t（t≤n并且n能被t整除），測試功能d項，用戶接收到的t款測試終端是隨機(jī)的。按照測試要求，分別對t個終端進(jìn)行測試。用戶根據(jù)自身測試情況，對這t款終端的此項功能的滿意程度進(jìn)行排序（1、2……t），將用戶測試的數(shù)據(jù)進(jìn)行歸并處理，得到終端功能排名矩陣：

Tij表示第 j款終端的第i項功能的排名號。根據(jù)需求，對給出的排名賦予一個適當(dāng)?shù)姆种担琶娇壳埃种翟礁摺Ｔ賹⑸鲜龇謹(jǐn)?shù)與優(yōu)勝概率矩陣中對應(yīng)的值相乘，得到最后終端功能分?jǐn)?shù)值。優(yōu)勝概率矩陣為：

Pij表示第i款終端的第 j項功能的優(yōu)勝概率。

單款終端中單項功能分?jǐn)?shù)計算公式為：

終端功能分?jǐn)?shù)值矩陣為：

gij表示第i款終端的第j項功能的功能分?jǐn)?shù)值。

（3）移動終端整體用戶滿意度建模

由于終端測試過程中涉及到多項性能指標(biāo)的測試，需對其進(jìn)行統(tǒng)計評估，可視為一種典型的多元統(tǒng)計分析。此外由于移動終端用戶滿意度各關(guān)鍵指標(biāo)之間存在相互影響。如終端屏幕顯示效果和屏幕大小都會影響終端視頻播放效果，從而間接影響終端整體用戶滿意度。最后，該評測模型需具有對后續(xù)新終端整體用戶滿意度及銷售情況進(jìn)行預(yù)測的功能。

選取PLS回歸方法來建立模型，它適用于解決具有以下2個特點的問題：一是變量間存在共線性，甚至自變量個數(shù)較多，而由于種種原因觀察例數(shù)小于自變量個數(shù)；二是回歸方程建立以后主要應(yīng)用于預(yù)測。

終端銷售數(shù)據(jù)庫以及用戶反饋數(shù)據(jù)可以衡量移動終端用戶使用滿意度，通過將銷售排名與用戶使用滿意度關(guān)聯(lián)，可以對用戶滿意度回歸模型進(jìn)行初始化。具體流程如圖1所示。

以用戶滿意度S為因變量，以其測試項目得分{g1, g2,L,gp}為解釋變量，采用線性（也可選半對數(shù)）特征方程建立用戶滿意度的終端評測回歸模型：

圖1 用戶滿意度回歸模型初始化流程

該模型可表示如下：

其中g(shù)ij表示終端i的測試項目j的得分，si表示終端i的用戶滿意值，ai表示模型中的第i個參數(shù)。S S為用戶滿意值矩陣，G G表示終端測試項目分值矩陣，A A為PLS模型參數(shù)，F(xiàn) F表示殘差矩陣。

具體算法如下：

GG 經(jīng)標(biāo)準(zhǔn)化處理后的數(shù)據(jù)矩陣記為

E0=(E01,E02,L,E0P)n×p， SS經(jīng)標(biāo)準(zhǔn)化處理后的數(shù)據(jù)矩陣為F0=(F01,F02,L,F0P)n×q。

第1步，求矩陣E'0F0F0'E0的最大特征值所對應(yīng)的特征向量W1，然后求成分t1和殘差矩陣E1，其計算公式如下：

式中

第m步，求成分tm=Em-1Wm，這里Wm是矩陣的最大特征值所對應(yīng)的特征向量。

如果根據(jù)交叉有效性，確定共抽取m個成分t1，t2，…，tm可以得到一個滿意的預(yù)測模型，則求F0在t1，t2，…，tm上的普通最小二乘回歸方程為：

這樣就得到了用戶滿意度指數(shù)測評的PLS模型。通過PLS模型，后續(xù)終端測評數(shù)據(jù)可以對終端銷售數(shù)據(jù)進(jìn)行預(yù)測。

（4）終端測試結(jié)果可視化分析

隨機(jī)抽取用戶，讓用戶在同一個測試項目中隨機(jī)使用終端進(jìn)行測試。例如可以先用終端1對某一項目進(jìn)行測試，或用終端2先對這個項目進(jìn)行測試。測試項目的順序也是隨機(jī)的（可以隨機(jī)挑選測試項目，某個項目先進(jìn)行測試都可以），測試完一個項目，用戶根據(jù)自己的實際體驗，選擇哪個終端在此項測試中表現(xiàn)較為優(yōu)秀。

以表2為例，從總體用戶測試選擇情況來看，終端1與終端2為44:19，終端1較終端2優(yōu)秀；從縱列可以看到，在項目1中終端2略優(yōu)于終端1，其他項目中終端1優(yōu)于終端2。

表2 終端用戶評測表

由于各個測試項目的重要性程度不一，在此基礎(chǔ)上，再做進(jìn)一步的改進(jìn)。以表2為例，采用圖2中的方式進(jìn)行終端對比的修正：

圖2 終端評測性能對比圖

由圖2可以看出，根據(jù)測試項目的重要性程度不同，設(shè)定不同的矩形長度。重要性越大的長度就越長，矩形框中的數(shù)字代表測試項目的號碼。圖2中終端1的面積比終端2的面積大，由此可知終端1較終端2優(yōu)秀。

3 結(jié)束語

在移動互聯(lián)網(wǎng)時代，移動終端傳統(tǒng)評測方法已不能滿足運營商需求，其測試結(jié)果難以有效地反映用戶使用終端時的真實感受。為滿足新時代運營商業(yè)務(wù)與終端發(fā)展的需求，運營商需要將互聯(lián)網(wǎng)思維引入終端評測中。本文提出的基于用戶滿意度的移動終端評測方法正是互聯(lián)網(wǎng)思維的體現(xiàn)，通過建立移動終端用戶滿意度評測方法，運營商可以引導(dǎo)終端廠商設(shè)計更加貼合用戶實際使用感知的終端產(chǎn)品，從而提升產(chǎn)業(yè)鏈話語權(quán)以及品牌形象。與此同時，其測試結(jié)果能對移動終端銷售數(shù)據(jù)進(jìn)行預(yù)測，為運營商銷售策略提供指導(dǎo)，也能為消費者在進(jìn)行終端選擇時提供參考。

[1] 劉臻,來志京,果敢. 智能終端用戶體驗評測體系研究[J].電信網(wǎng)技術(shù), 2013(12): 29-33.

[2] 李仲俠,么遙,王靈芝. 移動終端的用戶體驗研究[J]. 信息通信技術(shù), 2012(4): 12-17.

[3] 肖海浪,安崗,劉健. 基于用戶體驗的移動終端整機(jī)性能評測研究[J]. 移動通信, 2012,36(13): 71-75.

[4] 肖琳,何大衛(wèi). PLS回歸方法及其醫(yī)學(xué)應(yīng)用[J]. 中國衛(wèi)生統(tǒng)計, 2002(2): 76-79.

[5] 鐘堃,張金良. 滿意度調(diào)查的方法及模型[J]. 國外醫(yī)學(xué)（衛(wèi)生學(xué)分冊）, 2008(3): 187-191.★

肖海浪：工程師，碩士學(xué)位，現(xiàn)任職于中國聯(lián)通研究院終端與測試實驗室，從事終端測試技術(shù)的研究以及相關(guān)產(chǎn)品的開發(fā)工作。

安崗：工程師，碩士學(xué)位，現(xiàn)任職于中國聯(lián)通研究院終端與測試實驗室，從事終端測試技術(shù)的研究以及相關(guān)產(chǎn)品的開發(fā)工作。

Research on Mobile Terminal Evaluation Based on Customer Satisfaction

XIAO Hai-lang, AN Gang
(China Unicom Research Institute, Beijing 100032, China)

A mobile terminal evaluation method based on customer satisfaction was proposed on the basis of existing research. According to the research on customer group classifi cation, the key factors affecting mobile terminal satisfaction of different customers were analyzed. Satisfaction evaluation model of mobile terminal was designed. The overall customer satisfaction and the sales of the new terminal were forecast.

customer experience customer satisfaction research on customer group classifi cation evaluation model

10.3969/j.issn.1006-1010.2015.07.008

TN98

A

1006-1010(2015)07-0037-05

肖海浪,安崗. 基于用戶滿意度的移動終端評測研究[J]. 移動通信, 2015,39(7): 37-41.

2014-10-10

責(zé)任編輯：劉妙 liumiao@mbcom.cn