基于LTE流媒體業務的用戶體驗質量評估方法

賀肖榮，楊從俊，申海龍

（1.江蘇省郵電規劃設計院有限責任公司，江蘇 南京 210019；2.重慶郵電大學通信新技術應用研究所，重慶 400065）

基于LTE流媒體業務的用戶體驗質量評估方法

賀肖榮1，楊從俊1，申海龍2

（1.江蘇省郵電規劃設計院有限責任公司，江蘇 南京 210019；2.重慶郵電大學通信新技術應用研究所，重慶 400065）

針對LTE流媒體業務用戶體驗質量的評估，基于層次分析法的區間估計理論，篩選出了影響用戶感知相對重要的關鍵性能指標KPI，然后綜合考慮技術因素和非技術因素對用戶體驗質量的影響，并建立改進的用戶質量體驗評估模型。最后采用模糊層次分析法對關鍵質量指標權重KQI的計算方法進行改進，從而建立了一套完善的評估方法。仿真結果表明，該評估方法兼顧網絡客觀因素與用戶主觀感知，能夠更好地反映實際的網絡質量。

LTE；用戶體驗質量；層次分析法；評估模型

近兩年，長期演進（Long Term Evolution，LTE）網絡業已逐漸投入商用，相對于2G/3G網絡，LTE網絡體現出了速率高、采用分組傳送方式、延遲低、向下兼容性強等優勢，從而帶動移動網絡用戶使用的業務也隨之發生改變，由傳統的語音業務逐漸過渡到以數據業務為主流。隨著業務種類的豐富，用戶越來越重視實際體驗的效果，因此移動通信運營商面臨著服務的轉型，要從過去面向設備的服務轉變為面向用戶的全面服務。一般用戶體驗包括3個部分，即終端用戶的主觀感受（Quality of Experience，QoE）、端到端業務的關鍵質量指標（Key Quality Indicator，KQI）和網絡的關鍵性能指標（Key Performance Indicator，KPI），為了實現對用戶使用業務時實際感知情況的量化，通信領域現已致力于用戶體驗質量評估模型的建立和評估方法的研究[1]。

為了能夠準確反映終端用戶在使用業務過程中的真實感受，需要對移動通信的用戶體驗質量（即用戶感知）進行建模分析，正確、合理的用戶體驗質量評估模型能夠大大提高分析的準確性。采用有效的用戶體驗質量評估模型，不僅可以體現性能指標間的關聯關系，還可運用相關算法對性能指標和用戶體驗質量之間的關系進行量化[2]。通過分析關鍵指標的變化情況，能夠找出影響用戶體驗質量的主要性能指標，從而有針對性地指導網絡優化人員進行相應指標的優化，使其保持在一個良好的性能范圍之內，真正改善用戶體驗質量，滿足用戶對業務質量的確實需求。

本文針對LTE流媒體業務建立了用戶體驗質量評估模型，首先基于層次分析法的區間估計理論，篩選出相對合適的關鍵性能指標KPI進行用戶體驗質量評估，并通過將影響用戶主觀質量體驗的技術因素和非技術因素進行綜合分析，建立了改進型用戶體驗質量評估模型，然后根據評估模型對關鍵指標權重的計算方法進行改進，得到KQI指標新的權重值，最后通過仿真得到了一個周期內的實時評估結果。

1 用戶體驗質量評估模型的建立

1.1 KPI指標篩選方法

影響用戶體驗質量的相關指標非常多，但有些指標對業務的關聯程度很低，從而對整體用戶體驗質量的影響程度較低，即并非每一個指標都對用戶體驗質量都有絕對的影響[3]。為了避免重要程度較低的指標過多而使得評估復雜度增大、誤差增大，因此需要建立科學、客觀的指標體系。

本文結合LTE的組網情況、流媒體業務信令流程以及流媒體業務性能等特征，應用層次分析法的區間估計理論，獲取網絡側相關因素。由于KPI指標直接與上層KQI指標相關聯，因此該方法主要運用在KPI指標映射至KQI指標的過程中。在此采用的KPI指標篩選方法，不僅可有效剔除弱權重指標，保留能夠全面表征用戶體驗質量的KPI指標，同時也很好地解決了KPI指標映射至KQI指標的問題，使建立的用戶體驗質量評估模型更加完善有效。具體的篩選流程[3-4]如圖1所示。

圖1 KPI指標篩選流程

1.2 評估模型建立

1.2.1 傳統用戶體驗質量評估模型分析

現有的針對網絡的用戶體驗質量評估方式中傳統的用戶體驗質量評估模型主要由用戶體驗層QoE，業務層指標KQI，網絡層指標KPI以及底層性能指標PI構成[4]，如圖2所示。

圖2 傳統用戶體驗質量評測模型

雖然該評估模型顯示出了各層指標間的映射層次關系，但還是存在一些不足，主要包括：

1）在整個評估過程中，主要是對網絡側進行評估，而用戶的實際感受是不斷變化的，通過傳統評估模型不能進行實時動態的變化，只能進行靜態的評估，進而也不能體現出用戶體驗質量的變化[5]。

2）該評估模型未考慮用戶的實際主觀感受，最終得到的用戶體驗質量滿意度結果只是基于網絡因素，不能從用戶的角度全面評估網絡情況。

3）該評估模型的數據來源主要是底層的路測或者信令等網絡數據，不能對業務層面進行全面監控，從而也不能對用戶體驗進行具體準確的評估。

1.2.2 改進的用戶體驗質量評估模型

針對傳統用戶體驗質量評估模型在LTE流媒體業務評估中的不足，給出一種改進的用戶體驗質量評估模型。通過對技術側和非技術側兩個方面對影響用戶體驗質量的相關關鍵評估指標進行分析，建立評估模型。首先確定哪些網絡指標能夠反映用戶的實際感受，主要從關鍵性能指標KPI及關鍵質量指標KQI入手，同時將用戶主觀感受與KQI指標建立相應的映射關系，從而建立一套完整的反映用戶體驗質量的評估模型，實現對用戶體驗質量精確的評估[5]。該模型的建立過程需要從技術因素和非技術因素兩個方面來考慮：

一方面，在技術因素側，與傳統的用戶體驗質量評估模型相同，從下至上的逐級映射，通過它們之間的映射關系層次圖進行體現。底層性能指標PI，通過挖掘該底層性能指標，可以獲得網絡性能數據。KPI指標就是通過網絡設備上計數器直接獲取的數據或者是通過某種約定計算出來的數值，需針對具體業務，分析其業務組網圖及運行時的信令流程。在獲取關鍵質量指標KQI時需根據業務特征，分析業務參考模型以及相關業務元素之間的關系和功能，將具體的用戶行為轉化為技術行為，以技術參數來表征用戶的實際行為，提取出相應的KQI指標。在提取出具體的KQI指標后，需要根據1.1節的KPI指標篩選方法，篩選出最合適的KPI指標，聚合映射到相應的關鍵質量指標KQI；提取出關鍵質量指標KQI后，再聚合映射為技術因素，該技術因素用于表示影響用戶體驗質量的網絡因素。

另一方面，在非技術因素側，用戶體驗質量的最終目的就體現在使用某業務時用戶的實際體驗感受，因此，在本模型中，非技術因素即為用戶主觀感受。在進行模型建立時，首先需要針對具體的業務，根據用戶不同的業務需求與感受，將用戶主觀感受進行分類整理，并將分類后的用戶主觀感受相應地映射至技術因素側關鍵質量指標KQI，建立映射關系，而且每類用戶主觀感受至少映射至一種KQI指標。

由于技術因素及非技術因素體現的只是針對某種業務的獨立感知，在獲取技術因素和非技術因素的感知后，再將技術因素及非技術因素綜合映射到用戶體驗質量QoE，如圖3所示。

圖3 改進型用戶體驗質量評估模型

圖3即為改進型用戶體驗質量評估模型，與傳統評測模型相比，該評估模型主要具有以下優點：

1）該評估模型在非技術因素側增加了主觀感受因子，這些感受因子主要通過用戶投訴的數據來體現，從而通過這些數據對初始的權重進行動態改變，并使靜態的評估過程動態化、實時化。

2）該評估模型從技術因素和非技術因素兩個方面考慮用戶的感受，實現了網絡側因素與用戶主觀感受的綜合量化，可以更加精確地評估用戶體驗質量。

3）底層的原始數據來源變得比較豐富，既有主觀用戶體驗側的數據也有客觀網絡側的數據。

2 LTE流媒體業務用戶體驗質量評估

LTE網絡的快速發展帶動了網絡速度的提高，使在線使用流媒體業務的需求得到了一定程度的刺激增長，同時，服務提供商為用戶提供了各式各樣的業務來滿足用戶的各種需求，從而促使流媒體業務得到了發展[6]。因此，本文以流媒體業務作為LTE高速率業務的代表，對該業務實施過程中用戶體驗質量的評估進行分析研究。

2.1 LTE流媒體業務組網

流媒體業務的實施主要通過網絡向終端用戶提供流媒體內容，其特點是傳送的信息量比普通文本多、語音更加高級的視頻圖像，并且伴有音頻信息[6]。本文建立的關于LTE流媒體業務用戶體驗質量評估模型時，根據LTE相關協議標準和流媒體業務的主要特征以及1.1節內容，提取了以下典型的KPI指標：RRC建立成功次數、RRC建立總次數、E-RAB指派建立嘗試次數、E-RAB指派建立成功響應次數、RRC發起建立請求時間等。

2.2 KQI指標權重改進計算方法

關鍵質量指標KQI是通過相互關聯的KPI指標聚合映射得來，并且還受到用戶主觀感受的影響。因此，在進行KQI指標的權重計算時，不僅要通過專家的經驗判斷，而且還要綜合考慮用戶主觀感受，尤其是用戶投訴。

根據1.2.2節建立的LTE用戶體驗質量評估模型，本文提出了基于模糊層次分析法的KQI指標權重改進計算方法[7-8]，計算流程如圖4所示。

圖4 KQI指標權重計算流程

第一步，建立關于流媒體業務用戶體驗質量的評估模型。

如圖4所示，通過分析流媒體業務的基本特征，確定該被評估業務的關鍵質量指標KQI的個數為M（M為正整數）。

獲取流媒體業務在一個評估范圍內的用戶實際體驗數據，根據用戶主觀感受的內容和現象，將所獲取的用戶體驗數據共分為J類（J為正整數），由此建立非技術因素側用戶主觀感受層次圖。

分析技術因素側關鍵質量指標KQI與非技術因素側的各類用戶主觀感受之間的關聯性，建立用戶主觀感受與KQI指標的映射關系，進而構建流媒體業務用戶體驗質量評估模型。

第二步，用戶體驗質量的關鍵質量指標KQI權重計算。

1）以24 h為一個評估周期，獲取L個評估周期的用戶投訴數據，同時將每一個評估周期分為K個評估的時間單元。將每個評估時間單元內的技術和非技術因素側的初始化權重值均設為0.5。其中，L，K均為正整數。

2）在技術因素側，對每個關鍵質量指標KQI相對于技術因素的重要程度采用專家評估的方法。在計算過程中，將每個關鍵指標KQI的初始權重值所對應的每個初次評估周期中的評估時間單元進行統計，通過三角模糊數的模糊層次分析原理來進行模糊判斷矩陣的建立，從而確定出在初次評估周期中時間單元內的關鍵質量指標的權重值。其中，第1個評估周期中的某個關鍵質量指標的權重值用wt,i（1）來表示，t的取值范圍為[1，24]，[1，M]表示任意第i個參與評價的關鍵質量指標KQI的取值范圍。其中，t，i均為正整數。

3）另一方面，即在非技術因素側，用戶投訴可以比較直觀地體現出用戶的主觀感受，通過對用戶投訴數據進行統計，并計算在第l個評估周期的各評估時間單元內各類用戶投訴量與總用戶投訴量之間的比值，該比值可以表示為用戶的投訴率。第j類用戶在第t個評估時間單元內投訴率用λt,j(l)來表示，并且該時間段屬于第l個評估周期內。

式中：bt,j(l)表示在第l個評估周期的第t個評估時間單元內第j類用戶投訴量；Bt,j(l)表示在第l個評估周期的第t個評估時間單元內總的用戶投訴量；當前評估周期l用（l）來表示，并將其取值范圍定為[1，L]；當前用戶投訴用j來表示，并將其取值范圍定為[1，J]；用戶主觀感受的種類，即評估周期和用戶投訴分別用L和J表示其個數和種類。

4）接下來對各類用戶投訴的投訴率在各評估周期的評估時間單元內的λt,j(l)進行判斷，通過該值是否為零來確定是否有用戶投訴，進而對指標進行評估。

（1）倘若該值為零，即說明沒有用戶投訴，此時在某個評估周期和某個評估時間單元內的關鍵質量指標的新權重值和初始權重值相等，有

（2）倘若該值不為零，即說明存在用戶投訴，即此時與用戶投訴相關聯的技術側的KQI權重值前后出現差異，關鍵質量指標KQI的新權重值w't,i(l)為

5）對步驟3）、4）進行多次循環處理，進而得到在評估周期l的后一個周期內的各項關鍵質量評估權重值。

6）對l≥L是否成立進行判斷：如果成立，則獲得該評估范圍內用戶主觀感受側的用戶投訴值，從而得到在各評估周期相應評估時間單元內的各關鍵質量指標KQI的新權重值；如果不成立，則重復執行3）、4）、5）步驟，直至滿足l≥L的條件。

3 仿真結果及分析

為了驗證本文改進型模型的有效性，全面分析了傳統評估模型和改進型評估模型中KQI指標的權重值情況。由于LTE網絡在我國正處于商用階段初期，因此，本文的仿真數據主要是根據專家對不同時間單元內影響LTE流媒體業務用戶感知質量的重要指標進行的等級評定而確定的，并結合本文中評估周期內關鍵指標的權重影響，采用模糊評價法，進而求得評估周期內LTE流媒體業務用戶感知質量滿意度。

本文針對LTE流媒體業務，根據KPI指標篩選方法提取了4類用戶感知強的主要因素，即業務接入時延、業務的連續使用時長、業務使用的流暢性和業務的質量，其每一類用戶主觀感受相應地映射至技術因素側的KQI指標。在計算KQI指標權重時，需要考慮各類用戶主觀感受對其的影響，才能準確、真實地反映用戶實際感受。

根據本文建立的LTE流媒體業務用戶體驗質量評估模型和提出的KQI指標權重改進計算方法。在技術因素側，通過專家評估計算得到KQI指標初始權重值wt,i（1），在后續進行KQI指標新權重計算時使該值在選定的評估周期內保持不變，只需通過用戶主觀體驗數據，利用KQI指標權重改進型計算方法中的步驟3）～5）即可得到新的權重結果。再利用模糊層次分析法計算出第一個評估周期各評估時間單元內KQI指標初始權重值，如圖5所示。然后針對非技術因素側，本文通過統計指定評估周期中每一評估時間單元內實際的用戶體驗數據，進行每一類用戶感知差的數據計算得到LTE流媒體業務KQI指標的新權重結果。最后通過Matlab仿真得到第1個評估周期內考慮用戶主觀感受后的LTE流媒體業務的KQI指標新權重結果以及第2個評估周期內LTE流媒體業務KQI指標權重，分別如圖6和圖7所示，圖中橫坐標均表示時間（以小時為單位），縱坐標為影響LTE流媒體業務用戶體驗質量的各KQI指標權重值。

圖5 第一個評估周期LTE流媒體業務KQI指標初始權重

圖6 第1個評估周期LTE流媒體業務KQI指標新權重

通過對比圖5、圖6和圖7可知，在將有用戶投訴的情況納入評估范圍后，與之前相比，KQI相關指標的權重比例均有一定的變化，該變化表明用戶投訴可以影響流媒體業務的用戶體驗KQI指標，從而在引入用戶投訴情況后，用戶體驗質量由靜態變為動態，可以實現對評估過程的量化處理，從而更加準確地對用戶體驗進行評估。

圖7 第2個評估周期LTE流媒體業務KQI指標權重

為了更進一步表明非技術因素側的影響程度，即通過各關鍵質量指標權重值變化來表示。本文將影響LTE流媒體業務用戶體驗質量的流媒體業務接入成功性在兩個評估周期內的權重結果單獨列出，如圖8所示。圖中橫坐標表示時間（以小時為單位），縱坐標表示業務接入成功性權重值。從圖8可知，1 h處顯示的值為第一個評估時間單元00:00～01:00內LTE流媒體業務接入成功性權重值計算結果，以此類推，可知2～24 h業務接入成功性權重值計算結果。

圖8 LTE流媒體業務接入成功性權重值變化

從圖8可知，由于出現了用戶感知差的情況而產生了用戶投訴，與該類用戶主觀感受相對應的KQI指標對用戶體驗質量的權重結果值也發生了變化，反映出每個評估時間單元內用戶對各項指標的要求與感受不同，表明感知網絡質量的變化趨勢也不相同，而變化的程度就取決于用戶對使用業務的實際感知情況。因此，從對該改進型的評估模型的分析過程可知，該模型能夠體現用戶實際體驗質量的動態變化，具有較強的實用性。

4 結束語

本文將模糊算法中的層次分析法應用到LTE高速率業務的用戶體驗質量評估過程中，研究了KPI指標篩選方法，將技術因素和非技術因素對用戶體驗質量的影響進行綜合分析，并著重對非技術側的主觀感受進行量化分析，并對關鍵質量指標權重的計算方法進行改進研究，建立了改進型用戶體驗質量評估模型，大大提高了計算精度，更好地指導網絡優化人員有針對性的優化網絡，切實提升用戶的感知度。

[1]許致遠.基于QoE綜合評估的WCDMA網絡質量投訴處理[J].郵電設計技術，2012（8）：84-89.

[2] 3GPP TS 36.300 V9.9.0，Evolved universal terrestrial radio ac?cess（E-UTRA）and evolved universal terrestrial radio access network（E-UTRAN）;overall description（release 9）[S].2011.

[3] KIM H J，LEE D H，LEE J M，et al.The QoE evaluation method through the QoS-QoE correlation model[C]//Proc.Networked Computing and Advanced Information Management，2008.[S.l.]：IEEE Press，2008：719-725.

[4] 3GPP TS 26.234 V9.8.0，Transparentend-to-end pack?et-switched streaming service（PSS）;protocols and codecs（re? lease 9）[S].2012.

[5]林闖，胡杰，孔祥震.用戶體驗質量（QoE）的模型與評價方法綜述[J].計算機學報，2012，35（1）：1-15.

[6] 趙訓威，林輝，張明，等.3GPP長期演進（LTE）系統架構與技術規范[J].北京：人民郵電出版社，2009.

[7] 于瑞芷，劉露，周文安.語音業務的業務健康度評價模型的研究[J].北京聯合大學學報：自然科學版，2010，24（2）：82-85.

[8]周喬奇.面向客戶感知的移動通信網絡質量評估體系的研究[D].上海：復旦大學，2009.

賀肖榮（1986—），程師，碩士，主研移動通信網絡規劃與優化；

楊從俊（1983—），工程師，本科，主研移動通信網絡規劃與優化；

申海龍（1986—），碩士生，主研通信新技術應用。

責任編輯：許 盈

Research on Assessment Method of QoE Based on Streaming Media Services of LTE

HE Xiaorong1,YANG Congjun1,SHEN Hailong2
（1.Jiangsu Posts&Telecommunications Planning and Designing Institute Co.,Ltd.,Nanjing 210019,China;2.Institute of the Applications of Advanced Telecommunications Technology,Chongqing University of Posts and Telecommunications,Chongqing 400065, China）

Aiming at the assessment of QoE of streaming media services of LTE,the key performance indicator（KPI）screening method is advanced by using interval estimation theory of analytic hierarchy process in order to select the more appropriate KPI indexes to assess QoE.Secondly,an improved QoE assessment model is established by analyzing the technical factors and nontechnical factors which influence the quality of experience.Finally,the calculation method of key index weight of the KQI indexes weight is improved,and then a consummate assessment method is established.The experimental results show that,this method could give consideration to network objective factors and user subjective feelings,and reflect the actual network quality much better.

LTE;quality of experience;analytic hierarchy process;assessment model

TN929.53

A

10.16280/j.videoe.2015.04.013

2014-06-18

【本文獻信息】賀肖榮，楊從俊，申海龍.基于LTE流媒體業務的用戶體驗質量評估方法[J].電視技術，2015，39（4）.

國家科技重大專項資助項目（2009ZX03003-01）；科技型中小企業技術創新基金項目（11C26215113601）；重慶市自然科學基金計劃項目（CSTC2012JJA40054）