基于業(yè)務特征的網(wǎng)頁瀏覽業(yè)務質(zhì)量評估方法的研究

李嘉麗

江蘇經(jīng)貿(mào)職業(yè)技術學院智能工程技術學院

0 引言

目前互聯(lián)網(wǎng)應用越來越廣泛，而網(wǎng)頁瀏覽業(yè)務已經(jīng)成為互聯(lián)網(wǎng)上最為常用的業(yè)務之一。對于運營商而言，網(wǎng)頁瀏覽業(yè)務的服務質(zhì)量是影響互聯(lián)網(wǎng)用戶使用體驗的一個重要因素，但運營商如何評估網(wǎng)絡上網(wǎng)頁瀏覽業(yè)務的服務質(zhì)量，目前仍是一個難題。運營商作為互聯(lián)網(wǎng)用戶投訴的第一受理人，無法評估自身網(wǎng)內(nèi)的服務質(zhì)量，就意味著不但不能主動發(fā)現(xiàn)和解決問題，而且在接收用戶投訴時也無法定位具體原因，難以采取針對性措施提升用戶體驗，從而擴大客戶流失的可能性。

1 網(wǎng)頁瀏覽業(yè)務質(zhì)量評估方法研究

現(xiàn)有網(wǎng)頁瀏覽業(yè)務質(zhì)量評估主要有兩種評估方法，一種是采用拔測的方法，也就是通過終端對網(wǎng)站進行主動訪問式測試來評估其業(yè)務質(zhì)量。這種方式通過手工配置可以評估部分網(wǎng)站在諸如特定終端、特定位置等特定場景下的訪問質(zhì)量，而無法反映網(wǎng)頁瀏覽的整體訪問感知，具有不全面性和偶發(fā)性的缺陷。另一種評估方法是從網(wǎng)絡端根據(jù)TCP/HTTP 的質(zhì)量進行近似評估，其架構如圖1 所示。

圖1 近似評估方法架構圖

首先，由數(shù)據(jù)采集設備按照單事務方式在數(shù)據(jù)采集設備進行采集，經(jīng)過事務處理單元處理后，由事務代理者單元根據(jù)需要在事務緩沖池進行緩存，然后按需輸出給數(shù)據(jù)分析設備，再由數(shù)據(jù)分析單元根據(jù)單事務進行數(shù)據(jù)統(tǒng)計和數(shù)據(jù)監(jiān)控，最后通過警示單元呈現(xiàn)。

然而，由于網(wǎng)頁瀏覽業(yè)務在網(wǎng)絡層的表現(xiàn)非常復雜，基于HTTP 協(xié)議的網(wǎng)頁瀏覽行為會涉及多個HTTP 事務，從用戶體驗而言就是用戶在打開某個網(wǎng)頁時會自動打開多個超鏈接的過程。如圖2 所示，一個主網(wǎng)頁被打開后，有自動打開的子網(wǎng)頁，也有手動打開的子網(wǎng)頁，即一次網(wǎng)頁瀏覽行為可能會涉及多個HTTP 事務。當一個HTTP 中的多個事務分別屬于不同的網(wǎng)頁瀏覽時，僅通過TCP/HTTP 基礎業(yè)務質(zhì)量來評估網(wǎng)頁瀏覽業(yè)務質(zhì)量顯然是不充分的，其與實際用戶體驗不符，無法體現(xiàn)真實的用戶感知。

2 網(wǎng)頁瀏覽業(yè)務特性分析及質(zhì)量評估方法的設計

從網(wǎng)頁瀏覽業(yè)務內(nèi)容來看，通常的瀏覽行為主要包含文字信息加載、圖片信息加載以及視頻信息加載等。其中，視頻信息包括頁面中嵌入的自動播放廣告或諸如網(wǎng)購平臺上的商品介紹視頻、買家點評視頻等。視頻信息的加載與圖片和文字信息的加載有顯著不同，視頻的加載數(shù)據(jù)量通常顯著大于圖片或文字信息。如果按照等效業(yè)務的方式來考察頁面中所含視頻內(nèi)容的加載，則內(nèi)容的加載時間會變長，如果這部分時長混合在針對圖片和文字加載的時長中，會使得整個頁面的加載時間顯著變長。然后，該時長與用戶的實際體驗感知并不相符，因此將頁面加載的視頻內(nèi)容排除在外，僅針對頁面瀏覽中的圖片和文字內(nèi)容加載，并進行頁面瀏覽動作的合成，將更加貼近用戶實際感知。

因此，為解決現(xiàn)有網(wǎng)頁瀏覽業(yè)務質(zhì)量評估困難的問題，設計一種基于業(yè)務特征的網(wǎng)頁瀏覽業(yè)務質(zhì)量評估方法。本方法基于近似評估方法的基礎上，在原有的數(shù)據(jù)采集設備和數(shù)據(jù)分析設備之間添加關聯(lián)合成設備，對采集上來的多事務有機合成與關聯(lián)后，再完成數(shù)據(jù)分析并給予警示，其架構如圖3所示。

圖3 基于業(yè)務特征的網(wǎng)頁瀏覽業(yè)務質(zhì)量評估方法

數(shù)據(jù)采集設備采集事務并放入事務緩沖池后，流入關聯(lián)合成設備，首先對關聯(lián)策略配置中的參數(shù)進行配置，用于網(wǎng)頁瀏覽業(yè)務多事務關聯(lián)處理的參數(shù)控制。然后在關聯(lián)事務單元中，根據(jù)關聯(lián)策略配置，對數(shù)據(jù)采集設備上報的多事務進行關聯(lián)處理，并將處理結果發(fā)送給關聯(lián)事務緩沖池，待事務關聯(lián)結束后提交給合并事務單元處理，從關聯(lián)事務緩沖池中取出關聯(lián)事務進行合并處理，然后將合并后的事務放入合并事務緩沖池中，待事務合并結束后提交給數(shù)據(jù)分析設備處理，完成整個網(wǎng)頁瀏覽質(zhì)量評估。

3 純HTTP 場景下的業(yè)務質(zhì)量評估方法的應用

純HTTP 場景就是僅基于HTTP 協(xié)議的網(wǎng)頁瀏覽業(yè)務場景，在此場景下可以獲取HTTP 業(yè)務特征信息，基于這些特征對網(wǎng)頁瀏覽事務進行關聯(lián)合成，先根據(jù)設定的關聯(lián)策略，對網(wǎng)頁瀏覽多事務相關的數(shù)據(jù)進行關聯(lián)，然后將關聯(lián)合并后的數(shù)據(jù)保存到數(shù)據(jù)緩沖池中。

關聯(lián)策略主要包括用戶身份、關聯(lián)字段和關聯(lián)時間。其中，用戶身份包括IMSI、TMSI、MSISDN 等信息，關聯(lián)字段包括Refer、URL、Location、Host 等業(yè)務特征信息，關聯(lián)時間包括Time 關聯(lián)時長、Host 關聯(lián)時長、Refer 關聯(lián)時長和Location 關聯(lián)時長，這些時長都可以進行配置。

網(wǎng)頁瀏覽多事務相關的數(shù)據(jù)進行關聯(lián)主要包括如下步驟：

A.上報事務A，沒有關聯(lián)事務，則生成頁面全局唯一標識，連同關聯(lián)字段一起存入關聯(lián)緩沖池。

B.上報事務B，如果事務B 和事務A 的開始時間差值小于配置的Time 關聯(lián)時長，則認為兩個事務屬于同一個頁面，直接使用事務A 的頁面全局唯一標識，并執(zhí)行步驟A，否則執(zhí)行步驟C。

C.如果事務B 和事務A 的Host 相同，并且兩個事務的開始時間差值小于配置的Host 關聯(lián)時長，或者兩個事務的Refer相同且兩個事務的開始時間差值小于配置的URL 關聯(lián)時長，或者事務B 的Refer 與事務A 的URL 相同，或者事務B 的URL 與事務A 的Refer 相同且兩個事務的開始時間差值小于配置的URL 關聯(lián)時長，或者事務B 的Location 與事務A 的URL 相同，或者事務B 的URL 與事務A 的Location 相同且兩個事務的開始時間差值小于配置的Location 關聯(lián)時長，則認為兩個事務屬于同一個頁面，直接使用事務A 的頁面全局唯一標識，否則執(zhí)行步驟D。

D.認為事務B 沒有關聯(lián)事務，生成頁面全局唯一標識，連同關聯(lián)字段一起存入關聯(lián)緩沖池。關聯(lián)緩沖池中關聯(lián)事務一段時間未被訪問則進行老化處理，然后將關聯(lián)合并后的數(shù)據(jù)保存到數(shù)據(jù)緩沖池中，具體包括如下步驟：

a.收到事務，沒有關聯(lián)事務，將用戶標識、頁面全局唯一標識、事務請求次數(shù)、事務成功次數(shù)、事務開始時間、事務結束時間、首事務成功標志、首事務時延存入合并緩沖池。

b.收到事務B，如果事務B 和事務A 的用戶標識和頁面全局唯一標識不相同，則把事務B的相關數(shù)據(jù)存入合并緩沖池，否則執(zhí)行步驟c。

c.將事務A 和事務B 進行合并，其中事務請求次數(shù)和事務成功次數(shù)累加，如果事務A 的開始時間小于事務B，則仍然采用事務A的開始時間作為事務開始時間，首事務成功標志、首事務時延同樣采用事務A 的，否則執(zhí)行步驟d。

d.采用事務B 的開始時間作為事務開始時間，首事務成功標志、首事務時延也是采用事務B 的。

e.如果事務A 的結束時間大于事務B 大，則仍采用事務A 的結束時間作為事務結束時間，否則執(zhí)行步驟f。

f.采用事務B 的結束時間作為事務結束時間。

最后，對數(shù)據(jù)緩沖池中的關聯(lián)合并數(shù)據(jù)進行網(wǎng)頁瀏覽業(yè)務質(zhì)量指標評估分析，對評估結果進行統(tǒng)計分析以便于后續(xù)問題的發(fā)現(xiàn)和解決。

可用于衡量用戶感知的指標主要包括：

A.網(wǎng)頁響應成功率指標。從用戶的角度來看，所謂網(wǎng)頁響應成功率是指網(wǎng)頁的第一個元素顯示在瀏覽器上的概率。指標算法：首事務成功標志個數(shù)/合成頁面?zhèn)€數(shù)，其中首事務成功標志個數(shù)為合并緩沖池中首事務成功標志為真的記錄條數(shù)，合成頁面?zhèn)€數(shù)為合并緩沖池中所有記錄條數(shù)。

B.網(wǎng)頁響應平均時長指標。從用戶的角度看，所謂網(wǎng)頁響應平均時長是指從用戶執(zhí)行打開網(wǎng)頁操作到網(wǎng)頁第一個元素顯示在瀏覽器上的時長。指標算法：首事務時延總和/響應成功的合成頁面?zhèn)€數(shù)，其中首事務時延為合并緩沖池中首事務成功標志為真的首事務時延，響應成功的合成頁面?zhèn)€數(shù)為合并緩沖池中首事務成功標志為真的所有記錄條數(shù)。

C.網(wǎng)頁顯示成功率指標。從用戶的角度看，所謂網(wǎng)頁顯示成功率是指網(wǎng)頁大部分元素都顯示在瀏覽器上的概率。指標算法：合成頁面成功顯示的次數(shù)/合成頁面?zhèn)€數(shù)，其中合成頁面成功顯示的次數(shù)是合并緩沖池中事務成功次數(shù)/（事務請求次數(shù)＞95%閾值的記錄條數(shù)），合成頁面?zhèn)€數(shù)為合并緩沖池中所有記錄條數(shù)，事務請求次數(shù)的閾值可自由配置。

D.網(wǎng)頁顯示平均時長指標。從用戶的角度看，網(wǎng)頁顯示平均時長是指從用戶執(zhí)行打開網(wǎng)頁操作到網(wǎng)頁大部分元素顯示在瀏覽器上的時長。指標算法：合成頁面成功顯示的（事務結束時間-事務開始時間）總和/合成頁面成功顯示的個數(shù)。其中事務結束時間、事務開始時間是合并緩沖池中的事務結束時間、事務開始時間。

4 混合場景下的業(yè)務質(zhì)量評估方法的應用

對于混合場景的網(wǎng)頁瀏覽或者APP 頁面的瀏覽有可能包含多種數(shù)據(jù)流，從協(xié)議角度區(qū)分可能包含HTTP、HTTPS、TCP、UDP、QUIC 等格式的數(shù)據(jù)流，為了能夠與純HTTP 場景類似的方式來評估網(wǎng)頁瀏覽業(yè)務質(zhì)量指標，每個流都需要提取網(wǎng)頁上行業(yè)務請求、網(wǎng)頁下行業(yè)務首包響應、網(wǎng)頁下行業(yè)務末包響應這三個關鍵業(yè)務動作，基于這些動作來做網(wǎng)頁瀏覽業(yè)務的關聯(lián)合成。

對于每條流來說，網(wǎng)頁上行業(yè)務請求表示一個資源請求的開始，網(wǎng)頁下行業(yè)務首包響應表示對該請求的響應，網(wǎng)頁上行業(yè)務請求到網(wǎng)頁下行業(yè)務首包響應的時延表示網(wǎng)頁響應時延，網(wǎng)頁下行業(yè)務末包響應表示頁面加載完成，網(wǎng)頁上行業(yè)務請求到網(wǎng)頁下行業(yè)務末包響應的時延表示網(wǎng)頁顯示時長。

A.對于HTTP 流，網(wǎng)頁上行業(yè)務請求時間為上行Get 請求包或者Post 請求包的時間，網(wǎng)頁上行業(yè)務請求之后的第一個應用層凈荷長度大于N（如默認60）的下行包時間為網(wǎng)頁下行業(yè)務首包響應時間，網(wǎng)頁下行業(yè)務首包響應時間之后的最后一個應用層凈荷長度大于0 的下行包的時間為網(wǎng)頁下行業(yè)務末包響應時間，如果單條流中持續(xù)K 秒（如默認1 秒）無數(shù)據(jù)傳輸，則該空白時間窗之前的最后一包應用層凈荷長度大于0 的下行包時間為網(wǎng)頁下行業(yè)務末包響應時間。特別地，如果對于網(wǎng)頁上行業(yè)務請求只有一個帶凈荷的下行包，則網(wǎng)頁下行業(yè)務首包響應時間與網(wǎng)頁下行業(yè)務末包響應時間是一致的。

B.對于非HTTP 流，上述三個動作由于沒有絕對特征可以識別確認，因此采用流特征進行擬合，網(wǎng)頁上行業(yè)務請求為上行應用層凈荷長度大于M（如默認30）的第一個上行包的時間，網(wǎng)頁上行業(yè)務請求之后的第一個應用層凈荷長度大于N（如默認60）的下行包時間為網(wǎng)頁下行業(yè)務首包響應時間，網(wǎng)頁下行業(yè)務首包響應時間之后的最后一個應用層凈荷長度大于0 的下行包的時間為網(wǎng)頁下行業(yè)務末包響應時間，如果單條流中持續(xù)K 秒（如默認1 秒）無數(shù)據(jù)傳輸，則該空白時間窗之前的最后一包應用層凈荷長度大于0 的下行包時間為網(wǎng)頁下行業(yè)務末包響應時間。特別地，如果對于網(wǎng)頁上行業(yè)務請求只有一個帶凈荷的下行包，則網(wǎng)頁下行業(yè)務首包響應時間與網(wǎng)頁下行業(yè)務末包響應時間是一致的。

網(wǎng)頁瀏覽業(yè)務的合成也是基于這三個基本特征的，與純HTTP 場景的關聯(lián)合成方式類似，先通過用戶身份、關聯(lián)字段和關聯(lián)時間等信息進行合成，差別主要是在關聯(lián)字段上。由于混合場景中部分協(xié)議無法提取到一些如Refer 等明文特征，因此只能通過業(yè)務或者應用等信息進行關聯(lián)，根據(jù)準確性要求不同可以提供不同的關聯(lián)策略，例如對于主流的網(wǎng)頁瀏覽業(yè)務，可以通過包或者流特征識別該條流是否需要進行瀏覽合成，并且可以單獨提供關聯(lián)合成參數(shù)，對于精度要求不那么高的網(wǎng)頁瀏覽業(yè)務，可以僅根據(jù)應用進行關聯(lián)合成。

5 結束語

本研究基于業(yè)務特征的網(wǎng)頁瀏覽業(yè)務質(zhì)量評估方法，采用業(yè)務特征識別技術、多事務關聯(lián)技術、多事務合成技術、關聯(lián)與合并事務緩存技術、感知指標擬合技術，能夠在復雜的網(wǎng)頁瀏覽訪問場景下及時發(fā)現(xiàn)網(wǎng)頁瀏覽業(yè)務質(zhì)量問題，并且能夠及時發(fā)現(xiàn)問題的歸因以快速解決問題，從而提升網(wǎng)絡的可靠性、可維護性和穩(wěn)定性，提升用戶感知體驗。

經(jīng)過撥測對比驗證，采用此方法評估的網(wǎng)頁瀏覽業(yè)務質(zhì)量指標與用戶實際的體驗感知相符，整體趨勢一致，準確性達到95%以上，可以納入運營商的日常運維流程，實現(xiàn)降本、增效、提質(zhì)的目標。