互聯網性能測量技術發展研究

尹　浩　　　李　峰

1(清華信息科學與技術國家實驗室(籌)　北京　100084)

2　　　(清華大學計算機科學與技術系　北京　100084)

(lifeng13@mails.tsinghua.edu.cn)

?

互聯網性能測量技術發展研究

尹浩1李峰2

1(清華信息科學與技術國家實驗室(籌)北京100084)

2(清華大學計算機科學與技術系北京100084)

(lifeng13@mails.tsinghua.edu.cn)

Research on the Development of the Internet Performance Measurement Technologies

Yin Hao1and Li Feng2

1(TsinghuaNationalLaboratoryforInformationScienceandTechnology,Beijing100084)2(DepartmentofComputerScienceandTechnology,TsinghuaUniversity,Beijing100084)

AbstractNowadays, the Internet network has grown into a super-complex system from a small network in a laboratory, and its performance has been of great concern. The network performance is an important indicator of evaluating the network service performance, which can be widely used in service selection, congestion control, routing selection, network performance optimization, future network system architecture design, and so on. Many Internet performance measurement technologies are developed for these application requirements.In this paper, we systematically summarize the development of the existing network performance measurement technologies: first of all, the network performance measurement technologies is classified into different models, and the advantages and disadvantages of performance measurement technologies are well studied from different points of view; and then, the network performance measurement technologies can be divided into three stages: the measurement based on “what you see is what you get”, the large-scale distributed measurement based on path composition, and the big data driven QoE measurement, so the development and evolution of performance measurement technologies are well understood; finally, the challenges of network performance measurement technologies are deeply analyzed, and with the rapid development of the Internet network applications, the content which is needed to be studied in the future is pointed out, as well as the direction of development.

Key wordsnetwork performance measurement; path composition; quality of service(QoS); quality of experience(QoE); machine learning

摘要互聯網從一個實驗網絡成長為如今的超復雜系統，其服務性能一直備受關注.網絡性能作為衡量網絡服務的重要指標，廣泛地應用于服務選擇、擁塞控制、路由選擇、網絡性能優化、未來網絡體系架構設計等方面.針對這些應用需求，學術界提出了眾多的網絡性能測量技術.互聯網性能測量技術經過長期的發展與演變，其測量范圍從小規模網絡發展到覆蓋全球，測量目標從點到點測量發展成大規模分布式P2P測量，測量對象從QoS轉變到基于用戶感受的QoE，其發展過程可分為3個階段：傳統的“所見即所得”測量、路徑擬合的大規模分布式測量以及大數據驅動的QoE測量，每個階段都具有獨特的測量技術.最后，分析了互聯網和網絡應用的高速發展對網絡性能測量技術帶來的挑戰，指出了未來需要研究的內容和發展方向.

關鍵詞網絡性能測量；路徑擬合；QoS；QoE；機器學習

Fig. 1　Development and evolution of network performance measurement.圖1　網絡性能測量發展與演變

隨著網絡的出現并逐步發展成覆蓋全球的互聯網，互聯網的網絡性能成了用戶、管理人員及開發人員等各方面關注的重點，其測量技術和工具也成了重要的研究領域.網絡性能測量技術的發展一直是隨著網絡技術的發展而進化，并隨著網絡規模的爆發式增長和網絡應用尤其是分布式應用的快速增加而日漸重要.

從簡單的網絡文件下載，到服務選擇、路由選擇、擁塞控制等，網絡性能都是重要的決策因素.性能測量技術最早被用于網絡監控與管理工具中，幫助人們了解網絡的使用情況，解決網絡中出現的問題，然后逐步擴展到網絡協議研究與改進，P2P,CDN等分布式系統的構建與優化，應用性能的提高等方面.

網絡性能測量技術分為被動測量技術和主動測量技術2大類，其主要區別在于測量者是否主動向被測目標網絡發送探測報文.被動和主動網絡性能測量技術各有優劣，近年來出現不少采用2種測量技術的協作模式進行綜合測量的研究工作.不少研究人員已經從技術特征、性能優劣、測量代價等方面對網絡性能測量進行了分析比較.本文試圖從歷史發展脈絡的角度理清網絡性能技術的發展特征，并重點分析進入到大數據時代后，大數據處理分析技術、用戶體驗研究等方面帶給網絡性能測量的改變與發展.按照測量范圍、測量目標、技術特征等，網絡性能測量的發展與演變可劃分為3個階段,如圖1所示.

階段1. “所見即所得”測量.網絡發展初期規模較小，其上層應用主要是點對點服務，這個時期網絡性能測量目標主要是點到點鏈路和端到端路徑，一般在路徑的一端或兩端直接發起測量.網絡性能測量早在20世紀80年代就已經開始，90年代中后期開始引起越來越多研究人員的關注，并在21世紀初進入一個高峰，很多網絡性能測量技術和工具在期間被提出并實現了，不少一直延用至今.

階段2. 路徑擬合的大規模分布式測量.隨著互聯網的發展，尤其是大規模分布式應用的興起，越來越多的網絡應用面向全球用戶提供P2P服務，網絡性能的測量目標也逐漸擴張到整個互聯網.人們希望了解互聯網范圍中任意兩個或多個終端之間的網絡性能，傳統的測量技術無法滿足這種規模的需求，因為網絡無法忍受如此大的侵入測量，并行測量也會導致測量技術的失效.基于路徑擬合的網絡測量技術因此被提出了，可利用分段路徑擬合端到端路徑，由分段路徑屬性估計端到端路徑屬性，可以減少網絡測量代價，提高測量準確性.

階段3. 大數據驅動的網絡QoE(quality of experience)測量.傳統的QoS(quality of service)網絡性能度量獲取的網絡狀態，沒有考慮用戶感受，其測量的網絡性能往往不能真實反映用戶感受到的網絡服務水平，因此，學術界提出了基于用戶體驗的QoE測量.但是，用戶的主觀感受是難以測量和量化的，傳統的QoE技術很難方便有效地獲得準確結果.海量近客戶端測量的興起使獲取的網絡性能數據變得更巨量、更廣泛、更精細、更實時，大數據已經成為科學研究的基本范式，正在推動著網絡和計算的融合，提供新的網絡數據問題解決方式.基于大數據的QoE解決方法，可通過海量數據攜帶的信息，利用機器學習方式學習分析用戶對網絡服務的體驗.

本文先給出了各國際標準化組織的性能測量度量定義；然后按照技術發展特征分3個階段介紹互聯網性能測量技術，重點討論了每個階段測量目標的變化和技術革新；最后，總結互聯網性能測量技術存在的挑戰，并指出進一步的工作方向.

1性能度量定義

國際電信聯盟ITU-T、互聯網工程任務組IETF、第三代合作伙伴計劃3GPP等組織都成立了網絡性能相關的工作組，促進網絡性能研究工作發展，并頒布了一系列的標準化建議.

1.1ITU-T

ITU-T技術研究小組SG9,SG12作了大量網絡性能的研究，研究范圍從電信網絡逐步擴展到IP網絡，發布了一系列的標準和建議，如ITU-T E.800-E.899系列，建立了比較完整的網絡QoS體系結構和技術指標.E.800[1]建議定義服務質量QoS為一種電信業務的特性總和，表明其滿足明示和暗示業務用戶需求的能力.I.350[2]建議定義的網絡性能是一系列對于運營商有意義的，并可用于系統設計、配置、操作和維護的參數進行測量所得到的結果，性能測量的定義獨立于用戶終端性能及用戶動作.Y.1540(原I.380)[3]詳細定義網絡性能參數，詳細情況如表1所示.

ITU對電話、IPTV、網絡視頻等各種媒體的QoS都制定了比較詳細的QoS，具體內容可以查看相關建議，如G.1000，G.1010，Y.1291，Y.1541等.

Table 1　Network Performance Metrics Definition of ITU-T and IETF

1.2IETF

IETF專門成立了IP性能度量工作組(IP per-formance metrics working group, IPPMWG),制定了幾十個意見和草案，涉及網絡性能管理、性能參數及測量框架.其中，RFC2330[4]定義了IP性能度量的框架和基本度量，包括連通性、延遲、丟包率等，并在相關的RFC中詳細規范了每個度量.

如表1所示，基礎的網絡性能度量可劃分成服務能力、延遲、包錯誤、傳輸能力4大類，ITU-T和IETF在這4個方面都進行了比較詳細的研究，定義不少性能度量.總體上，2個組織的基本度量是一致的，只有一些小區別.ITU-T區分了延遲的平均值、最小值和中值，而IETF區分了單路延遲和回路延遲；ITU-T區分了丟包和錯包、重復包和復制包，而IETF區分了單路丟包率和回路丟包率，兩者都同時關注了錯誤發生的時間影響，但是定義了不同的度量；ITU-T把網絡性能度量目標劃分成端和路徑2類，并關注了網絡帶寬的抖動，而IETF則劃分成鏈路和路徑2類，兩者都區分了網絡傳輸能力和上層傳輸能力的不同.從2個組織定義標準的歷史發展進程來看，對因特網性能測量的理解是逐步加深細化的，而且2個組織也在互相學習.

IPPMWG還定義了單路主動測量協議OWAMP和雙路主動測量協議TWAMP，解決測量中出現的非對稱路徑問題，其控制與測量相分離，用更小的測量報文來獲取更高的安全性.

移動通信網絡已經走過幾代標準，GSM,GPRS,UMTS,HSPA,LTE，越來越注重用戶通信質量保障.3GPP的TS23.107[5]和TS23.207[6]定義了移動網絡的QoS及體系框架，為了滿足各類業務QoS，還詳細制定了通信規程、控制信令.移動網絡的性能參數很多和有線網絡相同，但網絡通信媒介的不同和網絡結構的差異導致了不少獨有度量的產生.每一代移動通信標準對網絡性能參數都有明確的規定，一些最新移動網絡的QoS參數要求如表2所示:

Table 2　QoS Parameters of Mobile Network

2“所見即所得”的網絡性能測量

早在互聯網成立之初，網絡研究人員就開始利用一些工具測量網絡性能，如TTCP[7].到20世紀90年代中后期，陸續發布了不少網絡性能測量工具.21世紀初，本領域的第1個高潮出現了，涌現了許多基于不同技術的針對不同目標的網絡性能測量工具，同時對測量工具的準確性、測量時間、侵入性、適用性等進行了深入細致地研究.這個階段的網絡性能測量技術主要用于測量點到點鏈路或端到端路徑的屬性，可以看成是“所見即所得”測量，即需要獲取哪個目標的網絡性能屬性，就對哪個被測目標發起測量.

被動測量技術與主動測量技術的測量節點、測量數據、測量過程等都不相同.被動網絡性能測量技術，通過截取網絡中的各種信息推測網絡性能.如圖2中虛線所示，想獲取終端P1到P2的網絡性能，可以在P1與P2之間的路徑上某一位置截取網絡數據，截取數據設備M1可以直接接入鏈路，或者接入點對點鏈路的終端路由器上，或者直接復制物理信號.同樣測量P1與P2之間的帶寬，主動網絡性能測量技術需要控制P1向P2發送探測報文，如圖2中實線所示.這個階段的技術研究經歷了很長的發展時間，并且還在一直深化，其豐富的成果也是后續2個階段的研究基礎和技術組成部分，本節將先從被動和主動測量2個方面進行介紹.

Fig. 2　System architecture of passive and active measurement.圖2　被動測量和主動測量系統架構

2.1被動測量技術

被動網絡性能測量技術，在根據目標選擇的特定位置上，抽取或復制網絡流量數據，并按照不同粒度水平記錄和處理，獲取網絡性能數據，可以快速地檢測到網絡錯誤和網絡失效，了解節點報文處理結果，計算網絡傳輸能力及其變化情況.

被動測量可以記錄測量節點最完整的信息，包括從物理層一直到應用層的協議數據.其流量記錄粒度按照從粗到細大致可以分為4級：簡單網絡管理協議SNMP記錄的統計信息、網絡流記錄、網絡報文記錄、完整網絡報文記錄[8].高速鏈路的完整記錄需要消耗大量資源，需要高效的記錄方法，如NetFlow，文獻[9]提出了基于對象和應用流量特征統計描述周期性導出流量特征的方法，減少了傳輸和存儲的數據量.文獻[10]提出了一種基于支持向量機的流量分類算法，具有良好的準確性和穩定性.文獻[11]可以在線識別和淘汰小流，提取大流，可為性能分析提供很好的數據基礎.由于上層協議數據涉及隱私，物理層、鏈路層數據格式多變且只有本地信息，對網絡性能研究主要集中在網絡層和傳輸層.

按照測量設備，可以劃分成基于軟件的測量方法和基于硬件的測量方法[8].使用軟件測量網絡，可以直接調用某些系統接口，或者通過修改系統和設備驅動獲取數據報文.軟件測量工具可以部署在現有的通用平臺上，實施方便、代價小、可擴展性好.使用專用硬件設備，可以從物理層開始抓取網絡數據，通過分光器、網絡接口(鏡像路由接口)等方式，獲取最完整信息.專門為測量開發的硬件設施，性能強，可用于現在的高速及超高速網絡，但其開發、部署成本要遠高于軟件模式.

已經有不少研究人員在這方面進行了探索，如文獻[12]構建了一個被動測量系統原型SPAND，通過大量用戶的共享式被動測量，提供準確及時的網絡特征預測，包括吞吐量、時間、響應準確性等.文獻[13]提出一種研究TCP連接特征的被動測量技術，可以跟蹤和推斷發送者的擁塞窗口及RTT等參數.文獻[14]通過被動收集的流記錄，建造吞吐量索引，估計不同位置不同時間的下載速度.

被動網絡性能測量不需要向網絡發送探測報文，不改變已經存在的網絡流量，對網絡是非侵入性的.但由于互聯網的層次性結構，被劃分成國家或地區、ISP、自治域等不同級別區域，一個測量節點抓取的網絡數據，只能反映一部分網絡的信息，無法獲取整個互聯網或端到端的信息.因此，被動網絡測量一般基于分布式多節點部署，而這又帶來了任務協作與分配、數據存儲、匯聚、管理等分布式處理問題.其第2個問題是被動測量的測量節點需要部署在非常廣泛的區域，可能需要部署到很多國家的不同ISP的內部節點，由于商業、政策等因素的影響，這在實際當中幾乎是不能實現的.最后一個是關于法律和道德的問題，由于數據涉及大量用戶的隱私，如何做到既消除大眾的顧慮，又能滿足研究的需求，需要制定法律和指導方針，并嚴格執行數據管理、使用等方面的規定.

2.2主動測量技術

主動網絡性能測量技術構造各種結構的探測報文序列，發送到被測目標網絡中，利用被測目標的響應信息，或者探測報文序列傳輸經過目標網絡后攜帶的目標網絡信息來推測網絡性能.主動網絡性能測量技術比被動技術能更好地理解端到端的路徑，其測量節點只需要部署在一個或一些終端設備中，不需要部署到互聯網的核心設備，無需涉及用戶隱私數據、部署方便、成本小.當測量節點擴張到足夠數量，并部署到合理的位置時，主動網絡性能測量技術能獲取對互聯網的整體理解，這對被動測量技術是十分困難的.

經過多年發展，學術界提出并實現了大量各種類型的主動測量工具，為了更清晰地了解目前主動測量技術的發展，可以按照不同方式進行分類研究.按照是否需要被測網絡中設備協作發送響應信息，可以分為終端用戶獨立的測量方式和基于網絡設備響應信息的測量方式；按照測量是否造成被測網絡擁塞，可以分為擁塞測量方法和非擁塞測量方法[15]；按照測量所使用探測報文的發送序列格式，可以分為變長分組[16-17]、分組對、分組隊列[18]、四重分組[19]、自加載周期性序列[20]、變速探測包序列[21]、分組追尾隊列[22]等；按照測量所使用探測報文協議不同，可以分為ICMP,UDP,TCP,HTTP；按照測量所依據的信息度量不同，可以分為包間隔模型、包速度模型；還有按照時域和頻域方式的劃分方法等.

為了解決測量中出現的問題，文獻[23]提出分析包間隔時延的光譜學方法，基于量子化的數據周期、頻率、時延等信息進行受限條件下的帶寬估計.文獻[24]提出借鑒通信網絡的頻譜分析方法來分析網絡路徑屬性，利用周期性包列產生IP網絡的頻域信號，通過復用的頻域信號之間的交叉干擾現象檢測共享存儲轉發設備、網絡瓶頸鏈路屬性等.文獻[25]理論證明三角不等式產生于網絡核心，而接入網絡使用可以減輕其數目.最小時延和方法(minimum delay SUM， MDSUM)[26]和最小時延差方法(minimum delay DIFference， MDDIF)[27],可用來過濾測量中背景流量的影響.文獻[28]提出了一種基于蒙特卡洛隨機抽樣思想的新探測理論，隨機發送單個小探測報文，測量計算路徑可用帶寬及各鏈路容量和空閑率,進而獲取各路由節點的流量變化和各鏈路背景流的分布情況.文獻[29]利用硬件產生時間戳，基于預測的時鐘同步算法獲得了相當GPS精度的時間戳.

表3列出了被動與主動測量技術的優點與缺點.很多研究工作對各種測量工具在不同應用場景下的準確性、侵入性、測量時間、負載等參數進行過詳細的對比分析,發現測量工具很難同時滿足各種應用的需求[30-33].不同測量方法各有優劣，需要根據網絡目標、應用場景、性能參數等選擇測量技術，文獻[34]同時采用被動和主動測量技術進行網絡性能測量.這種方式綜合被動測量和主動測量技術的優缺點，可合理部署測量節點，減少測量的代價及測量對互聯網的影響，提高測量的準確性和完整性，獲取最大的數據經濟密度.

Table 3　Advantages and Disadvantages of Passive and Active Measurement

3基于路徑擬合的大規模分布式測量

互聯網擴展到全球范圍，其終端高達幾十億；當分布式和P2P應用大量出現并服務于全球用戶時，測量的對象也從點到點變成了P2P，互聯網性能測量也進入了一個新的大規模分布式測量階段.

傳統的性能測量方法很難測量互聯網范圍內任意節點之間的網絡性能，即使在技術上可以達到測量目標，其測量的代價、侵入性、準確性、實時性等方面的問題也造成技術無法實用.

Fig. 3　Network path composition.圖3　網絡路徑擬合

被動網絡性能測量方式，需要在全球范圍內部署測量節點，其部署成本會高到無法實現，同時很多測量節點要部署到某些網絡內部，基于商業、政策等方面的因素，這是無法實現的.采用主動測量方式，可能造成測量結果失效，其測量代價也是網絡無法忍受的.如圖3所示，終端P1要獲取到終端P2的帶寬，測量數據只需要在P1和P2之間的路徑上進行傳輸，如圖3中粗虛線所示.如果某個應用系統含有N個終端節點，P1要從其余N-1個節點中選擇一條帶寬最大的，只需發起N-1次測量.而對P2P等應用，測量任意2個節點之間的帶寬，假設線路都是對稱線路，同一時刻出現的測量可達N2個，其測量次數隨N指數增加.互聯網級的網絡測量，需要部署大規模分布式測量網絡，會遇到很多端到端測量時沒有出現的問題.文獻[35]指出，在單獨使用時性能良好的測量工具在大規模分布式系統中無法工作，因為多個測量會造成嚴重的互相影響，導致測量結果出現很大的誤差，并提出了需要考慮的因素，如盡量利用現有數據攜帶測量、采用整形后影響更小的平滑流量，及直接測量或者減少迭代.文獻[36]量化分析了共享測量的一些影響因素，包括相互干擾影響、總負載影響、測量過程的侵入性等.文獻[37]形式化地描述了分布式環境中的帶寬決定問題，設計了高效的分布式算法，并給出了在2種模型中協作帶寬測量算法時間復雜度的下限.文獻[38]把互聯網看成一個樹度量空間，在此基礎上建造了一個非中心化的、準確的、低代價的系統，可以預測終端用戶之間的雙向帶寬，并提出3個新的啟發式分布式算法，可以利用不準確的輸入數據預測帶寬.

為了克服這些困難，iplane[39-40]提出了一個系統的解決方案，利用互聯網路由及拓撲信息構建的一個互聯網地圖集，可基于路徑擬合技術估計互聯網中任意2個終端用戶之間的路徑帶寬.路徑擬合技術，就是利用構建的互聯網地圖集中某些分段路徑，合成替換2個終端用戶之間的真實路徑，利用合成路徑的屬性來估計終端用戶之間的路徑屬性.iplane Nano[41]根據互聯網的路由信息和路由策略，剔除了實際網絡中路由策略不提供的路徑，利用網絡鏈路構建了一個更加精煉的互聯網地圖，測量速度更快，代價更小.

如圖3所示的簡單網絡中，P為需要測量的網絡終端，數量為N；V是部署的測量節點集，可以發起測量，數量為M；D是為了獲取網絡路徑而選取的目的節點集，數量為L.則P1與P2之間的路徑為

Path1(P1,P2)={P1,R1,R2,

在測量節點V發起主動測量，可以測量獲取M條到P2的網絡路徑，P1測量獲取L條到目的節點集的網絡路徑，當V,D選取的數量足夠并位于合理的位置，這些路徑會和Path(P1,P2)具有較多的重合，選取重合路徑最多并且交叉節點離原路徑最近的一條路徑，就是擬合的路徑，如：

Path2(P1,P2)={P1,R1,R2,R7,

Path(P1,R7)+Path(R7,P2).

路徑擬合就是利用Path(P1,R7)和Path(R7,P2)擬合成Path2(P1,P2)，再替換Path1(P1,P2)，然后由這2段路徑的帶寬估計P1,P2之間的帶寬.同理，任意2點之間的路徑帶寬都可以采用此方式.路徑擬合方式測量需要N(M+L)次，當系統達到互聯網規模時，M+L?N，測量次數只需要O(N),遠遠小于傳統方式的O(N2)，同一時刻的并行測量也大大減少，降低了對測量節點的設備能力要求，一條鏈路同時發生多個測量的概率也降低很多，減少了測量相互影響導致的錯誤結果.

基于路徑擬合的網絡測量模式，把互聯網規模的端到端測量問題做了指數級的降低，把一個不可能完成的任務變成了一個可實現的方案，通過部署良好的測量節點，利用現有的網絡測量技術，在稍微降低一點測量精度的代價下，達到了快速準確的性能測量，并將對網絡侵入性控制在可以忍受的范圍中.

4大數據驅動的網絡QoE測量

網絡服務的最終目標是供用戶使用，并提供用戶滿意的服務質量.當技術發展到一定階段，往往用戶體驗更能決定成敗.文獻[42]表明，面對低QoE無線網絡，65%的用戶會嘗試改變接入網絡，22%的用戶會放棄接入，僅剩13%的用戶會嘗試再次接入此網絡.

QoE包含人的主觀因素，很難進行測量和量化，并獲取完整的影響因素及因果關系.客戶端測量的興起，提供了大量的網絡測量節點，包括電腦終端、家庭網關、移動終端，各類測量終端獲取了海量的關于網絡性能不同側面的數據[43].大數據處理技術的發展，可以通過分析海量數據的相關性，形成基于大數據的網絡QoE測量方法.

4.1QoE

對于研究人員或技術人員來說，基于數值的QoS參數就是網絡服務能力最準確的描述，但是非專業人員或普通用戶可能并不明白也不關心QoS參數的具體意義，他們真正關心的不是某個參數準確數值大小，而是他所享受的上網、視頻、IP電話、游戲、文件傳輸等網絡服務是否滿足要求.

這種以用戶認可程度為評價標準的業務服務質量，稱為用戶體驗質量，區別于目前采用最廣泛的服務質量QoS.國際電信聯盟定義QoE為終端用戶對應用或者服務的整體主觀可接受程度[44].QoE從用戶主觀感受的角度研究服務質量，其影響因素包含服務、用戶、環境3個層面.服務層面涉及OSI模型中網絡層、傳輸層、會話層、表示層、應用層中各類參數；用戶層面涉及用戶的年齡、性別、教育程度、身心狀態、期望等；環境層面包括自然環境、人文與社會環境、服務運行環境等[45-46].

QoE的核心問題是研究QoE與其影響因素之間的映射關系.QoE涉及很多主客觀因素，主觀影響因素很難進行量化測量，每個因素對最終用戶體驗的重要程度也難以確認，各因素之間還有復雜的相互影響，這些都給QoE的研究帶來了非常大的挑戰.

QoE評價方法可以劃分成主觀評價法、客觀評價法，關鍵看是否讓用戶參與評價所使用的業務.主觀評價方法，準確性較高，但是代價大、可移植性差、不具有實時性，一般只是作為其他方法的評價標準.

用戶滿意度隨業務性能增長而增長，但增長比例是下降的，滿意度越高，增長越困難，其關系類似上凸曲線.通過分析用戶對網絡服務滿意度，可用最小的代價提供給用戶最高的滿意度，獲取最大經濟價值.

4.2網絡流媒體業務QoE

從業務對網絡資源的需求程度，可以將網絡業務簡單劃分成流媒體業務、非流媒體業務.IPTV、視頻點播、網絡直播等網絡流媒體服務在互聯網中占據了越來越重要的地位，對帶寬、時延、抖動等提出了更高的需求.

流媒體業務QoE研究工作開展比較早，也比較多.文獻[47]使用Narus公司的語義流量分析建立QoS與QoE之間的關系，主要研究了Web應用中響應時間、有效帶寬、交付時間等QoS參數的影響.但是只分析了一對一的QoE與QoS關系，沒有建立整體用戶QoE.文獻[48]提出用戶滿意度索引USI方法研究Skype等VOIP業務的QoE，通過被動和主動方式相結合采集的數據，采用回歸分析建立通話時間與比特率、延遲抖動、丟包率、網絡延時等QoS參數的關系，可在線計算，滿足實時應用.文獻[49]提出一個眾包框架測試平臺，用成對比較法定量分析QoE，與MOS方法比較，參與度高、用戶范圍廣、數據可以系統校驗，用低代價獲得了高水平的參與密度.文獻[50]研究視頻質量與用戶參與度的關系，利用客戶端設備測量短VoD、長VoD、直播等視頻質量度量，發現最大的影響因素是緩沖.文獻[51]建立視頻質量與用戶行為之間的因果關系，超出了純粹的相關性研究.為了建立因果關系，本文采用了準實驗設計研究用戶放棄和重復的行為，研究了時延、緩沖時間、失敗訪問等參數.

QoE的研究工作開始于音視頻業務，基于這些流媒體業務提出了不少基于主客觀評價方法，或者基于統計學、心理學等學科的QoE評價方法.

4.3非流媒體業務QoE

現有對非流媒體業務QoE相關研究工作涉及的范圍比較廣，有關于具體一種業務，也有關于整個系統的全面研究，其評價方法包括主客觀評價方法，但研究還不夠深入，方法的準確性、適應性、完整性等方面還存在問題.

文獻[52]分析在線游戲的QoE，建立了用戶游戲時間與網絡時延、時延抖動、丟包率之間的關聯公式，可以預測用戶游戲時間.文獻[53]通過構建本地測試床研究云游戲的QoE，利用主觀用戶實驗和MOS，分析對稱網絡環境下和非對稱網絡環境下時延和丟包率及丟包發生的方向與QoE的關系.文獻[54]提出一個新的基于QoE的云應用分類機制，并研究服務遷移到云后在QoE分析和管理等方面出現的挑戰.文獻[55]基于模糊層次分析法FAHP建立了短信服務OoE的層次化評價體系結構，把OoE評價指標分成可訪問性、即時性、完整性、內容質量及可持續性，再關聯到不同QoS參數.此方法需要先驗信息確定參數權重，無法描述同層參數之間的關系.

一個通信系統包括很多領域，技術方面、商業模式、用戶行為、內容，各領域都建立了獨特的QoE模型，文獻[56]在綜合各領域不同QoE模型的基礎上，建立了通信系統整體QoE的高級模型.

文獻[57]提出了一個基于瀏覽器的Web性能測量工具，文獻[58]從客戶端的角度分析不同設備、操作系統、瀏覽器對網頁瀏覽的影響，都沒有從客戶體驗的角度總體分析.非流媒體網絡業務的QoE研究主要集中在在線游戲、短消息業務等方面，而對現在用戶較多的一些網絡業務研究較少，如網頁瀏覽、實時通信等.

4.4QoE的大數據解決思想

隨著互聯網規模的高速增長，對互聯網的網絡測量規模也越來越大，產生了海量的測量數據.如UCSD的Telescope項目已經獲取的數據壓縮后仍然超過150 TB，并且還在以每個月4.5 TB的速度增長.異構的通信網絡、多種多樣的網絡結構、網絡設備、網絡鏈路造成網絡測量數據的豐富，包括各種結構化、非結構化的數據.互聯網是一個長期演變的過程，測量數據具有時效性，需要測量、保存、處理長時間的數據.互聯網也是動態變化、相互影響的，某個設備或某條鏈路的快速短暫變化，就可能對整個互聯網造成影響，需要網絡測量具有實時性，甚至達到毫秒級的測量精度，同時動態的變化也產生了海量數據.同時，網絡測量存在的這些困難致使到現在仍然無法得到完整、準確的互聯網測量結果.

統計學的QoE評價方法，可以分析多QoE指標之間的相關性及其與總QoE之間的關系，可利用因子分析等方法降維數據，簡化問題.心理學方法研究外在客觀物理刺激和人內在主觀感受之間的關系，韋伯-費希納定律、視覺掩蓋效應等規律可以更好理解人體自身認知方法.層次分析法AHP和模糊層次分析法FAHP，把QoE分成多個QoE指標，再把每個QoE指標關聯多個QoS參數，建立多層指標體系，但其需要專家知識，同層的多個指標必須是獨立的.這些評價方法獲得的QoE映射準確性不高.

大數據思想將NP-Hard復雜度的因果關系推導問題轉變成線性復雜度的相關關系分析，對于這種無法直接確認因果關系的問題，利用數據的內在關聯進行求解.文獻[59]給出了用決策樹、支持向量機解決視頻業務QoE評價問題的方法，并獲得了較高的準確率，它將時間信息、空間信息、比特率以及幀頻率作為視頻業務的QoE評價指標，得到了視頻業務的QoE評價模型.文獻[60]利用決策樹學習了互聯網視頻系統中用戶觀看視頻的時間比例與5個QoS參數的關系，包括加入時間、緩沖比例、切換率、緩沖的頻率、平均比特率.

大數據的解決方案的基礎是海量數據，通過良好定義的QoE,QoS參數，利用信息增益、相關系數、線性回歸等方法分析各參數相關性，再使用機器學習算法確定QoE與QoS的函數模型，獲取QoE指標.

正因為網絡是一個復雜巨系統，其面臨的問題的解決也是復雜的、動態的、系統的，傳統的模式已經無法獲得完好的解決方案.對于網絡性能優化、協議設計、未來網絡體系架構研究等方面，提出了不少基于大數據的解決方案，如數據驅動的下一代互聯網體系架構DDN[61].利用大數據方法能幫助解決原來不能解決的問題，獲取更加完整、更加準確的結果，提供更好的綜合性能.

5總結

互聯網性能測量技術可以廣泛應用到各類場景中，如網絡基礎設施建設、網絡運行狀況監控、網絡協議改進、網絡技術應用、未來網絡構架設計等.互聯網性能測量具有很長的歷史，在帶寬、時延、丟包率、流量、網絡錯誤、用戶體驗等方面獲得很多成果，但仍存在不少問題，測量結果的完整性、準確性、實時性等無法達到人們預期目的.

本文在現有文獻的基礎上，理清了互聯網性能測量技術發展與演變的歷史脈絡，分析互聯網不同時期測量范圍、測量目標等方面的改變引起的需求變化及技術革新，按照這些特點分成“所見即所得”的測量、基于路徑擬合的大規模分布式測量、大數據驅動的網絡QoE測量3個階段，并詳細介紹了各階段技術特征，如表4所示:

Table 4　Three Development Stages of the Internet Measurement Technologies

互聯網作為超復雜系統，迄今為止還沒有類似通信網絡中信息論一樣的基礎理論，其研究缺乏科學基本理論指導，指導政策的缺乏也導致了較低的社會合法性認可，還需進一步解決4個難題：1)缺乏基準數據及數據共享標準[62-63]；2)吉爾德定律指出，主干網帶寬的增長速度至少是運算性能增長速度的3倍，高速網絡的發展必然帶來更加嚴重的測量軟硬件能力問題；3)不同的接入網絡體系架構，導致終端用戶尤其是家庭用戶測量困難，結果不準確；4)人的主觀因素如何影響QoE、和QoE關聯的多種因素如何互相影響并最終體現到QoE中，都是需要進一步研究與探索的.

參考文獻

[1]ITU-T. Rec E. 800: Terms and definitions related to quality of service and network performance including dependability[EBOL]. 1994[2015-08-10]. https:www.itu.intrecT-REC-E.800en

[2]ITU-T. Rec I. 350: General aspects of quality of service and network performance in digital network, including ISDN[EBOL]. 1993[2015-08-10]. https:www.itu.intrecT-REC-I.350en

[3]ITU-T. Rec Y. 1540: Internet protocol data communication service-IP packet transfer and availability performance parameters[EBOL]. 2011[2015-08-10]. https:www.itu.intrecT-REC-Y.1540en

[4]Paxson V, Almes G, Mahdavi J, et al. RFC 2330: Framework for IP performance metrics[EBOL]. 1998[2015-08-10]. https:tools.ietf.orghtmlrfc2330

[5]Janne R. End-to-end quality of service (QoS) concept and architecture (release 12): 3GPP TS 23.107 V12.0.0[EBOL]. 2014[2015-08-10]. http:www.3gpp.orgDynaReport23107.htm

[6]Johnson O. End-to-end quality of service (QoS) concept and architecture (release 12): 3GPP TS 23.207 V12.0.0[EBOL]. 2014[2015-08-10]. http:www.3gpp.orgDynaReport23207.htm

[7]Muuss M. The TTCP Program[EBOL]. 2000[2015-08-10]. http:ftp.arl.milftppubttcp

[8]John W, Tafvelin S, Olovsson T. Passive Internet measurement: Overview and guidelines based on experiences[J]. Computer Communications, 2010, 33(5): 533-550

[9]Zhang Guangxing, Qiu Feng, Xie Gaogang, et al. An efficient representation of network flow record[J]. Journal of Computer Research and Development, 2013, 50(4): 722-730 (in Chinese)(張廣興, 邱峰, 謝高崗, 等. 一種高效的網絡流記錄表示方法[J]. 計算機研究與發展, 2013, 50(4): 722-730)

[10]Xu Peng, Liu Qiong, Lin Sen. Internet traffic classification using support vector machine[J]. Journal of Computer Research and Development, 2009, 46(3): 407-414 (in Chinese)(徐鵬, 劉瓊, 林森. 基于支持向量機的Internet流量分類研究[J]. 計算機研究與發展, 2009, 46(3): 407-414)

[11]Wang Fengyu, Guo Shanqing, Li Liangxiong, et al. A method of extracting heavy-hitter flows efficiently[J]. Journal of Computer Research and Development, 2013, 50(4): 731-740 (in Chinese)(王風宇, 郭山清, 李亮雄, 等. 一種高效率的大流提取方法[J]. 計算機研究與發展, 2013, 50(4): 731-740)

[12]Seshan S, Stemm M, Katz R H. SPAND: Shared passive network performance discovery[C]Proc of USENIX Symp on Internet Technologies and Systems. Berkeley, CA: USENIX Association, 1997: 1-18

[13]Jaiswal S, Iannaccone G, Diot C, et al. Inferring TCP connection characteristics through passive measurements[C]Proc of the 23rd Annual Joint Conf of the IEEE Computer and Communications Societies (INFOCOM 2004). Piscataway, NJ: IEEE, 2004: 1582-1592

[14]Gerber A, Pang J, Spatscheck O, et al. Speed testing without speed tests: Estimating achievable download speed from passive measurements[C]Proc of the 10th ACM SIGCOMM Conf on Internet Measurement. New York: ACM, 2010: 424-430

[15]Huang Guowei, Wu Gongyi, Xu Jingdong. End-to-end available bandwidth measurement based on queueing analysis[J]. Journal of Computer Research and Development, 2015, 52(1): 85-91 (in Chinese)(黃國偉, 吳功宜, 徐敬東. 基于排隊分析的端到端路徑可用帶寬的測量[J]. 計算機研究與發展, 2015, 52(1): 85-91)

[16]Bellovin S M. A best-case network performance model[EBOL]. 1992[2015-08-10]. https:www.cs.columbia.edu～smbpapersnetmeas.ps

[17]Jacobson V. Pathchar: A tool to infer characteristics of Internet paths[EBOL]. 1997[2015-08-10]. ftp:ftp.ee.lbl.govpathchar

[18]Dovrolis C, Ramanathan P, Moore D. Packet-dispersion techniques and a capacity-estimation methodology[J]. IEEEACM Trans on Networking, 2004, 12(6): 963-977

[19]Pásztor A, Veitch D. Active probing using packet quartets[C]Proc of the 2nd ACM SIGCOMM Workshop on Internet Measurement. New York: ACM, 2002: 293-305

[20]Jain M, Dovrolis C. End-to-end available bandwidth: Measurement methodology, dynamics, and relation with TCP throughput[C]Proc of ACM SIGCOMM Computer Communication Review. New York: ACM, 2002: 295-308

[21]Melander B, Bjorkman M, Gunningberg P. Regression-based available bandwidth measurements[C]Proc of Int Symp on Performance Evaluation of Computer and Telecommunications Systems. Piscataway, NJ: IEEE, 2002: 14-19

[22]Lai K, Baker M. Measuring link bandwidths using a deterministic model of packet delay[C]Proc of ACM SIGCOMM Computer Communication Review. New York: ACM, 2000: 283-294

[23]Broido A, King R, Nemeth E, et al. Radon spectroscopy of inter-packet delay[COL]Proc of High Speed Networking Workshop (HSN 2003). Piscataway, NJ: IEEE, 2003 [2015-06-10]. http:www.caida.orgpublicationspapers2003RAD-fullrad-full.pdf

[24]Kanuparthy P, Dovrolis C, Ammar M. Spectral probing, crosstalk and frequency multiplexing in Internet paths[C]Proc of the 8th ACM SIGCOMM Conf on Internet Measurement. New York: ACM, 2008: 291-304

[25]Wang Zhanfeng, Chen Ming, Xing Changyou, et al. TIV and access delay in the Internet delay space[J]. Journal of Computer Research and Development, 2013, 50(3): 509-516 (in Chinese)(王占豐, 陳鳴, 邢長友, 等. 因特網時延空間中TIV與接入時延的研究[J]. 計算機研究與發展, 2013, 50(3): 509-516)

[26]Kapoor R, Chen L J, Lao L, et al. CapProbe: A simple and accurate capacity estimation technique[C]Proc of ACM SIGCOMM Computer Communication Review. New York: ACM, 2004: 67-78

[27]Chan E W W, Luo Xiapu, Chang R K C. A minimum-delay-difference method for mitigating cross-traffic impact on capacity measurement[C]Proc of the 5th Int Conf on Emerging Networking Experiments and Technologies. New York: ACM, 2009: 205-216

[28]Liu Min, Li Zhongcheng, Guo Xiaobing, et al. An end-to-end available bandwidth estimation methodology[J]. Journal of Software, 2006, 17(1): 108-116 (in Chinese)(劉敏, 李忠誠, 過曉冰, 等. 端到端的可用帶寬測量方法[J]. 軟件學報, 2006, 17(1): 108-116)

[29]Xie Yingke, Wang Jiandong, Zhu Chao, et al. High precision timestamps in network measurement[J]. Journal of Computer Research and Development, 2010, 47(12): 2049-2058 (in Chinese)(謝應科, 王建東, 祝超, 等. 網絡測量中高精度時間戳研究與實現[J]. 計算機研究與發展, 2010, 47(12): 2049-2058)

[30]Shriram A, Murray M, Hyun Y, et al. Comparison of public end-to-end bandwidth estimation tools on high-speed links[G]Passive and Active Network Measurement. Berlin: Springer, 2005: 306-320

[31]Shriram A, Kaur J. Empirical evaluation of techniques for measuring available bandwidth[C]Proc of the 26th IEEE Int Conf on Computer Communications (INFOCOM 2007). Piscataway, NJ: IEEE, 2007: 2162-2170

[32]Guerrero C D, Labrador M A. On the applicability of available bandwidth estimation techniques and tools[J]. Computer Communications, 2010, 33(1): 11-22

[33]Goldoni E, Schivi M. End-to-end available bandwidth estimation tools, an experimental comparison[G]Traffic Monitoring and Analysis. Berlin: Springer, 2010: 171-182

[34]Zangrilli M, Lowekamp B B. Applying principles of active available bandwidth algorithms to passive TCP traces[G]Passive and Active Network Measurement. Berlin: Springer, 2005: 333-336

[35]Croce D, Mellia M, Leonardi E. The quest for bandwidth estimation techniques for large-scale distributed systems[J]. ACM SIGMETRICS Performance Evaluation Review, 2010, 37(3): 20-25

[36]Croce D, Leonardi E, Mellia M. Large-scale available bandwidth measurements: Interference in current techniques[J]. IEEE Trans on Network and Service Management, 2011, 8(4): 361-374

[37]Douceur J R, Mickens J, Moscibroda T, et al. Collaborative measurements of upload speeds in P2P systems[C]Proc of the 29th IEEE Int Conf on Computer Communications (IEEE INFOCOM 2010). Piscataway, NJ: IEEE, 2010: 1-9

[38]Song S, Keleher P, Bhattacharjee B, et al. Decentralized, accurate, and low-cost network bandwidth prediction[C]Proc of the 30th IEEE Int Conf on Computer Communications (IEEE INFOCOM 2011). Piscataway, NJ: IEEE, 2011: 6-10

[39]Madhyastha H V. An Information Plane for Internet Applications[M]. Washington, DC: ProQuest, 2008

[40]Madhyastha H V, Isdal T, Piatek M, et al. iPlane: An information plane for distributed services[C]Proc of the 7th Symp on Operating Systems Design and Implementation. Berkeley, CA: USENIX Association, 2006: 367-380

[41]Madhyastha H V, Katz-Bassett E, Anderson T E, et al. iPlane Nano: Path prediction for Peer-to-Peer applications[C]Proc of Symp on Network System Design and Implementation (NSDI 2009). Berkeley, CA: USENIX Association, 2009: 137-152

[42]ODEDRA A. Global standards role in strategic planning for next generation networks & migration[R]. New Delhi, India: ITU, 2007

[43]Sundaresan S, De Donato W, Feamster N, et al. Broadband Internet performance: A view from the gateway[C]Proc of ACM SIGCOMM Computer Communication Review. New York: ACM, 2011: 134-145

[44]Dvorak C. Definition of quality of experience (QoE): TD 109rev2 (PLEN12)[EBOL]. [2015-08-10]. https:www.itu.intmdT05-FG.IPTV-IL-0050en

[45]Lin Chuang, Hu Jie, Kong Xiangzhen. Survey on models and evaluation of quality of experience[J]. Chinese Journal of Computers, 2012, 35(1): 1-15 (in Chinese)(林闖, 胡杰, 孔祥震. 用戶體驗質量(QoE)的模型與評價方法綜述[J]. 計算機學報, 2012, 35(1): 1-15)

[46]Kim H J, Choi S G. A study on a QoSQoE correlation model for QoE evaluation on IPTV service[C]Proc of the 12th Int Conf on Advanced Communication Technology (ICACT 2010). Piscataway, NJ: IEEE, 2010: 1377-1382

[47]Khirman S, Henriksen P. Relationship between quality-of-service and quality-of-experience for public internet service[COL]Proc of the 3rd Workshop on Passive and Active Measurement. Berlin: Springer, 2002[2015-06-10]. http:www-v1.icir.org2002Relationship_Between_QoS_and_QoE.pdf

[48]Chen K T, Huang C Y, Huang P, et al. Quantifying Skype user satisfaction[C]Proc of ACM SIGCOMM Computer Communication Review. New York: ACM, 2006: 399-410

[49]Chen K T, Wu C C, Chang Y C, et al. A crowdsourceable QoE evaluation framework for multimedia content[C]Proc of the 17th ACM Int Conf on Multimedia. New York: ACM, 2009: 491-500

[50]Dobrian F, Awan A, Joseph D, et al. Understanding the impact of video quality on user engagement[J]. Communications of the ACM, 2013, 56(3): 91-99

[51]Krishnan S S, Sitaraman R K. Video stream quality impacts viewer behavior: Inferring causality using quasi-experimental designs[J]. IEEEACM Trans on Networking, 2013, 21(6): 2001-2014

[52]Chen K T, Huang P, Lei C L. How sensitive are online gamers to network quality?[J]. Communications of the ACM, 2006, 49(11): 34-38

[53]Jarschel M, Schlosser D, Scheuring S, et al. An evaluation of QoE in cloud gaming based on subjective tests[C]Proc of the 15th Int Conf on Innovative Mobile and Internet Services in Ubiquitous Computing (IMIS 2011). Piscataway, NJ: IEEE, 2011: 330-335

[54]Hobfeld T, Schatz R, Varela M, et al. Challenges of QoE management for cloud applications[J]. IEEE Communications Magazine, 2012, 50(4): 28-36

[55]Du Yu, Zhou Wen’an, Chen Baofu. A QoE based evaluation of service quality in wireless communication network[C]Proc of 2009 Int Conf on New Trends in Information and Service Science (NISS’09). Piscataway, NJ: IEEE, 2009: 552-557

[56]Laghari K U R, Connelly K. Toward total quality of experience: A QoE model in a communication ecosystem[J]. IEEE Communications Magazine, 2012, 50(4): 58-65

[57]Dhawan M, Samuel J, Teixeira R, et al. Fathom: A browser-based network measurement platform[C]Proc of the 2012 ACM Conf on Internet Measurement. New York: ACM, 2012: 73-86

[58]Sanders S, Kaur J. On the variation in Web page download traffic across different client types[C]Proc of the 22nd IEEE Int Conf on Network Protocols (ICNP 2014). Los Alamitos, CA: IEEE Computer Society, 2014: 495-497

[59]Menkovski V, Oredope A, Liotta A, et al. Predicting quality of experience in multimedia streaming[C]Proc of the 7th Int Conf on Advances in Mobile Computing and Multimedia. New York: ACM, 2009: 52-59

[60]Balachandran A, Sekar V, Akella A, et al. Developing a predictive model of quality of experience for Internet video[C]Proc of the 2013 ACM SIGCOMM Int Conf on the Applications, Technologies, Architectures, and Protocols for Computer Communication. New York: ACM, 2013: 339-350

[61]Yin Hao, Jiang Yong, Lin Chuang, et al. Big data: Transforming the design philosophy of future Internet[J]. IEEE Network, 2014, 28(4): 14-19

[62]Jain M, Dovrolis C. Ten fallacies and pitfalls on end-to-end available bandwidth estimation[C]Proc of the 4th ACM SIGCOMM Conf on Internet Measurement. New York: ACM, 2004: 272-277

[63]Prasad R, Dovrolis C, Murray M, et al. Bandwidth estimation: Metrics, measurement techniques, and tools[J]. IEEE Network, 2003, 17(6): 27-35

Yin Hao, born in 1974. PhD, professor, PhD supervisor. His main research interests include architecture, algorithm design and system implementation of large-scale media delivery platform, etc (h-yin@mail.tsinghua.edu.cn).

Li Feng, born in 1982. PhD candidate and engineer. His main research interests include network measurement and big data.

中圖法分類號TP3931

基金項目：國家“九七三”重點基礎研究發展計劃基金項目(2012CB315800)；國家自然科學基金項目(61170290,61222213)

收稿日期：2015-07-15；修回日期：2015-10-16

This work was supported by the National Basic Research Program of China (973 Program) (2012CB315800) and the National Natural Science Foundation of China (61170290,61222213).