王躍輝,何曉鋒,魏 芳
(①上海交通大學,上海 200240;②上海貝爾股份有限公司,上海 201206;③復旦大學,上海 210000)
近年來,隨著隨著全球電信運營商3G網絡的建設和成熟,以及即將啟動的從3G向4G的演進,無線上網的速度不斷提高。由于高速無線接入速度追上甚至拋離同期固網寬帶,再加上在廣袤的農村地區,鋪設無線網絡顯然比拉固網網線來得經濟實惠,以致無線接入互聯網成為了互聯網訪問的重要方式。在一定的應用環境下,甚至可能大量取代有線方式接入互聯網。根據愛立信在 2011年 1月發布的報告[1]顯示,到2011年底,全球移動寬帶用戶數將超過10億并在未來5年內高速增長,有望在2015年底達到40億,其中約半數用戶集中在亞太地區。
在中國,隨著3G上網卡的普及,選擇直接采用無線上網卡接入互聯網的用戶越來越多。移動數據業務快速增長,將來會超過語音收入,且數據ARPU值將高于語音ARPU。近日更有電信設備商樂觀估計,4年后,隨著3G/4G技術的進一步成熟,全球將有八成用戶采用無線方式接入寬帶互聯網[1]。
隨著上網卡業務在中國運營商的推廣,用戶規模、使用頻率、數據量不斷增長。需求的增長速度遠遠超過了無線頻譜利用效率的增長速度和覆蓋率的增長速度。
因此在業務推廣、用戶使用反饋和運營維護中,反映出上網卡業務較話音業務對無線資源的占用多,人口密集地區、高峰時段、基站覆蓋率較低的地區資源不足和爭搶現象較多的現象。
多用戶情況下用戶共享載頻和時隙,每個用戶獲得的帶寬明顯下降,部分用戶甚至無法瀏覽網頁、視頻,這樣會增加用戶的投訴,影響運營商的品牌形象,甚至有可能造成用戶離網。因此開發針對無線上網用戶的網絡加速系統就顯得非常必要。
隨著互聯網的蓬勃發展,網絡應用也變得越來越豐富,不同類型的網絡應用的通訊方式、對網絡的需求各有不同,因此有必要做一些有針對性的開發,以使得無線網絡加速系統的加速效果能夠更加有效。在這些應用中,基于Web的網絡應用仍占據了主導地位。根據CNNIC 2011年5月發布的《互聯網發展信息與動態》[2],目前中國網絡用戶的網絡使用中,基于Web的應用,如搜索、新聞、社區、博客等的應用使用率均超過 70%,如果能提升用戶的 Web訪問速度同時對于Web訪問的流量做適當的縮減,則可以有效的提升用戶體驗,同時節約部分無線側的網絡資源。出于這樣的考慮,開發了主要針對上網用戶的Web應用的無線網絡加速系統,并對該系統的性能做了現網測試。
在加速系統中,主要通過Web緩存和數據壓縮技術來實現對移動上網Web應用的優化。
(1)Web緩存技術
Web緩存技術是Web應用部署中的常見技術[3],它通過在緩存服務器中存儲目標文件的副本,實現提供http請求訪問目標的功能。一般來說,使用Web緩存技術有2方面的好處:一方面,從網絡資源的角度來說,由于緩存過多數據不需要再從互聯網網站服務器傳輸,因此可以節約網絡出口的流量;另一方面,把緩存服務器部署在靠近用戶的網絡邊緣節點處,可以減小網絡中的延時和瓶頸點擁堵造成的傳輸速率下降,加快用戶請求響應速度,從而提高用戶的使用體驗。
目前,主要的互聯網網站都采用了部署基于Web緩存技術的CDN(Content Delivery Network)[4]節點的方式對其內容進行優化部署。但是這些節點的網絡位置選擇主要還是考慮固網寬帶用戶的使用,并不完全針對移動網絡;而且由于不同的網站選擇的CDN節點也會有差別,因此也會導致用戶使用網絡時,不同網站之間的響應速度差異很大。
在現行的移動網絡構架體系中,所有移動上網的通訊數據,都要GGSN或者PDSN[5],因此在GGSN或PDSN附近就近部署針對所有互聯網網站的緩存服務,則可以最大限度地利用Web緩存技術的優勢,進一步提高移動上網用戶的訪問體驗。
(2)數據壓縮技術
與固網寬帶的充裕的網絡接入資源不同移動上網接入的無線空口處的網絡資源相對緊張;因此如果能夠利用數據壓縮技術將傳輸給用戶的數據縮減,則相當于提高了空口側的網絡資源利用效率。另一方面,對于無線上網用戶來說,在有限的傳輸速率下,要傳輸的數據量越小,則傳輸時間越短,因此,將數據進行壓縮后傳輸給用戶,可以進一步提高用戶訪問速度,從而提升用戶體驗。
考慮對傳輸數據進行縮減,則要分析Web應用的目標文件特征。在絕大部分Web應用中,基本都通過http協議進行,主要的傳輸文件可以劃分為3大類:文本類文件、圖片類文件、媒體和應用類文件。文本類文件一般包括html、xml、txt、css、java script等,以文字內容或者頁面腳本為主;圖片類文件一般包括jpg、png、gif等格式的文件,主要是一些圖像和頁面構圖等;媒體和其他應用類是以flash、mp3為主體的媒體廣告類文件和以exe為主的一些軟件下載、升級類文件。
在上述3類文件中,文本文件由于采用了大量的文本數據,進行無損壓縮(即不損害文件內容的前提下縮減文件的數據量)的技術相對成熟,而且得到了http協議的支持[6],多數瀏覽器可以在http協議標準內,對無損壓縮過的文本文件進行解壓縮操作,不影響該文件的打開;圖片類文件難以進行無損壓縮,而且也沒有相關的http標準協議支持類似的操作,然而,對于圖片文件的有損壓縮技術相對成熟[7-8],在適當的犧牲一小部分圖片質量的情況下,進行適度的有損壓縮可以大幅度的縮減圖片文件的數據量,同時對圖片觀感的影響很小,如圖1所示;對于第三類文件的壓縮則比較困難,但是可以通過 url分析的方式,屏蔽掉部分廣告類的文件,以減小不必要的數據傳輸。
為了便于系統的推廣和擴展,無線加速系統采用對用戶完全透明的部署方式,也不需要用戶在個人電腦上做任何設置或安裝額外的客戶端軟件。加速系統的網絡部署架構如圖2所示,邏輯上,加速系統旁掛在從PDSN或GGSN之后(設備到互聯網方向)的核心交換機上,為了保證需要進行網絡加速的用戶能夠接受網絡加速服務,在核心交換機上需要配置策略路由,使得源IP匹配要加速用戶地址池的IP數據包下一條轉發到負載均衡器上(如圖2中實線、虛線所示)負載均衡器將根據用戶的會話請求將用戶的會話負載均衡到加速服務器上。加速服務器接收到用戶發來的會話請求后,偽裝成互聯網網站的IP地址對請求進行處理,這樣,從用戶的角度上來看,自己是在跟互聯網網站的服務器進行會話通信,因此加速系統對于無線上網用戶來說完全透明。

圖2 加速系統的網絡部署架構
對于加速服務器本地沒有保留緩存副本的用戶請求來說,加速服務器需要代替用戶向互聯網網站服務器發送請求以獲得未緩存內容,這時,加速服務器有兩種方式向互聯網網站發起請求。一種方式是將用戶的源IP地址修改為加速服務器的地址,這樣互聯網網站返回到數據可以直接發到加速服務器上,這種方式要求為加速服務器分配可以訪問互聯網的IP地址,由于修改了源IP地址,從互聯網網站的角度上看,請求來自于加速服務器,而不是無線上網用戶,這種方式對用戶透明,但對互聯網網站不透明,稱為單向透明模式;另一種方式是不修改用戶的源 IP地址,直接利用用戶的源IP地址將請求發送到互聯網網站,同時在核心交換機上另外配置一條策略路由,將源地址為互聯網IP,目的地址為加速服務用戶地址池的數據包下一條設置為負載均衡器地址(如圖2中的虛線曲線所示),這樣才可以保證互聯網網站返回給“用戶”的數據能夠達到加速服務器,這種方式對用戶和互聯網網站來說,加速服務器都是不存在的,稱為雙向透明模式。2種模式的差別如表1所示。

表1 單向透明模式和雙向透明模式的異同
使用雙向透明模式的好處是互聯網網站和用戶對加速服務器的存在完全不可知。為了實現這一功能,需要在核心交換機上新增一條從互聯網到加速服務用戶的策略路由,在負載均衡器上同時處理用戶的上行和下行數據。由于多數http會話中,用戶的上行數據遠遠小于下行數據,這意味著使用雙向透明模式也大大提高了對核心交換機和負載均衡器處理能力的要求。在實際部署的過程中,可以根據實際需求進行取舍。
加速服務器對用戶請求的處理的邏輯過程如圖3所示。

圖3 加速服務器對用戶請求的處理過程
加速服務器接收到用戶請求后,首先根據http請求頭中的 url地址判斷該請求是否是動態請求,如搜索查詢等等,如果是直接轉發該請求到網站,否則發送到緩存模塊處理;緩存模塊根據 url地址判斷本地是否留有緩存,如果沒有則轉發到網站,否則直接將本地副本返回給用戶;未緩存請求轉發到互聯網網站并接收到相應文件后,首先判斷是否需要壓縮,對于需要壓縮的數據,首先轉發到對應的壓縮模塊進行數據壓縮后,然后判斷是否需要緩存,對于需要緩存的數據在本地保存緩存副本,同時轉發數據給用戶,否則直接轉發給用戶;對于不需要壓縮的數據,需要進一步判斷該數據是否需要緩存,如果需要緩存則在本地保存緩存副本后轉發給用戶,對于不需要緩存的數據,直接轉發給用戶。
為了測試加速系統的效果,在1臺現網運行的PDSN設備之后部署了實驗性的無線上網加速服務系統,對該系統的實際運行效果進行了測試。測試分成2個階段進行:第1階段進行了單用戶測試,主要評價使用加速服務系統對用戶Web上網體驗的改善能力,主要表現為Web頁面打開時間和所耗用流量的影響;第2階段進行了現網流量測試,主要評價在實際的網絡運行過程中,加速服務系統節約網絡資源的能力。
考慮到真實網絡部署過程中,實際網絡流量的增長可能給核心交換機和負載均衡器帶來的流量壓力,本次測試采用了單向透明的部署方式。測試時,首先劃定一定的測試 IP地址池,并通過PDSN上的配置,為測試用戶分配該地址池中的無線上網 IP,然后通過在核心交換機上的策略路由配置,將測試用戶的上行數據導入無線加速系統中,以此將測試數據導入加速系統中;加速服務系統會只對需要加速的Web上網數據做處理,而對其他上網通訊數據包直接轉發,不做處理,以保證部署加速系統后,不影響其他上網業務。
單用戶測試主要看在網絡環境和個人電腦能力基本一致的情況下,使用加速系統的數據和不使用加速系統的用戶相比,打開相同網頁所需的流量和時間對比。測試使用2臺相同的筆記本電腦,安裝相同的windows XP系統,使用IE6瀏覽器進行測試效果對比。2臺測試用的筆記本使用相同的3G EVDO數據卡上網。測試時,通過在PDSN上設置,其中一個數據卡使用的IMSI卡號與測試IP地址池進行綁定,使之對應的上網電腦數據被導入無線加速系統;另一臺電腦對應的數據卡按照正常上網用戶進行IP地址分配,因此不經過測試的無線加速系統。
測試選擇 10個代表性的網站首頁作為測試樣本,進行網絡打開時間和流量的測試。測試中通過 du meter[9]軟件上的流量統計和計時功能,對 IE瀏覽器打開網頁的時間和打開網頁的流量進行測量。每次打開網站之前,對 IE瀏覽器的本地緩存文件做清空處理,以免瀏覽器本地緩存干擾測試結果。
由于無線上網時,無線環境變化比較快,測試地點選擇在無線干擾少,空口資源豐富的地方進行;考慮到2臺測試終端會競爭無線空口資源的問題,測試時要基本保證2臺機器在同一時間點擊同一網頁,且通過反復測試5次,取平均值的方式,盡量減少無線環境變化對測試結果的影響。
在加速系統中,對圖片的有損壓縮比例設置為中度,并通過測試員目測,確認該壓縮比例對網頁觀感無顯著影響。
由于不同的網頁大小不同,因此其流量和打開耗時差異較大,為了便于對比,在圖4給出了經過加速系統和不經過加速系統的兩個數據的歸一化對比情況,從中可以看出,在使用了加速系統后,用戶的網頁打開時間普遍減少到不經過加速系統的40%~60%,所需流量也減到50%~80%。打開時間的縮減效果要更加優于流量的縮減,這主要是加速系統中的緩存所帶來的好處。
單用戶測試的結果表明,使用無線加速系統,確實可以提高用戶的網頁打開速度,也即提高用戶的使用體驗。
為了測試引入加速系統后,對網絡資源的節約效率,進行了現網流量測試,測試時間為連續的5天,將選定的部分基站覆蓋下的上網用戶綁定到測試IP地址池中,從而將真實的用戶無線上網流量導入到無線加速系統中。
為了分析無線加速系統對網絡資源的節約效率,系統對每一條用戶的http會話都記錄了相應的訪問日志,從而得到通過無線加速系統的無線上網用戶日志庫。日志的主要字段含義如表2所示。

圖4 網頁打開時間和使用流量的歸一化對比(設不加速測試結果為100%)

表2 用戶日志的主要字段及含義
如前所述,加速系統對于網絡資源的節約包括兩部分:緩存模塊節約網絡出口處的網絡資源,以下簡稱緩存流量;壓縮部分節約接入網絡一側的網絡資源,以下簡稱壓縮流量。通過如表 2中的日志數據參數,可以統計出緩存流量和壓縮流量的大小。進一步的,定義在完成相同的 http會話的情況下,當數據全部不經過加速系統時,所需的網絡流量為原始流量,則可以計算得到緩存流量和壓縮流量與原始流量的占比,用來衡量資源節約的效果。具體的計算方法如下:


現網測試的統計結果如圖5所示,在測試進行的5天中,針對移動上網用戶的Web數據,加速系統無論在網絡出口一側(緩存流量)還是在接入網絡一側(壓縮流量)均有16%以上最高超過20%的優化效果,表現出很好的網絡資源優化效率。

圖5 現網測試中,加速系統對Web流量的節省比例
移動通信技術的發展導致了移動上網用戶的迅速增加,這使得開發針對性的網絡加速和優化系統的需求越來越迫切。針對移動上網用戶的 Web應用開發了無線網絡加速系統。該系統結合了緩存和加速技術,一方面可增加移動上網用戶的Web應用響應速度,提升用戶使用體驗;另一方面可節約無線側和網絡出口側的網絡資源利用效率。在具體部署時,無線網絡加速系統可以根據現實情況選擇采用單向透明或者雙向透明的方式進行部署,用戶無需做任何額外的配置或軟件安裝,降低了服務的提供門檻。
在現網測試中,分別進行了單用戶測試和現網流量測試。測試結果表明,應用無線網絡加速系統之后,無論是用戶的網頁打開速度還是網絡資源的利用效率都有了顯著的提高,體現出較高的商業價值。
在現有的無線網絡加速系統的基礎上,還可以拓展針對Web應用以外的其他類型的移動網絡應用,如網絡視頻、網絡游戲等業務的加速服務功能,以便更進一步提升用戶體驗和網絡資源的利用效率;同時,以網絡加速服務系統提供的用戶訪問日志為基礎進行的深度數據挖掘工作,還可以獲得更多的用戶行為習慣的信息,為網絡的精細化運營提供重要的參考。
[1] 愛立信.Mobile Broadband Subscriptions to Hit One Billion Mark in 2011 [EB/OL].(2011-01-14)[2011-04-15]. http://www.ericsson.com/thecompany/ press/releases/2011/01/1478480.
[2] CNNIC.第 27 次中國互聯網絡發展狀況統計報告[EB/OL].(2011-01-09)[2011-04-12].http://www.cnnic.net.cn/dtygg/dtg g/201101/ P0201 10119 3289601922 87.pdf.
[3] GEOFF Huston, TELSTRA. Web Caching[EB/OL]. (2009-09-10)[2010-11-02]. http://www.cisco.com/web/about/ac123/ac147/ac174/ac199/about_cisco_ipj_archive_article09186a00800c8903.html.
[4] ViSolve.Optimized Bandwidth + Secured Access = Accelerated Data Delivery[EB/OL].(2010-08-11)[2011-1-15]. http://www.visolve. com/squid/whitepapers/ ViSolve_Web_Caching.pdf.
[5] 戴剛,樂志星.3G傳輸網技術及演進策略[J].通信技術,2011,44(01)72-74.
[6] FIELDING, IRVINE, GETTYS, et al.RFC 2616: Hypertext Transfer Protocol——HTTP/1.1[EB/OL].(2004-09-01)[2009-06-14].http://www.w3.org/Protocols/ rfc2616/ rfc2616.html.
[7] 鄭偉,崔躍利,王芳,等.基于小波變換的圖像壓縮編碼研究綜述[J].通信技術,2008,41(02):83-85.
[8] 李強,王喆.基于小波分析的圖像壓縮[J].通信技術,2010, 43(08):237-241.
[9] HAQEL Technologies. Du meter軟件官方說明[EB/OL].(2004-11-04)[2011-04-22]. http://www.hageltech.com/dumeter/about.