互聯網緩存系統建設方案研究

【摘要】 互聯網的迅猛發展，流量爆炸式增長，導致各大運營商網絡出口網絡壓力倍增，緩存系統的引入成為解決以上問題的主要方法。

【關鍵詞】 互聯網 緩存 WEB P2P

隨著互聯網的迅猛發展，我國互聯網用戶呈現爆發式的增長，導致運營商面臨以下問題：一、運營商出口帶寬不足導致鏈路擁塞， 影響互聯網用戶感知，二、昂貴的互聯互通費用嚴重制約運營商數據業務發展。因此， 針對目前的網絡情況， 運營商采用互聯網緩存系統十分必要。

一、緩存系統介紹

緩存系統是基于互聯網用戶訪問行為具有明顯的長尾效應，即大多數人的需求具有類似性，這部分內容稱之為流行，少部分人的需求是個性化、零散。緩存系統就是基于以上理論，通過合理的設置閥值將訪問量較高的互聯網內容存儲到本地系統中，當該內容再次被用戶訪問時，由緩存系統直接提供服務，從而達到實現減少運營商出口流量的同時，提高了用戶獲取相關內容的訪問速率。根據緩存協議的不同，互聯網緩存系統可分為Web Cache和P2P Cache兩部分。

1.1 Web Cache緩存

WebCache緩存按模塊可以劃分管理模塊、監控模塊和緩存模塊三部分。管理模塊：配置、管理和監視整個系統，并管理、查詢緩存服務器集群存儲的內容。監控模塊：實現DNS請求分析、重定向功能，并實時監測緩存服務器狀態。緩存模塊：負責下載、存儲、提供緩存的Web網頁等靜態內容。

WebCache業務實現流程：（1）接入用戶向ISP DNS發送的DNS解析被遞歸到網外或者向互聯網DNS發送精確主機解析請求，同時，該DNS請求被監控服務器分析是否提供WebCache緩存。若是，轉到步驟2；反之，系統不做引導動作。（2）監控服務器向ISP DNS或接入用戶發送DNS解析響應，引導用戶到WebCache緩存服務器獲取頁面。（3）接入用戶訪問WebCache緩存服務器，發送頁面、圖片等HTTP請求。（4）WebCache緩存服務器查詢緩存內容，若有則發揮緩存內容到用戶；若沒有或過期，則從互聯網獲取內容后返回該用戶。

1.2 P2P Cache緩存

P2P Cache緩存按模塊可以劃分管理模塊、監控模塊、緩存模塊。管理模塊：配置、管理和監視整個系統，并管理、查詢緩存服務器集群存儲的內容，負責發出訪問請求內容的緩存指令。監控模塊：負責實時分析用戶訪問請求、統計熱點內容，并通過重定向動作引導用戶訪問已緩存內容。緩存模塊：負責下載、存儲和提供緩存的HTTP/流媒體/P2P下載/P2P流媒體內容。

P2P Cache業務實現流程：（1）接入用戶向互聯網發送資源下載請求；（2）下載請求數據被鏡像到監控服務器供判斷、分析是否提供緩存內容。若是，轉到步驟3；反之，轉到步驟4，并轉發請求資源信息到管理服務器（步驟6）。（3）監控服務器向接入用戶發送重定向數據包，轉到步驟5。（4）接入用戶從互聯網下載資源，結束。（5）接入用戶訪問緩存服務器下載資源，結束。（6）監控服務器轉發請求資源信息到管理服務器，管理服務器進行判斷是否觸發緩存策略，若是則轉到步驟7，反之結束。（7）管理模塊分派下載任務到緩存服務器，轉到步驟8。（8）緩存服務器下載緩存內容，轉到步驟9。（9）緩存服務器完成下載任務，并返回完成信息到管理服務器。

三、緩存系統建設案例

某省運營商在省網出口部署監控服務器，監控服務器通過接收、處理來自原有流控設備輸出的全流量報文，并通過解析輸出報文中的特征信息、匹配已緩存熱點內容來判斷是否發送重定向報文引導請求訪問緩存系統。

目前該省互聯網緩存支持的協議情況如下：（1）Web cache緩存（HTTP大文件/HTTP小文件）包括：基于HTTP協議傳輸的大文件緩存加速，如游戲、軟件、軟件升級包下載服務；基于HTTP方式在線視頻媒體對象，包括FLV、MP4、MOV、WMV、RMVB、F4V等多種文件格式；基于HTTP協議的靜態網頁和動態網頁。（2）P2P cache緩存支持協議類型包括：BT類、Emule、迅雷類、PPStream、PPTV、QQLive、風行、暴風影音、百度影音、酷狗等

系統上線前后Web cache和P2P cache效果對比測試結果如下：Web cache通過百度影音和新浪分別測試大文件和小文件的緩存效果，緩存功能啟動以后百度影音的視頻緩沖時間提升了57倍，由原來的297.837s提升到5.225s；新浪頁面打開時間提升了7倍由原來的39.978s提升到5.711s。

P2P cache通過測試對比迅雷下載和BT下載測試緩存效果，緩存功能啟動以后迅雷下載速度由原來的87.3KB/S提升到347.7KB/S，速度提升約4倍；BT下載速度由原來的47.4KB/S提升到287.2KB/S速度提升了約6倍。

結束語：通過建設互聯網緩存系統能夠很大程度上緩解甚至解決運營商面臨出口帶寬壓力、提高客戶感知和減少網間結算費用， 所以大力建設互聯網緩存系統勢必將成為各大運營商解決出口帶寬不足以及提高客戶感知的新思路。

通信地址：河北省石家莊市東風路128號 趙先生（收）

聯系電話：18731191502

參 考 文 獻

[1]湯莉.鏡像緩存系統對運營商的價值研究[J].電信快報2013（10）

[2]陳浩.分布式緩存系統中的異構內容協同技術研究[J]網絡新媒體技術