互聯網公司新一代骨干網架構探析

騰訊科技網絡平臺部網絡解決方案架構師 | 馬志強

互聯網公司新一代骨干網架構探析

騰訊科技網絡平臺部網絡解決方案架構師 | 馬志強

信息的爆炸式增長已使互聯網公司的現有網絡架構難以適應形勢的發展，試探自建新型的骨干網成為新的焦點。

互聯網上有兩大主要元素“內容和眼球”，“內容”是互聯網公司（或稱ICP）提供的網絡服務，如網頁、游戲、即時通信等，“眼球”則是指海量的互聯網用戶。“內容”與“眼球”之間的橋梁是網絡運營商。互聯網公司的內容分布在運營商多地的IDC中，二者的合作密不可分。但信息爆炸使得網絡資源日趨緊張，互聯網公司與運營商之間的緊耦合關系弊端日益增多，嘗試新型網絡架構的自建模式成為互聯網企業的最新關注點。

國內互聯網公司的網絡架構

互聯網公司主要是根據用戶服務體驗的覆蓋經驗，向運營商租用IDC機架和網絡出口資源，在不同的運營商、不同的省份/城市，批量部署業務服務器對外提供服務，并為業務模塊間通信而建立IDC內部網絡、城域網和廣域網，同時通過自建CDN或CDN專業服務公司對服務盲點進行覆蓋。其網絡架構如圖1所示。

IDC網絡通常用于承載上千臺服務器的通信，滿足日益增多的東西向通信需求，要求扁平化、易擴展，現階段較為流行的架構方式為CLOS架構，以“核心＋接入”的方式提供上千臺服務器的網絡接入，甚至無阻塞通信。

城域網主要是應分布在多個IDC中業務之間需要通信而產生的，通常由于其以匯聚出口帶寬為主要目的，采用大容量的以太網交換設備、通過租用運營商裸光纖實現互聯，更有超前的互聯網公司出于提高網絡可靠性和質量、降低投資成本等考慮，自行鋪設DWDM傳輸系統，基本上打造了運營商級別的傳輸系統。

廣域網主要是由于跨全國部署業務，滿足業務模塊間內網通信需求而鋪設的長途網絡，廣域網的范圍和網絡帶寬視互聯網公司業務規模和覆蓋模式不同而不同，有些互聯網公司業務眾多且部署范圍廣，那么通過租用運營商長途線路，組建2.5G/10G級別的廣域骨干網就非常重要。

CDN的形式有兩種，一是自建；二是外包，將CDN選址、網絡鋪設、服務器部署、CDN分發系統交由服務公司完成，雙方僅需簽訂服務合同。CDN是互聯網通過IDC之外改善用戶體驗的一種補充，對視頻、下載等業務具有非常重要的作用。

現有架構面臨三大瓶頸

圖1 互聯網公司網絡架構圖

在現有的架構下，內部基礎設施不僅要支持大規模服務器和網絡建設，更要能以更低、更精簡的團隊保障其良好運營，因此需對架構重新審視。同時，外部環境的變化，如運營商IDC資源供給速度放緩、運營商網絡擴容速度緩慢且網絡質量不穩定、全球IPv4地址耗盡等，都要求我們對互聯網公司下一代網絡架構進行認真思考。

IDC資源日益匱乏

在飛速發展的互聯網時代，ICP面臨激烈競爭，公司業務要求“敏捷迭代、小步快跑”，對IDC資源、網絡資源的供給量要求非常大，同時供給速度必須保障足夠快，可稱之為“爆發式需求”。以某互聯網公司為例，2011年其服務器新建量就已與此前的服務器總量持平；再以某互聯網公司的合作伙伴業務服務器需求量為例，短短3個月時間里，其業務服務器需求量從0激增到了1000多臺，這給IDC機房、服務器、網絡帶寬等基礎設施造成了巨大沖擊。

在現有IDC供給模式和網絡架構下，需大量向運營商租用IDC資源（機房、服務器機架、網絡出口帶寬等），但從東南沿海到中西部城市，可快速批量供應的IDC數量并不充足，再加上長達3個月的建設周期，基本上無法滿足業務的爆發式需求。從現實情況看，IDC資源已成為互聯網公司業務發展瓶頸。

所以我們需要探討更好的網絡架構，以更快速支撐業務覆蓋。

運營商網絡強耦合困境

互聯網公司基本上不會通過一個運營商的IDC覆蓋全國用戶，因為現實情況是，國內運營商網絡間互聯互通質量不容樂觀。

即便是想在同一個運營商內，挑選優質的運營商省網/城域網的IDC進行業務部署，用于覆蓋該運營商全國用戶，也并非易事，因為很多運營商省網/城域網發展并不均衡，擴容速度慢，通常以半年/年為擴容周期，省網/城域網出口帶寬、骨干網鏈路帶寬利用率普遍偏高，一旦長途傳輸鏈路中斷，必然會導致骨干鏈路擁塞，通信時延和丟包率急劇上升。

所以對于互聯網公司而言，用一個省網/城域網的IDC來覆蓋用戶，一旦遇到運營商網絡質量波動，基本上業務就會受到影響，而互聯網公司業務和網絡架構本身沒有手段可以進行冗余規避，只能等待運營商網絡故障盡快恢復。

所以同樣，我們需要探索更好的網絡架構，以擺脫對運營商網絡的強耦合依賴關系。

出口資源和IPv4資源緊縮

互聯網公司提供服務主要是通過租用租用運營商IDC機架、網絡出口、合法IP地址等資源。具體租用模式隨運營商和互聯網公司規模、雙方合作緊密程度等有所不同，通常租用IDC機架和網絡出口配備2～3個C甚至更多的合法IPv4地址。

然而全球合法IPv4地址正日益緊缺。2011年2月，IAIA宣布不再有任何IPv4地址可分配給五大區域互聯網注冊管理機構，而運營商骨干網、省網/城域網留存的合法IPv4地址數量預計也僅能堅持到2012年上半年，運營商開始收緊合法IPv4地址的發放。屆時，互聯網公司能否在國家政策、運營商整體改造就緒的情況下迅速向IPv6轉型，根據目前的趨勢判斷并不樂觀，勢必會面臨商務成本挑戰，合法IPv4地址的使用成本必將提升，而不是像現在一樣隨帶寬附帶購買或收取稍許費用。

所以，互聯網公司在國內國際的IDC出口網絡使用自行申請的合法IPv4地址與運營商進行BGP路由互聯，某種程度上可以緩解IPv4地址的壓力，但這無法從根本上解決IPv4地址稀缺的問題，而且互聯網公司通常擁有的合法IPv4地址數量并不多，所以全新的骨干網絡或互聯模式或許不能完全或長期解決IPv4地址不足的問題。

骨干網架構創新需求猛增

隨著互聯網公司及其業務的蓬勃發展，成本并不一定作為第一要素進行考慮，更多從更好地面向用戶提供服務、改善用戶體驗等方面出發。要緩解IDC資源、網絡等面臨的巨大壓力，必然要通過更加靈活的方式進行構建，擁有自己強健的骨干網絡，有能力承擔為改善用戶體驗而迂回流量，在運營商網絡出現質量下降時保障用戶服務的牽引流量，逐步走向ICP和ISP的混合體，這期間構建成本的適當增加是可預見的。

從技術的角度看，互聯網公司首先要擁有合法的AS號碼和IP地址，其次通過租用城域或長途專線構建自己的骨干網絡，我們稱之為ICP Internet Backbone，這區別于用于業務內部交互用的城域網和廣域網（當然，最終的組網模式可以是單獨的物理骨干網絡，也可以是在現有城域網和廣域網的基礎上形成的業務承載網，邏輯上形成單獨的骨干網），其特點是帶寬需求量大。另外更重要的是有能力，包括業務規模、業務吸引力、商務洽談等多方面能力，實現與運營商的BGP協議互聯，當然這個過程可以從與中小型運營商的互聯做起，隨著能力的增強逐步實現與大型運營商的互聯，或者通過IXP、NAP點等提供Public Peering的互聯點做起都可以，典型的例子就是Google（在大中型IXP的客戶列表中，Google常以自有AS號碼與ISP進行對等互聯）。

自建模式大幅降低成本

很多互聯網公司的同仁仍然堅信按照既有的“資源多點部署模式”，也就是在各處部署服務器資源更加合算。

在此模式下，如圖2所示，在運營商A城域網IDC部署業務X和Y，可輕松滿足城域網A或周邊省網/城域網的用戶訪問需求，如果要滿足省網/城域網B的通信需求，則需依賴于運營商城域網A和城域網B之間骨干網絡的帶寬情況、利用率情況、擴容頻度、穩定性情況等諸多因素，如果用戶體驗不好，就需在城域網B的IDC中部署同樣一套的業務X和Y。對于互聯網公司而言，這里的成本就是在城域網B的IDC中部署業務X和Y所需的機架、服務器等方面的成本。

根據我們的經驗，這種模式的初始投資比較大，包括租用機架費用、服務器費用，長期投資包括機架電力費用、運行維護費用等。

圖2 資源多點部署模式

但是，如果采用“自建骨干網模式”（圖3），其差異在于如圖紅星標出的位置，互聯網公司的IDC外網部分通過自己的骨干網互聯，各IDC仍然保持與運營商的互聯，形成多出口互聯的模式，并不要求IDC A和B部署的業務完全一樣，運營商用戶對不同業務的訪問，完全可以通過互聯網公司自己的骨干網或運營商骨干網進行合理引導，并且在運營商網絡質量不好時完全通過互聯網公司自己的骨干網進行迂回，保障用戶體驗。

圖3 自建骨干網模式

這種模式下，一次性和長期的投入只是骨干網鏈路成本，根據經驗計算，假設部署業務X和Y所需的服務器數量為1000臺，每機架15臺服務器，每臺服務器對外服務吞吐流量5Mbit/s，模式一的初始投資和一年運營成本約合1400萬元，模式二的一年運營成本約合720萬元。

按需實現靈活業務調度

還有一點相當重要，就是合理的流量引導策略，不同的流量引導方式，會導致完全不同的用戶體驗和成本。

圖4 “冷土豆”模式

圖5 “熱土豆”模式

圖4和圖5展示了完全不同的流量引導方式，都是在鏈路和網絡質量正常情況下的流量引導，但是有“冷土豆”、“熱土豆”之分，這里用“土豆”比喻流量，實現了多地互聯的ISP和ICP骨干網，兩種流量模式實現了完全不同的效果。

“熱土豆”：由于是三地互聯，三地用戶對本地內容的訪問直接通過互聯鏈路穿透實現，而運營商三地對異地內容的訪問，例如運營商BJ用戶對互聯網公司GZ業務的訪問，不論ICP側如何進行策略引導，ISP側都會像持燙手的熱土豆一樣將流量從BJ的互聯點丟給ICP側，然后穿透ICP的骨干網到GZ業務去，這樣對ISP側骨干網的資源占用最少。

“冷土豆”：差別僅在于運營商對穿透骨干網的流量不太敏感，就像放在手心的冷土豆一樣，可以任由BJ用戶對互聯網公司GZ業務訪問的流量穿透自己的骨干網，再經過GZ的互聯點進入到ICP側，這樣對ICP側骨干網的資源占用最少。

兩種流量引導模式沒有好壞之分，也不可能ISP側采用“冷土豆”而ICP側采用“熱土豆”，讓一方吃虧一方占便宜，是需要雙方本著對等和服務優先的原則進行洽談，兩種模式都是在鏈路和網絡質量正常情況下，選擇更好的方式保障用戶服務和改善用戶體驗。

新型架構顯現三大優勢

事實上，現有的“資源多點部署模式”沒有絕對的缺點，是互聯網公司經過多年摸索形成的一種可行模式。但是隨著公司業務的發展，用戶體驗和靈活性成為重中之重，采用新型模式架構將帶來三大優勢。

其一，極大地減輕對運營商網絡質量的依賴，提高業務流量的靈活調度能力。當遇到運營商骨干網絡故障或質量問題，可以及時切換到自有骨干網絡進行流量迂回。

其二，適當減輕了IDC資源的需求。當需要對某一特定運營商的特定區域進行用戶體驗改善時，無需等待IDC機房、電力、機架的建設，僅需簡單的網絡設備及專線即可完成，通過自有骨干網絡的承載完成業務覆蓋。

其三，當運營商無法提供充足的IPv4地址時，通過自有骨干網絡使用自有IPv4地址，一定程度上緩解了地址資源緊缺。

但是，互聯網公司建設骨干網絡，不會在短時間內建設完成，而必然是一定時期內兩種模式并存，逐步按需建設。最初驅動力可能是運營商網絡能力與互聯網公司業務需求差距巨大而不可調和、運營商IPv4地址嚴重緊缺而又沒有解決辦法、海外運營商充分競爭環境等情況，屆時，互聯網公司作為ICP與ISP的界限將更加模糊，而互聯網公司的業務靈活調度能力、用戶體驗改善情況將大幅提升。