淺談云計算數據中心對布線系統的影響

文｜羅森伯格亞太電子有限公司 孫慧永

在談云計算數據中心之前，我們要先了解一下，什么是云計算？云計算是指IT基礎設施的交付和使用模式，指通過網絡以按需、易擴展的方式獲得所需的資源，提供資源的網絡被稱為“云”。“云”是IT的資源池，可以隨時獲取，按需使用，隨時擴展，按使用付費。云計算數據中心就是為云計算服務提供所需要的整體IT物理設備與基礎設施。

提供云服務的數據中心能給用戶提供強大的計算能力，其中有一個特點就是“超大規模”。如Google、Facebook、騰訊等公司建設的云計算數據中心往往超過幾十萬甚至上百萬臺服務器的規模。從美國Cisco公司的預測報告中顯示，全球云通信量將以66%的年復合增長率發展，兩年內，在云數據中心處理的工作量將首次超過在傳統數據中心中的量，占比51%。到2015年預計將達到57%，云計算數據中心數據通信量的快速上升，預示著云數據中心的基礎設施建設需求將會同步增長，而數據中心的布線系統作為基礎設施之一，隨著云計算數據中心應用發展對布線系統的規模上、技術層面、產業層面都受到相應的影響。

本文將主要圍繞云計算數據中心的網絡帶寬方面、端口能耗方面、布線架構及數據中心產業化發展、適應云計算數據中心的新一代布線系統構架等方面做一個探討。

1 云計算數據中心對網絡端口帶寬的影響

云計算數據中心普遍采用虛擬化的技術，基于云計算的數據中心可以支持比傳統數據中心更多的虛擬機以及每臺服務器的工作負荷，云計算數據中心數據量除了終端用戶訪問的數據流外，云計算服務器之間應用程序動態切換產生大量數據流，使數據中心數據通信更加繁忙，如圖1所示。

圖1

相比較傳統的數據中心，云計算數據中心的單臺物理主機數據流量可能是傳統的數據中心服務器的4倍、8倍甚至10倍以上。如此大的數據流量需要基礎數據中心布線系統具有更低的延時性能，更高的可靠性，同時需要有更高帶寬的支持。基于這樣的思考，對于云計算數據中心服務器端10G的端口布署將能更好的滿足與支持云計算數據吞吐流量。關于服務器10G端口應用的趨勢，根據Intel有關服務器端口的預測報告中可以了解到，從2012年開始，10G服務器端口將開始大量的部署。而根據美國Infonetics第三方咨詢機構關于網絡設備的端口應用的預測報告中可以看到，到2015年超過50%左右的網絡設備端口采用10G端口，而約25%左右的端口將采用40G/100G，如圖2所示。

圖2

從上述提到的相關預測中，我們可以看出云計算數據中心的網絡演進的方向。為了減少網絡的延時，提高數據中心網絡響應速度，云計算數據中心將更為普遍地采用核心+接入層兩層網絡構架替代傳統核心+匯聚+接入的三層方式。核心網絡采用40G/100G網絡端口，接入層網絡與服務器采用10G端口。網絡帶寬的提升將對布線系統提出更高的要求，當服務器端采用10G的端口形式時，銅纜的布線至少需要采用Cat.6A級別的線纜，具體應用可參考IEEE 802.3an標準的10GBase-T傳輸協議。如果10G采用光纖布線，優先采用多模OM3級別及以上的光纖系統來支持服務器端口的應用，參考IEEE 802.3ae標準的10GBase-SR。而對于數據中心主干40G/100G的應用，可以采用IEEE 802.3ba中規定的MTP/MPO光纖并行多通道復用的傳輸方式：40GBase-SR4與100GBase-SR10，布線系統將需要采用MTP/MPO預連接系統進行支持，如圖3所示。有關銅纜布線系統Class F與Class FA支持40G/100G的應用目前還沒有正式標準的支持。 2011年10月，ISO/IEC 11801標準化組織工作小組ISO/IEC JTC 1/SC 25WG3啟動了一項新的提議，研究在平衡雙絞線上支持40G數據傳輸，如果研究一切順利，預測2014年將完成草案標準。

圖3

2 云計算數據中心端口選擇與對能耗的影響

云計算數據中心通常規模比較大，服務器端口上升到萬兆以后，主干將需要考慮采用40G/100G的方案，對于40G以上的方案目前能規模應用的主要還是基于QSFP端口模式與MTP預連接光纖布線相結合的方案。但對于服務器端10G的端口來說就不同了，10G的應用除了采用傳統的RJ45銅網口外，也可以考慮選擇SFP+光網口，還可以考慮SFP+ DAC（Direct Attach Copper Cable）有源雙軸平行電纜等幾種方式可進行比較。10G端口規模化應用除了需要思考可靠性外，另外還需要思考端口能耗方面的問題，用戶對于端口的選擇除了要評估不同端口方式的價格因素外，端口能耗與端口的網絡延遲也是一個需要評估的重要指標。云計算數據中心規模大，端口能耗將直接影響整體云計算數據中心建設完成后的長期運維成本。對于10G端口應用，上述提到的三種主流方式接口對應的網卡成本比率與網卡功耗狀況可以做一下對比，如表1所示。

表1

表1中的數據主要來源于Intel的網卡及Solarflare網卡的數據，從整體成本來看，10GBase-T采用雙絞線銅纜的方案有較大的價格優勢，但從功耗上來看相對較大，以上功耗數據主要基于10GBase-T最大長度可以支持100m的距離，如果基于數據中心30m以下的長度，功耗可以大幅下降。10GBase-T銅纜分為屏蔽與非屏蔽兩種結構，相比較非屏蔽，采用STP屏蔽線纜具有良好的NEXT與ANEXT的性能，將會大幅減少網卡DSP芯片的實際功率，采用STP的電纜相比較UTP非屏蔽系統可以節約1.5W左右的功耗。針對數據中心解決方案，IEEE 802.3az標準化組織正在開發新一代節能型的10GBase-T方案，功耗將會進一步降低。而10GBase-SR采用多模光纖的方式技術成熟，功率較低，但價格相對更高一些，從當前的應用角度來看，10GBase-SR相對可靠性更高一些。10GBase-SFP++DAC的方式相對性價比不錯，但由于DAC電纜兩端連接器內包含芯片，實際應用中與各交換機廠家會有兼容性的問題；且支持的傳輸距離很短，典型長度為7m以下，最長長度不超過15m，管理方面相對不夠便利。

端口功耗降低，對建設一個節能型的數據中心貢獻是相當大的，從數據中心整體能耗來看，只要端口下降1W的電能消耗，整體機房可以減少由于端口1W下降所省去的空調制冷方面的電力損耗，以及配電系統UPS等各個環節的配套能耗。根據美國數據中心綠色節能組織所統計的結果來看，端口下降1W功耗將帶動整體數據中心省下2W～2.8W左右的功耗，這對于動輒達到上萬臺服務器的云計算數據中心來說，電費成本的節約是十分可觀的。

云計算數據中心促使端口應用帶寬提升，而支持數據傳輸的速率越高，單位能耗反而越低，如果我們以Power/Gbps的方式來衡量各等級的傳輸方式，傳輸同樣的數據量，采用10G方式的單位能耗只相當于1G方式傳輸能耗的1/4。而美國Stanford大學的一個報告同樣也從另一方面反映出了這樣一個現象，如圖4所示。美國Stanford大學在2006年對根據數據中心的市場規模趨勢作了耗電量的統計，而實際上從2006年～2011年數據中心的電能消耗量并沒有達到預測中的那么高，由于云計算數據中心近年來采用了大量的虛擬化技術，端口帶寬與利用率增加，對單位數據量的電能消耗下降起到了比較大的作用。

圖4

3 云計算數據中心采用ToR架構對傳統布線的影響

云計算數據中心采用更為簡潔的二層網絡架構，如圖5所示。為了提高單位機柜對整體數據中心的基礎設施的利用率，服務器機柜的單柜密度越來越高，設備端口的布線密度非常高，部分云計算數據中心采用定制化的服務器，單柜密度達到了80臺服務器，高密度的服務器機柜普遍采用ToR交換機置頂的架構。相比較傳統的EOR或MOR網絡，ToR的方式有獨特的優點，同時也有相應的缺點。從優點來看，ToR的機柜內去除了布線系統的配線空間，可以提高服務器安裝的密度；布線在機柜內全部采用跳線，平均長度很短，減少了網絡的延時，同時也消除了采用EOR方式大量線纜（高密度機柜單柜可達200根線纜）上行HDA對橋架所形成的壓力。顯然易見的缺點是ToR方式造成了交換機端口較多的閑置，形成交換機資源浪費，在增加數據中心能耗的同時也增加了設備的維護成本；柜內短跳線方式應對后期業務變化、設備連接模式變更等需求變化缺少彈性；另外即便是即將頒布的數據中心相關標準如TIA 942A等均沒有將ToR的方式納入標準范圍。但綜合以上的特點分析后可以發現，與傳統數據中心不同，云計算數據中心設備移動、變更較少且更關注密度與低延時的要求，對于規模化部署的云計算數據中心來說，ToR優點帶來的好處遠大于缺點所造成的負面影響。

圖5

ToR的方式在云計算數據中心的大量應用已經在實質上影響了布線系統，相關國際國內布線標準中所規定的HDA水平配線區實際上在ToR的架構中已經不再存在，水平配線架與水平線纜已經被省去，取而代之的是短距離的機柜內的光纖或銅纜的跳線。由于每個服務器機柜的置頂交換機都需要上行光纜到MDA主配線區域，服務器上升到10G后，勢必要求主干具有40G/100G的升級能力，這個趨勢會導致主干布線被大量的MTP/MPO小芯數預連接光纜（如12芯，24芯）所替代，使主干路由光纜數量、主干橋架路由的壓力大大增加。從這一方面來看，在云計算數據中心采用ToR架構，使得布線系統光纖應用量在增加，而銅纜的應用總量在縮減。

4 云計算數據中心機柜產業化對布線系統的影響

云計算數據中心應對云的服務通常基于通過互連網提供服務，用戶需求的快速增長，有時無法進行精確的預測。為應對快速的用戶增長的計算需求，要求云計算數據中心的新建具有快速的響應與部署能力，而傳統數據中心從規劃建設到正式啟用的周期至少要用一到兩年。基于云服務的數據中心無法忍受如此長的周期，許多云數據中心直接租用第三方建設的數據中心基礎設施，而IT設備安裝可以實現快速的實施，我們提到云計算數據中心普遍采用ToR的網絡架構使得數據中心中的每一個服務器機柜內部的IT設備都具有較為統一的屬性，如圖6所示，使得對整體數據中心以機柜為單位的產業化有了基礎，而快速實施、快速啟用是云計算數據中心的一項重要需求，這些方面都促使云計算數據中心向產業化方向發展。我們這里指的云計算數據中心機柜產業化是指數據中心標準機柜含IT設備以工廠生產類似流水線的統一作業方式所完成整體機柜的安裝并以機柜為單位交付。也就是說用戶現場安裝時，只需要快速安裝服務器機柜與主配線區域MDA與核心交換機端的主干布線相連接，服務器機柜內包括置頂交換機以及連接機柜內交換機與服務器的布線系統已經在工廠全部預安裝完成，這種快速的安裝與啟用的產業化方案，可以滿足云計算數據中心對數據中心建設周期的挑戰。

圖6

機柜采用產業化的方式部署促使數據中心現場安裝周期大大縮短。舉個例子：以500個機柜規模的數據中心從IT設備的安裝與調試、布線系統的安裝與標識及管理文檔資料的提交等工作可以在兩周的時間完成全部內容，這是傳統數據中心建設所不可能完成的任務。

另一方面，由于數據中心產業化后采用機柜為單位，機柜內的設備之間連接的布線系統將由數據中心機柜提供方在工廠內統一組裝，這樣導致部分布線產品供應鏈產生一定的變化，由原先直接工程招投標的性質變成產業化機柜代工廠制訂標準進行工廠化采購，這種方式將導致品牌布線廠家在機柜內的布線系統中發揮越來越少的作用，而機柜間的主干布線系統的安裝將更多的依賴于預連接光纜系統，這是因為預連接系統同樣可以發揮快速安裝的能力且支持40G/100G的擴容，符合整體機房快速啟用的整體目標。當然云計算數據中心的建設并不會全部采用機柜產業化的方式，這是云數據中心為滿足快速建設要求的其中一個發展方向，目前還未達到主流。

5 云計算數據中心采用新布線架構的應用思考

綜合布線系統標準產生最初功能是基于兩方面的思考：一方面充當IT設備間的高速數據傳輸的介質；另外一方面是具有對整體系統起到物理管理的作用。當ToR的方式成為云計算數據中心高密度布線的主流方案時，在實際的應用中，布線的管理功能已經被弱化，不能很好地體現布線系統標準中規定的管理要求。在實際云計算數據中心的布線方案中，基于ToR的布線系統也可以進行適當的升級變化，以滿足新的IT環境的需要。布線系統結構變化是建立在保證方便管理+充當高效傳輸介質的基本功能的基礎上。布線模型基于ToR的架構上采用新的布線方案，我們可以稱為ToR+EOR的融合方案，如圖7所示。

布線采用新的ToR+EOR的融合方案相比較單純的ToR架構，每一列增加了HDA+EDA的區域，此區域的設置將大大增加布線方案的靈活性。從MDA到HDA的主干可以設計大芯數的預連接光纜如48芯、72芯或144芯，一方面有利于提高安裝效率，同時大芯數高密度預連接光纜能減少主干橋架壓力，可以使單位主干橋架截面承載更高密度與更大范圍的數據中心規模。另一方面HDA+EDA區域可以對主干預連接端口設置一部分冗余，后續各個服務器機柜可以采用LC跳線或MTP跳線到各個置頂交換機上行端口，這樣的好處是后續如任何服務器機柜有擴容或故障替換，可以對每列進行維護與管理，無需從MDA開始進行長距離替換主干或主干擴容，不僅管理便利，且無需經常打擾主干鏈路，維護管理相對安全。圖8將單純采用ToR的方案與ToR+EOR融合新布線方案的總體比較，可以參考。

可以看出ToR+EOR的融合方案產生的優勢遠大于普通ToR的布線結構，且成本的變化很小，對于整體數據中心建設來看，用戶基本可以忽略這一部分成本上的變化，因為融合方案所帶來的長期價值遠大于初期非常小的支出。

圖7

圖8

6 結束語

近年來云計算受到行業的大量關注并促使了云計算應用的快速發展，基于云的服務與應用模式有了新的創新。而支持云業務快速增長的背后是云計算數據中心的大量啟用。云計算數據中心采用虛擬化技術后，大大促進了數據中心的資源利用率，大流量穩定可靠的數據通信也是基于設備端口帶寬的不斷提升10G應用到服務器端口，40G/100G部署到主干的應用的網絡發展脈絡已經十分清晰，同時也促進布線系統以MTP預連接光纖系統的需求大幅度增長。而端口采用更高以太網協議的另一個好處是使單位數據傳輸能耗下降，符合建設綠色節能型數據中心發展的大趨勢。云計算數據中心大量采用ToR的架構有利于數據中心產業化方向的發展，同時也改變部分布線系統結構與產業供應鏈，產業化的數據中心模式大幅縮短數據中心建設周期，與云計算數據中心業務快速增長的需求相協調。針對于云計算數據中心的布線技術標準相對滯后，EOR+ToR的新布線架構的產生與應用，在具備數據中心產業化的同時完善了單純采用ToR架構相對布線系統管理功能的不足，使其與布線標準中所倡導的結構化布線要求更加吻合。總之云計算數據中心的快速發展與應用從各個方面來看，已經對布線行業產生了影響，同時也導致布線行業分工的進一步細化。