數(shù)據(jù)中心ToR架構(gòu)下布線系統(tǒng)的應(yīng)用

文｜莫氏商貿(mào)（上海）有限公司 周 煒

數(shù)據(jù)中心ToR架構(gòu)是近年來新出現(xiàn)的網(wǎng)絡(luò)架構(gòu)。在云計(jì)算、虛擬化等技術(shù)的大規(guī)模應(yīng)用下，ToR架構(gòu)的高密度、易管理等特性充分的發(fā)揮出來，已經(jīng)被越來越多的數(shù)據(jù)中心所采用。過去傳統(tǒng)架構(gòu)下，服務(wù)器通過水平線纜連接到列頭柜，通過列頭柜配線接入到接入層交換機(jī)。ToR架構(gòu)則是在每個(gè)機(jī)柜或每幾個(gè)機(jī)柜內(nèi)部署接入層交換機(jī)，服務(wù)器就近采用跳線連接接入層交換機(jī)。隨著網(wǎng)絡(luò)架構(gòu)的變化導(dǎo)致布線的類型和密度都發(fā)生了很大的變化，因此采用ToR架構(gòu)以后，布線系統(tǒng)也需要采用不同的解決方案。如圖1所示。

圖1

過去傳統(tǒng)的數(shù)據(jù)中心因?yàn)槭艿絾螜C(jī)柜配電、散熱等因素的影響，所以在單個(gè)機(jī)柜內(nèi)安裝的服務(wù)器數(shù)量受到限制，如果采用ToR架構(gòu)，則會(huì)浪費(fèi)大量交換機(jī)端口。現(xiàn)在一些加強(qiáng)風(fēng)冷散熱的解決方案，甚至是水冷都已經(jīng)被應(yīng)用在數(shù)據(jù)中心中。目前在國(guó)內(nèi)有一些新建的金融行業(yè)數(shù)據(jù)中心就采用了水冷機(jī)柜的解決方案。采用水冷可以將機(jī)柜的容量提高到30kW甚至更高，所以在單機(jī)柜內(nèi)容納更多的服務(wù)器。如果在單機(jī)柜內(nèi)存在30個(gè)以上的服務(wù)器節(jié)點(diǎn)，可以想象若采用傳統(tǒng)的EDA-HDA連接方式，單個(gè)EDA至少會(huì)有90～120根線纜需要連接到HDA列頭柜，如果1個(gè)列頭柜管理8臺(tái)EDA，列頭柜會(huì)有800～1000根左右的線纜連接，這種方式超過了單個(gè)機(jī)柜的配線容納能力，但非常的不經(jīng)濟(jì)。所以在高密度服務(wù)器節(jié)點(diǎn)的應(yīng)用下，采用ToR架構(gòu)就比較經(jīng)濟(jì)，管理起來也方便。ToR架構(gòu)下相比EDA-HDA方式，布線系統(tǒng)的應(yīng)用也發(fā)生了相應(yīng)的變化，主要體現(xiàn)在服務(wù)器節(jié)點(diǎn)到接入交換機(jī)的連接采用跳線直連。當(dāng)然視應(yīng)用情況，接入交換機(jī)到核心網(wǎng)絡(luò)間也可能采用不同的解決方案。如圖2所示。

圖2

同樣的ToR架構(gòu)，布線系統(tǒng)也有不同的解決方案。我們舉例來說，在ToR架構(gòu)下，從服務(wù)器節(jié)點(diǎn)到接入交換機(jī)之間都是采用跳線來解決，所以不管哪種解決方案，這里總是采用跳線連接；不同的解決方案，主要變化在于接入交換機(jī)上行到核心的鏈路。

方案一，光纖跳線直連

在一些對(duì)于成本控制要求比較高，但是單個(gè)機(jī)柜節(jié)點(diǎn)數(shù)又比較多的數(shù)據(jù)中心中，可以采用這樣的方案。從接入交換機(jī)到核心交換機(jī)之間，采用光跳線直接連接，該方案的優(yōu)點(diǎn)是：成本最低。但是缺點(diǎn)也很明顯：管理麻煩，因?yàn)樗械倪B接都是光跳線，所以管理起來會(huì)比較零亂；另外這種方案一般只適用于核心與接入交換機(jī)在同一個(gè)機(jī)房?jī)?nèi)的情況，因?yàn)楣馓€對(duì)于光纖的保護(hù)比較弱，所以如果需要跨機(jī)房連接，甚至是跨樓層連接，那這樣的方式可靠性不高，反而影響數(shù)據(jù)中心網(wǎng)絡(luò)連接的安全性。數(shù)據(jù)中心的布線系統(tǒng)需要使用10年甚至更長(zhǎng)的時(shí)間，或者存在多個(gè)機(jī)房的連接，一般不推薦采用這種解決方案。

方案二，光纖跳線+匯聚干線光纜

有些數(shù)據(jù)中心存在多個(gè)機(jī)房，甚至機(jī)房分布在多個(gè)樓層里。在這樣的情況下，可以采用光纖跳線+匯聚干線光纜的解決方案。在每列機(jī)柜或每幾列機(jī)柜設(shè)置匯聚節(jié)點(diǎn)，部署高密度光纖配線架，接入層交換機(jī)采用跳線連接到配線架，通過配線架配接到大芯數(shù)的干線光纜上，通過大芯數(shù)光纜連接到MDA的高密度光纖配線架，再跳接到核心交換機(jī)上。采用這種方式的連接，成本比跳線直連的方式要高一些，安全性提高了很多，跳線僅用于列內(nèi)或不是很長(zhǎng)的跨列連接。相比第一種方案，風(fēng)險(xiǎn)要低了很多，同時(shí)配線管理也方便，可以在匯聚節(jié)點(diǎn)或MDA上進(jìn)行管理。但是匯聚節(jié)點(diǎn)——接入交換機(jī)之間仍然采用光纖跳線，所以仍有一定的風(fēng)險(xiǎn)。所以這樣的方案一般推薦應(yīng)用于對(duì)網(wǎng)絡(luò)連接可靠性要求不是特別高的應(yīng)用。

方案三，小芯數(shù)光纜連接

對(duì)于網(wǎng)絡(luò)連接可靠性要求比較高的場(chǎng)合。可以采用從接入交換機(jī)到核心交換機(jī)均采用光纜連接的解決方案。在每組接入交換機(jī)上方安裝光纖配線架，接入交換機(jī)通過光纖跳線在柜內(nèi)連接光纖配線架，通過光纖配線架，轉(zhuǎn)接到小芯數(shù)（一般12芯居多）光纜上；通過光纜連接到MDA的高密度光纖配線架，再通過光纖跳線連接到核心交換機(jī)。采用這種解決方案比方案二更可靠、安全，但是成本也要高一些，此方案一般適用于機(jī)柜數(shù)量不是很多的數(shù)據(jù)中心。如果機(jī)柜數(shù)量較多，會(huì)有大量的光纜需要鋪設(shè)，占用橋架和管線的空間都比較多，所以這種方案一般推薦在機(jī)柜數(shù)量不多，但是安全性要求又比較高的數(shù)據(jù)中心中應(yīng)用。

方案四，小芯數(shù)光纜+匯聚大芯數(shù)干線光纜

如果對(duì)于安全性要求較高，但是機(jī)柜數(shù)量又很多，如果全部采用小芯數(shù)光纜連接對(duì)于橋架空間要求太大，可以采用小芯數(shù)光纜+匯聚大芯數(shù)干線光纜的解決方案。在每組接入交換機(jī)上方安裝光纖配線架，接入交換機(jī)通過光纖跳線在柜內(nèi)連接光纖配線架，通過光纖配線架轉(zhuǎn)接到小芯數(shù)（一般12芯居多）光纜上；在每列或者每幾列設(shè)置匯聚點(diǎn)，匯聚點(diǎn)部署高密度光纖配線架，小芯數(shù)的光纜在匯聚點(diǎn)通過配線架轉(zhuǎn)接到大芯數(shù)的干線光纜。干線光纜連接到MDA高密度光纖配線架，再通過光纖跳線連接到核心交換機(jī)。采用這種方式，干線光纜的直徑很小，一根144芯的光纜直徑也只有15mm，所以對(duì)于橋架和跨樓層走線的壓力就小了很多。所以在比較大型的數(shù)據(jù)中心中，機(jī)柜數(shù)量多、服務(wù)器密度大的場(chǎng)合，可以推薦采用這種方式，但是這種方案的缺點(diǎn)是成本比較高。如圖3所示。

圖3

當(dāng)然，具體采用哪種解決方案需要根據(jù)實(shí)際情況來選擇，并且綜合多種因素來考慮。雖然在ToR方式下，接入交換機(jī)到核心交換機(jī)的連接都是通過跳線完成的，但是可以采用不同的解決方案。在千兆網(wǎng)絡(luò)下，目前比較普遍的連接都是采用RJ45-RJ45的雙絞線跳線來實(shí)現(xiàn)。目前1000Base-T 的端口成本和功耗都已經(jīng)控制的比較好，成本低，功耗也不高，所以應(yīng)用非常廣泛。但是對(duì)于10GBase-T的網(wǎng)絡(luò)，目前端口類型的選擇就比較多。在ToR架構(gòu)下，常用 的 有 10GBase-CX4、10GBase-SR、10GBase-T等多種類型的標(biāo)準(zhǔn)，也有RJ45、SFP+ 等不同類型的接口。目前根據(jù)Intel的統(tǒng)計(jì)，采用10GBase-CX4標(biāo)準(zhǔn)的DAC（Direct Attach Cables）方式比較多。DAC采用SFP+至SFP+ 銅纜連接組件的方式，具有成本低、功耗低、安全可靠的優(yōu)點(diǎn)。從成本上看，相比10GBase-SR光纖連接，DAC不需要光電轉(zhuǎn)換，相比10GBase-T不需要高性能的DSP芯片（用于NEXT、FEXT、RL、ILI等干擾的抑制處理），所以成本只有10GBase-SR的一半甚至更低，比10GBase-T便宜約20%～30%。從功耗上看DAC與10GBase-SR基本持平，只有10GBase-T的一半左右，因?yàn)?0GBase-T的DSP芯片的功耗是比較高的。DAC的缺點(diǎn)是標(biāo)準(zhǔn)只支持7m以下的連接，但是在ToR的架構(gòu)下，7m的長(zhǎng)度已經(jīng)足夠，所以DAC的連接方式會(huì)有比較廣泛的應(yīng)用。當(dāng)然，隨著10GBase-T 芯片成本和功耗的逐步降低，10GBase-T的方式也將會(huì)成為主流的應(yīng)用方式。根據(jù)Intel的預(yù)測(cè)，2013年以后10GBase-T與DAC的應(yīng)用數(shù)量將基本持平。

綜合來看，ToR架構(gòu)于傳統(tǒng)的EDA-HDAMDA發(fā)生了不小的變化，也使得綜合布線的產(chǎn)品、應(yīng)用及解決方案都發(fā)生了一定的變化。但是具體使用哪種方案，需要結(jié)合實(shí)際情況、預(yù)算、使用的習(xí)慣等綜合因素來決定。