一種新的數據中心盒式交換機架構設計

林曉園,嚴 瓊,林靈燕

(福建江夏學院 電子信息科學學院,福建 福州 350108)

0 引言

當前各大交換機設備廠商自行開發的數據中心接入盒式交換機系統的軟件和硬件完全封閉,而隨著OCP(Open Compute Project)組織的形成[1],參與交換機軟件和硬件開發設計的公司越來越多,使得硬件設計越來越標準化和模塊化。但現在各個廠商通過OCP開放出來的數據中心接入盒式交換機的硬件整體(架構)設計方案并沒有形成統一的接口定義,各個廠家的設備不能互用,無法滿足新功能快速開發部署的需求,且各自研發成本高昂,研發進度受各大設備廠商的研發能力和資源的限制,不能滿足數據中心接入盒式交換機技術的快速迭代。為解決以上問題,需要將交換機的架構進行分層開放并推動標準化進程。本設計通過定義一系列硬件標準接口,以便更多的數據中心接入盒式交換機設備供應商采用標準接口設計[2],更快更好地推動不同廠商間設備的兼容互用和交換機的更新換代。

1 現有數據中心接入盒式交換機架構

以數據中心接入盒式交換機為例說明現有接入交換機的硬件設計架構,如圖1所示。

圖1 現有數據中心接入盒式交換機架構

交換機硬件系統一般由以下幾大部分構成[3-6]:

(1)CPU部分。

CPU部分進行系統的管理和配置。CPU由各大設備廠商選定,有ARM,PowerPC,MIPS,X86等系統架構的IC,然后各大廠商根據設備運行需求配置不同的片上存儲器如SSD,DDR內存條。CPU包含PCIE,I2C,RGMII,URAT,SGMII等接口。CPU的URAT接口用于CPU控制臺信息輸出和控制信息輸入。CPU的RGMII或SGMII接口通過PHY芯片后連接到RJ45網口(101001 000 M),與外部管理網互聯,用于信息傳輸和管理。

(2)Switch IC。

Switch IC負責網絡數據交換,Switch IC由各大設備廠商采購Broadcom等公司的IC,Switch IC 包含PCIE、高速serdes等接口。

(3)PHY IC。

PHY IC主要進行接口轉換、速率變換、增強信號等應用,根據實際運用需求選配,如果實際應用中不需要PHY IC的功能,可去掉此部分。

以上交換機的設計各個接口由廠家定義,各個廠家之間無法實現互通,必須成套購買整機設備,造成設備成本居高不下,也不便于設備應用商根據業務需求進行靈活配置。

2 數據中心接入盒式模塊化交換機架構設計

鑒于以上問題,本文提出數據中心接入盒式模塊化交換機架構設計方案,如圖2所示。

圖2 數據中心接入盒式模塊化交換機架構

此設計分為交換模塊、管理模塊、監控模塊、電源模塊、風扇模塊。

2.1 交換模塊

交換模塊包含Switch IC、PHY IC(根據需求配置)、光模塊等主要功能芯片。交換機的光模塊接口排布可根據芯片資源和應用場景的需求進行端口的均勻分布。交換模塊與其他模塊互連的接口定義如下:3個PCIE接口和1個電源口。1個PCIE接口直連到Switch IC。另2個PCIE接口連接到FPGA,2個FPGA的PCIE接口可根據需求選擇連接到CPU或BMC。FPGA通過可編程邏輯實現PCIE轉I2C的功能,可根據需求編寫FPGA驅動,實現交換模塊的其他器件的管理,如管理光口的I2C和其他具有I2C接口的器件,也可通過編寫FPGA邏輯實現PCIE轉其他接口,比如SPI接口等。

2.2 管理模塊

管理模塊包含CPU系統、串口和網口,其接口定義如下:3個PCIE接口、1個串口、1個網口、1個USB接口、1個電源接口。3個PCIE接口內部模塊互連,串口、網口、USB接口與外部互連。

2.3 監控模塊

監控模塊包含BMC系統、串口和網口,其接口定義如下:3PCIE接口、1個串口、1個網口、1個電源接口。3個PCIE接口內部模塊互連,串口、網口與外部互連。監控模塊可根據需求選配,此部分功能也可以在管理模塊實現。

2.4 電源模塊

電源可采用220 V轉12 V電源模塊,輸出可采用統一的接口設計。共有5個相同電源接口,接口定義如下:+12V,GND,PS_ON,Power Good信號。

2.5 風扇模塊

風扇模塊包含可拔插的風扇和風扇控制板部分。風扇控制板提供3個溫度傳感器接口,3個溫度傳感器分布在入風口、最熱點、出風口位置。整個風扇模塊提供PCIE接口,與管理模塊或監控模塊通信。接口定義如下:1個PCIE接口,3個I2C接口,2個電源接口。

3 通信接口PCIE定義

PCIE的管理接口設計:

(1)交換模塊的PCIE接口由1個PCIE x4、GEN3,2個PCIE x1、GEN2構成。

(2)管理模塊的PCIE接口由2個PCIE x4、GEN3,1個PCIE x1、GEN2構成。

(3)監控模塊的PCIE接口由1個PCIE x4、GEN3,2個PCIE x1、GEN2構成。

(4)風扇模塊的PCIE接口由1個PCIE x1、GEN2構成。

交換模塊的Switch IC的1個PCIE x4、GEN3接口與管理模塊CPU的1個PCIE x4、GEN3接口互連,驅動由Switch IC廠家提供的SDK進行配置,CPU通過PCIE接口實現對Switch IC以及Switch IC外圍器件的管理。另外一個1個PCIE x1、GEN2接口由交換模塊上的FPGA芯片提供(或者其他PCIE轉I2C器件),通過FPGA實現PCIE轉I2C接口,可以與CPU模塊互連。

管理模塊的2個PCIE x4、GEN3分別與交換模塊Switch IC和監控模塊BMC互連,1個PCIE x1、GEN2與交換模塊的FPGA互連。

監控模塊的3個PCIE接口,1個PCIE x4、GEN3與管理模塊CPU互連,另外2個PCIE x1、GEN2分別與交換模塊FPGA和風扇模塊互連。

風扇模塊的PCIE接口與監控模塊互連(沒有監控模塊的情況下直接與管理模塊互連)。

CPU或BMC的PCIE通信協議與交換模塊FPGA之間的接口為例定義如下:

(1)FPGA主動輪詢各個I2C通路(只要模塊在位,就主動輪詢),FPGA將主動輪詢各個器件數據定時收到FPGA內部RAM中,軟件根據需要發起讀取操作,FPGA將存放在FPGA內部的信息通過DMA的方式送給CPU[7]。如此設計的優勢在于:①CPU不用參與讀取模塊操作,釋放CPU資源。②CPU不需要對FPGA內部每個寄存器進行讀取操作,增加CPU處理效率。

(2)軟硬件交互流程。

①寄存器說明(未使用到的bit保留)。

dma_buf_base(32 bit):CPU內存BUF基地址,用于存放FPGA上傳的數據(64 KB)。

dma_ctl(1bit):DMA操作控制寄存器,控制發起DMA讀操作,復位值為0。

②讀操作流程。

a. CPU檢測dma_ctl寄存器值為0后可發起DMA讀操作,將準備好的內存空間(連續64 KB)基地址寫入dma_buf_base寄存器。

b. CPU完成dma_buf_base寄存器值寫入后,CPU將dma_ctl寄存器置1,觸發FPGA發起DMA操作。

c. FPGA發現dma_ctl寄存器被置1后,將緩存在內部RAM中的所有信息通過DMA的方式傳送到CPU內存空間(空間的基地址為dma_buf_base寄存器中的值),發送的長度固定為64 KB,DMA操作完成后將dma_ctl寄存器清0。

d. CPU輪詢到dma_ctl控制寄存器的值被清0后,從dma_buf_base基地址的內存空間中取回讀回的值。同時可發起下一次的讀操作。

驅動操作流程如圖3所示。

圖3 驅動操作流程

4 結語

本文提出數據中心接入盒式交換機模塊化和標準接口的硬件架構設計,將交換機劃分為管理模塊、監控模塊、交換模塊、風扇模塊、電源模塊5大模塊。各個模塊采用統一的接口,其中通信接口采用高速、簡潔、常用的PCIE接口,同時對PCIE接口協議進行定義。通過將數據中心接入盒式交換機進行模塊化和接口的標準化定義,實現統一數據中心接入盒式交換機的設計標準,解決了當前各個廠家之間的設備不能模塊化互用的問題。這樣既加速交換機的開發與迭代,還能通過規模生產降低成本,具有很好的行業應用價值。