工業控制刀片服務器設計

周紹祥，鄒玉蓮，趙琴琴

（1．研祥智能科技股份有限公司，廣東 深圳 518107；2．國家特種計算機工程技術研究中心，廣東 深圳 518107）

0 引言

近年來，物聯網的技術發展越來越完善，物聯網得到越來越廣泛的普及，從而催生出更多需要大量信息的處理和計算的應用的場景[1]。未來，隨著信息化產業的進一步發展和擴大，需要高計算能力和高可靠性要求，維護簡單，易于升級的工控服務器需求必定越來越多。在此環境下，傳統的服務器漸漸無法滿足需求,一種新的能滿足以上需求的服務器方式將應運而生，這種方式就是刀片式工控服務器[2-4]。刀片式工控服務器可以根據現場需求拓展服務器的計算節點，工控節點，以及電源節點，管理模塊節點等，集交換設備、路由、直通等通訊設備于一身，計算能力強，集成度高，拓展性強，維護簡便，為大數據時代下的物聯網的發展提供新的方向和實現的可能。

刀片工控服務器由刀片機箱、刀片模塊和背板共同組成。各個刀片模塊通過跨接多個模塊的集成線路板即背板相銜接。除了獨立的各個刀片模塊和連接各模塊總線的背板，還需要刀片機箱才能組裝成完整的刀片工控服務器[5]。刀片工控服務器通過PCIE總線，LAN MDI千兆以太網，SMBUS總線，LPC總線等進行模塊間的數據交互以及實現拓展功能,PCIE傳輸速率高；千兆以太網可以進行遠距離傳輸，滿足大量高速信息遠距離傳輸需求[6]；SMBUS、LPC總線等控制總線用于實現系統對外部設備的管理和控制。

1 刀片工控服務器計算節點設計

計算節點可以為物聯網的信息提供強大的高密度計算力，具有超大的內存容量。為了滿足計算能力要求，在刀片機箱上可以插入多個計算節點。各計算節點可根據公司的產品特點，市場需求進行配置，基于不通的處理器平臺，通過管理模塊進行集中管理，以滿足各種業務場景的不同需求。計算節點主要由CPU、MEZZ模塊、PCH模塊、DIMM、背板連接器、電源模塊組成。計算節點邏輯如下圖1所示。

圖1 計算節點邏輯圖

計算節點CPU之間通過20LANE的UPI總線連接，RXTX高速差分起到數據與信息交換，速率高達10.4GT/S；MEZZ網卡及千兆網卡，通過PCIE總線與CPU連接，一路通向直通模塊，數據信息可與其他工控設備接入；另一路通向刀片交換模塊，實現各計算節點的數據交互；DIMM條：為CPU提供內存空間，臨時存儲CPU輸出的寄存器地址信息和數據信息；HDD/SSD硬盤：可掉電存儲，可由于存放操作系統、軟件或者采集的數據等；RAID卡：硬盤陣列，為數據存儲提供冗余技術，保證信息的安全程度；PCH：南橋通過DMI總線與CPU相連，可以很好的拓展出外部低速接口；USB：方便計算節點配置和調試、裝機，用于外接鼠標鍵盤或者其他設備；顯示接口：提供HDMI、VGA等圖像傳輸；COME以及POWER連接到背板。

2 刀片工控服務器數據采集模塊設計

數據采集模塊主要負責連接外部設備，采集外部設備的參數、狀態等信息的作用，用于與外部設備數據的交換與控制，實現與工控設備的連接。工控模塊針對不同的應用場合提供不同的解決方案。它可以集成多種多樣的總線設備如485總線，232總線，CNA，傳感器接口等。同時，為了滿足高容量的需求，工控模塊可以插入多個相同功能或者不同功能的模塊，也可以插入混合型模塊。

數據采集模塊主要由BMC模塊，ROM，SDRAM，外部IO接口等組成，通過背板連接器與其他刀片設備連接。工控模塊的邏輯框如圖2所示。工控模塊主要核心是BMC，負責采集外部傳感器，模擬信號，RS232總線信號，串口等信號；ROM高速存儲器，存儲需要快速讀寫的信息資源；SD CARD：可臨時存儲容量較大的日志文件；SDRAM：為BMC處理器提供內存空間；COME、POWER CN從背板提供總線連接和電源輸入。

圖2 數據采集模塊邏輯框圖

3 刀片工控服務器通信模塊設計

通信模塊主要包括直通模塊、交換模塊、路由模塊、管理模塊以及背板模塊。

直通模塊：直通模塊為給每個計算節點提供獨立的千兆網口，用于外接其他設備，一個刀片直通模塊可集成多路外接千兆網口和光口。直通模塊主要是為計算節點提供外出的接口，實現計算節點網卡端口直出，與外部網絡通信。直通模塊主要由CPU模塊，CPLD模塊，PHY模塊，外置接口模塊四個模塊組成。直通模塊邏輯如圖3所示。CPU負責處理和協調管理每一路的信息資源；PHY SOC以太網數據收發器，應用于物理層接口，它可以包含多個子層的物理層，如MII子層，PCS子層，PMA子層PMD子層，以及MDI子層等。除此之外它還集成了MAC功能；SDRAM：為CPU處理器提供內存空間；CPLD：復雜編程邏輯陣列CPLD可以管理和檢測直通模塊的設備的運行監測和保護；外置接口提供RJ45，SFP+以太網接口和USB接口。

圖3 直通模塊邏輯框圖

交換模塊：交換模塊是服務器的交換控制單元，為整個系統內部提供數據交換功能，通過背板與計算節點，管理模塊互聯，實現內部數據報文和控制管理報文的交換，提供高速數據傳輸。由于需要使用多個計算節點，因此需要交換模塊提供數據交換業務，除了內部數據相互交換功能外還應提供多路與外部設備數據交換的千兆網口和光口。交換模塊主要由CPU模塊，CPLD模塊，SWITCH SOC模塊、SDRAM等組成。交換模塊邏輯如下圖4所示。CPU負責處理和交互計算節點傳輸過來的信息資源；SWITCH SOC模塊：交換模組提供三層轉發、組播，生成轉發表、路由表等，提供給其他設備或者計算節點接入；SDRAM：為CPU處理器提供內存空間；復雜編程邏輯陣列CPLD可以管理和檢測交換模塊的設備的運行監測和保護；外置接口提供RJ45,SFP+以太網接口和USB接口。

圖4 交換模塊邏輯框圖

路由模塊：路由模塊用于自動分配各模塊的IP，包括各計算節點IP,交換模塊IP,直通模IP，還有其他模塊IP，以便組網，撥號。路由模塊用于連接兩個或以上的網絡設備，自動分配內部網絡IP地址，傳輸信息到所需的各個端口。路由器網關可以對標準以太網或者工業以太網，無線，有線網，現場總線協議進行轉換，實現數據透明傳輸和路由功能。路由模塊主要由CPU、路由模塊、SDRAM以及各外置接口組成。路由模塊邏輯如圖5所示。包括：①CPU負責處理和交互計算節點傳輸過來的信息資源；②路由模組引擎提供路由和轉發業務，提供給其他設備或者計算節點接入，可分為物理層，數據鏈路層以及網絡層；③SDRAM：為CPU處理器提供內存空間；④復雜編程邏輯陣列CPLD可以管理和檢測路由模塊的設備的運行監測和保護；⑤外置接口提供RJ45,SFP+以太網接口和USB接口，以及2.4G和5.8G頻段WiFi。

圖5 路由模塊邏輯框圖

管理模塊：管理模塊用于檢測刀片服務器的運行情況。管理設備啟動和停機，協調主從設備的切換，維護數據信息安全等功能。管理模塊的作用是管理服務器的各硬件設備，主要由CPU，BMC模塊，SRDRAM，PHY SOC模塊以及COME背板連接器等組成。管理模塊邏輯如圖6所示。其中BMC模塊管理散熱系統、ATX電源、各計算節點、工控節點的工作情況，通過PG,FAN,PWM,AD,SMBUS,PS_ON-等信號控制，復位鍵和開機鍵控制系統的復位和開停機；CPU通過BMC負責服務器系統的控制和切換，通過以太網實現所有聯網刀片的檢測和主從切換和協調。

圖6 管理模塊邏輯框圖

背板模塊：背板是負責進行CPU和機架上的各個信號模塊和功能模塊之間的數據交換的單板，各個模塊通過背板連接器將刀片單板和背板連接起來，實現數據交換。背板模塊用于連接每個刀片模塊的功能，利用高速連接器對各模塊的信號進行連接和分離，有利于設備的維護和升級。背板和連接器的應用極大的簡化單板設備的連線，服務器內各刀片模塊的信號可以全部利用PCB走線引出，后只需要用以太網等總線連接至外部設備。背板邏輯圖如圖7所示，刀片服務器的背板主要是針對刀片式的服務器，背板為系統插槽之間的電氣連接提供基礎。通過背板連接各計算節點、工控模塊，管理模塊、電源模塊等各模塊，實現各個模塊間的數據傳輸和交換。

圖7 背板邏輯框圖

4 刀片工控服務器散熱模塊設計

刀片機箱的散熱系統由風扇模塊組成。在各刀片模塊之間預留散熱通道，冷空氣從各模塊的網格面板吸入后帶走刀片模塊熱量，后從散熱系統的排風口處排出。散熱系統使用強迫式風冷方式給機箱進行散熱。散熱系統邏輯如圖8所示，散熱系統主要由散熱模塊組成，散熱控制芯片通過對刀片機箱的溫度檢測結果，控制風扇的風扇數量、風速等參數，對刀片服務器的機箱進行散熱。

圖8 散熱系統邏輯框圖

5 結論

本文通過對服務器的計算節點、數據采集模塊、通信模塊以及散熱模塊等方面的設計，開發了一種基于工業控制的刀片式服務器。該服務器集成多個不同的刀片單元，按需進行不同的組裝，是一種可實現的定制化設計。刀片模塊化設計，設備維護簡便，易于升級和更新換代，成本可控，市場適應性強，同時的兼容傳統工控服務器，是集多種功能于一身的工業控制服務器。