高密度存儲服務器熱設計*

?

高密度存儲服務器熱設計*

通信地址：100193 北京市海淀區東北旺西路8號中關村軟件園36號曙光信息產業(北京)有限公司Address:Dawning Information Industry Co.,Ltd.,36 Zhongguancun Software Park,8 Dongbeiwang Rd West,Haidian District,Beijing 100193,P.R.China

沙超群1，尤揚2，胡長軍1，鄭臣明1，劉興奎3

(1.北京科技大學計算機與通信工程學院，北京 100083；

2.解放軍信息工程大學國家數字交換系統工程技術研究中心，河南 鄭州 450002；

3.曙光信息產業(北京)有限公司，北京 100193)

摘要：云計算和大數據時代對高密度存儲服務器的需求越來越大。由于溫度對電子元器件的性能和壽命有很大的影響，而高密度存儲服務器的功率密度更大，故必須對其進行合理的熱設計，以確保服務器工作時的溫度在合理可控范圍內。介紹了高密度存儲服務器的結構，以及散熱風道、散熱器、風扇等關鍵散熱部件的熱設計方法。熱設計整體方案采用吸風式的強迫風冷散熱方式；基于Flotherm熱仿真軟件對整機系統進行了仿真優化；在35℃實際應用環境下對產品樣機進行了熱測試。測試結果表明，該熱設計方案滿足熱設計要求。

關鍵詞：高密度；強迫風冷；熱設計；熱仿真；熱測試

1引言

人類已經步入數字化的信息時代。隨著科技的進步，越來越多的數據采集、移動設備、社交多媒體等使得近幾年數據存儲量幾乎呈幾何級增加，尤其是非結構化數據(音頻、視頻、電子郵件等)占了存儲總量的80%，數據存儲已經滲透到社會生活中的各個方面[1]。而云計算和大數據時代的到來，對存儲提出了更高的要求：高性能、高吞吐率、大容量、高安全性，這使得市場對高密度存儲服務器需求越來越大[2]。

電子元器件工作溫度對其性能和壽命有很大的影響，隨著溫度的增加，元器件的失效率呈指數關系增長[3]。所以，要提高電子設備的可靠性，必須使電子元器件工作在規定溫度范圍內[4]。高密度存儲服務器意味著功率密度大，且溫度偏高會嚴重影響硬盤的讀寫性能和壽命，所以必須對其進行合理的熱設計，保證服務器在要求的環境下能正常工作。

2服務器結構組成

本文中高密度存儲服務器由4U硬盤倉和1U計算節點倉組成，總高度為5U。4U硬盤倉主要組成：80塊3.5寸硬盤，2塊Expander卡[5]，2塊SAS卡，4塊電源。1U計算節點倉主要組成：1塊主板，2塊2.5寸硬盤，6塊SSD固態硬盤，2塊標準PCIE卡，1塊10 G網卡。4U硬盤倉和1U計算節點倉結構模型如圖1和圖2所示。

Figure 1　Structure model of the 4U HDD storage圖1　4U硬盤倉結構模型

Figure 2　Structure model of the 1U computing node圖2　1U計算節點倉結構模型

3熱設計目標

該服務器要求使用環境溫度為35 ℃。各主要功率元器件的功耗及熱設計目標見表1。本文通過制定熱設計方案、熱仿真優化、測試驗證來實現熱設計目標。為提高設備的可靠性，各元器件的熱設計要求采用降額設計，降額系數為0.9，則本文中熱設計溫度目標為元器件允許的最高溫度Tmax乘以降額系數0.9。

系統散熱方式選擇應充分考慮系統的功耗、溫度、體積、價格等要求，最終選擇適合自己產品的有效散熱方式。目前常見的散熱方式主要有自然散熱、強迫風冷、液體冷卻等。

自然散熱是利用空氣的對流將熱量帶到周圍空間，這種散熱方式的優點是結構簡單、無噪音、價格低廉，但散熱效果較差，一般用于發熱功率不大、溫度要求不高的場合。

強迫風冷是利用風機加速空氣流動，從而帶走更多熱量。強迫風冷方式熱交換效率高，一般是自然散熱方式的數倍，在需要散熱的電子設備冷卻系統中被廣泛采用[6]。但是，設計確定強迫風冷參數的計算相對復雜，管殼溫度、散熱器和風機之間的相關關系較為復雜。

液體冷卻是利用液體將熱量帶走從而降低溫度的散熱方式。由于液體的比熱容大大超過空氣，其散熱效率也比上述兩種方式高。液體冷卻噪音低，在噪音控制要求高的場合有無可比擬的優勢。但是，液體冷卻成本高，且一旦液體漏液，可能造成電子元器件損壞。

綜合考慮各種散熱方式，本系統采用強迫風冷方式。

4散熱風道設計

4U硬盤倉采用分布式電源系統供電：4塊電源分別位于機箱的兩側。各個電源相對獨立，局部電源功率較小，減少了大電流傳輸線路，有利于提高可靠性和電磁兼容性。此外，由于單個電源的功率較小，散熱要求相對較低，采用分布式電源有利于系統散熱設計。

強迫風冷系統風道的設計很關鍵，風道一般分為送風和吸風兩種方式。送風方式風扇出口附近局部換熱強烈，宜用于發熱器件較集中的情況，一般是將風扇出風口直接對準發熱器件。送風時設備內形成正壓，可有效防止灰塵進入設備；風扇工作在較低溫度下，壽命較長。吸風方式空氣流動均勻，只用于發熱器件分布較均勻、風道較復雜的情況。吸風時在設備內形成負壓，灰塵容易進入設備；由于工作在較高溫度下，風扇壽命受影響。

4.1　4U硬盤倉散熱風道設計

由圖1可見，硬盤倉中的發熱部件是均勻分布在整個結構內的，適合采用吸風方式。4U硬盤倉分為硬盤散熱風道和電源散熱風道2個獨立散熱風道，如圖3所示。位于右側中間位置的風扇為硬盤提供吸風式散熱。硬盤在倉中的分布使得風流均勻通過各硬盤，從而保證各個硬盤的散熱較為均衡。

機箱兩側為電源設計的散熱風道，為電源單獨送風。原因是如果電源風道和硬盤風道相通，硬盤散熱的系統風扇風壓較大，而電源的散熱風扇風壓較小，這樣電源會倒吸風而導致電源過熱，本文中設計獨立風道可解決此問題。

4.2　1U計算節點倉風道設計

1U計算節點倉也采用吸風式散熱風道。設計了3個獨立散熱風道區：PCIE卡散熱風道、CPU散熱風道、10 G網卡散熱風道。每個風道都有風扇對相應的功率元器件進行有效冷卻，風道設計如圖4所示。

Figure 3　Diagram of air duct in the 4U HDD storage圖3　4U硬盤倉風道設計示意圖

Figure 4　Diagram of air duct in the 1U computing node圖4　1U計算節點倉風道設計示意圖

5散熱器設計

從上述表1可知，SAS Expander芯片和SAS 3108芯片的功耗都比較大，所以需要設計散熱器，使芯片的工作溫度滿足熱設計要求。散熱器的設計要綜合考慮設備的結構需求、散熱效率、加工工藝等約束條件[6]。散熱器肋片越薄越好，但越薄加工越困難。在散熱器的外形尺寸確定的情況下，肋片間距越小則熱阻越小，但過小的間距會增大風阻，反而影響散熱。肋片高度越大則散熱面積越大，散熱效果越好，但肋片達到一定高度后，散熱量就趨于恒定。

綜合考慮以上各因素，本文中這兩個芯片都采用鋁擠散熱器，通過仿真優化，確定散熱器尺寸70*70*20 mm，肋片厚度1 mm，肋片數量17，可以滿足熱設計要求。

由于1U計算節點倉主板上的兩顆CPU功耗達到120 W且是前后布局，冷卻空氣吹過上游CPU后會被加熱，再次吹過下游CPU會導致下游CPU的溫度很高。本文通過降低上游CPU散熱器的高度，并通過仿真優化使兩顆CPU的溫度值接近一致，仿真結果為：上游散熱器的尺寸90*90*18 mm，下游散熱器的尺寸90*90*25 mm。肋片厚度為0.3 mm，肋片數量為47。散熱器基板采用鋁基板中埋熱管的工藝，肋片采用銅材料，可以滿足熱設計要求。

6冷卻風扇選擇

假設所選散熱器是合理的，散熱器可以將各發熱部件發出的熱量傳遞到散熱空間。由于采用強迫風冷散熱方式，系統發熱量應全部由風扇輸送的風帶走，熱量平衡方程[7]為：

(1)

其中，Q為總發熱量(W)，Cp為空氣的比熱容(J/(kg·K)),ρ為空氣的密度(kg/m3)，Δt為進出風口的空氣的溫度差(℃)，V為帶走熱量需要的風量(m3/s)。

硬盤總發熱量為1 060 W，進出風口溫差取12 ℃，Cp取值為1 005 J/(kg·K)，空氣的密度為1.14 kg/m3，根據公式(1)計算得到4U硬盤倉所需要的總風量為0.077 m3/s，平均每個風扇工作點風量需達到0.009 96 m3/s。

1U計算節點倉的總發熱量為600 W，進出風口溫差取12 ℃，則根據公式(1)計算得到1U計算倉所需的總風量為0.043 6 m3/s，平均每個風扇工作點的風量需達到0.007 27 m3/s。

上述計算出的風量為帶走發熱量所需的最小值。考慮到風量的泄漏損失，同時為了提高散熱的可靠性，選用的風扇要留有一定的裕量。

由于整個系統風阻很大，所以要選擇高靜壓的風扇才能滿足散熱要求，且要避開風扇的不穩定工作區，所選風扇的P-Q特性曲線如圖5和圖6所示。圖中縱坐標Static Pressure即為風阻。

Figure 6　Fan P-Q curves applied in the 1U computing nodes圖6　1U計算倉所選風扇P-Q曲線

7仿真結果分析

本文利用Flotherm熱仿真軟件對該服務器進行了仿真模擬。根據服務器的架構建立了詳細的散熱仿真模型，設定環境溫度為35 ℃，并進行仿真計算。仿真結果可為風扇選型、散熱器優化設計提供依據，也可為實際散熱效果提供較為直觀的分析。

7.1　仿真云圖分析

從如圖7和圖8所示的仿真結果可以直觀看到機箱內部溫度分布和局部過熱區域，從而為散熱優化提供依據。從圖7可以看出，第6排的硬盤的溫度最高，這個結果符合理論預期。因為空氣從左向右流動，從第1排硬盤到第6排硬盤被逐漸加熱，吹到第6排的空氣溫度達到最高，因此第6排硬盤的溫度也最高。冷風經機箱兩側設計的風道供給了電源，不受系統風扇的影響。從圖8可以看出，1U機箱內不存在局部過熱區或回流，符合風道設計要求。

Figure 7　Temperature nephogram of the 4U HDD storage圖7　4U硬盤倉溫度云圖

Figure 8　Temperature nephogram of 1U computing nodes圖8　1U計算節點倉溫度云圖

7.2　仿真結果分析

4U硬盤倉風扇工作點風量為0.012 m3/s，而根據理論計算每個風扇工作點需達到的風量需達到0.009 96 m3/s,4U硬盤倉所選風扇性能滿足散熱設計要求，且留有20%以上的裕量。

1U計算節點倉風扇工作點風量為0.008 7 m3/s，而根據理論計算每個風扇工作點需達到的風量為0.007 27 m3/s，裕量接近20%，1U計算節點倉所選風扇性能也滿足散熱設計要求。

主要發熱元器件的溫度仿真結果如表2所示。從表2可知，兩顆CPU的溫差僅為2.2 ℃，這得益于為兩顆處理器分別設計了高度不同的散熱器，仿真結果符合預期。各元器件的溫度都滿足熱設計要求，且有一定的溫度余量。

Table 2　Simulation resluts of key components’ temperature

8熱測試

按照此設計方案加工制作了工程樣機，在35℃的實際應用環境下，對該樣機進行了散熱測試，各元器件的溫度的測試結果如表3所示。從實際測試結果與仿真結果對比可知，最大誤差為3.3 ℃，說明散熱仿真可以較準確地估算熱設計方案的結果。

Table 3　Test and simulation results comparison

9結束語

本文中高密度存儲服務器采用強迫風冷的散熱方式，通過風道設計使空氣有效冷卻主要功率元器件，從而提高了冷卻效率。具有散熱器的強迫風冷散熱設計比較復雜，需要根據系統的結構以及發熱部件的熱功耗計算發熱量，從而選擇合適的散熱器和風扇。熱設計過程是一個不斷設計優化的過程，在這過程中熱仿真軟件可比較準確地模擬散熱方案的效果，可為散熱方案不斷優化提供依據。在實際環境下對樣機進行了散熱測試，結果表明此高密度存儲服務器的散熱設計方案可行，且工作溫度滿足降額設計要求，提高了設備的工作可靠度。

參考文獻:附中文

[1]Large capacity data storage solutions [EB/OL]. [2014- 10-18].http://www.nexsan.com.cn/chinese/DataBase/Up loadFile/20 130401142251669.pdf．

[2]Chen Jie.Cloud storage technology and application in big data [J].ZTE Technology Journal,2012,18(6):47-51.(in Chinese)

[3]Xu Wei-xin.Design guide for electronic equipment reliability thermal[M].Beijing:Publishing House of Electronics Industry,1995.(in Chinese)

[4]GJB/Z 35-93[S].Derating criteria for electrical,electronic and electromechanical parts:National Military Standard of the People’s Repulic of China,1993.(in Chinese)

[5]LSI SAS3X48 expander datasheet[EB/OL].[2014-10-18] http://www.lsi.com/products/sas-expanders/page s/lsi-sas-3x48.aspx#tab/tab3.

[6]Zhang Zhong-hai. Thermal design of forced air cooling of high-power components in electronic equipments [J].Electro-Mechanical Engineering,2005,21(3):18-21.(in Chinese)

[7]Wang Jian-shi,Zhu Bing-lin.Manual for structural design of electronic equipment [M].Beijing:China Zhijian Publishing House,2011.(in Chinese)

[2]陳杰.大數據場景下的云存儲技術與應用[J].中興通訊技術,2012,18(6):47-51．

[3]徐維新.電子設備可靠性熱設計指南[M].北京:電子工業出版社,1995．

[4]GJB/Z 35-93,元器件降額準則[S].北京：中華人民共和國國家軍用標準,1993.

[6]張忠海.電子設備中高功率器件的強迫風冷散熱設計[J].電子機械工程,2005,21(3):18-21．

[7]王健時,朱炳林.電子設備結構設計標準手冊[M].第三版.北京:中國質檢出版社,2011．

沙超群(1977-),男，江蘇邳州人，博士生，高級工程師，研究方向為計算機體系結構。E-mail:scq@sugon.com

SHA Chao-qun,born in 1977,PhD candidate,senior engineer,his research interest includes computer architecture.

A thermal design for high density storage servers

SHA Chao-qun1,YOU Yang2,HU Chang-jun1,ZHENG Chen-ming1,LIU Xing-kui3

(1.School of Computer and Communication Engineering,University of Science and Technology Beijing,Beijing 100083；

2.National Digital Switching System Engineering & Technological Research Center,

PLA Information Engineering University，Zhengzhou 450002；

3.Dawning Information Industry Co.,Ltd.,Beijing 100193,China)

Abstract:Big data and cloud computing applications have a booming demand for high density storage servers by in recent years. Since temperature has a great influence on the performance and lifecycle of electronic components, and high density storage servers have higher power density, desired cooling solution design is in great need, so the servers can work at a proper temperature. We introduce a thermal design method for high density storage servers, in which the forced air cooling method is adopted. The thermal simulation software Flotherm is used to guarantee the cooling effect. We construct an engineering project and test the proposal under 35℃ ambient temperature. The results show that this solution can meet the thermal design requirements.

Key words:high density;forced air cooling;thermal design;thermal simulation;thermal test

作者簡介:

doi:10.3969/j.issn.1007-130X.2015.12.006

中圖分類號：TP302

文獻標志碼：A

基金項目：國家863高技術研究發展計劃資助項目(2013AA01A209)；北京市科委計劃資助項目(D141100003414001)

收稿日期：修回日期：2015-10-21

文章編號：1007-130X(2015)12-2228-05