Platform LSF軟件在高性能計算集群中的實施與應(yīng)用

黃 強

（洪都航空工業(yè)集團，江西 南昌330024）

0 引言

隨著IT技術(shù)與計算機模擬仿真技術(shù)的突飛猛進，在飛機制造工業(yè)中，產(chǎn)品的設(shè)計、制造、測試的過程越來越多的由計算機虛擬化的設(shè)計、模擬、測試，甚至產(chǎn)品的整個制造過程都可由計算機來仿真和模擬，這大大提高了產(chǎn)品的研制周期、提高了產(chǎn)品質(zhì)量同時又大量地節(jié)約了制造成本。 但是這種技術(shù)的應(yīng)用是依賴于IT計算機軟/硬件資源的， 由于傳統(tǒng)的信息系統(tǒng)的局限性導(dǎo)致資源分散， 無法共享從而影響了產(chǎn)品的協(xié)同設(shè)計與制造。 解決高性能計算分布資源的共享與協(xié)同工作成為企業(yè)亟待解決的問題。

1 航空制造行業(yè)中高性能集群系統(tǒng)應(yīng)用現(xiàn)狀分析

隨著現(xiàn)代航空技術(shù)和數(shù)字化設(shè)計技術(shù)的發(fā)展，在飛機研發(fā)的手段上也在不斷更新。 加強氣動彈性靜力學(xué)問題計算分析能力， 可使用靜氣動彈性計算軟件平臺AS/ElasticLoads； 為提高飛機氣動力計算分析的能力， 可選FLVENT、 LFX、 Ansys等軟件； 為進行結(jié)構(gòu)優(yōu)化和動、 靜力學(xué)分析和仿真可選用Nastran、 Dyan等軟件， 應(yīng)用軟件實例見圖1。

這些軟、硬件的引進與應(yīng)用，為飛機的研制發(fā)揮了重要作用， 也在研制中逐步建立和提高了數(shù)值計算分析及仿真的能力。 但是仍存在一些問題。

圖1 應(yīng)用軟件實例

1.1 并行作業(yè)的CPU分配問題

應(yīng)用人員在運行并行作業(yè)前,必須進入程序手工為作業(yè)分配CPU,并且往往因為各種原因失敗,如CPU被其他作業(yè)占用,許可證不夠等,應(yīng)用人員往往要花費數(shù)分鐘甚至數(shù)十分鐘,才能讓作業(yè)運行,大大降低了工作效率。

1.2 應(yīng)用程序運行沖突問題

由于缺乏統(tǒng)一的管理和協(xié)調(diào),不同用戶的作業(yè)經(jīng)常出現(xiàn)沖突,大大降低了雙方作業(yè)的執(zhí)行效率,例如當(dāng)一個用戶的Fluent作業(yè)在一臺機器上運行的時候,另一個用戶在不知情的情況下在該機啟動了網(wǎng)格生成軟件或CFX,這樣兩個用戶的作業(yè)會因為撞車而導(dǎo)致作業(yè)執(zhí)行速度下降,運行時間長。 進而導(dǎo)致系統(tǒng)和許可證的無效占用,作業(yè)運行成本提高。

1.3 資源的綜合使用率問題

硬件資源往往在上班時間使用率較高,晚上和周末使用率較低。 用戶雖然采取了一些措施,如在下班前運行一個作業(yè),但由于缺乏有效的作業(yè)排隊管理機制,無法從根本上解決問題。

1.4 優(yōu)先級管理問題

由于沒有優(yōu)先級調(diào)度管理,緊急的項目和用戶自動優(yōu)先獲得資源,往往要通過人工協(xié)調(diào),影響工作效率。

2 Platform LSF的設(shè)計思想及目標(biāo)

為了解決高性能計算集群硬件資源和CAD/CAE軟件許可資源的共享和管理， 以及虛擬樣機設(shè)計與仿真、結(jié)構(gòu)分析、氣動力計算等，需建立一個高安全、高可擴展、 易管理的軟件管理及高性能計算機群系統(tǒng)， 該系統(tǒng)將用于運行工程分析軟件：AS/ElasticLoads、 FLUENT、MGAERO、CFX11、Nastran、Dyan、Adams、Dytran、Fatigue、ANSYS等，并對工程設(shè)計和分析軟件許可證進行統(tǒng)一的管理調(diào)度， 提高并行、高效、可靠的計算硬件支持。

結(jié)合上述需求并把高性能和協(xié)同結(jié)合在一起，采用了Platform LSF軟件。

2.1 性能調(diào)優(yōu)

針對目前的應(yīng)用，改善軟/硬件的配置，達到應(yīng)用程序的最優(yōu)化。

2.2 機集群系統(tǒng)建設(shè)

通過引入機群管理和作業(yè)調(diào)度系統(tǒng)， 解決多作業(yè)， 多用戶情況下的計算機資源分配和使用優(yōu)化問題，提高資源的利用率，提升系統(tǒng)的吞吐量。

2.3 航空制造業(yè)網(wǎng)格建設(shè)

在機群系統(tǒng)上，建設(shè)企業(yè)的網(wǎng)格系統(tǒng)，通過網(wǎng)格技術(shù)實現(xiàn)各場所計算資源的共享， 如許可證和高性能服務(wù)器等的共享， 并同時保證雙方對各自資源的所有權(quán)， 即各自的資源在不用的時候可以被對方使用，一旦需要的時候又可以立刻回收資源的使用權(quán)。這樣，即提高了企業(yè)資源的總體利用率，又提高了可用資源的數(shù)量，擴大了雙方的計算能力。[2]

2.4 期望的目標(biāo)

1) 統(tǒng)一管理軟件許可證和計算機服務(wù)器資源，通過調(diào)度優(yōu)化，提高資源的使用率。

2) 加強對用戶作業(yè)的管理和控制， 從而保證資源使用上的公平合理性。

3) 提供一套基于Web的用戶端接口， 方便用戶使用高性能計算相關(guān)的軟硬件資源。

4) 提供一套客戶端工具， 實現(xiàn)對在用戶桌面機上運行的應(yīng)用程序集成， 方便交互程序的執(zhí)行和管理，以及相應(yīng)使用許可證的調(diào)度和控制。

5) 提供方便開發(fā)的SDK， 實現(xiàn)用戶化的擴展和定制。

6)為IT資源的綜合管理建設(shè)一個良好的、可擴展的體系架構(gòu)。

3 Platform LSF系統(tǒng)的體系架構(gòu)

整個系統(tǒng)將向用戶提供三種訪問方式， 即用戶可以通過瀏覽器、 命令行和桌面應(yīng)用程序集成管理平臺（DAM Client）,訪問許可證和計算機資源。 系統(tǒng)將配置兩臺Linux管理服務(wù)器， 一臺作為主節(jié)點用于LSF、License Scheduler、DAM服務(wù)；另外一臺作為容錯節(jié)點，當(dāng)管理員節(jié)點發(fā)生故障時，自動切換為管理節(jié)點，以提供更高的可靠性。 另外還將配置一臺Linux服務(wù)器運行LSF Perf Report報表服務(wù)， 提供統(tǒng)計分析報表。[1]

3.1 總體規(guī)劃（圖2）

圖2 總體設(shè)計規(guī)劃

3.2 技術(shù)方案及應(yīng)用特點

通過引入機群系統(tǒng)， 主要解決了企業(yè)內(nèi)部計算機資源管理、分配以及調(diào)度問題，并將目前大量需要手工或人工干預(yù)的工作全部通過機群管理系統(tǒng)自動完成，由此既可提高人員的工作效率，又提高了計算資源的使用率和利用率。 Platform LSF提供的一系列先進功能，可以有效解決目前許多應(yīng)用問題。

1)LSF支持根據(jù)當(dāng)前系統(tǒng)負載動態(tài)為并行程序分配CPU， 并且LSF與包括Fluent和Nastran在內(nèi)的許多商業(yè)應(yīng)用程序集成， 可自動為這些程序分配CPU。LSF還提供CPU范圍的功能，可根據(jù)當(dāng)前Fluent可用許可證的數(shù)量動態(tài)分配CPU。

2）LSF可設(shè)置CPU獨占。 此功能程序可獨占所使用的CPU，從而避免與其他程序或作業(yè)沖突。

3）系統(tǒng)可支持的用戶數(shù)量不受限制， 相互之間互不干擾。 所有用戶提交的作業(yè)通過LSF作業(yè)調(diào)度系統(tǒng)進行統(tǒng)一管理和調(diào)度。

4）LSF提供優(yōu)先級管理功能，可以保證重點項目和用戶的資源使用。

3.3 Platform LSF軟件的功能分析

整個系統(tǒng)的管理方案的體系結(jié)構(gòu)如圖3所示，從圖中可以看出，本方案從用戶訪問、資源管理到后端的資源使用分析，提供了一整套解決方案。

圖3 體系架構(gòu)圖

3.3.1 交互性質(zhì)的應(yīng)用

在高性能計算中，有些軟件如：有限元網(wǎng)格前后處理軟件Patran等。 這類應(yīng)用主要使用用戶桌面機的圖形能力，對計算性能要求不高，使用過程中需要大量交互，因此最適合在用戶的桌面機上運行，但從服務(wù)器遠程申請許可證。 針對該類應(yīng)用，基于本方案的使用過程如圖4所示。

另外，為了方便用戶使用，Platform專業(yè)服務(wù)還可以為用戶提供一套應(yīng)用程序統(tǒng)一管理的桌面應(yīng)用程序管理器(DAM)， 用戶可通過該管理器啟動應(yīng)用程序， 管理器自動為用戶應(yīng)用程序打包， 并自動與License Scheduler服務(wù)器連接實現(xiàn)許可證管理和調(diào)度功能。

圖4 服務(wù)器調(diào)度

3.3.2 批處理性質(zhì)的應(yīng)用

CFX，F(xiàn)luent，Ansys，Nastran等。 這類應(yīng)用對計算性能要求高，多數(shù)運行在后臺，用戶提交作業(yè)后基本不需要交互， 因此最適合在計算中心的高性能計算服務(wù)器上運行， 用戶只需要從桌面機上通過命令行或Web 方式提交作業(yè)和進行一些必要的控制和管理。 用戶操作界面見圖5。

圖5 用戶操作界面

在整個計算過程中，用戶可對作業(yè)進行控制，執(zhí)行如掛起、終止等操作，通過簡單命令或操作查看作業(yè)執(zhí)行的中間結(jié)果。 并且通過一定的配置，作業(yè)的最終結(jié)果可以直接從Web界面下載。

4 結(jié)論

高性能計算集群Platform LSF軟件實施和應(yīng)用，對現(xiàn)在所面臨的問題逐一給出了相應(yīng)的措施。 解決了傳統(tǒng)計算方式所帶來的諸多問題。

1）提高了高性能計算的工作效率， 讓員工更專注于專業(yè)；

2）提高了資源的利用率和作業(yè)的處理能力；

3）優(yōu)化了系統(tǒng)的性能，縮短作業(yè)的執(zhí)行時間。

4）增加了計算資源的總量， 提高求解大型計算問題的能力。

使得在物理上分散的資源， 可以通過網(wǎng)格技術(shù)邏輯上集中在一起，相互共享，統(tǒng)一調(diào)度和管理，從而形成一個虛擬的“資源池”，提高可使用的資源總量，從技術(shù)上解決目前計算資源普遍短缺的現(xiàn)狀。

[1]車靜光，微機集群組建.優(yōu)化和管理[M].北京：機械工業(yè)出版社，2004.

[2]陳國良.并行計算—結(jié)構(gòu).算法.編程[M].北京：高等教育出版社，2004.