淺談Ｌｉｎｕｘ集群的行業(yè)應(yīng)用

胡亮塵

據(jù)最近公布的數(shù)據(jù)顯示，世界500強(qiáng)超級計算機(jī)系統(tǒng)中，使用Linux操作系統(tǒng)的。已占到了280席，而在我國，越來越多行業(yè)中，Linux高性能計算產(chǎn)品也正得到廣泛的應(yīng)用。

所謂Linux集群，就是利用商品化的工業(yè)標(biāo)準(zhǔn)互聯(lián)網(wǎng)絡(luò)將各種普通Linux服務(wù)器連接起來，通過特定的方法向用戶提供更高的系統(tǒng)計算性能、存儲性能和I／O性能，也就是具備單一系統(tǒng)映像(SSI)特征的分布式存儲MIMD(多指令流多數(shù)據(jù)流)并行計算機(jī)系統(tǒng)。Linux有大量的集群系統(tǒng)可供選擇，適合于不同的用途和需要。

通過幾十甚至幾百個運行Linux操作系統(tǒng)的計算節(jié)點，組成一個龐大的虛擬計算機(jī)，提供強(qiáng)大的并行運算能力，而價格卻比傳統(tǒng)小型機(jī)要便宜得多。

高可用性集群也可以在其節(jié)點之間均衡用戶負(fù)載，同時仍試圖維持高可用性程度。同樣，可以從要編入應(yīng)用程序的集群中找到一個并行集群，它可以在節(jié)點之間執(zhí)行負(fù)載均衡。

目前，Linux集群在石油行業(yè)的應(yīng)用主要集中在地震資料處理和油藏數(shù)值模擬兩大領(lǐng)域。因數(shù)據(jù)量大、計算量大、通信量大等行業(yè)特點，地震資料處理成為Linux集群發(fā)揮自身優(yōu)勢最主要的平臺。

最早，遼河油田、新疆油田、青海油田等國內(nèi)企業(yè)采用了IBM公司具有Linux集群技術(shù)的LCl300系統(tǒng)。2002年10月，中國石油東方地球物理公司涿州物探研究院將曙光4000L Linux／PC Cluster作為應(yīng)用平臺。2004年涿州物探研究院和新疆油田公司把由IBMeServer BladeCenter刀片服務(wù)器組成的Linux集群用于石油勘探地震資料處理的高性能計算。兩地搭建的高性能計算平臺以該刀片服務(wù)器作為計算節(jié)點，分別有194個節(jié)點和200多個節(jié)點，主要負(fù)責(zé)地震勘探資料處理。同年7月，東方地球物理公司研究院大港分院采用HPProLiant BL20P G2刀片式服務(wù)器作為計算節(jié)點的高性能計算集群系統(tǒng)正式投產(chǎn)。該系統(tǒng)包括119個HP ProLiant BL20P計算節(jié)點和14個ProLiant DL380G2 I／O節(jié)點，以集群技術(shù)組成的超級并行計算機(jī)作為地震資料處理的主機(jī)系統(tǒng)。整個系統(tǒng)共133個節(jié)點、266個處理器，安裝了CGG、Geodepth等先進(jìn)的處理軟件，能夠提供更精準(zhǔn)的地構(gòu)造及地下成像。

2006年10月，國內(nèi)最大規(guī)模的集群地震資料處理系統(tǒng)在大慶油田勘探開發(fā)研究院正式投入使用。該地震資料處理系統(tǒng)采用了中國惠普公司開發(fā)出的刀片服務(wù)器集群架構(gòu)，集成了692臺惠普公司的第三代服務(wù)器產(chǎn)品——HPBL20PG3、HPDL380G3和HPDL580G3服務(wù)器，選用了1432個Intel至強(qiáng)中國刀片服務(wù)器集群系統(tǒng)，是國內(nèi)處理規(guī)模最大、系統(tǒng)配置最優(yōu)、技術(shù)性能最好的地震資料處理CPU。

Linux集群在國內(nèi)石油企業(yè)中另一個主要應(yīng)用領(lǐng)域就是油藏數(shù)值模擬。油藏數(shù)值模擬在空間上可以描述油田全貌，在時間上可以重現(xiàn)油田開發(fā)歷史、評價開發(fā)效果并預(yù)測油田未來的開發(fā)動態(tài)，實現(xiàn)對油田開發(fā)過程的仿真模擬。它對于研究剩余油分布、促進(jìn)我國相當(dāng)部分已進(jìn)入高含水后期老油田的高產(chǎn)／穩(wěn)產(chǎn)具有重要意義。自問世以來，一直是石油工程師對油藏進(jìn)行分析和管理的有效方法。隨著油田開發(fā)的深入，油藏模擬對硬件系統(tǒng)的性能需求越來越高：開發(fā)后期的油藏剩余油分布和壓力分布等越來越復(fù)雜，模擬這種復(fù)雜的油藏需要把以前的模型網(wǎng)格尺寸成倍縮小，網(wǎng)格數(shù)也呈數(shù)量級增加，這就要求計算機(jī)有足夠大的內(nèi)存和足夠快的處理速度。而這些正是Linux集群的優(yōu)勢所在。

2006年6月，大慶油田選用60片IBM Blade-Center IS20刀片服務(wù)器搭建的高性能Linux集群應(yīng)用于油藏數(shù)值模擬系統(tǒng)項目。BladeCenterIs20匯集了許多先進(jìn)技術(shù)，將Linux和BladeCenter整合于一個十分可靠的高性能刀片服務(wù)器之中，有了提供2，2GHz雙內(nèi)核性能的64位PowerPC970處理器以及最高可支持8GB的ECCDDR內(nèi)存。Is20對運行于Linux并基于A1tiVec技術(shù)優(yōu)化的高性能計算工作負(fù)載來說是十分理想的。通過IBM刀片服務(wù)器，用戶應(yīng)用的油藏數(shù)值模擬系統(tǒng)能夠在很小的物理空間內(nèi)部署強(qiáng)大的計算力。該平臺的成功上線可大大提高油藏數(shù)值模擬結(jié)果的生成速度，改善油藏的勘測能力。

2006年10月，國內(nèi)最先進(jìn)的數(shù)值模擬微機(jī)集群處理系統(tǒng)在勝利地質(zhì)科學(xué)研究院投產(chǎn)，標(biāo)志著勝利油田開發(fā)計算機(jī)手段達(dá)到國內(nèi)領(lǐng)先水平。它使常規(guī)水驅(qū)模擬模型規(guī)模擴(kuò)大到百萬級，實現(xiàn)了整體建模、整體模擬和大規(guī)模并行化數(shù)值模擬。它使熱采及三采模型規(guī)模由井組、小區(qū)塊擴(kuò)大到全油藏。它提高了動態(tài)模型的可靠性和描述精度，實現(xiàn)了整裝大油藏多指標(biāo)擬合的單井化，實現(xiàn)了整裝大油藏老區(qū)調(diào)整歷史擬合的精細(xì)化，改變了以往各自為政的應(yīng)用模式，實現(xiàn)了油田范圍內(nèi)硬件資源的共享、大型軟件資源的共享、基礎(chǔ)數(shù)據(jù)的共享和研究成果的共享，形成了油田的共享中心，提高了軟硬件的應(yīng)用效率，工作效率提高5～6倍。

無疑，Linux集群已經(jīng)在國內(nèi)石油行業(yè)得到了規(guī)模化的應(yīng)用，從盆地模擬、地震資料處理、全三維可視化解釋、油藏數(shù)值模擬等許多方面幫助石油公司提高產(chǎn)值并減少成本。而對于醫(yī)藥、生命科學(xué)、基因解析、天氣分析等有密集運算需求的企業(yè)和研究機(jī)構(gòu)來說，Linux集群系統(tǒng)解決方案也同樣是可以借鑒的。