面向油氣地質(zhì)力學(xué)研究的高性能計(jì)算平臺(tái)構(gòu)建

王白羽

（中國石油新疆油田分公司數(shù)據(jù)公司，新疆 克拉瑪依 834000）

0 引言

高性能計(jì)算環(huán)境在工業(yè)仿真、油氣地震資料處理上的應(yīng)用已經(jīng)較為成熟。在地質(zhì)力學(xué)研究仿真計(jì)算的應(yīng)用方面，由于計(jì)算量相比地震資料處理來說相對(duì)較小，因此并行計(jì)算的應(yīng)用較少。但是，隨著非常規(guī)能源在全球油氣勘探開發(fā)中的地位日漸凸顯，致密油是當(dāng)下非常規(guī)油氣領(lǐng)域的熱點(diǎn)，致密油藏高效開發(fā)中的難點(diǎn)問題則越來越需要地質(zhì)力學(xué)仿真計(jì)算的成果提供更加有效的依據(jù)［1］。隨著仿真計(jì)算規(guī)模的增長，使用工作站作為仿真計(jì)算環(huán)境已不能滿足需求。

1 問題描述及需求分析

在地質(zhì)力學(xué)研究所涉及的專業(yè)軟件中，斯倫貝謝公司的Petrel 油藏地質(zhì)力學(xué)研究平臺(tái)是常用軟件。其為油田開發(fā)業(yè)務(wù)中的地質(zhì)力學(xué)研究提供了一體化高效的建模仿真平臺(tái)。Petrel能夠無縫銜接有限元地質(zhì)力學(xué)模擬與其他解釋及建模流程，包括有限元地質(zhì)力學(xué)模擬器Visage、油藏?cái)?shù)模模擬器Eclipse、大型復(fù)雜油藏?cái)?shù)模模擬器Intersect 等。

在研究過程中，需要在Petrel 平臺(tái)進(jìn)行各種地質(zhì)建模，如構(gòu)造模型、相模型、屬性模型等，這個(gè)過程需要專業(yè)顯卡的支持。完成模型及參數(shù)設(shè)置后，再使用Visage 等仿真計(jì)算模擬軟件，按照步驟加載模型及參數(shù)，最后提交作業(yè)，進(jìn)行應(yīng)力場(chǎng)模擬、地應(yīng)力預(yù)測(cè)等模擬場(chǎng)景。這個(gè)過程需要消耗大量內(nèi)存，且會(huì)出現(xiàn)由于內(nèi)存不足中央處理器（Central Processing Unit，簡稱CUP）未能充分發(fā)揮計(jì)算能力的情況。因此，地質(zhì)力學(xué)研究過程大致分為交互應(yīng)用和計(jì)算應(yīng)用兩類。

為提高研究效率，適應(yīng)科研人員同時(shí)進(jìn)行交互應(yīng)用和計(jì)算應(yīng)用的特點(diǎn)，就需要融合專業(yè)軟件云平臺(tái)以及高性能計(jì)算集群，構(gòu)建面向地質(zhì)力學(xué)研究的高性能計(jì)算平臺(tái)。

專業(yè)軟件云是基于遠(yuǎn)程三維可視化技術(shù)、虛擬應(yīng)用或桌面云交付技術(shù)構(gòu)建的SaaS 云平臺(tái)，主要實(shí)現(xiàn)油氣行業(yè)專業(yè)軟件的云交付，包括遠(yuǎn)程會(huì)話管理、許可調(diào)度管理。

2 系統(tǒng)實(shí)現(xiàn)及應(yīng)用

地質(zhì)力學(xué)建模研究高性能計(jì)算環(huán)境總體架構(gòu)由基礎(chǔ)層、系統(tǒng)層、功能層、應(yīng)用層自下而上組成，如圖1所示。

圖1 面向油氣地質(zhì)力學(xué)研究的高性能計(jì)算平臺(tái)總體架構(gòu)

2.1 基礎(chǔ)層

基礎(chǔ)層為高性能計(jì)算環(huán)境提供所需的硬件基礎(chǔ)設(shè)施。服務(wù)器集群由高性能計(jì)算集群、專業(yè)軟件應(yīng)用集群組成。高性能計(jì)算集群主要提供高性能計(jì)算服務(wù)，專業(yè)軟件應(yīng)用集群提供與用戶交互的專業(yè)軟件界面服務(wù)。由于地質(zhì)力學(xué)建模計(jì)算無須圖形處理器（Graphics Processing Unit，GPU），高性能計(jì)算集群中的服務(wù)器可以不配置GPU。由于Petrel 平臺(tái)中三維建模需要專業(yè)顯卡加速渲染，專業(yè)軟件應(yīng)用集群必須配置GPU。

網(wǎng)絡(luò)環(huán)境如圖2所示。由基于以太網(wǎng)的智能平臺(tái)管理接口（Intelligent Platform Management Interface，IPMI）網(wǎng)絡(luò)、高性能計(jì)算網(wǎng)絡(luò)、SaaS 服務(wù)網(wǎng)絡(luò)組成。IPMI 網(wǎng)絡(luò)主要向服務(wù)器的運(yùn)維管理提供網(wǎng)絡(luò)支撐。高性能計(jì)算網(wǎng)絡(luò)有25 GB 鏈路互聯(lián)，保障高性能計(jì)算集群以及分布式共享存儲(chǔ)的通信。SaaS 服務(wù)網(wǎng)絡(luò)主要是專業(yè)軟件服務(wù)器接入10 GB 鏈路，提供用戶遠(yuǎn)程交互網(wǎng)絡(luò)通信。

圖2 網(wǎng)絡(luò)拓?fù)鋱D

分布式共享存儲(chǔ)向整個(gè)高性能計(jì)算環(huán)境提供數(shù)據(jù)存儲(chǔ)服務(wù)，所需的工區(qū)數(shù)據(jù)、成果數(shù)據(jù)均存儲(chǔ)在此設(shè)備上，通過通用并行文件系統(tǒng)（General Parallel File System，GPFS）提供跨平臺(tái)、高每秒進(jìn)行讀寫操作的次數(shù)（Input Operations Per Second，IOPS）場(chǎng)景的數(shù)據(jù)存儲(chǔ)及共享能力。

2.2 系統(tǒng)層

系統(tǒng)層基于Slurm 框架定制開發(fā)的作業(yè)調(diào)度及管理系統(tǒng)，通過集成應(yīng)用VNC Viwer，將Linux 命令行交互窗口與專業(yè)軟件遠(yuǎn)程交互窗口無縫對(duì)接。系統(tǒng)層通過適配Visage、Eclipse、Intersect的消息傳遞接口（Message Passing interface，MPI），打通Slurm 作業(yè)調(diào)度及管理服務(wù)能力；接收用戶提交作業(yè)腳本，將作業(yè)根據(jù)策略分發(fā)到基礎(chǔ)層的計(jì)算節(jié)點(diǎn)中，并實(shí)時(shí)對(duì)作業(yè)狀態(tài)進(jìn)行監(jiān)控；能夠?qū)ψ鳂I(yè)進(jìn)行編輯、撤銷、變更等管理操作，將完成的作業(yè)提交給上層交互界面，是高性能計(jì)算環(huán)境實(shí)現(xiàn)作業(yè)調(diào)度及管理的核心層。

2.3 功能層

功能層向應(yīng)用層提供必需的系統(tǒng)功能，包括應(yīng)用交付、應(yīng)用集成、虛擬網(wǎng)絡(luò)控制臺(tái)（Virtual Network Console，VNC）會(huì)話管理、Citrix 會(huì)話管理、資源管理、資源監(jiān)控、數(shù)據(jù)管理、作業(yè)調(diào)度管理。①應(yīng)用交付是將安裝在Windows 系統(tǒng)中的Petrel 軟件以虛擬應(yīng)用或虛擬遠(yuǎn)程桌面的方式交付給遠(yuǎn)端用戶。用戶通過Web 瀏覽器實(shí)現(xiàn)專業(yè)軟件的交互使用。②應(yīng)用集成功能主要實(shí)現(xiàn)專業(yè)軟件中MPI 高性能計(jì)算作業(yè)接口與Slurm 作業(yè)管理及調(diào)度接口適配及集成。③VNC 會(huì)話管理實(shí)現(xiàn)Linux 平臺(tái)虛擬遠(yuǎn)程桌面會(huì)話的管理，包括會(huì)話交付、啟動(dòng)、共享、監(jiān)控、刪除。④Citrix 會(huì)話管理實(shí)現(xiàn)Windows 平臺(tái)虛擬應(yīng)用會(huì)話或虛擬遠(yuǎn)程桌面會(huì)話的管理，包括會(huì)話交付、啟動(dòng)、共享、監(jiān)控、刪除。⑤資源管理功能實(shí)現(xiàn)服務(wù)器資源負(fù)載均衡策略定義、編輯，實(shí)現(xiàn)集群節(jié)點(diǎn)的加入、編輯、維護(hù)、刪除管理。⑥資源監(jiān)控功能實(shí)現(xiàn)計(jì)算節(jié)點(diǎn)的CPU、內(nèi)存、GPU 資源利用率的實(shí)時(shí)監(jiān)控。⑦數(shù)據(jù)管理即面向用戶提供專業(yè)軟件應(yīng)用的工區(qū)數(shù)據(jù)、模型數(shù)據(jù)、成果數(shù)據(jù)的存取、傳輸、共享、權(quán)限分配等數(shù)據(jù)管理功能。⑧作業(yè)調(diào)度管理即用戶設(shè)置好計(jì)算所需的參數(shù)和腳本，提交作業(yè)。用戶可進(jìn)行作業(yè)狀態(tài)查詢、作業(yè)編輯、刪除等操作。管理員可對(duì)作業(yè)隊(duì)列、作業(yè)優(yōu)先級(jí)等進(jìn)行管理。

2.4 應(yīng)用層

應(yīng)用層向用戶提供油藏地質(zhì)力學(xué)研究軟件應(yīng)用環(huán)境，主要是基于Petrel 平臺(tái)，并通過Visage、Eclipse、Intersect 軟件對(duì)不同領(lǐng)域數(shù)模開展研究。

科研人員主要應(yīng)用高性能計(jì)算平臺(tái)，分別在水平井軌跡跟蹤、四維巖石力學(xué)建模、壓裂縫網(wǎng)模擬、耦合數(shù)值模擬等方面開展研究工作，這個(gè)平臺(tái)能夠支持大型計(jì)算作業(yè)規(guī)模。利用30 個(gè)CPU 核并行處理，就能夠計(jì)算近4 000萬網(wǎng)格的規(guī)模，且平均耗時(shí)12小時(shí)。

3 結(jié)語

本文通過分析地質(zhì)力學(xué)研究工作對(duì)高性能計(jì)算應(yīng)用的特點(diǎn)，基于以太網(wǎng)絡(luò)，融合專業(yè)軟件云的優(yōu)點(diǎn)，研究了高性能計(jì)算平臺(tái)的構(gòu)建。高性能計(jì)算平臺(tái)能夠勝任大型、超大型地質(zhì)力學(xué)建模工作，滿足多人同時(shí)提交作業(yè)、作業(yè)進(jìn)度可監(jiān)控的需求，使科研人員能夠多人協(xié)同進(jìn)行大型、超大型地質(zhì)力學(xué)仿真計(jì)算。