大規(guī)模數(shù)據(jù)流場并行可視化研究進(jìn)展

江時俊 王 浩 董增川 王 敏

（1.河海大學(xué)水文水資源學(xué)院 南京 210098 2.黃河水利科學(xué)研究院 鄭州 450003）

水是地球上最常見的流體，是水動力學(xué)數(shù)值模擬領(lǐng)域的研究重點，隨著數(shù)值模擬技術(shù)維度與精度的不斷提高，計算過程中將產(chǎn)生海量時空分布數(shù)據(jù)。作為科學(xué)計算可視化的一個特定領(lǐng)域，流場可視化在河流、湖泊、海洋等工程實踐中具有十分重要的作用。流場可視化通過對海量數(shù)據(jù)中特征數(shù)據(jù)如水位、流量及流速（含大小及方向）等提取，以靜態(tài)如水面線或動態(tài)如淹沒范圍圖像的形式顯示變量的時空分布信息，以最直觀的方式幫助科研工作者理解、分析并發(fā)現(xiàn)隱藏在這些數(shù)據(jù)中的水流運動規(guī)律。

1 流場并行可視化現(xiàn)狀

隨著水流數(shù)值模擬技術(shù)的發(fā)展和工程應(yīng)用的不斷深入，現(xiàn)階段水流數(shù)值模擬大致可劃分為宏觀大范圍河流模擬，以及微觀高維度水流結(jié)構(gòu)模擬兩個方面。一方面，為研究大型河流與湖泊水沙交換機(jī)制，或分析評價大型水利工程興建對河勢的影響，需開展大范圍數(shù)學(xué)模型計算，例如我國長江水沙調(diào)控和黃河調(diào)水調(diào)沙試驗，其河道計算長度通常在700～800km；我國黃土高原地區(qū)的流域水文模型，也需要開展大尺度河網(wǎng)模擬工作。另一方面，科研工作者對微觀尺度的水沙輸移基本理論的關(guān)注度也越來越高，例如通過大渦模擬（LES）或直接數(shù)值模擬（DNS）研究水流紊動對不平衡輸沙的影響；泥沙輸移與污染物粒子吸附、分解、絮凝的關(guān)系。

宏觀與微觀數(shù)值模擬都必將產(chǎn)生大規(guī)模的流場數(shù)據(jù)，而且隨著水流動力學(xué)模型應(yīng)用的不斷深化，此類計算數(shù)據(jù)的規(guī)模還將繼續(xù)增大。海量數(shù)據(jù)可視化的一個有效解決方法是對數(shù)據(jù)進(jìn)行分布式并行處理。主要分為后處理和實時處理模式，目前在流場可視化的應(yīng)用中，基于GPU 或者是基于CPU+GPU的后處理并行較為成熟，原位并行可視化在天氣預(yù)報、地震、燃燒等領(lǐng)域有部分應(yīng)用，但在流場可視化的應(yīng)用上較少。根據(jù)并行可視化實現(xiàn)層次的不同，并行可視化可分為多核并行、多處理器并行、大規(guī)模集群或分布式并行。其中大規(guī)模集群或分布式并行能處理的數(shù)據(jù)量最大，本文只討論該層次的并行可視化。

2 后處理可視化模式

傳統(tǒng)的流場可視化普遍采用后處理模式，后處理模式流程如圖1 所示，圖中數(shù)據(jù)集是流場數(shù)值模擬計算結(jié)果的數(shù)據(jù)集，因數(shù)據(jù)規(guī)模較大，通常存放在磁盤中，后處理模式的可視化過程與數(shù)值模擬計算過程相互獨立運行，后處理模式需等待數(shù)值模擬計算完成后，再從磁盤讀取數(shù)據(jù)進(jìn)行可視化處理。

圖1 后處理模式流程圖

由于后處理可視化模式下數(shù)值模擬與可視化的邏輯關(guān)系，該模式存在兩個突出問題：（1）模擬獲得的大規(guī)模數(shù)據(jù)必須在時間及空間上進(jìn)行抽析后才能匹配有限的存儲能力，過程中大量有效數(shù)據(jù)被過濾，極大影響了可視化的數(shù)據(jù)完整性；（2）磁盤讀寫性能有限，大規(guī)模數(shù)據(jù)在調(diào)度及傳輸?shù)炔僮鬟^程中會耗費大量的系統(tǒng)資源和處理時間，可視化效率大打折扣。

3 后處理并行可視化模式

針對上述的兩個突出問題，后處理并行可視化隨著CPU 和GPU 分布式并行技術(shù)的發(fā)展得以出現(xiàn)。其中，基于CPU 并行的可視化充分利用集群計算機(jī)的處理能力，將大規(guī)模數(shù)據(jù)的并行處理分配到不同的計算節(jié)點上。后處理并行可視化流程，需要經(jīng)歷數(shù)據(jù)組織與劃分，并行可視特征計算，以及并行繪制與圖像合成三個階段。各節(jié)點同時對不同數(shù)據(jù)塊執(zhí)行相同的任務(wù)，任務(wù)執(zhí)行完成后，再將所有節(jié)點所產(chǎn)生的子結(jié)果整合，形成最終結(jié)果。

傳統(tǒng)的GPU 只完成圖像的繪制和渲染，隨著圖形處理器的不斷更新?lián)Q代，由CPU 完成的部分計算工作也可移植到GPU 完成。基于GPU 的并行可視化在計算結(jié)構(gòu)、地形仿真等方面都有廣泛的應(yīng)用。自NVIDIA 推出統(tǒng)一計算設(shè)備架構(gòu)，即CUDA（Comp uteUnifiedDeviceArchitecture）架構(gòu)以來，以CUDA 為基礎(chǔ)的并行可視化在大規(guī)模數(shù)據(jù)渲染方面應(yīng)用更加廣泛。

隨著GPU 在通用計算領(lǐng)域的日趨成熟，CPU 與GPU 在線程設(shè)計、處理器、帶寬和緩存等方面有各自的優(yōu)勢和特點，為了充分利用CPU 和GPU 各自的優(yōu)勢，出現(xiàn)了CPU 和GPU 混合并行可視化的方式。其中CPU 負(fù)責(zé)數(shù)值計算和可視計算，將計算結(jié)果傳遞給GPU，由GPU 負(fù)責(zé)可視化繪制工作。

對于大規(guī)模數(shù)據(jù)流場后處理的并行可視化，針對不同網(wǎng)格類型和精細(xì)程度，存在不同的的可視化算法。其次對于流場數(shù)據(jù)而言，可視化細(xì)分為標(biāo)量場和矢量場，不同的變量存在不同的渲染和繪制方法。

4 原位可視化模式

為了突破大規(guī)模數(shù)據(jù)可視化過程中的數(shù)據(jù)I/O瓶頸，同時在流場計算過程中對數(shù)值計算進(jìn)行實時跟蹤可視化，原位可視化逐漸得以發(fā)展。

圖2 顯示了后處理可視化與原位可視化的區(qū)別。原位可視化通過對可視化數(shù)據(jù)壓縮、特征提取之后，存儲所有時間步長的計算結(jié)果，突破了后處理可視化“先計算、后處理”的強(qiáng)制模式，將計算與可視化處理緊密結(jié)合，計算結(jié)果可以直接在模擬所在的計算節(jié)點原位可視化處理成圖片或提取特征數(shù)據(jù)，從而大幅減少存儲與傳輸?shù)臄?shù)據(jù)量。

圖2 可視化模式圖

隨著磁盤讀寫性能與計算能力之間的差異進(jìn)一步擴(kuò)大，后處理并行可視化挖掘動力不足，原位可視化在解決數(shù)據(jù)生產(chǎn)速度、復(fù)雜度和精度的優(yōu)勢受到了國內(nèi)外學(xué)者的高度重視。

原位可視化按照數(shù)值模擬與可視化發(fā)生節(jié)點位置可劃分為緊耦合、松耦合和混合三種模式。緊耦合模式下，數(shù)值模擬和可視化在相同的計算節(jié)點上運行，通過內(nèi)存共享數(shù)據(jù)；緊耦合模式雖靈活性較好，但內(nèi)存開銷較大。ParaView 通過使用Catalyst 插件實現(xiàn)了緊耦合原位可視化；松耦合模式下，數(shù)值模擬和可視化處理在不同的節(jié)點上運行，通過推送或抽取方式進(jìn)行數(shù)據(jù)通信；混合模式在松耦合模式的基礎(chǔ)上，將部分計算量不大的數(shù)據(jù)處理操作放在計算節(jié)點上，處理后的數(shù)據(jù)傳至可視化節(jié)點，進(jìn)而實現(xiàn)數(shù)據(jù)可視化。

原位可視化主要包括數(shù)據(jù)組織與壓縮、特征數(shù)據(jù)提取與跟蹤以及數(shù)據(jù)可視化繪制三個步驟：

4.1 原位數(shù)據(jù)組織與壓縮

大規(guī)模水流數(shù)據(jù)中需要可視化的變量有水位、流量和流速等，其中水位、流量為標(biāo)量數(shù)據(jù)，流速為矢量數(shù)據(jù)。標(biāo)量、矢量數(shù)據(jù)的可視化算法不同，對應(yīng)的數(shù)據(jù)存儲結(jié)構(gòu)也不相同。

根據(jù)水流數(shù)據(jù)的時空分布特點，研究原位待處理數(shù)據(jù)的壓縮方法，有效減少待處理的數(shù)據(jù)量，可克服數(shù)據(jù)生成、存儲及網(wǎng)絡(luò)傳輸過程中的瓶頸問題，Tu 等在分布式并行環(huán)境下實現(xiàn)了PDE 數(shù)值計算的網(wǎng)格生成、解算、結(jié)果數(shù)據(jù)體繪制和圖像合成，所有類型的計算均建立在同一套并行八叉樹數(shù)據(jù)結(jié)構(gòu)上，不需在內(nèi)存中拷貝與轉(zhuǎn)換數(shù)據(jù)。

4.2 原位的特征提取與跟蹤

原位特征提取是更為顯著的數(shù)據(jù)精簡方法，特征通常是借助領(lǐng)域知識從原始數(shù)據(jù)中分離得到的子集，它代表一個特定的物理結(jié)構(gòu)、模式或感興趣的事件，如漩渦、激波、渦流和臨界點等，可以用特征刻畫物理現(xiàn)象，并通過特征分類將總的物理現(xiàn)象進(jìn)行分解。

4.3 原位的可視化繪制

原位可視化繪制是將可視化過程與數(shù)值計算有機(jī)結(jié)合的過程。在原位可視化模型中，數(shù)值模擬計算與可視化渲染邏輯上獨立并協(xié)調(diào)運行。

5 原位并行可視化模式

原位并行可視化是在原位可視化的基礎(chǔ)上，對其進(jìn)行并行結(jié)構(gòu)設(shè)計與改組。現(xiàn)主要有三種模式，分別是任務(wù)并行、流水線并行以及數(shù)據(jù)并行。任務(wù)并行中，每一個進(jìn)程獨立執(zhí)行一個任務(wù)，優(yōu)點是相互獨立的任務(wù)能夠并行執(zhí)行，缺點是當(dāng)任務(wù)之間存在相關(guān)性時，并行性受到限制，負(fù)載均衡很難做好。流水線并行是將任務(wù)處理過程按照邏輯關(guān)系劃分為多個階段，通過使用多個線程并行執(zhí)行不同階段來加速處理過程。流水線并行方式能充分利用計算系統(tǒng)硬件資源，缺點是流水段之間的負(fù)載難于均衡。數(shù)據(jù)并行是將數(shù)據(jù)劃分為數(shù)據(jù)子塊并指派給多個線程，并整合各個線程任務(wù)將所產(chǎn)生的子結(jié)果。Duque 等在實現(xiàn)與CFD 數(shù)值模擬緊耦合的原位可視化時，使用不同線程實現(xiàn)CFD 解算、數(shù)據(jù)采樣和可視化，不同的線程共享同一線程塊的內(nèi)存。數(shù)據(jù)并行在數(shù)據(jù)相關(guān)性較弱情況下能達(dá)到很高并行度，但可擴(kuò)展性受限于整合過程中的進(jìn)程間通信復(fù)雜度。Yu 等基于開源CFD 直接數(shù)值模擬軟件S3D，建立了原位可視化系統(tǒng)；Biddiscombe 等使用ParaView 和ICARUS，在CrayXE6 的1536 個計算核心上實現(xiàn)了與CFDSPH（SmoothedParticleHydrodynamics）數(shù)值模擬應(yīng)用的整合和原位可視化。

對于大規(guī)模數(shù)據(jù)流場的可視化，體與幾何面的原位并行可視化的繪制算法，與后處理并行可視化存在不同聯(lián)系。在原位體繪制方面，后處理模式的并行體繪制算法可用于原位可視化，原因在于這些算法可以很好地適應(yīng)數(shù)值模擬的數(shù)據(jù)區(qū)域劃分方式，計算主要在數(shù)據(jù)塊內(nèi)執(zhí)行，不同節(jié)點之間的通信量能夠預(yù)測和控制。可視化數(shù)據(jù)分區(qū)與數(shù)值模擬一致，故算法不需太多改動。Bethel 等對直接體繪制、流/跡線的MPI 和MPI/OpenMP 混合算法的強(qiáng)擴(kuò)展性和弱擴(kuò)展性進(jìn)行了對比。

在原位幾何(流線/面、跡線/面等)可視化方面，后處理中常用的數(shù)據(jù)分區(qū)預(yù)處理、核外方式，難以移植借鑒到原位可視化中，而分布式多核、眾核計算平臺上的并行幾何可視化則具備改造為原位可視化算法的潛力。Camp 等提出了基于CPU 與GPU 集群的并行流線計算方法。

6 研究展望

可視化計算與數(shù)值模擬緊密結(jié)合的原位并行可視化是數(shù)據(jù)分析的必然趨勢，是解決大規(guī)模流場實時可視化的有效途徑，原位可視化技術(shù)在可視化效率、實時數(shù)據(jù)分析及可視化交互等方面有巨大的應(yīng)用前景。隨著計算機(jī)技術(shù)的不斷發(fā)展和水動力學(xué)模型的精度不斷提高，對可視化也提出了新的需求，主要包括以下內(nèi)容：

（1）精確性。高精度的數(shù)值計算需要高精度的可視化方法與之匹配才能更好的分析流場特性，評估計算方法的正確性與合理性。傳統(tǒng)的可視化方法采用后處理模式，對數(shù)值計算結(jié)果進(jìn)行采樣后再進(jìn)行可視化分析，對水流過程的描述不夠完備，可能會丟失某些特征。

（2）時效性和交互性。隨著計算機(jī)性能和數(shù)值計算精度的提高，用戶要求可視化算法具有對大規(guī)模復(fù)雜流場進(jìn)行實時交互繪制的能力■