使用條件生成對抗網絡生成預定導熱率多孔介質*

唐國智 汪壘 李頂根?

1) (華中科技大學能源與動力工程學院, 武漢 430074)

2) (中國地質大學(武漢)數學與物理學院, 武漢 430074)

多孔介質在工程領域中的應用非常廣泛, 其中有效導熱率和孔隙率為多孔介質材料非常重要的性質, 得到一個符合需要的有效導熱率和孔隙率的多孔介質材料具有重要意義.本文使用四參數隨機生成方法制作了訓練數據集, 搭建了一個條件生成對抗網絡(CGAN), 使用預定的有效導熱率和孔隙率作為輸入, 生成一個滿足輸入條件的多孔介質結構.特別地, 由于多孔介質的孔隙結構分布對材料的有效導熱率影響巨大, 提出局部結構損失函數參與網絡訓練, 使得網絡更好地學習到孔隙分布與導熱率之前的關系.通過使用格子Boltzmann 方法驗證神經網絡生成的多孔介質結構的有效導熱率, 結果表明該方法能夠快速且準確地生成預定參數的多孔介質結構.

1 引 言

多孔介質在工程領域的應用非常廣泛, 其有效導熱率是衡量多孔介質傳熱能力的重要物理參數.一般而言, 導熱率高的多孔介質可以用于制作散熱器件[1,2], 而導熱率低的多孔介質可用于制作熱阻器件[3,4].據此, 研究多孔介質微觀結構與其宏觀表征參數(例如有效導熱率)的關系對探究多孔介質內流體輸運過程具有重要的科學意義和現實價值[5].

目前, 國內外已有許多研究人員從表征體元尺度和孔隙尺度對多孔介質內流體輸運問題開展了研究[6,7], 結果表明多孔介質內流體流動和傳熱問題與傳統流體輸運問題有較大不同.不同于前人研究工作, 本文聚焦于多孔介質微觀孔隙結構與和宏觀有效導熱率之間的映射關系.關于此問題, 已有不少學者通過采用計算流體力學中的各類數值方法, 數值模擬多孔介質內傳熱過程, 進而預測出多孔介質的有效導熱率[8,9].例如Fang 等[8]考慮傳導和輻射的綜合作用, 采用離散縱坐標法求解輻射傳遞方程, 采用格子Boltzmann 方法(LBM)預測了多孔介質的有效導熱系數.Wang 和Pan[9]采用LBM 對開孔泡沫材料的有效熱導率進行了預測,并將預測結果與實驗結果進行了對比, 結果顯示吻合較好.需要指出, 這種直接數值模擬方式盡管為預測多孔介質有效導熱率提供了一種行之有效的計算方法, 但該方法往往需要較高的計算成本和計算時間.近年來, 機器學習方法迅速發展, 其在多個工程應用鄰域都展示了獨特的優勢, 其作為一種數據驅動的模型, 在完成模型訓練后具有快速預測的特點[10,11].鑒于此, 最近Han 等[12]通過使用二維多孔介質作為模型的輸入, 訓練了一個序列式的卷積網絡模型進而對多孔介質的有效導熱率進行預測, 結果表明基于卷積網絡模型的預測結果與數值模擬方法得到的有效導熱率數據吻合較好；他們還發現: 與傳統數值模擬方法相比, 機器學習方法能夠很大程度節省預測時間, 通過實驗測得訓練好的機器學習模型在單核2.4 GHz CPU 工況下預測128 × 128 尺寸多孔介質有效導熱率只需0.06 s, LBM 方法在相同的硬件下計算128 × 128的多孔介質導熱率需106 s.實際工程應用中, 除上述基于多孔介質結構進行有效導熱率的直接預測外, 人們往往也關注其逆過程, 即基于人為給定的預定導熱率設計出一類合理的多孔介質結構[13?16].針對該問題, 較為常用的方法是通過使用三維成像技術, 對有限個多孔介質的二維切片數據進行重構[17,18], 重構的方法包括多點統計(MPS)[19?21]、直接采樣(DS)[22]和互相關的仿真算法(CCSIM)[23?27]等.顯然, 對于上述重構方法, 所獲得的二維切片信息越多, 算法表現就越好.但由于實驗過程中只能獲取局部的結構信息, 所以直接從不完善的二維圖像信息重建三維圖像往往十分困難.為此, 已有科研人員提出另外一種重構思路, 即先對具有有限信息的二維圖像進行重構, 然后再將所得的二維重構圖像應用于三維圖像的重建[28].基于這種思路, 研究人員將許多機器學習技術應用于多孔介質的重構過程中, 包括決策樹方法[29,30]、二維生成對抗網絡(GAN)和二維條件生成對抗網絡(CGAN)[31?33], 三 維GAN 和 三 維CGAN[34?38],以及基于卷積神經網絡(CNN)[39]的方法等.例如, Feng 等[28]使用CGAN 把多孔介質的二維多孔介質的局部結構作為輸入用于恢復整體二維多孔介質結構.Denis 等[40]使用二維多孔介質切片作為輸入用于恢復完整的三維多孔介質結構.這些工作的目的都是通過已知的局部多孔介質結構來重建整體結構, 評判的標準為重建結構與標簽結構的相似性, 取得了較好的效果.

上述的機器學習方法在重建多孔介質孔隙結構方面表現良好, 但其關注的是多孔介質結構的宏觀結構, 沒有關注多孔介質結構與有效導熱率之間的關系.一般而言, 孔隙率大的多孔介質對應的有效導熱率往往越小, 但應該注意相同孔隙率條件下, 不同的孔隙分布的多孔介質對應的有效導熱率也會存在一定差異[41,42].如圖1 所示, 圖1 中各多孔介質的孔隙率皆為0.45, 黑色部分為孔隙,K1,K2和 K3表示多孔介質導熱率, 但是不同的結構分布導致它們擁有不同的導熱率.此外, 多孔介質的結構對導熱率也有巨大影響, 細微結構的變化會改變其導熱率[41,42], 如圖2 所示, K1和 K2表示多孔介質導熱率, 圖中使用5 個顏色不同的框標出了局部結構的細微差異, 表明多孔介質的微觀結構對其有效導熱率有一定的影響, 其中存在著某種映射關系.鑒于此, 本文使用條件生成對抗網絡來學習這種映射關系, 其中訓練網絡所需要數據集主要是通過使用四參數隨機生成方法(quartet structure generation set, QSGS)[42]來生成, 網絡模型訓練完畢后通過輸入人為預定的導熱率和孔隙率來生成多孔介質結構, LBM 計算的多孔介質導熱率已被驗證具有合理性, 如表1 所列[42], 然后使用LBM來驗證生成多孔介質導熱率的合理性[43,44], 并考察神經網絡模型生成多孔介質結構的效率.

圖1 不同孔隙分布多孔介質示意圖 (a) K1 = 5.52; (b) K2 =6.37; (c) K2 = 7.32Fig.1.Schematic diagram of porous media with different pore distributions: (a) K1 = 5.52; (b) K2 = 6.37; (c) K2 = 7.32.

圖2 局部結構差異 (a) K1 = 6.0; (b) K2 = 6.4Fig.2.Local structural differences: (a) K1 = 6.0; (b) K2 = 6.4.

2 使用CGAN 生成多孔介質

2.1 使用QSGS 算法和LBM 制作訓練數據

QSGS 算法是一種十分簡單快捷的多孔介質生成法, 它主要由生成多孔介質尺寸、孔隙率、初始成核概率以及各方向生成概率參數等控制多孔介質的生成.主要的工作原理是, 先設置生成的多孔介質尺寸為 d ×d , 再設初始設置的孔隙率為x 且 x <1 , 初始成核概率為 p1且 p1<1 , 各方向生成概率 p2且 p2<1.首先以此開始遍歷預生成多孔介質上的每一個點, 在每一個點上生成一個0—1之間的隨機數, 若隨機數小于 p1, 則把這一點作為初始核, 指導遍歷完全部的點.然后以生成的初始核為基礎, 在每個初始核的各個生成方向分別(二維多孔介質具有8 個生成方向, 如圖3 所示)生成0—1 之間的隨機數；若生成的隨機數小于 p2, 則把該方向對應的點轉換為實體點, 同時統計所有實體點的數量, 當實體點的數量大于或等于設定的實體點總數 ( d×d×d) 時, 結束生成, 并輸出生成好的多孔介質結構.調整孔隙率以及各方向生長概率等參數可以生成不同形態的多孔介質結構, 圖4為四參數隨機生成法生成的多孔介質示例, 再使用LBM 計算QSGS 算法所生成多孔介質的有效導熱率作為訓練集的標簽導熱率.

表1 LBM 計算多孔介質導熱率與實驗值比較Table 1.Comparison between LBM calculation of thermal conductivity of porous media and experimental values.

圖3 二維多孔介質各方向生成示意圖Fig.3.Schematic diagram of the generation of two?dimen?sional porous media in all directions.

圖4 四參數隨機生成法生成二維多孔介質示例圖Fig.4.An example of two?dimensional porous media generated by the four?parameter random production method.

2.2 條件生成對抗網絡

2.2.1 原 理

CGAN 是GAN 的拓展, 下面先介紹生成對抗網絡的原理.生成對抗網絡由兩個對抗模塊組成:生成模型G 和判別模型D.生成模型G 用于學習數據的分布, 判別模型D 用于估計樣本是來自訓練數據而不是生成模型G 的概率大小, 生成模型G 和判別模型D 都與多層感知機類似為一個非線性的映射函數.

為了在訓練數據x 上學習到生成分布 pg, 生成器建立了一個從先驗噪聲分布 pz(z) 到數據空間 G (z;θg) 的映射函數.而判別器 D (x;θd) 輸出一個表示x 來自訓練數據而不是生成分布 pg的概率.G和D 同時訓練, 調整G 的參數使得最小化log(1?D(G(z)) , 調整D 的參數使得最小化 l og D(X) ,且需服從two?player min?max game 公式 V (G,D) ,如下所示:

生成器G 暗示概率分布 pg定義為當 z ～pz時獲得的樣本 G (z) 的分布.因此, 如果給定足夠的模型容量和訓練時間, 算法可以使 pdata收斂到最優的情況.此部分的結果是在非參數設置中完成的, 例如通過研究概率密度函數空間中的收斂來表示具有無限容量的模型.下面證明minimax game 可以使pg=pdata得到全局最優解.首先考慮對于任意給定的生成器G 對應的最佳判別器D.

命題對于給定的生成器G, 最優判別器D 為

對于任何生成器G, 判別器D 的訓練標準是最大化 V (G,D) :

在(3)式中, 對于任意的 ( a,b)∈R2{0,0} , 函數y →a log(y)+b log(1 ?y) 在 區 間 [ 0,1] 中 的上取得其最大值.注意到, 判別器D 的訓練目標可以描述為最大化用于估計條件概率 P (Y =y|x) 的對數似然, 其中Y 表示x 是來自 pdata(y =1) 還是來自pdata(y =0).

圖5 生成器網絡結構圖Fig.5.Generator network structure diagram.

如果生成器和判別器包含了一個額外的輸入數據y, 則生成對抗網絡可以拓展為條件生成對抗網絡, y 可以是任意類型的輔助輸入信息, 如輸入數據的類別標簽或用其他方法表示的輸入數據.可以把條件生成對抗網絡中的條件表現為一個使用y 來填充的額外輸入層添加到生成器和判別器中.在生成器中, 由先驗高斯噪聲 pz(z) 和y 共同組成輸入, 加入先驗高斯噪聲 pz(z) 的目的是使生成器具有一定的隨機性, 否則生成器將訓練為一個自回歸模型, 無法具備泛化性能.而在判別器中, 由x 和y 共同組成輸入.所以條件生成對抗網絡中two?player minimax game 的目標函數為

2.2.2 生成器網絡結構

首先使用三個全連接層把三個輸入擴展為包含16384 個元素的向量, 把這個向量轉換為128×128 的二維矩陣使得后續能使用卷積進行數據處理.引入一個先驗高斯噪聲 pz(z) 組成的方陣與數據矩陣在深度上融合, 這使得輸入數據具有一定的隨機性, 避免生成模型被訓練為一個自回歸模型.再使用尺寸為(6, 6)且步長為(2, 2)的卷積核對融合數據進行下采樣使其維度逐漸降低, 對卷積中的權重采用L2 正則化防止模型過擬合, 這是提高模型泛化能力的有效方法.利用下采樣操作使特征圖下降到一定程度后, 使用尺寸為(2, 2)的反池化操作對特征圖進行上采樣再使用不變卷積(卷積后特征圖尺寸不會變化)核進行卷積操作, 使其還原到二維多孔介質原本的尺寸, 在每次反卷積操作后同樣進行批量歸一化和激活操作, 具體的框架圖如圖5 所示.

2.2.3 判別器網絡結構

判別器的輸入為生成器輸出的多孔介質數據或訓練數據中的多孔介質數據, 對輸入的數據進行卷積核尺寸為(7, 7), 步長為(2, 2)卷積等多層次下采樣操作提取其深層次的特征, 在每次卷積后進行批量歸一化和激活操作, 在引入Dropout 隨機失活防止模型過擬合, 通過一系列的上采樣卷積等操作得到一個深層次的特征矩陣, 然后把矩陣形式的數據拉平為一個長向量的形式, 再把長向量通過全連接層計算輸出一個值, 這個值最后經過sigmoid 激活函數變為一個0—1 的輸出, 表示輸入的多孔介質數據來自訓練數據的概率大小.具體的判別器網絡結構如圖6 所示.

圖6 判別器網絡結構圖Fig.6.Discriminator network structure diagram.

2.2.4 局部結構損失函數

傳統的條件生成對抗網絡還不足以滿足多孔介質數據生成, 因為其無法關注多孔介質中局部細微的結構, 生成的多孔介質如圖7 所示, 無法生成精確的局部細節, 而局部結構對于多孔介質的有效導熱率有重大的影響, 所以在條件生成對抗網絡原有的損失函數基礎上, 設計加入了一個額外的局部結構損失函數, 它主要關注生成器輸出的多孔介質局部結構與訓練數據中多孔介質局部結構隱含的相似性, 確保生成器學習到正確有效的隱含映射.局部結構損失函數如圖8 所示.

圖7 傳統條件生成對抗網絡生成的多孔介質Fig.7.Porous media generated by traditional conditional generation adversarial network.

如圖8 所示, 局部結構損失函數的實現原理與卷積操作類似, 但是其滑動窗口中的權值都固定為1, 在生成器生成的多孔介質數據上使用這種特殊的損失核進行計算, 在對應的訓練數據中的多孔介質上也進行同樣的操作, 然后對分別其求和, 最后計算兩者的平方誤差.如此設計的局部結構損失函數可以使得生成器從訓練數據中學習到多孔介質局部結構對導熱率影響的隱性映射.

圖8 局部結構損失結構圖Fig.8.Structure diagram of local structure loss.

3 實驗結果

圖9 生成多孔介質結構示意圖Fig.9.Schematic diagram of generating porous media.

所提出的模型在搭載單張1080 Ti GPU 及32 核CPU 服務器上使用tensorflow 框架訓練和推理, 生成128 × 128 尺寸多孔介質需0.08 s.訓練好的生成模型可以有效學習到多孔介質結構和有效導熱率之前的隱藏映射, 模型會根據從訓練數據中學習到的規律對已有的多孔介質結構進行調整, 從而生成一個數據集中沒有的導熱率對應的多孔介質結構.為了測試訓練好的生成模型的泛化性能, 可以輸入一個訓練集中不存在的導熱率讓生成模型生成一個多孔介質結構, 并使用LBM驗證生成的多孔介質結構的有效導熱率, 相關模型的具體介紹, 可參考文獻[40,41].如圖9 所示.圖9(a)—(d)左側為訓練數據中的多孔介質結構,右側為生成模型生成的特定導熱率對應的多孔介質結構.

圖9 中Kinput和Pinput分別為輸入生成模型的人為預定導熱率和人為預定孔隙率; Kverify和Pverify分別為生成模型生成多孔介質的有效導熱率和孔隙率; Klabel為訓練集中多孔介質對應的導熱率標簽.

4 驗證與分析

由模型生成的多孔介質結構, 可在訓練集中找到比其有效導熱率高和低得多孔介質結構, 從圖9中可明顯看出生成的多孔介質在結構上與訓練中的已有多孔介質結構有一定的相似, 這說明生成模型是在訓練集中已有的多孔介質結構的基礎上對其進行細節調整, 從而得到新的多孔介質結構, 表明生成模型有效地學習了訓練集中導熱率和多孔介質結構之間的隱藏映射, 通過輸入訓練集中不存在的導熱率進行驗證, 證明生成模型具有了良好的泛化性能.為了證明模型的有效性與泛化性, 使用LBM 方法對生成的多孔介質進行導熱率驗證, 同時也驗證其孔隙率, 并給出生成的導熱率和孔隙率的誤差.

生成的多孔介質導熱率驗證結果如圖10 所示, 圖10 包含5 個子圖, 每個子圖表示輸入不同孔隙率和導熱率比生成多孔介質驗證結果, 各子圖右下角給出一個生成示例并標明生成導熱率, 紅色點數據點表示輸入人為預定導熱率與LBM 驗證生成多孔介質導熱率的對比, 若生成的多孔介質導熱率沒有誤差, 則數據點應表現為45°線, 可以明顯看出數據點基本與45°的標簽線重合, 說明生成多孔介質符合要求.下面給出生成多孔介質導熱率驗證誤差.

圖11 中包含5 個子圖, 分別對應圖10 中各子圖生成導熱率的誤差, 其誤差計算公式為

圖10 生成多孔介質有效導熱率驗證圖Fig.10.Generate verification chart of effective thermal conductivity of porous media.

圖11 生成多孔介質有效導熱率誤差圖Fig.11.Error chart of effective thermal conductivity of porous media.

式中, kLBM和 kgenerate分別為LBM 驗證生成的多孔介質有效導熱率標簽和輸入生成模型的人為預定導熱率.把所有驗證數據和誤差匯總如圖12 所示.

從圖12 中可看出, 生成多孔介質導熱率驗證誤差隨著孔隙率增大呈現單調遞增, 這是因為多孔介質的導熱率與其孔隙率基本呈反比關系, 孔隙率越大其導熱率越小, 導致在大孔隙率條件下, 不同孔隙率分布對有效導熱率的影響也變小, 出現較大差異的孔隙分布但導熱率相差卻很小的情況, 使得生成模型更難以學習多孔介質結構與導熱率的隱藏映射, 所以誤差會上升.但即便如此, 生成多孔介質的導熱率驗證誤差最大也沒有超過2%, 說明生成模型取得了比較好的泛化性能.

下面給出生成多孔介質孔隙率的綜合驗證結構集誤差, 如圖13 所示.

圖13 中黑色的點代表輸入模型的孔隙率, 紅色的點代表模型生成的多孔介質的孔隙率, 紅色點與黑色點的距離越近表示模型效果越好, 從圖13中可明顯看出, 紅色點與黑色點距離都很小, 并給出孔隙率誤差.下面給出量化誤差, 如表2 所列.從表2 中也可看出整體的誤差均值不超過4%.

圖12 生成多孔介質有效導熱率驗證數據集誤差匯總圖Fig.12.The error summary of the validation data set for the effective thermal conductivity of porous media.

圖13 生成多孔介質孔隙對比圖及誤差Fig.13.The effect diagram and error of generating pores in porous media.

表2 生成多孔介質導熱率及孔隙率誤差表Table 2.Generated thermal conductivity and porosity error table of porous media.

5 結 論

本文使用了條件生成對抗網絡來生成特定導熱率和孔隙率的多孔介質結構, 對傳統的條件生成對抗網絡進行了改進, 引入了一個額外的局部結構損失函數, 這種額外的注意機制使得生成模型可以學習到多孔介質局部機構與有效導熱率之間的隱藏關系, 使得生成的多孔介質局部結構更為合理.生成模型是從數據集中已存在的多孔介質結構學習到了結構與有效導熱率之間的隱藏映射, 在其生成的新的多孔介質結構中可以發現與訓練集中已有的多孔介質結構有相似的地方, 表明模型確實從訓練數據集中學習到了規律并具有了良好的泛化性能.從實驗的效果圖和誤差圖可以看出, 本文提出的改進后的條件生成對抗網絡在生成特定導熱率和孔隙率的多孔介質上平均誤差均小于0.05, 取得了良好的效果.