混雜復合材料等效熱傳導性能預測的小波-機器學習混合方法*

寇雯博 董灝? 鄒岷強 韓均言 賈西西

1) (西安電子科技大學數學與統計學院,西安 710071)

2) (西安電子科技大學機電工程學院,西安 710071)

3) (西安電子科技大學計算機科學與技術學院,西安 710071)

混雜復合材料是一種新型復合材料,其復雜的細觀結構導致預測其等效熱傳導性能極富挑戰性.本文結合漸近均勻化方法、小波變換方法和機器學習方法發展了一種新的可以有效預測混雜復合材料等效熱傳導性能的小波-機器學習混合方法.該方法主要包括離線多尺度建模和在線機器學習兩部分.首先借助漸近均勻化方法通過離線多尺度建模建立了混雜復合材料的熱傳導性能材料數據庫,然后利用小波變換方法對離線的材料數據庫進行預處理,接下來分別運用人工神經網絡和支持向量回歸方法建立混雜復合材料等效熱傳導性能預測的在線機器學習模型.最后通過對周期和隨機混雜復合材料進行數值實驗,驗證了小波-機器學習混合方法的有效性,數值實驗結果表明小波-神經網絡混合方法具有最優的預測效果和抗噪能力.此外,需要強調的是對于具有高維大規模數據特征的隨機混雜復合材料,小波-機器學習混合方法不僅可以提取離線材料數據庫的重要特征,還可以顯著減少在線監督學習的輸入數據規模并提高機器學習模型的訓練效率及抗噪性能.本文建立的小波-機器學習混合方法不僅適用于混雜復合材料等效熱傳導性能的預測,還可進一步推廣應用于復合材料等效物理、力學性能的預測.

1 引 言

混雜復合材料是一種在同一基體或多個基體中增加兩種或兩種以上夾雜材料制成的新型復合材料[1],如碳纖維-玻璃纖維混雜復合材料、碳纖維-芳綸纖維混雜復合材料等,若混雜得當可使得混雜復合材料具備優異的熱學、力學性能.近年來,隨著航天、航空工業的快速發展,混雜復合材料由于具有良好的熱穩定性和抗疲勞性被廣泛應用于制造飛行器的機身、機翼、隔熱結構等.總之,混雜復合材料的應用正處于蓬勃發展的階段,但是有關混雜復合材料基礎性的理論研究還比較少,為了給新型飛行器的隔熱結構設計和性能優化提供堅實的基礎理論和高性能算法,研究混雜復合材料熱傳導性能的有效預測方法具有重要的應用價值和理論意義.

相比傳統的復合材料,混雜復合材料的組成成分和微觀結構更加復雜,預測其等效熱傳導性能需要發展更加高精度、高效率的方法.為了預測復合材料的等效熱傳導性能,數學家和工程師已經發展出了多種解析方法[2?4]來研究其等效熱傳導性能,但是這些解析方法僅僅能夠預測具有簡單微觀結構的復合材料的熱傳導性能,無法分析具有復雜微觀結構的混雜復合材料.此外,研究人員還提出了預測復合材料等效熱傳導系數的數值方法[5?9],使得具有復雜微觀結構的復合材料的等效熱傳導性能能夠得到精確的預測和分析.其中,漸近均勻化方法具有嚴格的數學基礎,且能夠很好地與有限元方法結合[10],在實際工程應用中得到了廣泛的應用.漸近均勻化方法通過建立周期單胞(unit cell,UC)或者代表體積元(representative volume element,RVE)來精細刻畫復合材料的微觀構造,之后通過求解UC 或RVE 上的輔助單胞問題得到捕捉復合材料微觀振蕩信息的輔助單胞函數.最后,通過在UC 或RVE 上做積分得到復合材料的宏觀等效材料參數和宏觀均勻化問題,漸近均勻化方法可以有效預測復合材料的宏觀等效性能[10].但是對于混雜復合材料,不同的微觀結構導致需要重新計算輔助單胞問題,然后重新計算混雜復合材料的等效材料參數,這導致了計算資源的極大耗費,因此有必要發展一種高效率、可避免重復計算的混雜復合材料等效熱傳導性能預測方法.

近年來,隨著計算機科學技術的迅猛發展,機器學習方法被廣泛應用到各個工程領域.在材料科學領域,Sundararaghavan 和Nicholas[11]采用支持向量機方法實現了三維復合材料的分類和重構.Liu 等[12]基于支持向量機方法預測了高對比三維復合材料彈性應變場的分布.Sun 等[13]利用支持向量機方法預測和理解塊體非晶合金的玻璃形成能力.Kondo 等[14]借助卷積神經網絡方法建立了陶瓷材料微觀結構和離子導電率之間的映射關系.Cang 等[15]發展了形態感知生成模型并借助圖像數據和卷積神經網絡方法預測了復合材料的物理性質.Bessa 等[16]基于數據驅動建立了分析復合材料力學響應和設計復合材料微觀結構的計算框架.Benyelloul和Aourag[17]采用混合的遺傳算法和人工神經網絡方法預測了奧氏體不銹鋼的體積模量.基于圖像建模和深度學習,Li 等[18]成功地預測了頁巖復合材料的有效力學性質.Balokas 等[19]結合神經網絡方法和多尺度分析預測了三維編織復合材料的彈性性能.Liu 和Wu[20]研究了數據驅動的多尺度力學中深度材料網絡的三維結構.Rong等[21]結合二維截面圖像和卷積神經網絡預測了三維復合材料的有效熱傳導系數.但是,對于預測混雜復合材料等效熱傳導性能的高精度、高效率的機器學習方法缺乏充分的研究.

本文主要研究了預測具有周期型或隨機型微觀結構的混雜復合材料等效熱傳導性能的機器學習方法.混雜復合材料通常由兩種以上的不同成分組成,其熱傳導性能與各組成材料的性能及其微觀結構密切相關,要建立混雜復合材料宏觀等效熱傳導性能與各組成材料的性能以及微觀結構之間的顯式關系或公式十分復雜.本文通過結合漸近均勻化方法、小波變換方法和機器學習方法各自的優勢,建立了一種新的有效預測混雜復合材料等效熱傳導性能的機器學習框架.本研究的主要創新點有三方面: 第一,借助于漸近均勻化方法建立了混雜復合材料的材料數據庫,該材料數據庫可以準確提取混雜復合材料各組分的材料參數和微觀結構信息,并包含準確計算的混雜復合材料等效熱傳導系數.第二,基于人工神經網絡(artificial neural network,ANN)方法和支持向量回歸(support vector regression,SVR)方法對建立的混雜復合材料的材料數據庫進行了數據挖掘和監督學習,建立了能夠有效預測混雜復合材料等效熱傳導系數的機器學習模型.第三,借助小波變換方法解決了具有復雜微觀結構的隨機混雜復合材料的材料數據庫在線機器學習的困難.基于小波變換方法的預處理策略不僅可以大大減少機器學習模型的輸入數據規模,保證機器學習模型的成功訓練,而且可以提取原始材料數據庫中的主要特征并自動過濾原始數據中的噪聲.最后,本文成功建立了可以有效預測混雜復合材料等效熱傳導性能的小波-機器學習混合方法,所建立的機器學習框架具有極強的擴展性,可以應用于混雜復合材料其他物理、力學性能的預測和分析.

2 離線多尺度建模

本節首先給出三種代表性混雜復合材料的微觀結構的計算機建模.隨后基于建立的混雜復合材料微觀幾何結構,利用漸近均勻化方法建立其熱傳導問題的多尺度模型,得到混雜復合材料等效熱傳導系數的計算公式.最后選取混雜復合材料的特征數據,并將計算得到的等效熱傳導系數值作為用于機器學習的數據標簽,建立混雜復合材料的材料數據庫,完成混雜復合材料的離線多尺度建模.

2.1 混雜復合材料計算機模型及其熱傳導問題的漸近均勻化方法

本文主要研究三種混雜復合材料,包括兩種周期型混雜復合材料和一種隨機型混雜復合材料,三種混雜復合材料的微觀結構計算機模型如圖1所示.

對于這三種混雜復合材料,其計算機幾何模型具體生成算法如下:

1) 對于周期型混雜復合材料I 和II,如圖1(a)和圖1(b)所示,首先生成混雜復合材料的內部夾雜邊界和整個材料的外部邊界,然后建立該混雜復合材料的有限元網格.

2) 對于隨機型混雜復合材料,如圖1(c)所示,采用文獻[22,23]中的概率分布模型和網格生成算法來創建其微觀結構.

需要說明的是,本文研究的所有混雜復合材料的微觀結構均基于Freefem++軟件二次開發生成.基于上述算法,我們成功地建立了周期型和隨機型混雜復合材料的計算機幾何模型和有限元計算網格.

基于建立的混雜復合材料微觀結構計算機幾何模型,建立混雜復合材料熱傳導問題的漸近均勻化方法,得到混雜復合材料等效熱傳導系數的計算公式.首先考慮如下的混雜復合材料的熱傳導問題:

其中?是一個 RN(N=2,3) 中的有界凸區域并具有邊界??=??T ∪??q; 小參數ε代表混雜復合材料的周期單胞(UC) 或代表體積元(RVE)的特征尺寸;Tε(x) 是待求解的溫度場;kiεj(x) 代表二階熱傳導系數張量;h(x) 是混雜復合材料的內部熱源;T︿(x) 是邊界??T上的溫度場;qˉ(x) 是邊界??q上的熱流場.此外,我們強調所有周期型和隨機型混雜復合材料都用RVE 來統一描述其微觀結構.

根據漸近均勻化方法的理論[10],令y=x/ε為代表體積元Q=(0,1)N的微觀坐標,于是可以得到如下的鏈式法則:

對于(1)式的多尺度熱傳導問題,假設其精確解Tε(x)具有如下的漸近展開形式:

接下來,將(3)式代入(1)式,并借助鏈式法則(2)式,可以得到用于求解輔助單胞函數Mα1(y)的具有齊次狄利克雷邊界條件的輔助單胞問題如下所示:

然后在代表體積元Q上做積分并利用高斯定理,得到混雜復合材料的宏觀均勻化熱傳導問題為

圖1 混雜復合材料計算機模型 (a) 周期混雜復合材料I; (b) 周期混雜復合材料II; (c) 隨機混雜復合材料Fig.1.Computer geometric models: (a) Periodic hybrid composite material I; (b) periodic hybrid composite material II;(c) random hybrid composite material.

(6)式被應用于預測研究的三種混雜復合材料的等效熱傳導性能.

2.2 混雜復合材料的材料數據庫

針對所研究的三種混雜復合材料,首先建立其計算機幾何模型和有限元計算網格.然后采用漸近均勻化方法計算其等效均勻化材料參數.通過離線多尺度建模,可以得到混雜復合材料包含數據特征和數據標簽的材料數據庫.該材料數據庫的數據特征包括混雜復合材料組成成分的材料參數和微觀結構幾何參數,該數據庫中的數據標簽為混雜復合材料的等效熱傳導系數,數據庫的建立對在線機器學習建立預測混雜復合材料等效熱傳導性能的機器學習模型至關重要.

假設本文研究的混雜復合材料的夾雜材料和基體材料都是各向同性的.對于圖1(a)和圖1(b)所示的周期型混雜復合材料I 和II,數據特征設置為夾雜材料的熱傳導系數kc1和kc2,基體材料的熱傳導系數km和夾雜物1 的半徑r1與夾雜物2 的半徑r2.為便于建模分析,采用歸一化的思想,將代表體積元Q的邊長設置為1,熱傳導系數kc1,kc2和km均在(0,1)中隨機生成并服從均勻分布,夾雜物半徑r1和r2均在(0,0.25)中隨機生成并服從均勻分布.對于圖1(c)所示的隨機型混雜復合材料,數據特征的選擇比周期型混雜復合材料更為復雜.為了解決這一問題,引入了等間距矩形網格作為背景網格來提取機器學習需要的數據特征.需要強調的是,用于提取材料特征的背景網格與漸近均勻化方法中的有限元計算網格不同.然后定義隨機型混雜復合材料的夾雜材料的熱傳導系數kc1,kc2和基體材料的熱傳導系數km仍在(0,1)中服從均勻分布隨機生成.隨后,選取背景網格上各個節點的熱傳導系數為隨機型混雜復合材料的數據特征.需要注意的是,背景網格法也可以應用于周期型混雜復合材料.但是周期型混雜復合材料的數據特征十分明顯,沒有必要采用這種方法.將所有混雜復合材料的數據標簽統一設定為利用漸近均勻化方法計算得到的混雜復合材料等效熱傳導系數.

據此,建立周期型和隨機型混雜復合材料的材料數據庫,具體的材料數據庫構成詳見表1 和表2.

表1 周期型混雜復合材料的材料數據庫Table 1.Database for periodic hybrid composite material.

表2 隨機型混雜復合材料的材料數據庫Table 2.Database for random hybrid composite material.

3 在線機器學習

本節首先介紹小波變換方法的理論基礎及其在我們建立的小波-機器學習混合方法中的應用.然后介紹我們建立的混雜復合材料等效熱傳導性能預測的小波-機器學習混合方法.需要強調的是,新引入的小波預處理策略對于保證機器學習模型的成功訓練至關重要,而且可以在很大程度上提高學習的效率,此外小波預處理具有自動過濾噪聲的功能.

3.1 小波變換方法

訓練過程是成功建立機器學習模型至關重要的部分,但是如果訓練集中輸入數據規模較大會對機器學習模型的結構產生很大影響,并導致訓練效率降低和監督學習難度增加,因此我們創新地采用小波變換方法對具有大規模數據特征的混雜復合材料的材料數據庫進行數據預處理.已有研究表明,小波變換方法是信號和圖像處理領域中數據壓縮和特征提取的強有力工具[24?27].

小波變換方法的一個主要優點是能夠從輸入數據中提取多尺度信息.通過對輸入數據遞歸使用,小波變換會得到輸入數據的多層小波分解[25,28].接下來給出三層小波分解過程的示意圖,如圖2 所示,原始數據經一次小波分解后得到近似系數CA1和細節系數CD1兩部分; 然后將近似系數CA1作為輸入進行下一次小波分解,得到近似系數CA2和細節系數CD2; 最后將CA2作為輸入進行下一次小波分解,得到近似系數CA3和細節系數CD3.三層小波分解得到的最終結果為[CA3,CD3,CD2,CD1].針對原始數據特征進行多層小波分解的主要優點有兩點: 1) 從小波分解得到的結果中選取合適的小波系數作為新的監督學習輸入數據,能顯著減小用于機器學習模型訓練的輸入數據規模,保證機器學習模型的成功訓練并提高訓練效率; 2) 通過小波分解可以過濾原始數據中的噪聲,提高訓練得到的機器學習模型的準確率.此外,需要強調的是,通常選取小波近似系數和最高層次的小波細節系數作為新的輸入數據,這樣選擇的根本原因是較低層的細節系數包括來自原始數據特征的噪聲和小的數據波動.

圖2 三層小波分解示意圖Fig.2.Schematic of three-level wavelet decomposition.

在隨后的數值實驗中,針對隨機型混雜復合材料,采用99×99 的背景網格提取樣本各節點的材料參數作為原始數據集樣本的特征.在此背景網格下,總共有10000 個節點,即10000個原始數據特征,若直接采用如此大規模的數據特征作為機器學習模型輸入數據,要保證機器學習模型的成功訓練相對困難,因此采用上述小波變換方法對原始數據進行預處理,以減小輸入數據的特征規模.選用小波函數“db1”,對原始數據特征進行三層小波分解,將得到的1250 個小波系數CA3作為新的輸入數據特征,建立隨機型混雜復合材料新的材料數據庫,如表3 所列.

表3 隨機型混雜復合材料新的材料數據庫Table 3.New database for random hybrid composite material.

3.2 小波-機器學習混合方法

在機器學習領域,ANN 方法和支持向量機(support vector machine,SVM)方法是兩種廣泛應用的經典方法.首先對ANN 方法的基本原理做簡單介紹.ANN 是一種應用類似于大腦神經突觸連接的結構進行信息處理的數學模型,ANN 方法中最基本的組成單元是神經元[29],圖3(a)給出了一個神經元模型.多個神經元按一定的層級結構連接起來就得到了神經網絡模型,多層前饋神經網絡模型是一種常用的ANN 模型,其基本構架如圖3(b)所示.通常,ANN 的第一層為輸入層,最后一層為輸出層,中間可包含若干隱藏層,每一層中的每一個圓圈代表一個神經元.

在神經元模型中,來自其他n個神經元的輸入信號xi分別和權重wi相乘后傳遞至當前神經元,神經元接收到的總輸入疊加求和后再加上一個偏置b,然后用激活函數σ(·) 對其進行作用產生當前神經元的輸出f,其中偏置b可等效為一個固定輸入x0=1 和權重w0=b相乘后傳遞至當前神經元.從數學上講,ANN 方法的最終目標是學習得到一個最佳的映射函數φ(·) ,以便在給定輸入x時能夠獲得其對應標簽y的近似值[29],即:

通常ANN 采用鏈式結構,映射φ(·) 由函數f層層嵌套生成,即:

式中,函數fi(x)=σ(Wix+bi),i=0,1,··· ,n,其中Wi為權重矩陣,bi為偏置,σ(·) 為激活函數.ANN 方法的本質即通過不斷學習,更新權重和偏置參數求解如下極值問題,使得φ(·) 能夠更好地模擬輸入數據和輸出數據之間的關系.

圖3 人工神經網絡方法示意圖 (a) 神經元模型; (b) 多層前饋神經網絡模型Fig.3.Schematic of artificial neural network: (a) The neuron model; (b) the multilayer feedforward ANN model.

圖4 機器學習混合方法流程圖Fig.4.Flowchart of hybrid wavelet-based learning method.

其中θk=(Wk,bk),θ=(θ0,··· ,θn) ,L為損失函數,ψ為正則函數.ANN 方法訓練過程中常用的激活函數有ReLU 函數:σ(z)=max(0,z) 和Sigmoid函數:σ(z)=1/(1+e?z) ,常用的損失函數有均方誤差(mse) 和絕對誤差(mae) 等,常用的優化算法有隨機梯度下降算法(SGD)、自適應梯度算法(AdaGrad)和自適應矩估計算法(Adam)等.

SVR 方法是基于SVM 方法發展而來的一種回歸方法,在實際應用中,許多問題都不是線性可分的,SVR 通過使用核函數把不能夠線性可分的原始樣本空間映射到一個新的高維的樣本空間,使得新得到的高維樣本空間可能是線性可分的,一些數學家已經證明了對于一個有限維樣本空間,必然存在一個高維的特征空間使得樣本可分[30].SVR 方法的具體數學模型[30]為給定訓練集D={(x1,y1),(x2,y2),··· ,(xm,ym)},其中xi ∈Rn和yi ∈R ,定義相似性函數?(·) 和核函數κ(xi,xj) ,κ(xi,xj)=〈?(mxi),?(xj)〉=?(xi)T?(xj) ,其中〈·,·〉為高維特征空間中的內積.然后得到?(x) 為原始向量x經過映射后得到的特征向量,SVR 方法的數學模型就是確定一個函數F(x)=θT?(x)+b,該函數滿足如下極值問題:

其中θ和b為模型參數,C為正則化參數,?ε為ε-i nsensitive 損失函數并滿足如下的關系式:

需要強調的是,SVR 模型的數值精度取決于核函數選擇的合適程度,然而如何選擇一個SVR 模型最優的核函數仍是一個開放性的問題.

通過離線多尺度建模,建立了周期型和隨機型混雜復合材料的材料數據庫.接下來,對隨機型混雜復合材料的材料數據庫應用小波變換方法得到新的材料數據庫.然后利用經典的ANN 方法和SVR 方法對周期型和隨機型混雜復合材料的材料數據庫進行在線機器學習,具體的小波-機器學習混合方法預測混雜復合材料等效熱傳導性能的流程圖如圖4 所示.

4 數值實驗

本節通過數值實驗來驗證提出的小波-機器學習混合方法的有效性和可行性.通過數值實驗,成功訓練了三種混雜復合材料等效熱傳導系數預測的ANN 模型和SVR 模型.三種混雜復合材料的材料數據庫均由1000 組樣本數據構成,在每種材料的數據庫中隨機選取800 組樣本數據作為訓練集,剩下的200 組作為測試集用來評估訓練得到的機器學習模型.

圖5 三種混雜復合材料1000 個隨機樣本的等效熱傳導系數分布圖 (a) 周期混雜復合材料I; (b) 周期混雜復合材料II; (c) 隨機混雜復合材料Fig.5.Effective thermal conductivity distribution of 1000 RVE samples of three kinds of hybrid composite materials: (a) Periodic hybrid composite material I; (b) periodic hybrid composite material II; (c) random hybrid composite material.

圖6 十折交叉驗證過程示意圖Fig.6.Schematic of 10-fold cross-validation.

首先給出三種混雜復合材料的1000 個隨機樣本等效熱傳導系數分布圖,如圖5 所示.圖5(a)為周期混雜復合材料I 的1000 個隨機樣本無量綱等效熱傳導系數分布圖,其中最小和最大等效熱傳導系數分別為0.001114 和0.989869.圖5(b)為周期混雜復合材料II 的1000 個隨機樣本無量綱等效熱傳導系數分布圖,其中最小和最大等效熱傳導系數分別為0.001331 和0.989154.圖5(c)為隨機混雜復合材料的1000 個隨機樣本無量綱等效熱傳導系數分布圖,其中最小和最大等效熱傳導系數分別為0.034763 和0.986564.

本節數值實驗中提到的驗證(集)誤差、訓練(集)誤差和測試(集)誤差均為平均絕對相對誤差.

4.1 小波-神經網絡混合方法

用小波-神經網絡混合方法對三種混雜復合材料的等效熱傳導性能進行預測,在訓練過程中,用于訓練的損失函數被設定為均方誤差函數(mse),應用Adam 優化算法來更新所有權重并進行迭代,激活函數采用ReLU 函數.為了避免過擬合現象的發生,采用十折交叉驗證(cross-validation,Cv)的方法對神經網絡的過擬合行為進行抑制.在十折交叉驗證中將訓練集隨機分為10 份,并且分別以這10 份中的1 份為驗證集,其余9 份為訓練集進行10 次訓練,最后以這10 次訓練中驗證集誤差的平均值作為神經網絡模型過擬合程度的判斷標準,十折交叉驗證過程如圖6 所示.

最終將整個訓練集輸入調試好的模型進行訓練,并在測試集上對模型進行評估,給出建立的模型在整個訓練集和測試集上的相對誤差分布圖及其平均值.對周期型混雜復合材料I 和II,將其材料數據庫中的 k c1,k c2,k m ,r1和 r2定義為神經網絡輸入層的5 個神經元,等效熱傳導系數作為輸出層的1 個神經元,對周期混雜復合材料I 建立5-128-128-1 的前饋ANN 模型,設定迭代次數為250 次; 對周期混雜復合材料II 建立5-128-64-32-1的前饋ANN 模型,設定迭代次數為500 次; 對隨機型混雜復合材料以材料數據庫中原始數據特征經三層小波分解后得到的1250 個小波系數 C A3作為神經網絡輸入層的1250 個神經元,等效熱傳導系數作為輸出層的1 個神經元,對隨機混雜復合材料建立1250-1024-512-512-256-1 的前饋ANN模型,設定迭代次數為500 次.

數值實驗完成后,給出最終的數值結果如圖7和圖8 所示.

圖7(a)—(c)分別給出了三種混雜材料的訓練集誤差和驗證集誤差隨迭代次數的變化.從圖7 可以清楚地看到,由于權重和偏置的初始值是隨機生成的,因此剛開始迭代的訓練誤差很大.隨著迭代的進行,權重和偏置會根據Adam算法逐漸更新,訓練誤差和驗證誤差均迅速下降,趨于收斂.最終,周期混雜復合材料I 經10 折交叉驗證得到的訓練集誤差為1.7656%,驗證集誤差為3.2645%; 周期混雜復合材料II 經10 折交叉驗證得到的訓練集誤差為1.6503%,驗證集誤差為4.1921%; 隨機混雜復合材料經10 折交叉驗證的訓練集誤差為1.7080%,驗證集誤差為5.7597%.說明對于研究的三種混雜復合材料,訓練過程中沒有出現明顯的過擬合情況,因此可以將訓練得到的網絡進一步在測試集上進行評估.重新將800 組訓練集作為已經確定網絡構架的ANN 模型的輸入,用訓練得到的ANN 模型對測試集中每個樣本的等效熱傳導系數進行預測,并與用漸近均勻化方法計算得到的數據標簽進行對比,最終三種混雜復合材料的3 個模型在整個訓練集和測試集上的相對誤差分布分別如圖8(a)—(c)所示.在圖8(a)和圖8(b)中,周期混雜復合材料I 和II 的訓練集和測試集中絕大部分樣本的相對誤差都小于2%.最終,材料I 的ANN 模型在訓練集和測試集上的誤差分別為1.4954%和2.2164%; 材料II 的ANN 模型在訓練集和測試集上的誤差分別為1.4745%和1.4533%.在圖8(c)中,隨機混雜復合材料的訓練集和測試集中絕大部分樣本的相對誤差都小于 3%.最終,隨機混雜復合材料訓練集和測試集的誤差分別為1.3596%和3.9731%.總而言之,我們建立的小波-神經網絡方法可以高精度、高效地預測周期型和隨機型混雜復合材料的等效熱傳導性能.

4.2 小波-支持向量混合方法

用小波-支持向量混合方法對三種混雜復合材料的等效熱傳導性能進行預測,訓練過程中,將SVR 方法的核函數設置為高斯核函數并通過調節另外兩個參數C 和 ε 來確定最優的SVR 模型,并且仍采用十折交叉驗證的方法來避免過擬合現象的發生.為了確定SVR 模型中參數C 和 ε 的值,在十折交叉驗證的基礎上結合了網格搜索的方法.在網格搜索過程中,將不同參數值C 和 ε 進行組合,然后進行十折交叉驗證,最后比較不同組合下十折交叉驗證的結果,以最小誤差對應的參數值作為最終選擇的參數值,三種材料的網格搜索的誤差結果與最終選擇的參數組合如圖9 所示.

圖7 三種混雜復合材料訓練集誤差和驗證集誤差隨迭代次數變化曲線圖 (a) 周期混雜復合材料I; (b) 周期混雜復合材料II;(c) 隨機混雜復合材料Fig.7.Training error and cross-validation error descend as the training iteration increases for three kinds of hybrid composite materials: (a) Periodic hybrid composite material I; (b) periodic hybrid composite material II; (c) random hybrid composite material.

圖8 三種混雜復合材料訓練集和測試集上的相對誤差分布圖 (a) 周期混雜復合材料I; (b) 周期混雜復合材料II; (c) 隨機混雜復合材料Fig.8.Frequency distribution of training error and test error of three kinds of hybrid composite materials: (a) Periodic hybrid composite material I; (b) periodic hybrid composite material II; (c) random hybrid composite material.

在圖9(a)中,對周期混雜復合材料I,確定了最優參數組合為C = 1500 和 ε =10?5,此時訓練集誤差為0.20%,驗證集誤差為2.7018%; 在圖9(b)中,對于周期混雜復合材料II,確定了參數組合為C = 10 和 ε =10?3,此時訓練集誤差為1.7727%,驗證集誤差為2.7741%; 在圖9(c)中,對于隨機混雜復合材料,確定了參數組合為C =1 和 ε =10?2,此時訓練集誤差為2.6578%,驗證集誤差為9.2572%.上述結果表明,對周期型混雜復合材料均沒有出現明顯的過擬合行為,對隨機型混雜復合材料出現了一定程度的過擬合行為.接下來將800 組訓練集作為已經確定參數的SVR 模型的輸入,再用訓練后的SVR 模型預測測試集中每個樣本的等效熱傳導系數,并與用漸近均勻化方法計算得到的等效熱傳導系數進行對比,最終三種混雜復合材料的訓練集和測試集的相對誤差分布如圖10所示.

圖9 三種混雜復合材料參數網格搜索示意圖,其中標記√處為最終確定的最優參數組合 (a) 周期混雜復合材料I; (b) 周期混雜復合材料II; (c) 隨機混雜復合材料Fig.9.Grid search diagram of three kinds of hybrid composite materials’ parameters,where the final optimal combination of parameters is marked with √: (a) Periodic hybrid composite material I; (b) periodic hybrid composite material II; (c) random hybrid composite material.

從圖10 可以發現,對周期混雜復合材料I 和II的訓練集和測試集中除個別樣本的相對誤差高于10%外,絕大部分樣本的相對誤差都小于2%.材料I 最終的訓練集和測試集的誤差分別為0.2462%和1.2712%,材料II 最終的訓練集和測試集的誤差分別為1.4252%和1.7516%.而對隨機混雜復合材料的訓練集和測試集中絕大部分樣本的相對誤差都小于8%,且其最終的訓練集和測試集誤差分別為2.6636%和8.1561%.總而言之,對于周期型混雜復合材料,小波-支持向量混合方法是高精度、高效率的,但對于隨機型混雜復合材料,該方法的預測精度沒有周期型混雜復合材料高.

4.3 小波-機器學習混合方法抗噪性能分析

圖10 三種混雜復合材料訓練集和測試集上的相對誤差分布圖 (a) 周期混雜復合材料I; (b) 周期混雜復合材料II; (c) 隨機混雜復合材料Fig.10.Frequency distribution of training error and test error of three kinds of hybrid composite materials: (a) Periodic hybrid composite material I; (b) periodic hybrid composite material II; (c) random hybrid composite material.

表4 兩種小波-機器學習混合方法抗噪性能分析Table 4.Anti-noise performance analysis of two kinds of hybrid wavelet-based learning methods.

在實際工程應用中,各種各樣的噪聲無法避免,小波方法天然地具有一定的去噪能力,接下來對我們建立的小波-機器學習混合方法的抗噪性能進行分析.由于隨機型混雜復合材料的原始數據特征是由背景網格中每個節點的材料參數定義,因此通過分別向背景網格各節點隨機添加三種不同強度的高斯噪聲N(0,0.0012),N(0,0.012) 和N(0,0.12),再分別應用建立的小波-神經網絡混合方法和小波-支持向量混合方法對加噪后的隨機混雜復合材料的等效熱傳導性能進行預測分析.數值實驗完成后,對不同強度的噪聲最終的預測效果見表4,其中ANN 和SVR 代表沒有噪聲時兩種小波-機器學習混合方法的預測結果,ANN-I,ANNII,ANN-III 和SVR-I,SVR-II,SVR-III 分別代表添加噪聲N(0,0.0012),N(0,0.012) ,N(0,0.12) 時兩種小波-機器學習混合方法的數值實驗結果.

由表4 可知,小波-神經網絡混合方法和小波-支持向量混合方法對于三種不同強度的噪聲都是不敏感的,不同強度的噪聲不會對兩種方法的精度造成較大的影響.此外,相比小波-支持向量混合方法,小波-神經網絡混合方法在噪聲干擾下表現出更好的數值精度,訓練集和測試集的誤差精度均控制在5%以內,同時樣本測試時間很短,這對于實際工程應用具有重要的意義.從表4 還可以看出,小波-支持向量混合方法對于無噪聲污染和有噪聲污染的隨機型混雜復合材料等效熱傳導性能預測均出現了一定程度的過擬合現象,因為該方法交叉驗證得到的訓練集誤差很小而驗證集誤差偏大.綜上所述,在實際工程應用中采用小波-神經網絡混合方法來預測隨機型混雜復合材料的等效熱傳導系數更為有效,不僅預測精度高而且預測效率高.

5 結 論

為了有效預測混雜復合材料的等效熱傳導性能,本文結合多尺度分析提出了一種新的小波-機器學習混合方法.在該方法中,基于Freefem++軟件二次開發,建立了三種典型混雜復合材料的計算機幾何模型.利用漸近均勻化方法離線計算得到了三種混雜復合材料的等效熱傳導系數,然后以混雜復合材料組成成分的微觀結構參數和材料參數作為數據特征,其等效熱傳導系數作為數據標簽,建立混雜復合材料的離線材料數據庫.對于隨機型混雜復合材料,創造性地利用小波變換方法對其建立在背景網格上的數據特征進行預處理,建立了新的材料數據庫.最后,利用神經網絡方法和支持向量回歸方法對周期型和隨機型混雜復合材料的材料數據庫進行在線監督學習,得到混雜復合材料等效熱傳導性能預測的機器學習模型.

本文建立的新的小波-機器學習混合方法充分利用了小波變換方法的數據壓縮、特征提取和去噪能力,以及機器學習方法優異的數據擬合能力.數值實驗表明,在無噪聲的情形下,對于周期型混雜復合材料,小波-神經網絡混合方法和小波-支持向量回歸混合方法均表現出很高的數值精度,并且穩定高效; 對于隨機型混雜復合材料,小波-神經網絡混合方法的預測精度高于小波-支持向量回歸混合方法.在加入噪聲的情形下,兩種混合方法均表現出很好的抗噪能力,其中小波-神經網絡混合方法數值精度更高,樣本測試時間更短,小波-支持向量混合方法的數值精度較低,且表現出一定程度的過擬合行為.綜上所述,本文建立的小波-機器學習混合方法可以有效預測混雜復合材料的等效熱傳導性能,特別是小波-神經網絡方法具有高精度、高效率的預測能力和優異的抗噪性能.本文建立的統一的小波-機器學習混合框架可以很容易地擴展到預測混雜復合材料的其他物理、力學性能,為新型復合材料的開發提供了堅實的基礎理論和高性能算法.在未來,希望能夠進一步利用我們建立的小波-機器學習混合框架對混雜復合材料的其他非線性物理、力學性能進行深入研究.

感謝阿爾伯塔大學數學與統計科學系Yaushu Wong教授和Yile Zhang 博士的討論.