應用不同機器學習算法預測化學鏈中氧載體性能

閻永亮，查健銳,，段倫博，CLOUGH Peter

(1.英國克蘭菲爾德大學 能源與動力學院，貝德福德 MK43 0AL；2. 東南大學 能源熱轉換及其過程測控教育部重點實驗室，江蘇 南京 210096)

0 引 言

煤、生物質和天然氣等碳基燃料燃燒是碳排放的重要組成部分，其燃燒產生的CO2亟待高效分離和存儲。化學鏈燃燒和氧解偶化學鏈燃燒是最前沿的熱電生產方法之一，可低成本和低能耗實現CO2分離。化學鏈反應在雙流化床反應器中進行，氧氣通過氧氣載體從空氣反應器輸送到燃料反應器，烴類燃料被氧載體或氧載體釋放的氧氣氧化，生成CO2和水，之后氧載體在空氣反應器中再生。

化學鏈技術發展的關鍵環節之一是根據成本、氧傳遞能力和循環穩定性選擇合適的氧載體材料。相比純金屬氧化物和合成金屬氧化物外，天然礦物和工業副產礦物由于廉價易得和較高活性而引起關注[1-3]。其中，錳基材料在高溫下有向氣相釋放氧氣的傾向，同時大量研究表明很多種類的錳礦石對不同氣體燃料具有高反應活性，同時磨損率和成本較低，使其成為氧載體的潛在候選材料[4-5]。然而，這些礦物具有復雜多變且非均相的成分，且含有各種雜質，因此性能可能有很大差異。

機器學習是一種人工智能技術，通過統計方式提高模型計算性能，可分為有監督、無監督和強化學習。其中，經過學習啟發的人工神經網絡(ANN)在人腦行為研究中獲得廣泛應用，包括控制、機器人、模式識別、預測、醫學、電力系統、制造、優化、信號處理和社會/心理科學等[6]。人工神經網絡可作為一個黑箱，在給定一組輸入數據后，從歷史數據中學習并處理不同目的的任務，如預測、分類和模式識別[7]。

最近，有研究運用人工神經網絡輔助碳捕集技術，該研究針對燃燒后胺基固碳反應的過程建模與控制[8-10]。也有研究者提出采用神經網絡算法大規模篩選材料以輔助試驗研究來開發新的鈣循環化學鏈工藝。但機器學習算法目前還未廣泛應用于化學鏈工藝的氧載體選材。為減少了材料開發的時間和成本，可以嘗試使用機器學習算法挖掘歷史試驗數據，并對其進行可行性評估，這將有助于獲得優選的氧載體參數。對于復雜材料，通過傳統表征手段獲得的材料性質及參數是機器學習重要的數據來源。據此，本文運用不同的機器學習算法預測多組分錳基氧載體的化學鏈反應性能，對照已有試驗數據，評估不同算法在該應用中的表現，針對化學鏈氧載體篩選這一科學問題尋找更有效的機器學習模式。

1 機器學習在氧載體中的應用

低成本、高活性的氧載體是決定化學鏈技術能否工業規模化應用的關鍵因素之一。過去20年，超過1 000多種氧載體材料在實驗室熱重、固定床和流化床模擬條件下進行測試與篩選。這些氧載體可分為單一(鎳基、鐵基、銅基和錳基)和復合(2種及以上不同金屬氧載體)組分氧載體。此外，助劑和載體等惰性組分對氧載體的性能影響很大。除了開發高活性和耐磨損的氧載體以適應工業規模化需求外，尋求低成本氧載體，尤其利用廉價的天然礦石或可再生工業廢棄物作為氧載體對于推廣化學鏈技術應用有重要意義，將在煤或生物質化學鏈轉化方面有明顯優勢。由于這類原料廉價，且具有足夠的反應活性和機械強度，不會造成氧載體失活以及灰分與氧載體分離[11-14]。但其組成成分不同可能會對化學鏈反應產生很大影響。但在如此眾多的材料中逐一篩選測試，將帶來巨大的試驗成本。

機器學習是一門結合計算機科學、統計學、數學與工程學的交叉學科。利用已知數據，在特定的算法指導下進行自動優化并改進模型，使之可以對新的輸入值進行判斷與預測。因此，提出一種新穎高效的篩選方法，結合已有氧載體試驗數據，應用機器學習加速新氧載體材料的開發。前期研究[15]討論了如何訓練人工神經網絡用于預測不同錳礦石在化學鏈反應的性能，結果顯示神經網絡對照試驗數據的預測較為準確，但選擇合適的算法與避免過度擬合具有一定難度，需要大量前期調試工作。因此本文嘗試分別使用支持向量機和人工神經網絡2種常用的機器學習算法建模，預測天然錳礦石作為氧載體的反應性能，并評估不同算法在該應用中的表現，針對化學鏈氧載體篩選這一科學問題尋找更有效的機器學習模式，具體工作流程如圖1所示。

圖1 應用機器學習預測氧載體性能的工作流程

2 材料和方法

2.1 氧載體的訓練集

訓練集決定了監督機器學習能否產生一個最優模型，從而準確預測新輸入數據。應根據實際應用決定機器學習模型的輸入(特征)和輸出(目標)。本文收集了文獻[16-17]的19種世界各地天然錳礦在小型流化床中的釋氧特性數據，及其與甲烷和合成氣(50% H2+50% CO)反應轉化為CO2產氣率作為反應特性的數據來訓練優化機器學習模型。除錳之外，這些錳礦石還包括Fe、Si、Ca和Mg等元素，對氧載體的化學鏈反應有潛在影響。因此，在此工作中錳礦石的元素組成、物理性質(磨損率、破碎強度和比表面積)以及試驗條件(如床溫)等14個參數被確定為訓練集中的輸入值。錳礦石的釋氧特性以及與甲烷和合成氣(50% H2和 50% CO)反應特性的試驗數據作為輸出值。其中，75%隨機選取的數據用于訓練集的訓練，剩下各15%隨機選取的數據分別用來驗證和測試。然后，應用新建立的訓練集結合不同機器學習算法尋求建立最優預測模型。此模型可以根據新的輸入值快速預測新氧載體的釋氧特性以及與不同燃料的反應特性。為了驗證最優模型對于新輸入值預測的準確性和魯棒性，訓練集中錳礦石與合成氣在850 ℃反應下測得的試驗數據被標記為隱藏數據用來驗證。

2.2 機器學習算法

2.2.1支持向量機(SVM)

支持向量機(Support vector machine,SVM)是由Vapnik率先提出的一種基于統計學習理論的機器學習方法，適用于分類問題和預測回歸問題。尤其在解決少數據、過度擬合、非線性和維數災難等方面優勢突出。基本思路是，通過構建決策邊界區分不同類別的坐標。超平面邊界的回歸方程為

y=f(x)=wTx+b，

(1)

其中，x和y分別為輸入值(空間)和目標值；w、b分別為超平面法向量和截距。分類時，使離超平面最近的某坐標距離值最大需優化約束，即

(2)

|f(xi)-yi≤ε|。

(3)

MATLAB軟件Regression Learner工具箱內包含的支持向量機算法被用來開發此工作中機器學習預測模型。具體步驟為：將訓練集導入 Regression Learner中，標記出模型的輸入值與輸出值。選擇支持向量機算法進行訓練，選出最優預測模型。

2.2.2人工神經網絡(ANN)

人工神經網絡(Artificial neural network,ANN)是一種通過數學模型來模擬大腦神經元結構和功能的機器學習方法，被廣泛用于回歸、分類和模式識別。ANN一般由輸入層、隱藏層、輸出層以及每層的神經元構成。輸入數據由輸入層的神經元接收，通過調整神經元的權重和閾值，在激活函數的處理下，將輸出值傳遞到隱藏層的神經元，然后在單層或多層隱藏層神經元中逐級傳遞后最終到達輸出層給出預測結果。單層神經網絡的信號傳導過程描述為

(4)

(5)

本文采用前饋神經網絡作為機器學習模型，優化前饋神經網路模型需要對網絡拓撲結構，即隱藏層的層數以及每層的神經元個數進行測試分析。一般情況下，單層或雙層前置神經網絡可以滿足絕大部分的回歸預測分析。因此，開發了不同腳本比較單層和雙層前置神經網絡在不同神經元下的表現，選出最佳前饋神經網路預測模型。

2.2.3預測性能評價

支持向量機和人工神經網絡的預測表現通過均方根誤差(RMSE)、平均絕對誤差(MAE)以及決定系數(R2)來評價。

(6)

(7)

(8)

式中，ti為輸出值。

3 結果與討論

3.1 SVM與ANN預測結果及魯棒性

SVM和ANN預測不同錳礦石在化學鏈條件下釋氧特性和甲烷/合成氣反應的表現見表1、2。其中SVM模型對釋氧特性預測的準確率最低，但在預測甲烷/合成氣反應中有較高準確性。

與SVM模型相比，ANN可以同時產生3個預測參數，無需和SVM模型一樣建立3個針對不同預測參數的模型。但ANN需要對隱藏層數及神經元個數進行驗證，選出表現性能最好的ANN模型。分別對單隱藏層(ANN1)和雙隱藏層(ANN2)以及神經元節點1～50網絡進行對比，選出最優ANN模型來預測不同氧載體的性能。

表1 SVM模型預測表現

表2 ANN模型預測表現

由表1、2可知，ANN2的預測性能高于ANN1。且ANN1和ANN2對于訓練集的預測能力都強于SVM模型的預測，但這只能作為評價機器學習性能的指標之一。因為ANN在小樣本訓練中可能存在過度擬合的問題，即能夠預測已知訓練集的數據，但對訓練集之外的新輸入值存在較差的預測能力。因此，利用不在訓練集中的錳礦石與合成氣在850 ℃ 反應條件下測得的試驗數據為新輸入值用來驗證最優SVM和ANN模型的準確性和魯棒性。

訓練后的SVM與ANN模型對新輸入值(19種錳礦石與合成氣在850 °C的反應特性數據)的預測如圖2和3所示(誤差棒代表置信區間，γ表示與某物質反應，下同)。可知SVM模型對新輸入值的預測準確性和魯棒性更好。其均方根誤差、平均誤差和決定系數分別為0.071、0.055和0.910，遠高于單層隱藏層ANN模型的0.372、0.280、0.730。由此證明ANN模型再次運行過程中有一定的過度擬合，對新輸入值的預測準確性和魯棒性不高。但增加ANN模型的隱藏層層數和神經元節點時，會提高ANN模型對新輸入值的預測表現。

圖2 最優SVM模型對新輸入值的預測

圖3 最優ANN模型(14-36-3)對新輸入值的預測

3.2 靈敏度分析

經過訓練的SVM與ANN模型不僅可以預測不同錳礦石的釋氧特性，以及預測與甲烷/合成氣的反應特性，還可以通過靈敏度分析來衡量輸入參數變化對預測結果的影響，這將為修飾或改性天然錳礦石、合成高性能氧載體提供有用信息。在3.1節中，訓練的SVM模型對新輸入值的預測有更好的準確率和魯棒性，因此在靈敏度分析中，分別改變TS錳礦石的Fe含量、Mn含量以及BET比表面積(±30%相對于TS錳礦石的原始值)，利用訓練過的支持向量機模型來預測修改后的TS錳礦石的氧載體性能。

圖4為最優支持向量機模型對不同鐵含量、錳含量以及BET比表面積的TS錳礦石作為氧載體的預測。可知，TS錳礦石的釋氧特性與錳礦石中Fe含量和BET無關，其隨著Mn含量的升高而提高。TS錳礦石與甲烷以及合成氣的反應性基本不隨Fe含量和BET比表面而變化，與甲烷的反應性隨Mn含量的升高而降低。這些趨勢是建立在訓練的支持向量機模型預測上，可能與最終試驗數值有些不同。但此方法能很好地節約試驗篩選錳礦石作為氧載體的時間，對候選材料進行初步預測篩選。

圖4 最優SVM模型對不同Fe含量、Mn含量以及BET比表面積的TS錳礦石作為氧載體的預測

本文通過錳礦石作為氧載體，利用監督機器學習的回歸性分析，成功闡述了利用已有試驗數據結合機器學習算法能夠實現對氧載體性能的預測。此方法不僅可以應用于錳礦石為主的氧載體，還可以應用于其他以金屬氧化物為主的氧載體材料，從而加快開發高效低成本的氧載體。

4 結 論

1)探索了不同機器學習方法在開發氧載體材料的應用潛力，以19種不同錳礦石在化學鏈反應的試驗數據為訓練集，利用訓練集訓練人工神經網絡和支持向量機模型，預測不同錳礦石在小型流化床中的釋氧特性，以及與甲烷/合成氣的反應特性。

2)2種機器學習模型對訓練集的數據都有較高的預測準確率。其中人工神經網絡的預測表現要高于支持向量機。但對新輸入值預測方面，支持向量機模型的準確性和魯棒性更好。隱藏層層數及神經元節點對神經網絡模型的預測準確率有很大影響。通過比較不同結構模型的預測表面，最終篩選出最優的神經網絡模型。此外，還進行了靈敏度分析以確定關鍵參數。