基于機器學習的燃料棒核素及燃耗預測

王鶴茗，張昊春，孫文博，張海明，張廣春

(哈爾濱工業大學 能源科學與工程學院， 哈爾濱 150001)

1 引言

隨著中國核電的快速發展，從反應堆中卸載出來的乏燃料越來越多，乏燃料中鈾钚含量檢測和乏燃料貯存已經成為核燃料循環過程中的一個重要環節，乏燃料的儲存、運輸和后處理已經逐漸成為中國核工業面臨的重要問題。燃耗信任制能夠有效解決這些問題，即在臨界安全分析時考慮輻照后燃料的反應性降低。但在乏燃料管理中采用燃耗信任制必須核實乏燃料的核素成分和燃耗，因此燃耗測量技術成為乏燃料管理中的一項關鍵技術。

機器學習是一個多學科領域，它融合了統計分析、人工智能、數據可視化等最新技術，應用非常廣泛，目前已被成功應用于核工業領域。如王端等利用機器學習預測壓水堆堆芯換料關鍵參數；Santosh等利用機器學習診斷核電廠瞬態事故；肖凱等利用機器學習預測并控制壓水堆功率；雷濟充等利用機器學習預測堆芯組件核子密度；劉若晴等利用機器學習衡算堆芯核材料等。但是，目前將機器學習用于預測燃料棒的核素含量和燃耗量的研究很少。

目前燃耗的獲取主要是通過計算程序直接計算，以及通過測量設備測量燃料元件中的核素進而估算燃耗。燃耗的計算程序主要是采用確定論方法和非確定論蒙特卡羅方法進行計算，但計算結果和反應堆實際運行參數相比，存在一定偏差，因此通過設備運用物理或化學的方法測量仍十分常用。但測量設備測量的方法具有時間周期長、測量程序比較復雜、對測量環境要求高等缺點。

本文提出將機器學習應用到燃料棒核素及燃耗預測，通過測量單個燃料組件中钚同位素含量來快速預測平均燃耗及鈾同位素含量，滿足乏燃料管理中對于鈾钚含量和燃耗的測量。選取嶺回歸、BP神經網絡和卷積神經網絡(CNN)3種方法基于訓練集建立模型，利用均方誤差()和交叉驗證分數等參數進行評估。通過用不同算法建立的模型對測試集樣本進行快速預測并評價其精度及可靠性。

2 機器學習技術

機器學習是指能通過經驗自動改進的計算機算法的研究，即通過算法從大量的數據中搜索隱藏于其中信息的過程，圖1展示了機器學習的過程。本文將對嶺回歸，BP神經網絡和卷積神經網絡3種不同模型進行介紹。

圖1 機器學習過程框圖Fig.1 Machine learning process

2.1 嶺回歸模型

嶺回歸是一種可解決多重共線問題的線性回歸算法，其本質是一種改良的最小二乘估計法，以損失部分信息、降低精度為代價，獲得更為符合實際、更可靠的結果，常用于建立具有大量參數的線性模型。

嶺回歸在多元線性回歸的損失函數上加上了正則項，使計算更精確，嶺回歸的損失函數的完整表達式為：

(1)

式中：為學習標簽；為模型參數；為樣本特征矩陣；為嶺回正則化系數。

2.2 BP神經網絡模型

BP神經網絡為誤差反向傳播神經網絡，它是一種含有隱含層的前饋網絡，包含輸入層、輸出層以及一個或多個隱含層，其原理如圖2所示。BP神經網絡模型結構，層與層之間為全互連的方式，同一層單元之間不存在相互連接，將特征作為輸入。目前已有數學理論證明，三層神經網絡便能以任意精度逼近任何非線性連續函數。

圖2 BP神經網絡原理框圖Fig.2 Scheme of BP neural network

2.3 卷積神經網絡

卷積神經網絡(CNN)相比于BP等其他神經網絡，其差異主要體現在結構上。以本文中所用到的卷積神經網絡為例，其結構如圖3所示，卷積神經網絡由輸入層、卷積、池化層、全連接層及輸出層構成。卷積層與池化層通常采用交替設置，卷積層的作用是內在信息挖掘，池化層的作用是進行特征圖大小縮減。卷積核作為卷積層的核心，用來與輸入的信息矩陣進行數學運算。

圖3 卷積神經網絡結構示意圖Fig.3 Schematic diagram of convolutional neural network

3 預測模型

3.1 數據處理

在反應堆的平衡堆芯中，各種核素的生成和消耗滿足以下方程：

(2)

式中:=1,…,；為第種核素的衰變常量；為第種核素的衰變常量；為第種核素譜平均中子吸收截面；為第種核素衰變成第種核素的份額；為第種核素吸收中子后轉變為第種核素的份額；為按位置、能量平均的中子注量率；、和分別為第、和種核素的含量；為時間。

本文選取VVER-1000型反應堆為研究對象，反應堆使用鈾-釓燃料，以平均燃料富集度為1.6%(U16)，2.4%(U24)，2.382%(U24G7)，3.615%(U36)和3.606%(U36G7)等5種燃料組件為基礎。之后的燃料裝填中，則是以平均富集度分別為3.606%(U36G7)，3.997%(U40G7)和4.1%(U41)等3種燃料組件進行裝填。

由于包括超鈾元素同位素在內的多種核素的含量不易測量。因此，在機器學習訓練過程中無法直接采用不易測核素的實際測量值。受此技術條件所限，本文中采用MCNP軟件進行數值計算，得到單個燃料棒Pu，Pu，Pu，Pu，U，U，U，U，U含量及平均燃耗的數據。

因為采用數據的特征屬于連續變量，所以需要對數據進行相關性及多重共線性檢查，圖4為數據集相關系數矩陣示意圖，從圖4可以看出，數據標簽及特征之間有著較高的相關系數。多重共線性檢驗的檢驗方法為方差膨脹系數()，一般認為<10時具不存在多重共線性，>10時數據則存在多重共線性。

圖4 特征及標簽間相關系數矩陣示意圖Fig.4 Feature and inter-label correlation coefficient matrix

由表1可知本文選取數據存在多重共線性問題，所以考慮到數據的特征與標簽的相關性、全面性以及可量化性，且Pu同位素含量隨著燃料棒在堆芯中的位置不同變化很大，因此在本文中將Pu，Pu，Pu，Pu含量作為模型的特征變量，平均燃耗及鈾(U，U，U，U，U)含量作為模型的目標變量。4種钚同位素含量和對應燃耗及5種鈾同位素含量為1組數據，每組數據包含4個輸入數據和6個輸出數據。共有375組計算數據，按8∶2的比例將數據劃分為訓練集和測試集。由于數據中不同核素含量的數值量級不同，數值較大的特征對于標簽的影響程度會比數值較小的特征影響程度要大，一旦數值較大的特征變量數據出現錯誤，將直接影響到預測結果，存在高風險的預測。因此將數據按式(3)歸一化處理，以避免數值計算中病態方程組的發散問題，使不同的特征變量具有相同的尺度，使模型訓練時，不同特征對參數的影響程度相同。

表1 特征變量VIF值(燃耗為目標變量)Table 1 Characteristic variable VIF value(fuel consumption as the target variable)

(3)

3.2 建立模型

本文中嶺回歸、BP神經網絡和卷積神經網絡采用基于Python的Sklearn和Tensorflow模塊進行構建。

嶺回歸的損失函數為式(1)，BP神經網絡模型和卷積神經網絡模型的損失函數為均方誤差()，即：

(4)

BP神經網絡的隱藏層數量對計算結果尤為重要，經過試驗調整，最終確定BP神經網絡模型的隱含層層數設為3，節點數由經驗公式確定，有：

(5)

式中：、、分別為隱含層、輸入層和輸出層節點數。

經過試驗調整，確定卷積神經網絡模型的卷積層層數為2，卷積核數為16和32，池化層層數為1。

設置3個模型的初始學習率=10，并設置每100次迭代(epoch)學習率降低10%，使整體收斂效率得到提升，并且提高網絡的預測精確性。在神經網絡的優化器和激勵函數的選擇上，Adam比其他適應性學習方法效果好，是一個能夠計算每個參數的自適應學習率的方法。ReLU函數作為激勵函數，不會同時激活所有神經元，在一段時間內，只有少量的神經元被激活，這種稀疏性使神經網絡變得高效且易于計算。所以本文選擇Adam優化器及ReLU作為激勵函數。

為更快速地獲得較好的模型，需要對訓練模型提出評價指標。本文使用均方誤差()和交叉驗證分數作為評價模型準確性的指標。

(6)

圖5為嶺回歸的學習曲線，圖5中橫坐標為隨機選取的樣本數，縱坐標為交叉驗證分數。學習曲線都在40個樣本時候，分數都達到了0.98，模型在訓練集上表現了優秀的學習能力，在測試集上的泛化能力也表現突出，樣本數為70時模型的學習能力以及泛化能力都趨于穩定，訓練曲線一直位于測試曲線之上，整個學習過程中均未出現過擬合現象。

圖5 嶺回歸學習曲線Fig.5 Ridge regression learning curve

圖6和圖7分別為BP神經網絡和卷積神經網絡的學習曲線，圖6、圖7中橫坐標為迭代次數，縱坐標為均方誤差()，曲線在初期下降都非常迅速，收斂過程平滑，均方誤差最終收斂于0附近，整個過程未出現過擬合現象，說明預測模型描述試驗數據具有更好的精確度，BP神經網絡模型和卷積神經網絡模型訓練效果很好。

圖6 BP神經網絡學習曲線Fig.6 BP neural network learning curve

圖7 卷積神經網絡學習曲線Fig.7 Convolutional neural network learning curve

4 結果分析

為了更好地展示預測結果，以燃耗及U含量為例，將模型預測值與真實值進行線性擬合。圖8和圖9分別為嶺回歸、BP神經網絡模型、卷積神經網絡模型部分燃耗預測值與真實值分布及擬合曲線和U含量部分預測值與真實值的分布及擬合曲線，圖8、圖9中擬合曲線均接近=，說明3個模型的預測值與真實值吻合程度都較好，初步認為3種模型都能很好完成預測任務。

圖8 燃耗預測值與真實值擬合曲線Fig.8 The fitting curve between the predicted value and real value of burnup

圖9 236U含量預測值與真實值擬合曲線Fig.9 The fitting curve between the predicted value and real value of the content of 236U

回歸類算法中，從2種不同的角度來看待回歸的效果：① 模型是否預測到了正確的數值，采用均方誤差[式(5)]作為評估標準，均方誤差越小，預測值與真實值之間的差距就越小。② 模型是否擬合到了足夠的信息。采用[式(6)]作為評估標準，越接近1，說明擬合信息越充足。表2、表3中分別列出了均方誤差和交叉驗證分數式2種評估指標的計算值。由表2可知，嶺回歸預測模型、BP神經網絡預測模型和卷積神經網絡預測模型均方誤差都小于0.03，說明預測模型描述實驗數據具有很好的精確度。由表3可知，嶺回歸預測模型、BP神經網絡預測模型和卷積神經網絡預測模型均大于0.99，說明3種預測模型預測都比較準確。

表2 模型評估標準均方誤差計算值Table 2 Calculated value of the mean square error of the model evaluation criteria

表3 模型評估標準交叉驗證R2分數式計算值Table 3 Calculated value of the R2 of the model evaluation Criteria

圖10和圖11分別給出了3種模型對于部分樣本燃耗和U含量預測值與真實值相對誤差。圖10中燃耗預測方面，3個模型相對誤差均小于0.035，卷積神經網絡相對誤差與嶺回歸和BP神經網絡相比波動較小，卷積神經網絡中所有數據相對誤差均小于0.01。圖11中U含量預測方面，3個模型相對誤差均小于0.035，嶺回歸較BP神經網絡和卷積神經網絡來說相對誤差波動較小，嶺回歸中95%數據相對誤差均小于0.01。

圖10 燃耗預測相對誤差曲線Fig.10 Relative error curve of burnup prediction

圖11 236U含量預測相對誤差曲線Fig.11 Relative error curve of the content of 236U prediction

綜合來看嶺回歸模型、BP神經網絡模型和卷積神經網絡模型均適合作為該數據集的回歸算法，在燃耗和核素預測方面都有較高的預測精度，預測可靠性都比較高，其中在燃耗預測方面卷積神經網絡精確度最高，誤差最小，效果最好。

5 結論

將機器學習應用到燃料棒核素及燃耗檢測，采用嶺回歸、BP神經網絡和卷積神經網絡3種算法，通過數據處理、特征檢查和模型參數選擇過程建立不同預測模型，快速準確地建立燃料棒的燃耗與核素預測模型。3種模型都滿足預測精度要求，預測可靠性均較高。該方法不僅可以推廣到其他堆芯燃料燃耗和核素預測中，而且不需特定領域的專業知識，只要有足夠多的精確數據，即可實現精度較高的快速預測。在核工業領域，隨著數據的不斷增加，可以充分利用產生的現有數據以及反應堆核設計的數據資源，將機器學習技術運用到核電設計、故障診斷等方面，推動核能領域在大數據時代背景下人工智能的發展。