基于卷積神經網絡的熱軋薄板力學性能建模

章順虎，車立志，田文皓，李言

塑性成形

基于卷積神經網絡的熱軋薄板力學性能建模

章順虎，車立志，田文皓，李言

（蘇州大學 沙鋼鋼鐵學院，江蘇 蘇州 215021）

為了提高熱軋薄板力學性能的預測精度，采用大數據與卷積神經網絡相結合的方式建立高精度的預測模型。建模前，對工業大數據進行預處理，包括去除異常值、聚類、均衡數據以及歸一化，以得到高質量的數據集。同時，采用貢獻權重法對輸入參數進行篩選，去除弱相關的變量以降低模型的復雜程度。在此基礎上，采用LeNet-5結構建立卷積神經網絡并優化模型的超參數。最終建立了熱軋薄板力學性能預測模型，該模型對屈服強度的預測誤差基本保持在?7%～8.5%，對抗拉強度的預測誤差基本保持在?5%～6%，表現出較高的預測精度。將卷積神經網絡模型與傳統的BP神經網絡模型進行了預測對比，發現卷積神經網絡能夠利用其局部連接的優勢給出更高的預測精度。

熱軋；薄板；卷積神經網絡；大數據；力學性能

熱軋薄板力學性能包括屈服強度、抗拉強度和伸長率等重要指標，這些重要指標直接決定著板材的質量，因此，上述力學性能的準確預測對指導軋制過程的優化控制具有重要意義。

關于熱軋薄板力學性能的研究一直是材料加工領域關注的焦點。截至目前，該方面的研究經歷了3個重要的階段，分別是基于物理模擬結果的機理擬合建模、以BP為代表的傳統樣本數據建模與近年來興起的大數據建模。Irvine和Pickering最初提出利用數學模型預測鋼材組織演變和最終力學性能，研究了變形條件、溫度條件對熱軋過程中顯微組織演變、析出的影響[1]。此后，一些專家學者也陸續做了大量研究工作，給出了具有代表性的數學模型，如Yada模型、Saito模型和Nanba模型[2-4]等。在這些研究基礎上，已開發出如熱連軋帶鋼質量控制系統（VAI-Q strip）、INTEG公司的HSMM以及國內的Q-HSM、ROLLAN等商業軟件[5-8]。上述模型大多是在半經驗半理論的基礎上通過擬合的方法所建立，難以全面、準確地反映力學性能與工藝參數之間復雜的非線性關系。并且，由于軋鋼過程不確定因素較多，上述方法所得模型的穩定性較差，適用范圍也有限。

隨著計算機的發展，人工神經網絡為充分挖掘各參數之間復雜的非線性關系提供了一種解決途徑。在軋后產品力學性能預報上，劉振宇[9]、Mukhopadhyay[10]、Amit[11]等均給出了具有較高精度的神經網絡預報模型。近年來，Ghaisari等[12]利用Levenberg-Marquardt法優化了網絡模型，并分析了主要工藝參數對力學性能的影響。為了去除冗余的輸入變量，Lalam等[13]將冷軋鍍鋅鋼卷的關鍵工藝參數作為輸入變量，提出了一種前饋-反向傳播人工神經網絡，用于預測鍍鋅鋼卷的屈服強度、抗拉強度等力學性能，并應用于實際生產。需要指出的是，由于樣本數據覆蓋的生產條件有限，上述模型均難以應對實際生產中的預測要求。

由于工業大數據中蘊含著更加真實的參數關系，覆蓋的條件更多，因而基于大數據建立的模型更適應實際生產中環境的變化。國內外陸續催生了一些大數據應用于鋼鐵性能預報的研究報道。基于大數據分析，Brandenburger等[14]基于多尺度數據表征技術提出了冷/熱板材生產大數據的獲取技術，并實現了實驗鋼中冷/熱板材力學性能的準確預報；Wu等[15]通過預先處理異常的C-Mn熱軋板帶大數據，構建出了比傳統物理冶金模型更為精確的預報模型，為工藝參數的優化提供了可靠依據；通過結合大數據分析技術與已有冶金物理模型，Spuzic等[16]開發了基于軋制流程信息的數學模型，并深入分析了預測誤差產生的可能原因。

盡管如此，以上對大數據的分析多采用淺層神經網絡，屬于全連接網絡，并不能充分反映數據之間的參數關系。與之不同的是，近幾年發展出來的卷積神經網絡，屬于深度學習網絡，其采用局部連接和權值共享的思想，在降低網絡模型復雜度的同時能夠深度挖掘輸入與輸出之間的關系，因此，將卷積神經網絡應用于力學性能預報中有望進一步提高其預測精度。

為此，文中提出將大數據與卷積神經網絡相結合，利用卷積神經網絡強大的數據分析能力深度挖掘生產大數據中復雜的非線性關系，從而實現對熱軋薄板力學性能的精確預測。按此思路，首先對生產大數據進行去除異常值、聚類、均衡數據和歸一化等處理，以保證數據的有效性。在此基礎上，構建并優化卷積神經網絡模型，并對模型的預測效果進行測試與討論。

1 數據預處理

采用國內牌號為SAE1006、MRT4與HP295的3000組實際鋼鐵生產大數據建立屈服強度與抗拉強度的預測模型。為解決實際生產數據中存在的數據異常、數據分布不均問題，在建立卷積神經網絡預測模型前需要對數據集進行處理，以保證數據的有效性。

1.1 異常值處理

IQR準則的異常值探測區間為[17]：

經上述計算，共去除異常數據9組，最終保留2991組數據用于建立熱軋薄板力學性能預報模型。

1.2 聚類與數據均衡化

去除異常值之后，不同性能區間數據出現的數量見圖1。由圖1可知，各區間內的數據分布嚴重不均。此種數據分布的不均衡將會嚴重影響模型的訓練，不利于提高神經網絡模型的精度。

進一步分析可知，薄板的力學性能數據分布緊密、分類邊界模糊，傳統的依據薄板牌號進行劃分的方法難以充分體現薄板力學性能的差異性，見圖2。為了使數據的劃分更加合理，采用均值聚類法對數據進行聚類處理，并對聚類后的各區間數據進行試錯加倍，使其數據量趨于同一水平，以保證數據均衡分布。

在均值聚類過程中存在的主要問題是聚點值難以確定。針對這一問題，文中采用吳禮斌等[18]的方法，使用2統計量以及偽統計量對不同值的聚類效果進行綜合評估。2統計量以及偽統計量越大，變化越劇烈，則表示聚類數越合理。2統計量和偽統計量的計算見式（3—4）。

圖1 原始數據統計結果

圖2 熱軋薄板力學性能分布

將采用薄板牌號分類和聚類的結果進行對比，見圖4a—b。采用聚類所得結果之間差異明顯，分類邊界更加清晰，更加有利于神經網絡訓練過程中對于各類別參數的特征提取。

將圖4中聚類后各類別數據導出，并統計各類別數據在數據集中的占比，統計結果見表1。由表1可知，聚類后各類別數據量在總數據中占比嚴重不均衡，其中占比最小的為第3組，僅占0.77%；占比最大的為第7組，占比為18.82%。

為了降低數據類不均衡在神經網絡訓練過程中的影響，將聚類后各組數據分別進行多次復制，直至各類數據總量接近。均衡化后的各類數據總量及其占比見表2。由表2可知，均衡化處理后共有數據13 511組，其中占比最大與占比最小的數據僅相差2.54%，有效緩解了數據中類別不均衡的問題，有利于后期神經網絡的訓練與學習。

圖3 不同k值聚類效果

圖4 數據類別劃分

表1 各類數據量及其在數據集中的占比

Tab.1 Initial amount of each type of data and its proportion in the data set

表2 數據均衡后各類數據量及其在數據集中的占比

Tab.2 Amount of data and its proportion in the data set after data equalization

1.3 數據歸一化

為消除不同參數之間存在明顯的數量級差異對網絡權重的影響，使用數據歸一化的方法，將相關參數轉化為無量綱的數值進行訓練。歸一化公式見式（5）。

2 卷積神經網絡建立與優化

2.1 確定輸入、輸出參數

選取的數據共包含18個參數，分別為16個工藝參數和2個輸出參量，即抗拉強度與屈服強度。為了獲得高精度的預測模型，采用貢獻權重法對各輸入參數貢獻權重C進行計算，見式（6）[19]。

表3 輸入參數權重對比

Tab.3 Weight comparison of input parameters

由表3可知，在收集到的16組影響力學性能的參數中，P含量、粗軋溫度和Cu含量的權重較大，均超過10%；而軋制溫度、出口厚度、Ti含量、Si含量和Al含量的權重較小，均小于3%。在神經網絡訓練過程中，參數權重越大，說明該參數對預測結果的影響越明顯；權重越小，對預測結果的影響越小，因此，舍棄權重小于3%的弱相關參數。最終確定的輸入參數為11個，包括粗軋溫度、壓下率、軋制速度、軋制力、層流平均冷卻速度、卷曲溫度、C含量、P含量、Cu含量、Mn含量、S含量。

2.2 數據格式轉換

相較于一維數據，二維數據能夠提取到更復雜的數據結構，從而充分挖掘局部參數對薄板力學性能的影響。同時，二維數據更接近圖像的形式，便于卷積神經網絡的卷積處理，因此，文中采用卷積神經網絡建立薄板力學性能預測模型，在輸入數據時需要將一維的數據轉變為二維圖像數據，即以32′32的矩陣形式輸入神經網絡。為了使卷積核充分提取不同輸入參數之間的局部交互作用關系，在轉化數據格式時，將1組11個輸入參數進行復制，以首尾相接的形式儲存在32′32的二維矩陣中。數據格式轉化見圖5。

圖5 數據格式轉換

2.3 網絡結構的確定

采用經典的Lenet-5結構建立卷積神經網絡結構。在經典Lenet-5網絡結構中采用Sigmoid函數（見式（7））作為激活函數，但該激活函數在訓練后期極易出現誤差飽和問題，導致信息丟失。在預測力學性能時，這種信息丟失不利于訓練過程的順利進行。Relu激活函數（見式（8））在降低計算量的同時能夠保證訓練的計算精度，同時，基于該激活函數，訓練過程中的0輸出可以有效避免模型的過擬合，因此文中采用Relu激活函數代替原有的Sigmoid激活函數。

為了便于評價卷積神經網絡模型預測性能，選取均方根誤差（RMSE）和平均絕對百分誤差（MAPE）作為模型準確性的評價標準，計算見式（9—10）。

2.4 超參數的確定

設置單次最小樣本量為32，最大迭代次數為30，為了確定合適的學習率，對比了不同學習率對卷積神經網絡性能的影響，見表4。

表4前3列為相同迭代次數時不同學習率對神經網絡性能的影響，而第4列是采用學習率衰減的情況，其衰減周期為15，學習率衰減因子為0.1。對比結果表明，學習率衰減所得網絡結構的性能函數RMSE和MAPE的值最小。這說明在相同的迭代次數下，學習率衰減更有利于網絡的訓練。但根據訓練過程，學習率為0.0001時，迭代8850次所得結果并非最優，因此，在第5列同時給出了學習率為0.0001迭代到最優時的結果。將其與學習衰減的結果對比，二者性能相似（考慮神經網絡具有波動性），但學習率衰減迭代次數較少，耗時較少，更有利于實際應用。對比結果表明，文中所采用的學習率衰減方法，在提高訓練效率的同時能夠有效保證網絡的預測精度。

表4 不同學習率下卷積神經網絡性能

Tab.4 Performance of convolutional neural networks at different learning rates

3 結果與討論

將已有的13 511組數據按照7∶3的比例分為訓練集與驗證集，并導入建立的卷積神經網絡進行訓練。最終確定的網絡結構在預測屈服強度時的網絡性能函數值分別為RMSE=11.61 MPa，MAPE=2.54%；預測抗拉強度時的網絡性能函數值分別為RMSE= 9.58 MPa，MAPE=1.63%，所得網絡結構性能優良。

采用上述確定的網絡結構對驗證集進行預測，并對預測結果進行統計，結果見圖6—7。

圖6 屈服強度實測值與預測值誤差分布

圖7 抗拉強度實測值與預測值誤差分布

由圖6可知，該模型對于屈服強度的預測誤差基本能保持在?7%～8.5%。由圖7可知，該模型對于抗拉強度的預測誤差基本保持在?5%～6%。對模型預測結果進行統計，結果顯示，97.98%的屈服強度預測結果和99.88%的抗拉強度預測結果誤差均小于10%。其中，68.67%的屈服強度預測結果和84.60%的抗拉強度預測結果誤差均小于3%。結果表明，建立的網絡模型能夠實現對屈服強度與抗拉強度的穩定、精確預測。

3.1 數據處理對神經網絡性能的影響

將均衡化前的數據集與均衡化后的數據集分別代入卷積神經網絡中進行訓練，結果見表5。

表5 均衡化前后數據集對模型性能的影響

Tab.5 Effects of data sets on model performance before and after equalization

表5對比了不同數據集對卷積神經網絡預測模型性能的影響。結果顯示，均衡化的方法能夠有效提高模型的預測精度和穩定性。

3.2 不同神經網絡性能對比

為了驗證卷積神經網絡在處理復雜參數關系時的優良表現，文中采用BP神經網絡建立了相應的性能預報模型，并與卷積神經網絡進行了對比。

不同神經網絡之間的性能差異見表6。由表6可知，與BP神經網絡相比，卷積神經網絡具有更小的RMSE和MAPE，這說明卷積神經網絡能挖掘到更接近真實的參數關系。這是由于卷積神經網絡能夠通過局部連接實現參數關系的深度挖掘，而傳統BP 神經網絡采用的是全連接的思想，因此在面對復雜的參數關系時，卷積神經網絡能夠更加有效地實現對結果的精確預測。

表6 不同神經網絡性能對比

Tab.6 Performance comparison of different neural networks

4 結論

1）文中將實際生產大數據與卷積神經網絡相結合，建立了熱軋薄板力學性能預報模型。該模型對于屈服強度的預測誤差基本保持在?7%～8.5%，對于抗拉強度的預測誤差基本保持在?5%～6%，實現了對熱軋薄板力學性能的高精度預測。

2）對比討論了衰減學習率對卷積神經網絡性能的影響。結果表明，隨著學習率的減小，模型精度逐漸提高，同時在較小學習率的情況下，模型迭代次數明顯增大。而衰減學習率能夠在保證模型精度的同時顯著減少迭代次數，降低運算時間。

3）對比討論了均衡化數據集對卷積神經網絡性能的影響。結果表明，均衡化后的數據集所得網絡模型的RMSE值降低了3.88 MPa，MAPE值降低了1.01%，所得結果有力地證明了均衡化數據集可以有效提高模型預測精度。

4）將BP神經網絡與卷積神經網絡進行比較，卷積神經網絡所得模型的RMSE值和MAPE值均小于BP神經網絡所得模型，同時卷積神經網絡所得模型預測結果中超過68%的數據絕對誤差均小于3%。結果表明，卷積神經網絡能夠更加有效地挖掘力學性能預測中復雜的參量關系，實現了力學性能的高精度預測。

[1] IRVINE K J, PICKERING F B. Low Carbon Bainiticsteels[J]. Journal of Iron and Steel Institute, 1957, 184(12): 292-309.

[2] YADA H, SENUMA T. Resistance to Hot Deformation of Steels[J]. Journal of Japanese Social Technology Plasticity, 1986, 27(1): 34-41.

[3] IMAO Tamura. Some Elementary Steps in the Thermomechanical Processing of Steels[J]. Tetsu-To Hagane, 1988, 74(1): 18-34.

[4] NANBA S, KITAMURA M, SHIMADA M, et al. Prediction of Microstructure Distribution in the Through- Thickness Direction during and after Hot Rolling in Carbon Steels[J]. ISIJ International, 1992, 32(3): 377-386.

[5] ANODORFER J, HRIBERNING G, LUGER A, et al. For the First Time Ever: Full Metallurgical Control of the Mechanical Properties of Hot-Rolled Strip with Vai-Q Strip[J]. Iron and Steel, 2001, 36(1): 42-46.

[6] 余萬華, 韓靜濤, 佘廣夫, 等. HSMM軟件在攀枝花鋼鐵公司熱軋板長的應用[J]. 鋼鐵研究學報, 2006, 18(11): 60-62.

YU Wan-hua, HAN Jing-tao, SHE Guang-fu, et al. Application of HSMM Software in Hot Strip Mill of Panzhihua Steel Company[J]. Journal of Iron and Steel Research, 2006, 18(11): 60-62.

[7] 干勇, 劉正東, 王國棟, 等. 組織性能預報系統在寶鋼2050熱軋生產線的在線應用[J]. 鋼鐵, 2006, 31(3): 40-43.

GAN Yong, LIU Zheng-dong, WANG Guo-dong, et al. On-Line Application of Structure and Property Prediction System on Hot Rolling Line on 2050 HSM at Baosteel[J]. Iron and Steel, 2006, 31(3): 40-43.

[8] 李依依, 李殿中, 朱苗勇. 金屬材料制備工藝的計算機模擬[M]. 北京: 科學出版社, 2006: 2-8.

LI Yi-yi, LI Dian-zhong, ZHU Miao-yong. Computer Simulation of Metal Processing[M]. Beijing: Science Press, 2006: 2-8.

[9] 劉振宇, 王昭東. 應用神經網絡預測熱軋C-Mn鋼力學性能[J]. 鋼鐵研究學報, 1995, 7(4): 61-66.

LIU Zhen-yu, WANG Zhao-dong. Predicting Mechanical Properties of Hot-Rolled Steels by Using Neural Network[J]. Journal of Iron and Steel Research, 1995, 7(4): 61-66.

[10] MUKHOPADHYAY A, IQBAL A. Prediction of Mechanical Properties of Hot Rolled, Low-Carbon Steel Strips Using Artificial Neutral Network[J]. Materials and Manufacturing Processes, 2005, 20(5): 793-812.

[11] AMIT P, PRASHANT D. Modeling of Microstructure and Mechanical Properties of Heat Treated Components by Using Artificial Neural Network[J]. Materials Science and Engineering: A, 2015(628): 89-97.

[12] GHAISARI J, JANNESARI H, VATANI M. Artificial Neural Network Predictors for Mechanical Properties of Cold Rolling Products[J]. Advances in Engineering Software, 2012, 45(1): 91-99.

[13] LALAM S, TIWARI P K, SAHOO S, et al. Online Prediction and Monitoring of Mechanical Properties of Industrial Galvanised Steel Coils Using Neural Networks[J]. Ironmaking & Steelmaking, 2019, 46(1): 89-96.

[14] BRANDENBURGER J, COLLA V, NASTASI G, et al. Big Data Solution for Quality Monitoring and Improvement on Flat Steel Production[J]. IFAC-Papers-OnLine, 2016, 49(20): 55-60.

[15] WU S, CAO G, ZHOU X, et al. High Dimensional Data-Driven Optimal Design for Hot Strip Rolling of C-Mn Steels[J]. ISIJ International, 2017, 57(7): 1213-1220.

[16] SPUZIC S, NARAYANAN R, GUDIMETLA P. Big Data Model-An Application to Design of Rolling Process[C]// International Conference on Innovative Material Science and Technology, 2016: 19-21.

[17] 武曙光. 區域CORS站坐標時間序列特征分析[D]. 武漢: 武漢大學, 2017: 27-28.

WU Shu-guang. Characteristics of Coordinate Time Series from Regional CORS Stations[D]. Wuhan: Wuhan University, 2017: 27-28.

[18] 吳禮斌, 李柏年, 張孔生, 等. MATLAB數據分析方法[M]. 北京: 機械工業出版社, 2018: 186-211.

WU Li-bin, LI Bai-nian, ZHANG Kong-sheng, et al. MATLAB Data Analysis Methods[M]. Beijing: China Machine Press, 2018: 186-211.

[19] 高仁祥, 張世英, 劉豹. 基于神經網絡的變量選擇方法[J]. 系統工程學報, 1996, 13(2): 32-37.

GAO Ren-xiang, ZHANG Shi-ying, LIU Bao. Variable Selection Approach Based on Neural Network Analysis[J]. Journal of Systems Engineering, 1996, 13(2): 32-37.

Modeling of Mechanical Properties of Hot Rolled Sheet Based on Convolutional Neural Network

ZHANG Shun-hu, CHE Li-zhi, TIAN Wen-hao, LI Yan

(Shagang School of Iron and Steel, Soochow University, Suzhou 215021, China)

The work aims to combine big data with convolutional neural network to establish a high-precision prediction model to improve the prediction accuracy of mechanical properties of hot rolled sheet. Before modeling, industrial big data was preprocessed, including outlier removal, clustering, data equalization and normalization, to obtain high-quality data sets. At the same time, the contribution weight method was used to filter the input parameters and remove the weakly correlated variables to reduce the complexity of the model. On this basis, the convolutional neural network was established with LeNet-5 structure and the hyperparameters of the model were optimized. At last, a prediction model for mechanical properties of hot rolled sheet was finally established. The prediction error of the model for yield strength was maintained between ?7%～8.5%, and the prediction error of tensile strength was maintained between ?5%～6%. The prediction results showed high prediction accuracy. In addition, the comparison of the results of convolutional neural network and traditional back propagation neural network finds that the convolutional neural network can give higher prediction accuracy by taking advantage of its local connection.

hot rolling; sheet; convolutional neural network; big data; mechanical property

10.3969/j.issn.1674-6457.2022.03.001

TG335

A

1674-6457(2022)03-0001-07

2021-10-11

國家自然科學基金（52074187，U1960105）

章順虎（1986—），男，博士，副教授，主要研究方向為軋制過程優化控制。