基于Wasserstein GAN數據增強的礦物浮選純度預測

doi：10.11835/j.issn.1000-582X.2023.107

摘要：在選礦行業中，準確地預測精礦品位可以幫助工程師提前調整工藝參數，提高浮選性能。但在實際選礦過程中，采集數據存在樣本量少、維度高、時序相關性復雜等問題，限制了精礦品位的預測精度。針對小樣本數據的預測問題，提出了一種將Wasserstein生成對抗網絡（Wasserstein generative adversarial network，Wasserstein GAN）和長短期記憶網絡（long short-term memory，LSTM）相結合的時間序列數據生成模型LS-WGAN，主要利用LSTM網絡來獲取選礦數據中的時間相關性，再通過Wasserstein GAN網絡生成與原始數據分布相似的樣本進行數據增強；為了更加準確地預測精礦品位，建立了浮選預測模型C-LSTM，并基于真實泡沫浮選工藝數據實驗驗證了所提出方法的預測準確性。

關鍵詞：精礦品位預測；Wasserstein生成對抗網絡；LSTM；數據增強；深度學習

中圖分類號：TP391；TD951文獻標志碼：A文章編號：1000-582X（2024）09-081-10

Froth flotation purity prediction based on Wasserstein GAN data augmentation

WU Haosheng，JIANG Pei，WANG Zuoxue，YANG Bodong

（College of Mechanical and Vehicle Engineering，Chongqing University，Chongqing 400044，P.R.China）

Abstract：In the mineral processing industry，accurately predicting concentrate grade can help engineers adjust process parameters in advance and improve flotation performance.However，the prediction accuracy of concentrate grade has been restricted by small sample sizes，high-dimensional data，and complex temporal correlations in actual mineral processing.To address the predication challenges associated with small sample data，a time-series data generation model called LS-WGAN is proposed，which combines the Wasserstein generative adversarial network（Wasserstein GAN）and long short-term memory（LSTM）neural network.The LSTM network is mainly used to capture the time correlation in mineral processing data，while the Wasserstein GAN generates samples similar to the original data distribution for data augmentation.To improve the prediction accuracy of the concentrate grade，a mineral processing prediction model called C-LSTM is established.The prediction accuracy of the proposed method is verified through experiments based on real froth flotation process data.

Keywords：prediction of concentrate grade;Wasserstein generative adversarial network;long short-term memory（LSTM）;data augmentation;deep learning

泡沫浮選是選礦工業中應用最廣泛和最重要的分離方法之一[1]，其原理是利用礦物表面物理和化學性質的差異，使一種或一組礦物選擇性地附著在泡沫上，從而達到礦物分離的目的[2]。鐵礦石的泡沫浮選階段會產生二氧化硅殘留物，它會導致產品質量下降，降低鋼鐵產品的韌性和可焊性[3]。浮選性能受許多工藝參數的影響，例如原礦品位、礦漿濃度、礦漿粒度、礦漿pH值、藥劑類型、藥劑量等。因此，建立這些參數與浮選性能指標之間的映射關系，對實現浮選過程的最佳控制有重要意義。

浮選過程是一個高度復雜和動態的環境，其中的物理、化學規律尚未得到很好的解釋，很難根據數學機理對浮選過程進行有效建模[4]。目前研究主要集中于基于數據建模的方式，使用機器學習方法建立工藝參數和浮選性能指標之間的映射，從而無需過多地討論浮選過程中的機理和先驗知識。Aldrich等[5]建立了包含決策樹和反向傳播神經網絡的模型對泡沫表面特征進行建模，開啟了機器學習在浮選建模中的應用。此后不同的機器學習模型[6]被開發并成功應用于浮選過程的建模，包括多層感知[7-8]、支持向量機[9]、隨機森林[10]等。然而傳統機器學習模型結構簡單，未考慮時間相關性，無法處理工業強度的復雜數據。Pu等[11]提出了一種分層深度學習網絡FlotationNet，將生產中的工藝信息輸入到網絡中去預測精礦中鐵和二氧化硅的含量。此外，Pu等[12]考慮到浮選工程數據的大小和時間依賴性，使用堆疊的長短期記憶網絡模型對泡沫浮選過程建模，實現了鐵和二氧化硅含量的準確預測。相比之下，以門控循環單元網絡（gate recurrent unit，GRU）、長短期記憶（long short-term memory，LSTM）網絡為代表的深度學習模型因其深層、復雜和靈活的架構[13]實現了比傳統機器學習方法更高的精度。但是數據的稀缺性限制了深度學習模型的性能，實驗表明模型的性能和有效樣本的數量呈正相關[11]，而在實際工業生產過程中，實時數據采集是一項費時費力的工作，采集的樣本數量難以滿足深度學習模型的需求。

針對樣本數據少的問題，研究人員提出了數據增強方法[14-15]，通過減少過擬合和擴展模型的決策邊界來提高其泛化能力[16]，改善模型訓練過程中的小樣本[17]和不平衡數據集[18-19]問題。數據增強方法主要分為有監督和無監督2種：有監督數據增強方法包括翻轉、旋轉、裁剪、添加噪聲、SMOTE[20]、樣本配對[21]、混合[22]等；無監督數據增強方法包括生成對抗網絡[23]和自動數據增強[24]。實驗證明，適當的數據增強對提高模型的預測、分類精度是有效的[25]。迄今為止，基于生成對抗網絡的數據增強主要應用于圖像領域[26]和故障信號生成[18-19]，對浮選過程的時序數據增強研究很少。

筆者采用Wasserstein生成對抗網絡（Wasserstein generative adversarial network，Wasserstein GAN）和LSTM網絡建立了時間序列數據生成模型LS-WGAN，主要利用LSTM網絡來獲取浮選數據中的時間相關性，將提取信息輸入Wasserstein GAN生成真實變化的浮選數據樣本，然后建立了一種浮選純度預測模型C-LSTM，該模型基于浮選過程中的工藝數據去預測鐵精礦中二氧化硅的含量，通過對比不同模型的預測結果，實驗證明了LS-WGAN數據增強的有效性和預測模型C?LSTM的準確性。

1相關技術

1.1生成對抗網絡

生成對抗網絡是一種無監督學習算法[23]，包括2個對抗博弈的生成器和判別器。它通過學習真實樣本的分布以生成仿真數據。在每次訓練期間，一組隨機噪聲z～N（0，1）輸入到生成器中產生偽樣本，判別器判斷樣本的真實性并給出分數。生成器的目的是欺騙判別器判斷偽樣本為真，而判別器的目的是區分偽樣本和真樣本，通過對抗訓練使生成樣本的分布接近真實樣本。使用G和D分別表示生成器和鑒別器，生成對抗網絡的損失函數用以下公式表示：

式中：pdata和pg分別表示真實樣本x和隨機噪聲z的分布；G（z）表示生成的偽樣本；D（x）表示真實樣本被判定為真的概率；D（G（x））表示偽樣本被判定為真的概率。由于原始GAN算法存在訓練不穩定和梯度消失的問題，Arjovsky等[27]提出使用Wasserstein距離來衡量真實分布與生成數據分布之間的差異，從根本上解決了模式坍塌的問題。Wasserstein GAN的損失函數定義如下：

式中，L是1-Lipschitz函數，為了滿足1-Lipschitz條件，Wasserstein GAN中采用權重裁剪的方法對判別器中的權重加以約束。

1.2長短期記憶網絡

循環神經網絡（recurrent neural network，RNN）由于其特殊的結構，主要用于長期依賴關系建模[28]。LSTM作為一種特殊的循環網絡結構，解決了RNN在長序列訓練過程中的梯度消失和梯度爆炸問題[29]。LSTM由細胞狀態、輸入門、輸出門和遺忘門組成，細胞狀態是LSTM的記憶單元，負責記錄歷史數據中的有用信息；遺忘門則負責刪除和遺忘部分信息，解決了RNN存在的長期依賴問題。LSTM的結構如圖1所示。

LSTM的計算過程如下：

式中：t代表第t個時間間隔；it、ot、ft、xt、ct、ht分別代表輸入門、輸出門、遺忘門、輸入數據、記憶單元和隱藏單元；σ表示sigmod激活函數；W和b分別為權重矩陣和偏置向量；tanh為雙曲正切函數，整個訓練過程中使用反向傳播算法和優化函數來對參數進行優化。

2基于Wasserstein GAN數據增強的浮選純度預測

2.1基于LS-WGAN的數據增強算法

浮選過程中的實時數據采集是一項費時費力的工作，因此，提出了一個時間序列數據生成模型LS-WGAN進行數據增強，然后通過模型C-LSTM去預測鐵精礦中二氧化硅的含量。整個數據增強算法的流程如圖2所示，包括4個步驟：1）數據收集和預處理；2）LS-WGAN生成模型訓練；3）C-LSTM預測模型訓練；4）統計分析評價。

首先對樣本數據集進行預處理，將預處理后的數據集按照一定比例劃分為訓練集和測試集；然后建立LS-WGAN生成模型，使用全部樣本數據集對LS-WGAN進行訓練，直到滿足訓練要求；接著建立C-LSTM預測模型，使用LS-WGAN生成新的樣本加入訓練集中形成增強數據集，用增強數據集訓練C-LSTM；最后，使用測試集測試C-LSTM，得到預測結果。

2.2 LS-WGAN生成模型

LS-WGAN模型由生成器G和判別器D組成，結構如圖3所示。

為了獲取數據中的時間依賴性，LS-WGAN的判別器和生成器主要由LSTM層和全連接層構成。生成器G由3個LSTM層組成，每層的LSTM單元個數分別為128、128和23。生成器G接收序列z={z t}t（T）=1（T是訓練數據序列的長度），在每個時間點t，z t從均勻隨機分布[- 1，1]中獨立采樣，然后被送入生成器。在t時刻，LSTM層的第l層中的第i個LSTM單元的輸出u，，j（l）t）被傳遞到（l+1）層中的第j個LSTM單位，最后一層輸出生成的時間序列G（z）=R T。判別器由2個LSTM層和全連接層組成，每層的LSTM單元數為128個，給定輸入序列x=R T，判別器輸出代表真實樣本和生成樣本之間Wasserstein距離的標量值。

在LS-WGAN訓練過程中，D和G進行極小極大博弈，其價值函數V（D，G）定義為

式中：px（x）和pz（z）分別代表訓練數據x和隨機噪聲z的分布，E表示下標中指定分布的期望值。首先從分布pz中采集m個隨機序列樣本{z（1），z（2），...，z（m）}，再從分布px中采集m個樣本{x（1），x（2），...，x（m）}。為了克服損失函數在更新過程中擺動幅度過大的問題，Wasserstein GAN的優化器使用均方根傳遞（root mean square prop，RMSProp）算法代替原始GAN中的隨機梯度下降（stochastic gradient descent，SGD）算法[27]。判別器D的權重更新如下：

式中：ω和θ分別代表判別器和生成器的權重參數。

從分布pz中采集m個隨機序列樣本{z（1），z（2），...，z（m）}，更新生成器G的權重如下：

不斷重復上述訓練直到生成器和判別器達到納什平衡。

2.3 C-LSTM預測模型

浮選數據集由進出料純度參數和工藝參數兩部分組成，由于兩部分數據的特征維度大小不同，設計了一個雙輸入深度學習模型C-LSTM。本研究中浮選廠的主要目標是將鐵礦石中的二氧化硅顆粒分離出來，因此，只將鐵精礦中的二氧化硅含量作為目標輸出。預測模型C-LSTM的結構如圖4所示。

C-LSTM主要有2個接收數據的分支，分別用來接收進出料純度參數和工藝參數。由于卷積神經網絡（convolutional neural network，CNN）強大的特征提取和降維能力，模型中使用一維卷積神經網絡對輸入的高維數據進行特征提取，經過激活層進行非線性化以及最大池化層進行降維，把提取的特征信息送入LSTM層中獲取特征之間的時間相關性，最終將2個分支的信息合并，經過全連接層得到目標輸出。卷積層中卷積核的數量分別為16和32，激活函數用Relu，3個LSTM層中單元個數都是30。將適應性矩估計（adaptive moment estimation，Adam）算法作為C-LSTM模型訓練的優化器，C-LSTM的訓練損失函數如下：

式中：yi表示目標輸出；y（?）i表示模型的預測輸出；n表示每次迭代中的樣本個數。

3實驗結果

3.1數據預處理

實驗數據集由一個鐵礦石浮選廠收集于2017年4月2日24點至9月9日23點，采用陽離子捕收劑反浮選法從鐵礦石中分離二氧化硅顆粒。數據集包括工藝參數和進出料中鐵與二氧化硅的含量2部分，其中工藝參數一共有19個，采樣間隔是20 s；進出料純度參數一共有4個，采樣間隔是1 h，總共691 200條數據樣本，如表1所示。在浮選廠的生產過程中，不同批次鐵礦石的浮選時間均為6 h，分析數據集可知，每1 080條數據（間隔6h）中的進料純度相同，而出料純度按照隔1 h變化一次。因此，根據鐵礦石批次的不同，將整個數據集劃分為640個樣本，將其中前90%的樣本（576個）作為預測模型的訓練集，剩下的10%（64個）作為測試集。每個樣本的大小為1 080×23維，其中1 080是每個批次數據的長度，23是樣本特征維度。為了避免數據中不同特征的量綱對預測結果的影響，并加快訓練收斂速度，對數據進行歸一化處理如下：

式中：x表示待歸一化的數據，xmin和xmax分別表示x中的最小值和最大值，x′表示經過歸一化處理后的值。

3.2訓練參數設置及評價指標

LS-WGAN訓練的批次大小設置為64，生成器和判別器的學習率統一設置為0.000 05。C-LSTM的訓練學習率設置為0.000 1，其批次大小和訓練次數分別設置為64和200。實驗基于Tensorflow 2.0深度學習框架，選取顯卡Nvidia GTX3070于Windows 10平臺進行訓練。為了驗證預測模型的精度，通過平均絕對誤差（mean square error，MAE）和均方根誤差（root mean square error，RMSE）評價模型的預測性能，MAE衡量模型預測值和真實值之間的平均絕對誤差，RMSE衡量了預測值與真實值之間的均方根誤差，計算公式如下。

式中：y（?）i表示第i個真實值；yi表示第i個預測值；n表示樣本的個數。

3.3實驗結果與分析

首先將原始數據集中的640個樣本全部用于生成模型LS-WGAN的訓練，模型的訓練損失值變化如圖5所示，判別器和生成器的損失值隨迭代次數增加逐漸減少至收斂。在前500次訓練中，生成器和判別器的訓練損失值上下波動較大。在超過800次訓練后，兩者的損失值開始逐漸減少直到收斂。在第1 500次訓練時，生成器和判別器的損失已經收斂，Wasserstein距離穩定在0左右，表明生成樣本與真實樣本分布之間的差異已經很小。

使用訓練集對預測模型C-LSTM進行訓練，為了更加直觀地評估C-LSTM的預測性能，將模型對測試集的預測值和真實值逐點比較，結果如圖6所示。可以看出C-LSTM對二氧化硅含量的預測值與真實性非常接近，預測的平均絕對誤差和均方根誤差分別是0.42%和0.61%。在整個浮選期間，鐵精礦中二氧化硅含量的變化范圍為0.6%～5.365%。

為了證明LS-WGAN數據增強的有效性，分別用原始數據集和增強數據集訓練C-LSTM。增強數據集以原始數據集為基礎，數據集設置如表2所示，生成樣本量以50為步長從0增大到900。本實驗中對比了常用的4種深度學習模型，即LSTM、1D-CNN以及FNN和C-LSTM，其中LSTM模型由堆疊的LSTM層組成，1D-CNN模型由一維卷積神經網絡層組成，FNN模型由全連接層組成。4種模型訓練的損失函數、批次大小、優化器、學習率和訓練次數均相同，訓練策略為：將每個增強數據集劃分為訓練集（90%）和測試集（10%），把生成樣本全部加入訓練集，而測試集均為64個相同的真實樣本。

實驗結果如表3所示，C-LSTM、LSTM、1D-CNN和FNN模型在原始數據集上的預測平均絕對誤差分別是0.42%、0.46%、0.63%和0.59%，均方根誤差分別是0.61%、0.62%、0.87%和0.83%。1D-CNN和FNN的預測精度低于LSTM和C-LSTM，這是因為FNN未考慮數據中的時間相關性，1D-CNN適合處理較短的時間序列數據，而C-LSTM和LSTM則具有較強的長時序數據處理能力。由于C-LSTM首層利用卷積神經網絡對輸入的高維工藝參數進行特征提取和降維，不僅對原始數據起到了濾波和降維的作用，而且還增大了LSTM的長時間序列處理能力。因此，C-LSTM具有比LSTM模型更好的預測性能。

C-LSTM、LSTM、1D-CNN以及FNN的預測誤差變化如圖7所示，不同模型的預測誤差均隨著數據增強而逐漸減少。在生成樣本個數達到900個時，平均絕對誤差分別是0.23%、0.22%、0.34%和0.32%，均方根誤差分別是0.45%、0.43%、0.62%和0.61%。實驗結果證明了LS-WGAN數據增強的有效性，模型的預測性能和樣本的數量呈正相關，收集更多的有效樣本是提高模型性能最直接和最有效的方法。

4結束語

在實際選礦生產過程中，通過建立浮選工藝參數和浮選性能指標之間的映射可以幫助企業進行工藝參數優化，提高浮選性能。但是實時采集的數據量通常不能滿足需求，數據的稀缺性限制了深度學習模型的性能。筆者提出了一種將Wasserstein生成對抗網絡和長短期記憶網絡相結合的時間序列數據生成模型LS?WGAN，對浮選數據集進行數據增強。基于一個鐵礦石浮選廠的工藝數據，實驗證明了LS-WGAN數據增強的有效性和C-LSTM模型預測的準確性。但是隨著生成樣本增加，模型的預測誤差沒有持續下降到零，并且在減小的過程中存在波動，這可能是由LS-WGAN模型的生成樣本與真實樣本仍然存在差距引起的。未來的工作應該集中于改進生成模型以生成更高質量的樣本。總之，提出的數據生成模型和預測模型將促進深度學習方法在浮選過程中的應用，并有助于實現浮選效率的優化和性能的提升。

參考文獻

［1］Shean B J，Cilliers J J.A review of froth flotation control[J].International Journal of Mineral Processing，2011，100（3/4）：57-71.

［2］Wang G C，Nguyen A V，Mitra S，et al.A review of the mechanisms and models of bubble-particle detachment in froth flotation[J].Separation and Purification Technology，2016，170：155-172.

［3］Fan G X，Wang L G，Cao Y J，et al.Collecting agent–mineral interactions in the reverse flotation of iron ore：a brief review[J].Minerals，2020，10（8）：681.

［4］Vieira S M，Sousa J M C，Dur?o F O.Fuzzy modelling strategies applied to a column flotation process[J].Minerals Engineering，2005，18（7）：725-729.

［5］Aldrich C，Moolman D W，Gouws F S，et al.Machine learning strategies for control of flotation plants[J].IFAC ProceedingsVolumes，1995，28（17）：99-105.

［6］McCoy J T，Auret L.Machine learning applications in minerals processing：a review[J].Minerals Engineering，2019，132：95-109.

［7］Nakhaei F，Mosavi M R，Sam A，et al.Recovery and grade accurate prediction of pilot plant flotation column concentrate：neural network and statistical techniques[J].International Journal of Mineral Processing，2012，110/111：140-154.

［8］Chelgani S C，Shahbazi B，Rezai B.Estimation of froth flotation recovery and collision probability based on operational parameters using an artificial neural network[J].International Journal of Minerals，Metallurgy，and Materials，2010，17（5）：526-534.

［9］Chehreh Chelgani S，Shahbazi B，Hadavandi E.Support vector regression modeling of coal flotation based on variable importance measurements by mutual information method[J].Measurement，2018，114：102-108.

［10］Shahbazi B，Chehreh Chelgani S，Matin S S.Prediction of froth flotation responses based on various conditioning parameters by Random Forest method[J].Colloids and Surfaces A：Physicochemical and Engineering Aspects，2017，529：936-941.

［11］Pu Y Y，Szmigiel A，Chen J，et al.FlotationNet：a hierarchical deep learning network for froth flotation recovery prediction[J].Powder Technology，2020，375：317-326.

［12］Pu Y Y，Szmigiel A，Apel D B.Purities prediction in a manufacturing froth flotation plant：the deep learning techniques[J].Neural Computing and Applications，2020，32（17）：13639-13649.

［13］Montanares M，Guajardo S，Aguilera I，et al.Assessing machine learning-based approaches for silica concentration estimation in iron froth flotation[C]//2021 IEEE International Conference on Automation/XXIV Congress of the Chilean Association of Automatic Control（ICA-ACCA），March 22-26，2021，Valparaíso，Chile.IEEE，2021：1-6.

［14］Wen Q S，Sun L，Yang F，et al.Time series data augmentation for deep learning：a survey[C]//Proceedings of the Thirtieth International Joint Conference on Artificial Intelligence，August 19-27，2021，Montreal，Canada.California：International Joint Conferences on Artificial Intelligence Organization，2021：4653-4660.

［15］Shorten C，Khoshgoftaar T M，Furht B.Textdata augmentation for deep learning[J].Journal of Big Data，2021，8：101.

［16］Shorten C，Khoshgoftaar T M.A survey on image data augmentation for deep learning[J].Journal of Big Data，2019，6：60.

［17］Olson M，Wyner A J，Berk R.Modern neural networks generalize on small data sets[C]//Proceedings of the 32nd International Conference on Neural Information Processing Systems.New York：ACM，2018：3623-3632.

［18］Shao S Y，Wang P，Yan R Q.Generative adversarial networks for data augmentation in machine fault diagnosis[J].Computers in Industry，2019，106：85-93.

［19］Zhao B X，Yuan Q.Improved generative adversarial network for vibration-based fault diagnosis with imbalanced data[J].Measurement，2021，169：108522.

［20］Chawla N V，Bowyer K W，Hall L O，et al.SMOTE：synthetic minority over-sampling technique[J].Journal of Artificial Intelligence Research，2002，16：321-357.

［21］Inoue H.Data augmentation by pairing samples for images classification[EB/OL].2018[2022-10-05].https：//arxiv.org/abs/1801.02929

［22］Zhang H Y，Cisse M，Dauphin Y N，et al.Mixup：beyond empirical risk minimization[EB/OL].2017[2022-10-05].https：//arxiv.org/abs/1710.09412

［23］Goodfellow I，Pouget-Abadie J，Mirza M，et al.Generative adversarial networks[J].Communications of the ACM，2020，63（11）：139-144.

［24］Cubuk E D，Zoph B，Mane D，et al.AutoAugment：learning augmentation policies from data[EB/OL].2018[2022-10-05].https：//arxiv.org/abs/1805.09501

［25］Fekri M N，Ghosh A M，Grolinger K.Generating energy data for machine learning with recurrent generative adversarial networks[J].Energies，2019，13（1）：130.

［26］Wang J L，Yang Z L，Zhang J，et al.AdaBalGAN：an improved generative adversarial network with imbalanced learning for wafer defective pattern recognition[J].IEEE Transactions on Semiconductor Manufacturing，2019，32（3）：310-319.

［27］Arjovsky M，Chintala S，Bottou L.Wasserstein generative adversarial networks[C]//Proceedings of the 34th InternationalConference on Machine Learning：PMLR 70，August 6-11，2017，Sydney，NSW，Australia.New York：ACM，2017：214-223.

［28］Elman J L.Finding structure in time[J].Cognitive Science，1990，14（2）：179-211.

［29］Gers F A，Schmidhuber J，Cummins F.Learning to forget：continual prediction with LSTM[J].Neural Computation，2000，12（10）：2451-2471.

（編輯羅敏）