一種雙優選的半監督回歸算法

程康明，熊偉麗,2

（1. 江南大學 物聯網工程學院，江蘇 無錫 214122； 2. 江南大學 輕工過程先進控制教育部重點實驗室，江蘇 無錫 214122）

針對一些工業過程存在有標簽樣本數據少且獲取代價大，而無標簽樣本數據大量存在的情況，研究利用少量有標簽樣本和大量的無標簽樣本來提高學習性能的半監督學習受到了密切關注[1-3]。如今，半監督思想已經應用于各行各業，根據半監督學習目的將其大致分為3類[4]：半監督聚類、半監督分類和半監督回歸。其中，半監督聚類與半監督分類的研究很多，而半監督回歸的研究相對較少。

半監督回歸根據學習方法的不同大致分為兩類[5-6]：第一類為利用流行學習的半監督回歸算法；第二類為協同訓練算法。其中，流行學習方面的研究有楊劍等[7]提出的一類廣義損失函數的Laplacian半監督回歸方法，該方法充分利用了有標簽樣本的結構信息來提高回歸估計的精度。協同訓練的典型代表為Zhou等[8]在2005年提出的基于協同訓練的半監督回歸算法，該方法通過建立兩個學習器，以交互學習的方式來利用無標簽樣本，達到提高回歸精度的目的，但是其對有標簽樣本兩個冗余視圖的假設，使得該方法在某些場合的應用受到限制。另外，一些其他的半監督回歸方法也取得了不錯的效果。如程玉虎等[9]提出的一種Help-Training的半監督支持向量回歸算法，通過置信度評估選出了信任的無標簽樣本。盛高斌等[10]提出的基于半監督回歸的選擇性集成算法，考慮了如何通過對有標簽樣本的合理利用提高無標簽樣本預測的準確性。

上述方法有的從有標簽樣本角度出發，有的從無標簽樣本角度出發，本文為了更準確地利用無標簽樣本，同時考慮對無標簽樣本和有標簽樣本的篩選，通過定義兩個優選準則，提出一種雙優選的半監督回歸算法。該方法首先篩選無標簽樣本，降低引入預測誤差的可能性，同時篩選有標簽樣本，獲得一個更有針對性的有標簽樣本集；然后利用高斯過程回歸(GPR)方法對選出的有標簽樣本建立輔學習器，以對選出的無標簽樣本預測標簽；最后利用這些偽標簽樣本和初始有標簽樣本集通過GPR方法建立主學習器，從而提升主學習器預測效果。通過兩個仿真實驗，驗證了本文所提方法的有效性。

1 高斯過程回歸

GPR是一種基于統計學習理論的非參數概率模型，適合處理高維度、小樣本及非線性等數據的建模問題[11]。

協方差函數是GPR方法中的重要組成部分。GPR方法可以選擇多種協方差函數，只需保證對任意輸入能夠得到一個非負定協方差矩陣。本文選擇常用的高斯協方差函數，定義為

2 基于雙優選的半監督回歸策略

本文提出的雙優選策略，通過定義兩個優選準則來綜合考慮無標簽樣本的篩選，有標簽樣本篩選以建立輔學習器兩方面問題，進而達到準確預測無標簽樣本的目的。

2.1 雙優選準則

上述兩個優選準則，優選準則1通過馬氏距離選出以有標簽樣本密集區中心為球心為半徑的球域內所有無標簽樣本點，利用該準則有利于選出能夠被準確預測的無標簽樣本，剔除了可能帶來較大預測噪聲的無標簽樣本。優選準則2采用了Knoor等[14]提出的基于距離的離群點的定義，通過馬氏距離度量的相似度，剔除了閾值限定下的離群點，從而提升輔學習器的預測精度。有標簽樣本與

2.2 無標簽樣本篩選

為了選出能夠被準確預測的無標簽樣本，利用優選準則1對無標簽樣本進行篩選，選出滿足條件的無標簽樣本。而該準則能否做出有效篩選，取決于樣本密集區中心是否準確，尤其在有標簽樣本數目比較少時，此時樣本密集區中心對離群點更敏感。針對這種情況，提出一種新的尋找有標簽樣本密集區中心的方法。該方法首先尋找出有標簽樣本中屬于樣本密集區的樣本，然后對這部分屬于樣本密集區有標簽樣本求各屬性均值，得到樣本密集區中心。其具體操作如下，依次計算每一個有標簽樣本與周圍有標簽樣本間的馬氏距離，然后判斷是否小于閾值，統計周圍滿足條件的有標簽樣本數量若大于1，則為有標簽樣本密集區樣本，最后用所得樣本密集區樣本確定樣本密集區中心。在確保準則1的篩選效果后，再利用其篩選無標簽樣本。具體偽代碼如算法1所示。

算法1 無標簽樣本篩選

輸入有標簽樣本集(由自變量與因變量組成)，無標簽樣本集(只包含自變量)，閾值和，計數變量輸出選出的無標簽樣本集

2.3 輔學習器建立

算法2 輔學習器建立

輸入有標簽樣本集(由自變量與因變量組成)，閾值，計數變量

輸出輔學習器

2.4 基于雙優選的半監督算法流程

綜合考慮無標簽樣本和有標簽樣本的選擇，提出了一種帶雙優選過程的建模方法，建模流程如圖1所示。具體建模步驟如下：

2) 根據優選準則2選出有標簽樣本，建立一個更有針對性的輔學習器。

圖 1 總體算法步驟Fig. 1 Overall algorithm steps

3 數值仿真實驗

為了驗證所提雙優選方法的有效性，采用文獻[15]中的非線性函數進行數值仿真：

同時為了解決由于訓練樣本與測試樣本過于相似而帶來的對建模效果評價的可信度問題，仿真中通過兩種不同方式分別產生訓練樣本和測試樣本。對于訓練樣本，首先產生[-2,2]的隨機信號與[-2,2]的隨機信號然后將這兩組信號作用于系統，最終得到600組數據作為訓練樣本；對于測試樣本，首先令產生[-2,2]的隨機信號然后這兩組信號作用于系統，最終得到200組數據作為測試樣本。600組訓練樣本中選取50組作為有標簽樣本，另外550組作為無標簽樣本。

為了更直觀地說明雙優選方法的必要性，對數值仿真產生的訓練樣本數據進行了直方圖統計，分別統計了變量在每一維度上的分布特點，具體如圖2所示，其中橫坐標為樣本分布區間，縱坐標為樣本出現的頻數。

圖 2 有標簽樣本與無標簽樣本的直方圖分布Fig. 2 Histogram distribution about labeled and unlabeled samples

在圖2中，圖(a)為50組有標簽樣本輔助變量分布的直方圖統計，圖(b)為550組無標簽樣本每一維度分布的直方圖統計。因為大量無標簽樣本更能夠反映過程的整體特點，由圖2(a)和圖2(b)前3幅圖的對比，發現無標簽樣本分布大致成一種正態分布，而圖2(a)有標簽樣本的分布中，-5～0這段趨勢明顯異于整體的正態分布，可知部分初始有標簽樣本是游離在整體特性之外的。為保證準確性，需使建模樣本與預測樣本分布特性盡量一致。由圖2(a)后3幅圖發現，有標簽樣本分布在-1～1這段的數量相對較少，約占全部有標簽樣本的1/2，而由圖2(b)后3幅圖發現，無標簽樣本分布在-1～1這段的數量明顯更多，約占全部無標簽樣本的3/4。由上述對比可知，僅靠現有的有標簽樣本，難以準確預測所有的無標簽樣本。因此，想要利用無標簽提升建模效果，需要根據優選準則1篩選出能夠被準確預測的無標簽樣本，剔除那些可能會帶來大量噪聲的無標簽樣本。另外，由于有標簽樣本很少，不符合優選準則2的有標簽樣本將對輔學習器的針對性產生較大影響，必須剔除以保證對無標簽樣本預測的準確性。通過上述分析，從數據分布的角度說明了雙優選方法的必要性。

為了進一步驗證方法的實際效果，分別比較了GPR(不利用無標簽樣本)、無優選半監督GPR(non-optimal semi-supervised GPR，NS-GPR)和本文方法(利用優選準則1和優選準則2)對真實值的跟蹤效果，具體效果如圖3所示。

圖 3 數值仿真雙優選半監督預測效果Fig. 3 Numerical simulation of double-optimal semi-supervised prediction

由圖3可知，本文方法對真實值的跟蹤效果遠遠優于GPR和NS-GPR。雙優選方法在充分準確地利用無標簽樣本后，對測試樣本真實值的跟蹤效果明顯加強，擬合效果有了明顯的提升。具體擬合指標如表1所示。由表中數據可知，所提雙優選方法跟蹤效果相較GPR，均方根誤差由1.109 6下降到了0.927 8，可知本文方法在有標簽樣本很少時也能夠取得優秀的跟蹤效果。

表 1 數值仿真雙優選的擬合性能Table 1 The fitting performance of numerical simulation of dual-optimal selection

4 脫丁烷塔仿真實驗

為了進一步驗證本文方法性能，選用脫丁烷塔過程作為對象。脫丁烷塔裝置是石油煉制生產過程中脫硫與石腦油分離裝置的重要組成部分[16]。該過程樣本數據有7個輔助變量，分別為：塔頂溫度；塔頂壓力；塔頂回流量；塔頂產品流出；第六層塔板溫度；塔底溫度1；塔底溫度2；主導變量為塔底丁烷濃度。詳細的工藝過程描述可見文獻[17]。

該實驗過程數據源于真實過程的實時采樣，共獲得2 394組樣本。選出150組作為有標簽樣本，選出500組作為無標簽樣本。在有標簽樣本中，50組作為建模樣本，另外100組作為測試樣本。

為了進一步分析本文算法性能，縱向比較了幾點改進對模型跟蹤效果的影響，具體方法如下。

1) GPR方法。不利用無標簽樣本，僅利用已有的有標簽樣本建立GPR模型，然后測試其對測試樣本的跟蹤效果。

2) NS-GPR方法。不利用優選準則做篩選，直接對有標簽樣本建模，獲得輔學習器，然后預測無標簽樣本的標簽，進而利用偽標簽樣本更新主學習器。

3) 第一類單優選半監督GPR(single-optimal semi-supervised GPR，SS-GPRa)。利用優選準則1篩選無標簽樣本，然后直接對有標簽樣本建模得到輔學習器，后續過程同方法2)。

4) 第2類單優選半監督GPR(簡稱SS-GPRb)。首先利用優選準則2篩選有標簽樣本，然后對其建模得到輔學習器，后續過程同方法2)。

5) 本文方法。

圖4為不同方法的預測值與真實值的比較，縱坐標為測試樣本真實值，橫坐標為測試樣本預測值，數據點離基準線越近，表示預測效果越好。

圖 4 不同方法的縱向比較Fig. 4 Longitudinal comparison of different methods

分析圖4發現，本文方法在幾種方法中的效果最好。為了更直觀地比較各方法的預測效果，圖5通過跟蹤誤差表現了各方法的跟蹤效果，其中，縱坐標為預測值與真實值的差值。

圖 5 不同方法的預測誤差對比Fig. 5 Comparison of prediction errors of different methods

綜合圖4和5可以看出，NS-GPR雖然考慮了無標簽樣本信息，但其無差別的利用將會帶來大量噪聲，而SS-GPRa雖然篩選了無標簽樣本，但是由于輔學習器建立過程中，沒有考慮有標簽樣本的針對性，也會帶來大量噪聲。而SS-GPRb在考慮篩選有標簽樣本后，能夠對部分無標簽樣本進行更準確的預測，因此獲得了較好的模型預測效果。

本文方法在綜合考慮無標簽樣本與有標簽樣本篩選后，在絕大多數測試樣本的跟蹤上，都有很好的效果。這是因為在利用雙優選準則后，既降低引入噪聲的可能性，又保證了輔學習器的針對性，因此方法的跟蹤效果有了明顯的提升。

上述分析均建立在各方法對真實值的跟蹤效果對比上，為了更客觀地對比方法之間的效果，進行了各方法預測值的直方圖統計。圖6分別統計了真實值與各方法預測值的分布，其中，縱坐標為分布在每一區間的樣本出現的頻率，橫坐標為預測值與真實值分布的區間。

由圖6(a)、(c)和(d)的對比可知，NS-GPR與SS-GPRa在0.1～0.15和0.5～0.6兩個區域的預測值有比較明顯的誤差。同樣，由圖6(a)與圖6(b)的對比發現，GPR在0.4～0.6區域的預測值的誤差也較大。進一步由圖6(a)與圖6(e)的對比發現，SSGPRb在0.6～0.7區域中無法實現良好跟蹤。最后，綜合對比圖6各方法發現，本文方法在上述區域均能進行更準確地跟蹤。

圖 6 多種方法預測值與真實值的直方圖統計Fig. 6 Histogram statistics of predicted and real values of various methods

上述分析對比，驗證了本文方法的實際效果。發現同時考慮無標簽樣本與有標簽樣本的篩選，獲得了更好的預測效果。各方法具體跟蹤效果如表2所示。

表 2 不同模型預測效果對比Table 2 Comparison of prediction effects of different models

5 結束語

本文提出的帶雙優選過程的半監督回歸算法，基于兩種優選準則，一方面篩選合適的無標簽樣本，另一方面篩選有標簽樣本，從而建立更有針對性的輔學習器，實現了對無標簽樣本的更準確地利用，達到了提升主學習器性能的目的。將算法進行數值仿真并應用于脫丁烷塔過程，實驗結果表明，所提方法在有標簽樣本較少時，具有良好的預測效果，為半監督回歸提供了一種新思路。