基于BP神經網絡的參數遷移學習算法研究

張文田

摘要：在大數據時代下，現實領域中存在很多帶標簽樣本較少的數據集，傳統的神經網絡算法在處理這種數據集時分類準確率較低，因此本文提出了基于BP神經網絡的參數遷移學習算法，該算法以傳統的BP神經網絡為框架，通過對源領域與目標域之間的相似度學習，把源領域中有用的參數信息遷移到目標域中，提高目標域中測試集的分類準確率。通過對UCI數據集進行實驗，證明了在小數據樣本下該算法比傳統的神經網絡算法有更好的效果。

關鍵詞 ：BP神經網絡；參數遷移學習；相似度；小數據樣本；大數據

中圖分類號：TP181 文獻標識碼：A 文章編號：1009-3044（2019）04-0189-03

Abstract：In the era of big data， there are many data sets with few label samples in the reality field. The traditional neural network algorithm has low classification accuracy when dealing with this data set. Therefore， this paper proposes a BP neural network based parameter transfer learning algorithm. Based on the traditional BP neural network， the algorithm migrates the useful parameter information in the source domain to the target domain by learning the similarity between the source domain and the target domain， and improves the classification accuracy of the test set in the target domain. Experiments on the UCI dataset show that the algorithm has better effects than the traditional neural network algorithm under small data samples.

Key words： BP neural network；parameter transfer learning；similarity；small data samples；big data

1 引言

隨著大數據和云計算等新技術的發展，機器學習成為大數據時代主要的技術基石之一，傳統的機器學習對數據有兩個基本要求：1）監督算法需要利用大量帶標簽的數據，需要有足夠的訓練樣本；2）訓練數據和測試數據需要滿足獨立同分布[1]。但是在現實場景中，有很多領域不具備大量的訓練數據，例如醫學、安全監控、任務追蹤等領域；由于現實場景的數據多有缺失或噪聲，導致訓練數據集和測試數據集不在同一分布下[2]。在這兩種情況下，利用傳統的機器學習進行建模會導致分類準確率不高，逼近效果較差，因此遷移學習應運而生，遷移學習就是為了更好地利用各種數據而提出的新的研究方向[3]。

遷移學習的學習機制是利用源領域已有的知識對不同但相關的目標領域進行求解的一種新的機器學習方法[4]。遷移學習作為一種新的機器學習方法引起了國內外專家和學者的廣泛關注和研究。Pan[5]、Weiss[6]、莊福振[4]等人對遷移學習進行了比較深入的綜述。按照遷移內容劃分，遷移學習可分為基于特征、基于參數、基于實例以及基于關系這四種類型。按照源領域的個數，遷移學習可以分為單源遷移學習和多源遷移學習。Dai 等人[7]提出了 TrAdaBoost 算法、Pan 等人[8]提出了TCA 算法、張倩等人[9]提出的多源動態TrAdaBoost實例遷移學習算法、Yao 等人[10]提出了TaskTrAdaBoost和 MultiSourceTrAdaBoost 算法、Eaton 等人[11]提出的 TransferBoost 算法。

以上的遷移學習方法多以決策樹和支持向量機（SVM）作為基學習器，以BP神經網絡為基學器的遷移學習還未被探討過，所以本文提出一種基于BP神經網絡的遷移學習算法Tr-BP。該算法以BP神經網絡為基學習器，在真實標簽和預測標簽誤差最小的約束下進行相似度學習，得到源域與目標域的相似度，最后構建適用于目標域的新的神經網絡分類器。將新的模型應用于目標域，提高了目標域的分類準確率，并通過實驗驗證了這一算法。

2 相關工作

2.1 經典的BP神經網絡

由圖1可知，含有一個隱含層的BP神經網絡可分為兩部分，第一部分是輸入層與隱含層的連接，第二部分是隱含層與輸出層的連接。本文重點研究的是BP神經網絡的權重參數[Wnk]和[Vjk]以一定的相似度遷移到目標領域。在BP神經網絡中，利用梯度下降法優化損失函數[Ei]，更新權重參數[Wnk]和[Vjk]，更新公式如式（4），（5），（6），（7），其中[η]為學習率，在訓練時可以先把[η]固定一個值，然后根據擬合效果動態調整。把更新過的權重系數作為下一個樣本的權重系數，一直循環下去，當損失函數達到閾值時權重參數達到最優，得到適合數據樣本的BP神經網絡分類器。

3.1 Tr-BP算法原理構建

Tr-BP算法原理如下圖2所示，Tr-BP算法首先運用源領域的數據樣本[DT]按照式（1）-（7）訓練BP神經網絡，使得在訓練集上的經驗風險最小化，得到最優的權重參數矩陣[W'T]，在訓練過程中[WT]的初始值[W0T]是隨機初始化。根據參數遷移學習以及相似度學習的策略，用[as]表示源領域與目標領域的相似程度，定義為相似系數，則[Ws=asW'T]，[as]的初始值[a0s]可以通過網格搜索進行選取，取值范圍為[0，0.1，1]。然后利用目標域中帶標簽的數據[Tv]訓練BP神經網絡，其中網絡權重參數矩陣[Ws]的初始值[W0s=a0sW'T]，在利用梯度下降法進行優化時，不再優化[Ws]，而是優化相似系數[as]，當訓練集的經驗風險最小化時，得到最優的[a's]，此時得到目標域最優的網絡權重參數矩陣[W's=a'sW'T]。通過參數遷移以及相似系數的最優化學習，成功把源領域的有用參數信息遷移到目標域中，提高目標域分類的準確率。

3.2 Tr-BP 算法流程

遷移學習目標域分類器具體算法流程如下：

1）通過式（1）-（7）獲得適用于源領域的BP神經網絡最優的權重參數矩陣[W'T]；

2）通過網格搜索的方法選取相似系數的初始值[a0s]，選取范圍為[0，0.1，1]；

3）得到目標域構造的BP神經網絡權重系數矩陣初始值[W0s=a0sW'T]；

4）利用式（1）-（7）訓練目標域構造的神經網絡，優化相似系數[as]，得到最優的相似系數[a's]；

5）得到目標域構造的BP神經網絡最優的權重系數矩陣[W's=a'sW'T]，因此得到適用于目標域的BP神經網絡；

6）最后利用5）得到的BP神經網絡預測目標域無標簽的數據[Tv]的標簽向量。

4 實驗結果與分析

4.1 實驗準備和說明

4.2 Letter-recognition數據集

本文選取的是UCI中的Letter-recognition數據集，數據集是由A-Z26個英文字母圖片組成，每個實例代表一個字母。每個實例有16個特征，每個特征都代表著一定的含義由于數據集本身是整數類型，故需要把數據歸一化后方可使用本文把該數據集分成了6組實驗，其中母B，D，M，W，E，F為正樣本數據，J-Z隨機選取作為負樣本數據，所選取的目標域與源領域之間是有一定相似性和差異性的，且分布不同但相似，符合遷移學習的前提。本文將第一個字母作為目標任務，另外一個字母作為源領域數據，源領域數據集中正樣本有200個，負樣本有100個，目標域數據集中正樣本有100個，負樣本有100個，其中20%作為帶標簽的訓練集，80%作為無標簽的測試集。表1是Letter-recognition數據集在多源情況下實驗設計的形式。

表2是Letter-recognition數據集的實驗結果，結果中加粗的字體是實驗中分類效果最好的。通過表2可以看出，Tr-BP算法在各組實驗的分類準確率比傳統的機器學習準確率都要高，證明了該算法的實用性較強。從結果來看，傳統的機器學習沒有引入遷移學習，同時也沒有引入目標域與源領域之間的相似度，無法有效的學習出源領域的參數信息，因此實用性低于Tr-BP算法。

從上表1可以看出，本文設計的實驗是以兩個字母為一組，分別進行令字母作為目標域與源領域之間相互替換。

4.3 Wine Quality數據集

UCI中的Wine Quality 數據集記錄了紅酒和白酒兩個數據集信息，每個數據集的特征為：fixed acidity，volatile acidity，citric acid，residual sugar，chlorides，free sulphurdioxide，density，pH，sulphates，alcohol；標簽表示酒的質量：quality，取值范圍是 0～10，即質量越好越接近10。其中紅酒有1599個樣本，白酒有4898 個樣本。所有樣本數據需要進行歸一化處理。本文隨機取白酒中的600個作為源領域，紅酒的400個樣本作為目標域，取目標域的10%為訓練集，剩余的90%為測試集。實驗結果如表 3 所示。從結果中可以看出在預測白酒質量上Tr-BP算法比傳統的神經網絡算法效果好，可以更好地預測小樣本數據，當白酒帶標簽樣本很少時，傳統的機器學習不能很好地對白酒的質量進行分類。紅酒樣本與白酒樣本具有相同的特征空間，分布不同但相似。因此遷移學習可以應用于不同分布但相似的數據集，從源領域中可以提取可用于目標域的參數歷史知識，幫助小樣本的數據得到更好的預測效果。

5結論

本文以經典的BP神經網絡為基學習器，增加源領域與目標域的相似度，引入參數遷移學習，把源領域中有用的參數信息遷移到目標域中。針對在帶標簽樣本數據少的情況下，傳統的神經網絡預測準確率低，逼近效果差的問題進行討論，提出了基于BP神經網絡的參數遷移學習算法，該算法把參數遷移學習與相似度學習相結合，使得該算法可以有效地學習源領域與目標領域之間的相似度，并通過實驗證明了在帶標簽樣本較少，源領域與目標域分布不同但相似的情況下，引入參數遷移學習算法可以提高預測準確率，有效地解決了傳統神經網絡逼近小樣本數據集時準確率低的缺點。

參考文獻：

[1] 莊福振，羅平，何清，等.遷移學習研究進展[J].軟件學報，2015，26（1）：26-39.

[2] 鄭雪輝， 王士同.基于遷移學習的徑向基函數神經網絡學習[J].計算機工程與應用唯一官方網站， 2016， 52（5）：6-10.

[3] Pan S J， Yang Q. A Survey on Transfer Learning[J].IEEE Transactions on Knowledge & Data Engineering， 2010， 22（10）：1345-1359.

[4] huang F， Luo P， He Q， et al. Survey on transfer learning research[J].Journal of Software， 2015（26）：26-39.

[5] Pan S J， Yang Q. A Survey on Transfer Learning[J].IEEE Transactions on Knowledge & Data Engineering，2010，22（10）：1345-1359.

[6] Weiss K， Khoshgoftaar T M， Wang D D. A survey of transfer learning[J].Journal of Big Data， 2016，3（1）：9.

[7] Dai W， Yang Q， Xue G R， et al. Boosting for transfer learning[C]//International Conference on Machine Learning，2007.

[8] Pan S J， Tsang I W， Kwok J T，et al. Domain Adaptation via Transfer Component Analysis[J].IEEE Transactions on Neural Networks，2011，22（2）：199-210.

[9] Qian Z， Ming L I， Xue-Song W， et al.Instance-based Transfer Learning for Multi-source Domains[J]. Acta Automatica Sinica，2014，40（6）：1176-1183.

[10] Yao Y， Doretto G. Boosting for transfer learning with multiple sources[J].2010.

[11] Eaton E， Desjardins M. Selective transfer between learning tasks using task-based boosting[C]//Aaai Conference on Artificial Intelligence，AAAI Press，2011.

【通聯編輯：唐一東】