一種基于遷移極速學習機的人體行為識別模型

支周+屈肅

摘 要：為了解決由于每個用戶的行為都有自身的特點和習慣，加之手機放置位置和方向的不確定性及多樣性所導致的通用模型識別率低的問題，文章提出了利用TrELM（Transfer Extreme Learning Machine）算法實現(xiàn)遷移學習，并基于智能手機中內(nèi)置的加速度傳感器進行信息采集并通過機器學習方法構建人體行為識別模型。該方法是一種基于參數(shù)遷移的方法，通過對ELM的目標函數(shù)進行修改，引入一個可以表示兩域差異的遷移學習量，從而實現(xiàn)ELM模型的遷移學習。實驗結果表明，該模型可以有效的提高新用戶的行為識別正確率。

關鍵詞：遷移學習;人體行為識別;極速學習機;機器學習

中圖分類號：TP391 ? ? ? ? ? ?文獻標識碼：A ? ? ? ? ?文章編號：2095-1302（2015）09-00-03

0 ?引 ?言

基于智能手機進行人體行為識別是移動情景識別的一個重要研究方向，在健康監(jiān)控、行為檢測、老年人監(jiān)管等方面有廣泛應用[1]。在構建行為識別模型時，利用智能手機中內(nèi)置的三軸加速度傳感器，對人們多種日常行為的加速度數(shù)據(jù)進行采集，并通過機器學習的方法，構建用戶行為識別模型[2]。

由于每個用戶的行為都有自身的特點和習慣，加之手機放置位置和方向的不確定性及多樣性，導致不同用戶的行為加速度數(shù)據(jù)特征的數(shù)據(jù)分布差異較大，以至于識別模型的不適用性大大增加。為了解決識別模型的自適應性問題，并且以最小的代價獲得較大收獲，這就需要利用遷移學習對通用模型進行修改。

為了解決通用行為模型在面對新用戶時的不適用問題，本文提出了TrELM算法實現(xiàn)遷移學習。該方法是一種基于參數(shù)遷移的方法，通過對ELM的目標函數(shù)進行修改，引入一個可以表示兩域差異的遷移學習量，實現(xiàn)ELM模型的遷移學習。利用TrELM算法實現(xiàn)通用模型的遷移，首先利用ELM分類器構建通用行為識別模型，可以得到源域中識別模型的輸出權值向量βS;之后通過對新用戶的少量行為樣本進行學習，修改通用模型的輸出向量為βt，實現(xiàn)對通用模型的修改，完成具有遷移學習功能的行為識別模型。

1 ?已有研究

Dai提出了一種TrAdaBoost方法[3]，該方法的假設前提為源域和目標域實例數(shù)據(jù)的特征和標記相同，但數(shù)據(jù)分布不同。該方法利用AdaBoost方法構建了一個數(shù)據(jù)樣本權值自動調(diào)整的機制，在迭代過程中對源域和目標域的數(shù)據(jù)采取不同的權重調(diào)整機制，進而可以實現(xiàn)減少有害數(shù)據(jù)對目標域學習的影響。該方法雖然可以借助源域的部分數(shù)據(jù)樣本作為輔助數(shù)據(jù)來在目標域進行學習，但是當源域和目標域的數(shù)據(jù)樣本相似性較差時，負遷移效果會增加。Jiang等在文獻[4]中的處理辦法是對源域數(shù)據(jù)樣本進行領域適應性的轉變，將產(chǎn)生負遷移效應的源域樣本刪除后再進行賦值，增加其在目標域中的權值大小，最終可以利用具有預測標簽的目標域樣本對源域樣本的質(zhì)量進行提升。

Dai等人在文獻[5]中提出翻譯特征遷移學習方法，該方法是一種較為基礎的特征遷移學習方法，主要通過對跨領域的特征進行學習，用以解決訓練數(shù)據(jù)和測試數(shù)據(jù)所屬特征空間不同的問題，利用不相關的數(shù)據(jù)幫助目標分類和聚類學習。

Lawrence在文獻[6]中提出了一種高效算法MT-IVM，該方法構建了多任務的高斯過程，在其特性上獲取知識，以實現(xiàn)知識共享。Bonilla在文獻[7]中也研究了高斯過程下的多任務學習，提出了基于任務間自由形式的協(xié)方差矩陣，進而模擬交互任務的依賴性，最終利用高斯過程中知識對任務間的相互關系進行學習。Schwaighofer等人構建了基于高斯過程和貝葉斯算法的統(tǒng)一模型，以解決多任務學習問題[8]。在文獻[9]中，Evgeniou提出了一種以分層貝葉斯模型為前提的規(guī)則化框架，并實現(xiàn)了在遷移學習中的應用，解決了多任務學習的問題。該方法的實現(xiàn)基于如下假設，即在面臨每個任務時，將SVMs中的特征分為兩部分，一部分是所有任務都具有的共同體，另一部分是針對某個任務的專有部分，這種方法適用于具有較多樣本，且源域和目標域樣本較為單一的情況。

Mihalkova在文獻[10]中提出了TAMAR算法，通過馬爾科夫邏輯網(wǎng)絡在相關聯(lián)領域間遷移相關知識。在馬爾科夫模型中，關聯(lián)領域的實體通過預測表現(xiàn)出來，他們的關聯(lián)性可由一階邏輯表示。該方法基于這樣一個事實，若兩個域是相關的，則存在一種從源域到目標域的實體之間及關系的映射。TAMAR算法分為兩個階段，首先構造一個基于加權的對數(shù)似然度的從源域到目標域的映射;之后利用FORTE算法修正目標域的映射結構，修改后的馬爾科夫邏輯網(wǎng)絡可以用作目標域的關聯(lián)模型來使用。此外，Davis等人構建了二階馬氏邏輯，實現(xiàn)相關知識的遷移學習，該方法根據(jù)反相馬爾科夫鏈的形式實現(xiàn)源域中某一樣本的架構構造，進而可以在目標域中獲取該樣本的公式。

本文所提出的TrELM算法結合了參數(shù)遷移方法，實現(xiàn)了ELM在模型層面上的遷移學習功能。

2 ?基于遷移極速學習機的行為識別模型

目前，針對ELM遷移學習方法的研究主要是基于實例遷移學習方法，基于參數(shù)的遷移學習大多是在SVM結構中實現(xiàn)的。遷移學習算法TL-SVM通過對SVM分類器進行深入研究，從判別函數(shù)f（x）=wTx+b中發(fā)現(xiàn)不同域間的差異體現(xiàn)在其w值上。通過構造可以體現(xiàn)兩域間差異的項μ‖wt-wS‖2，將其添加至SVM目標式中，根據(jù)一系列運算規(guī)則，即可實現(xiàn)不同域間的遷移學習。

用ELM構建模型，會得到輸出權值向量β，針對數(shù)據(jù)分布不同的領域，在其上訓練的ELM模型中的β向量必然不同，雖然模型構建時輸入節(jié)點加權值向量以及偏差向量均是隨機賦值的，但其模型構建理論可以說明，以不同域數(shù)據(jù)樣本構建的多個ELM分類模型間的差異，可以用輸出權值向量β表示。

鑒于SVM及ELM的相關性以及基于SVM的遷移學習研究，構造TrELM（Transfer Extreme Learning Machine）算法模型。通過在ELM的目標式中增加μ‖βt-βS‖2項，可以表示兩個域間的差異，通過嚴密的數(shù)學公式推導求解后，可以得到目標域內(nèi)的ELM目標式，進而實現(xiàn)兩域間的遷移學習。其中，‖βt-βS‖2表示兩域分類器之間的差異程度，該值越大則分類器間的差異越大，反之越小;參數(shù)μ控制懲罰程度。TrELM算法原理如圖1所示。

圖1 ?TrELM算法原理

3 ?實驗結果

項目組是以智能手機為背景的行為識別模型的遷移學習，將九名測試者p1至p9按其年齡分布分為A、B、C三組，其中，A組成員為p1-p3，年齡分布為20-30歲，相應樣本集記DA;B組成員為p4-p6，年齡分布在31-40歲，相應樣本集記DB;C組成員為p7-p9，年齡分布在41-50歲，相應樣本集記DC。上述每個樣本集均按比例（1：3）分為兩部分，即DA1、DA2，DB1、DB2和DC1、DC2。

為了論證方法的有效性，實驗將分為遷移學習前和遷移學習后模型的適應性統(tǒng)計兩部分。第一部分分別以DA、DB和DC作為訓練集，構建ELM通用行為識別模型，之后對其余兩個樣本集進行測試，統(tǒng)計測試集正確率，以衡量未遷移學習時的模型適應性;第二部分是在第一部分的基礎上，以其余樣本集中較少部分作為遷移學習訓練樣本集，對模型進行TrELM算法的自適應性修改，以測試集正確率作為遷移學習后的模型適應性能力進行統(tǒng)計。每組實驗均進行20次，統(tǒng)計正確率的平均值。

在構建通用行為識別模型時，由于ELM算法的輸入權值向量是隨機賦值的，故只需要確定隱藏層節(jié)點數(shù)即可。目前統(tǒng)一規(guī)范確定隱藏層數(shù)量，只能靠經(jīng)驗值確定。選取隱藏層參數(shù)為100，以達到構建最優(yōu)網(wǎng)絡的目的。

另外，在ELM的輸出函數(shù)中，C的取值范圍[2^（-10）， 2^（25）]，選取分類器性能最優(yōu)時的C值為2^（18）。

在遷移學習過程中，假設TrELM算法的性能是由其相關參數(shù)μ和Ct確定的。令μ的取值范圍為[0，1]，Ct的取值范圍為[2^（-5）， 2^（20）] 。統(tǒng)計遷移訓練集20次實驗的平均正確率如圖2所示。圖2中所示為三軸坐標，坐標系中每個點表示取該點所在的Ct和μ值時，模型在遷移訓練集上所得到的正確率。由圖2可知，在保證TrELM算法性能最優(yōu)的前提下，取μ為0.4，Ct為2^（10）。

圖2 ?TrELM算法的相關參數(shù)關系圖

表1至表6為各交叉用戶組在模型遷移學習前后的行為識別準確率平均值的統(tǒng)計，上述兩部分實驗的相關樣本集及正確率統(tǒng)計結果分別列于各表中的第一行和第二行。

表1 ?新用戶組遷移學習前后的行為識別正確率

（A為已知用戶組，B為新用戶組）

訓練集 測試集 測試集正確率平均值（%）

遷移學習前 DA DB2 78.68

遷移學習后 DA+DB1 DB2 82.19

表2 ?新用戶組遷移學習前后的行為識別正確率

（A為已知用戶組，C為新用戶組）

訓練集 測試集 測試集正確率平均值（%）

遷移學習前 DA DC2 69.35

遷移學習后 DA+DC1 DC2 87.37

表3 ?新用戶組遷移學習前后的行為識別正確率

（B為已知用戶組，A為新用戶組）

訓練集 測試集 測試集正確率平均值（%）

遷移學習前 DB DA2 76.44

遷移學習后 DB+DA1 DA2 83.77

表4 ?新用戶組遷移學習前后的行為識別正確率

（B為已知用戶組，C為新用戶組）

訓練集 測試集 測試集正確率平均值（%）

遷移學習前 DB DC2 72.16

遷移學習后 DB+DC1 DC2 82.92

表5 ?新用戶組遷移學習前后的行為識別正確率

（C為已知用戶組，A為新用戶組）

訓練集 測試集 測試集正確率平均值（%）

遷移學習前 DC DA2 64.75

遷移學習后 DC+DA1 DA2 89.38

表6 ?新用戶組遷移學習前后的行為識別正確率

（C為已知用戶組，B為新用戶組）

訓練集 測試集 測試集正確率平均值（%）

遷移學習前 DC DB2 68.59

遷移學習后 DC+DB1 DB2 80.19

通過上述表格的第一行可以看出，對于所構建的通用行為模型，在面臨新用戶時，行為識別正確率較低，平均值最低為64.75%，說明了對新用戶進行行為識別時，通用模型的不適應性以及遷移學習的必要性。通過對比各表格中第一二行的測試集正確率，可以看出，利用新用戶的行為數(shù)據(jù)進行了基于TrELM算法的模型遷移學習后，行為識別正確率有了明顯提高，表5中正確率的增加幅度最大，為24.63%，說明了TrELM算法可以有效達到遷移學習的目的。

另外，表2和表5中測試集正確率增加值要大于其余四個表，這是由于當所遷移到的目標域用戶組年齡組成與源域訓練組差異較大時，兩組行為特征值的數(shù)據(jù)分布也會有較大不同，通用模型的不適應性增大，在這種情況下進行遷移學習，可以得到更好的效果，識別正確率也會有較大提高。

4 ?結 ?語

為了解決通用行為模型在面對新用戶時的不適用問題，本節(jié)提出了TrELM算法實現(xiàn)遷移學習。該方法是一種基于參數(shù)遷移的方法，是通過對ELM的目標函數(shù)進行修改，引入一個可以表示兩域差異的遷移學習量，實現(xiàn)ELM模型的遷移學習。利用TrELM算法實現(xiàn)通用模型的遷移，首先利用ELM分類器構建通用行為識別模型，可以得到源域中識別模型的輸出權值向量βS;之后通過對新用戶的少量行為樣本進行學習，修改通用模型的輸出向量為βt，實現(xiàn)對通用模型的修改，完成具有遷移學習功能的行為識別模型。實驗在真實數(shù)據(jù)集上進行，結果表明，該模型可以有效提高新用戶的行為識別正確率。

參考文獻

[1]張爍，段富.基于智能移動平臺的情景感知技術研究[J].計算機應用與軟件，2013，30（8）： 166-169.

[2]徐川龍，顧勤龍，姚明海.一種基于三維加速度傳感器的人體行為識別方法[J].計算機系統(tǒng)應用，2013，22（6）：132-135.

[3] Dai Wenyuan，Yang Qiang，Xue Guirong，et al.Boosting for transfer learning[Z]. Proceedings of the 24th international conference on Machine learning ACM International Conference Proceeding Series， 2007：193-200.

[4] Dai W，Chen Y，Xue G，et al.Translated Learning：Transfer Learning across Different Feature Spaces[Z].In Advances in Neural Information ?Processing Systems，2008.

[5] Lawrence N D，Platt J C.Learning to Learn with the Informative Vector Machine[Z].In Proceedings of the International Conference in Machine Learning，2004.

[6] Bonilla E V， Chai K M A， Williams C K I. ?[Z].Nips，2008.

[7] Schwaighofer A，Tresp V，Yu K.Learning Gaussian Process Kernels via Hierarchical Bayes[J].In Advances in Neural Information Processing Systems， 2004： 1209-1216.

[8] Evgeniou T，Pontil M.Regularized multi-task learning[J].In Proceedings of 17th SIGKDD Conf[J]. on Knowledge Discovery and Data Mining，2004，28（1）：109-117.

[9] Mihalkova L，Huynh T，Mooney R J. Mapping and revising Markov logic networks for transfer learning[C].National Conference on Artificial Intelligence-volume：AAAI Press，2007，608--614.

[10] Davis J， Domingos P. Deep Transfer via Second-Order Markov Logic[J]. Proceedings of the Aaai Workshop on Transfer Learning for Complex Tasks， 2009.