基于遷移共享空間的分類新算法

董愛美　畢安琪　王士同

1(江南大學數(shù)字媒體學院　江蘇無錫　214122)

2　　　(齊魯工業(yè)大學信息學院　濟南　250353)

(amdong@163.com)

?

基于遷移共享空間的分類新算法

董愛美1,2畢安琪1王士同1

1(江南大學數(shù)字媒體學院江蘇無錫214122)

2(齊魯工業(yè)大學信息學院濟南250353)

(amdong@163.com)

A Classification Method Using Transferring Shared Subspace

Dong Aimei1,2, Bi Anqi1, and Wang Shitong1

1(SchoolofDigitalMedia,JiangnanUniversity,Wuxi,Jiangsu214122)

2(SchoolofInformation,QiluUniversityofTechnology,Jinan250353)

AbstractTransfer learning algorithms have been proved efficiently in pattern classification filed. The characteristic of transfer learning is to better use one domain information to improve the classification performance in different but related domains. In order to effectively solve the classification problems with a few labeled and abundant unlabeled data coming from different but related domains, a new algorithm named transferring shared subspace support vector machine (TS3VM) is proposed in this paper. Firstly a shared subspace used as the common knowledge between source domain and target domain is built and then classical support vector machine method is introduced to the subspace for the labeled data, therefore the resulting classification model has the ability of transfer learning. Specifically, using the theory of transfer learning and the principal of large margin classifier, the proposed algorithm constructs a shared subspace between two domains by maximizing the joint probability distribution of the labeled and unlabeled data. Meanwhile, in order to fully consider the distribution of the few labeled data, the classification model is trained in the augmented feature space consisting of the original space and the shared subspace. Experimental results confirm the efficiency of the proposed method.

Key wordsshared subspace; transfer learning; support vector machine; joint probability distribution; large margin classifier

摘要為解決來自不同但相關領域的大量無標簽數(shù)據(jù)和少量帶標簽數(shù)據(jù)的分類問題,首先構造一個聯(lián)系源域到目標域的共享特征空間,并將該空間引入經(jīng)典的支持向量機算法使其獲得遷移能力,最終得到一種新的基于支持向量機的遷移共享空間的分類新算法,即遷移共享空間支持向量機.具體地,該方法以遷移學習理論為基礎,結合分類器最大間隔原理,通過最大化無標簽數(shù)據(jù)和帶標簽數(shù)據(jù)的聯(lián)合概率分布來構建無標簽數(shù)據(jù)和帶標簽數(shù)據(jù)的共享空間;為充分考慮少量帶標簽數(shù)據(jù)之數(shù)據(jù)分布,在其原始特征空間和共享空間組成的擴展空間中訓練分類模型.相關實驗結果驗證了該遷移學習分類器的有效性.

關鍵詞共享空間；遷移學習；支持向量機；聯(lián)合概率分布；大間隔分類器

隨著信息技術的快速發(fā)展和互聯(lián)網(wǎng)的日益普及,人們獲得的信息呈現(xiàn)出越來越復雜的變化,例如絕大部分信息不帶有標簽,而少部分信息帶有標簽;并且大量的無標簽信息和少量的帶標簽信息又來自不同但又有一定關系的問題領域.而傳統(tǒng)半監(jiān)督學習方法研究對象的特點是大量無標簽數(shù)據(jù)和少量帶標簽數(shù)據(jù)來自相同的問題領域并且數(shù)據(jù)分布相同,那么如何充分利用這些來自不同但相關問題領域的大量無標簽數(shù)據(jù)和少量帶標簽數(shù)據(jù)來訓練模式分類模型是機器學習重點研究的問題之一.

為了解決上述問題,遷移學習得以提出,其旨在解決2個不同但相關領域的機器學習問題,且放松了訓練數(shù)據(jù)和測試數(shù)據(jù)獨立同分布之要求[1].遷移學習的關鍵是盡最大可能縮小源域和目標域數(shù)據(jù)間的差異,來尋找源域和目標域數(shù)據(jù)之間的“共同點”作為2者間的“橋梁”,從而實現(xiàn)從源域到目標域的知識遷移.近年來,不同的學者主要從2個角度來尋找源域和目標域間的“共同知識”[2-11]：數(shù)據(jù)樣本和數(shù)據(jù)特征.前者通過樣本加權方法從源域尋找與目標域樣本相似度最大的樣本來作為遷移的知識,后者通過各種不同方式學習源域和目標域的共享特征表示來作為遷移的知識.學習源域和目標域的共享特征表示的方法主要有: Pan等人[2]在2008年通過降維方式學習得到領域間共享的特征表示從而實現(xiàn)遷移分類:首先通過最大均值差異嵌入(maximum mean discrepancy embedding, MMDE)進行降維得到一個低維的映射空間,并在此空間中使得源域數(shù)據(jù)和目標域數(shù)據(jù)的均值中心對齊,以減小2個領域的差異,經(jīng)過這種處理后的數(shù)據(jù)可以直接利用傳統(tǒng)分類器對數(shù)據(jù)進行訓練和泛化; Xie等人[3]在2009年同樣也是通過降維的方法研究了特征缺失下的遷移問題,先通過填補缺失值將領域間的條件分布變得一致,然后利用降維的方法將領域間的邊緣分布變得一致,最后利用一些傳統(tǒng)分類器實現(xiàn)了利用源域判別信息對目標域數(shù)據(jù)的分類;Quanz等人[4]在2009年以正則風險最小化思想為基礎,結合最大均值差(maximum mean discrepancy, MMD)方法,提出一種基于特征空間的大間隔直推式遷移學習方法(large margin projected transductive support vector machine, LMPROJ),該方法是以經(jīng)驗風險正則化分類為框架,通過尋求一個特征變換來縮小源域和目標域之間的差異達到遷移分類之目的;Pan等人[5]在2010年提出將不同問題領域中的特征分為領域相關特征和領域獨立特征,通過領域相關特征建立領域間聯(lián)系實現(xiàn)領域間的遷移,再基于譜圖劃分對數(shù)據(jù)進行分類;Pan等人[6]在2011年進一步基于降維的思想,提出了快速特征提取算法TCA來學習一個低維的映射空間,對MMDE算法在計算復雜度方面進行了可觀的改善;Zhuang等人[8]在2012年針對跨領域文本分類問題特有的共性和個性特征提出了CD-PLSA遷移學習算法,并且應用到多源域和多目標域問題中;Shao等人[9]在2012年使用低秩表示學習低維共享子空間技術,并提出了低秩遷移子空間學習算法; Gupta等人[10]在2013年采用非負矩陣分解思想提出了正則化的共享空間遷移學習框架,在一定程度上提高了模型的學習性能.

Fig. 1　The principal of TS3VM.圖1　TS3VM原理圖

縱觀基于尋找源域和目標域的共享特征表示的遷移學習分類方法,盡管其取得了一定效果,但也存在不足之處:1)共享特征表示是在少量帶標簽數(shù)據(jù)原始空間基礎上得到的,那么如果這些少量帶標簽數(shù)據(jù)受到噪聲干擾,則會直接影響其分布情況,從而導致學習到的共享特征表示有誤,最終使得遷移學習分類模型的性能降低;2)現(xiàn)有的基于共享特征表示的遷移學習分類方法僅僅考慮了領域間的共同特征表示,沒有考慮目標域數(shù)據(jù)的分布情況,由于源域不帶標簽數(shù)據(jù)數(shù)量極大從而對共享特征表示的學習起著決定性的作用,這就導致僅僅在共享特征空間學習到的分類模型對于目標域數(shù)據(jù)來說是不完善的.結合這2方面的考慮,本文提出了遷移共享空間支持向量機算法:以分類器最大間隔原理為指導思想,通過最大化源域大量無標簽數(shù)據(jù)和目標域少量帶標簽數(shù)據(jù)的聯(lián)合概率分布來構建源域和目標域間的共享特征空間;為充分考慮少量帶標簽數(shù)據(jù)的分布情況及帶標簽數(shù)據(jù)類標可能受到攻擊情況,在其原始特征空間和共享特征空間組成的擴展特征空間中訓練分類模型.因為分類模型的訓練既不僅僅是在原始特征空間也不僅僅是在共享特征空間中,從而既避免了原始類標受到噪聲干擾又充分考慮了少量帶標簽數(shù)據(jù)的數(shù)據(jù)分布.遷移共享特征空間支持向量機算法(transferring shared subspace support vector machine, TS3VM)原理如圖1所示.

1遷移共享空間支持向量機算法TS3VM

1.1問題描述

1.2TS3VM算法原理和目標函數(shù)

對于源域和目標域數(shù)據(jù),根據(jù)Parzen窗法分別得到其概率分布的核密度估計函數(shù)如下:

(1)

(2)

(3)

(4)

假設源域和目標域數(shù)據(jù)相互獨立,那么在通過正交變換參數(shù)Θ投影后在r維的特征空間中亦最大可能滿足聯(lián)合分布獨立性假設,所以由式(3)(4)得到在r維的特征空間中源域和目標域數(shù)據(jù)的聯(lián)合概率分布為

(5)

令:

(6)

(7)

因為

所以有:

(8)

對于式(8)直接求解比較困難,利用泰勒展開定理進行近似變形得到:

(9)

結合式(8)(9)得到目標函數(shù):

(10)

假設目標域數(shù)據(jù)在擴展后的總特征空間中分類超平面形式為

(11)

根據(jù)支持向量機最大間隔分類原則,同時要求源域和目標域數(shù)據(jù)在擴展的r維空間中聯(lián)合概率分布最大,且對目標域數(shù)據(jù)在擴展后的特征空間中施加分類誤差約束,得到TS3VM目標函數(shù):

(12)

針對式(12),作如下說明:

1) 式(12)中第1項和第2項是結構風險項;第3項是經(jīng)驗風險項;第4項表示源域和目標域數(shù)據(jù)在擴展的r維的特征空間中的聯(lián)合概率分布;通過對這4項的平衡期望達到最小的結構化風險.

2) 由式(12)可以看出,目標域數(shù)據(jù)的類標簽僅僅用來維數(shù)擴展,從而避免了誤標對最終分類模型的影響,使得最終分類模型有較強的抗噪性.

3) 由式(12)可以看出,在擴展后的特征空間中對目標域數(shù)據(jù)施加分類誤差約束,既充分利用源域和目標域間的共性“知識”來獲得正遷移效果,又充分考慮了目標域數(shù)據(jù)的數(shù)據(jù)分布,使得最終分類模型在目標域數(shù)據(jù)上性能最優(yōu),這也是本文采用擴維思想而不是采用傳統(tǒng)降維思想來進行遷移分類的動機之一.

4) 從目標函數(shù)的構造過程可以看出,TS3VM方法在目標域數(shù)據(jù)數(shù)量遠遠小于源域數(shù)據(jù)數(shù)量且目標域數(shù)據(jù)類標受到攻擊而產(chǎn)生誤標情況下,具有很好的魯棒性.

1.3TS3VM算法目標函數(shù)參數(shù)學習規(guī)則

(13)

其中有3個變量h,v,Θ需要同時優(yōu)化.直接對這些參數(shù)優(yōu)化是比較困難的.本文采用模糊聚類、模糊神經(jīng)網(wǎng)絡等技術中經(jīng)常采用的交替迭代策略[12-15]對式(13)進行參數(shù)優(yōu)化.在該迭代過程中包含3個主要步驟:

1) 固定({Θ,v}),優(yōu)化式(13)學習得到{h};

2) 固定({Θ,h}),優(yōu)化式(13)學習得到{v};

3) 固定({v,h}),優(yōu)化式(13)學習得到{Θ}.

下面通過3個定理給出目標函數(shù)中的3個變量的學習規(guī)則：

定理1. 假設變量v,Θ固定,則式(13)中變量h的最優(yōu)值可以通過對一個線性方程組求解得到.

證明. 假設變量v,Θ固定,當優(yōu)化變量h時,式(13)可寫為

(14)

構造目標函數(shù)J5的拉格朗日函數(shù):

(15)

其中，αj為拉格朗日乘子且αj>0，j=1,2,…,nt,式(14)取得極值的必要條件為式(15)對h和ξj(j=1,2,…,nt)的偏導數(shù)為0,于是得到:

(16)

式(16)寫成線性方程組的形式為

(17)

證畢.

定理2. 假設變量h,Θ固定,則式(13)中變量v是一個解析解,具體形式為

(18)

證明. 假設變量h,Θ固定,式(13)變?yōu)?/p>

(19)

目標函數(shù)J7取最小值的必要條件是其對v的偏導數(shù)為0r×1,即:

從而有:

此時v是一個解析解.

證畢.

定理3. 假設變量h,v固定,則式(13)中變量Θ的求解可以用梯度下降法求解得到,并且梯度下降法中的步長具有解析解的形式.

證明. 假設變量h,v固定,式(13)變?yōu)?/p>

(20)

假設隱變量的域記為Ω⊥,則Ω⊥={Θ?r×d}∩{Θ ΘT=Ir×r},因為Ω⊥中的約束條件Θ ΘT=Ir×r和正則化項具有相似的作用,所以可以把式(20)中的約束條件去掉而得到一個形式簡單的優(yōu)化問題.目標函數(shù)式J8對變量ΘT求偏導數(shù)為

(21)

則變量ΘT可以用梯度下降法求解得到,梯度下降規(guī)則為

(22)

為得到變量ΘT的步長γ的解析解,把式(21)代入到式(22)中,得到:

(23)

從而有:

(24)

進一步,令:

(25)

則有:

(26)

(27)

把式(26)(27)代回式 (20)，得到關于γ的函數(shù):

(28)

記:

t2=Mv,

則式(28)變?yōu)?/p>

(29)

證畢.

1.4TS3VM算法描述

根據(jù)1.1～1.3節(jié)分析和推導,給出TS3VM算法描述.

算法1. TS3VM算法.

參數(shù):源域和目標域數(shù)據(jù)特征擴展的維數(shù)r、參數(shù)C,λ1,λ2;

初始化:參數(shù)h0,Θ0,其中h0∈d,Θ0∈r×d,當前迭代值iter=0,設置最大迭代次數(shù)itermax和誤差閾值ε1.

Repeat

Step1. 根據(jù)定理2計算viter;

Step2.iter=iter+1;

Step3. 根據(jù)定理3采用梯度下降法計算Θiter∈

Step4. 根據(jù)定理1計算hiter;

1.5TS3VM算法收斂問題說明

對于TS3VM算法,以步驟iter+1的迭代學習為例對其收斂性作如下分析:

1) 在步驟iter+1,固定viter,Θiter不變,由定理1可知hiter+1是線性方程組的解,從而可以確保變量hiter+1在步驟iter+1取得全局最優(yōu)解.

3) 在步驟iter+1,固定hiter,viter不變,對式(20)進行迭代優(yōu)化,根據(jù)梯度下降算法的性質可知所得到的解Θiter是式(20)的某個局部最優(yōu)解的近似解,即J8(Θiter+1)≤J8(Θiter).

據(jù)上述分析可知,TS3VM算法并不能保證嚴格的收斂.交替迭代優(yōu)化技術在智能模型學習方法中[9-12]經(jīng)常被使用,如經(jīng)典的FCM等聚類算法,其通常能收斂于某個局部最優(yōu)解或鞍點．雖然此類算法目前在理論上不能保證是嚴格收斂的或是有條件收斂的,但已有的采用交替迭代優(yōu)化技術的迭代算法表明此優(yōu)化技術在大多數(shù)場合是非常簡單而有效的[9-12].

正如文獻[12]指出的: 此類交替迭代的優(yōu)化方法其收斂性仍是一個有待進一步深入探討的開放性問題,保證該類方法的嚴格收斂是一個值得深入研究的課題.另外,由于初始化等不同因素的影響,目前許多交叉迭代算法多次執(zhí)行后最終可能收斂于不同的局部最優(yōu)解.針對此問題一個可行的解決方案是探討新的優(yōu)化算法來求解給定的優(yōu)化目標函數(shù).例如,近年來具有更好尋優(yōu)能力的進化計算優(yōu)化技術(遺傳算法、粒子群算法等)已受到較多關注并被嘗試應用于優(yōu)化不同的建模模型.

對TS3VM算法的說明有2點:

1) 在變量初始化階段,變量h,Θ隨機初始化,因此在實驗部分進行多次實驗取平均值作為最終實驗結果,盡量減少隨機初始化帶來的不確定性.

2) 對于迭代過程中的收斂條件,在算法設計中一方面通過閾值來控制,即當連續(xù)多次(比如10次)更新迭代相應的變量不再發(fā)生變化時,達到收斂;另一方面為保險起見,設置了最大迭代次數(shù),對算法能夠進行的最大迭代次數(shù)進行限制，幾個收斂條件滿足一個即停止迭代.

2實驗分析

為驗證TS3VM算法的有效性,在人造數(shù)據(jù)集(2-moons)和3個文本數(shù)據(jù)集上(20NewsGroup[16],Reuters-21578[13],Email Spam[17])進行了實驗.采用比較算法有:SVM,TSVM[18],LMPROJ[4],TCA[6]. 采用SVM算法的目的是為了驗證目標域中帶標簽數(shù)據(jù)數(shù)量非常少不足以訓練一個高性能的分類器;算法TSVM是綜合利用帶標簽數(shù)據(jù)和無標簽數(shù)據(jù)的傳統(tǒng)模式分類方法,采用其目的是為了驗證在訓練分類模型過程中引入遷移學習思想來綜合利用帶標簽數(shù)據(jù)和無標簽數(shù)據(jù)較傳統(tǒng)模式分類方法優(yōu)越;算法LMPROJ為遷移類算法，采用其目的是為了驗證半監(jiān)督的遷移學習方法和無監(jiān)督的遷移學習方法的性能優(yōu)劣;算法TCA為遷移類算法,采用其目的是為了驗證在相同場景設置下,針對基于降維思想的遷移分類算法來說,本文所提的基于擴維的遷移分類算法表現(xiàn)出可比較的性能.對于SVM,由libsvm[19]軟件實現(xiàn),參數(shù)C取值范圍為{0.1,0.2,0.5,1,2,5,10,20,50,100},采取5重交叉驗證法來選取最優(yōu)值.其他算法都在Matlab(R2009a)環(huán)境下實現(xiàn)且均通過網(wǎng)格搜索的方式來確定優(yōu)化的模型參數(shù).

具體來說,對于算法TSVM,參數(shù)C1和C2的取值范圍為{10-5,10-4,10-3,10-2,10-1,1,10,102,103,104,105};對于算法LMPROJ,參數(shù)λ的取值范圍為{210,211,212,213,214,215,216,217,218,219,220},參數(shù)λ2的取值范圍為{2-5,2-4,2-3,2-2,2-1,1,2,22,23,24,25},參數(shù)C的取值范圍為{2-6,2-5,2-4,2-3,2-2,2-1,1,2,22,23,24,25,26}; 對于算法TCA,參數(shù)μ的取值范圍為{10-3,10-2,10-1,1,10,102,103}.對于TS3VM方法中的共享空間維數(shù)r需要人工確定,在當前主流的基于空間的分類方法中一般采用網(wǎng)格尋優(yōu)或實驗驗證的方法確定,例如Ando[20]方法、Zheng[21]方法和Ji[22]方法.對于文本數(shù)據(jù)集,本文借鑒Ando方法的思想,只關心共享特征空間維數(shù)r在10～100之間的范圍{5,10,15,20,25,30,35,40,45,50,55,60,65,70,75,80,85,90,95,100};對于人造數(shù)據(jù)集,擴展維數(shù)固定為1.參數(shù)C取值范圍為{10-5,10-4,10-3,10-2,10-1,1,10,102,103,104,105}.參數(shù)λ1,λ2的取值范圍為{2-6,2-5,2-4,2-3,2-2,2-1,1,2,22,23,24,25,26}. 所有參數(shù)r,C,λ1,λ2均通過網(wǎng)格搜索的方式確定最優(yōu)值.詳細參數(shù)敏感性實驗參見2.3節(jié)

2.1數(shù)據(jù)集描述與設置

1) 2-moons數(shù)據(jù)集: 人工生成1個包含 600個樣本的雙月形2維樣本集作為源域數(shù)據(jù)集,正負類樣本各為300個;將源域數(shù)據(jù)按逆時針方向分別旋轉30°,45°,60°,得到目標域數(shù)據(jù)集.另外,把目標域帶標簽數(shù)據(jù)的標簽部分弄錯,得到部分數(shù)據(jù)誤標的目標域數(shù)據(jù)集,如圖2所示.為了適應TS3VM算法之研究場景,對源域和目標域樣本作如下處理:對于源域樣本,去掉所有的標簽信息;對于目標域樣本,隨機選擇正負樣本各30個作為訓練樣本.另外為了驗證TS3VM算法對類標攻擊的魯棒性,把目標域中的部分訓練樣本類標弄錯(誤標樣本比例設為20%).

2)文本數(shù)據(jù)集: 20NewsGroup數(shù)據(jù)集包含近20 000新聞組的英文文檔,大約分成20類,包含6個頂層類別,每個頂層類別下分別包含若干個子類別. Reuter-21578包含近21 000個文檔集,分為orgs,people,places三個大類,每個類別下面包含了相應的子類別.為了適應本文研究場景,對于20News-Group數(shù)據(jù)集:分別從頂層大類中抽取 4個大類以構建學習數(shù)據(jù)集;對于Reuter-21578數(shù)據(jù)集:數(shù)據(jù)基于子類進行分割,分別從頂層大類中抽取3個大類以構建學習數(shù)據(jù)集,其中每2個大類分別選作正類和負類不同的子類認為不同的領域.Email Spam數(shù)據(jù)集包含User1,User2,User3這3個子集代表3個不同用戶.學習任務是劃分出spam郵件和非spam郵件.由于數(shù)據(jù)集中不同用戶的spam郵件和非spam郵件是不同的,因此3個email數(shù)據(jù)集的數(shù)據(jù)分布是不同但相關的.為適應本文研究場景設置,構造了3個遷移數(shù)據(jù)集.詳細信息見表1和表2所示.

Fig. 2Four 2-moon datasets with different rotation degrees.
圖2旋轉不同角度的雙月型數(shù)據(jù)集

Table 1　Transfer Learning Text Classification Datasets 20NewsGroup

Continued (Table 1)

Table 2Transfer Learning Text Classification Datasets Reuter-21578 and Email Spam

表2　遷移學習文本分類數(shù)據(jù)Reuter-21578和Email Spam

2.2實驗結果與討論

人造數(shù)據(jù)集的實驗結果如表3所示,3個文本數(shù)據(jù)集的實驗結果如表4～5所示.需要說明的是,本文對所有方法對參數(shù)均使用交叉驗證法進行學習,并取最優(yōu)結果進行記錄.

由表3～5所示結果可以看出：

1) 基線方法 SVM 的訓練集是目標域中少量的帶標簽數(shù)據(jù),不足以訓練一個高性能的分類器,故在所有數(shù)據(jù)集上的分類性能均低于其他學習方法;

2) 另外一個基線方法 TSVM雖然其訓練集包括源域中大量不帶標簽數(shù)據(jù),但是由于源域和目標域數(shù)據(jù)的數(shù)據(jù)分布不同,故在大部分數(shù)據(jù)集上分類性能低于其他遷移學習類方法,這也進一步說明了使用傳統(tǒng)的半監(jiān)督模式分類算法不能很好地解決數(shù)據(jù)分布不同之下的數(shù)據(jù)分類問題;

3) 遷移分類算法LMPROJ在大部分數(shù)據(jù)集上的分類性能高于傳統(tǒng)半監(jiān)督模式分類方法而低于其他2個遷移分類算法,因為LMPROJ算法中目標域數(shù)據(jù)不帶有類標信息,屬于無監(jiān)督遷移分類;

4) 本文所提算法TS3VM在3個遷移分類算法中表現(xiàn)出魯棒的分類性能,這進一步說明在遷移分類學習中采用擴維的思想較TCA算法采用降維的思想,對最終模式分類器來說效果更好,因為擴維的思想既考慮了源域和目標域領域間的共性知識又充分考慮了目標域數(shù)據(jù)的特有數(shù)據(jù)分布情況;

Table 3　Classification Accuracy Comparison on 2-moon with Different Rotation Angle

Table 4　Classification Accuracy Comparison on 20NewsGroup

Table 5　Classification Accuracy Comparison on Reuter-21578 and Email Spam

5) 盡管在部分數(shù)據(jù)集上(比如Spam2數(shù)據(jù)集)本文所提算法沒有表現(xiàn)出最佳的均值精度,但是在方差中表現(xiàn)出了優(yōu)勢.

6) 更重要的是,從表3可以看出,在目標域數(shù)據(jù)類標受到攻擊產(chǎn)生誤標的情況下,本文所提算法表現(xiàn)出較強的魯棒性,對最終分類器的影響甚微.這也進一步表現(xiàn)出本算法的相對于傳統(tǒng)半監(jiān)督分類算法和遷移分類算法的優(yōu)點:在一定程度上擺脫了對已知類標數(shù)據(jù)類標的依賴性.

2.3參數(shù)敏感性實驗

在評價某個參數(shù)的性能影響時,先固定其他3個參數(shù)的最優(yōu)值.采用數(shù)據(jù)集NG1和Spam2作為實驗數(shù)據(jù),圖3～6分別顯示了上述4個參數(shù)對所提方法的性能影響.由此可得如下結論:

1) 由圖3可以看出,所提方法是基于特征擴維的共享特征空間分類學習模型,因此對擴展的共享特征空間維數(shù)r具有較大程度的敏感性.即對于不同的數(shù)據(jù)集r的取值明顯影響所提方法的最終性能,這也進一步說明了針對不同的數(shù)據(jù)集擴展的共享特征空間維數(shù)r協(xié)調(diào)的重要性,同時這也是本文作者下一步要深入研究的方向之一.

2) 由圖4可以看出,在本文所考慮C的所有取值范圍內(nèi),分類精度變化幅度較大.這進一步說明了，

Fig. 3　Influence of parameter r on accuracy.圖3　參數(shù)r對分類精度的影響

Fig. 4　Influence of parameter C on accuracy.圖4　參數(shù)C對分類精度的影響

Fig.5　Influence of parameter λ1 on accuracy.圖5　參數(shù)λ1對分類精度的影響

Fig. 6　Influence of parameter λ2 on accuracy.圖6　參數(shù)λ2對分類精度的影響

基于結構風險最小化學習模型對參數(shù)C具有較大程度上的敏感性,即C在一定范圍內(nèi)的不同取值明顯影響所提方法的泛化性能.

3) 由圖5可以看出,由于本文所提方法基于最大間隔原則,故對平衡參數(shù)λ1具有較大程度的敏感性,即λ1在一定范圍內(nèi)的不同取值明顯影響分類器最終性能.

3結論

綜合利用相關領域的大量無標簽數(shù)據(jù)來指導目標領域少量帶標簽數(shù)據(jù)來訓練學習分類器是機器學習研究的熱點之一.本文在半監(jiān)督學習中引入遷移思想,根據(jù)分類超平面最大間隔和聯(lián)合概率分布最大原則來充分挖掘無標簽和帶標簽數(shù)據(jù)間的“共同”知識,在“共同”知識基礎之上又結合少量帶標簽數(shù)據(jù)的數(shù)據(jù)分布,提出了基于遷移共享特征空間的模式分類算法.本文所提算法具有兩大優(yōu)點：1)從數(shù)據(jù)特征空間擴維的角度出發(fā),既考慮帶標簽數(shù)據(jù)和無標簽數(shù)據(jù)的“共同”知識,又考慮了少量帶標簽數(shù)據(jù)的數(shù)據(jù)分布;2)對目標域施加分類誤差約束是在擴展后的特征空間而不是在原始特征空間,因此最終分類器在一定程度上擺脫了對帶標簽數(shù)據(jù)類標的依賴性.在大量相關數(shù)據(jù)集上的實驗也驗證了本文所提方法的有效性.

目前來看,本文所提方法的一個不盡人意之處是擴展的特征空間維數(shù)的確定還沒有一個理論性的結論,而是采用傳統(tǒng)的實驗驗證及網(wǎng)格尋優(yōu)的方法確定,因此如何理論性地給出共享特征空間維數(shù)的確定方法是一項具有挑戰(zhàn)性的研究話題,這是我們今后研究的重點之一.

參考文獻

[1]Pan S J L, Yang Q. A survey on transfer learning[J]. IEEE Trans on Knowledge and Data Engineering, 2010, 22(10): 1345-1359

[2]Pan S J, Kwok J T, Yang Q. Transfer learning via dimensionality reduction[C]Proc of the 23rd Int Conf on Artificial Intelligence. Menlo Park, CA: AAAI, 2008: 677-682

[3]Xie S, Fan W, Peng J, et al. Latent space domain Transfer between High Dimensional overleaping distributions[C]Proc of the 18th Int Conf on World Wide Web. New York: ACM, 2009: 91-100

[4]Quanz B, Huan J. Large margin transductive transfer learning[C]Proc of the 18th ACM Conf on Information and Knowledge Management. New York: ACM, 2009: 1327-1336

[5]Pan S J, Ni X S J, et al. Cross-domain sentiment classification via spectral feature alignment[C]Proc of the 19th Int Conf on World Wide Web. New York: ACM, 2010: 751-760

[6]Pan S J, Tsang I W, Kwok J T, et al. Domain adaptation via transfer component analysis[J]. IEEE Trans on Neural Network, 2011, 22(2): 199-210

[7]Hong Jiaming, Yin Jian, Huang Yun, et al. TrSVM: A transfer learning algorithm using domain similarity[J]. Journal of Computer Research and Development, 2011, 48(10): 1823-1830 (in Chinese)(洪佳明, 印鑒, 黃云, 等. TrSVM: 一種基于領域相似性的遷移學習算法[J]. 計算機研究與發(fā)展, 2011, 48(10): 1823-1830)

[8]Zhuang Fuzhen, Luo Ping, Shen Zhiyong, et al. Mining distinction and commonality across multiple domains using generative model for text classification[J]. IEEE Trans on Knowledge and Data Engineering, 2012, 24(11): 2025-2039

[9]Shao M, Castillo C, Gu Z H, et al. Low-rank transfer subspace learning[C]Proc of the 12th Int Conf on Data Mining. Piscataway, NJ: IEEE, 2012: 1104-1109

[10]Gupta S K, Phung D, Adams B, et al. Regularized nonnegative shared subspace learning[J]. Data Mining and Knowledge Discovery, 2013, 26(1): 57-97

[11]Gu Xin, Wang Shitong. Fast cross-domain classification method for large multisourcessmall target domains[J]. Journal of Computer Research and Development, 2014, 51(3): 519-535 (in Chinese)(顧鑫, 王士同. 大樣本多源域與小目標域的跨領域快速分類學習[J]. 計算機研究與發(fā)展, 2014, 51(3): 519-535)

[12]Deng Z H, Choi K S, Chung F L, et al. Enhanced soft subspace clustering integrating within-cluster and between-cluster information[J]. Pattern Recognition, 2010, 43(3): 767-781

[13]Yu J, Cheng Q S, Huang H K. Analysis of the weighting exponent in the FCM[J]. IEEE Trans on Systems, Man, and Cybernetics-Part B: Cybernetics, 2004, 34(1): 164-176

[14]Yang S, Yan S, Zhang C, et al. Bilinear analysis for kernel selection and nonlinear feature extraction[J]. IEEE Trans on Neural Networks, 2007, 18(5): 1442-1452

[15]Jiang Yizhang, Deng Zhaohong, Wang Shitong. Mamdani-larsen type transfer learning fuzzy system[J]. Acta Automatica Sinica, 2012, 38(9): 1393-1409 (in Chinese)(蔣亦樟, 鄧趙紅, 王士同. ML型遷移學習模糊系統(tǒng)[J]. 自動化學報, 2012, 38(9): 1393-1409)

[16]Gao J, Fan W, Jiang J, et al. Knowledge transfer via multiple model local structure mapping[C]Proc of the 14th

中圖法分類號TP391.4

基金項目：國家自然科學基金項目(61202014，61472222)；山東省自然科學基金項目(ZR2012FQ008)；中國博士后科學基金項目(2011M5001133，2012T50614) 國家自然科學基金項目(61170122,61202311);山東省高等學校科技計劃基金項目(J14LN05)

收稿日期：2014-11-17；修回日期：2015-01-27 2014-11-17；修回日期：2015-06-03

This work was supported by the National Natural Science Foundation of China (61202014，61472222), the Natural Science Foundation of Shandong Province of China (ZR2012FQ008), and the China Postdoctoral Science Foundation (2011M5001133，2012T50614).

This work was supported by the National Natural Science Foundation of China (61170122,61202311) and the Project of Shandong Province Higher Educational Science and Technology Program (J14LN05).