管理域算法

佘 鳳, 曾遠柔

(1. 黃岡職業技術學院 計算機系, 湖北 黃岡 438002； 2. 長江工程職業學院 計算機科學系, 湖北 武漢 430074)

分類器中的數據通常與要處理的數據不一樣,當標準機器學習提出訓練集和測試集來源于相同的數據分布時,許多應用并不贊同此說法,如機器視覺[1]和自然語言處理等。為處理此情況,可使用從源頭到目標的轉換,提出兩種領域間的分布傳輸,而域自適應法[2-4]中的兩種主要類別都是可行的。如文獻[5]中顯示域自適應法夠接觸到目標領域中的一些被標記過的例子以及數據。文獻[6]通過集中提出統計機器翻譯領域自適應問題,并提出解決此類問題的新方法,針對雙語網站的識別和定位,提出一種基于全局搜索和局部分類的特定領域雙語網站識別方法,實驗結果證實,在相同測試集下,特定領域機器翻譯系統的性能獲得顯著提升,驗證該方法的有效性。文獻[7]中提出一種中間子空間的順序,此子空間沿著測地線路徑連接源子空間和目標子空間。如文獻[8]中源數據與目標數據都被輸入中間線性子空間中,此空間分布在鏈接2個原始空間的最短的測地線路徑周圍。這些子空間的方法雖然有效,成本卻很大,且會受到干擾。文獻[9]圍繞中文分詞領域自適應的課題,針對大規模人工分詞訓練語料難以獲得的問題,提出基于主動學習的中文分詞方法。文獻[10]中通過優化單一線性繪圖函數直接將源子集與目標子集連接起來。此方法不僅被證明比最新的其他方法要好,而且在閉合形式下也是可計算的。

文獻[10]面臨著兩個主要的問題。首先,文獻[11]方法指出兩種分布間的傳輸能通過線性傳輸得以糾正,但這很容易被許多現實世界的應用所推翻;其次,此方法指出在實行、適應時,需要所有的源案例及目標案例,然而在大多數情況下,只有一個源數據的子集會與目標域分布相似,反之亦然。為此,本文將用以下方式處理這2個問題：一是從兩種域中選取界標來減少源分布與目標分布的不一致性；二是使用關于界標選取的高斯核函數將源數據與目標數據輸入共享空間中,這使得從數據庫中捕捉到非線性變得容易；三是提出一個線性繪圖函數將源子空間與目標子空間連接起來,這只需要簡單地計算出源維度數量與目標維度數量之間的內積。通過實驗證明該方法優于當前的域自適應法。

1 自適應法擬定域

自適應法擬定的域是針對域自適應的以界標為基礎的子空間對接法,是完全無人監督的,因此在執行域自適應時,不需要任何標注。從源域中獲取的被標注部分只用于隨后提出分類器。

源數據(S)和目標數據(T)被認為是分別從源分布DS和目標分布DT中獲取而來。域自適應指出,源分布與目標分布是不一樣的,但它們也有一些相似之處,這使得將在源域中提出所得放入目標域中成為可能。不一樣的是,若有一套LS的源案例,它們就能用于提出適合目標域的分類器。

通過下述方法將兩種觀點結合起來。首先,將源案例與目標案例輸入到有關選取好的界標的普通子空間中。接著,在兩種域中運行子空間對齊。在S和T中選取出界標后,使用高斯核將其所有的點輸入到界標中,用KS和KT重新展現源點與目標點,并通過子空間對齊法完成映射。

與文獻[11]相比,通過兩步法在捕捉非線性時,既保持準確性,操作又簡單快捷。接著通過仔細分析從多尺度界標選取到子空間對齊和分類方法中的每一個步驟。

2 設定多尺度界標及核投影

本文方法的第一步就是選取一些點作為界標。直觀來看,一套好的界標能將源數據與目標數據輸入到共享空間中,使得它們的分布更加相似。該方法從S和T中選取界標且未使用過任何其他標記。界標選取最終輸出：A={α1,α2,...},其中A?S∪T,為避免昂貴的重復優化法,通過提出一種直接法,其能判斷是否該保留某個點作為界標。

2.1 設定界標

事實中,通過界標選取法把從特征選取(S∪T)的每一個c點都當作備選界標,并獨立提出每一個備選界標。對備選界標執行質量檢測,若檢測高于閾值,就將其設定為界標。為評估備選c的質量,首先要用高斯分布的標準誤差s,計算其與p∈S∪T所有點的相似性,界標K(c,p)公式如下：

(1)

式中p為核基半徑。

計算備選界標c的質量來作為源點與目標點中K值分布的重復。因此,在使用核基以后,若源點與目標點的分布是相似的,那它就是一個好界標。

2.2 分析多尺度捕捉數據屬性

式(1)中的核基半徑p值很重要,因其設定備選界標中相鄰界標的大小,為給定的界標選取準確的s值,且能在準確范圍內捕捉到本地現象,并更好地將源分布與目標分布對齊。由于s的極端值會將源點分配的目標點完美地匹配起來：K值會變成0(當s接近0的時候)或1(當s非常大時),故應當避免。

計算備選界標的質量事實中是做一個多尺度分析：通過選取最佳的s來捕捉數據的本地屬性,同時避免s的極端值。為達到這個目的,通過計算所有元素對中歐幾里得距離的分布,并嘗試分布的每一個百分位數。有這個以百分位數為基礎的方法,通過嘗試一串s值,其結果貌似都是可信的。通過計算s中源分布和目標分布之間的重復,保留備選界標中質量檢測最佳的一個。

2.3 重復標準分布

對于備選界標c和標尺(標準誤差)s,通過計算出2個K值集中的重復度：源點中的KVS和目標點中的KVT。為降低計算成本,兩種分布都被近似為普通分布,并用標準誤差公式實施總結：μS,σS,μT,σT。為能使用固定閾值并對其賦予意義,通過采用一種標準重復計算法以下：

(2)

(3)

(2)中的分母與給定σsum(由μS=μT中獲得)中分子的最大值一致。分母作為一種歸一元素,當分布完美匹配且給出更簡單的解釋時,將重復設定為1,有助于閾值th的選取。

2.4 設定界標投影

S∪T中的每一個核基半徑素p都通過使用有著標準誤差的高斯核基被投影到界標αj∈A中,

(4)

整體來看,S和T中所有元素都被投影到普通空間內。由于有界標,這些普通空間有許多維度。仿照其他非線性法,通過在隨機從S∪T中提取的要素對間將σ設定置成中間距離。也通過一些交叉驗證選取σ的值。在投影以后,最終獲得源與目標的新代表,分別是KS和KT。

2.5 對齊子空間

在采用非線性投影集KS和KT后,實施子空間對齊法。主成分分析(PCA)分別用于域中,提取擁有最大子空間維度數量的d子空間維度數量。根據文獻[11]中的理論,能設定d的最佳值,因文獻[11]中提出一個基于標準集中不平等的關于維度數量的一致性定理,其可以在2個連續維度數量的誤差中找到界限。通過利用此界限有效地調整主成分分析中的子空間維度數量d。源域和目標域中的d子空間維度數量分別由XS和XT表示。域中的每個要素都能分別被投影到其子空間KSXS和KTXT中。

子空間對齊的目的是找到線性轉換M,M能將源子空間維度數量最好地投影到目標子空間維度數量中。此外,通過找到M來減小源維度數量和目標維度數量之間歐幾里得距離的數量。此減少等同于下列弗羅賓尼斯范數：

(5)

對齊轉化M將要素從源特征空間中映射到目標特征空間,其能通過計算KSXSM,將投影好的源要素KSXS作為投影好的目標要素KTXT帶到相同的特征空間中。此算法是以選取的界標為基礎的子空間對齊(LSSA),其偽代碼見如下算法:

算法1：LSSA：以界標選取為基礎的子空間對齊和分類

要求：S,T,源標記Ls, th,子空間維度d。

保證：Lt是T中要素的預估標記

A←choose_landmarks(S,T,th)

σ←median_distance(S∪T)

KS←project_using_kernel(S,A,σ)

KT←project_using_kernel(T,A,σ)

XS←PCA(KS,d)

XT←PCA(KT,d)

PS←KSXSM

PT←KTXT

classifier←learn_classifier(PS,LS)

LT←classifier(pT)

3 實驗與結論

本文實驗目的：第一,提出界標選取法的表現,即是處理與其他界標選取法相比較而言的無人管理的圖像域自適應；第二,希望證明在與子空間對齊法聯合使用時,此法在自適應領域有巨大的提升,包括文獻[10-11]中描述的最好、最新的方法。

3.1 實驗與數據集設定

本文在圖像域自適應的標準數據集中實施實驗。通過所使用的辦公數據集[12]包括從攝像頭中獲取的圖像(用W表示),從數字SLR相機中取得的圖像(用D表示)和從百度中取得的圖像(用A表示)。此外,還運用一些大學實驗圖像[8](用C表示)。每一個數據集都為10種類別提供不一樣的圖像。因此,通過能從4個數據集(A,C,D,W)中獲取到12種域自適應子問題。其中一個數據集扮演源S的角色,而另一個被看作是目標T。本文通過符號S→T證實一個域自適應問題。目的是從被標注的源S中提出一個SVM分類器(使用SVM的線性核基),并將其配置到目標T上。根據參考文獻[7-8,10, 12]中的標準協議得到源案例和目標案例。

界標選取法的比較：為完成這個實驗,通過將該方法(表1中的MLS)域下列3中基線實施比較。

隨機選取：通過隨機選出500個界標(每個域中250個),并重復5次,得到一個平均表現。

無界標選取：通過將所有源案例與目標案例作為界標。

所有的備選界標都采用相同的標準誤差σ。σ被設定為最標準的誤差(對此條基線有利),這有助于獲取兩種分布之間最大重復的平均值[13]。對于MLS和σ-LS,本文將重復率固定為0.3來選取界標。由于規范化,0.3的閾值等同于30%的重復率。本文還將MLS域其他界標選取法實施比較,即用界標連接點法(CDL)。測地線流內核(GFK)[8]中中間子空間的順序分布在連接源域與目標域的測地線路徑兩旁。一步子空間對齊法(SA)方法經過提出2個子空間的線性轉化而提出。文獻[12]中提到的轉化聯結匹配法(TJM)，此方法是基于特征匹配和案例權重的最近提出的方法。

此外,本文在兩種基線下實施實驗。第一種并沒有實施任何的自適應(NA)；第二種在源域和目標域中實行2個獨立的KPCA,并用SA算法(用KPCA+SA表示)提出線性轉化。

3.2 分析結果

表1中RD 、ALL、σ-LS 、CDL、 MLS分別表示無人管理自適應法的5種界標。做出如下結論：首先,平均來說,本文的方法(使用學生成對測試)大大優于其他方法(平均精確度Avg為48.1%)，在12個域自適應任務中,MLS在8個子問題中的精準度都是最佳的；其次,對于兩種子問題(W→D和D→W),ALL更好些。這意味著將所有源案例和目標案例保留在這兩種對稱情形中比試圖尋找界標要好些。值得一提的是[14],這兩種子問題都是最簡單的問題,它們有著最高的精準度,證明保留所有數據的好處。此外,通過的方法在12中問題中的10種中都比CDL有優勢,而且CDL在半無人管理的域自適應情境中是專門選取界標的。最后,單一尺度法(采用固定σ)并不是很好。這證實在MLS中,為每一個界標選取最好的活動半徑是多么重要。為MLS為每一個域自適應子問題選取出界標的分布。這證實即使沒有類別信息,本文的方法仍然能在各種類別中做出平衡選取。

表1 關于12個無人管理的域自適應子問題的5種界標選取法的比較

與當前最新的無人管理自適應法作比較。表2給出最新的無人管理子空間對齊域自適應法的實驗結果。值得注意的是,本文的LSSA法在12種中的7種子問題上都比其他方法表現好,同時TJM在剩下的5中方法中表現更好。然而,平均來看,LSSA大大優于TJM(52.6%對50.5%)。此外,TJM的時間復雜性遠遠大于其他方法,因其需要解決一個不小的優化問題,而本文的方法包含的針對界標選取的貪心策略和針對子空間對齊封閉解更加有效。TJM和LSSA的精準度的差別在于,前者采用權重機制,主要能將兩種域移動得更近一些,而后者通過高斯假設定,同時考慮到方式及界標數據分布的標準誤差。從表2中可以看到,LSSA遠遠優于SA,LSSA能捕捉到非線性,這是SA難以與其比較的。然而,考慮非線性的方式也是一個關鍵。的確,正如KPCA+SA所表示的那樣,在子空間對齊之前執行2個獨立的KPCA會導致最壞的結果。

表2 無監督方法的比較

4 結語

首先,從源S和目標T中選取界標將源分布與目標分布間的映射最大化；然后,在選取好的界標上應用高斯核,以得到新的源點(KS)與新的目標點(KT)；接著,在執行有關維度數量的子空間對齊之前,實行2個獨立的PCA；最后,從被標注的源數據中提出分類器,并將其執行到目標域中。在圖像域自適應的大量實驗證實：所提方法選取出的界標能降低領域之間的不一致性,用于非線性項目,能呈現出有效子空間對齊的數據,優于其他無人管理域自適應算法。