基于自編碼器的零樣本學(xué)習(xí)方法研究進(jìn)展

楊晨曦，左劼，孫頻捷

（1.四川大學(xué)計算機(jī)學(xué)院，成都610065；2.上海政法學(xué)院，上海200000）

0 引言

2009 年，Lampert C H 等人首次提出零樣本學(xué)習(xí)（Zero-Shot Learning）[1]這一概念。這是一類特殊的機(jī)器學(xué)習(xí)問題，它所要解決的問題是在測試階段推斷出訓(xùn)練階段從未出現(xiàn)過的類別，換句話說，訓(xùn)練集類別和測試集類別是相互正交的，分別稱為已見類和未見類。該問題如果使用傳統(tǒng)的判別式分類模型會面臨極其嚴(yán)重的過擬合，所以通常做法是依靠輔助信息，作為語義向量嵌入中間語義層，通過學(xué)習(xí)一個投影函數(shù)來進(jìn)行視覺特征空間與語義空間的相互映射，從而實現(xiàn)知識遷移（Knowledge Transfer）并達(dá)到跨域泛化的目的。該領(lǐng)域有一個核心難題，稱為映射域偏移問題（Projection Domain Shift）[2]。2017 年，Kodirov E 等人首次提出將自編碼器（AutoEncoder）應(yīng)用到零樣本學(xué)習(xí)問題上[3]，通過歸納式學(xué)習(xí)（Inductive Learning）的方式解決映射域偏移問題。在此之后，出現(xiàn)了大量基于自編碼器及其變種的零樣本學(xué)習(xí)的研究，其中大部分研究在公開數(shù)據(jù)集上都取得了較為優(yōu)秀的效果，進(jìn)一步證明了自編碼器在零樣本學(xué)習(xí)問題上的有效性和研究價值。

1 相關(guān)工作

1.1 零樣本學(xué)習(xí)

在零樣本學(xué)習(xí)領(lǐng)域，一些研究采用雙線性兼容框架來建模視覺特征向量與類別語義向量的關(guān)系。Frome A 等人使用成對排序公式學(xué)習(xí)雙線性模型的參數(shù)[4]；Romera-Paredes B 等人使用將兼容性模型映射到類別空間[5]；Xian Y 等人使用能夠產(chǎn)生分段線性決策邊界的多個雙線性模型[6]。雖然雙線性兼容性模型簡單優(yōu)雅，但在推理時語義受限，因此有部分研究嘗試通過嶺回歸將視覺特征向量映射到語義空間。Kodirov E 等人在映射特征上使用額外的重建約束來應(yīng)對映射域偏移問題[7]，這也是第一篇將自編碼器應(yīng)用于零樣本學(xué)習(xí)的論文；Zhang L 等人提出了從語義空間到視覺空間的逆向映射[8]，用以解決樞紐點(diǎn)問題，但這會丟失語義結(jié)構(gòu)。另有一些研究嘗試?yán)昧餍螌W(xué)習(xí)來解決零樣本學(xué)習(xí)問題，Xu X 利用矩陣三因式分解來學(xué)習(xí)投影函數(shù)并能夠保留視覺空間和語義空間的基本流形結(jié)構(gòu)[9]。

1.2 自編碼器

自編碼器[10]這一概念很早之前就被提出，它是神經(jīng)網(wǎng)絡(luò)的一種，能夠讓輸入和輸出近似地保持一致。由兩部分組成：編碼器和解碼器。前者可以表示為函數(shù)h=f(x)，后者可以表示為函數(shù)r=g(h)，整個網(wǎng)絡(luò)結(jié)構(gòu)可以表示為r=f(g(h))，并且加上r=x 的約束。在這種編碼器-解碼器的結(jié)構(gòu)以及重構(gòu)約束下，我們可以在提取訓(xùn)練數(shù)據(jù)的顯著性特征的同時，盡可能不丟失原有數(shù)據(jù)的信息。

2 研究進(jìn)展

2.1 語義自編碼器模型

語義自編碼器（SAE）[3]是第一篇將自編碼器用于零樣本學(xué)習(xí)的論文。該方法引入了一個線性且對稱的編碼器-解碼器結(jié)構(gòu)，其中編碼器負(fù)責(zé)將視覺特征向量投影到語義空間中，這和現(xiàn)有的零樣本學(xué)習(xí)模型相類似。和其他模型不同點(diǎn)在于解碼器額外施加了一個重構(gòu)約束，使得投影后的隱變量能夠通過解碼器恢復(fù)原有的特征。映射域偏移問題能夠一定程度上通過重構(gòu)約束來緩解，使得經(jīng)過已見類訓(xùn)練后的投影函數(shù)能夠更好地在未見類中泛化。

該方法提出了一個最簡單的自編碼器結(jié)構(gòu)，只包含一個隱藏層，由編碼器和解碼器共享。給定輸入X ∈?d×N，包含N 個D 維特征向量。通過投影矩陣W ∈?k×d，將特征向量投影到k 維的隱變量空間（Latent Space），其中隱變量的向量組表示為S ∈?k×N。之后通過另一個投影矩陣W*∈?d×k，將隱變量投影回特征空間，最終輸出X^ ∈?d×N。值得注意的是k＜d，即語義空間為低維空間，隱變量表示對輸入特征表示進(jìn)行了降維。該方法希望X^ 與X 盡可能相似，即重構(gòu)誤差盡可能小。故損失函數(shù)定義為：

傳統(tǒng)的自編碼器是非監(jiān)督學(xué)習(xí)，而SAE 是監(jiān)督式學(xué)習(xí)的自編碼器，由SAE 學(xué)習(xí)到的隱變量空間具有明確的語義含義。達(dá)到這一目的的方法是強(qiáng)制隱變量空間與語義空間保持一致，也就是說在訓(xùn)練階段隱變量空間成為了可以直接被觀測到的顯性變量空間。另外，為了能夠應(yīng)用于大規(guī)模數(shù)據(jù)，需要進(jìn)一步簡化模型，故定義W*=WT。由此，加上額外約束的損失函數(shù)定義為：

對式（2）的損失函數(shù)進(jìn)行最優(yōu)化求解。為了便于求解，首先將WX=S 的硬約束重定義為軟約束，式（2）轉(zhuǎn)化為：

其中前項為解碼器約束，后項為編碼器約束，λ 負(fù)責(zé)控制兩項的重要度。式（3）是一個標(biāo)準(zhǔn)的二次型凸函數(shù)，有著全局最優(yōu)解。對式（3）求導(dǎo)并令導(dǎo)數(shù)等于零，可以得到：

這是一個標(biāo)準(zhǔn)的西爾維斯特方程，可以通過巴特爾斯·斯圖爾特算法直接求出W 的閉式解。利用求解到的投影矩陣，可以通過兩種方法進(jìn)行求解：

第一種方法是利用編碼器投影矩陣，實現(xiàn)特征空間到語義空間的投影，通過對嵌入語義表示和語義原型進(jìn)行相似度度量，度量距離最近的語義原型對應(yīng)的類別是我們最終求解的類別。形式化描述如下：

第二種方法是利用解碼器投影矩陣，實現(xiàn)語義空間到特征空間的投影，語義原型投影到特征空間并和原有特征進(jìn)行相似度度量，度量距離最近的語義原型投影對應(yīng)的類別是最終求解的類別。形式化描述如下：

2.2 零樣本變分自編碼器模型

傳統(tǒng)的零樣本學(xué)習(xí)方法通常都是將類別在語義空間中表示成一個點(diǎn)，這樣做會導(dǎo)致模型無法應(yīng)對類內(nèi)方差。為了解決這一問題，零樣本變分自編碼器模型[11]將可見類和未見類表示成類別特定的隱空間分布，并將隱空間分布作為VAE 的先驗概率分布。訓(xùn)練階段，只使用可見類進(jìn)行端到端的訓(xùn)練。測試階段，將最大化變分下界的隱變量對應(yīng)的類別作為測試樣本的類別。

變分自編碼器（VAE）在2013 年，由Kingma D P 等人提出[12]，是一個深度生成模型，能夠通過隱變量學(xué)習(xí)復(fù)雜的概率密度模型。標(biāo)準(zhǔn)的VAE 模型使用標(biāo)準(zhǔn)正態(tài)分布作為隱向量的先驗假設(shè)，可以表示為N( 0,I )，而零樣本變分自編碼器模型與標(biāo)準(zhǔn)VAE 不同，它假設(shè)隱向量服從，且：

不引入額外復(fù)雜度的情況下，假設(shè)fμ(·)和fσ(·)為線性函數(shù)，即有了隱向量z 的類別特定的先驗分布，便可以定義該框架下的變分下界：

其中隱向量先驗概率分布參數(shù)ψ，VAE 編碼器參數(shù)θ，VAE 解碼器參數(shù)φ 均是可學(xué)習(xí)參數(shù)。

式（2）鼓勵編碼器生成的變分概率分布qθ( )z|x 與特定類別的隱向量概率分布pψ( )z|a 盡可能靠近。但由于最終任務(wù)是分類，故在目標(biāo)函數(shù)式（2）的基礎(chǔ)上加上最大邊界損失促使變分概率分布和其他類別的隱向量概率分布相遠(yuǎn)離。加上邊界正則化項之后，得到了最終的損失函數(shù)：

訓(xùn)練階段通過對損失函數(shù)式（10）做最大化求解。當(dāng)參數(shù)學(xué)習(xí)完畢之后，進(jìn)入測試階段。給定未見類的一個測試集樣本，通過求解式（11）便能得到樣本的最佳分類：

2.3 語義關(guān)系保留自編碼器模型

通常零樣本學(xué)習(xí)有兩種空間投影的方式，第一種是將視覺特征向量投影到語義空間，第二種是將語義原型向量投影到視覺特征空間。前者的優(yōu)勢在于可以完整地保留嵌入特征之間的語義關(guān)系，但存在一個嚴(yán)重的問題，那便是樞紐點(diǎn)問題（Hubness Problem），這是高維空間固有的問題，表現(xiàn)為在高維空間中，某些點(diǎn)會成為大多數(shù)點(diǎn)的最近鄰點(diǎn)，這會導(dǎo)致識別或者分類的精度降低。所以一些研究開始嘗試第二種投影方式，也就是將語義向量投影到視覺特征張成的空間中，目的就是消除樞紐點(diǎn)帶來的影響。但這種投影方式存在另一個問題，那就是無法保留語義空間的結(jié)構(gòu)，因為視覺特征空間是在one-hot 類標(biāo)簽監(jiān)督下訓(xùn)練而成，類別之間并不包含任何語義性質(zhì)。

語義關(guān)系保留自編碼器模型[13]的提出，就是為了同時解決樞紐點(diǎn)消除、語義空間結(jié)構(gòu)保留這兩大問題。它的問題定義和傳統(tǒng)的零樣本學(xué)習(xí)保持一致，用來表示訓(xùn)練集樣本，用來表示對應(yīng)類別的語義向量，可以是屬性向量，也可以是詞向量，a 代表語義向量的維度。在此基礎(chǔ)上，創(chuàng)新性地定義了語義向量間的關(guān)系，將關(guān)系分為三類：相同、語義相似、語義不相似。通過δmn=s(ym,yn)表示兩個語義向量的相似度，通過余弦相似度來做度量：

當(dāng)δmn=1 時，代表語義相同；當(dāng)τ ≤δmn＜1，代表語義相似；當(dāng)δmn＜τ，代表語義不相似。其中τ ∈(-1,1)，表示閾值。為了不失一般性，固定τ=0。

訓(xùn)練階段，首先從訓(xùn)練集中通過類似于triplet loss的在線負(fù)樣本抽取方法，抽取三元組(yi,yj,yk)，分別對應(yīng)于三種語義關(guān)系，之后分三部分定義損失函數(shù)。第一部分損失函數(shù)針對相同語義和不相似語義，期望的情況是嵌入視覺特征空間的語義向量f(yr;θf)，和相同語義的視覺特征xi應(yīng)該有較高的語義相似度，而和不相似語義的xk應(yīng)該有較低的語義相似度。故第一部分的損失函數(shù)定義為：

第二部分損失函數(shù)針對相似語義，相似語義的兩個向量的語義相似度需要控制在一個范圍，這個范圍便是：

這樣既可以保證相似語義的嵌入特征距離盡可能近，又不會影響相同語義的度量。基于此，第二部分損失函數(shù)定義為：

第三部分的損失函數(shù)來自于解碼器的重構(gòu)損失，用于解決映射域偏移問題，定義如下：

結(jié)合三部分的損失函數(shù)，最終的損失函數(shù)定義如下，其中B 代表batch-size：

當(dāng)模型訓(xùn)練好之后，進(jìn)入測試階段，給定未見類的測試集樣本xμ，通過如下表達(dá)式進(jìn)行類別推斷：

3 結(jié)語

本文綜述了自編碼器應(yīng)用于零樣本學(xué)習(xí)的三種比較有代表性的方法。三者的共同點(diǎn)在于：均使用解碼器應(yīng)對映射域偏移問題，使用編碼器實現(xiàn)特征嵌入，達(dá)到知識遷移的目的。不同點(diǎn)在于：SAE 是一個最基礎(chǔ)的線性模型，可以直接求閉式解，算法復(fù)雜度低使之能夠應(yīng)用于大規(guī)模零樣本識別問題；零樣本變分自編碼器是一個基于隨機(jī)性建模的深度生成模型，通過概率性質(zhì)來應(yīng)對類內(nèi)方差問題；而語義關(guān)系保留自編碼器模型旨在同時解決樞紐點(diǎn)消除、語義空間結(jié)構(gòu)保留這兩大問題。從以上內(nèi)容可以看出，基于自編碼器的零樣本學(xué)習(xí)方法受到了廣泛的關(guān)注，相關(guān)研究呈現(xiàn)的實驗效果也充分證明了其有效性與進(jìn)一步的研究價值。