基于公共空間嵌入的端到端深度零樣本學習

秦牧軒，荊曉遠，吳 飛

(南京郵電大學 自動化學院，江蘇 南京 210003)

0 引 言

在圖像識別技術中[1-3]，零樣本學習(ZSL)[4]是一種特殊的問題，在訓練集中某幾類樣本標簽缺失或者樣本不存在，但是依然能夠在測試任務中識別出這些樣本的類別。一種全部類別共同映射的中間層特征子空間[5]技術，在零樣本學習中被大量使用，通過建立一種訓練類別信息與測試類別信息的連接空間，將原本使用類別信息分類能力轉化到該中間層，擺脫了必須使用類別信息分類的限制。一般中間層特征空間有兩種：屬性(attribute)特征空間[6-7]和文本(text)特征空間[8-9]。

屬性是人為定義的特征，如“形狀”“紋理”“是否含有某個屬性”等可以描述類別的語義特性，可以利用屬性信息學習到新的類別，如Lampert等[6]提出的直接屬性預測模型(direct attribute prediction，DAP)。

但是屬性的分類效果取決于屬性的選擇好壞，同時會消耗人力物力。利用自然語言處理技術(NLP)使用文本特征作為中間層表示，是零樣本學習中另一種解決模型。文本數據容易獲得，且其語義相關性可以推測出未出現的類別，利用多模態[10]技術學習將圖像從視覺模態映射到文本模態，來推測未知圖像。Socher等[8]利用一個2層的神經網絡訓練一個映射函數，映射圖像特征與其對應的詞向量距離最近。Frome等[9]則直接連接卷積神經網絡的最頂層和skip-gram語言模型的輸出層，并將上述映射關系稱之為嵌入(embedding)。

直接將圖像特征嵌入到語義特征會由于維度降低導致樞紐度問題[11]。文獻[12-13]利用一種聯合嵌入模型(structured joint embedding，SJE)，將圖像特征和語義特征嵌入公共特征空間，使得公共特征空間中的各模態特征內積和最大，取得了良好的效果。但這些方法只是單純地使用了CNN的圖像特征，在分類時仍需要人工參與特征提取，并不是一種端到端的深度學習方法。文獻[14]在深度的基礎上應用一種特征融合技術，但是由于只使用詞向量而效果不佳。

基于此，文中結合端到端的深度學習模型與基于公共空間的嵌入模型，提出了一種新的零樣本圖像分類方法，即基于公共空間嵌入的端到端深度零樣本學習，可以同時利用屬性特征和文本特征，并通過實驗驗證該方法的有效性。

1 基于卷積神經網絡的圖像特征學習(CNN)

CNN通過逐層對圖像卷積獲得低維的特征，并學習這些卷積的參數。輸入圖像訓練集X={x1,x2,…,xi,…,xc1}，經過CNN后，得到圖像特征。輸入227*227的三通道圖像，經過5個卷積層和3個全連接層，輸出n維特征向量，n為樣本類別數量，每一個參數對應一個類別。神經網絡的卷積層數據見表1。

表1 神經網絡的卷積層數據

經過兩個全連接層fc6和fc7之后，在fc8層應用softmax損失函數進行分類，同樣在fc6和fc7層之后會有激活函數和drop函數。fc8層使用softmax損失函數分類：

(1)

(2)

其中，aj為第i個樣本被分為j類的概率；1{y(i)=j}表示當表達式成立時值為1，否則為0。

首先建立單視覺的Fake-task模型，fc8層特征只作用于預學習，在多模態嵌入時使用的是fc7層的特征，相較于fc8層，fc7層特征能更好地表達圖像層級的特征。

2 基于融合層的語義特征學習(Att、W2V)

由于使用的公共空間不依賴單一模態的特點，可以同時使用屬性特征和文本特征或者融合訓練該模型。如圖1所示，應用一個多模態融合層，其函數定義如下：

(3)

(4)

不同于屬性特征，文本特征需要使用skip-gram模型訓練得到。應用維基百科上面570萬文本(約54億單詞)來訓練一個三層全連接的神經網絡，輸入文本訓練集Y={y1,y2,…,yc1,…,yc2}，并得到文本特征,注意到文本訓練集種類數量遠遠大于圖像訓練集種類數量，即c2?c1。y定義如下：

(5)

圖1 視覺模態和語義模態公共空間嵌入模型

輸入層經過隱層到達第三層，第三層實際上是一個Softmax分類器。同樣文本模塊也是一個Fake-task，目的是得到隱層的參數作為詞向量。通過比較100維到2 000維的隱層權重分類效果，發現將隱層的大小設置為512維最為合適。

3 視覺-語義聯合學習部分

聯合學習將原有模型上的圖像特征和文本特征投影到公共空間并建立一種類別對應關系。去除上文所述的圖像和文本模塊的分類層，替換一個全連接層映射隱層的特征到公共空間，形成一個新的損失層，損失函數為：

s.t.

(6)

H(x)=sigmoid(WxF)

H(y)=sigmoid(WyG)

F=f(X;θx)

G=g(Y;θy)

(7)

在聯合訓練階段，應用隨機梯度下降算法(SGD)交替迭代訓練嵌入參數：

(1)固定θy和Wy，優化θx和Wx。

應用一種微調深度學習的技術(fine-tuning)對θx調優，θx前5層的參數固定不變，降低fc6和fc7的學習率10倍。在嵌入層，梯度計算如下：

(8)

(2)固定θx，θy和Wx，優化Wy。

同樣應用SGD算法優化文本嵌入層參數Wy。由于需要詞向量的語義相關性，所以只訓練Wy，梯度計算如下：

(9)

4 實 驗

通過在AwA(animals with attributes)數據庫和Cub鳥類數據庫上的識別率波動圖和平均識別率來比較文中方法與DeViSE、Ba et.al、SJE、LatEm和JLSE方法的識別性能。AwA包含30 745張50個不同動物的圖片。CUB-200-2011(Caltech UCSD Bird)鳥類數據庫包含了200種鳥類共11 788張圖片，是目前應用廣泛的細粒度分類參考之一。所有方法均采用基于余弦距離的最近鄰分類器來做分類識別。

4.1 實驗方法

在AwA數據庫上，選擇40個類別作為已知類，10個類別作為未知類；在CUB數據庫上，參考文獻[7]方法選取100個類別組成訓練集，50個類別組成驗證集，50個類別組成測試集。實驗都采取隨機挑選的方式運行30次。

對于AwA庫，應用文獻[6]提供的85維的屬性特征，而CUB庫上，應用文獻[12]提供的312維度的屬性特征。不同于固定的屬性特征，文本特征使用skip-gram模型來訓練所需的詞向量，使用維基百科上的570萬文本(約54億單詞)來訓練AwA庫和CUB庫，特征維度為512。

4.2 實驗結果與分析

表2給出了所有方法在AwA和CUB兩個數據庫上隨機30次的識別率。圖2給出了AwA庫上使用詞向量作為語義特征的識別率波動，圖3比較了幾種使用公共空間的方法。

圖2 AwA數據庫上所有方法隨機30次的識別率

圖3 使用公共空間的所有方法隨機30次的識別率

方法語義特征AwACUBDeViSEW56.7/50.433.5Ba et.alW69.3/58.734.0SJEA/W/A+W66.7/60.1/73.950.1/28.4/51.0LatEmA/W/A+W72.5/52.3/76.145.6/33.1/47.4JLSEA80.542.1文中A/W/A+W79.0/62.6/78.847.4/38.1/52.1

從表2可以看出，在AwA數據庫上，文中方法無論是單獨使用屬性或詞向量，還是同時使用混合特征，都比DeViSE、Ba et.al、SJE以及LatEm等四種方法的平均識別率提高了至少2.5%(62.6%-60.1%)；在CUB數據庫上，對比上述方法，文中方法雖然在單屬性特征上略微輸給了SJE，但是在混合特征上取得最好的效果(52.1%)。

5 結束語

建立了應用于零樣本學習的端到端的深度學習模型，并使用了融合屬性信息和文本信息的聯合語義特征，提出了基于公共空間嵌入的端到端深度零樣本學習。在AwA和CUB數據庫上的實驗結果表明，該方法有效地提高了識別率。