基于雙重局部保持的不完整多視角嵌入學習方法

劉彥雯，張金鑫，張宏杰，經 玲

（1.中國農業大學 理學院，北京 100083；2.中國農業大學 信息與電氣工程學院，北京 100083）

0 概述

多視角數據是指對于同一個物體，從不同層面觀察或從多個源頭得到的特征數據［1-2］。多視角數據從不同的角度對同一物體進行描述，比單視角數據更加全面［3-4］。多視角學習［5-7］是根據各個視角間的內在聯系及每個視角具有的獨特屬性對多視角數據進行處理和分析，進而合理充分地利用多視角數據的一種全新的學習方法。多視角學習已經成為機器學習和數據挖掘領域中備受關注的熱點問題［8-10］。

隨著科學技術的高速發展，人們收集和處理數據的手段越來越多種多樣，在信息爆炸式增長的同時也同樣面臨著數據維度高和高冗余的問題，增加了實驗的計算復雜度并引起維數災難［11-12］。降維是克服維數災難，獲取數據本質特征的一個重要途徑，根據是否基于樣本標簽信息，可以分為無監督降維和有監督降維。目前最主流的無監督降維方法有主成分分 析（PCA）［13］、Laplacian 特征映射（LE）［14］和t-分布隨機近鄰嵌入（t-SNE）［15］3 種。對于有監督降維，最經典的方法是線性判別分析（LDA）［16］。近年來，多視角降維方法備受關注［17-19］，然而由于數據收集的困難性、高額成本或設備故障等，高質量無缺失的多視角數據很少會出現在真實的應用中，人們收集的多視角數據常常包含不完整視角［20-21］。所謂不完整視角是指在該視角下某一樣本的部分或全部特征缺失。例如，在對阿茲海默癥患者的診斷中，由于腦脊液的獲取會對病人產生某種不利影響或攻擊性，有些病人會拒絕這項檢查，這就導致了該病人腦脊液這一診斷數據的缺失。當處理不完整多視角數據時，傳統的多視角降維方法不能實現其良好的性能［22-23］。因此，不完整多視角數據降維方法的研究已經成為多視角學習中一個重大的挑戰。

目前，不完整多視角數據的降維方法主要分為兩大類。第一類不考慮缺失數據的重構，旨在利用已有樣本直接學習投影矩陣及樣本的低維表示。2010 年，KIMURA 等人［24］將典型相關分析（CCA）［25］與主成分分析（PCA）［13］的廣義特征值問題結合，提出一種不完整兩視角數據降維方法Semi-CCA，希望在最大化兩視角間成對樣本低維表示相關性的同時，保持每個視角數據的全局結構，最終利用已有數據分別求出兩個視角的投影矩陣，但僅限于兩視角的問題，并且只適用于線性數據。對于非線性數據，TRIVEDI 等人在KCCA（Kernel CCA）［26］的基礎上提出了MCIV［27］，基于不同視角間的核矩陣一致性的思想重構核矩陣，然后再應用KCCA 對重構后的多視角數據降維。但是，這種方法要求至少有一個完整視角，這在實際應用中是難以實現的。

第二類降維方法通常基于某些前提假設補全缺失數據，希望能夠減輕不完整數據對后續學習任務的影 響。2015 年，XU 等人 提出了MVL-IV［28］，基于低秩假設進行矩陣補全。同時，考慮到多視角數據的一致性［29-30］，希望利用矩陣分解得到所有視角共同的低維表示，但是這種方法只是單純地將多視角投影到一個公共子空間，沒有考慮到數據的結構信息。TAO 等人［31］提出用低秩矩陣近似不完整視角，并通過線性變換學習完整的公共嵌入。此外，為學習到更加合理的低維嵌入，引入了塊對角結構先驗正則項。2018 年，YANG 等人［32］基于同一視角下樣本的線性相關性與不同視角間同一樣本對應的低維表示應該相似［33-35］地假設線性重構缺失樣本，同時引入圖嵌入項來保持原始空間的局部結構，但是該方法只考慮了完整樣本，忽略了重構樣本的作用，造成了一定程度的信息損失。ZHANG 等人［36］通過引入不同視角間的一致分布約束進行特征級的缺失數據補全，同時通過構建特征同構子空間來捕捉不同視角間的互補性。

本文提出一種基于雙重局部保持的不完整多視角降維方法（DLPEL）。利用不同視角間的局部結構一致性以及同一視角下樣本的線性相關性來線性重構缺失樣本，并構造所有樣本點上的圖來學習所有視角的公共低維嵌入。在此基礎上，為權衡缺失樣本對學習結果的影響，設計一個權重來度量樣本的可靠性。

1 相關工作

1.1 局部線性嵌入

局部線性嵌入（Locality Linear Embedding，LLE）［37］認為數據在局部是線性的，即某個樣本可以被它鄰域內的樣本線性表示，希望降維后能保持高維空間的局部線性結構，是一種無監督非線性降維方法。已知數據集X=(x1,x2,…,xm)?Rd×m，其中，m為樣本個數，d為維度，LLE 希望學習m個樣本的低維表示y1,y2,…,ym。

用樣本xi的近鄰點對xi進行線性重構，計算線性相關系數向量wi=(wi1,wi2,…,wim)?R1×m。優化問題如下：

其中，Qi為樣本xi的近鄰點下標集合。LLE 希望低維樣本間的局部線性相關性與原始數據一致，即線性相關系數wij保持不變。優化問題如下：

由式（3）即可求出原始樣本的低維表示y1,y2,…,ym。

1.2 局部保持投影

局部保持投影（Locality Preserving Projection，LPP）［38］是一種經典的線性降維方法，其目標是學習一個投影矩陣P，將原始數據投影到低維子空間中。LPP 希望找到的投影矩陣P能夠保持原始數據的局部近鄰結構，優化問題如下：

其中，Wij表示樣本xi和xj的相似度，可以根據不同的要求定義Wij，如下：

其中，σ為熱核參數，Nk(xi)表示xi的k個近鄰點的集合，但是LPP 只能處理單視角數據，如何將LPP 應用于多視角場景仍是一個值得思考的問題。

2 本文模型

對于不完整多視角數據，本文考慮部分樣本在所有視角下完整，而其余樣本只有部分視角，即缺失樣本的整個特征向量在某些視角下缺失的情況。本文模型希望學習所有視角的公共低維嵌入。

已知N個樣本，共有s個視角，第v個視角的數據矩陣為,v=1,2,…,s，共有nv個缺失樣本，Iv表示第v個視角的缺失樣本下標集合，Vi(i=1,2，…,N)表示第i個樣本的完整視角標號集合，即若v?Vi，則第i個樣本在第v個視角下是完整的。本文稱在所有視角下完整的樣本為成對樣本。為便于解釋，將前p(p

圖1 不完整多視角數據的場景Fig.1 Scenario of incomplete multi-view data

本文方法是一種兩階段方法。第一階段線性重構缺失樣本，第二階段求所有視角在d維公共子空間中的低維嵌入Y=[y1,y2,…,yN]?Rd×N。

2.1 基于局部線性保持的缺失樣本重構

本文認為同一視角下的不同樣本不是獨立無關的，它們之間具有一定的線性相關性［31］，某個樣本可以被其余樣本線性表示。基于這一假設，對于缺失樣本(i?Iv,v=1,2，…,s)，希望利用第v個視角下的所有成對樣本對進行線性重構。但由于樣本的缺失，不能像LEE 一樣直接求出對應的線性相關系數向量。考慮到多視角數據的一致性，認為不同視角下的樣本應該具有相同的局部線性關系。因此，首先計算其他完整視角中第i個樣本(u?Vi)關于成對樣本矩陣的重構系數向量?Rp×1。對于任一i?Iv(v=1,2，…,s),u?Vi，優化問題如下：

通過求解上述優化問題，獲得了第i個樣本在所有完整視角下關于成對樣本的重構系數向量。考慮到視角間的相似程度不同，引入一個新的權重αu(u?Vi)，可以度量第u個視角與第v個視角的相似度。結合式（7），對任一i?Iv(v=1,2，…,s)，有以下最小化問題：

每個視角都對應一個非負權重αu，αu越大，表明第u個視角與第v個視角的相似度越高。計算出所有完整視角的權重αu及重構系數向量，就可以用第v個視角下的所有成對樣本線性重構缺失樣本：

2.2 基于局部結構保持的嵌入學習

在第2 階段，基于重構后的完整多視角數據，希望學習所有視角公共的低維Y=[y1,y2,…,yN]?Rd×N。與LPP 相似，希望Y能夠保持原始空間的局部結構。但LPP 不能直接應用于多視角數據，一種自然的方式是對所有s個視角求和，優化問題如下：

其 中，Sv?RN×N是所有樣本的鄰接矩陣，定 義如下：

傳統的基于圖的降維方法如LPP 等都是先學習原始空間的局部結構。顯然，如果原始數據有誤差或噪聲，那么這種誤差也會傳遞到所學的數據結構中。考慮到重構后的數據可能是不精確的，會給最終的學習結果帶來一定的誤差。因此，本文設計了一種權重來減輕重構樣本對模型的影響，如（14）所示：

其中，懲罰參數zij定義如下：

其中，‖˙‖1是l1-范數，M(：,i)表示矩陣M的第i列，稱M?Rs×N為缺失樣本指示矩陣：

其中，懲罰參數zij可以度量樣本對和的可靠度，樣本對的可靠度越低，權重越小，進而缺失樣本對目標函數式（11）的影響越小。

此外，考慮到多視角數據的互補性，認為每個視角對學習公共嵌入Y的貢獻都不同。因此，引入一個權重向量β=(β1,β2,…,βs)?R1×s，權重βv越大，表明第v個視角的貢獻越大。最重要的是，當樣本對中包含缺失樣本時，對應的權重就更小，這樣可以減輕缺失樣本對目標函數的影響。同時，保證了公共子空間能夠保持原始空間的局部幾何結構，最終的優化問題如下：

3 優化方法

3.1 重構階段

對i?Iv,v=1,2，…,s，由于優化式（8）、式（9）是有非線性約束的非凸問題，不能直接計算出全局最優解，本文設計了一種交替迭代優化算法來獲得問題的局部最優解。

其中，ei?RN×1為第i個元素為1，其余均為0 的列向量，Ip×p是一個單位矩陣，O(n-p)×p為全0 矩陣。因此，關于αu的子問題形式如下：

重構階段的迭代過程如算法1 所示。

算法1重構階段

3.2 降維階段

與重構階段類似，優化問題式（19）、式（20）是有非線性約束的非凸問題，無法找到其全局最優解。因此，本文設計了一種交替迭代優化算法來求問題的局部最優解。

1）固定β，更新Y。

給定權重向量β=(β1,β2,…,βs)，關于Y的子優化問題如下：

其中，L=，故全局最優解Y是由L的前d個最小特征值對應的特征向量組成的矩陣。

2）固定Y，更新β。

已知低維嵌入Y，關于β的子問題形式如下：

求解權重向量β的方法此處不再贅述，詳情可見3.1 節。下面給出βv的形式：

降維階段的迭代過程如算法2 所示。

算法2降維階段

4 實驗

本節將在3 個經典的圖像數據集上，通過數值實驗與一些相關的不完整多視角降維方法進行比較，并根據K-means 聚類結果驗證本文模型的有效性。

4.1 數據集

實驗中用到的3 個圖像數據集如下：

1）Yale 人臉數據集由耶魯大學計算機視覺與控制中心創建，包含15 個人的165 張人臉圖像。每個人有11 張圖像，分別對應快樂、正常、悲傷、困倦、驚喜、眨眼、左側光、右側光、戴眼鏡和不戴眼鏡等不同的面部表情、光照條件或姿態，圖2 為其中一人的11 張圖像。

圖2 Yale 人臉數據集中某人的11 張圖像Fig.2 11 images of one person in the Yale face dataset

2）ORL 人臉數據集由劍橋大學AT&T 實驗室采集，包含40 個人的400 張人臉圖像。實驗室在不同的時間以光照條件、面部表情和面部飾物為變量給每個人拍攝了10 張照片。

3）COIL-20數據集來自哥倫比亞大學圖像數據庫，包含20 個物體，如圖3 所示。每個物體旋轉360°，每隔5°拍攝一張照片，因此數據集共有1 440 張照片。

圖3 COIL-20 數據集中的20 個物體Fig.3 20 objects in the COIL-20 dataset

4.2 評價標準

本文運用3 種廣泛應用的指標度量聚類結果的好壞，分別是準確率（ACC）、標準化互信息（NMI）和純度（Purity）。

其中，n為樣本個數，yi和ci分別代表第i個樣本的真實標簽和聚類標簽，map(˙)是一個排列函數，可以利用匈牙利算法對齊真實標簽和聚類標簽［39］，δ是一個指示函數，若yi=map(ci)，則為1，否則為0。

其中，TTL和CCL分別表示真實標簽和聚類標簽，I（TTL；CCL）表示TTL和CCL間的互信息，度量聚類結果與真實標簽間的相似程度，E(˙)表示變量的熵，引入分母是為了將互信息的值標準化到[0,1]之內。

其中，k為簇的個數，ni為第i簇的樣本數，pij=為第i簇中的樣本屬于第j類的概率，nij為第i簇中的樣本屬于第j類的個數。

4.3 對比方法與實驗設置

本文選擇了近幾年具有代表性的5 種不完整多視角降維方法，包括Mean value、Semi-CCA［24］、MCIV［27］、MVL-IV［28］、IML-BDR［31］。其 中Mean value 利用同一視角下的完整樣本平均值補全缺失樣本，使用本文的多視角降維方法對學習到的嵌入進行K-means 聚類，其他幾種對比方法的更多細節見概述部分。

從數據集的圖像中提取出灰度值強度（GSI）、方向梯度直方圖（HOG）和局部二元模式（LBP）3 個視角的特征，得到3 個完整的多視角數據集。為去除原始特征的冗余信息，利用主成分分析（PCA）對數據預處理。通過構造不完整數據集，隨機選取70%的樣本作為成對樣本，然后在每個視角剩余的樣本中分別選取10%的樣本用1 填充。由于MCIV 要求至少有一個完整視角，因此在第2 個、第3 個視角中選取15%的樣本作為缺失樣本，并用1 填充。

4.4 實驗結果

在Yale、ORL 和COIL-20 數據集上的實驗結果如表1～表3 所示，分別對應ACC、NMI 和Purity 值，值越高，證明模型的性能越好，其中黑色粗體表示最優結果。

表1 Yale、ORL 和COIL-20 數據集上的ACC 結果Table 1 ACC results on Yale，ORL and COIL-20 datasets %

表2 Yale、ORL 和COIL-20 數據集上的NMI 結果Table 2 NMI results on Yale，ORL and COIL-20 datasets %

表3 Yale、ORL 和COIL-20 數據集上的Purity 結果Table 3 Purity results on Yale，ORL and COIL-20 datasets %

從表1～表3 可以看出：

1）與DLPEL 方法相比，Mean value 方法的聚類結果更差。這表明直接用均值向量填充缺失樣本是不合理的，并且這種補全方式影響了后續的聚類。本文模型利用了多視角數據的一致性，更好地實現了缺失樣本重構。

2）MCIV 方法要求至少有一個完整視角，該方法可以更好地利用多視角數據的互補性，但仍沒有DLPEL 方法效果好，表明了本文方法處理一般不完整多視角數據的有效性，可以更廣泛地應用到實際問題中。

從以上結果可以看出，本文方法DLPEL 在3 個數據集上相比其他方法都具有更好的性能。

4.5 參數分析

參數λ負責調節重構誤差項與正則項之間的平衡，本文應用本文模型DLPEL 將樣本降到40 維后進行K-means 聚類，通過在Yale、ORL 和COIL-20 數據集上的實驗結果分析了模型關于參數λ的敏感度。

由圖4～圖6 可知，DLPEL 關于參數λ較為敏感，當λ鎖定在[1,104]的范圍內時，可以達到較為理想的聚類效果。在實驗過程中發現，高斯核參數σ的變化對模型的影響很大，當先固定λ=103,d=40，然后在Yale、ORL、COIL-20 數據集上進行實驗，尋找最優的參數σ。從圖7 可以直觀地看出，隨著σ的變化，NMI 的值波動很大。當σ=106時，本文模型在3 個數據集上都展現了最優越的性能。因此，將所有實驗中的參數σ均設為106。

圖4 Yale 數據集上NMI 隨λ 變化的折線Fig.4 Line chart of NMI changes with λ on Yale dataset

圖5 ORL 數據集上NMI 隨λ 變化的折線Fig.5 Line chart of NMI changes with λ on ORL dataset

圖6 COIL-20 數據集上NMI 隨λ 變化的折線圖Fig.6 Line chart of NMI changes with λ on COIL-20 dataset

圖7 Yale、ORL 和COIL-20 數據集上NMI 隨σ 變化的折線Fig.7 Line chart of NMI changes with σ on Yale，ORL and COIL-20 datasets

5 結束語

本文結合多視角數據局部結構的一致性與特征空間的線性結構，提出一種基于雙重局部保持的不完整多視角降維方法。通過引入一個懲罰參數，減輕了缺失樣本對學習結果的影響，得到了保持原始數據局部結構的公共低維嵌入。實驗結果表明，與MVL-IV 算法相比，該方法可以獲得較好的聚類結果，驗證了本文模型處理不完整多視角數據時的有效性。本文模型分兩階段考慮了缺失數據的補全和降維，但有可能導致算法的性能退化，下一步將提出一個統一的目標函數，在補全數據的同時獲取樣本的低維表示，通過兩者的相互促進提高算法的性能。