魯棒自加權(quán)的多視圖子空間聚類

范瑞東，侯臣平

國防科技大學(xué) 文理學(xué)院 體系科學(xué)系，長沙410073

+通信作者E-mail:hcpnudt@hotmail.com

在大數(shù)據(jù)時(shí)代，人們搜集、傳遞和存儲數(shù)據(jù)的能力不斷提高，各個(gè)領(lǐng)域都已經(jīng)積累了大量的數(shù)據(jù)。并且其中的大部分?jǐn)?shù)據(jù)呈現(xiàn)多源、多態(tài)和異構(gòu)等特性。在許多圖像處理和模式識別的應(yīng)用中，數(shù)據(jù)從不同的領(lǐng)域收集或者用不同的特征提取器獲得。比如：用不同的語種來描述同一對象；從不同的角度去分析同一件事；由不同的報(bào)社報(bào)道同一條新聞等。像這類從不同的途徑或者視角來形容同一目標(biāo)的數(shù)據(jù)稱為多視圖數(shù)據(jù)。

然而，并不是所有的數(shù)據(jù)都具有標(biāo)簽的。以圖像數(shù)據(jù)的獲取為例，由于大部分網(wǎng)絡(luò)圖像是由用戶提供的，而為這些數(shù)據(jù)打標(biāo)簽需要人工操作，會產(chǎn)生昂貴的勞動(dòng)成本；并且對于某些復(fù)雜的圖像來說，人工標(biāo)注十分困難。因此，在真實(shí)數(shù)據(jù)集中，無標(biāo)簽數(shù)據(jù)占據(jù)了絕大部分。從而，為了充分利用這些無標(biāo)簽多視圖數(shù)據(jù)，聚類算法受到越來越多的關(guān)注。

在過去的幾十年里，人們研究了許多先進(jìn)的聚類算法。雖然這些聚類算法在一定程度上是非常有效的，但它們大多只適用于單視圖數(shù)據(jù)。即使將所有視圖連接到一個(gè)單獨(dú)的視圖中，然后在這個(gè)單獨(dú)的視圖上采用最先進(jìn)的聚類算法也可能不會提高聚類性能，因?yàn)槊總€(gè)視圖都是對應(yīng)著異構(gòu)特征空間中的特定特征，不同的視圖包含著相互獨(dú)立和相互補(bǔ)充的信息。因此，多視圖聚類算法（multi-view clustering，MVC）應(yīng)運(yùn)而生。多視圖聚類算法考慮了不同視圖的多樣性和互補(bǔ)性，可以更有效地處理多視圖數(shù)據(jù)，從而提高聚類效果。

現(xiàn)階段的多視圖聚類算法有很多，根據(jù)這些算法所依據(jù)的機(jī)制和原則，將它們分為以下四類：多視圖協(xié)同訓(xùn)練算法[1-2]、多視圖多核學(xué)習(xí)算法[3-4]、多視圖圖學(xué)習(xí)聚類算法[5-6]和多視圖子空間聚類算法[7-10]。本文主要關(guān)注其中的多視圖子空間聚類算法，這類算法基于所有視圖共享一個(gè)表示的假設(shè)，旨在從所有視圖中學(xué)習(xí)一個(gè)統(tǒng)一的特征表示。典型的方法是矩陣分解（matrix factorization，MF）。

基于矩陣分解的多視圖子空間聚類算法有很多，本文簡單介紹其中幾種經(jīng)典的方法。文獻(xiàn)[11]提出一種基于聯(lián)合非負(fù)矩陣分解的多視圖算法，這是首次將非負(fù)矩陣分解應(yīng)用到多視圖聚類之中。考慮到數(shù)據(jù)間的內(nèi)部相關(guān)性，文獻(xiàn)[12]通過構(gòu)造近鄰圖矩陣來整合各視圖局部幾何信息，提出一種帶局部圖正則化的多視圖非負(fù)矩陣分解算法。考慮到多視圖數(shù)據(jù)的同質(zhì)因子與異質(zhì)因子，文獻(xiàn)[13]提出一種基于非負(fù)矩陣分解的綜合多視圖聚類算法。為了提取所有視圖共享的公共組件和特定于每個(gè)視圖的單個(gè)組件，文獻(xiàn)[14]提出了簇成分分析這一多視圖聚類算法。文獻(xiàn)[15]提出稀疏多視圖矩陣分解算法，旨在根據(jù)方差的視圖特異性對特性進(jìn)行優(yōu)先級排序。為了提高多視圖表示的多樣性，減少多視圖表示之間的冗余，文獻(xiàn)[16]提出多視圖表示的多元非負(fù)矩陣分解算法。

雖然傳統(tǒng)的基于矩陣分解的多視圖子空間聚類算法在許多場景下取得了優(yōu)異的效果，但是仍然存在一些不足之處。（1）魯棒數(shù)據(jù)在真實(shí)數(shù)據(jù)集中存在并且影響著模型性能[17]。大部分基于矩陣分解的算法認(rèn)為數(shù)據(jù)點(diǎn)具有平方殘差，很少有考慮到誤差較大的離群點(diǎn)對算法的影響。（2）大部分傳統(tǒng)的基于矩陣分解的多視圖聚類算法認(rèn)為不同的視圖在模型中會產(chǎn)生不同的影響，通過引入額外的超參數(shù)來解決該問題，但是模型的復(fù)雜度會提高。

為了解決上述問題，本文提出一種魯棒自加權(quán)的多視圖子空間聚類模型（robust auto-weighted multiview subspace clustering，RASC）。本文將數(shù)據(jù)矩陣分為稀疏誤差矩陣和低秩數(shù)據(jù)矩陣，而低秩數(shù)據(jù)矩陣可以通過矩陣分解來獲得多視圖共有表示。在稀疏誤差矩陣上加入?1范數(shù)來減少誤差較大的離群點(diǎn)對結(jié)果的影響，并且在目標(biāo)函數(shù)的矩陣分解項(xiàng)中用Frobenius范數(shù)來代替平方范數(shù)，自動(dòng)學(xué)習(xí)了各個(gè)視圖的權(quán)重。本文提出了一個(gè)有效的算法來解決RASC中的優(yōu)化問題，并且為RASC 的收斂性提供了詳細(xì)的證明。相比于傳統(tǒng)的多視圖子空間聚類算法，RASC在某些數(shù)據(jù)集上表現(xiàn)出優(yōu)異的性能。

1 相關(guān)算法介紹

本章詳細(xì)介紹四種經(jīng)典的多視圖聚類算法：具有結(jié)構(gòu)稀疏性的潛在分解空間學(xué)習(xí)（factorized latent spaces with structured sparsity，F(xiàn)LS）[18]、基于聯(lián)合非負(fù)矩陣分解的多視圖聚類（multi-view clustering via joint non-negative matrix factorization，MultiNMF）[11]、帶圖正則化的多視圖非負(fù)矩陣分解（graph regularized multiview non-negative matrix factorization，EquiNMF）[19]和無參數(shù)自加權(quán)圖學(xué)習(xí)（parameter free auto-weighted multiple graph learning，AMGL）[20]。其中，F(xiàn)LS、MultiNMF和EquiNMF 是基于矩陣分解的算法，AMGL 是基于自加權(quán)圖學(xué)習(xí)的算法。

1.1 FLS

FLS 是一個(gè)通用的框架，許多經(jīng)典的特征提取方法可以看作FLS 的特殊情況。具體來說，F(xiàn)LS 框架將一個(gè)d×c維的數(shù)據(jù)矩陣X分解為d×r維的矩陣D與r×c維的矩陣A的乘積，并且使得由矩陣分解產(chǎn)生的誤差盡可能得小。此外，F(xiàn)LS 利用正則化項(xiàng)來約束矩陣D與矩陣A的形式。因此FLS 可以表述為以下模型：

其中，ΛD、ΛA分別是權(quán)重矩陣D與潛在表示矩陣A所對應(yīng)的定義域。這兩個(gè)定義域?qū)?yīng)著模型能夠?qū)與A增加額外約束。許多現(xiàn)有的特征提取算法可以看作FLS 的特殊情況，如表1 所示。

Table 1 Special cases of FLS表1 FLS 的特殊情況

1.2 MultiNMF

MultiNMF 是一種通過非負(fù)矩陣分解求得多視圖共有表示的多視圖聚類算法。具體來說，相比于FLS 直接在各個(gè)視圖上獲得共有表示，MultiNMF 設(shè)計(jì)了一個(gè)帶約束的聯(lián)合矩陣分解，即通過增加約束項(xiàng)將各個(gè)視圖的低維表示推向一個(gè)共有表示。模型如下：

其中，V(v)是在單個(gè)視圖上學(xué)得的低維表示，V*是學(xué)得的共有表示。λv相當(dāng)于視圖的權(quán)重系數(shù)。

1.3 EquiNMF

EquiNMF 是一種基于圖學(xué)習(xí)和非負(fù)矩陣分解的多視圖聚類方法。具體來說，EquiNMF 在FLS 框架的基礎(chǔ)上加入了圖正則化項(xiàng)，而且假設(shè)每個(gè)視圖的貢獻(xiàn)相同并且圖正則化項(xiàng)和所有視圖對目標(biāo)函數(shù)的影響相同，從而EquiNMF 是一個(gè)無參數(shù)算法，其模型如下所示：

1.4 AMGL

AMGL 是一個(gè)既可以用于多視圖聚類，又可以用于半監(jiān)督分類的無參數(shù)圖學(xué)習(xí)框架。本文的目標(biāo)是解決一個(gè)無監(jiān)督的問題，因此只關(guān)心AMGL 中的多視圖聚類部分，其模型如下所示：

其中，L(v)是歸一化后的Laplacian 矩陣。

2 魯棒自加權(quán)的多視圖子空間聚類算法

本章首先介紹一些基本符號的含義，在此基礎(chǔ)上提出本文的模型，并給出該模型的求解算法。

2.1 基本定義

本文將文中常用符號的定義總結(jié)在表2 中。Frobenius范數(shù)的符號為||·||F，?1范數(shù)的符號為||·||1。

2.2 RASC 算法

假設(shè)現(xiàn)在有nv個(gè)視圖，X=[X(1),X(2),…,X(nv)]T表示所有視圖的數(shù)據(jù)。由之前介紹的FLS 模型可以得到多視圖的矩陣分解框架為：

Table 2 Common symbols and their definitions表2 常用符號及其定義

普通的多視圖子空間聚類算法盡管可以取得很好的效果，但是現(xiàn)實(shí)生活中的很多數(shù)據(jù)是有誤差的，很少情況下數(shù)據(jù)直接具有低秩的性質(zhì)，因此直接在數(shù)據(jù)上做矩陣分解是不夠合理的。盡管可以將約束條件X(v)=U(v)VT放縮到目標(biāo)函數(shù)中變?yōu)椋峭ㄟ^放縮后的模型只能處理小誤差的情況，當(dāng)面對數(shù)據(jù)有誤差較大的離群點(diǎn)時(shí)，很難只通過矩陣分解做到對數(shù)據(jù)的有效擬合。現(xiàn)有的基于矩陣分解的多視圖算法絕大多數(shù)都是直接擬合數(shù)據(jù)矩陣而忽視了離群點(diǎn)對模型的影響。基于這種思考，假設(shè)數(shù)據(jù)矩陣X是由稀疏誤差矩陣E與低秩數(shù)據(jù)矩陣M組成，即：

將上述思想應(yīng)用到多視圖中，則魯棒多視圖子空間聚類模型為：

從理論上來講，?0范數(shù)具有理想稀疏性，應(yīng)該為首選稀疏范數(shù)。但是該問題為NP-Hard 問題，在實(shí)際求解中很難直接應(yīng)用。在壓縮感知文獻(xiàn)中得知,在基于測量矩陣具有有限等距性質(zhì)的條件下，經(jīng)?1范數(shù)松弛后的問題的解近似于?0范數(shù)原問題的解，而且經(jīng)?1范數(shù)松弛后的問題為一個(gè)凸問題。因此在本文中用?1范數(shù)松弛?0范數(shù)，模型如下：

為了排除數(shù)據(jù)具有小誤差對問題的影響，決定將條件M(v)=U(v)VT以上面放縮的形式進(jìn)行處理。受到AMGL 模型的啟發(fā)，本文直接以Frobenius 范數(shù)作為該條件的形式，這種放縮形式本質(zhì)上是起到了對各個(gè)視圖加權(quán)的效果。

其中，λ是平衡目標(biāo)函數(shù)前后兩項(xiàng)的系數(shù)，即平衡數(shù)據(jù)大誤差和小誤差對模型影響關(guān)鍵參數(shù)。

最后，需要考慮自由度的問題：即對于任意可逆的矩陣G，滿足。即對于任何最優(yōu)解，有無窮多個(gè)等價(jià)的最優(yōu)解與其對應(yīng)。因此為了降低目標(biāo)函數(shù)的自由度，并且為之后評價(jià)聚類效果做準(zhǔn)備，在該模型中加入約束VTV=I，則最終本文的RASC 模型如下所示：

2.3 模型求解

本節(jié)將詳細(xì)介紹RASC 模型的求解過程。由式（1）可以得到RASC 模型有三組變量需要求解。其中M(v)為數(shù)據(jù)矩陣X(v)的低秩近似矩陣，U(v)為近似矩陣M(v)的低維投影矩陣，V為所有視圖的近似矩陣M(v)所共有的低維表示。但是由于這三組變量耦合在模型的第二項(xiàng)中，很難直接對模型進(jìn)行求解。因此采用交替最小化方法（alternating minimization，AM）來求解本模型，即交替固定兩組變量，只優(yōu)化剩余一組變量。

對于U(v)來說，這個(gè)問題是一個(gè)凸問題，因此令其導(dǎo)數(shù)為0 的U(v)即為最優(yōu)解。

可以發(fā)現(xiàn)α(v)的取值依賴于近似矩陣M(v)，很難直接求解式（6）。如果將α(v)取為固定值，則式（5）變?yōu)椋?/p>

式（8）很容易求出它的最優(yōu)解。因此可以先由式（8）求出近似矩陣M(v)，再通過式（7）求出α(v)，即通過迭代策略求解問題（5）。

現(xiàn)在給出式（8）的求解過程；由于該問題含有?1范數(shù)，直接對該目標(biāo)函數(shù)求導(dǎo)很難得到最優(yōu)解，故分三種情況進(jìn)行討論：

假設(shè)W的奇異值分解（singular value decomposition，SVD）形式為W=AΔBT，其中，A∈RK×K，Δ∈RK×K，BT∈RK×n。然后可以得到：

其中，Z=BTVA∈RK×K，σii、zii為矩陣Δ、Z對應(yīng)的第(i,i)個(gè)元素。又VTV=I，則|zii|≤1，從而：

等式成立當(dāng)且僅當(dāng)zii=1。又BTB=I，ATA=I，則該問題的最優(yōu)解為：

基于上述模型分量求解過程，本文的魯棒自加權(quán)的多視圖子空間聚類算法的詳細(xì)求解步驟如算法1所示。

算法1魯棒自加權(quán)的多視圖子空間聚類算法

輸入：多視圖數(shù)據(jù)X=[X(1),X(2),…,X(nv)]T，聚類數(shù)K，參數(shù)λ。

輸出：共有表示矩陣V。

1.初始化：近似矩陣M(v)=X(v)，共有表示V=V0。

反復(fù)迭代以下步驟：

3.根據(jù)式（7）更新自權(quán)重系數(shù)α(v)；

4.根據(jù)式（13）更新近似矩陣M(v)；

5.根據(jù)式（17）更新共有表示V；

直至滿足收斂條件結(jié)束

3 理論分析

本章從兩方面分析算法RASC。首先，證明在每次迭代中通過算法1 計(jì)算的結(jié)果保證式（1）的目標(biāo)函數(shù)值是不增的。其次，為了證明算法的有效性，分析了RASC 的計(jì)算復(fù)雜度。

3.1 收斂性分析

首先介紹在文獻(xiàn)[25]中提出的以下引理：

引理1對任意正數(shù)a和b，以下不等式成立：

命題1通過算法1 優(yōu)化模型，式(1)中目標(biāo)函數(shù)在每次迭代中是不增的。

證明定義為每次迭代后M(v),U(v),V的取值。首先證明更新得到的不會增加函數(shù)值。令：

即式（1）中目標(biāo)函數(shù)在每次迭代中是不增的，命題1 成立。

3.2 計(jì)算復(fù)雜度分析

由于算法RASC 的求解是用迭代方式進(jìn)行的，可以通過對每個(gè)子步驟的計(jì)算復(fù)雜度求和來計(jì)算它們的總計(jì)算復(fù)雜度。求解每個(gè)子步驟的時(shí)間復(fù)雜度如下所示：

式（7）是更新自權(quán)重系數(shù)α(v)，其計(jì)算復(fù)雜度為O(d×n×(K+2))。

式（17）是更新共有表示V，其計(jì)算復(fù)雜度為O(min(Kn2,K2n)+K2n+d×(K+1)×n)。

假設(shè)T為迭代次數(shù)，則RASC 的計(jì)算復(fù)雜度為：

4 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

本章將RASC 算法與其他算法進(jìn)行了比較。由于都是無監(jiān)督算法，用聚類來評價(jià)算法的效果。設(shè)計(jì)了四組實(shí)驗(yàn)：第一組實(shí)驗(yàn)包含了在多個(gè)數(shù)據(jù)集上的聚類結(jié)果；第二組實(shí)驗(yàn)是一些關(guān)于收斂性的實(shí)驗(yàn)結(jié)果；第三組實(shí)驗(yàn)分析了不同參數(shù)取值下對實(shí)驗(yàn)結(jié)果的影響；第四組實(shí)驗(yàn)比較了所有算法花費(fèi)的時(shí)間。

4.1 數(shù)據(jù)集概述

為了評估本文RASC 算法的有效性以及對不同的多視圖數(shù)據(jù)集的兼容性，選取了6 個(gè)數(shù)據(jù)集來進(jìn)行實(shí)驗(yàn)，分別是：MvYale、Scene15、KSA、Handwritten numerals、Caltech101_7 和MSRC_v1。表3 列出了這些數(shù)據(jù)集的簡要總結(jié)，而具體描述如下所示。

（1）MvYale數(shù)據(jù)集

MvYale 是一個(gè)由耶魯大學(xué)創(chuàng)建的人臉數(shù)據(jù)集，它包含了15 位志愿者的165 張圖像。該數(shù)據(jù)集是一個(gè)灰度數(shù)據(jù)集，其圖像主要包括燈光、面部表情和姿勢的變化。為了有效分析數(shù)據(jù)，提取了5類特征：SIFT（scale-invariant feature transform）、HOG（histogram of oriented gradients）、LBP（local binary pattern）、WT（wavelet texture）和GIST。

（2）MSRC_v1 數(shù)據(jù)集

MSRC_v1 數(shù)據(jù)集包含了屬于8 種類別的240 張圖像。選取了其中的7類（tree，cow，building，airplane，face，car，bicycle），并且每種類別包含30 張圖像。提取了6 類特征，分別為：LBP、HOG、GIST、CENTRIST、CMT（color moment）和SIFT。

（3）Caltech101_7 數(shù)據(jù)集

Caltech101數(shù)據(jù)集包含了屬于101種類別的8 677張圖像。選取了其中被廣泛應(yīng)用的7 種類別（Dolla-Bill，F(xiàn)aces，Garfield，Motorbikes，Snoopy，Stop-Sign，Windsor-Chair）。這個(gè)包含441 張圖像的子數(shù)據(jù)集被命名為Caltech101_7。對于每張圖像，提取了與MSRC_v1 數(shù)據(jù)集相同的特征。

（4）Handwritten numerals數(shù)據(jù)集

Handwritten numerals（HW）是一個(gè)含有10 種類別和2 000 張圖像的手寫數(shù)字?jǐn)?shù)據(jù)集。本文提取了6類特征：Zernike moment（ZER）、pixel averages in 2×3 windows（PIX）、Karhunen-lovecoefficients（KAR）、profile correlations（FAC）、Fourier coefficients of the character shapes（FOU）和morphological（MOR）。

（5）Scene15 數(shù)據(jù)集

Scene15 是一個(gè)含有15 種類別（highway、inside of cities、tallbuildings、streets、suburb residence、forest、coast、mountain、open country、bedroom、kitchen、livingroom、store、industrial和office）和4 485 張圖像的數(shù)據(jù)集。對于每張圖像，本文提取了6類特征：SIFT、SURF（speeded-up robust features）、PHOG（pyramid HOG）、LBP、GIST 和WT。

（6）KSA 數(shù)據(jù)集

KSA 數(shù)據(jù)集包含了5 個(gè)動(dòng)作，其中每個(gè)動(dòng)作被視為一種類別。從每個(gè)動(dòng)作中選取2 000 幀視頻，從而構(gòu)成一個(gè)包含11 000 數(shù)據(jù)的子數(shù)據(jù)集。使用4 類姿態(tài)特征：fJJ_d,fJL_d,fLL_a,fPP_a。

4.2 實(shí)驗(yàn)方案

為了評估本文RASC 算法的效果，在實(shí)驗(yàn)部分對比多種經(jīng)典的無監(jiān)督多視圖聚類方法：

Table 3 Details of 6 used multi-view datasets表3 6 個(gè)多視圖數(shù)據(jù)集的詳細(xì)說明

（1）BSV（best single view）：將RASC 算法用到多視圖數(shù)據(jù)集的每個(gè)視圖上，然后選取最佳的結(jié)果作為最終結(jié)果。

（2）GSSMF（group structured sparsity matrix factorization）：文獻(xiàn)[18]提出的一種基于簇結(jié)構(gòu)稀疏的矩陣分解的多視圖聚類算法。

（3）MultiNMF：文獻(xiàn)[11]提出的最經(jīng)典的基于非負(fù)矩陣分解的多視圖聚類算法。

（4）GNMF（multiview non-negative matrix factorization with graph regularization）：文獻(xiàn)[12]提出的一種帶局部圖正則約束的基于非負(fù)矩陣分解的多視圖聚類算法。

（5）EquiNMF：文獻(xiàn)[19]提出的一種無參數(shù)的帶全局圖正則約束的基于非負(fù)矩陣分解的多視圖聚類算法。

（6）MVSE（multi-view spectral embedding）：文獻(xiàn)[26]提出的一種基于圖學(xué)習(xí)的多視圖聚類算法。

（7）AMGL：文獻(xiàn)[20]提出的一種無參數(shù)自加權(quán)圖學(xué)習(xí)的多視圖聚類算法。

由于RASC 算法和對比方法均是無監(jiān)督多視圖算法，因此采用K-均值聚類（K-means）算法來評估聚類效果。又K-means 初始值的不同會影響算法的穩(wěn)定性，因此采用一種固定初始化的K-means 算法。聚類算法有不同的評價(jià)指標(biāo)，選取精度（Accuracy，ACC）、歸一化互信息（normalized mutual information，NMI）和F值（F-measure）這3 種評價(jià)指標(biāo)來展示實(shí)驗(yàn)結(jié)果。算法的精度為10 次運(yùn)行結(jié)果的均值，并且每個(gè)數(shù)據(jù)集上實(shí)驗(yàn)效果最好的方法結(jié)果用加粗表示。

4.3 實(shí)驗(yàn)結(jié)果分析

表4 至表6 展示了8 個(gè)聚類方法在6 個(gè)多視圖數(shù)據(jù)集上的分別在ACC、NMI 和F-measure 這3 種評價(jià)指標(biāo)上的實(shí)驗(yàn)結(jié)果。接下來將對實(shí)驗(yàn)結(jié)果進(jìn)行深入的分析。

Table 4 ACC of different clustering algorithms on multi-view datasets表4 不同聚類算法在多視圖數(shù)據(jù)集上的ACC 值

Table 5 NMI of different clustering algorithms on multi-view datasets表5 不同聚類算法在多視圖數(shù)據(jù)集上的NMI值

Table 6 F-measure of different clustering algorithms on multi-view datasets表6 不同聚類算法在多視圖數(shù)據(jù)集上的F 值

（1）對于評價(jià)指標(biāo)ACC，本文方法RASC 在5 個(gè)數(shù)據(jù)集上取得了最好的效果，在數(shù)據(jù)集KSA、Handwritten 和Scene15 數(shù)據(jù)集上取得了5%以上的性能提升；對于評價(jià)指標(biāo)NMI，本文方法RASC 在4 個(gè)數(shù)據(jù)集上取得了最好的效果，并且在評價(jià)指標(biāo)ACC 高提升的3 個(gè)數(shù)據(jù)集上也取得了5%左右的性能提升；對于評價(jià)指標(biāo)F-measure，本文方法RASC 在5 個(gè)數(shù)據(jù)集上取得了最好的效果，在MvYale、Handwritten 和Caltech101_7 數(shù)據(jù)集上取得了5%左右的性能提升，而在KSA 和Scene15 數(shù)據(jù)集上取得了10%左右的性能提升。這些實(shí)驗(yàn)效果可以證明本文方法的有效性。

（2）從表4 至表6 中可以看到，對于ACC、NMI 和F-measure 這3 種評價(jià)指標(biāo)，本文方法RASC 與基于矩陣分解的多視圖子空間聚類方法相比，基本穩(wěn)定提升了5%的精度，在某些數(shù)據(jù)集上提升了近10%的精度。這充分說明了本文創(chuàng)新點(diǎn)的合理性：即在數(shù)據(jù)的大誤差和小誤差之前做權(quán)衡，而且在不同視圖之間做了自權(quán)重系數(shù)。這確實(shí)提升了基于矩陣分解的多視圖子空間聚類算法的效果。

（3）可以看到基于圖學(xué)習(xí)的多視圖子空間聚類算法MVSE 和AMGL 的部分評價(jià)指標(biāo)在MSRC_v1和MvYale 數(shù)據(jù)集上取得了比本文方法RASC 更好的效果。這是因?yàn)楸疚哪Ｐ蛯儆诰€性模型，而MVSE 和AMGL 的模型屬于非線性模型，即對于某些非線性數(shù)據(jù)集來說，它們的實(shí)驗(yàn)效果確實(shí)優(yōu)于RASC。但是它們的時(shí)間復(fù)雜度比RASC 高一個(gè)量級，而且MVSE和AMGL 盡管有一定的魯棒性，但是RASC 是設(shè)定參數(shù)來平衡兩種誤差，從實(shí)驗(yàn)結(jié)果可以看出RASC 在部分?jǐn)?shù)據(jù)集上效果要優(yōu)于MVSE 和AMGL。

4.4 收斂性分析

為了驗(yàn)證本文算法的收斂性，在圖1 中繪出本文算法在MvYale、Caltech101_7、MSRC_v1 和KSA 這4個(gè)數(shù)據(jù)集上的迭代收斂曲線。通過對迭代收斂曲線的分析，本文算法在迭代過程中是非遞增的并且會逐漸收斂到一個(gè)固定值。此外，算法經(jīng)過15 次左右的迭代后，目標(biāo)函數(shù)值的變化就不明顯了，這說明本文算法收斂效率很高。

Fig.1 Convergence curves of RASC on 4 datasets圖1 RASC 在4 個(gè)數(shù)據(jù)集上的收斂曲線

4.5 參數(shù)敏感性分析

對于參數(shù)敏感度的分析，本文在兩個(gè)數(shù)據(jù)集上設(shè)計(jì)了實(shí)驗(yàn)：MSRC_v1 和Scene15。將參數(shù)λ的取值區(qū)間設(shè)為[10-3,10-2]，并分別分析了參數(shù)λ對3 個(gè)評價(jià)指標(biāo)的影響，詳細(xì)結(jié)果如圖2 所示。

通過對實(shí)驗(yàn)結(jié)果的分析，有以下結(jié)論：首先，不同參數(shù)的實(shí)驗(yàn)效果并不相同，這說明參數(shù)選擇的重要性。從圖2 的抖動(dòng)性來講，可以看到參數(shù)λ的取值很大程度上影響著實(shí)驗(yàn)結(jié)果，這說明本文模型對參數(shù)λ還是非常敏感的。其次，可以看到當(dāng)參數(shù)λ的取值比較大時(shí)，模型精度的變化很小，這也符合本文模型的設(shè)定，即當(dāng)參數(shù)λ比較大時(shí)，盡可能地使得近似矩陣M(v)逼近數(shù)據(jù)矩陣X(v)，此時(shí)模型的第一項(xiàng)對模型性能的影響很小，即效果會趨近于穩(wěn)定。

4.6 時(shí)間復(fù)雜度分析

在表7 中比較了RASC 及其對比方法在6 個(gè)數(shù)據(jù)集上的10 次運(yùn)行時(shí)間的均值。通過對實(shí)驗(yàn)結(jié)果的分析，有以下結(jié)論：

Fig.2 Sensitivity analysis on parameter λ圖2 參數(shù)λ 的敏感度分析

Table 7 Average running time on 6 datasets表7 在6 個(gè)數(shù)據(jù)集上的平均運(yùn)行時(shí)間 s

從表7 中可以分析出本文算法在大部分?jǐn)?shù)據(jù)集上花費(fèi)的時(shí)間在所有算法中是最少的，這充分說明了本文算法具有比較高的計(jì)算效率。相比于計(jì)算復(fù)雜度為O(n3)的MVSE 和AMGL 來說，RASC 在大部分?jǐn)?shù)據(jù)集上所花費(fèi)的時(shí)間比較少是理所應(yīng)當(dāng)?shù)摹６啾扔诨诜秦?fù)矩陣分解的GSSMF、MultiNMF、GNMF 和EquiNMF來說，RASC所花費(fèi)的時(shí)間依舊要少，這說明本文算法的高效性。

5 結(jié)束語

本文提出了一種魯棒自加權(quán)的多視圖子空間聚類算法。為了更好地學(xué)習(xí)多視圖的共有表示，從多視圖魯棒性入手，同時(shí)考慮離群點(diǎn)和小誤差對模型的影響，使得學(xué)得的共有表示能夠更好地?cái)M合數(shù)據(jù)。并且受AMGL 算法的啟發(fā)，引進(jìn)自加權(quán)的思想，即為每個(gè)視圖提供自適應(yīng)性權(quán)重，刻畫了視圖的不同重要性。進(jìn)一步分析了算法的收斂性，理論和實(shí)驗(yàn)結(jié)果都證明了RASC 可以收斂。最后，豐富的實(shí)驗(yàn)結(jié)果表明：本文RASC 算法比其他多視圖子空間聚類算法更有效。

在本文模型中需要調(diào)節(jié)平衡因子λ。因此未來的第一個(gè)工作是如何自動(dòng)調(diào)節(jié)該平衡因子或者給出一種合理的求解策略。由于本文模型是非光滑非凸模型，在本文中只能證明RASC 收斂，并不能證明RASC 收斂到局部極小值。因而未來的第二個(gè)工作是如何使得該模型盡可能地收斂到局部極小值甚至收斂到全局最小值。