多核低冗余表示學(xué)習(xí)的穩(wěn)健多視圖子空間聚類(lèi)方法

李驁，王卓，于曉洋，陳德運(yùn)，張英濤，孫廣路

（1.哈爾濱理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，黑龍江 哈爾濱 150080；2.哈爾濱理工大學(xué)儀器科學(xué)與技術(shù)博士后流動(dòng)站，黑龍江 哈爾濱 150080；3.哈爾濱工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，黑龍江 哈爾濱 150001）

1 引言

隨著數(shù)據(jù)科學(xué)的發(fā)展與數(shù)據(jù)形式的多樣化，現(xiàn)實(shí)世界的對(duì)象通常可以通過(guò)多個(gè)視角進(jìn)行更完整和充分的描述。例如，圖像可以通過(guò)顏色、邊緣、紋理等進(jìn)行描述；網(wǎng)頁(yè)可以通過(guò)頁(yè)面的文本和指向它們的超鏈接進(jìn)行描述等，上述類(lèi)型的數(shù)據(jù)稱(chēng)為多視圖數(shù)據(jù)。多視圖數(shù)據(jù)的每個(gè)視圖都是關(guān)于同一對(duì)象的一種描述，不同視圖通常從不同角度描述對(duì)象的某種特性，同時(shí)分析所有視圖并將它們包含的信息進(jìn)行融合學(xué)習(xí)的過(guò)程稱(chēng)為多視圖學(xué)習(xí)[1]。

子空間聚類(lèi)是近年來(lái)提出的一類(lèi)應(yīng)用于高維數(shù)據(jù)聚類(lèi)的有效方法，其通過(guò)學(xué)習(xí)高維數(shù)據(jù)本身固有的子空間結(jié)構(gòu)來(lái)表征數(shù)據(jù)內(nèi)在關(guān)聯(lián)關(guān)系，然后利用子空間表示構(gòu)造描述數(shù)據(jù)近鄰關(guān)系的親和矩陣，并對(duì)其實(shí)施圖切劃分算法獲得聚類(lèi)結(jié)果。因此，子空間表示矩陣的優(yōu)劣是影響子空間聚類(lèi)性能的關(guān)鍵因素。目前主流的子空間聚類(lèi)算法中，大多假設(shè)每個(gè)樣本都可以通過(guò)自身的線性組合來(lái)進(jìn)行重構(gòu)，并通過(guò)對(duì)自表示矩陣施加適當(dāng)?shù)募s束，來(lái)有效地學(xué)習(xí)數(shù)據(jù)的子空間結(jié)構(gòu)[2]。稀疏子空間聚類(lèi)（SSC,sparse subspace clustering）[3]是子空間聚類(lèi)的典型代表之一，該方法認(rèn)為樣本在重構(gòu)時(shí)僅選擇少量的近鄰樣本，因此考慮施加1l范數(shù)從而獲得具有稀疏性的自表示矩陣。與SSC 相比，低秩表示（LRR,low-rank representation）[4]認(rèn)為有些樣本遠(yuǎn)離了底層的子空間，并且利用l2,1范數(shù)將重構(gòu)誤差矩陣正則化。Fu 等[5]提出了一種基于張量低秩表示和稀疏編碼的子空間聚類(lèi)方法，同時(shí)考慮樣本的特征信息和空間結(jié)構(gòu)，尋求在所有空間方向上對(duì)原始空間結(jié)構(gòu)的最低秩表示。Wang 等[6]提出了一種低秩表示約束的穩(wěn)健子空間聚類(lèi)模型，在尋求數(shù)據(jù)的低秩表示時(shí)將監(jiān)督信息作為硬約束條件，以增強(qiáng)表示的鑒別能力。由于自表示的稀疏性和連通性在有效的子空間聚類(lèi)中起著重要作用，Yang 等[7]提出了一種后處理技術(shù)來(lái)優(yōu)化稀疏性和連通性，利用初始親和矩陣中包含的相關(guān)信息為每個(gè)樣本找到較好的鄰居，重新分配選定的鄰居的系數(shù)并消除其他值，生成一個(gè)新的系數(shù)矩陣，進(jìn)而改善子空間聚類(lèi)性能。類(lèi)似地，許多擴(kuò)展的子空間聚類(lèi)方法相繼被提出，并得到了廣泛的應(yīng)用。

然而，隨著數(shù)據(jù)呈現(xiàn)形式的發(fā)展，考慮到單獨(dú)的視圖并不足以全面描述數(shù)據(jù)的信息，子空間聚類(lèi)已經(jīng)被擴(kuò)展到多視圖的情況，以獲得性能的進(jìn)一步提升。多視圖子空間聚類(lèi)是通過(guò)融合不同視圖數(shù)據(jù)的自表示重構(gòu)來(lái)學(xué)習(xí)一個(gè)公共的自表示矩陣，該自表示矩陣融合了不同視圖的子空間結(jié)構(gòu)信息，進(jìn)而得到一個(gè)從全局角度進(jìn)行完整數(shù)據(jù)近鄰關(guān)系描述的子空間表示。Xu 等[8]提出多視圖學(xué)習(xí)方法應(yīng)該充分利用共識(shí)和互補(bǔ)的原則以確保成功。為了實(shí)現(xiàn)共識(shí)原則，一個(gè)典型的策略是通過(guò)子空間學(xué)習(xí)來(lái)獲得一個(gè)可以由多視圖共享的潛在子空間[9]。為了探索不同視圖之間的互補(bǔ)信息，Gao 等[10]提出了一種多視圖子空間聚類(lèi)算法，該算法對(duì)數(shù)據(jù)的每一個(gè)視圖進(jìn)行子空間聚類(lèi)，利用一個(gè)公用的類(lèi)指示矩陣來(lái)保證數(shù)據(jù)的一致性。Zhang 等[2]提出了潛在多視圖子空間聚類(lèi)方法，學(xué)習(xí)基于多視圖特征的潛在表示，并生成一個(gè)公共子空間表示，探索多視圖間潛在的一致性信息。進(jìn)一步地，Li 等[11]提出針對(duì)子空間聚類(lèi)的靈活多視圖表示學(xué)習(xí)，旨在通過(guò)引入希爾伯特·施密特獨(dú)立標(biāo)準(zhǔn)（HSIC,Hilbert-Schmidt independence criterion），潛在表示可以靈活地編碼來(lái)自不同視圖的互補(bǔ)信息，并探索不同視圖之間的非線性關(guān)系。張茁涵等[12]通過(guò)對(duì)隱式子空間表示施加低秩和稀疏約束來(lái)探索多視角之間的互補(bǔ)信息。受SSC 和LRR 的啟發(fā)，Zhang 等[13]提出了低秩張量約束多視圖子空間聚類(lèi)算法，利用不同模態(tài)展開(kāi)的秩約束子空間張量，將基于LRR 的子空間聚類(lèi)擴(kuò)展到多視圖學(xué)習(xí)中，很好地探索來(lái)自多個(gè)源的互補(bǔ)信息，并大幅改進(jìn)了子空間聚類(lèi)的性能。該結(jié)構(gòu)的多視圖子空間學(xué)習(xí)策略使這些聚類(lèi)方法都僅使用原始特征空間中數(shù)據(jù)的線性子空間，這并不足以捕獲真實(shí)數(shù)據(jù)之間復(fù)雜的相關(guān)性。對(duì)此，Abavisani 等[14]提出了一種基于SSC 和LRR 的子空間聚類(lèi)算法的多模態(tài)擴(kuò)展方法，并利用核學(xué)習(xí)適應(yīng)數(shù)據(jù)的非線性特性。為了解決原始的高維特征向量包含噪聲或冗余信息隨維數(shù)的增加而呈指數(shù)級(jí)增長(zhǎng)的問(wèn)題，Kang等[15]提出了一種分區(qū)級(jí)別的多視圖子空間聚類(lèi)方法尋找來(lái)自多個(gè)分區(qū)的共識(shí)聚類(lèi)，這種分區(qū)級(jí)融合方法可以更好地利用隱藏的聚類(lèi)結(jié)構(gòu)信息。Liu 等[16]提出一種通過(guò)協(xié)同訓(xùn)練穩(wěn)健數(shù)據(jù)表示進(jìn)而實(shí)現(xiàn)多視圖子空間聚類(lèi)的方法，該方法將聚類(lèi)與穩(wěn)健數(shù)據(jù)表示的生成融合到一個(gè)模型中來(lái)獲得聚類(lèi)結(jié)果。

盡管上述多視圖子空間聚類(lèi)方法取得了一定的效果，但仍存在2 個(gè)主要的因素限制了其性能的提升。一方面，真實(shí)環(huán)境下的數(shù)據(jù)常常受到噪聲的干擾，而這些含噪數(shù)據(jù)的高維性又會(huì)使數(shù)據(jù)本身以及數(shù)據(jù)之間存有較大的冗余特性，噪聲和冗余會(huì)導(dǎo)致自表示過(guò)程難以學(xué)習(xí)到數(shù)據(jù)本質(zhì)的子空間結(jié)構(gòu)；另一方面，傳統(tǒng)多視圖學(xué)習(xí)方式忽略了視圖間的高階關(guān)聯(lián)性，也沒(méi)有充分考慮不同視圖的差異性結(jié)構(gòu)，導(dǎo)致融合后的子空間表示矩陣性能并不理想。面向上述2 個(gè)問(wèn)題，考慮從噪聲和冗余性去除、視圖間高階關(guān)聯(lián)性捕獲及各異性結(jié)構(gòu)信息保持2 個(gè)角度出發(fā)，本文提出一種低冗余穩(wěn)健表示的多視圖子空間聚類(lèi)方法。為了適應(yīng)數(shù)據(jù)的非線性特性，所提方法將數(shù)據(jù)在核空間進(jìn)行分析，從局部角度（視圖內(nèi)）構(gòu)建多核的低冗余穩(wěn)健表示學(xué)習(xí)模型，學(xué)習(xí)適當(dāng)?shù)臄?shù)據(jù)低維表達(dá)，消除噪聲干擾和冗余性對(duì)子空間結(jié)構(gòu)探究的影響。同時(shí)，考慮從全局角度（視圖間）充分挖掘視圖間的高階關(guān)聯(lián)結(jié)構(gòu)，采用低秩張量約束，融合多視圖信息來(lái)尋求不同視圖的潛在張量子空間表示矩陣。本文穩(wěn)健多視圖子空間學(xué)習(xí)算法的總體結(jié)構(gòu)如圖1 所示。

2 相關(guān)工作

本文主要探究多核低冗余表示學(xué)習(xí)的多視圖子空間聚類(lèi)方法，下面將介紹本文方法所涉及的一些基礎(chǔ)性相關(guān)工作及局限性分析。

2.1 子空間聚類(lèi)

對(duì)于給定來(lái)自k個(gè)類(lèi)簇的含有n個(gè)數(shù)據(jù)的數(shù)據(jù)集X∈Rd×n，子空間聚類(lèi)算法的目的是尋找一個(gè)利用樣本自身作為字典進(jìn)行數(shù)據(jù)重構(gòu)的子空間表示矩陣Z∈Rn×n，其一般的表示形式為

其中，L(?)和Ω(?)分別為自表示重構(gòu)損失函數(shù)和正則化約束，λ為正則化參數(shù)。大量文獻(xiàn)針對(duì)式(1)中的表達(dá)式設(shè)計(jì)了相應(yīng)的重構(gòu)損失函數(shù)和約束形式，以適應(yīng)不同類(lèi)型數(shù)據(jù)的子空間結(jié)構(gòu)約束，不斷提升子空間學(xué)習(xí)的性能。在獲得子空間表示矩陣Z后，一般利用其構(gòu)造對(duì)稱(chēng)的親和矩陣，再將該親和矩陣送入標(biāo)準(zhǔn)譜聚類(lèi)算法得到最后的聚類(lèi)結(jié)果。

2.2 多視圖子空間聚類(lèi)

對(duì)于給定含有V個(gè)視圖的數(shù)據(jù)集合，可以將式(1)簡(jiǎn)單拓展為如下的多視圖子空間學(xué)習(xí)模型

1) 考慮到多視圖數(shù)據(jù)是相同對(duì)象的不同表達(dá)形式，因此各視圖數(shù)據(jù)應(yīng)共享同一子空間結(jié)構(gòu)（如文獻(xiàn)[11,14]），基于式(2)中的模型，其共享子空間結(jié)構(gòu)學(xué)習(xí)可通過(guò)式(3)實(shí)現(xiàn)。

該方式認(rèn)為不同的視圖數(shù)據(jù)均共享相同的子空間結(jié)構(gòu)Z，通過(guò)對(duì)Z施加對(duì)所有視圖數(shù)據(jù)的重構(gòu)約束來(lái)融合不同視圖對(duì)子空間結(jié)構(gòu)的互補(bǔ)性信息，并利用一個(gè)統(tǒng)一的正則項(xiàng)Ω(Z) 約束子空間表示矩陣的先驗(yàn)特性。

2) 考慮視圖間的異質(zhì)或多源結(jié)構(gòu)可能引起的表示矩陣差異性，構(gòu)造滿(mǎn)足一致性約束的共享子空間學(xué)習(xí)模型（如文獻(xiàn)[15,17]），其表達(dá)式為

區(qū)別于式(3)中迫使表示矩陣在各視圖中完全相同的做法，式(4)在每個(gè)視圖學(xué)習(xí)各自的子空間表示矩陣，再利用約束共享子空間與各視圖子空間矩陣的關(guān)系來(lái)實(shí)現(xiàn)多視圖信息的融合，更靈活地從不同視圖中學(xué)習(xí)一個(gè)共享的子空間表示。

然而，上述基于共享式的多視圖子空間學(xué)習(xí)方法在具體聚類(lèi)應(yīng)用中仍存在一定的局限性。一方面，上述方法中直接采用多視圖原始數(shù)據(jù)進(jìn)行子空間學(xué)習(xí)，而這些原始高維數(shù)據(jù)往往存在一定的冗余性，且從真實(shí)環(huán)境中獲取時(shí)也不可避免地會(huì)受到噪聲的干擾。數(shù)據(jù)的冗余結(jié)構(gòu)和噪聲會(huì)影響重構(gòu)損失的自表示過(guò)程，進(jìn)而不能學(xué)習(xí)到真實(shí)的子空間表示結(jié)構(gòu)，導(dǎo)致后續(xù)聚類(lèi)性能的下降；另一方面，上述的2 種子空間共享方法更多地考慮子空間結(jié)構(gòu)的一致性，卻忽略了對(duì)視圖數(shù)據(jù)異質(zhì)性而引起的表示矩陣差異性的保持，因此在保持表示矩陣各異性的前提下更好地融合不同視圖的近似結(jié)構(gòu)也是本文需要解決的一個(gè)關(guān)鍵問(wèn)題。

3 本文方法描述及其數(shù)值算法

3.1 核空間冗余性分析及低冗余表示學(xué)習(xí)

針對(duì)上述相關(guān)工作的描述，為了消除原始數(shù)據(jù)中的冗余信息和噪聲，并考慮適應(yīng)高維數(shù)據(jù)潛在的非線性特性，本文考慮在核空間學(xué)習(xí)數(shù)據(jù)的穩(wěn)健低冗余表示，并利用其替代原始數(shù)據(jù)來(lái)學(xué)習(xí)數(shù)據(jù)的真實(shí)的本質(zhì)子空間結(jié)構(gòu)，實(shí)現(xiàn)提高子空間聚類(lèi)性能的目的。給定核函數(shù)集合，第v個(gè)視圖的第s個(gè)核矩陣為

其中，i,j∈{1,2,…,n}表示實(shí)例樣本索引，表示Xv的第i列數(shù)據(jù)。由此可知，當(dāng)有V個(gè)視圖、S種核映射時(shí)，將會(huì)產(chǎn)生m=SV個(gè)相應(yīng)的核矩陣。

為了在核空間對(duì)數(shù)據(jù)進(jìn)行分析，本文選取多項(xiàng)式核函數(shù)計(jì)算BBC-Sport 數(shù)據(jù)集中第一個(gè)視圖數(shù)據(jù)的核矩陣。然后，對(duì)核矩陣進(jìn)行特征分解，將得到的特征值從大到小排序并進(jìn)行分布統(tǒng)計(jì)。圖2(a)展示了特征值分布統(tǒng)計(jì)曲線，橫坐標(biāo)表示特征值序號(hào)，縱坐標(biāo)表示當(dāng)前序號(hào)之前的特征值之和與特征值總和的比值。由文獻(xiàn)[18]可知，對(duì)應(yīng)于較大特征值的特征向量會(huì)攜帶更多的判別信息。選用特征值大小作為判別信息的近似度量，可以從圖2(a)中觀察到2 個(gè)重要的現(xiàn)象。一方面，盡管特征值總個(gè)數(shù)超過(guò)500，但其前50 個(gè)特征值已包含了該數(shù)據(jù)集中超過(guò)60%的主要判別信息；另一方面，BBC-Sport數(shù)據(jù)集共有5 個(gè)類(lèi)別，若只取前5 個(gè)特征向量，其僅包含了35.07%的判別信息。

根據(jù)上述現(xiàn)象描述，可以揭示2 個(gè)重要結(jié)論。首先，數(shù)據(jù)樣本間的關(guān)鍵性判別信息只包含在一小部分大特征值對(duì)應(yīng)的特征向量中，而其他大多數(shù)特征向量可認(rèn)為是冗余信息。類(lèi)似地，本文將歸一化數(shù)據(jù)加入方差為1 的高斯白噪聲，將干擾數(shù)據(jù)對(duì)應(yīng)的核矩陣也進(jìn)行特征分解，并利用排序后30%的小特征值及其特征向量重建核矩陣，如圖2(b)所示，從圖2(b)中可以看出，小特征值重建的核矩陣更偏重于表達(dá)數(shù)據(jù)中由確定數(shù)據(jù)和隨機(jī)噪聲交叉內(nèi)積項(xiàng)所產(chǎn)生的噪聲分量核。因此，可考慮通過(guò)基于核的低冗余學(xué)習(xí)方式達(dá)到去除冗余和噪聲的目的。其次，在傳統(tǒng)多核聚類(lèi)方法中將學(xué)到的表示特征維度c設(shè)為類(lèi)簇?cái)?shù)k的常用做法并不理想（如BBC-Sport中前k=5 個(gè)特征值對(duì)應(yīng)的判別信息量?jī)H35.07%），可考慮利用多核來(lái)學(xué)習(xí)滿(mǎn)足c>k條件的攜帶更多判別信息的低冗余表示，并將其替代原始數(shù)據(jù)進(jìn)行后續(xù)的多視圖子空間聚類(lèi)。

基于上述考慮，采用如下的模型進(jìn)行核穩(wěn)健低冗余數(shù)據(jù)表示的學(xué)習(xí)。

其中，U∈Rc×n表示數(shù)據(jù)的低冗余表示特征矩陣，K∈Rn×n表示由原始數(shù)據(jù)得到的核矩陣，Tr(·) 表示矩陣的跡。式(6)問(wèn)題的求解是通過(guò)選取核矩陣K的前c個(gè)特征向量重組而來(lái)。根據(jù)上述分析，以這種方式得到的數(shù)據(jù)表示矩陣U不僅可以在去除冗余性的同時(shí)保留其主要判別信息，還能夠在一定程度上通過(guò)丟棄小特征值對(duì)應(yīng)的特征向量來(lái)抑制噪聲分量的干擾，提高數(shù)據(jù)表示的穩(wěn)健性。

3.2 低冗余表示的張量子空間學(xué)習(xí)

根據(jù)3.1 節(jié)的分析，考慮到數(shù)據(jù)的冗余性和噪聲會(huì)導(dǎo)致自表示重構(gòu)模型中難以學(xué)習(xí)到數(shù)據(jù)真實(shí)的本質(zhì)子空間結(jié)構(gòu)，本文將用低冗余數(shù)據(jù)表示Up代替原始數(shù)據(jù)Xp，提出如下基于低冗余表示的子空間學(xué)習(xí)模型。

其中，Z p為第p個(gè)視圖的子空間表示矩陣，I為單位陣，λ為正則化參數(shù)，為Frobinus 范數(shù)。

在獲得了每個(gè)局部視圖數(shù)據(jù)的子空間表示矩陣Zp后，本文期望能夠?qū)⒍嘁晥D信息進(jìn)行融合，從全局角度建模視圖間的關(guān)聯(lián)性。然而，如2.2 節(jié)所述，現(xiàn)有多視圖子空間學(xué)習(xí)策略主要是假設(shè)各視圖間存在一個(gè)共享子空間表示矩陣，這種融合策略忽略了視圖間的各異性和高維相關(guān)性，對(duì)于具有二維特性的子空間表示矩陣不能實(shí)現(xiàn)其多維的關(guān)聯(lián)性建模。為此，考慮將各視圖子空間表示矩陣Zp集成來(lái)構(gòu)造一個(gè)3 階張量矩陣Z，并對(duì)Z實(shí)施低秩約束來(lái)捕獲不同視圖之間的高階相關(guān)性。一方面，子空間表示系數(shù)在一定程度上反映了樣本間的相似性關(guān)系，由于是相同對(duì)象的不同視圖，因此不同的Zp應(yīng)包含相近的相似性信息。另一方面，類(lèi)簇的數(shù)量總是比樣本數(shù)量要小得多，所以張量Z具有潛在的低秩特性。基于上述兩點(diǎn)考慮，提出如下的基于低冗余數(shù)據(jù)表示的張量子空間學(xué)習(xí)模型。

式(8)中采用張量低秩約束形式進(jìn)行多視圖信息融合的優(yōu)勢(shì)體現(xiàn)在2 個(gè)層面。首先，區(qū)別于傳統(tǒng)共享式模型，張量約束形式不強(qiáng)制要求將不同視圖的信息融入一個(gè)公共的子空間矩陣中，而是利用低秩來(lái)捕獲各視圖子空間矩陣的一個(gè)聯(lián)合的潛在相關(guān)性結(jié)構(gòu)。這個(gè)結(jié)構(gòu)仍是一個(gè)由多個(gè)視圖構(gòu)成的具有相關(guān)性的張量體，其在融合一致性結(jié)構(gòu)的同時(shí)有效地保持了不同視圖的差異化信息。其次，在張量低秩的求解過(guò)程中，會(huì)對(duì)張量立方體從多個(gè)維度探尋其低秩相關(guān)性信息，相比于共享方式中采用的二維約束形式，能更全面地挖掘視圖間的互補(bǔ)性信息，提高多視角融合的多維互補(bǔ)性。

3.3 基于穩(wěn)健表示學(xué)習(xí)的多視圖子空間聚類(lèi)方法

聯(lián)合上述的低冗余學(xué)習(xí)和張量子空間學(xué)習(xí)模型，將多核穩(wěn)健表示學(xué)習(xí)與張量子空間學(xué)習(xí)放入統(tǒng)一的學(xué)習(xí)框架，提出本文穩(wěn)健多視圖子空間學(xué)習(xí)目標(biāo)函數(shù)。

其中，γ=[γ1,…,γ m]為權(quán)重參數(shù)。本文方法通過(guò)子空間表示學(xué)習(xí)模型將低冗余表示UP、子空間表示矩陣Zp以及潛在張量子空間表示矩陣Z放入同一目標(biāo)函數(shù)，實(shí)現(xiàn)三者的聯(lián)合學(xué)習(xí)。從式(9)目標(biāo)函數(shù)中可以看出，低冗余數(shù)據(jù)表示UP將同時(shí)從低冗余表示學(xué)習(xí)和低秩張量子空間表示矩陣Z中學(xué)習(xí)而來(lái)，視圖專(zhuān)屬子空間學(xué)習(xí)過(guò)程在挖掘視圖內(nèi)相關(guān)性的同時(shí)，還挖掘了視圖間的高階相關(guān)性。這種來(lái)自多視圖融合的潛在信息也通過(guò)Zp傳遞到UP的低冗余表示學(xué)習(xí)的過(guò)程，以獲得更好的低冗余數(shù)據(jù)表示。對(duì)于潛在張量子空間結(jié)構(gòu)Z的學(xué)習(xí)，由于本框架Zp在迭代過(guò)程中是動(dòng)態(tài)調(diào)整的，隨著低冗余數(shù)據(jù)表示質(zhì)量的提高，模型能夠聯(lián)合學(xué)習(xí)到更好的視圖專(zhuān)屬子空間表示及其融合的張量子空間表示，進(jìn)一步改善模型的穩(wěn)健性。通過(guò)交替的優(yōu)化低冗余表示、視圖專(zhuān)屬子空間表示和潛在張量子空間表示，使它們?cè)诘^(guò)程中相互促進(jìn)，以獲得目標(biāo)函數(shù)的聯(lián)合最優(yōu)解。

在獲得了張量子空間矩陣Z后，利用計(jì)算親和矩陣J（Z(p)表示Z沿視角方向的第p個(gè)切片），并將其送入譜聚類(lèi)算法得到本文方法的聚類(lèi)結(jié)果。

3.4 目標(biāo)函數(shù)數(shù)值求解方案

本節(jié)設(shè)計(jì)了一種有效的數(shù)值優(yōu)化算法來(lái)求解式(9)中的目標(biāo)函數(shù)。由于變量Z和Zp之間的耦合性，使式(9)目標(biāo)函數(shù)中張量低秩約束的求解具有一定的困難。為了解決變量間的耦合關(guān)系，采用交替方向乘子法[19]，引入輔助變量Q 使變量可分離，將式(9)轉(zhuǎn)化為

在式(10)的基礎(chǔ)上，構(gòu)造其相應(yīng)的拉格朗日增廣函數(shù)，得到下面的可分離優(yōu)化形式，并采用交替優(yōu)化技術(shù)來(lái)計(jì)算式(9)的近似解

對(duì)于變量Z，可以明顯地看出各子空間表示矩陣都是獨(dú)立的，固定其他變量，式(11)可變?yōu)?/p>

對(duì)于變量Q，固定其他變量，可得到如下的子優(yōu)化問(wèn)題

式(16)的張量核范數(shù)約束問(wèn)題可根據(jù)文獻(xiàn)[20]中基于t-SVD 的張量核范數(shù)最小化算法進(jìn)行求解，得到變量Q 的閉式解。

對(duì)于變量U，由于低冗余數(shù)據(jù)表示在式(11)中是相互獨(dú)立的，固定其他變量，可分別對(duì)每個(gè)Up采用式(17)進(jìn)行優(yōu)化

為了便于求解，將式(17)改寫(xiě)為

式(18)的跡最大化問(wèn)題可通過(guò)對(duì)Mp的特征分解進(jìn)行求解，其中Up是由矩陣Mp的前c個(gè)最大特征值所對(duì)應(yīng)的特征向量組成的。

綜上所述，本文提出的目標(biāo)函數(shù)的求解步驟如算法1 所示。

算法1本文提出的目標(biāo)函數(shù)的求解

3.5 參數(shù)優(yōu)化

關(guān)于式(9)中的參數(shù)β和γ，實(shí)際上反映了不同視圖的子空間重構(gòu)損失和低冗余表示學(xué)習(xí)中的貢獻(xiàn)度，傳統(tǒng)的經(jīng)驗(yàn)設(shè)定方式不能有效獲得目標(biāo)函數(shù)的聯(lián)合最優(yōu)解。因此，本文將這2 個(gè)參數(shù)也看作一種特殊的變量，與其他變量類(lèi)似，在歸一化約束條件下給出如下的參數(shù)優(yōu)化方案。

1) 對(duì)于變量β，固定式(11)中的其他變量，關(guān)于β的目標(biāo)函數(shù)可以簡(jiǎn)化為

根據(jù)柯西?施瓦茲不等式有

2) 對(duì)于變量γ，固定式(11)中的其他變量，關(guān)于γ的目標(biāo)函數(shù)可以簡(jiǎn)化為

與β的求解相似，有

當(dāng)且僅當(dāng)γ1/v1=γ2/v2=…γm/vm存在時(shí)，式(23)可取得最大值。考慮式(22)中γ的約束條件，可通過(guò)式(24)來(lái)計(jì)算參數(shù)γ

4 實(shí)驗(yàn)與結(jié)果分析

4.1 數(shù)據(jù)集描述

本文在3 個(gè)公開(kāi)數(shù)據(jù)集上進(jìn)行多視圖聚類(lèi)實(shí)驗(yàn)，數(shù)據(jù)集的具體情況闡述如下。

1) BBC-Sport 數(shù)據(jù)集：由BBC-Sport 網(wǎng)站的737 份文件組成，對(duì)應(yīng)于5 個(gè)主題領(lǐng)域的體育新聞，包括田徑、板球、足球、橄欖球和網(wǎng)球，共有2 個(gè)不同的視圖。

2) ORL 數(shù)據(jù)集：由40 個(gè)不同性別的人的400 張面部圖像組成，其中每個(gè)人有10 張不同拍攝角度的人臉圖像。本文將對(duì)數(shù)據(jù)集中的每個(gè)樣本提取灰度強(qiáng)度（Gray）、局部二值模式（LBP）和Gabor這3 種特征來(lái)表示這些人臉圖像，共有3 個(gè)不同的視圖。

3) UCI-Digits 數(shù)據(jù)集：由對(duì)應(yīng)10 個(gè)類(lèi)別的2 000 個(gè)數(shù)字圖像組成，分別提取傅里葉系數(shù)、像素平均和形態(tài)學(xué)特征3 個(gè)不同的特征來(lái)表示這些數(shù)字圖像，共有3 個(gè)不同的視圖。

4.2 對(duì)比實(shí)驗(yàn)設(shè)置及實(shí)驗(yàn)結(jié)果與分析

為了證明所提方法的有效性，本文將在上述3 個(gè)數(shù)據(jù)集上與5 種先進(jìn)的多視圖子空間聚類(lèi)方法進(jìn)行對(duì)比。這5 種方法分別是文獻(xiàn)[2]中潛在多視圖子空間聚類(lèi)（LMSC,latent multiview subspace clustering）、文獻(xiàn)[14]中多模態(tài)稀疏和低秩子空間聚類(lèi)（MSSC,multimodal sparse and low-rank subspace clustering）、文獻(xiàn)[15]中基于劃分的多視圖子空間聚類(lèi)（PMSC,partition level multiview subspace clustering）、文獻(xiàn)[11]中彈性多視圖表示學(xué)習(xí)的子空間聚類(lèi)（FMR,flexible multiview representation learning for subspace clustering）以及文獻(xiàn)[16]中協(xié)同穩(wěn)健多視圖子空間聚類(lèi)（CoMSC,multiview subspace clustering via co-training robust）。

表1 在BBC-Sport 數(shù)據(jù)集上進(jìn)行不同方法的ACC、NMI 和F-measure 比較

從表1～表3 可以看出，本文方法在3 種指標(biāo)上幾乎都優(yōu)于其他對(duì)比方法。在ACC 指標(biāo)中，本文方法在BBC-Sport、ORL 和UCI-Digits 數(shù)據(jù)集上相比次優(yōu)方法依次提升0.9%、1.4%和4.4%；在NMI指標(biāo)中，本文方法僅在ORL 數(shù)據(jù)集上略低于MSSC方法，在其他數(shù)據(jù)集上均優(yōu)于對(duì)比方法，在BBC-Sport 和UCI-Digits 數(shù)據(jù)集上相比次優(yōu)方法分別提升4.8%和7.3%；在F-measure 指標(biāo)中，本文方法在BBC-Sport、ORL 和UCI-Digits 數(shù)據(jù)集上相比次優(yōu)方法依次提升2.9%、0.4%和8.3%。上述結(jié)果表明，在原始數(shù)據(jù)上本文方法學(xué)習(xí)到的低冗余表示能夠改善局部視圖的子空間學(xué)習(xí)能力，并通過(guò)低秩張量融合多視圖信息，提高多視圖子空間聚類(lèi)的性能。

表2 在ORL 數(shù)據(jù)集上進(jìn)行不同方法的ACC、NMI 和F-measure 比較

表3 在UCI-Digits 數(shù)據(jù)集上進(jìn)行不同方法的ACC、NMI 和F-measure 比較

4.3 噪聲條件下實(shí)驗(yàn)設(shè)置與結(jié)果

為了驗(yàn)證對(duì)比方法在噪聲數(shù)據(jù)條件下的性能，本文對(duì)上述數(shù)據(jù)集隨機(jī)選取部分樣本添加高斯白噪聲進(jìn)行聚類(lèi)實(shí)驗(yàn)（加噪樣本比例是指加噪樣本數(shù)占樣本總數(shù)的比例），并通過(guò)調(diào)整噪聲方差和加噪樣本比例來(lái)驗(yàn)證不同噪聲強(qiáng)度下的模型性能。實(shí)驗(yàn)中，設(shè)置噪聲方差分別為0.1 和0.3，加噪樣本比例以0.1 為間隔步長(zhǎng)從0.1 變化到0.5，所有視圖原始數(shù)據(jù)均進(jìn)行了范數(shù)歸一化。

3 種指標(biāo)在2 種噪聲方差下的實(shí)驗(yàn)結(jié)果分別如圖3 和圖4 所示。從實(shí)驗(yàn)結(jié)果可以看出，隨著加噪樣本比例的不斷上升，本文方法在3 種指標(biāo)上幾乎都優(yōu)于其他對(duì)比方法。以不同加噪樣本比例下的指標(biāo)均值考量在BBC-Sport、ORL 和UCI-Digits 數(shù)據(jù)集上聚類(lèi)性能的平均水平。當(dāng)噪聲方差為0.1 時(shí)，在ACC 指標(biāo)中，本文方法在3 個(gè)數(shù)據(jù)集上依次高于次優(yōu)方法20%、2.53%和9.55%；在NMI 指標(biāo)中，本文方法在 3 個(gè)數(shù)據(jù)集上依次高于次優(yōu)方法17.26%、2.27%和7.84%；在F-measure 指標(biāo)中，本文方法在3 個(gè)數(shù)據(jù)集上依次高于次優(yōu)方法31.7%、6.96%和10.22%。當(dāng)噪聲方差為 0.3 時(shí)，本文方法在BBC-Sport 數(shù)據(jù)集上各評(píng)價(jià)指標(biāo)的實(shí)驗(yàn)結(jié)果均有較明顯的優(yōu)勢(shì)；對(duì)于其他2 個(gè)數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果，在ACC 指標(biāo)中，本文方法在ORL 和UCI-Digits 數(shù)據(jù)集上分別高于次優(yōu)方法1%和8.5%；在NMI指標(biāo)中，本文方法在ORL 和UCI-Digits 數(shù)據(jù)集上分別高于次優(yōu)方法1.72%和7.1%；在F-measure 指標(biāo)中，本文方法在ORL 和UCI-Digits 數(shù)據(jù)集上分別高于次優(yōu)方法5.14%和8.76%。綜合上述驗(yàn)證實(shí)驗(yàn)結(jié)果，說(shuō)明了本文方法在噪聲干擾下具有有效性和穩(wěn)健性。

4.4 復(fù)雜度與收斂性分析

本文方法由5 個(gè)子問(wèn)題組成，在每次迭代時(shí)，變量Z的求解需計(jì)算式(15)中逆矩陣，其復(fù)雜度為O(n3)。對(duì)于變量Q，首先要對(duì)n×m×n的三維張量進(jìn)行快速傅里葉變換和逆變換，復(fù)雜度為O(mn2log(n))；其次，還要對(duì)變換后張量的各切片做奇異值分解，復(fù)雜度為O(m2n2)。因此，變量Q的復(fù)雜度為O(m2n2+mn2log(n))。在U子問(wèn)題中，需要對(duì)每個(gè)視圖進(jìn)行特征分解，復(fù)雜度為O(mn3)。優(yōu)化參數(shù)β和γ的時(shí)間復(fù)雜度為O(cn2)。由于視圖數(shù)m遠(yuǎn)小于樣本數(shù)n(m?n)，因此本文方法進(jìn)行t次迭代的時(shí)間復(fù)雜度為O(tmn3)。在實(shí)驗(yàn)對(duì)比方法中依據(jù)其文獻(xiàn)描述，LMSC、MSSC、PMSC 以及FMR 的時(shí)間復(fù)雜度均為O(tn3)，CoMSC 的時(shí)間復(fù)雜度為O(tmn3)，可以看出本文方法與CoMSC 方法的時(shí)間復(fù)雜度略高于其他對(duì)比方法。

為了分析本文數(shù)值算法的收斂性，以BBC-Sport 數(shù)據(jù)集為例，以迭代次數(shù)和目標(biāo)函數(shù)值分別為橫、縱坐標(biāo)繪制收斂性曲線，如圖5 所示。從圖5 中可以看出，本文方法在BBC-Sport 數(shù)據(jù)集上迭代10 次左右即可達(dá)到收斂，說(shuō)明了本文數(shù)值算法具有高效穩(wěn)定的收斂性能。

5 結(jié)束語(yǔ)

本文提出了一種核穩(wěn)健低冗余表示學(xué)習(xí)的多視圖子空間聚類(lèi)方法。該方法利用多核學(xué)習(xí)捕獲數(shù)據(jù)的非線性相關(guān)性信息，并利用特征分解方法去除數(shù)據(jù)中的冗余信息和噪聲干擾獲得了具有低冗余性的穩(wěn)健數(shù)據(jù)表示。為了在探索多視圖間的互補(bǔ)性信息的同時(shí)能夠探索多視圖間的差異性信息，將每個(gè)視圖的子空間表示矩陣重組為張量形式，利用張量低秩約束從全局角度挖掘了視圖間的高階相關(guān)性且保持了局部視圖的各異性子空間結(jié)構(gòu)。將本文提出的多視圖聚類(lèi)方法在3 個(gè)公開(kāi)數(shù)據(jù)集上與主流的先進(jìn)多視圖子空間聚類(lèi)方法進(jìn)行對(duì)比實(shí)驗(yàn)，并對(duì)本文模型的參數(shù)和收斂性進(jìn)行分析，實(shí)驗(yàn)結(jié)果表明了本文方法的優(yōu)越性和穩(wěn)健性。