結(jié)構(gòu)正則化多視圖非負(fù)矩陣分解

摘要：現(xiàn)存非負(fù)矩陣分解（non-negative matrix factorization，NMF）研究多考慮單一視圖分解數(shù)據(jù)，忽略了數(shù)據(jù)信息的全面性。此外，NMF限制其獲取數(shù)據(jù)的內(nèi)在幾何結(jié)構(gòu)。針對以上問題，提出一個(gè)結(jié)構(gòu)正則化多視圖非負(fù)矩陣分解算法（structure regularized multi-view nonnegative matrix factorization，SRMNMF）。首先，通過主成分分析來對數(shù)據(jù)進(jìn)行全局結(jié)構(gòu)的判別式學(xué)習(xí)；其次，利用流形學(xué)習(xí)來捕獲數(shù)據(jù)的局部結(jié)構(gòu)；然后，通過利用多視圖數(shù)據(jù)的多樣性和差異性來學(xué)習(xí)表征。模型提升了算法聚類的整體性能，更加有效地挖掘數(shù)據(jù)的結(jié)構(gòu)信息。此外，采用高效的交替迭代算法優(yōu)化目標(biāo)函數(shù)得到最優(yōu)的因子矩陣。在六個(gè)數(shù)據(jù)集上與現(xiàn)存的代表性方法進(jìn)行比較，所提出的SRMNMF的準(zhǔn)確率、NMI和Purity分別最大提高4.4%、6.1%和4.05%。

關(guān)鍵詞：多視圖學(xué)習(xí)；非負(fù)矩陣分解；圖正則化；主成分分析；聚類

中圖分類號：TP391文獻(xiàn)標(biāo)志碼：A

文章編號：1001-3695（2022）10-023-3033-06

doi：10.19734/j.issn.1001-3695.2022.04.0136

Structure regularized multi-view nonnegative matrix factorization

Lian Jiaqi，Wang Yigang，Chu Zhiwei，Yin Xuesong

（School of Media amp; Design，Hangzhou Dianzi University，Hangzhou 310018，China）

Abstract：Existing non-negative matrix factorization（NMF） studies mostly consider a single view to decompose data，ignoring the comprehensiveness of data information.Additionally，NMF limit their access to the intrinsic geometry of the data.This paper proposed a novel matrix factorization method，called structure regularized multi-view nonnegative matrix factorization（SRMNMF）.Specifically，this paper firstly performed discriminative learning of the global structure of the data through principal component analysis.Then，it used manifold learning to capture the local structure of the data.Finally，it learnt representations by exploiting the diversity and difference of multi-view data.The model improved the overall performance of the algorithm clustering and mined the structural information of the data more effectively.The objective function of SRMNMF could be easily optimized using an efficient alternate iterative algorithm.Comparing with existing representative methods on 6 datasets，the proposed SRMNMF achieves a maximum improvement of 4.4%，6.1% and 4.05% in accuracy，NMI and Purity，respectively.

Key words：multi-view learning；non-negative matrix factorization；graph regularization；principal component analysis；clustering

0引言

表征學(xué)習(xí)作為機(jī)器學(xué)習(xí)的重要組成部分，旨在從當(dāng)今生活中的高維、多態(tài)數(shù)據(jù)中提取數(shù)據(jù)特征并學(xué)習(xí)表征。非負(fù)矩陣分解（non-negative matrix factorization，NMF）作為一種具有代表性的表征學(xué)習(xí)方法［1］，可將高維非負(fù)矩陣分解為兩個(gè)非負(fù)因子矩陣，分別解釋為基矩陣和系數(shù)矩陣，有效地挖掘和學(xué)習(xí)數(shù)據(jù)的低維結(jié)構(gòu)和局部表征。一些研究表明，NMF已成功應(yīng)用于機(jī)器學(xué)習(xí)［2，3］、模式識別［4，5］和數(shù)據(jù)挖掘［6～8］中。

近年來，NMF引起了越來越多的關(guān)注，為了提升NMF的效率和性能，不同的NMF變體算法被提出。Akashi等人［9］將稀疏編碼理論引入NMF，對基矩陣和稀疏矩陣都應(yīng)用了稀疏約束，并提出了稀疏非負(fù)矩陣分解算法（sparse non-negative matrix factorization，SNMF）。Kong等人［10］提出了一種基于L21范數(shù)的魯棒非負(fù)矩陣分解算法（robust non-negative matrix factorization based on L21 norm，RNMF L21），該算法克服了標(biāo)準(zhǔn)NMF算法對噪聲和異常值敏感的缺點(diǎn)，提高了算法的魯棒性。Liu等人［11］將一般子空間約束強(qiáng)制到NMF中，在保留原始數(shù)據(jù)的結(jié)構(gòu)屬性的同時(shí)獲得更豐富表達(dá)的子空間，提出子空間約束非負(fù)矩陣分解（general subspace constrained non-negative matrix factorization ，GSCNMF）。近年來，諸多研究發(fā)現(xiàn)高維數(shù)據(jù)通常位于非線性的低維流形空間中。根據(jù)高維空間中兩個(gè)相近的樣本點(diǎn)在低維流形中也具有短距離的局部不變特征［12］，Cai等人［13］提出了圖非負(fù)矩陣分解（graph regularized non-negative matrix factorization，GNMF），它結(jié)合了流形正則化和NMF來尋找數(shù)據(jù)內(nèi)在的幾何信息和判別結(jié)構(gòu)。Peng等人［14］提出了針對二維數(shù)據(jù)的半非負(fù)矩陣分解算法，結(jié)合特征學(xué)習(xí)和流形學(xué)習(xí)，從而提升二維數(shù)據(jù)的聚類性能。

盡管NMF及其變體已被證明可以實(shí)現(xiàn)令人滿意的性能，但是它們的應(yīng)用多針對于單視圖數(shù)據(jù)。在大數(shù)據(jù)的時(shí)代，數(shù)據(jù)規(guī)模龐大、形態(tài)多樣，多視圖的數(shù)據(jù)更是常態(tài)。多視圖數(shù)據(jù)可能通過不同的源頭采集或是用于不同任務(wù)的不同特征進(jìn)行表示。不同的特征捕獲數(shù)據(jù)的不同方面，并且可以是相互補(bǔ)充的。因此多視圖數(shù)據(jù)信息豐富，多視圖學(xué)習(xí)方法在各種任務(wù)中都優(yōu)于單視圖學(xué)習(xí)方法［15，16］。傳統(tǒng)的單視圖數(shù)據(jù)聚類不能集成全面的信息，因此在面對多視圖數(shù)據(jù)時(shí)，其聚類性能和魯棒性會受到限制。多視圖聚類旨在消除這一瑕疵，能夠整合多視圖數(shù)據(jù)的差異和互補(bǔ)信息，得到了普遍的關(guān)注。

基于非負(fù)矩陣分解的多視圖聚類方法利用基于質(zhì)心的協(xié)同正則化和非負(fù)矩陣分解來尋找多視圖數(shù)據(jù)的共識表示［17，18］。Liu等人［19］提出基于NMF的多視圖聚類算法（multi-view based on non-negative matrix factorization，multi-NMF），有效地學(xué)習(xí)嵌入在多個(gè)視圖中的基礎(chǔ)聚類結(jié)構(gòu)來獲得更好的聚類性能。但是，該方法只考慮各視圖系數(shù)矩陣與共識系數(shù)矩陣之間的相似性，而忽略了視圖間的相似性。此外，該算法無法發(fā)現(xiàn)多視圖數(shù)據(jù)空間的局部幾何結(jié)構(gòu)。Wang等人［20］提出了一個(gè)基于局部圖正則化的多視圖非負(fù)矩陣分解特征提取方法，在考慮每個(gè)視圖的系數(shù)矩陣和一致系數(shù)矩陣之間的相似性的同時(shí)，構(gòu)造了一個(gè)最近鄰圖來獲得多視圖數(shù)據(jù)的基于部件的表示，以此保持?jǐn)?shù)據(jù)空間的局部幾何結(jié)構(gòu)信息。然而，基于非負(fù)矩陣分解的方法所引起的非負(fù)約束并不能捕獲數(shù)據(jù)的底層結(jié)構(gòu)。受這些想法的啟發(fā)，提出了一種新穎的結(jié)構(gòu)正則化多視圖非負(fù)矩陣分解算法（structure regularized multi-view nonnegative matrix factorization，SRMNMF）。具體來說，本文的主要貢獻(xiàn)為以下三個(gè)方面：

a）提出了一種通用的基于結(jié)構(gòu)正則化的多視圖非負(fù)矩陣分解聚類方法，所提出的方法將經(jīng)典的NMF擴(kuò)展到多視圖聚類NMF來捕獲不同異構(gòu)視圖之間的關(guān)系，并在所有視圖中學(xué)習(xí)一個(gè)一致的潛在特征矩陣。

b）通過主成分分析來對全局結(jié)構(gòu)進(jìn)行編碼，使得具有相同結(jié)構(gòu)的學(xué)習(xí)表征具有相同的聚類標(biāo)簽；引入流形學(xué)習(xí)來對局部結(jié)構(gòu)進(jìn)行建模，使得相鄰的表征具有相同的聚類標(biāo)簽。因此，所提出的算法學(xué)習(xí)的表征可以實(shí)現(xiàn)局部和全局的一致性，從而提高了數(shù)據(jù)的表示能力。

c）研發(fā)了一種簡單的迭代更新算法來優(yōu)化所提出的模型，從而得到最優(yōu)的學(xué)習(xí)表征。在多個(gè)實(shí)際應(yīng)用的多視圖數(shù)據(jù)，包括圖像和文本等的實(shí)驗(yàn)結(jié)果表明，所提出的算法優(yōu)于其他的主流方法。

1預(yù)備理論

1.1非負(fù)矩陣分解

給定一個(gè)非負(fù)的數(shù)據(jù)矩陣X=［x1，x2，…，xN］∈Euclid Math TwoRApM×N+，其中每一列表示一個(gè)數(shù)據(jù)點(diǎn)，每一行表示一個(gè)特征，M表示特征的維數(shù)，N表示數(shù)據(jù)點(diǎn)的個(gè)數(shù)。NMF的目的是找到兩個(gè)非負(fù)的低秩因子矩陣U=［uik］∈Euclid Math TwoRApM×d+和V=［vjk］∈Euclid Math TwoRApN×d+，其中兩個(gè)矩陣的乘積可以更好地逼近原始數(shù)據(jù)矩陣X，表示為X≈UVT，其中，U代表基矩陣，V代表系數(shù)矩陣。得到所需的維數(shù)d，通常dlt;lt;min{M，N}。為了更好地表示X，Lee等人［21，22］引入了兩個(gè)代價(jià)函數(shù)，即Frobenius范數(shù)和Kullback-Leibler（K-L）散度，以量化近似的質(zhì)量。關(guān)注第一種形式，目標(biāo)函數(shù)定義為

minU，V‖X-UVT‖2Fs.t.U≥0，V≥0（1）

其中：當(dāng)U和V都作為變量時(shí)，目標(biāo)函數(shù)是不凸的，導(dǎo)致無法求解。然而，當(dāng)U固定或V固定時(shí)，目標(biāo)函數(shù)是凸的。同時(shí)文獻(xiàn)［18，19］提出了一種迭代乘法更新算法來尋找目標(biāo)函數(shù)的局部最小值，目標(biāo)函數(shù)的迭代更新規(guī)則如下：

uik ←uik（XV）ik（UVTV）ik ，vjk←vjk（XTV）jk（VUTU）jk（2）

1.2多視圖非負(fù)矩陣分解算法

利用非負(fù)矩陣分解的局部特征學(xué)習(xí)和降維的技術(shù)，結(jié)合多視圖數(shù)據(jù)的信息兼容和互補(bǔ)性，Liu等人［19］提出了基于非負(fù)矩陣分解的多視圖聚類（multi-view based on non-negative matrix factorization，multi-NMF）。假設(shè)給定一個(gè)含有B個(gè)視圖的多視圖數(shù)據(jù)集X={X（1），X（2），…，X（B）}，每個(gè)視圖的樣本數(shù)據(jù)矩陣X（b）={x（b）1，x（b）2，…，x（b）N}∈Euclid Math TwoRAp{Mb×N}+（b=1，…，B）。對于多視圖數(shù)據(jù)，多視圖聚類（multi-view clustering）算法的目的是為了學(xué)習(xí)每個(gè)視圖緊湊的表征V（b）（1≤b≤B），通過聯(lián)合各個(gè)視圖的表征，使它們趨向于一致共識表征矩陣。

D（V（b），V*）=‖V（b）-V*‖2F（3）

其中：V*為一致共識表征矩陣。根據(jù)式（3）定義基于非負(fù)矩陣分解的多視圖聚類模型：

minU（b），V（b），V*b=1，2，…，B∑Bb=1‖X（b）-U（b）（V（b））T‖2F+λb‖V（b）-V*‖2F

s.t.U（b）≥0，V（b）≥0，V*≥0，‖U（b）*.k‖1=1

k=1，2，…，K；b=1，2，…，B（4）

根據(jù)式（4），在優(yōu)化過程中每個(gè)視圖的基矩陣U（b）的每列對應(yīng)1范數(shù)都被約束為1； 每個(gè)視圖的系數(shù)矩陣V（b）均具有相同的尺寸，以便后期進(jìn)行聯(lián)合； λb作為權(quán)重系數(shù)不僅能調(diào)節(jié)不同視圖之間的學(xué)習(xí)表征的相對權(quán)重，而且還可以調(diào)節(jié)標(biāo)準(zhǔn)NMF的重構(gòu)誤差與D（V（b），V*）之間的比重。

使用對角矩陣Q，UVT=UQ-1QVT，其中Qb定義為

QbDiag（∑Mm=1Ubm，1，∑Mm=1Ubm，2…∑Mm=1Ubm，K）（5）

其中：Diag（·）表示對角矩陣。每個(gè)基向量的絕對和為1，即‖U*.i‖1=1。根據(jù)式（5），問題式（4）可以等價(jià)于：

minU（b），V（b），V*b=1，2，…，B∑Bb=1‖X（b）-U（b）（V（b））T‖2F+∑Bb=1λb‖V（b）Qb-V*‖2F

s.t.U（b）≥0，V（b）≥0，V*≥0，b=1，2，…，B（6）

2結(jié)構(gòu)正則化多視圖非負(fù)矩陣分解

最近研究表明［11］，可通過添加主成分分析到非負(fù)矩陣分解中，利用數(shù)據(jù)的總方差來編碼全局結(jié)構(gòu)，在保留原始數(shù)據(jù)的底層結(jié)構(gòu)屬性的同時(shí)獲得更豐富表達(dá)的子空間。此外，為進(jìn)一步提升數(shù)據(jù)的表征能力以及聚類性能，結(jié)合多視圖數(shù)據(jù)的信息互補(bǔ)性和兼容性，并且結(jié)合圖正則化項(xiàng)對數(shù)據(jù)的局部結(jié)構(gòu)信息和不同類別的判別信息的獲取進(jìn)行增強(qiáng)，提出了一種結(jié)構(gòu)正則化多視圖非負(fù)矩陣分解方法。

2.1全局結(jié)構(gòu)學(xué)習(xí)

數(shù)據(jù)的全局結(jié)構(gòu)在分離各種對象方面起著重要作用，然而全局結(jié)構(gòu)是由在監(jiān)督或半監(jiān)督學(xué)習(xí)場景中具有可用類標(biāo)簽的類間散布定義的。由于缺少標(biāo)簽，基于矩陣分解的無監(jiān)督特征學(xué)習(xí)方法不關(guān)注全局結(jié)構(gòu)。最近的研究表明，主成分分析（principal component analysis，PCA）可以通過最大化表示方差來描述無監(jiān)督場景中的全局信息［11，23］。因此構(gòu)建一個(gè)主成分圖來對全局結(jié)構(gòu)進(jìn)行建模并將其引入矩陣分解中。假設(shè)樣本數(shù)據(jù)集為{x1，x2，…，xn}，PCA的線性變換可以表示為uTxi=yi，其中u為U的基向量，yi為表示向量。然后，PCA的優(yōu)化函數(shù)表示為

maxu∑ni=1（yi-）2，=1n∑ni=1yi（7）

其中：向量u1，u2，…，ur為正交。對于X=UVT的非負(fù)矩陣分解形式，存在X=［x1，x2，…，xn］，U=［u1，u2，…，ud］和V=［v1，v2，…，vd］。這時(shí)V的行向量可以看做是原始數(shù)據(jù)集X在U的列向量構(gòu)造的子空間的投影，即xi=UvTi。令P=（1/n）I-（1/n2）eeT，其中，I是n階單位矩陣，e是所有元素都為1的n維向量，用c代表投影向量的均值，即c=1n∑ni=1vTi，然后

VTPV=1nVT（I-1neeT）V=1nVTV-1n2（VTe）（VTe）T=

1n∑ivTivi-1n2（nm）（nm）T=1n∑i（hTi-m）（hi-m）T+

1n∑ivTimT+1n∑imvi-1n∑immT-mmT=E［（vT-m）（vT-m）T］+

2mmT-2mmT=E［（vT-m）（vT-m）T］（8）

其中：E［（vT-m）（vT-m）T］是投影的協(xié)方差矩陣，因此最大化VTPV等價(jià)于最大化PCA的核心優(yōu)化函數(shù)∑ni=1‖vTi-m‖，同時(shí)保證基矩陣正交。

2.2局部結(jié)構(gòu)學(xué)習(xí)

NMF的目標(biāo)是找到一種新的數(shù)據(jù)表示帶近似原始數(shù)據(jù)。然而實(shí)際應(yīng)用可能進(jìn)一步要求系數(shù)表示考慮內(nèi)在的黎曼結(jié)構(gòu)而不是環(huán)境歐幾里德結(jié)構(gòu)［13］。自然提出假設(shè)，如果兩個(gè)數(shù)據(jù)點(diǎn)在潛在分布上接近，那么表征中也彼此接近。利用流形理論和圖論的知識［24～26］可以通過構(gòu)造每個(gè)數(shù)據(jù)點(diǎn)的最近鄰圖來保持其固有的幾何結(jié)構(gòu)。一個(gè)最近鄰圖可以是其近似解，將每一個(gè)數(shù)據(jù)點(diǎn)xi看做一個(gè)頂點(diǎn)，找到它最近的鄰居，并在它和它的鄰居之間設(shè)置邊的權(quán)重矩陣W。存在三種定義權(quán)重矩陣W的計(jì)算方法：

a）0-1。Wij=1，當(dāng)且僅當(dāng)數(shù)據(jù)點(diǎn)xi和xj存在一條邊連接時(shí)。

b）熱內(nèi)核權(quán)重。Wij=e-［‖xi-xj‖2σ］，當(dāng)且僅當(dāng)數(shù)據(jù)點(diǎn)xi和xj存在一條邊連接時(shí)。

c）點(diǎn)積權(quán)重。Wij=xixTj，當(dāng)且僅當(dāng)數(shù)據(jù)點(diǎn)xi和xj存在一條邊連接時(shí)。

另外對于兩個(gè)數(shù)據(jù)點(diǎn)xi和xj分別對應(yīng)表示為vi和vj，使用d（vi，vj）=‖vi-vj‖2目標(biāo)函數(shù)去測量流形數(shù)據(jù)結(jié)構(gòu)上兩個(gè)數(shù)據(jù)點(diǎn)之間的相似度。然后利用如下方法測量兩個(gè)數(shù)據(jù)點(diǎn)之間的平滑度：

R=12∑Ni，j=1‖vi-vj‖2FWij=

∑Ni=1vTiviDii-∑Ni，j=1vTivjWij=

tr（VTDV）-tr（VTWV） =tr（VTLV）（9）

其中：tr（·）代表矩陣的跡；D為度矩陣，其對角項(xiàng)為Dii=∑jWij，i=1，2，…，N，并且拉普拉斯矩陣的定義為L=D-W。正則化項(xiàng)R可以在xi和xj的低維表示vi和vj中保留具有相似特征的xi和xj之間的局部信息，從而提高其表示能力和聚類性能。

2.3結(jié)構(gòu)正則化多視圖非負(fù)矩陣分解（SRMNMF）

在文獻(xiàn)［20］中，提出圖正則化多視圖非負(fù)矩陣分解模型，將多個(gè)視圖的局部幾何結(jié)構(gòu)融入到多視圖非負(fù)矩陣分解中，目標(biāo)函數(shù)為

minU（b），V（b），V*b=1，2，…，B∑Bb=1‖X（b）-U（b）（V（b））T‖2F+λb‖V（b）Qb-V*‖2F+

α ∑Bb=1λbtr（（Vb）TLbVb）s.t.U（b）≥0，V（b）≥0，V*≥0，b=1，2，…，B（10）

其中：α為局部流形正則化的圖權(quán)重參數(shù)；圖拉普拉斯矩陣Lb分別通過各個(gè)視圖數(shù)據(jù)計(jì)算所得；λb為權(quán)重系數(shù)，其在調(diào)節(jié)不同視圖之間的學(xué)習(xí)表征的相對權(quán)重的同時(shí)，還調(diào)節(jié)重構(gòu)誤差與D（V（b），V*）之間的比重。然而，上述模型基于部分的表示而忽略了數(shù)據(jù)的底層結(jié)構(gòu)，添加主成分分析約束到圖正則化多視圖非負(fù)矩陣分解模型中，目標(biāo)函數(shù)為

minU（b），V（b），V*b=1，2，…，B∑Bb=1‖X（b）-U（b）（V（b））T‖2F+λb‖V（b）Qb-V*‖2F+

α ∑Bb=1λbTr（（Vb）TLbVb）+β∑Mm=1λbTr（（V（b））TPbV（b））

s.t.U（b）≥0，V（b）≥0，V*≥0，b=1，2，…，B（11）

其中：P=（1/n）I-（1/n2）eeT，β為主成分分析約束的正則化參數(shù)，可以捕獲數(shù)據(jù)的底層結(jié)構(gòu)，加速目標(biāo)函數(shù)的收斂。在2.4節(jié)中，將展示目標(biāo)函數(shù)的優(yōu)化步驟，并推導(dǎo)出U（b）、V（b）和V*的更新公式。

2.4模型優(yōu)化

問題式（11）是難以解決的，因?yàn)槟繕?biāo)函數(shù)在U和V上都不是凸的。在本節(jié)中開發(fā)了一種迭代優(yōu)化算法來獲取基矩陣和稀疏矩陣的近似解。為了方便后面的優(yōu)化，引入拉格朗日乘數(shù)Ψi，k和Φj，k約束U≥0和V≥0，將目標(biāo)函數(shù)式（11）改寫為

Γ=∑Bb=1‖X（b）-U（b）（V（b））T‖2F+λb‖V（b）Qb-V*‖2F+

α ∑Bb=1λbtr（（V（b））TLbV（b））+β∑Mm=1λbtr（（V（b））TPbV（b））+

∑Bb=1（tr（Ψ（U（b））T）+tr（Φ（V（b））T））（12）

2.4.1固定V*，更新U和V

當(dāng)V*固定時(shí)，每個(gè)視圖獨(dú)立存在，簡而言之，U、V和Q可以表示U（b）、V（b）和Qb，則每個(gè)視圖的拉格朗日函數(shù)為

Euclid Math OneLAp=‖X-UVT‖2F+λb‖VQ-V*‖2F+

α*λbtr（VTLV）+β*λbtr（VTPV）+tr（ΨUT）+tr（ΦVT）（13）

求解拉格朗日函數(shù)Euclid Math OneLAp對U和V的偏導(dǎo)為

Euclid Math OneLApU=UVTV+ λbJ-XV+Ψ

Euclid Math OneLApV=VUTU-XTU+ λb（V-V*+αLV+βPV）+Φ（14）

其中：J（∑Mm=1Um，k∑Nn=1V2n，k-∑Nn=1Vn，kV*n，k） ，使用Karush-Kuhn-Tucker（KKT）條件Ψi，kUi，k=0以及Φj，kVj，k=0，可以得到如下更新規(guī)則：

Ui，k←Ui，k×（XV）i，k+λb∑Nn=1Vn，kV*n，k（UVTV）i，k+λb∑Nn=1V2n，k

Vj，k←Vj，k×（XTV+λbV*+λb×αWV）j，k（VUTU+λbV+λb×αDV+λb×βPV）j，k（15）

在計(jì)算U（b）和V（b）時(shí)，首先計(jì)算然后使用Qb規(guī)范化U（b）和V（b）的列向量：

U（b）←U（b）（Qb）-1，V（b）←V（b）Qb（16）

2.4.2固定U和V，更新V*

當(dāng)對每個(gè)視圖計(jì)算U和V時(shí)，對函數(shù)式（12）中的V*求導(dǎo)，并得到接近V*的形式解：

V*=∑Bb=1λbV（b）Qb∑Bb=1λb（17）

通過優(yōu)化目標(biāo)函數(shù)，可以得到如上所有的迭代公式。另外，經(jīng)過多次迭代，損失值可以收斂。算法1總結(jié)了關(guān)于SRMNMF的所有操作步驟。

2.5復(fù)雜度分析

接下來，分析上述所提出的方法的計(jì)算成本，使用大寫字符O來表示所提出算法的計(jì)算復(fù)雜度。本算法的主要計(jì)算代價(jià)來自基矩陣U（b）和系數(shù)矩陣V（b）的迭代更新，其中，b=1，2，…，B。對于基矩陣U（b），關(guān)鍵步驟是根據(jù)式（14）對于基矩陣U（b）的每一列進(jìn)行優(yōu)化，式（14）的復(fù)雜度為O（MbN）。因此，對于基矩陣U（b）的總復(fù)雜度為O（dMbN）。同理，對于系數(shù)矩陣V（b）的總復(fù)雜度為O（dMbN）。綜上所述，將這兩部分相結(jié)合，得出優(yōu)化第b個(gè)視圖目標(biāo)函數(shù)的總計(jì)算代價(jià)為O（dMbN）。因此，本算法對所有視圖的計(jì)算復(fù)雜度為O（dBMbN），其中Mb=max{M1，M2，…，MB}。

算法1所提出算法框架

輸入：每個(gè)視圖的非負(fù)數(shù)據(jù)樣本{X1，X2，…，XF}；每個(gè)視圖的權(quán)重參數(shù){λ1，λ2，…，λB，α，β}。

輸出：基矩陣U={U（1），U（2），…，U（B）}；系數(shù)矩陣V={V（1），V（2），…，V（B）}；一致共識矩陣V*。

初始化：令每個(gè)數(shù)據(jù)1范數(shù)為1，即‖Xb‖1=1，使用GNMF來計(jì)算初始{U，V，V*}。

重復(fù)：

for b=1 to B do

重復(fù)：

固定V*，使用式（15）對U（b）和V（b）進(jìn)行更新；

通過式（16）歸一化U（b）和V（b）；

直到：式（13）收斂或者達(dá)到迭代次數(shù)；

end for

通過式（17）更新V*；

直到：式（11）收斂或者達(dá)到迭代次數(shù)；

3實(shí)驗(yàn)結(jié)果與分析

在本章中，對圖像和文本多視圖數(shù)據(jù)集進(jìn)行了SRMNMF的廣泛實(shí)驗(yàn)分析。首先，介紹了實(shí)驗(yàn)中的數(shù)據(jù)集、比較算法、評價(jià)指標(biāo)和參數(shù)設(shè)置；然后，將所提出的算法與現(xiàn)有的多視圖聚類算法進(jìn)行了比較，并對聚類結(jié)果進(jìn)行了分析；最后，進(jìn)一步分析了該算法的收斂性和參數(shù)敏感性。

3.1數(shù)據(jù)集

在兩個(gè)基準(zhǔn)的多視圖數(shù)據(jù)集上評估了所提出的算法。下面簡單介紹這些數(shù)據(jù)集的統(tǒng)計(jì)信息。

a） UCI手寫數(shù)字?jǐn)?shù)據(jù)集（http：//archive.ics.uci.edu/ml/ datasets/Multiple+Features）。該數(shù)據(jù)集從UCI存儲庫中收集。數(shù)據(jù)集由0～9（10個(gè)類）的手寫數(shù)字灰度圖像組成，每類數(shù)字含有200幅圖像，由多個(gè)手寫數(shù)字特征組成。此數(shù)據(jù)集包含六個(gè)視圖：（a）字符形狀的Fourier系數(shù)（Fourier）；（b）剖面相關(guān)性（profile）；（c）2×3窗口中的像素平均（pixel）；（d）Karhunen-Love系數(shù)（kar）；（e）Zernike矩（Zer）；（f）形態(tài)學(xué)特征（mor）。

b） BBCSport（http：//mlg.ucd.ie/datasets/segment.html）。該數(shù)據(jù)集來自BBC體育新聞網(wǎng)站。將每篇原始文章分割成若干個(gè)連續(xù)段落，將這些段落分成兩個(gè)部分并隨機(jī)分配到兩個(gè)視圖中，總共包含544篇文章，分別屬于五個(gè)體育主題（田徑、板球、足球、橄欖球和網(wǎng)球）。

為了更好地進(jìn)行實(shí)驗(yàn)驗(yàn)證，整理并結(jié)合UCI手寫數(shù)字?jǐn)?shù)據(jù)集的不同特征，獲得不同視圖的多個(gè)多視圖數(shù)據(jù)集。實(shí)驗(yàn)中所有數(shù)據(jù)集的統(tǒng)計(jì)情況如表1所示。

3.2對比算法

為了驗(yàn)證所提出算法的聚類性能，將其與以下幾種具有競爭力的算法模型進(jìn)行比較：

a）NMF。此模型為標(biāo)準(zhǔn)的非負(fù)矩陣分解方法［27］。

b）Col-NMF。此模型為非負(fù)矩陣分解方法的變體［28］，將多視圖數(shù)據(jù)分解為不同的基矩陣和共識表征矩陣。

c）GNMF。此模型為基于圖正則化的非負(fù)矩陣分解方法［13］。

d）Multi-NMF。此模型為基于非負(fù)矩陣分解的多視圖聚類［19］。為了縮小個(gè)視圖的系數(shù)表征矩陣V（b）和共識表征矩陣V*之間的差異，Multi-NMF聯(lián)合所有視圖中的V（b）來獲得一致性。在實(shí)驗(yàn)中，各視圖的基矩陣U（b）各列的1范數(shù)取1，同時(shí)采用與該文一樣的參數(shù)設(shè)置，設(shè)置共識性懲罰權(quán)重λb為0.01。

e）Multi-GNMF。此模型為基于圖約束非負(fù)矩陣分解的多視圖聚類［20］。由于圖流形結(jié)構(gòu)能夠保護(hù)數(shù)據(jù)間的局部消息，并且有效提高NMF的性能，所以Multi-GNMF在Multi-NMF的基礎(chǔ)上引入了圖拉普拉斯算子。在實(shí)驗(yàn)中，采用與該文一樣的參數(shù)設(shè)置，設(shè)置共識性懲罰權(quán)重λb為0.01，圖約束參數(shù)α=10。

f）NMF-CC。此模型為基于正交約束非負(fù)矩陣分解的多視圖聚類［29］。利用正交性來度量多樣性，通過對各自表示矩陣的正交性約束來捕獲每個(gè)視圖內(nèi)的多樣性，沿此正交約束被添加到基于非負(fù)矩陣分解發(fā)基矩陣中，提出NMF-CC。將依據(jù)該文規(guī)則，從{0.000 1，0.001，0.01，0.1，1}搜索選擇參數(shù)。

g）SRMNMF。提出的方法模型使用0-1加權(quán)方案構(gòu)造最近鄰圖，最近鄰的個(gè)數(shù)設(shè)置為20，含有三個(gè)主要的參數(shù)，即α、β和λb。參數(shù)選擇將在后面的章節(jié)中討論。

其他實(shí)現(xiàn)細(xì)節(jié)如下所示：

a）由于比較方法是無監(jiān)督的，所以使用數(shù)據(jù)集中的所有樣本作為測試樣本。采用K-means 算法對學(xué)習(xí)的表示進(jìn)行聚類。

b）對于所有基于NMF的方法，將子空間維度設(shè)置為數(shù)據(jù)類別的數(shù)量。

c）對于具有圖約束的方法，即GNMF、Multi-GNMF、NMF-CC和SRMNMF，采用0-1加權(quán)的方案，并將最近鄰個(gè)數(shù)設(shè)置為20。

d）為了減少初始化帶來的隨機(jī)性，對每種方法執(zhí)行重復(fù)20次運(yùn)行，并報(bào)告這20次運(yùn)行的平均聚類結(jié)果。

3.3性能評價(jià)指標(biāo)

本節(jié)實(shí)驗(yàn)選取相關(guān)文獻(xiàn)中對應(yīng)模型所采用的聚類方法進(jìn)行性能評估，NMF、Col-NMF、GNMF、Multi-NMF、NMF-CC與Multi-GNMF采用K-means聚類。最后SRMNMF采用K-means聚類。為了評估模型的性能，采用accuracy（ACC）、normalized mutual information（NMI）和聚類純度（purity）三個(gè)評價(jià)指標(biāo)，值越高表示三個(gè)指標(biāo)性能越好。ACC表示集群標(biāo)簽在測試數(shù)據(jù)上的正確率。給定實(shí)例總數(shù)為n的一個(gè)實(shí)例xi，讓li和ti分別獲得集群標(biāo)簽和真實(shí)標(biāo)簽。ACC定義為

ACC=∑ni=1δ（ti，map（li））n（18）

其中：指示函數(shù)δ（x，y）當(dāng)且僅當(dāng)x=y時(shí)，其值等于1，否則為0；map（li）為Mapping函數(shù)，將簇類標(biāo)簽li映射到數(shù)據(jù)集中的等效標(biāo)簽，利用Kuhn-Munkres算法可以找到最佳的Mapping算法。ACC的取值為［0，1］。NMI表示兩組聚類之間的相似度。給定C={c1，c2，…，ck}和C′={c′1，c′2，…，c′k}分別為真實(shí)和算法所預(yù)測的簇類中心集合，NMI定義為

NMI（C，C′）=MI（C，C′）max（H（C），H（C′））（19）

其中：H（C）和H（C′）分別為C和C′的熵；MI（C，C′）表示兩個(gè)樣例集群之間的相互信息，定義為

MI（C，C′）=∑ci∈C，c′j∈C′p（ci，c′j）log2p（ci，c′j）p（ci）×p（c′j）（20）

其中：p（ci）和p（c′j）表示在數(shù)據(jù)集中隨機(jī)選擇一個(gè)實(shí)例分別屬于簇中心ci和c′j的概率；p（ci，c′j）表示在數(shù)據(jù)集中隨機(jī)選擇的一個(gè)實(shí)例。MI（C，C′）的取值為（0，max（H（C），H（C′））），因此NMI的取值為［0，1］。

Purity度量聚類方法正確聚類的百分比，定義為

Purity（C，Ω）=1N∑kmaxj|ck∩Ωj|（21）

其中：Purity的取值為［0，1］。

3.4實(shí)驗(yàn)結(jié)果

所有基線方法代碼由作者提供，同時(shí)根據(jù)相關(guān)文獻(xiàn)對所有比較方法的參數(shù)進(jìn)行調(diào)整，以獲得最佳的聚類性能。在實(shí)驗(yàn)中，設(shè)置算法的最大迭代次數(shù)為100次，收斂閾值為1E-6。在后面的章節(jié)中，將對參數(shù)敏感性進(jìn)行實(shí)證分析，結(jié)果表明，在合適的參數(shù)值范圍內(nèi)，該算法可以獲得穩(wěn)定的聚類結(jié)果。

在實(shí)驗(yàn)中，在數(shù)據(jù)集BBCSport上，設(shè)置參數(shù)α=1，β=0.000 1，λb=0.001；在圖像數(shù)據(jù)集上設(shè)置參數(shù)α=1，β=0.1，λb=0.01。表2～7為所有模型在圖像數(shù)據(jù)集UCI和文字?jǐn)?shù)據(jù)集BBCSport上獲得的ACC、NMI和Purity。同時(shí)報(bào)告了在六個(gè)數(shù)據(jù)集上的聚類性能的平均值。最佳性能以粗體突出顯示。

根據(jù)表2～7的測試結(jié)果，可以得到以下結(jié)論：

a）根據(jù)三類常用的聚類準(zhǔn)則，該算法在所有數(shù)據(jù)集上都取得了較好的聚類性能。這表明數(shù)據(jù)的全局和局部結(jié)構(gòu)在發(fā)現(xiàn)判別表現(xiàn)子空間中起著至關(guān)重要的作用。

b）在圖像和文字?jǐn)?shù)據(jù)集中，利用多視圖Multi-GNMF、NMF-CC、Multi-NMF的聚類性能優(yōu)于NMF、GNMF，基于多視圖的NMF對于基于單視圖的NMF更有效。當(dāng)多視圖被忽略時(shí)，Multi-GNMF降級為GNMF、Multi-NMF降級為NMF。正如所見，Multi-GNMF和Multi-NMF在所有六個(gè)數(shù)據(jù)集上都優(yōu)于GNMF和NMF。這表明只考慮單視圖數(shù)據(jù)的算法忽略了多視圖數(shù)據(jù)之間的共同信息或特殊統(tǒng)計(jì)特性，而基于多視圖框架可以學(xué)習(xí)并整合互補(bǔ)視圖里更多信息，由此得到更好的聚類性能。

c）在圖像和文字?jǐn)?shù)據(jù)集中，Multi-GNMF、NMF-CC是基于局部結(jié)構(gòu)發(fā)矩陣分解方法。通過構(gòu)建最近鄰圖來學(xué)習(xí)表示，從而獲得比Multi-NMF更好的性能。這表明在學(xué)習(xí)隱藏因子時(shí)考慮局部幾何結(jié)構(gòu)是必要的。基于圖結(jié)構(gòu)重點(diǎn)關(guān)注了樣本數(shù)據(jù)之間的局部信息，避免了在學(xué)習(xí)過程中相似樣本之間的內(nèi)在聯(lián)系的丟失，從而得到更好的學(xué)習(xí)表征。

d）在這些數(shù)據(jù)集上，提出的算法SRMNMF比NMF-CC和Multi-GNMF算法具有更好的性能，這表明Multi-GNMF和NMF-CC無法有效地捕捉內(nèi)核空間中的全局結(jié)構(gòu)。顯然，如果重視全局結(jié)構(gòu)，Multi-GNMF和NMF-CC的學(xué)習(xí)性能可以明顯提高。然而Multi-GNMF不如SRMNMF，主要原因是SRMNMF使用主成分分析約束能更好地學(xué)習(xí)全局信息，從而提升聚類性能。

綜上所述，本文算法利用主成分分析約束、圖正則化約束以及多視圖學(xué)習(xí)來捕獲數(shù)據(jù)的聚類結(jié)構(gòu)，可以獲得較好的聚類性能。

3.5收斂性分析

本文算法采用迭代更新規(guī)則來尋找目標(biāo)函數(shù)的局部最小值。這里，將通過經(jīng)驗(yàn)驗(yàn)證證明迭代更新規(guī)則在所有數(shù)據(jù)集上是收斂的，如圖1所示。對于每個(gè)圖，將x軸設(shè)為迭代次數(shù)，y軸設(shè)為目標(biāo)函數(shù)值。從圖中可以看出，SRMNMF算法在迭代更新規(guī)則方面是收斂的。

3.6參數(shù)敏感性分析

在本節(jié)中，將進(jìn)一步評估所提出的算法中不同參數(shù)的選擇對最終性能的影響。SRMNMF模型包含三種基本參數(shù)，即圖正則化參數(shù)α、主成分分析約束參數(shù)β、多視圖權(quán)重系數(shù)λb。其中，圖正則化參數(shù)α表示流行正則化的使用權(quán)重；主成分分析約束參數(shù)β用來調(diào)節(jié)捕獲數(shù)據(jù)的全局結(jié)構(gòu)的權(quán)重，加速目標(biāo)函數(shù)的收斂；多視圖權(quán)重系數(shù)λb調(diào)節(jié)不同視圖之間的學(xué)習(xí)表征的相對權(quán)重，同時(shí)還調(diào)節(jié)重構(gòu)誤差與D（V（b），V*）之間的比重。

在此以digit2數(shù)據(jù)集為例，測試參數(shù)的敏感性，并展示對ACC、NMI和Purity的影響。圖2～4顯示了RSMNMF根據(jù)三個(gè)參數(shù)α、β和λb改變而得到的聚類性能。同時(shí)，在其余數(shù)據(jù)集上也可以獲得類似的觀察結(jié)果，因此在此省略。

4結(jié)束語

本文提出了一種新穎的多視圖非負(fù)矩陣分解方法，稱為結(jié)構(gòu)正則化多視圖非負(fù)矩陣分解算法（SRMNMF）。SRMNMF從多視圖視角出發(fā)，分別將數(shù)據(jù)的全局和局部結(jié)構(gòu)作為正則化項(xiàng)引入到NMF的歐氏距離代價(jià)函數(shù)中，使學(xué)到的表征更有判別力。實(shí)驗(yàn)結(jié)果表明，與流行的多視圖聚類方法相比，所提出的SRMNMF可以在圖像和文本數(shù)據(jù)集上得到更好的聚類性能。在將來的工作中，將從多視圖技術(shù)出發(fā)，將全局和局部結(jié)構(gòu)應(yīng)用到非負(fù)矩陣分解的離散目標(biāo)函數(shù)中，嘗試從另一個(gè)視角來提升矩陣分解的質(zhì)量。

參考文獻(xiàn)：

［1］Peng Xinjun，Xu Dong，Chen De.Progressive transduction nonnegative matrix factorization for dimensionality reduction［J］.Neurocompu-ting，2020，414：76-89.

［2］Lu Zhoumin，Liu Genggeng，Wang Shiping.Sparse neighbor constrained co-clustering via category consistency learning［J］.Knowledge-Based Systems，2020，201-202：105987.

［3］Tang Jiayi，Wan Zhong.Orthogonal dual graph-regularized nonnegative matrix factorization for co-clustering［J］.Journal of Scientific Computing，2021，87（3）：1-37.

［4］張駿.基于類別信息和稀疏表示的非負(fù)矩陣分解［J］.哈爾濱商業(yè)大學(xué)學(xué)報(bào)：自然科學(xué)版，2017，33（5）：607-610.（Zhang Jun.Soft-constrained nonnegative matrix factorization with sparse coding［J］.Journal of Harbin University of Commerce ：Natural Sciences Edition，2017，33（5）：607-610.）

［5］Wang Ke，Liao Ruijin，Yang Lijun，et al.Nonnegative matrix factorization aided principal component analysis for high-resolution partial discharge image compression in Transformers［J］.International Review of Electrical Engineering，2013，8（1）：479-490.

［6］Li Hao，Li Keqin，An Jiyao.An efficient manifold regularized sparse non-negative matrix factorization model for large-scale recommender systems on GPUs［J］.Information Sciences，2019，496（C）：464-484.

［7］Poonam B ，Shaily M.Matrix factorization-based improved classification of gene expression data［J］.Recent Advances in Computer Science and Communications，2020，13（5）：858-863.

［8］李全剛，時(shí)金橋，秦志光，等.面向郵件網(wǎng)絡(luò)事件檢測的用戶行為模式挖掘［J］.計(jì)算機(jī)學(xué)報(bào)，2014，37（5）：1135-1146.（Li Quan-gang，Shi Jinqiao，Qin Zhiguang，et al.Mining user behavior patterns for event detection in email networks［J］.Chinese Journal of Computers，2014，37（5）：1135-1146.）

［9］Akashi Y，Okatani T.Separation of reflection components by sparse non-negative matrix factorization［J］.Computer Vision and Image Understanding，2016，146：77-85.

［10］Kong Deguang，Ding C，Huang Heng.Robust nonnegative matrix factorization using L21-norm［C］//Proc of the 20th ACM International Conference on Information and Knowledge Management.New York：ACM Press，2011：673-682.

［11］Liu Yong，Liao Yiyi，Tang Liang，et al.General subspace constrained non-negative matrix factorization for data representation［J］.Neurocomputing，2016，173：224-232.

［12］Hettiarachchi R，Peters J F.Multi-manifold LLE learning in pattern recognition［J］.Pattern Recognition，2015，48（9）：2947-2960.

［13］Cai Deng，He Xiaofei，Han Jiawei，et al.Graph regularized nonnegative matrix factorization for data representation［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2011，33（8）：1548-1560.

［14］Peng Chong，Zhang Zhilu，Chen Chenglizhao，et al.Two-dimensional semi-nonnegative matrix factorization for clustering［J］.Information Sciences，2022，590：106-141.

［15］Liu Xiangyu，Song Peng，Sheng Chao，et al.Robust multi-view non-negative matrix factorization for clustering［J］.Digital Signal Processing，2022，123：103447.

［16］Khan G A，Hu Jie，Li Tianrui，et al.Multi-view data clustering via non-negative matrix factorization with manifold regularization［J］.International Journal of Machine Learning and Cybernetics，2021，13：677.

［17］何雪梅.多視圖聚類算法綜述［J］.軟件導(dǎo)刊，2019，18（4）：79-81，86.（He Xuemei.A survey of multi-view clustering algorithms［J］.Software Guide，2019，18（4）：79-81，86.）

［18］Deepak P ，Anna J.Multi-view clustering［M］.Cham：Springer，2019：27-53.

［19］Liu Jialu，Wang Chi，Gao Jing.Multi-view clustering via joint nonne-gative matrix factorization［C］//Proc of SIAM International Confe-rence on Data Mining.2013：252-260.

［20］Wang Zhenfan，Kong Xianwei，F(xiàn)u Haiyan，et al.Feature extraction via multi-view non-negative matrix factorization with local graph regularization［C］//Proc of IEEE International Conference on Image Proces-sing.Piscataway，NJ：IEEE Press，2015：3500-3504.

［21］Lee D D，Seung H S.Algorithms for non-negative matrix factorization［C］//Proc of the 13th International Conference on Neural Information Processing Systems.［S.l.］：MIT Press，2000：535-541.

［22］Lee D D，Seung H S.Learning the parts of objects by non-negative matrix factorization.［J］.Nature，1999，401（6755）：788-791.

［23］Yao Chao，Han Junwei，Nie Feiping，et al.Local regression and global information-embedded dimension reduction［J］.IEEE Trans on Neural Networks and Learning Systems，2018，29（10）：4882-4893.

［24］Geng Bo，Tao Dacheng，Xu Chao，et al.Ensemble manifold regularization［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2012，34（6）：1227-1233.

［25］Wang J J Y，Bensmail H，Gao Xin.Multiple graph regularized nonne-gative matrix factorization［J］.Pattern Recognition，2013，46（10）：2840-2847.

［26］Huang Qi，Yin Xuesong，Chen Songcan，et al.Robust nonnegative matrix factorization with structure regularization［J］.Neurocomputing，2020，412：72-90.

［27］Xu Wei，Liu Xin，Gong Yihong.Document clustering based on non-negative matrix factorization［C］//Proc of the 26th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval.New York：ACM Press，2003：267-273.

［28］Ajit P S，Geoffrey J G.Relational learning via collective matrix factorization［J］.Knowledge Discovery and Data Mining，2008，1：650-658.

［29］Liang Naiyao，Yang Zuyuan，Li Zhenni，et al.Multi-view clustering by non-negative matrix factorization with co-orthogonal constraints［J］.Knowledge-Based Systems，2020，194：105582.

收稿日期：2022-04-01；修回日期：2022-05-27

作者簡介：連佳琪（1999-），女，湖北荊州人，碩士研究生，主要研究方向?yàn)闄C(jī)器學(xué)習(xí)與模式識別；王毅剛（1971-），男，河南嵩縣人，教授，博導(dǎo)，碩導(dǎo)，主要研究方向?yàn)橛?jì)算機(jī)圖形學(xué)與虛擬現(xiàn)實(shí)；儲志偉（1995-），男，碩士，主要研究方向?yàn)橛?jì)算機(jī)圖形學(xué)；尹學(xué)松（1975-），男（通信作者），教授，碩導(dǎo)，主要研究方向?yàn)闄C(jī)器學(xué)習(xí)、模式識別、數(shù)據(jù)挖掘和圖像處理（yinxs@hdu.edu.cn）．