自適應(yīng)標(biāo)記關(guān)聯(lián)與實例關(guān)聯(lián)誘導(dǎo)的缺失多視圖弱標(biāo)記學(xué)習(xí)

查思明，鮑慶森，駱健,2，陳蕾,2

（1.南京郵電大學(xué) 計算機(jī)學(xué)院，江蘇 南京 210003;2.南京郵電大學(xué) 江蘇省大數(shù)據(jù)安全與智能處理重點實驗室，江蘇 南京 210003）

實際應(yīng)用中，實例通常與多個標(biāo)記相關(guān)聯(lián)，例如一首歌曲可能與多種情感相關(guān)，一張圖片可能與多種事物相關(guān)，一個網(wǎng)頁可能與多個主題相關(guān)。近年來，多標(biāo)記學(xué)習(xí)引起了人們關(guān)注。

多標(biāo)記學(xué)習(xí)旨在從一系列候選標(biāo)記集中選出與實例相關(guān)的標(biāo)記，探索標(biāo)記關(guān)聯(lián)關(guān)系對多標(biāo)記學(xué)習(xí)有很大幫助。例如，圖像標(biāo)注中，標(biāo)記紅綠燈和馬路同時出現(xiàn)，那么很大概率也會出現(xiàn)汽車標(biāo)記，而出現(xiàn)輪船這一標(biāo)記的概率會很小。已有多種多標(biāo)記學(xué)習(xí)算法通過考慮標(biāo)記關(guān)聯(lián)關(guān)系來提高分類效果，典型的是將原始標(biāo)記向量投影到一個低維標(biāo)記空間中[1],分類時基于低維標(biāo)記向量，通過標(biāo)記關(guān)聯(lián)關(guān)系恢復(fù)原始標(biāo)記向量，文獻(xiàn)[2]利用標(biāo)記關(guān)聯(lián)矩陣的低秩性刻畫標(biāo)記關(guān)聯(lián)關(guān)系，文獻(xiàn)[3]考慮全局和局部標(biāo)記關(guān)聯(lián)關(guān)系。

盡管許多多標(biāo)記學(xué)習(xí)方法已被提出，但是仍然存在以下問題。1)大部分現(xiàn)有多標(biāo)記學(xué)習(xí)方法僅考慮單視圖特征數(shù)據(jù)，而實際應(yīng)用中，一個實例可能有多種不同的視圖特征表示，例如，一張圖像可以用紋理、形狀、顏色等不同類別特征來描述。2)訓(xùn)練樣本標(biāo)記不完整時，難以定義合理的標(biāo)記關(guān)聯(lián)關(guān)系，例如網(wǎng)頁分類中，存在人工難以確定某些主題是否與網(wǎng)頁相關(guān)的情況。3)多種基于單視圖或多視圖的弱標(biāo)記學(xué)習(xí)方法已被提出，但很少有考慮數(shù)據(jù)特征不完整情況。數(shù)據(jù)特征不完整時，多標(biāo)記學(xué)習(xí)模型性能會受到不好的影響，多視圖數(shù)據(jù)中視圖特征不完整時，問題會更加復(fù)雜，例如一個網(wǎng)頁可以由視頻、音頻、評論等多種方式描述，但某些網(wǎng)頁，僅包含以上一種或兩種描述。

近期，大量關(guān)于圖的流形正則化方法被嵌入到分類任務(wù)，通過有效表征節(jié)點之間關(guān)聯(lián)關(guān)系，提高分類性能。因此，針對以上問題，本文提出自適應(yīng)標(biāo)記關(guān)聯(lián)與實例關(guān)聯(lián)誘導(dǎo)的缺失多視圖弱標(biāo)記學(xué)習(xí)算法，可以同時解決多視圖多標(biāo)記學(xué)習(xí)領(lǐng)域里視圖特征不完整、標(biāo)記不完整問題。算法目標(biāo)是基于不完整多視圖特征數(shù)據(jù)，學(xué)習(xí)一個潛在共享表示，并聯(lián)合弱標(biāo)記數(shù)據(jù)，學(xué)習(xí)一個魯棒的分類器，在其中融合實例關(guān)聯(lián)關(guān)系、標(biāo)記關(guān)聯(lián)關(guān)系使學(xué)到的共享表示及分類器更加合理。最后用交替方向法(alternating direction method，ADM)求解，在4 個多視圖多標(biāo)記數(shù)據(jù)集上實驗，結(jié)果表明所提方法能夠有效解決不完整多視圖弱標(biāo)記學(xué)習(xí)問題。

1 相關(guān)工作

多標(biāo)記學(xué)習(xí)具有一定挑戰(zhàn)性，因為基于一個未標(biāo)記實例預(yù)測出的標(biāo)記集合數(shù)量與標(biāo)記候選集標(biāo)記個數(shù)成指數(shù)關(guān)系，為解決以上問題，現(xiàn)有方法主要通過融合標(biāo)記關(guān)聯(lián)關(guān)系，來促進(jìn)多標(biāo)記學(xué)習(xí)。根據(jù)考慮標(biāo)記相關(guān)性的策略可以將多標(biāo)記學(xué)習(xí)分為3 大類，即一階策略、二階策略、高階策略[4]。

其中，一階策略是指逐個處理每個標(biāo)記，典型算法BR(binary relevance)[5]，將多標(biāo)記學(xué)習(xí)問題分解為許多獨立的二元分類問題。一階策略優(yōu)點在于其概念簡單，另一方面，由于忽略了標(biāo)記之間相關(guān)性，結(jié)果可能欠佳。二階策略是指算法考慮標(biāo)記兩兩之間關(guān)系來解決多標(biāo)記學(xué)習(xí)問題，典型算法CLR (calibrated label ranking)[6]，由于二階策略利用了標(biāo)記相關(guān)性，從而此類方法可以實現(xiàn)良好的泛化性能，但一些真實應(yīng)用中，標(biāo)記相關(guān)性超出了二階假設(shè)，因此該策略會受到影響。高階策略是指算法考慮標(biāo)記之間高階關(guān)系來解決多標(biāo)記學(xué)習(xí)任務(wù)，考察所有標(biāo)記之間相互關(guān)聯(lián)關(guān)系，典型算法有random k-labelsets[7]，該算法基本思想是將多標(biāo)記學(xué)習(xí)問題轉(zhuǎn)化為多個類別的分類任務(wù)。近期，文獻(xiàn)[8]基于樣本標(biāo)記數(shù)據(jù)，通過k 近鄰描述標(biāo)記之間相似性，促進(jìn)多標(biāo)記學(xué)習(xí)，文獻(xiàn)[9]利用結(jié)構(gòu)性稀疏刻畫樣本特征和標(biāo)記噪聲，解決數(shù)據(jù)特征和標(biāo)記同時存在噪聲的問題，文獻(xiàn)[10]提出一種弱標(biāo)記學(xué)習(xí)方法，利用實例關(guān)聯(lián)關(guān)系和標(biāo)記關(guān)聯(lián)關(guān)系，集多個模型于一體，有效解決了標(biāo)記不完整場景，文獻(xiàn)[11]結(jié)合神經(jīng)網(wǎng)絡(luò)，選擇可預(yù)測的地標(biāo)，通過標(biāo)記關(guān)聯(lián)關(guān)系恢復(fù)整個標(biāo)簽集合，能夠有效處理多標(biāo)記學(xué)習(xí)問題中標(biāo)簽數(shù)量大的情況。與一階策略和二階策略相比，高階策略具有更強(qiáng)的相關(guān)性建模能力，更好的泛化性能。

為了有效處理多標(biāo)記學(xué)習(xí)任務(wù)，一些自適應(yīng)算法被提出，該類方法通過嵌入經(jīng)典流行的學(xué)習(xí)技術(shù)解決多標(biāo)記學(xué)習(xí)問題。典型的算法有一階策略ML-KNN (multi-label k-nearest neighbor)[12]和ML-DT (multi-label decision tree)[13]，分別利用惰性學(xué)習(xí)和決策樹技術(shù)來處理多標(biāo)記學(xué)習(xí)任務(wù)，二階策略CML (collective multi-label classifier)[14]利用信息論技術(shù)處理多標(biāo)記學(xué)習(xí)任務(wù)。

多標(biāo)記學(xué)習(xí)算法一般考慮實例特征是單視圖特征，然而，實際應(yīng)用中，實例通常有不同類別的視圖特征，因此，多視圖多標(biāo)記學(xué)習(xí)引起了人們的興趣。文獻(xiàn)[15]基于多視圖特征數(shù)據(jù)，利用矩陣分解得到潛在共享表示進(jìn)行多標(biāo)記學(xué)習(xí)，文獻(xiàn)[16]假設(shè)共享表示矩陣低秩，進(jìn)而使用矩陣補(bǔ)全算法進(jìn)行多標(biāo)記學(xué)習(xí)，文獻(xiàn)[17]聯(lián)合多視圖特征數(shù)據(jù)，通過特征選擇得到一組低維有效的特征進(jìn)行多標(biāo)記學(xué)習(xí)，文獻(xiàn)[18]提出一種不完整多視圖弱標(biāo)記學(xué)習(xí)算法，用標(biāo)記關(guān)聯(lián)矩陣低秩性刻畫標(biāo)記關(guān)聯(lián)關(guān)系，同時學(xué)習(xí)共享表示、局部標(biāo)記關(guān)聯(lián)關(guān)系和一個分類器，性能良好，文獻(xiàn)[19]提出多視圖網(wǎng)絡(luò)模型框架，針對不完整多視圖異構(gòu)數(shù)據(jù)具有強(qiáng)適應(yīng)性，文獻(xiàn)[20]采用矩陣分解，從具有特定約束的多視圖數(shù)據(jù)中獲得分層表示，文獻(xiàn)[21]利用生成對抗網(wǎng)絡(luò)處理缺失視圖問題。

2 模型框架

對于視圖不完整，具體表現(xiàn)為一個實例并不是在所有視圖中的特征都存在，即對于第v個視圖的特征矩陣Xv，存在成列缺失，解決該問題的一種簡單方法就是刪除在任何視圖中存在缺失特征的樣本，但是這會大量減少能使用的訓(xùn)練樣本數(shù)量。對于標(biāo)記不完整，具體表現(xiàn)為標(biāo)記矩陣Y=[y1y2···yn]∈{?1,0,1}c×n，當(dāng)yij=?1 時，第i個 標(biāo)記與第j個樣本不相關(guān)，當(dāng)yij=1時，第i個標(biāo)記與第j個樣本相關(guān)，當(dāng)yij=0 時，不確定第i個標(biāo)記是否與第j個樣本相關(guān)，即第i個標(biāo)記關(guān)于第j個樣本，可能是正標(biāo)記，也可能是負(fù)標(biāo)記。本文目標(biāo)就是基于以上描述的不完整多視圖弱標(biāo)記數(shù)據(jù)，學(xué)習(xí)一個分類器來預(yù)測未標(biāo)記的不完整多視圖實例的相關(guān)標(biāo)記。ACMVML 模型框架如圖1 所示。

圖1 ACMVWL 的模型框架Fig.1 Model framework of ACMVWL

2.1 基本模型

對于多視圖多標(biāo)記學(xué)習(xí)，如何得到一個具有判別性的共享表示和如何基于共享表示、標(biāo)記信息訓(xùn)練一個有效魯棒的分類器是兩個需要解決的問題。首先，假設(shè)樣本不同視圖特征來源于一個共享表示，Xv=PvV，其中表示第v個視圖的特征矩陣，V∈Rk×n表示共享表示矩陣，表示與第v個視圖相關(guān)的投影矩陣，可以理解為Xv是 基于共享表示V，通過投影矩陣Pv投影而得。利用矩陣分解框架，可以將以上描述刻畫為

其中，約束項 (Pv)TPv=I可以避免有無窮多組解，通過(1)學(xué)習(xí)到的共享表示V可以捕獲多視圖特征的互補(bǔ)信息[22]。

多視圖特征數(shù)據(jù)成列缺失時，一種簡單方法即通過已有數(shù)據(jù)特征均值來填充，但這種方法會帶來較大誤差，當(dāng)缺失很多時對模型影響尤為明顯，因此不是處理不完整多視圖數(shù)據(jù)的有效方法。本模型采用一種監(jiān)督方法，充分利用已有的多視圖數(shù)據(jù)學(xué)習(xí)一個潛在共享表示，即

但是(2)學(xué)到的共享表示V，沒有考慮標(biāo)記信息，因此判別能力不強(qiáng)，為增強(qiáng)其判別能力，通常可以聯(lián)系標(biāo)記信息，將其融合到統(tǒng)一框架。考慮到弱標(biāo)記情形，標(biāo)記信息不完整，與利用不完整特征數(shù)據(jù)相仿,充分利用已確定的那部分標(biāo)記信息，提出基本模型：

式中：M∈{1,0}c×n，當(dāng)Yi j=0 時，Mi j=0，否則Mij=1；W∈Rc×k表示線性分類器，可以理解為將共享表示V投影到標(biāo)記空間的映射；變量 λ1為超參數(shù)。將學(xué)習(xí)共享表示和分類器融合到統(tǒng)一框架，可以使學(xué)到的共享表示V更具判別性，減小共享表示與標(biāo)記空間之間的鴻溝[23]。

2.2 標(biāo)記流形正則化

考慮標(biāo)記關(guān)聯(lián)關(guān)系在弱標(biāo)記學(xué)習(xí)中非常重要，通常可以提高多標(biāo)記學(xué)習(xí)性能[24]。近年來，流形正則化思想被廣泛利用到分類任務(wù)中，其中可以利用圖的拉普拉斯矩陣刻畫節(jié)點之間關(guān)聯(lián)關(guān)系。

基于標(biāo)記關(guān)聯(lián)關(guān)系的流形正則化思想可以理解為若兩個標(biāo)記之間相似性越高，則分類器輸出的關(guān)于兩個標(biāo)記的預(yù)測結(jié)果也越相近，否則相反。換句話說，正相關(guān)的兩個標(biāo)記引導(dǎo)分類器關(guān)于其輸出盡可能相似，負(fù)相關(guān)的兩個標(biāo)記引導(dǎo)分類器關(guān)于其輸出盡可能有差異。設(shè)F=WV∈Rc×n，F(xiàn)表示基于n個樣本特征的預(yù)測結(jié)果，fi,:指F的第i行，如果第i個標(biāo)記與第j個標(biāo)記越相似，則fi,:和fj,:也應(yīng)該越相似，基于標(biāo)記流形正則化可以定義為

式中：Sc是c×c維標(biāo)記關(guān)聯(lián)矩陣，如果標(biāo)記i和j越相關(guān)，則[Sc]i,j越大，通過最小化將會越小。設(shè)Dc為 對角矩陣，其對角線元素為Sc A，其中A是全1 向量，(4)中流形正則化項等價于T r(FTLcF)[25],Lc=Dc?Sc為標(biāo)記關(guān)聯(lián)矩陣Sc的c×c維拉普拉斯矩陣。問題(3)基礎(chǔ)上增加基于標(biāo)記關(guān)聯(lián)關(guān)系的流形正則化,變量 λ2為超參數(shù)，模型可以表達(dá)為

2.3 自適應(yīng)標(biāo)記關(guān)聯(lián)

標(biāo)記流形正則化的成功取決于有一個好的標(biāo)記關(guān)聯(lián)矩陣（或者一個好的標(biāo)記拉普拉斯矩陣）。一種簡單方法是基于距離度量標(biāo)記關(guān)聯(lián)關(guān)系，比如高斯距離、余弦距離等來直接計算兩個標(biāo)記之間關(guān)聯(lián)關(guān)系[26]，但是因為訓(xùn)練集中一些標(biāo)記有很少的正例，關(guān)聯(lián)關(guān)系的估算會不太理想，部分標(biāo)記缺失時，這種估算方法得出的關(guān)聯(lián)關(guān)系會更沒有說服力，因為估算出的標(biāo)記分布與真實標(biāo)記分布差異很大。為了有效描述標(biāo)記關(guān)聯(lián)關(guān)系，本文直接學(xué)習(xí)一個關(guān)于標(biāo)記的拉普拉斯矩陣間接刻畫標(biāo)記關(guān)聯(lián)關(guān)系。拉普拉斯矩陣具有對稱半正定性，若直接學(xué)習(xí)Lc，無法得到一個對稱半正定的拉普拉斯矩陣，且可能會產(chǎn)生平凡解Lc=0。因此，可以將Lc分解為其中Zc∈Rc×l,將學(xué)習(xí)拉普拉斯矩陣問題轉(zhuǎn)化為學(xué)習(xí)Zc，在優(yōu)化時，會產(chǎn)生平凡解Zc=0；為了避免平凡解，可以增加約束這一約束也可以使模型得到一個標(biāo)準(zhǔn)拉普拉斯矩陣[27]，該標(biāo)準(zhǔn)拉普拉斯矩陣可以有效表征節(jié)點之間關(guān)聯(lián)關(guān)系，文獻(xiàn)[3]利用此方法取得了有效結(jié)果。基于以上討論，融合分解拉普拉斯矩陣及增加約束可以得到下面的優(yōu)化問題：

2.4 自適應(yīng)實例關(guān)聯(lián)

多視圖多標(biāo)記學(xué)習(xí)性能與學(xué)到的共享表示V密切相關(guān)，與多標(biāo)記學(xué)習(xí)領(lǐng)域考慮標(biāo)記關(guān)聯(lián)關(guān)系的重要作用類似，如果能夠獲取實例之間關(guān)聯(lián)關(guān)系，就可以利用實例分布輔助學(xué)習(xí)共享表示V。設(shè)Sn是n×n維實例關(guān)聯(lián)矩陣，v:,i指V的第i列，v:,j指V的第j列，分別代表在完整共享表示空間里的 第i和第j個實例。若第i個實例與第j個實例 越相似，則v:,i和v:,j也應(yīng)該越相似，基于實例流形正則化可以定義為

設(shè)Dn為對角矩陣，對角線元素為SnA，(7)中流形正則化項等價于 tr(VLnVT)，Ln=Dn?Sn為實例關(guān)聯(lián)矩陣Sn的n×n維拉普拉斯矩陣。利用流行正則化技術(shù)時，通常可以基于距離度量計算實例關(guān)聯(lián)關(guān)系，當(dāng)多視圖特征數(shù)據(jù)成列缺失，一種簡單方法即將缺失部分特征取值為未缺失部分特征的均值，將填充后的多視圖數(shù)據(jù)連接成單視圖，基于距離計算實例關(guān)聯(lián)關(guān)系。但這種方法會帶來較大誤差，缺失很多時對模型影響尤為明顯，因此不可行。與學(xué)習(xí)標(biāo)記拉普拉斯矩陣相仿，本文學(xué)習(xí)一個刻畫實例關(guān)聯(lián)關(guān)系的標(biāo)準(zhǔn)拉普拉斯矩陣，將Ln分解為其中Zn∈Rn×r,將學(xué)習(xí)拉普拉 斯矩陣問題轉(zhuǎn)化為學(xué)習(xí)Zn，在問題(6)的基礎(chǔ)上增加基于實例關(guān)聯(lián)關(guān)系的流形正則化，并且將F 范數(shù)的平方作用于W、V來增強(qiáng)模型穩(wěn)定性，變量 λ3、λ4為超參數(shù)，模型可以表達(dá)為

3 優(yōu)化求解

問題(8)可以用交替方向法(alternating direction method,ADM)求解，該方法能夠迭代地調(diào)整變量以找到有效結(jié)果。每次迭代中，用梯度下降法[28]分別更新 {Zn,Zc,V,W,Pv}中的一個變量，同時固定其他變量，整個優(yōu)化問題可以簡化為5 個子問題，借助工具包MANOPT[29]實現(xiàn)求解，詳細(xì)的更新過程將在下面進(jìn)行討論。

1) 更新Zn，問題(8)簡化為

其中Zn,i,:指 矩陣Zn的 第i行。

2) 更新Zc，問題(8)簡化為

與問題(9)目標(biāo)函數(shù)同理，問題(10)關(guān)于Zc的梯度為

3) 更新V，問題(8)簡化為

目標(biāo)函數(shù)關(guān)于V的梯度為

4) 更新W，問題(8)簡化為

關(guān)于W的梯度為

5) 更新Pv，v∈{1,2,···,m}，問題(8)簡化為

因為 (Pv)TPv=I，所以該問題沒有閉式解，用梯度下降法進(jìn)行求解，目標(biāo)函數(shù)關(guān)于Pv的梯度如下：

對于約束 (Pv)TPv=I，調(diào)用工具包MANOPT，利用梯度下降法，在球形空間 (Pv)TPv=I里，搜索最優(yōu)解。優(yōu)化算法重復(fù)上述更新過程，直至收斂。其中初始化W=rand(c,k)，V=rand(k,n)，Zc=rand(c,l)，Zn=rand(n,r)。

4 實驗

4.1 數(shù)據(jù)集

本文在4 個多視圖多標(biāo)記數(shù)據(jù)集上進(jìn)行實驗：C-orel5k，ESPGame，IAPRTC12，Mirflickr。數(shù)據(jù)集來源于網(wǎng)站(http://lear.inrialpes.fr/people/guillaumin/data.php)。詳細(xì)信息如表1 所示。

表1 多視圖多標(biāo)記數(shù)據(jù)集的特征Table 1 Characteristics of the multi-view multi-label datasets

4.2 實驗設(shè)置

本文將所提模型同幾個相關(guān)算法比較，包括文獻(xiàn)[3]提出的基于全局和局部標(biāo)記關(guān)聯(lián)關(guān)系的多標(biāo)記學(xué)習(xí)算法(Glocal)，捕獲全局和局部標(biāo)記關(guān)聯(lián)關(guān)系，促進(jìn)多標(biāo)記學(xué)習(xí)，HNOML[9]利用結(jié)構(gòu)性稀疏刻畫樣本特征和標(biāo)記噪聲，解決數(shù)據(jù)特征和標(biāo)記同時存在噪聲的問題，LrMMC[16]假設(shè)多視圖特征數(shù)據(jù)來源于一個共享表示且共享表示矩陣低秩，進(jìn)而使用矩陣補(bǔ)全算法進(jìn)行多標(biāo)記學(xué)習(xí)，MVLIV[20]提出了一種多視圖學(xué)習(xí)方法，考慮了視圖不完整情形，IMVWL[18]提出一種不完整多視圖弱標(biāo)記學(xué)習(xí)算法，用矩陣低秩性來刻畫標(biāo)記關(guān)聯(lián)關(guān)系，同時學(xué)習(xí)潛在共享表示、局部標(biāo)記關(guān)聯(lián)關(guān)系和一個分類器。其中，方法ML-KNN、Glocal、LrMMC 不能直接處理不完整多視圖弱標(biāo)記學(xué)習(xí)問題，對于算法ML-KNN、Glocal、LrMMC，將缺失部分特征取值為未缺失部分特征的均值，對于算法ML-KNN、MVLIV 將缺失標(biāo)記視為負(fù)標(biāo)記，對于單視圖多標(biāo)記學(xué)習(xí)算法ML-KNN、Glocal，將處理后的多視圖特征數(shù)據(jù)疊加成一個向量。

對于本文模型ACMVWL 的超參數(shù) λ1,λ2,λ3,λ4，從集合 {10?4,10?3,···,102}通過網(wǎng)格搜索、三折交叉驗證策略確定每個參數(shù)的最佳值，推薦分別設(shè)為100，10，1，1。維度k、l、r分別以視圖特征最低維度dmin、候選標(biāo)記數(shù)量c、訓(xùn)練樣本數(shù)量n為基準(zhǔn)，按比例 {0.1,0.2,···,1}測試，選取各自的值，推薦k=0.5dmin，l=0.3c，r=0.1n。其余算 法盡力 調(diào)參，以達(dá)到最好效果。并且進(jìn)行一組消融實驗，驗證本文提出模型關(guān)鍵項的有效作用。

4.3 對比實驗

對比實驗特征缺失率取50%，標(biāo)記缺失率取50%，實驗結(jié)果（平均值 ±標(biāo)準(zhǔn)差）如表2，最優(yōu)值標(biāo)記為粗體，次優(yōu)值標(biāo)記為下劃線，其中最后一行統(tǒng)計了各個算法分別取得最優(yōu)值和次優(yōu)值的次數(shù)。可以觀察到，模型ACMVWL 在4 個真實數(shù)據(jù)集的5 個評價指標(biāo)上，90%（18/20）情況下取得最優(yōu)值或次優(yōu)值,

表2 算法對比實驗結(jié)果Table 2 Comparing result of algorithms

相比于其他算法有一定的優(yōu)勢。作為多視圖多標(biāo)記學(xué)習(xí)算法MVLIV，由于沒有考慮標(biāo)記不完整，并且學(xué)習(xí)共享表示時未考慮標(biāo)記信息所以結(jié)果欠佳，最優(yōu)值和次優(yōu)值為0%。算法LrMMC 由于沒有考慮特征和標(biāo)記不完整，所以它的結(jié)果是很一般的，20%的情況下取得最優(yōu)或次優(yōu)。IMVWL 算法學(xué)習(xí)標(biāo)記關(guān)聯(lián)關(guān)系，同時考慮到了特征缺失和標(biāo)記缺失，在35% 的情況下取得最優(yōu)或次優(yōu)值，并且在評價指標(biāo)上明顯優(yōu)于LrMMC 和MVLIV。HNOML 算法同時考慮特征噪聲和標(biāo)記噪聲，20%的情況下取得最優(yōu)或次優(yōu)結(jié)果。Glocal 考慮了標(biāo)記之間的全局關(guān)聯(lián)關(guān)系與局部關(guān)聯(lián)關(guān)系并且同時考慮到標(biāo)記不完整情況，實驗結(jié)果最優(yōu)或次優(yōu)的情況占80%，性能良好。

為驗證所提模型分別在特征和標(biāo)記不同缺失率下的表現(xiàn)，本文在Corel5k 數(shù)據(jù)集上進(jìn)行實驗，圖2(a) 為特征完整，標(biāo)記缺失率變化對比結(jié)果，圖2(b)為標(biāo)記完整，特征缺失率變化對比結(jié)果。6 種算法里，本文模型排名居前，在不同的標(biāo)記缺失率和特征缺失率下取得了有效表現(xiàn),并且隨著缺失率越大，優(yōu)勢越明顯，且隨著標(biāo)記不完整和視圖特征不完整程度變大，算法結(jié)果整體小幅度下降。

圖2 在數(shù)據(jù)集Corel5k 上不同標(biāo)記缺失率和特征缺失率對比Fig.2 Comparison of different missing rates of label and feature on Corel5k

4.4 消融實驗

模型通過學(xué)習(xí)標(biāo)記關(guān)聯(lián)關(guān)系、實例關(guān)聯(lián)關(guān)系，并且嵌入流形正則化思想，使學(xué)到的潛在共享表示以及分類器更加合理。為驗證學(xué)習(xí)標(biāo)記關(guān)聯(lián)關(guān)系與實例關(guān)聯(lián)關(guān)系對模型預(yù)測的有效作用，進(jìn)行一組消融實驗。結(jié)果（平均值 ±標(biāo)準(zhǔn)差）如表3，最優(yōu)值標(biāo)記為粗體，次優(yōu)值標(biāo)記為下劃線。ACMVWL 即為本文模型，ACMVWL-NI 為消除學(xué)習(xí)實例關(guān)聯(lián)關(guān)系項的模型(λ3=0),ACMVWL-NIL 為消除學(xué)習(xí)標(biāo)記關(guān)聯(lián)關(guān)系和實例關(guān)聯(lián)關(guān)系項的基本模型(λ2=0,λ3=0)，根據(jù)表3 可以發(fā)現(xiàn)，模型ACMVWL 表現(xiàn)排名第一，ACMVWL-NI 排名第二，ACMVWL-NIL 排名第三，效果最差。可以得出結(jié)論學(xué)習(xí)標(biāo)記關(guān)聯(lián)關(guān)系和實例關(guān)聯(lián)關(guān)系有助于提高模型預(yù)測表現(xiàn)。

表3 模型ACMVWL 的消融實驗結(jié)果Table 3 Results of the ablation experiment of ACMVWL

續(xù)表3

4.5 參數(shù)分析

這組實驗主要研究共享表示V的維度k，學(xué)習(xí)標(biāo)記關(guān)聯(lián)關(guān)系、實例關(guān)聯(lián)關(guān)系用到的Zc和Zn，其中Zc的維度l，Zn的 維度r，對上述3 個維度參數(shù)進(jìn)行實驗，實驗固定其他參數(shù)，分別探索其中一個參數(shù)的變化對模型的影響，結(jié)果如圖3 可以發(fā)現(xiàn)，當(dāng)k=0.5dmin，l=0.3c，r=0.1n時，模型性能較好。

圖3 數(shù)據(jù)集Corel5k 上維度k、l、r 的變化對Average precision 影響Fig.3 The influence of different dimension of k,l,r on Average precision of Corel5k

4.6 收斂性分析

本文模型ACMVWL 用交替方向法求解，圖4為算法在數(shù)據(jù)集Corel5k 和IAPRTC12 上收斂情況，可以明顯看出迭代次數(shù)很少的情況下即可收斂，符合預(yù)期。

圖4 Corel5k 和IAPRTC12 上的收斂曲線Fig.4 Coverage curves on Corel5k and IAPRTC12

4.7 復(fù)雜度分析

模型求解過程可以簡化為5 個子問題，分別求解 {Zn,Zc,V,W,Pv}，總體時間復(fù)雜度表示為

5 結(jié)束語

本文提出一種自適應(yīng)標(biāo)記關(guān)聯(lián)與實例關(guān)聯(lián)誘導(dǎo)的缺失多視圖弱標(biāo)記學(xué)習(xí)算法，可以同時解決多視圖多標(biāo)記學(xué)習(xí)領(lǐng)域里視圖特征不完整、標(biāo)記不完整問題。算法核心思想是基于不完整多視圖特征數(shù)據(jù)，學(xué)習(xí)一個潛在共享表示，并聯(lián)合弱標(biāo)記數(shù)據(jù)，學(xué)習(xí)一個魯棒的分類器，最后融合自適應(yīng)標(biāo)記關(guān)聯(lián)關(guān)系以及實例關(guān)聯(lián)關(guān)系，使學(xué)到的共享表示以及分類器更加合理。在4 個代表性多視圖多標(biāo)記學(xué)習(xí)相關(guān)數(shù)據(jù)集上的實驗也證明了所提模型有效性。后續(xù)工作，計劃將模型推廣到深度學(xué)習(xí)，結(jié)合深度神經(jīng)網(wǎng)絡(luò)增強(qiáng)模型性能。