特征特定標記關聯挖掘的類屬屬性學習

程玉勝 張露露 王一賓 裴根生

1(安慶師范大學計算機與信息學院 安徽安慶 246133)

2(計算智能與信號處理教育部重點實驗室(安徽大學) 合肥 230601)(chengyshaq@163.com)

隨著信息技術的高速發展，多標記學習已經成為數據挖掘領域和機器學習領域的研究熱點之一.不同于傳統單標記學習中單個示例僅與一個標記相關聯；而在多標記學習中，每個示例則與多個標記相關聯.例如，一部小說可能既屬于穿越小說又屬于科幻小說；一幅圖畫可能同時有“藍天”“白云”“大海”等多個信息標注.這種學習框架更加符合自然世界中對象的多義性，因此被廣泛應用于情感分析[1-3]、圖像標注[4-6]、文本分類[7-8]和生物信息學[9]等領域.但目前多標記學習仍然存在很大挑戰，不同于單標記空間，多標記空間具有很高的復雜度，處理高維多標記特征數據以及解決標記之間的相關性成為目前多標記學習的兩大挑戰.

在多標記分類學習中，學者們已提出多種學習算法，通常分為3類：問題轉換方法、算法適應方法和集成學習方法.問題轉換方法[10-13]直接將多標記學習問題簡化成多個獨立的單標記學習問題，此類方法忽略標記間相關性，導致分類效果欠佳，常見的問題轉化方法有BR(binary relevance)算法[12]、LP(label powerset)算法[13]等.算法適應方法[14-17]是通過對常用的監督學習算法進行改進以適應多標記學習任務，該方法具有較高的分類性能，常用的算法適應方法有MLkNN(multi-labelk-nearest neighbor)算法[14]和RANK-SVM(ranking support vector machine)算法[17]等.集成學習方法[18-20]利用多個基學習器組合以提升分類器的泛化能力，代表算法有CC(classifier chain)算法[19]和BoosTexter(boosting-based system for text categorization)算法[20].在處理多標記數據時，上述方法均采用了相同的策略，即通過多標記相同的屬性集合預測所有的類別標記.盡管此方法在多標記研究領域取得了較大成功，但所有標記由相同的屬性決定并不合理.每個類標記應該具有其自己的特征，并且由對該標記最具辨別力的一些特定特征確定.例如，在區分患者是否患有糖尿病時，血常規中血糖這一特征項具有決定性作用，但卻無法判斷該患者的性別.所以在多標記學習中某些標記可能只由其自身的某些特有屬性決定，這些特定屬性被稱之為標記的類屬屬性.利用類屬屬性進行多標記學習能夠有效地提升分類精度，并且可以避免多標記數據維度過高而導致的“維數災難”問題，使多標記學習結果魯棒性更強.但目前類屬屬性學習算法僅從標記角度考慮標記相關性提取重要特征，雖然在一定程度上取得了成功，卻忽略了從特征角度去提取重要標記.例如，若從顏色屬性去考慮標記，則很容易將“藍天”和“白云”聯系起來，尋找到某個屬性的獨有標記，得到標記間的相關關系.

基于上述分析，本文提出了一種新型的類屬屬性多標記學習算法，即從特征的角度去提取重要標記.由于某個特征與標記空間中的某些標記可能存在很強的聯系，這些標記則是該特征的重要標記.

本文的主要貢獻有4個方面：

1) 通過在特征層面考慮特征對應的重要標記與在標記層面考慮標記對應的重要特征(類屬屬性)進行聯合學習，提出了特征特定標記關聯挖掘的類屬屬性學習算法(label-specific features learning for feature-specific labels association mining, LSFFSL).

2) 為充分挖掘特征的重要標記，本文利用信息熵中的互信息理論，構建特征標記矩陣.從特征的角度挖掘其重要標記，進而得到標記之間的相關信息，避免了傳統算法中從全部標記空間考慮標記相關性導致的計算復雜性問題.

3) 將彈性網絡正則化理論添加到極限學習機損失函數中，將特征標記相關性矩陣作為L2正則化項，利用L1正則化項提取類屬屬性.

4) 在11個基準多標記數據集中與目前先進的多標記算法進行對比，實驗結果表明本文算法在多標記分類中具有良好的分類效果.

1 相關工作

在眾多領域中多標記學習具有廣闊的應用背景，但同時也存在巨大的挑戰.標記相關性和數據高維性等問題是目前多標記學習的熱點研究課題.利用類屬屬性進行多標記學習可以有效處理數據高維性.其中，融入標記相關性的類屬屬性學習能有效提升多標記的學習性能.針對標記相關性和類屬屬性學習，學者們已提出了大量的學習算法.

首先，標記相關性的學習是當前多標記學習研究的熱點問題之一，標記相關性算法一般分為3類，分別是一階算法、二階算法和高階算法.一階算法主要是將多標記學習問題轉化為多個單標記問題進行求解，例如BR算法[12]、MLkNN算法[14]和ML-EKELM(multi-label learning algorithm of elastic net kernel extreme learning machine)算法[21]等分別利用支持向量機(support vector machine, SVM)、最近鄰(k-nearest neighbor, KNN)和彈性網絡核極限學習機(kernel extreme learning machine, KELM)分類器進行多標記分類.但該策略將各標記看作是獨立的，忽略了標記之間的相關性.二階算法將多標記學習問題轉化為“標記排序”[22-24]問題求解，考慮2個標記間內在相關性時，相比一階策略算法的泛化能力有較大提高，算法有CLR(calibrated label ranking)算法[23]和LPLC(local pairwise label correlation)算法[24]等.然而現實世界對象的多義性使得二階算法無法較好地表達標記之間的相關性.而高階算法考慮所有標記之間的相關性，能更好地反映現實世界標記之間的復雜關系，常用算法有CC算法[19]和EbCC(ensembles of classifier chains)算法[25]等.但高階方法具有很高的復雜度，當數據中標記數較多時處理效率較低.

而對于類屬屬性的學習，傳統的多標記學習中標記都是由相同的屬性集合進行預測，忽略了標記自身的某些特征.基于此，Zhang等人[26]和吳磊等人[27]提出了基于類屬屬性的多標記學習算法(multi-label learning with label-specific features, LIFT)，該算法先利用k-means聚類技術應用于每個標記的正負訓練樣本，然后利用SVM方法對多標記分類進行建模，在解決多標記分類問題上取得了顯著成效.Xu等人[28]考慮到通過LIFT算法構建標記類屬屬性可能會導致特征向量維度增加，特征空間存在冗余信息，提出了基于模糊粗糙集進行類屬屬性約簡的算法(learning label-specific reduction based on fuzzy rough set, FRS-LIFT)和基于樣本選擇的類屬屬性約簡算法(learning label-specific reduction based on fuzzy rough set by sample selection, FRS-SS-LIFT).LIFT是一種合理有效的學習算法，然而這種算法忽略了標記相關性的影響，因此Huang等人[29]提出學習類屬屬性和類獨立標記的多標記學習算法(learning label-specific features and class-dependent labels, LLSF-DL)，通過特征L1正則稀疏約束和標記相關性信息求解類屬屬性矩陣和類標記獨立矩陣，該算法通過設計優化框架來學習每個標記的低維數據表示，并利用成對標記相關性考慮共享特征.Weng等人[30]在LIFT算法的基礎上提出了基于類屬屬性和局部成對標記相關性的多標記學習算法(multi-label learning based on label-specific features and local pairwise label correlation, LF-LPLC)，該算法只考慮局部成對標記之間的相關性.Zhang等人[31]通過類屬屬性和多標記聯合學習(multi-label learning with label-specific features by resolving label correlations, MLFC)，該算法的關鍵是設計一個優化模型來分配特征權重，同時構建附加特征來考慮標記之間的相關性.

2 基礎概念

2.1 信息熵

熵在信息論中是指隨機變量的一種不確定性的度量，而信息熵是度量隨機變量不確定性的程度，變量的不確定性越大信息熵也越大，信息熵也指信息量的期望.

定義1[32].信息熵.假設有一個隨機變量A={a1,a2,…,aq}，其不確定期望為

(1)

在多標記學習中，傳統信息熵常被用于特征選擇.但傳統信息熵不具有補的性質，利用粗糙集理論中等價劃分的思想，引入模糊信息熵的概念.

定義2[33-34].模糊信息熵.假設信息系統由樣本及其對應的特征所描述，把樣本空間的描述記為論域U，根據某種特征屬性可以對論域U進行劃分.假設按照特征屬性集合F={f1,f2,…,fn}對論域U進行劃分，記UF={A1,A2,…,Am}.按標記屬性對論域U進行劃分,記為B={B1,B2,…,Bn}.則模糊信息熵的定義為

E(A)=

(2)

(3)

模糊信息熵的計算只限于單隨機變量，現實問題的信息系統中一般涉及多個隨機變量，本文考慮2個標記之間的相關性，因此利用互信息的相關理論.互信息表示2個隨機變量重復的信息量，即2個隨機變量的相關性.互信息越大表示2個變量的相關性越大，給出模糊互信息的定義：

定義3[33-34].模糊互信息.模糊聯合信息熵定義為

即模糊互信息可以利用自信息和聯合熵表示為

I(A;B)=E(A)+E(B)-E(A,B).

(4)

2.2 極限學習機

傳統的神經網絡算法需要設置更多的網絡參數，處理最優解問題時很可能會出現局部最優解，以至無法獲得全局最優解.極限學習機(extreme learning machine, ELM)則是一種有效求解單隱藏層前饋神經網絡(single-hidden layer feedforward neural network, SLFN)的優化算法，只需設置隱藏層節點的數量，同時隨機初始化權重和偏置來解決全局最優解.ELM具有求解速度快、泛化性能高等特點，在監督學習[35-37](分類、回歸)和無監督學習[38-39](聚類)等方面得到廣泛應用.

在進行問題求解之前，需作出形式化定義：設有n個任意樣本{(Xi,Yi)|i=1,2,…,n}，其中特征空間表示為Xi=(xi1,xi2,…,xi d)T，標記空間為Yi=(yi1,yi2,…,yi m)T，則L個隱藏節點的SLFN形式化定義為

(5)

其中，βi=(βi1,βi2,…,βi m)T為輸出權值，gi為激活函數，表示第i個隱藏節點輸出，定義為

gi(Xj)=g(wi·Xj+bi),

(6)

其中，wi=(wi1,wi2,…,wi d)T表示輸入權值，第i個隱藏神經元的偏置表示為bi，“·”為點積，激活函數使用sigmoid函數約束輸出范圍以實現分類任務.

通過上述隨機特征映射，構建以最小化平方誤差式的近似誤差來求解輸出權值β.最小化目標表達式為

(7)

其中，H表示隱藏層的輸出矩陣(隨機矩陣)，定義為

(8)

而式(7)中Y為數據中標記矩陣：

(9)

聯合式(5)～(7)，目標函數最小二乘解可表示為

(10)

其中，H?表示式(8)中H的Moore-Penrose廣義逆矩陣，進一步可表示為

(11)

最終，式(5)用矩陣可以表示為

(12)

3 基于類屬屬性新型多標記學習算法

3.1 特征特定標記挖掘

不同于單標記學習各標記互斥，在多標記學習中每個示例與多個標記相關聯，而各標記之間存在一定聯系，因此標記相關性分析是多標記學習中需重點考慮的問題.在某種程度上特征決定了標記的種類和個數，因此標記相關性分析若單純只從標記空間考慮顯然并不合理.但傳統的類屬屬性學習算法僅在標記空間中考慮其特定特征,未考慮特征對標記的影響.由于某些特征可能僅對部分標記起決定性作用，而其他標記并不受該類特征影響.若我們能夠從特征空間中提前關注特征所對應的重要標記，則更易獲取標記之間的相關性信息.基于這種現象，本文通過從特征的角度發掘其重要標記，摒棄了從全部標記空間考慮標記相關性，進而避免了傳統標記相關性計算復雜性.該算法與通過標記提取重要特征類屬屬性學習恰好相反，即站在特征的角度去提取重要標記.為了挖掘這一信息，本文采用信息熵理論提取特征標記矩陣.

Table 1 Definition of Multi-Label Data

表2展示了當m=4和d=5的虛擬多標記數據，通過式(4)模糊互信息計算公式求得特征與標記之間的矩陣Flabel(feature-label correlation matrix).

Table 2 Feature-Label Matrix of Multi-Label Data

通過表2發現，若將特征-標記矩陣按列分析，每個標記對于特征的重要程度不同.我們選取特征-標記矩陣中權值比較大(大于0.1)的標記作為特征的重要標記.因此，得出特征f1的重要標記為l1和l2，同理特征f5的重要標記為l1，l2，l3.

由于其他距離度量方法無法準確描述2個向量在方向上的差異，因此本文采用余弦相似度這種度量方法描述多標記中標記之間的相關關系.但不同于其他算法僅在原標記空間利用余弦相似度構建標記空間Y的相關性矩陣，本文則通過構建出的Flabel矩陣計算余弦相似度，構建特征標記相關矩陣，計算方法為

(13)

其中，fl是矩陣Flabel的元素;j=1,2,…,m;k=1,2,…,m.Rjk≠0表示2個標記之間具有相關性，Rjk=0則表示2標記無相關性，且|Rjk|越大則相關性越強.

3.2 聯合特征特定標記的類屬屬性模型構建

目前，類屬屬性學習僅站在標記的角度去選擇其重要的特征，忽略了特征對標記的影響.事實上，某個特征僅與標記空間中的某些標記存在很強的聯系，這些標記則是該特征的重要標記，稱之為特征特定標記.因此，本文構建了聯合特征特定標記的類屬屬性學習模型，從特征層面提取重要標記與從標記層面提取重要特征進行雙向聯合學習.

首先，在建立LSFFSL模型中，應用極限學習機構建初始化優化函數.隨后，考慮特征層面提取重要標記，將構建的特征標記相關矩陣加入到優化目標函數中.最后，為了得到特征的稀疏化表達，同時避免Lasso凸性不嚴格導致的多解問題[40]，我們通過重構彈性網絡正則化約束極限學習機[21]目標函數.因此，特征特定標記和類屬屬性聯合模型表達式為

(14)

其中，L1正則化項以稀疏化β，使其在各標記的特征分量中置0，達到選擇各標記的類屬屬性作用；將特征標記相關性矩陣作為L2正則化項，以考慮標記的成對相關性.式(14)中C為懲罰因子，α參數控制特征標記相關性，λ控制稀疏化程度.由于目標函數F(β)為凸優化問題，存在L1范數導致問題非光滑.因此，將原問題看作一般帶有L1范數的優化目標表示為

(15)

(16)

由于f(β)為凸光滑函數，且滿足Lipschitz條件，即

(17)

由此，該問題即可采用近端梯度下降(proximal gradient descent, PGD)[41]進行問題求解.PGD算法屬于貪心最小化迭代策略算法，對于基于L1范數的最小化問題能夠快速求解.

將f(β)在βt附近進行二階泰勒展開近似表達為

(18)

其中，z表示為

z

(19)

最終，求解式(18)可以得到迭代式：

(20)

(21)

(22)

通過式(18)，β求解可以表示為

(23)

因此，式(23)需要求得Lipschitz常數Lp，根據式(22)求解過程表示為

(24)

其中Δβ=β1-β2，Lipschitz常數Lp表示為

(25)

通過PGD求解出目標函數F(β)輸出權值β，詳細算法流程見算法1所示:

算法1.LSFFSL算法求解.

輸出：預測標記Y*.

① 通過式(4)構造特征-標記矩陣Flabel；

② 根據式(13)構建特征標記的相關矩陣R；

③ 通過式(25)計算Lipschitz常數Lp；

④ 通過式(8)計算L個節點的特征映射H；

⑤ 通過式(16)計算

⑥ Repeat

⑦z

⑨ Until迭代停止；

⑩β*←βt+1；

3.3 算法時間復雜度

4 實驗及結果分析

4.1 數據描述

為驗證所提算法的有效性，本文選擇Mulan Library(1)數據集下載地址為http:mulan.sourceforge.netdatasets-mlc.html.中11個公開基準多標記數據集，如表3所示.其中，Emotions數據集為某音樂學院男性的音樂剪輯，其包含593個示例，并由72個特征和6個標記所描述.Genbase數據集描述了662種蛋白質，每種蛋白質由1 186個特征描述，總共具有27種結構類別.Medical數據集為臨床醫學診斷文本，由1 449個特征描述978個示例，關聯45個標記.Arts，Computers，Education，Science，Social，Society這6個網頁文本數據集來自Yahoo網站，各數據均包含5 000個文本，特征為不同詞匯在文本中的頻率，標記為各文本的類別.Corel5k包含50個語義主題，各語義主題包含100張圖片，共計5 000張圖片.

Table 3 Multi-Label Data Sets

4.2 評價指標及實驗設置

為比較本文算法LSFFSL的算法性能，實驗采用MLkNN算法[14]、MLNB(multi-label naive Bayes)算法[15]、LIFT算法[26]、LLSF-DL算法[29]、MLFC算法[31]等作為對比算法，使用10折交叉驗證進行實驗.其中，MLkNN和MLNB算法為經典多標記學習算法，并且MLNB具有特征選擇功能，而其余3個算法都是基于類屬屬性的先進多標記學習算法.在對比實驗中，各對比算法參數均按照原論文參數范圍設置，MLkNN近鄰k=10，平滑系數s=1；MLNB的PCA(principal components analysis)比例r=0.3；LIFT聚類比率在[0.1∶0.1∶1]之間，最終比率r=0.2；LLSF-DL算法參數設置與原論文提及數據集的參數給與設定，對于原文未提及的數據集采用10折交叉驗證取最好參數，其中參數α，β，γ∈{4-5,4-4,…,44,45}，ρ∈{0.1,1,10}；MLFC算法參數α，β，γ在全部數據集中均設置為1,0.1和0.1；本文算法隱藏節點L∈{400,600,800,1 000}，懲罰因子C∈{22,23,24}，參數α和λ∈{2-4,2-6,2-8,2-10}.

其中Δ為2個集合間的對稱差.海明損失為對象標記錯分次數情況，即將正確標記預測錯誤時的情況.當HLD(h)=0時為最好的情況，即HLD(h)越小，h(·)的性能越高.

1-錯誤率則是評估對象最高排位標記且錯分正確標記的次數情況.當OED(f)=0為表示最好，即OED(f)值越小，f(·)的分類性能越高.

排序損失是評估對象非屬的標記高于所屬標記排位的次數情況.當RLD(f)=0時為最好情況，即RLD(f)越小，f(·)的性能越高.

平均精度為相關標記的排序分數高于特定標記y∈yi的情況評估. 其中，y′為yi的相關標記.當APD(f)=1時情況最好，即APD(f)值越大，f(·)的性能越高.

4.3 參數敏感性分析

本文所提算法存在4個參數：隱藏節點數L、懲罰因子C、標記相關性參數α和稀疏控制參數λ.本文選取數據集Medical，Yeast，Arts(數據分成訓練集和測試集)，評價指標采用HL和AP進行參數敏感性實驗分析.首先固定α=2-4和λ=2-4，對參數L和C進行敏感性分析，實驗結果如圖1所示：

Fig. 1 Parameter sensitivity analysis of L and C

通過圖1(a)和圖1(d)發現Medical數據集中懲罰因子C對結果影響較小，而隱藏節點數L=1 000時評價指標較好；分析圖1(b)和圖1(e)發現對于Yeast數據集，當隱藏節點數L=800，C=23時實驗結果較好；對于Arts數據集，圖1(c)和圖1(f)表明隱藏節點數L=1 000，C=22時綜合性能較好.

通過對參數L和C的敏感性實驗，將參數L和C設置為各數據性能最優時的組合，再進行參數α和λ敏感性分析實驗，實驗結果如圖2所示.

通過分析圖2(a)、圖2(b)和圖2(c)可以發現當α=2-4時HL在3個數據集中普遍較小，在Medical和Yeast數據集中當λ=2-6達到最優，在Arts數據集中當λ=2-4達到最優；針對AP指標，分析圖2(d)、圖2(e)和圖2(f)表明α=2-6，λ=2-10時在Medical數據集中最優，在Yeast數據集中α=2-4，λ=2-6達到最優，當α=2-4，λ=2-4時在Arts數據集中最優.

綜合分析圖1和圖2得出，不同的數據集具有不同的最優參數組合，因此本文以下實驗將在訓練集中通過5折交叉驗證尋找最優參數組合.

Fig. 2 Parameter sensitivity analysis of α and λ

4.4 結果分析

在11個多標記數據集中的對比實驗結果如表4～7所示，分別對應HL，OE，RL，AP指標.評價指標中“↑”表示指標數值越高越好，“↓”表示指標數值越低越好，其中包括各指標的均值和標準差，各數據集中指標表現最優的用加粗字體表示.同時，為了更加明確各算法性能差異，本文使用顯著性水平5%的成對t檢驗[42]進行算法對比，并在表格中使用●○表示本文算法LSFFSL優于差于對比算法，最后在各表格最后給出wintieloss，“win”表示LSFFSL優于該對比算法，“tie”表示無顯著性差異，“loss”表示LSFFSL差于該對比算法.

表4給出了6種算法在海明損失的實驗結果，可以看出LSFFSL算法僅在Art數據集中劣于LIFT算法；在Genbase數據集中與LIFT，LLSF-DL，MLFC算法無顯著性差異；在Corel5k數據集中與MLkNN，LIFT，LLSF-DL，MLFC算法無顯著性差異；在Emotion，Medical，Yeast，Computers，Education，Science，Social，Society這8個數據集中均占優.

表5是6種算法的1-錯誤率對比結果，除Genbase數據集中與LLSF-DL無顯著性差異及Yeast數據集差于MLFC算法，所提LSFFSL算法均取得較好結果.

對比實驗中排序損失結果如表6所示，LSFFSL算法僅在Education和Corel5k數據集上劣于MLKNN算法，在剩余9個數據集上結果均占優；與MLNB算法相比，本文算法LSFFSL在Genbase，Education，Corel5k這3個數據集上結果較差；在Arts數據集中相比于LIFT算法分類效果不顯著，但在其他10個數據集均優于LIFT算法；同時，LSFFSL算法在11個數據集上均優于LLSF-DL算法；在Corel5k數據集上稍劣于MLFC算法之外，在其他的10個數據集較MLFC算法均占優.

6個對比算法的平均精度指標對比結果由表7所示，可以看出LSFFSL算法在除Medical數據集中不如MLFC算法，與其他5種對比算法在11個數據集中占有絕對優勢.

Table 4 Test Results of Six Algorithms in Terms of Hamming Loss(mean↓±std)

Table 5 Test Results of Six Algorithms in Terms of One-Error(mean↓± std)

Table 6 Test Results of Six Algorithms in Terms of Ranking Loss(mean↓±std)

Table 7 Test Results of Six Algorithms in Terms of Average Precision(mean↑± std)

為更加清晰展示所提算法在11個數據集上的綜合性能，采用顯著性水平5%的Nemenyi檢驗[26,43]進行統計假設檢驗.若2個對比算法的平均排序差值大于臨界差(critical difference,CD)，則說明2個算法具有顯著性差異，否則無顯著性差異.圖3展示了各對比算法在4個評價指標中的結果，其中CD=2.273 5.其中2種算法之間無顯著性差異用加粗實線相連，圖3的4個子圖中，各算法性能從右到左依次降低.

Fig. 3 The performance comparison of six algorithms

對每個對比算法，均有20個(5個對比算法，4個評價指標)結果進行比較，如圖3所示.

1) 在LSFFSL算法中，如圖3(a)在海明損失評價指標上，LSFFSL與MLFC，LIFT，LLSF-DL性能相比無顯著性差異，與MLkNN，MLNB有顯著性差異.如圖3(b)在1-錯誤率評價指標上，LSFFSL與MLFC，LLSF-DL算法無顯著性差異，與LIFT，MLkNN，MLNB有顯著性差異.如圖3(c)在排序損失指標上，LSFFSL與MLkNN，MLFC，MLNB算法無顯著性差異，與LIFT，LLSF-DL有顯著性差異.如圖3(d)在平均精度指標上，LSFFSL與MLFC，LLSF-DL算法在統計上無顯著性差異，與LIFT，MLkNN，MLNB有顯著性差異.因此，LSFFSL在50%情況下與其他算法性能無顯著性差異，在50%的水平下在統計上優于其他算法.

2) 針對MLFC算法，在統計上有25%優于其他算法，與其他算法在75%的情況下均無顯著性差異.

3) 對LLSF-DL算法，有15%優于其他算法，在80%水平下和其他算法沒有明顯差異，有5%的情況差于其他算法.

4) 關于LIFT算法，在統計上優于其他算法占15%，與其他算法在70%的情況下無顯著性差異，在15%的情況差于其他算法.

通過以上綜合分析得出，LSFFSL算法具有最優性能，在50%的水平下優于其他算法.MLFC算法排名第二，在25%的水平下優于其他算法.第三是LLSF-DL算法，在15%的水平下比其他算法占優.綜合以上實驗結果分析，進一步體現了本文所提算法LSFFSL具有良好的性能.

5 結束語

與許多僅在標記空間處理標記相關性的算法不同，本文則從特征的角度考慮標記之間的相關性，提取特定特征的重要標記，將其與類屬屬性進行聯合學習，提出了一種新型的類屬屬性學習算法.通過以極限學習機為初始算法構建模型，借助彈性網絡和信息熵理論對模型進行優化.并通過在標準數據集中與目前先進的多標記算法對比，驗證了算法的有效性和穩定性.但如何快速高效地選擇分辨特征處理標記相關性問題則是未來進一步研究的重點.