基于多尺度特征提取的層次多標簽文本分類方法

摘要： 針對現有的特征提取方法忽略文本局部和全局聯系的問題，提出了基于多尺度特征提取的層次多標簽文本分類方法。首先，設計了多尺度特征提取模塊，對不同尺度特征進行捕捉，更好地表示文本語義。其次，將層次特征嵌入文本表示中，得到具有標簽特征的文本語義表示。最后，在標簽層次結構的指導下對輸入文本構建正負樣本，進行對比學習，提高分類效果。在WOS、RCV1-V2、NYT和AAPD數據集上進行對比實驗，結果表明，所提模型在評價指標上表現出色，超過了其他主流模型。此外，針對層次分類提出層次Micro-F1和層次Macro-F1指標，并對模型效果進行了評價。

關鍵詞： 層次多標簽文本分類； 多尺度特征提取； 對比學習； 層次Micro-F1； 層次Macro-F1

中圖分類號： TP391

文獻標志碼： A

文章編號： 1671-6841（2025）02-0024-07

DOI： 10.13705/j.issn.1671-6841.2023120

Hierarchical Multi-label Text Classification Method Based

on Multi-scale Feature Extraction

WU Zixuan， WANG Ye， YU Hong

（Chongqing Key Laboratory of Computational Intelligence， Chongqing University of Posts and

Telecommunications， Chongqing 400065， China）

Abstract：

A hierarchical multi-label text classification method based on multi-scale feature extraction was proposed to address the issue of current feature extraction methods in neglecting the local and global connections in text. Firstly， a multi-scale feature extraction module was designed to capture features at different scales， aiming to provide a better representation of text semantics. Secondly， the hierarchical features were embedded into the text representation to obtain a text semantic representation with label features. Finally， with the guidance of the label hierarchy， positive and negative samples were constructed for the input text， and contrastive learning was performed to enhance the classification effectiveness. Comparative experiments were conducted on the WOS， RCV1-V2， NYT and AAPD datasets. The results indicated that the proposed model performed well in terms of the evaluation indices and exceeded other mainstream models. Additionally， the hierarchical Micro-F1 and Macro-F1 indicators were proposed for hierarchical classification， and the effectiveness of the model was evaluated.

Key words： hierarchical multi-label text classification; multi-scale feature extraction; contrastive learning; hierarchical Micro-F1; hierarchical Macro-F1

0 引言

層次多標簽文本分類（hierarchical multi-label text classification，HMTC）問題是指在現實情境中，一個樣本可能具有多個類標簽，并且這些類標簽之間存在層次結構，分類任務的目標是將這些具有層次結構的類標簽正確地分配給樣本。層次多標簽分類問題與多標簽分類類似，不同之處在于樣本對應多個類標簽時，這些標簽之間具有天然的層次依賴關系，如父與子關系或祖先與后代關系。此外，這些標簽之間的依賴關系具有不同權重，較低層級的標簽會受到較高層級標簽的約束。

為引入類別層級信息，Banerjee等^［1］提出HTrans模型，采用遷移學習的方式為每個類別訓練一個二分類器，子類別的分類器采用父類別的模型參數進行初始化。Cesa-Bianchi等^［2］提出層次貝葉斯模型，增量學習每個節點的線性分類器。Zhou等^［3］將層次表示為有向圖，并利用標簽依賴的先驗概率來聚集節點信息，提出一種層次感知全局模型HiAGM。Deng等^［4］在HiAGM基礎上提出基于文本標簽互信息最大化的HTCInfoMax模型。除此之外，一些方法同時利用了局部和全局信息。Huang等^［5］提出HARNN模型，用局部分類器采用注意力機制提取標簽特征，用全局分類器將各層級提取的特征拼接起來，給出全局預測結果。Zhang等^［6］利用公共因子在同級類別之間建立聯系，由父層向子層傳遞文本表征，設計了LA-HCN模型，判斷文本與子層中哪個類別最相匹配。Wang等^［7］提出基于層次引導的對比學習模型，將層次嵌入文本編碼器中，而不是單獨建模。

當前在處理層次多標簽分類問題時，面臨的一個主要挑戰是文本特征提取的局限性。現有的特征提取方法不夠多樣化，往往忽視了文本特征在局部和全局之間的聯系。文本本身蘊含著多個方面的信息，僅僅關注詞語或句子的單一表示方法可能會導致部分信息丟失。局部的文本表示無法完全捕捉文本中的全局信息，而實際上，文本的意義往往由單個詞或句子與周圍文本相互聯系共同構成。因此，本文提出了基于多尺度特征提取的層次多標簽文本分類方法（hierarchical multi-label text classification method based on multi-scale feature extraction），簡稱為MHGCLR。首先設計了多尺度特征提取模塊，將BERT^［8］詞向量和Doc2Vec^［9］句向量結合起來，從不同尺度捕捉特征，以更好地區分文本，提高分類性能。為了充分捕捉文本中的多層次信息，文本分類中同時使用單詞級別和句子級別的特征。這些不同尺度的特征往往具有各自獨特的語義信息和特點，將這些特征結合起來可以相互彌補不足之處。MHGCLR模型采用門控單元對不同尺度的特征進行融合，可以自適應變化，決定信息的重要性和傳遞的路徑，提升分類效果。

此外，根據層次文本分類（hierarchical text classification，HTC）的傳統評估度量，會把孤立節點視為正確有效的預測，但是這樣并不合理。每個節點的預測不應該與它所在路徑內的結果相沖突，孤立的預測和不一致路徑不符合實際要求。針對標簽不一致問題，本文提出了兩個新的指標：層次Micro-F1和層次Macro-F1。只有將真實標簽的所有祖先都預測正確，才能認為這個標簽預測正確。這兩個指標能夠更全面地評估模型的性能，避免了使用傳統指標帶來的局限性。在WOS、RCV1-V2、NYT和AAPD數據集上進行了對比實驗，結果表明，所提出的MHGCLR模型優于其他主流模型。

1 基于多尺度特征提取的HMTC方法

為了應對原始文本轉化為高維度向量的問題，特別是其在計算資源和模型復雜度方面所造成的負擔，需要進行特征提取處理。特征提取是將原始文本數據轉換為低維度且稠密的特征向量的過程。這個過程通過保留原始文本的關鍵信息，能夠降低特征向量的維度，從而提高模型訓練效率和預測準確性。常見的特征提取方法包括TF-IDF、Doc2Vec、BERT等。

傳統上常傾向于單一特征提取方法，然而這些常用的方法如BERT和Doc2Vec都存在一定的局限性。具體而言，BERT能夠提供上下文相關的詞向量，精準地表達每個單詞的含義，但在捕捉整個句子的語義信息方面相對較弱。與之相反，Doc2Vec能夠捕捉到整個句子的語義信息，但它平均化了單詞的表示，失去了單詞級別的豐富信息。本文采用了融合BERT和Doc2Vec的策略，將BERT詞向量和Doc2Vec句向量結合起來，有助于克服它們各自的局限性。這種融合方法利用了門控單元自適應地確定信息的重要性，從而將信息融合在一起。最終得到的特征表示能夠更全面、準確地表達文本信息。圖1展示了多尺度特征提取層的結構。

1.1 BERT

使用BERT模型在詞尺度生成高質量的詞向量表示。BERT是基于Transformer Encoder的模型，其中每個Transformer Encoder包含多頭自注意力機制與前饋神經網絡。

使用殘差連接和層歸一化操作提高模型訓練效率與泛化能力，解決梯度消失和梯度爆炸問題，

y=LayerNorm（x+Sublayer（x）），（1）

式中：Sublayer表示自注意力機制或者前饋網絡子層；LayerNorm表示層歸一化；x是子層的輸入向量；y表示輸出向量。

1.2 Doc2Vec

Doc2Vec是基于Word2Vec模型的一種算法，用于生成文檔的向量表示，即句向量。與Word2Vec不同，Doc2Vec能夠捕捉整個文檔的語義信息。PV-DM是Doc2Vec的一種變體，也被稱為Distributed Memory模型，該技術能將文檔和單詞嵌入固定的向量空間中。PV-DM模型接受上下文單詞和句向量作為輸入，通過神經網絡預測目標單詞。模型參數通過反向傳播算法進行調整，使得模型能夠準確預測目標單詞并生成準確的文檔向量。通過這種方式，PV-DM模型能夠捕捉整個句子的信息，而不僅僅是單詞級別。將BERT的語義表征與Doc2Vec句向量輸入特征融合層進行融合，然后完成分類任務。這種融合能夠更好地結合句子的語義信息，為分類任務提供更準確的輸入。

1.3 特征融合

采用門控單元GRU的更新門，對BERT和Doc2Vec進行特征融合。具體來說，將BERT詞向量和Doc2Vec句向量作為GRU網絡的輸入，通過門控單元自適應地決定信息的重要性，將信息進行融合，得到最終的特征表示。首先通過線性變換將兩個向量的維度對齊，

Doc=W·

HDoc，（2）

式中：HDoc表示Doc2Vec特征向量；Doc表示轉化后的特征向量；

W是變換矩陣。

之后，通過更新門機制來確定信息的保留程度，

gw=σ（wiDoc+

wcHBERT+bg），（3）

式中：gw表示信息的保留程度；HBERT表示BERT文本特征向量；σ表示sigmoid激活函數；

wi與wc為更新門權重；bg表示更新門偏置。

特征融合可表示為

Hfusion=

gDoc+（1-g）HBERT，（4）

式中：Hfusion表示融合后的文本特征向量。

門控單元的更新門如圖2所示。

1.4 圖形編碼器

采用Graphormer作為標簽層次結構的建模工具。Graphormer是一種基于Transformer的神經網絡架構，該架構通過層次標簽樹對節點信息進行編碼。將Graphormer與文本編碼器BERT和Doc2Vec相結合，以有效整合層次信息和文本信息，這種融合為層次分類任務帶來了顯著的性能提升。

1.5 對比學習

首先利用之前學習到的標簽特征進行一個注意力的選擇，得到Aij矩陣。Aij

代表每一個不同的token對相應標簽的貢獻概率，并通過Softmax函數得到一個概率分布。給定一個特定的標簽，就可以從這個分布中抽取token并形成一個正樣本。設定了一個閾值γ，用于確定采樣的token。如果某個token對不同標簽的影響概率超過這個閾值，就將其判定為屬于該標簽的正樣本。負樣本的構建過程是將學習到的真實樣本以及相應的正樣本組成N個正對（hi，i），對其添加一個非線性層，

ci=W2ReLU（W1hi），（5）

i=

W2ReLU（W1i），（6）

式中：W1∈Rdh×dh，W2∈Rdh×dh，dh為隱藏層層數。

對于每個正對，有

2（N-1）個負例。對于2N個例子Z={z∈{ci}∪

{i}}，采用NT-Xent損失函數強迫正、負例之間的距離變大，計算zm的NT-Xent損失，可表示為

L^conm=-logexp（sim（zm，

μ（zm））/τ）

∑2Ni=1，i≠m

exp（sim（zm，zi）/τ），（7）

式中：τ為溫度超參數；sim為余弦相似函數，sim（u，v）=u·v/（‖u‖‖v‖）；μ為匹配函數，并且

μ（zm）=

ci，if

zm=i，

i，if

zm=ci。（8）

總對比學習損失為所有例子的平均損失，可表示為

L^con=12N∑2Nm=1L^conm。（9）

1.6 輸出層與損失函數

將多標簽分類的層次結構扁平化，把隱藏的特征輸入線性層，并使用sigmoid函數計算概率。將特征融合得到的語義信息進行概率轉換，輸出文本i出現在標簽j上的概率，從而得到模型的預測結果，可表示為

pij=sigmoid（whi+b）j，（10）

式中：w為權重系數；b為偏置項；

hi為特征向量；pij為預測概率。

對于多標簽分類，對標簽j上的文本i使用一個二元交叉熵損失函數，可表示為

LCij=-yijlg（pij）-（1-yij）lg（1-pij），（11）

LC=∑Ni=1∑kj=1LCij，（12）

式中：yij為樣本的真實標簽。

最終的損失函數是分類損失和對比學習損失的組合，可表示為

L=LC+λL^con，（13）

式中：λ為控制對比損失權重的超參數。

2 實驗

2.1 實驗準備

2.1.1 數據集

在WOS^［10］、NYT^［11］、RCV1-V2^［12］和AAPD^［13］數據集上進行實驗，并采用多種指標對實驗結果進行評價。WOS涵蓋了Web of Science數據庫中發表的學術論文摘要，AAPD則搜集了Arxiv學術論文的摘要以及對應的學科類別信息，而NYT和RCV1-V2都是新聞分類語料庫。WOS用于單路徑HTC，而NYT、RCV1-V2和AAPD包含多路徑分類標簽，數據集的標簽為樹狀的層級結構。4個數據集的統計信息如表1所示。

2.1.2 實驗設置

對于文本編碼器，使用BERT和Doc2Vec模型，其中Transformer的bert-base-uncased作為基本架構。對于Graphormer，將自適應圖注意力頭設置為8，特征大小設置為768，batch size設置為16。選擇的優化器是Adam，學習率設置為3×10^-4。使用訓練集對模型進行訓練，每個輪次結束后對驗證集進行評估，如果在連續6 個輪次中Macro-F1不增加，則停止訓練。閾值γ在WOS上設置為0.02，在NYT、RCV1-V2和AAPD上設置為0.005。WOS、RCV1-V2和AAPD的損失權重λ為0.1，NYT的損失權重λ為0.3，對比模塊的溫度超參數固定為1。在PyTorch中實現模型，并在NVIDIA GeForce RTX 3090上進行實驗。

2.1.3 評價指標

首先使用準確率、召回率、Micro-F1和Macro-F1來評估實驗結果，其次引入了兩個新的評價指標：層次Micro-F1（HMicro-F1）和層次Macro-F1（HMacro-F1）。這兩個新指標與傳統度量的區別在于，這些受約束的評價指標要求對于一個節點的預測結果被視為“真”，必須滿足該節點在每個層次上的所有祖先節點都被預測為“真”。

2.2 實驗結果

將本文提出的MHGCLR模型與經典模型以及其他目前主流的模型在WOS、RCV1-V2、NYT和AAPD數據集上進行對比實驗。選擇的基線方法包括TextCNN^［14］、TextRNN^［15］、TextRCNN^［16］、FastText^［17］、AttentiveConvNet^［18］、TextVDCNN^［19］、HTCInfoMax^［4］、HBGL^［20］和HiMatch^［21］模型。

不同模型在4個公開數據集上的實驗結果如表2和表3所示（最優結果加黑顯示）。可以看出，MHGCLR模型在WOS、RCV1-V2、NYT和AAPD數據集上的準確率分別為90.66%、87.72%、85.71%和85.82%；Micro-F1值分別為87.32%、86.41%、78.92%和79.79%；Macro-F1值分別為81.54%、69.32%、67.61%和63.92%，相比其他模型具有更好的性能。在新的層次評價指標方面，MHGCLR模型依然表現良好，在4個數據集上的HMicro-F1值分別為85.75%、84.57%、74.67%和77.03%，HMacro-F1值分別為80.64%、67.51%、65.26%和60.04%，說明MHGCLR模型通過建模多尺度特征對層次間的依賴也產生了效果。

2.3 性能分析

首先進行消融實驗，分別在有、無多尺度特征提取模塊下進行實驗，從而驗證了模塊的有效性。接著進行分層表現實驗，觀察模型在不同層次上的性能表現。

2.3.1 消融實驗

在WOS數據集上進行消融實驗，結果如表4所示。可以看出，有多尺度特征提取模塊的MHGCLR模型的分類效果要優于無多尺度特征提取模塊的HGCLR模型，其在Micro-F1和Macro-F1上分別提升0.57和0.36個百分點，而且HMicro-F1和HMacro-F1層次指標也略有提高。

2.3.2 分層表現實驗

對每個層次的分類情況進行了分層輸出，并將MHGCLR模型與其他模型的表現進行了比較。由于RCV1-V2數據集中存在部分少樣本標簽，故選擇在具有3個層次的RCV1-V2數據集上進行實驗。由于Micro-F1值對分布不平衡情況更為敏感，選用其作為對比指標，模型在不同層

次上的實驗結果如表5所示。結果表明，MHGCLR模型在每個層次上都優于其他模型，并且在深層次上的性能明顯優于其他模型。MHGCLR模型能夠充分利用多尺度表征中學習到的知識，特別是在深層次的少樣本標簽分類方面表現出色。

3 結語

本文將多尺度特征提取和特征融合引入HMTC任務中，結合了Graphormer和對比學習工作，提出了MHGCLR模型。該模型可以提取不同尺度的特征，考慮了文本的多尺度性以及局部和全局之間的聯系，從而提高了模型在HMTC任務上的整體性能。首先設計了多尺度特征提取模塊，將文本劃分為不同尺度并提取相應的特征，然后進行特征融合。這樣做可以在淺層特征中提取詞匯信息，在深層特征中提取更抽象的語義信息，從而更好地捕捉文本的層次化結構。在WOS、RCV1-V2、NYT和AAPD數據集上進行了對比實驗，結果表明，該模型不僅在傳統評價指標上取得了顯著提升，而且在新提出的具有層次約束的評價指標HMicro-F1和HMacro-F1上的表現也超越了其他模型。未來的研究方向將著重于建模標簽之間的關聯性，以更準確地反映其層次結構和相關性。

參考文獻：

［1］ BANERJEE S， AKKAYA C， PEREZ-SORROSAL F， et al. Hierarchical transfer learning for multi-label text classification［C］∥Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Stroudsburg： Association for Computational Linguistics， 2019： 6295-6300.

［2］ CESA-BIANCHI N， GENTILE C， ZANIBONI L. Incremental algorithms for hierarchical classification［J］. Journal of machine learning research， 2006， 7： 31-54.

［3］ ZHOU J E， MA C P， LONG D K， et al. Hierarchy-aware global model for hierarchical text classification［C］∥Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg： Association for Computational Linguistics， 2020： 1106-1117.

［4］ DENG Z F， PENG H， HE D X， et al. HTCInfoMax： a global model for hierarchical text classification via information maximization［C］∥Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg： Association for Computational Linguistics， 2021： 3259-3265.

［5］ HUANG W， CHEN E H， LIU Q， et al. Hierarchical multi-label text classification： an attention-based recurrent network approach［C］∥Proceedings of the 28th ACM International Conference on Information and Knowledge Management. New York： ACM Press， 2019： 1051-1060.

［6］ ZHANG X Y， XU J H， SOH C， et al. LA-HCN： label-based attention for hierarchical multi-label text classification neural network［J］. Expert systems with applications， 2022， 187： 115922.

［7］ WANG Z H， WANG P Y， HUANG L Z， et al. Incorporating hierarchy into text encoder： a contrastive learning approach for hierarchical text classification［C］∥Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics. Stroudsburg： Association for Computational Linguistics， 2022： 7109-7119.

［8］ 劉燕. 基于BERT-BiGRU的中文專利文本自動分類［J］. 鄭州大學學報（理學版）， 2023， 55（2）： 33-40.

LIU Y. Automatic classification method for Chinese patent texts based on BERT-BiGRU［J］. Journal of Zhengzhou university （natural science edition）， 2023， 55（2）： 33-40.

［9］ 曾立英， 許乾坤， 張麗穎， 等. 面向主題檢索的科技政策擴散識別方法［J］. 鄭州大學學報（理學版）， 2022， 54（5）： 82-89.

ZENG L Y， XU Q K， ZHANG L Y， et al. Identification method for subject retrieval of science and technology policy diffusion［J］. Journal of Zhengzhou university （natural science edition）， 2022， 54（5）： 82-89.

［10］KOWSARI K， BROWN D E， HEIDARYSAFA M， et al. HDLTex： hierarchical deep learning for text classification［C］∥ Proceedings of the 16th IEEE International Conference on Machine Learning and Applications. Piscataway：IEEE Press， 2018： 364-371.

［11］BOWMAN S R， ANGELI G， POTTS C， et al. A large annotated corpus for learning natural language inference［C］∥Proceedings of the Conference on Empirical Methods in Natural Language Processing. Stroudsburg： Association for Computational Linguistics， 2015： 632-642.

［12］LEWIS D， YANG Y M， ROSE T， et al. RCV1： a new benchmark collection for text categorization research［J］. Journal of machine learning research， 2004， 5： 361-397.

［13］YANG P， SUN X， LI W， et al. SGM： sequence generation model for multi-label classification［C］∥Proceedings of the 27th International Conference on Computational Linguistics. Stroudsburg： Association for Computational Linguistics， 2018： 3915-3926.

［14］KIM Y. Convolutional neural networks for sentence classification［C］∥Proceedings of the Conference on Empirical Methods in Natural Language Processing. Stroudsburg： Association for Computational Linguistics， 2014： 1746-1751.

［15］LIU X， WU J， YANG Y. Recurrent neural network for text classification with multi-task learning［C］∥Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg： Association for Computational Linguistics， 2016： 10-21.

［16］LAI S W， XU L H， LIU K， et al. Recurrent convolutional neural networks for text classification［C］∥ Proceedings of the AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press，2015： 2268-2274.

［17］JOULIN A， GRAVE E， BOJANOWSKI P， et al. Bag of tricks for efficient text classification［C］∥Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics. Stroudsburg： Association for Computational Linguistics， 2017： 427-431.

［18］NEUMANN M， VU N T. Attentive convolutional neural network based speech emotion recognition： a study on the impact of input features， signal length， and acted speech［C］∥ IEEE International Conference on Acoustics， Speech and Signal Processing. Piscataway： IEEE Press， 2017： 1972-1976.

［19］CONNEAU A， SCHWENK H， BARRAULT L， et al. Very deep convolutional networks for text classification［C］∥Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics. Stroudsburg： Association for Computational Linguistics， 2017： 1107-1116.

［20］JIANG T， WANG D Q， SUN L L， et al. Exploiting global and local hierarchies for hierarchical text classification［C］∥Proceedings of the Conference on Empirical Methods in Natural Language Processing. Stroudsburg： Association for Computational Linguistics， 2022： 4030-4039.

［21］CHEN H B， MA Q L， LIN Z X， et al. Hierarchy-aware label semantics matching network for hierarchical text classification［C］∥Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing. Stroudsburg： Association for Computational Linguistics， 2021： 4370-4379.