融合后驗概率校準訓練的文本分類算法

江靜，陳渝，孫界平，琚生根*

融合后驗概率校準訓練的文本分類算法

江靜1，陳渝2，孫界平1，琚生根1*

（1.四川大學 計算機學院，成都 610065； 2.四川民族學院 理工學院，四川 康定 626001）（*通信作者郵箱jsg@scu.edu.cn）

用于文本表示的預訓練語言模型在各種文本分類任務上實現了較高的準確率，但仍然存在以下問題：一方面，預訓練語言模型在計算出所有類別的后驗概率后選擇后驗概率最大的類別作為其最終分類結果，然而在很多場景下，后驗概率的質量能比分類結果提供更多的可靠信息；另一方面，預訓練語言模型的分類器在為語義相似的文本分配不同標簽時會出現性能下降的情況。針對上述兩個問題，提出一種后驗概率校準結合負例監督的模型PosCal-negative。該模型端到端地在訓練過程中動態地對預測概率和經驗后驗概率之間的差異進行懲罰，并在訓練過程中利用帶有不同標簽的文本來實現對編碼器的負例監督，從而為每個類別生成不同的特征向量表示。實驗結果表明：PosCal-negative模型在兩個中文母嬰護理文本分類數據集MATINF-C-AGE和MATINF-C-TOPIC的分類準確率分別達到了91.55%和69.19%，相比ERNIE模型分別提高了1.13個百分點和2.53個百分點。

文本分類；后驗概率校準；預訓練語言模型；負例監督；深度學習

0 引言

文本分類是自然語言處理（Natural Language Processing，NLP）和文本挖掘中的重要任務。不論是簡單邏輯回歸分類還是復雜的神經網絡分類，通常都是首先計算所有類別的后驗概率，然后選擇后驗概率最大的確定其為最終分類，最后根據預測分類結果相對于真實類別的準確率來進行模型的性能評估。文本分類通常由編碼器和分類器兩個部分組成，編碼器將文本轉換為數字表示形式的特征向量，分類器則用于訓練文本特征向量和分類標簽之間的隱藏關系。常用的傳統文本表示方法有N元語法統計［1］、詞嵌入［2］、卷積神經網絡（Convolutional Neural Network， CNN）［3-4］和遞歸神經網絡［5］。最近，強大的預訓練語言模型的提出在包括文本分類在內的許多NLP任務上都表現出了良好的性能。預訓練語言模型事先在大規模的語料庫進行訓練，因此預訓練語言模型具有很強的泛化性。

在現實世界的決策系統中，分類網絡不僅要保證分類準確率，而且還應提供分類結果的置信度。在個性化醫學［6］、氣象預測［7-11］和自然語言應用處理程序［12-13］領域中，都已經強調了后驗概率校準概念的重要性。例如在自動駕駛領域中，如果檢測網絡無法自信地預測即時障礙物的存在，則汽車會更多地參考其他傳感器的輸出進行制動。同樣，在自動醫療領域中，當疾病診斷網絡的置信度較低時，醫生應進行人工核實。模型預測的分類結果的后驗概率反映了這個分類的置信度，對于分類決策難以解釋的神經網絡而言，提供分類結果的置信度可以建立模型與用戶之間的信任度。隨著深度學習的發展，文本分類的準確率越來越高，但是最近Guo等［14］發現這些分類模型存在盲目自信現象，模型的分類準確率和其置信度不匹配，模型在測試集上的分類結果置信度很高，但是其最終分類準確率卻很低。

針對模型分類準確率和置信度不匹配這個問題，Guo等［14］和Kumar等［15］等提出了一些后處理的后驗概率校準方法，模型經過訓練，得到分類結果的初始后驗概率，然后從驗證集中學習后處理參數，最后在測試集上對初始后驗概率進行處理。這種方法的優點是只需要少量的樣本，因而被廣泛使用，但是也存在一些問題：一方面，數據集拆分導致數據集之間數據分布差異明顯，所以后處理校準方法效果有限；另一方面，后處理校準方法的分類模型是靜態的。針對以上問題，本文提出了一個端到端的后驗概率校準模塊PosCal，在訓練過程中動態地對分類結果的預測后驗概率和經驗后驗概率之間的差異進行懲罰。

除此之外，在文本分類任務中，編碼器將文本轉換為可以表示文本語義的特征向量，因此，語義相似的文本具有相近的特征向量表示。然而根據具體分類任務不同可能會為語義相似的文本分配不同的標簽，這時分類器應該區分出導致標簽分配不同的細微差別。表1展示了在MedWeb［16］數據集上使用雙向編碼模型BERT（Bidirectional Encoder Representation from Transformers）的分類結果，此任務需要標記出該文本作者所感染的疾病。盡管表1中的兩個文本都提及到感冒這個疾病，但是只有第二個文本表示該文本作者患有感冒。因為這兩個文本的語義相似性，BERT錯誤地將兩個文本同時標記為感冒疾病。由此可知，分類器會因為語義相似性的過多影響而性能下降。基于此，本文提出了一個負例監督訓練方法，就是利用與樣本語義相似但不同類別的負例文本來實現對編碼器的負例監督，以便編碼器學習到語義相似文本之間因為標簽類別不同導致的細微差別。

本文主要工作包括：

1）提出了一個后驗概率校準訓練模型，實驗表明，在MATINF-C-AGE和MATINF-C-TOPIC這兩個中文文本分類數據集上，PosCal不僅可以減少后驗概率校準誤差，而且可以提高文本分類任務的準確率；

2）提出了一個簡單有效的負例監督訓練方法，利用語義相似且不同標簽的文本實現對編碼器的負例監督，以便為每個類別生成不同的特征向量表示。

表1 MedWeb數據集上用BERT進行文本分類的例子

1 相關工作

文本分類任務主要的方法有三種：基于規則的、基于傳統機器學習的和基于深度學習的方法。基于規則的文本分類方法需要領域專家定義一系列分類規則，基于規則的分類方法容易理解，但該方法依賴專家知識，系統構建成本高且可移植性差。隨著機器學習技術的發展，出現了許多經典的文本分類模型，如決策樹、樸素貝葉斯、支持向量機、最大熵、最近鄰等，這些方法克服了上述基于規則的文本分類方法的部分缺點，一定程度上實現了分類器的自動生成，被廣泛應用于各個領域［18］。然而，機器學習方法在構建分類器之前通常需要繁雜的人工特征工程。隨著深度學習的廣泛研究和應用，神經網絡利用復雜的多隱層感知器對數據進行高層抽象，利用分布式詞向量對文本進行語義表示，從而取代了傳統機器學習的手工特征工程，可以實現端到端的文本分類模型。CNN、循環神經網絡（Recurrent Neural Network， RNN）等深度學習模型在文本分類任務上取得了較高的準確率。本文只涉及基于深度學習的文本分類方法。

一個神經網絡除了需要提供最終預測類別，還應提供該預測結果的置信度度量，以此判斷該分類結果是否真實可靠，神經網絡中預測結果的置信度就是分類類別的后驗概率。隨著深度學習的研究和發展，神經網絡模型越來越復雜，神經網絡的層數和每層的卷積核數量越來越多。最近很多工作也證明了，較深和較寬的神經網絡具有更好的泛化能力，能更輕松地擬合訓練集，所以其分類準確率也越來越高。Guo等［14］指出，在某些情況下，隨著神經網絡分類性能的提高，模型盲目自信的問題也越來越嚴重。他們的實驗表明，控制變量單方面增加網絡的深度和寬度均會使得模型的分類錯誤降低，但是同時模型準確率和置信度越加不匹配。他們在大規模的二分類神經網絡模型上進一步進行實驗，發現因為模型足夠復雜，大多數樣本都以極接近于1或極接近于0的后驗概率被判定為正類，很少有樣本的預測后驗概率落入0.1到0.9區間內。

對于多分類文本分類任務而言，后驗概率校準方法就是將前文的方法進行簡單的擴展，對每一個類別的樣本進行分區，并計算得到每一個類別的校準后驗概率，最后對得到的個類別的校準后驗概率進行歸一化，取最大值作為最終文本分類任務的校準后驗概率。

上文提到的所有的后驗校準方法都是后處理方法。此類后處理校準方法會從驗證集中學習校準參數，優點是只需要很少的樣本；但是因為數據集分割造成數據集之間數據分布差異明顯，后處理校準方法不能獲取準確的數據分布，所以校準效果有限，并且該類方法的分類器是靜態的。針對后處理校準方法所存在的上述兩個問題，本文提出了一個簡單但有效的端到端后驗概率校準模塊PosCal。不同于后處理的校準方法，PosCal在訓練過程中動態地對預測后驗概率和經驗后驗概率之間的差異進行懲罰。

除此之外，在文本分類任務中，當分類標簽分配的標準與語義相似性不一致時，由于語義相似性的過多影響，分類器往往容易出錯。這是因為編碼器將文本轉換為表示文本語義的特征向量，語義相似的文本具有相近的特征向量表示，這時分類器可能區分不出相似文本間導致標簽分配不同的細微差別［22］。受這個想法的啟發，本文提出了一個負例監督訓練方法，就是利用負例，即帶有不同標簽的文本來實現對編碼器的負例監督，以便為語義相似文本根據類別不同生成不同的特征向量表示。

2 本文模型

針對現有的文本分類任務領域中存在的模型分類準確率和置信度不匹配，且現有后處理校準方法都依賴于驗證集，以及分類器很難區分出語義相似但匹配標簽不同的文本之間的細微差別這兩個問題，本文提出了后驗概率校準結合負例監督的模型PosCal-negative。如圖1所示，該模型是一個具有文本分類主任務、后驗概率校準和負例監督學習兩個輔助任務的多任務學習框架。圖1中的Trm表示使用自注意機制的編碼器-解碼器結構。

圖1 本文模型整體框架

2.1 嵌入層

模型的輸入是一個由一系列字符組成的文本，嵌入層是為了將文本的字符映射到同一個語義空間中，根據上下文的語義將文本的字符編碼成高維向量。本文選擇BERT語言模型對文本的字符進行編碼，因為該模型是深度的神經網絡模型，并且在大規模的語料上進行了訓練，所以可以更好地歸納自然語言文本中的語義和語法上的特性。

2.2 分類器

2.3 PosCal后驗概率校準

PosCal是一個后驗概率校準模塊，在訓練過程中將分類器初始輸出的預測后驗概率和經驗后驗概率之間的差異最小化，達到校準誤差最小化的目標。這種面向數據的校準因為考慮到了數據集的分布特點，比單純面向任務的模型更加可靠。與之前在固定且通常很小的驗證集上的后處理校準方法相比，PosCal模塊在訓練迭代過程中根據訓練集動態估計校準所需的數據統計信息。

本文提出后驗概率校準算法具體步驟如下：

輸出 模型參數。

步驟4 根據每一個epoch更新的次數，僅在那些批次中更新的值。

2.4 負例監督模塊

2.5 模型損失函數

3 實驗與分析

3.1 實驗設置與分析

3.1.1 數據集

本文采用MATINF-C［23］數據集，它是一個在母嬰護理領域中的大規模中文文本分類數據集。MATINF-C數據集的文本為日常口語表述，并且屬于單個領域下的細粒度分類，不同類別之間的文本語義區別都是極其細微的，需要模型更細致地利用語義信息，而不是簡單地為每個類別識別其獨特的-gram特征，因此更具挑戰性和實用性。

該數據集中的樣本包括三個字段：問題、描述和類別，表2給出了其中一個示例。該數據集分為了兩個子數據集MATINF-C-AGE和MATINF-C-TOPIC：1）MATINF-C-AGE數據集將問題和描述分類到3個不同的年齡段（0～1歲、1～2歲、2～3歲）；2）MATINF-C-TOPIC數據集將問題和描述分類為18個更細粒度的主題（產褥期保健、兒童過敏、動作發育、嬰幼保健、嬰幼心理、嬰幼早教、嬰幼期喂養、嬰幼營養、孕期保健、家庭教育、幼兒園、為準父母、流產和不孕、疫苗接種、皮膚護理、寶寶上火、腹瀉、嬰幼常見病），MATINF-C-AGE具有876 000條樣本，MATINF-C-TOPIC具有192 000條樣本，這兩個子數據集之間不存在數據重疊問題。

形式上，我們將任務定義為通過其問題和描述字段來預測文本信息的類別。

表2 MATINF-C數據集的實例

3.1.2 實驗參數

表3 超參數設置

3.1.3 評估指標

1）本文采用分類的準確率作為評估指標，準確率=正確的分類數量/總體數量。

ECE就是首先將0到1取值范圍內的后驗概率分為個區間，然后計算每個區間內樣本準確率和置信度之差的加權平均值，公式如下：

3.2 基線模型

本文選擇9個常見的文本分類模型作為基線模型，如表4，其中包括CNN及其變種模型、預訓練語言網絡模型以及后驗概率校準模型，具體情況如下：

1）文獻［24］中提出的TextCNN模型在文本分類任務中利用CNN來提取句子中類似-gram的關鍵信息，以預訓練好的詞向量矩陣表示一個句子，并且將其作為CNN的輸入層，再通過標記好的數據訓練出神經網絡模型從而達到預測數據類別的效果。

2）文獻［25］中提出的動態卷積神經網絡（Dynamic Convolutional Neural Network， DCNN）模型采用了動態top-最大池化層［26］。網絡中的兩個卷積層不同的詞向量進行卷積，卷積后的矩陣中每一個單元格都表示了相鄰詞匯組合起來的語義。這些語義或者結構信息不是同等重要的，于是最大池化層就提取出這些信息中重要的個。

3）文獻［27］中提出的結合RNN和CNN模型的循環卷積神經網絡（Recurrent Convolutional Neural Network， RCNN）采用雙向循環結構獲取文本信息，比傳統的基于窗口的神經網絡更能減少噪聲，而且在學習文本表達時可以大范圍地保留詞序。其次使用最大池化層獲取文本主要成分，自動判斷哪個特征在文本分類過程中起更重要的作用。

4）文獻［28］中提出了一種線性快速文本分類模型（fast Text classifier， fastText），通過引入其他統計數據（如-gram語法統計），減小了線性模型和深度模型之間精度的差距，同時速度也比DCNN等主流深度神經網絡的分類速度提升了許多個數量級。

5）文獻［29］中提出了新型CNN結構深度金字塔神經卷積網絡（Deep Pyramid Convolutional Neural Network， DPCNN），在卷積層后固定卷積核的數量進行池化，可以有效提取文本中的遠程關系特征，并且降低復雜度。

6）文獻［30］提出的BERT模型基于多層Transformer Encoder模塊，并通過掩碼語言模型（Masked Language Model，MLM）以及下一個句子預測（Next Sentence Prediction，NSP）兩個任務進行預訓練。

7）文獻［31］中提出了BERT模型的壓縮方法BERT-of-Theseus，直接用小模型的模塊去替換大模型的模塊，然后進行訓練。不同于很多蒸餾方法都得同時作用于預訓練和微調階段，BERT-of-Theseus可以直接作用于下游任務的微調。

8）文獻［32］中提出的使用信息實體增強語言表示（Enhanced Language Representation with Informative Entities，ERNIE）的Knowledge Integration方法將BERT中的隨機masking改為實體或短語級別的masking，使模型能夠從中學習到更多句法語義知識。

9）文獻［14］中提出的后驗概率校準方法Temperature scaling（簡記為Temp）引入了一個變量對后驗概率進行縮放校準。

3.3 實驗結果與分析

3.3.1 實驗結果對比

與基線模型的準確率對比結果如表4所示。從表4可以看出，在MATINF-C-AGE和MATINF-C-TOPIC兩個數據集上，本文模型的準確率明顯高于其他五個神經網絡模型；與三個預訓練語言模型相比，PosCal-negative的文本分類準確率也是最優的。其中Temp方法因為參數不會改變softmax函數的最大值，所以模型最終分類準確率保持不變，只會對后驗概率校準程度產生影響，所以在表4中Temp的準確率和本文的BERT+negative基本一致。綜上說明，本文提出的PosCal-negative模型在兩個分類數據集上均發揮了作用。

表4 各模型的準確率對比 單位： %

觀察發現具有最深層網絡結構和最大參數量的DPCNN模型取得了91.02%的準確率，超越了包括預訓練語言模型在內的所有基線模型。分析可能是因為MATINF-C-AGE是一個樣本數量較少并且類別數量較少的數據集，這有利于具有中等數量的模型，而不是像預訓練語言模型那樣具有巨大參數量的模型。同樣，該數據集類別只有3個，所以針對該數據集的文本分類任務相對簡單很多，這使得語言模型的優勢變得微不足道。

3.3.2 消融分析

在消融實驗中，選擇BERT-base這個預訓練語言模型作為基線對比。

由表5可知，使用了PosCal模塊比BERT基線在MATINF-C-AGE和MATINF-C-TOPIC數據集上的準確率分別提高了0.92個百分點和1.82個百分點，說明PosCal模塊能提高在MATINF-C-AGE和MATINF-C-TOPIC數據集上的文本分類準確率；使用了負例監督訓練模塊的比BERT基線在兩個數據集上分別提高了0.54個百分點和1.09個百分點，說明了負例監督訓練模塊也是有效的。

表5 消融實驗的準確率結果 單位： %

3.3.3 期望校準誤差分析

表6是針對PosCal模塊在校準誤差這個指標上的效果，從表中數據可以看出，Temp在兩個數據集上的ECE值都是上升的，它在本文兩個數據集上后驗概率校準效果表現不佳；與BERT-base相比，本文模型PosCal-negative的ECE值在MATINF-C-AGE和MATINF-C-TOPIC兩個數據集上都有所下降，說明本文提出的PosCal這種端到端的校準后驗概率方法是有效的。

表6 ECE對比

3.3.4 負例監督模塊分析

從表7的實驗結果可以看出，PosCal-AM和PosCal-negative在MATINF-C-AGE和MATINF-C-TOPIC這兩個數據集上分類性能都超過了基線模型，整體看來，本文模型PosCal-negative性能更優；然而PosCal-ACE模型的分類準確率比基線模型的低。這說明簡單地選取輔助樣例進行監督學習并不能提升文本分類的效果，但本文提出的負例監督學習方法起到了重要作用。

表7 負例監督模塊準確率對比 單位： %

4 結語

針對現有的文本分類任務領域中存在的模型分類準確率和置信度不匹配，且現有后處理校準方法都依賴于驗證集，以及分類器很難區分出語義相似但匹配標簽不同的文本之間的細微差別這兩個問題，本文提出了PosCal-negative。實驗結果表明，本文提出的PosCal-negative模型在MATINF-C這個中文母嬰護理文本分類數據集上的準確率取得了較大的提升。在未來的工作中，希望考慮分類標簽之間的語義相似性，結合本文提出的負例監督學習方法來提高文本分類的準確率。

）

[1] WANG S， MANNING C D. Baselines and bigrams： simple， good sentiment and topic classification［C］// Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： ACL， 2012： 90-94.

[2] WANG G Y， LI C Y， WANG W L， et al. Joint embedding of words and labels for text classification［C］// Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics （Volume 1： Long Papers）. Stroudsburg， PA： ACL， 2018：2321-2331.

[3] ZHANG X， ZHAO J B， LeCUN Y. Character-level convolutional networks for text classification［C］// Proceedings of the 28th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2015： 649-657.

[4] SHEN D H， ZHANG Y Z， HENAO R， et al. Deconvolutional latent-variable model for text sequence matching［C］// Proceedings of the 32nd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2018： 5438-5445.

[5] YANG P C， SUN X， LI W， et al. SGM： sequence generation model for multi-label classification［C］// Proceedings of the 27th International Conference on Computational Linguistics. Stroudsburg， PA： ACL， 2018：3915-3926.

[6] JIANG X Q， OSL M， KIM J， et al. Calibrating predictive model estimates to support personalized medicine［J］. Journal of the American Medical Informatics Association， 2012， 19（2）： 263-274.

[7] MURPHY A H. A new vector partition of the probability score［J］. Journal of Applied Meteorology and Climatology， 1973， 12（4）： 595-600.

[8] MURPHY A H， WINKLER R L. Reliability of subjective probability forecasts of precipitation and temperature［J］. Journal of the Royal Statistical Society： Series C （Applied Statistics）， 1977， 26（1）： 41-47.

[9] DEGROOT M H， FIENBERG S E. The comparison and evaluation of forecasters［J］. Journal of the Royal Statistical Society： Series D （The Statistician）， 1983， 32（1/2）： 12-22.

[10] GNEITING T， RAFTERY A E. Weather forecasting with ensemble methods［J］. Science， 2005， 310（5746）： 248-249.

[11] BR?CKER J. Reliability， sufficiency， and the decomposition of proper scores［J］. Quarterly Journal of the Royal Meteorological Society， 2009， 135（643）： 1512-1519.

[12] NGUYEN K， O’CONNOR B. Posterior calibration and exploratory analysis for natural language processing models［C］// Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： ACL， 2015： 1587-1598.

[13] CARD D， SMITH N A. The importance of calibration for estimating proportions from annotations［C］// Proceedings of the 2018 Conference of the North American Chapter of the Association of the Computational Linguistics： Human Language Technologies， Volume 1 （Long Papers）. Stroudsburg， PA： ACL， 2018： 1636-1646.

[14] GUO C， PLEISS G， SUN Y， et al. On calibration of modern neural networks［C］// Proceedings of the 34th International Conference on Machine Learning. New York： JMLR.org， 2017： 1321-1330.

[15] KUMAR A， LIANG P， MA T Y. Verified uncertainty calibration［C/OL］// Proceedings of the 33rd International Conference on Neural Information Processing Systems. ［2021-03-30］.https：//proceedings.neurips.cc/paper/2019/file/f8c0c968632845cd133308b1a494967f-Paper.pdf.

[16] WAKAMIYA S， MORITA M， KANO Y， et al. Overview of the NTCIR-13： MedWeb task［C］// Proceedings of the 13th NTCIR Conference on Evaluation of Information Access Technologies. Tokyo： National Institute of Informatics， 2017： 40-49.

[17] 劉婷婷，朱文東，劉廣一. 基于深度學習的文本分類研究進展［J］. 電力信息與通信技術， 2018， 16（3）：1-7.（LIU T T， ZHU W D， LIU G Y. Advances in deep learning based text classification［J］. Electric Power Information and Communication Technology， 2018， 16（3）：1-7.）

[18] 何力，鄭灶賢，項鳳濤，等. 基于深度學習的文本分類技術研究進展［J］. 計算機工程， 2021， 47（2）：1-11.（HE L， ZHENG Z X， XIANG F T， et al. Research progress of text classification technology based on deep learning［J］. Computer Engineering， 2021， 47（2）：1-11.）

[19] ZADROZNY B， ELKAN C. Obtaining calibrated probability estimates from decision trees and naive Bayesian classifiers［C］// Proceedings of the 18th International Conference on Machine Learning. San Francisco： Morgan Kaufmann Publishers Inc.， 2001： 609-616.

[20] NAEINI M P， COOPER G F， HAUSKRECHT M. Obtaining well calibrated probabilities using Bayesian binning［C］// Proceedings of the 29th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2015： 2901-2907.

[21] PLATT J. Probabilistic outputs for support vector machines and comparisons to regularized likelihood methods［M］// SMOLA A J， BARTLETT P ，SCH?LKOPF B， et al. Advances in Large Margin Classifiers. Cambridge： MIT Press， 2000： 61-74.

[22] OHASHI S， TAKAYAMA J， KAJIWARA T， et al. Text classification with negative supervision［C］// Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： ACL， 2020： 351-357.

[23] XU C W， PEI J X， WU H T， et al. MATINF： a jointly labeled large-scale dataset for classification， question answering and summarization［C］// Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： CL， 2020： 3586-3596.

[24] KIM Y. Convolutional neural networks for sentence classification［C］// Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： ACL， 2014： 1746-1751.

[25] KALCHBRENNER N， GREFENSTETTE E， BLUNSOM P. A convolutional neural network for modelling sentences［C］// Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics （Volume 1： Long Papers）. Stroudsburg， PA： ACL， 2014： 655-665.

[26] 杜思佳，于海寧，張宏莉. 基于深度學習的文本分類研究進展［J］. 網絡與信息安全學報， 2020， 6（4）：1-13.（DU S J， YU H N， ZHANG H L. Survey of text classification methods based on deep learning［J］. Chinese Journal of Network and Information Security， 2020， 6（4）：1-13.）

[27] LAI S W， XU L H， LIU K， et al. Recurrent convolutional neural networks for text classification［C］// Proceedings of the 29th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2015： 2267-2273.

[28] JOULIN A， GRAVE E， BOJANOWSKI P， et al. Bag of tricks for efficient text classification［C］// Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics， Volume 2 （Short Papers）. Stroudsburg， PA： ACL， 2017：427-431.

[29] JOHNSON R， ZHANG T. Deep pyramid convolutional neural networks for text categorization［C］// Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics， Volume 1 （Long Papers）. Stroudsburg， PA： ACL， 2017： 562-570.

[30] DEVLIN J， CHANG M W， LEE K， et al. BERT： pre-training of deep bidirectional transformers for language understanding［C］// Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies， Volume 1 （Long and Short Papers）. Stroudsburg， PA： ACL， 2019： 4171-4186.

[31] XU C W， ZHOU W C S， GE T， et al. BERT-of-Theseus： compressing BERT by progressive module replacing［C］// Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： ACL， 2020： 7859-7869.

[32] ZHANG Z Y， HAN X， LIU Z Y， et al. ERNIE： enhanced language representation with informative entities［C］// Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： ACL， 2019： 1441-1451.

Integrating posterior probability calibration training into text classification algorithm

JIANG Jing1， CHEN Yu2， SUN Jieping1， JU Shenggen1*

（1，，610065，；2，，626001，）

The pre-training language models used for text representation have achieved high accuracy on various text classification tasks， but the following problems still remain： on the one hand， the category with the largest posterior probability is selected as the final classification result of the model after calculating the posterior probabilities on all categories in the pre-training language model. However， in many scenarios， the quality of the posterior probability itself can provide more reliable information than the final classification result. On the other hand， the classifier of the pre-training language model has performance degradation when assigning different labels to texts with similar semantics. In response to the above two problems， a model combining posterior probability calibration and negative example supervision named PosCal-negative was proposed. In PosCal-negative model， the difference between the predicted probability and the empirical posterior probability was dynamically penalized in an end-to-and way during the training process， and the texts with different labels were used to realize the negative supervision of the encoder， so that different feature vector representations were generated for different categories. Experimental results show that the classification accuracies of the proposed model on two Chinese maternal and child care text classification datasets MATINF-C-AGE and MATINF-C-TOPIC reach 91.55% and 69.19% respectively， which are 1.13 percentage points and 2.53 percentage points higher than those of Enhanced Representation through kNowledge IntEgration （ERNIE） model respectively.

text classification; posterior probability calibration; pre-training language model; negative supervision; deep learning

This work is partially supported by National Natural Science Foundation of China （61972270）， Key Research and Development Project in Sichuan Province （2019YFG0521）.

JIANG Jing， born in 1996， M. S. candidate. Her research interests include natural language processing， knowledge graph.

CHEN Yu， born in 1974， M. S.， professor. His research interests include natural language processing， human-computer interaction.

SUN Jieping， born in 1962， M. S.， associate professor. His research interests include intelligent information processing， intelligent education.

JU Shenggen， born in 1970， Ph. D.， professor. His research interests include natural language processing， knowledge graph， data mining.

TP391

A

1001-9081（2022）06-1789-07

10.11772/j.issn.1001-9081.2021091638

2021?09?27；

2021?11?15；

2021?11?17。

國家自然科學基金資助項目（61972270）；四川省重點研發項目（2019YFG0521）。

江靜（1996—），女，重慶人，碩士研究生，主要研究方向：自然語言處理、知識圖譜；陳渝（1974—），男，四川儀隴人，教授，碩士，主要研究方向：自然語言處理、人機交互；孫界平（1962—），男，四川成都人，副教授，碩士，主要研究方向：智能信息處理、智慧教育；琚生根（1970—），男，安徽桐城人，教授，博士，主要研究方向：自然語言處理、知識圖譜、數據挖掘。