基于多模型的新聞標題分類

董孝政，宋 睿，洪 宇，朱芬紅，朱巧明

(蘇州大學 江蘇省計算機信息處理技術重點實驗室，江蘇 蘇州 215006)

0 引言

新聞標題領域分類(簡稱標題分類)的任務是依據標題語義對其所屬領域進行判定，從而實現不同領域的標題歸類。比如，標題“英國脫歐再現僵局”可歸結為時政類領域。高效的標題分類對全文領域劃分有著直接的促進作用，并因處理對象短而精，極大節省計算開銷。因此，標題分類在基于領域特性的自然語言處理和計算語言學領域都有著重要的應用價值，比如垂直搜索、領域機器翻譯[1]和輿情分析等。

標題的主要特點是利用盡量精煉的語言概括豐富的信息。根據NLPCC2017共享任務中新聞標題分類的語料[注]http://tcci.ccf.org.cn/conference/2017/taskdata.php的統計，95%的標題長度不超過20個漢字。因此，現有研究將標題分類歸結為短文本分類問題。傳統的短文本分類方法集中于分類規則和機器學習兩個方面。

(1) 基于規則的方法源于專家知識的應用，依賴數據觀測制定剛性的規則對標題類別進行界定，比如，如果標題中出現武器裝備的術語或稱謂，則判定其歸屬軍事類領域。基于規則的方法往往處理速度快、精度高，但受限于觀測數據的“小樣本”現象，具有較低的泛化能力，在大規模數據處理時，往往暴露出較低的魯棒性。

(2) 基于機器學習的短文本分類技術[2]則更為側重分類模型的泛化能力，借助對標注樣本的監督學習，優化分類核函數的目標并降低其誤判損失，從而獲得預定義特征集合上的判別模型。其泛化能力更強，可借助對訓練樣本類別特征的學習，對具有同類特征(同質異構)的測試樣本進行判別。盡管如此，這類方法也繼承了傳統機器學習策略的不足，包括特征工程的手工化、學習過程的過擬合、訓練數據的規模限制與類型分布失衡導致的偏差等。

目前，基于神經網絡的深度學習技術已經獲得重要突破，并在自然語言處理領域的諸多任務中取得良好成績。這類技術在特征工程的去手工化、語義級特征學習與抽象、學習機制的抗數據及分布干擾方面，都具有潛在的優勢。本文嘗試將深度學習納入短文本分類架構，應用于標題分類問題的求解過程，并結合標題成詞造句的獨特語言現象，驗證各類技術的適應性和分析存在的缺陷。技術上，本文分別實現并應用了卷積神經網絡(Convolutional Neural Network，CNN[3])、LSTM[4]和GRU[5]模型，以及結合了注意力機制的LSTM模型[6]，并借助這類模型對新聞標題中詞向量(Embedding)形成多層語義感知。

實驗中，基于CNN模型的標題分類評測，側重檢驗不同局部語義特征及其聯合的上層抽象對標題分類的貢獻，這一實驗的動機來源于如下發現： 某些新聞標題中的詞(或短語)呈現弱相關的特點，造句模式存在人為牽強的“拼湊”，比如，“新一代手機比紙薄能彎曲可卷折”。這類實例中，字、詞或短語的獨立含義對于類型判別有著更為直接的作用；相比而言，LSTM及其變形GRU更善于將詞義及其相互關系進行建模，通過序列化的加權與融合形成統一的句子語義表示，與CNN模型在理論層面存在一定差異。比如，“茅房困境： 買房不如買茅臺”中，句子整體的語義有助于“茅房”(“茅臺”與“房產”造作的合并)的詞義理解，進而對全句的含義給予詮釋，有助于這類實例的正確分類。因此，LSTM和GRU也作為本文重要的檢驗對象。此外，本文實驗部分也檢驗了基于LSTM的注意力機制，意在評價詞項的重要性對于全句分類的影響。

此外，本文建立了兩套標題分類系統，一套為單模型多元分類系統，旨在利用一套深度學習模型解決多種領域的劃分問題，另一套為多模型二元分類及投票系統，該系統聯合使用CNN、LSTM和GRU三種模型對每一個標題樣本進行單類型(是或非)的二元分類，對于不同模型在標題類型上具有不同判定的情況，將根據投票規則進行總體判斷，包括“少數服從多數”和“確定性最高”兩種原則。實驗證明，簡單的投票方式，可以將原有標題分類性能提高約1個百分點，且發現在實際測試中，某些標題樣本無法被多種學習模型劃分為任何一種類型，從而驗證這類樣本在多元分類系統強制的類型指派過程中，絕大部分難以避免誤判。實驗對這類標題樣本進行了深入分析，并給出其主要特性。

總體，本文主要貢獻如下： ①檢驗了不同深度學習方法在標題分類中的性能；②提出并使用了多模型二元分類方法；③檢驗并分析了現有CNN、LSTM和GRU等模型對標題分類樣本的適應性，并給出這類方法漏檢的標題樣本的特性。

本文組織如下，第1節簡要介紹相關工作；第2節陳述標題分類的任務體系及數據資源；第3節介紹多模型二元分類系統架構，其中包括投票規則與實施方法；第4節還將給出CNN、LSTM及GRU的具體配置方法；第5節介紹實驗架構及結果分析，其中包括漏檢標題樣本的特性分析，以及各類模型的適應性分析；第6節為總結全文及對未來工作的展望。

1 相關工作

傳統短文本分類的方法主要涉及三方面工作： 特征工程，特征選擇和機器學習算法。在特征工程方面，最常用的特征是詞袋模型(bag of word，BOW),而其他復雜特征包括詞性標簽、名詞短語、樹核等。Post等[7]將樹核與不同任務的不同顯示的樹特征集合進行文本分類比較。特征選擇即為刪除“噪聲”特征，提高分類的準確率，最常用的特征提取方法是移除文本中的停用詞。相對而言，現有方法通過使用額外的知識進行知識擴展，彌補短文本特征少而又稀疏的缺點。Hu等[8]通過利用內部和外部語義來提高短文本的性能。Banerjee等[9]使用了維基百科數據擴充文本。機器學習算法則采用了邏輯回歸(LR)、樸素貝葉斯(NB)和支持向量機(SVM)等分類模型。然而，這些方法均有特征稀疏的缺點，并且往往依賴于特定的場景和資源，難以進行推廣。

最近，深度神經網絡[10]和表示學習[11]在解決數據稀疏的問題上提供了新的思路，也提出了詞表征的神經模型。Collobert等[12]將卷積神經網絡引入到了自然語言處理中的許多任務，并證明其提出的模型在各項任務中都獲得了很好的表現。Kim[13]通過將單詞向量與卷積神經網絡進行結合，在短文本情感分類中取得良好效果。Santos等[14]將英文短文本的字符序列作為處理單元，分別學習文本的詞級和句子級特征，提高文本分類的準確性。這些工作證明了卷積神經網絡在自然語言處理領域中有著廣闊的應用前景，而循環神經網絡通過使用帶自反饋的神經元，能夠處理任意長度的序列。因此，循環神經網絡也已經被廣泛地應用到自然語言處理任務中。

2 任務定義與評測體系

本文所涉研究繼承了NLPCC2017系列共享任務中新聞標題分類(news headline category，NHC)任務的定義與評測方法。其中，標題定義為新聞網頁中主體文字內容(非廣告、推廣或圖像內容)的題目，分類標準為標題(僅僅考慮標題)語義呈現出的領域類型特性，比如，“茅房困境： 買房不如買茅臺”這一題目歸為經濟類。

根據任務定義，標題分類系統需對每一個標題樣本給出唯一一個所屬領域類別的標簽，任務體系共給出18種領域類型(表1)。按照這一分類體系，評測提供的人工標注樣本數達到228 000條標題。其中，訓練集包含156 000條標題，開發集和測試集各包含36 000條標題。此外，由于標注數據在不同類別上略顯不均衡，因此，實際評測中，散文、故事、養生和探索四個類別的訓練集、開發集和測試集分別各自包含4 000、2 000和2 000條標題；而除了這四個類別之外，其他的類別的訓練集、開發集和測試集分別各自包含10 000、2 000和2 000條標題。

表1 標題分類任務的領域類型體系

針對任何分類系統給出的結果，評測統一采用精確率(precision)、召回率(recall)和F1測度進行性能評價。對18類整體的系統輸出性能，則采用了微平均方法綜合測評。

3 標題分類模型

本節介紹基于深度學習的標題分類，包含兩個部分： 分類模型結構和多模二元分類投票機制。

3.1 分類模型結構

本文采用多層深度感知的神經網絡構建標題分類模型。其基本架構如圖1所示，包括輸入層、輸出層和隱藏層。基于CNN、LSTM和GRU的分類模型的輸入層、輸出層具有相同結構。在輸入層都接收來自某一標題中所有詞的詞向量，而在輸出端則給出不同類別上的概率分布。顯然，實踐過程中，最大概率的類別標記將作為輸入標題樣本的分類結果進行輸出。

上述三種分類模型的區別主要集中在隱藏層，基于CNN的分類模型，在隱藏層增設了卷積層和最大池化層，而LSTM和GRU則在隱藏層嵌入了遞歸神經網絡，并增設記憶控制門等門控機制。上述分類模型的性能優劣，主要取決于隱藏層內的學習方式： 獨立特征優先(CNN)或序列語義優先(LSTM或GRU)。

圖1 標題分類模型架構

GRU本身是LSTM的一種簡化變形，但在使用過程中，對于序列語義的選擇性記憶略顯優勢，因此，本文也將其作為一個獨立的方法，參與上述分類的對比評價，以及三者的投票機制。關于隱藏層中的dense和Dropout兩層的配置，根據不同的學習模型而略有不同，但作用并無差異。

3.2 多模二元分類投票機制

針對特定標題樣本，借助神經網絡的多層感知，分類模型可在網絡的輸出層對所有可選領域類別進行概率指派，比如，本文以NLPCC2017共享任務體系中分類任務的18種領域類別進行判別，則分類模型在輸出層利用softmax回歸模型計算每種類別的概率，最高概率對應的類別標簽將作為輸入樣本所屬的領域的解。但是，在實際執行過程中，某些樣本在領域劃分上存在一定的模糊性，例如，“馬云演講視頻《CCTV創業英雄會》”既可以認為是一種科技領域的題材(依據馬云背景)，也可認為是娛樂領域的題目(依據CCTV節目秀)。那么，建立一個單模型多元(18元)分類的系統，進行剛性的唯一類別指派，往往形成過于武斷的判別機制。

為此，本文嘗試結合多個分類模型的二元分類結果(是或非)，利用規則形成簡單的投票方法，形成較為靈活的判別機制。圖2中的左子圖(a)是傳統的單模型多元分類機制，其中，在單一神經網絡的輸出層，經過softmax回歸后，18種領域類別中，只有概率最高的一種類別作為結果輸出；相比而言，右子圖(b)則建立了兩套分類模型，每套模型對單一標題樣本的18種可能的領域類別全部進行二元判別(是為1，否則為0)，從而每套模型都可能將某一樣本劃分到多種領域類別之中。那么，兩套分類模型對這一樣本的二元類型判別結果，就形成了兩套不同的領域類別集合，兩者或許存在交集(圖例中給出的是存在交集的情況)，或許互不統一。而前文提到的規則，即是在上述不同模型得出的領域類別集合之上實施的進一步判斷。在本文實際的實驗中，我們引入三種深度學習模型(CNN、LSTM和GRU)進行二元判定，由此，規則實際上是在三者得出的三套類別集合上實施的綜合判斷。

圖2 單模多元分類機制與多模型二元分類機制對比

針對多模型二元分類產生的類別指派，本文采用“少數服從多數”和“可信度最高”兩項規則進行二次篩選，將較為可靠的類型指派給目標標題樣本。注意，之所以未保留多于一項的類型指派，原因在于NLPCC2017分享任務中標題分類語料的單一類別標記原則，即每個標題只由人工指派唯一一個類型標簽。那么，上述多模型二元分類產生的多種類別產出的現象，可認為不同模型根據自身不同的理論基礎得出的不同中間結果，而結合不同模型得出的判斷，再基于規則得出綜合判斷的過程，可理解為一種對“多候選擇優的人工單選題求解方式”的模擬。比如，基于獨立詞義特征進行深度學習的二元CNN模型，可對領域信息混雜的標題樣本實現多個無關(或弱相關)領域類型的臨時判斷，假設標題“什么才是真正自動駕駛？開車打一局王者榮耀才算”中的“自動”“駕駛”和“王者榮耀”分別利于科技、汽車和游戲領域類型的識別，且CNN確實輸出上述類別標簽；同時，綜合了全局語義的LSTM模型，對上述標題也給出了汽車和散文兩種模糊的類型判斷。那么，本文規則的目標即是綜合評定兩者的判斷，給出汽車領域這一最終判斷(少數服從多數原則)。

本文具體的規則如下所示：

規則1三套二元模型中至少有一套模型有輸出結果(圖3展示了每套模型含有多個結果的情況),根據輸出結果統計18個領域出現的次數[num1,num2,…,num18](18個領域分別為c1,c2,…,c18)， 將對應的出現次數由大到小排序[numm,numn,…]，其中m、n分別對應原始次數中的下標。標題領域label確定如式(1)所示。

(1)

規則2對于規則1中無標簽的結果，則采用高置信度的模型(GRU)的多元分類模型重新分類，且唯一輸出多元分類的單一判定結果。

規則3當所有模型都沒有輸出結果時(即每個二元分類模型在18種領域類型上都判定為0，即無關)，則最終認定標題樣本不屬于任何領域類型。

圖3 多模型二元分類多輸出

上述規則中，最后一項規則是不符合NLPCC2017分享任務中標題分類評估要求的輸出方式，因為任務要求每一個樣本都唯一對應一個領域類型，不為空。因此，上述最后一項空輸出的規則，必然導致召回率R的下降，實驗中也的確顯示了這一現象(盡管最終系統性能因為精度P的提升獲得了約1%F1值的提高)。我們將這一規則納入考慮的動機在于，經過人工觀測，某些標準數據集中的標題樣本并不屬于指定的18項領域類別，人工標記存在牽強的指派。為此，本文利用空輸出的規則，收集疑似的錯誤標記樣本并進行分析，如實驗分析部分的介紹(第5節)，部分空輸出的樣本的確存在誤標記，但另外一部分樣本則暴露了現有分類模型的不足。

4 深度學習模型的配置

本節介紹神經網絡模型的參數配置，包括基于CNN、LSTM和GRU的多元分類模型和二元分類模型。對于單模多元分類模型，我們只需構建一個多(18)元分類器，對于二元分類模型，我們需要對每種領域構建對應的二元分類器(參數相同)，即二元分類模型包括18個二元分類器。

4.1 CNN

對于CNN的多元分類器和二元分類器，輸入一個新聞標題(已通過jieba工具分詞)，通過向量層將新聞標題轉化為向量。然后通過卷積和池化提取標題特征，卷積和最大池化偽代碼如下：

輸入: 新聞標題向量x={x1,x2,…,xn} 輸出: 新聞標題特征向量1: repeat2: for 每個卷積核ω do 3: for i in n-h+1 do //卷積核的寬度為h4: oi←tanh(ω·xi:i+h-1+bo)5: end for 6: c←concat(c,oi)7: end for8: c'←maxpooling(c)9: until 輸出c'

基于CNN的多元分類器的參數配置如下： ①卷積核窗口大小為3，卷積核的數量為128; ②全連接層D1單元數為64，激活函數為tanh，全連接層D2單元數為18，激活函數為softmax; ③Dropout為0.5。而基于CNN的二元分類器參數配置如下： ①卷積核、全連接層D1和Dropout的設定與基于CNN的多元分類器相同；②全連接層D2單元數為1，激活函數為sigmoid。

如表2所示，CNN模型訓練參數，二元分類器的損失函數是Loss1，而多元分類器的損失函數是Loss2[注]keras-cn.readthedocs.io/en/latest/，二元分類器和多元分類器的優化器和迭代次數設置如表2所示，且設置的最小批數據是256。

表2 CNN模型訓練參數

4.2 LSTM和GRU

基于LSTM的模型和基于GRU的模型，其輸入與基于CNN的模型相同，二者都是時序化處理標題得到標題語義向量。LSTM隱層的偽代碼如下：

輸入: 數據x={x1,x2,…,xn},xt是標題第t個詞向量輸出: 時序化處理標題,得出標題語義向量1: repeat2: 對于當前步,輸入xt、前一層的隱含層輸出ht-1和細胞狀態Ct-1 //忘記門層ft3: ft←sigmoid(Wf·[ht-1,xt]+bf) //輸入門層it4: it←sigmoid(Wi·[ht-1,xt]+bi) //新候選值向量Ct5: Cˇt←tanh(Wc·[ht-1,xt ]+bc) //信息融合新的細胞狀態6: Ct←ft*Ct-1+it*Ct //一個確定細胞狀態的輸出的值7: ot←sigmoid(Wo·[ht-1,xt]+bo) //隱含層輸出ht8: ht←ot*tanh(Ct)9: until 遍歷所有的詞,輸出h

GRU是LSTM的變種，GRU隱層的偽代碼如下：

輸入: 數據x={x1,x2,…,xn},xt是標題第t個詞向量輸出: 時序化處理標題,得出標題語義向量1: repeat2: 對于當前步xt,會存在前一層的隱含層輸入ht-13: zt←sigmoid(wz·[ht-1,xt]) //更新門4: rt←sigmoid(wr·[ht-1,xt])//重置門5: h～t←tanh(W·[rt*ht-1,xt])//候選輸出6: ht←(1-zt)*ht-1+zt*h～t//當前步的輸出7: until 遍歷所有的詞,輸出h

通過GRU和LSTM處理文本得到標題語義，輸出維度為128維。另外，基于GRU的多元分類器和基于LSTM的多元分類器的其他參數配置與基于CNN的多元分類器相同。

5 實驗

5.1 詞向量

我們使用了預訓練的Word2vec模型[注]http://spaces.ac.cn/archives/4304/comment-page-1，詞向量[15]維度為256維，由Gensim訓練得到。在標題分類任務中，若單詞不存在預訓練的向量詞集中，則進行隨機初始化。此外，標題預定長度為40，若長度大于預定長度則舍去超過部分，若小于預定長度則進行補零操作。

5.2 實驗設置

單模多元分類模型和二元分類模型(第4節，實驗配置) 對于每套模型的二元分類模型的預測結果，只有單輸出結果才能確定標簽。不同網絡的二元分類模型的預測結果，在測試集中能確定標簽的數據不同，定義CNN二元分類模型能夠確定標簽的部分測試集數據為Data1，LSTM和GRU二元分類模型能確定唯一標簽的數據集分別是Data2和Data3，整個測試集數據為Data。

LSTM+Attention對于LSTM的多元分類模型，我們在時序化處理文本向量時添加了注意力機制，用于新聞標題分類。

融合系統通過投票策略(詳見3.2節)融合CNN、GRU和LSTM三種二元分類模型，即多模二元模型。因為投票策略中第三條規則的數據不符合評測任務要求，強行使用GRU的多元分類對沒有輸出結果的數據也強行指派了一個分類。

融合系統前提是Data1、Data2和Data3數據集不能完全一致，三種數據集的重疊部分如圖4所示。每個序號對應的數量如表3所示，其中5、6和7分別對應Data1、Data2和Data3。從數據結果來看，三個數據集具有差異，從而保證了融合系統的可實施性，也驗證了不同模型對標題分類任務的適應性是有區別的。

圖4 數據集重合圖

序號數據量序號數據量122 248528 169224 165628 381324 542728 775425 029——

5.3 模型的最優迭代次數選

我們使用了36 000條開發集數據，根據圖5，各模型的P、R和F1值與迭代次數的關系圖所示，來選擇對應的性能最優的單模多元分類模型。因此，我們分別得到了基于CNN、GRU和LSTM的多元分類模型的對應最優迭代次數為6、8和10。因為二元分類模型存在部分數據無法指定其標簽，所以選擇迭代模型時參照了單模多元分類的迭代次數的性能。

圖5 P、R和F1值與迭代次數的關系圖

5.4 結果與分析

多元分類模型和二元分類模型在對應數據集上的分類結果對比如表4所示。

表4 多元分類與二元分類模型對比

根據表4結果，在相應數據集上，CNN、LSTM和GRU的二元分類模型的微觀精確率、召回率和F1值都高于多元分類模型，因此二元分類模型性能優于多元分類是融合系統性能提升的因素。

同時，我們觀測了三種網絡的多元分類模型預測結果的錯誤樣例，發現三種網絡對標題分類任務的適應性是有區別的，單模多元分類預測錯誤樣例如表5所示。

表5 單模多元分類預測錯誤樣例

對表5中多元分類模型預測的錯誤樣例依次進行分析，在前兩個樣例中，根據“世界”特征預測為“世界”標簽，根據“雞湯”誤分類為“食物”標簽，僅僅根據局部特征進行分類，而忽略了標題的語義。雖然LSTM可以很好地利用時序化信息，但由于“馬路上的愛情”和“一線一指標”這兩個樣例缺少上下文信息，導致LSTM依然不能將其正確分類。最后兩個樣例中，“汽車”和“DNA檢測”的特征在整個標題語義中占據比重較大，導致分類錯誤。根據上述樣例分析，當標題存在明顯特征時，基于CNN的多元分類模型更有優勢；而基于GRU和LSTM的多元分類模型通過時序化處理標題，得到整個標題語義的表示，進行標題分類，更適應需要理解標題語義的數據，三個模型對標題適應性的不同是二元模型確定標簽數據集合不同的內在體現。

融合系統與其他實驗對比如表6所示，其中也增添了NLPCC評測任務中排名靠前的結果(因為論文未公開，只使用結果)，同時使用了整個測試集Data。

表6 實驗結果

根據表6結果，我們發現添加了注意力機制的LSTM多元分類效果不佳，沒有單獨的LSTM多元分類模型好，主要因為標題是凝練全文語義的簡要描述，而該模型重點關注局部詞的特征，會改變整個標題語義的表示。而使用投票規則的融合系統，P、R和F1值都要高于較優的基于GRU的多元分類模型，且召回率提升了約1%的性能，證明了我們的融合系統方案在新聞標題分類任務上是有效的。NLPCC評測任務以召回率為評價標準(系統沒有公開，只對比了結果),與第一名相比，R值低了1.5%，與第三名相當，雖然沒有達到最優，但是說明了系統的性能是可靠的。此外，通過融合系統能夠找到一些漏檢數據(通過GRU多元分類模型指定分類的數據)。

如下面的漏檢例子所示，括號中的標簽為漏檢數據樣例的真實標簽：

① 印度駱駝節狂歡場面壯觀(世界);

② 鳩茲古鎮居然是個吃貨鎮(食物);

③ 應知應會三字經免費拿(養生);

④ 用洪荒之力查出泄密黑手(金融)。

前兩個樣例的預測結果有多個標簽，后兩個樣例無預測標簽。多模二元分類模型將第一個示例預測結果為“世界”和“旅游”標簽，而第二個示例被預測為“食物”和“旅游”標簽，根據兩個實例的語義和詞義，可以將其劃分到“旅游”領域，因此將類似的數據歸為強語義歧義特征數據。在后兩個示例中，由于標題中的特征較少，因此分類模型將其分到正確領域是較為困難的，多模二元分類模型僅依靠標題中的語義不能將其歸屬于任務中一個領域，將這些數據歸為弱語義特征數據。通過表5和表6對比，多元分類模型性能的下降驗證了強語義歧義特征和弱語義特征的數據對標題分類影響很大。

6 總結和展望

本文嘗試了將神經網絡的二元分類用于多分類目標預測，并且選用了多種結構的神經網絡模型。利用投票機制將GRU、CNN和LSTM的二元分類模型形成的融合系統用于標題分類任務，評測分數中召回率達到81.14%，比最優的GRU多元分類提高了約1%的性能。另外，本系統能夠區分強語義特征和弱語義特征的數據，對于分類具有重要意義。

未來工作安排主要包括兩個方面： ①判斷強語義歧義特征數據的類別歸屬；②對弱語義特征數據添加額外信息增加弱語義特征數據的可區分性，比如添加正文中的高頻詞、實體和詞性等信息。